WO2025075136A1 - 音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置 - Google Patents

音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置 Download PDF

Info

Publication number
WO2025075136A1
WO2025075136A1 PCT/JP2024/035590 JP2024035590W WO2025075136A1 WO 2025075136 A1 WO2025075136 A1 WO 2025075136A1 JP 2024035590 W JP2024035590 W JP 2024035590W WO 2025075136 A1 WO2025075136 A1 WO 2025075136A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
audio signal
threshold
reflected
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/035590
Other languages
English (en)
French (fr)
Inventor
修二 宮阪
康太 中橋
智一 石川
宏幸 江原
陽 宇佐見
成悟 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to AU2024354852A priority Critical patent/AU2024354852A1/en
Priority to CN202480062783.8A priority patent/CN121942218A/zh
Publication of WO2025075136A1 publication Critical patent/WO2025075136A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the audio signal processing method is an audio signal processing method executed by an audio signal processing device, and includes an acquisition step of acquiring an audio signal including attribute information that identifies an attribute of the audio signal, a determination step of performing a first determination process of determining whether the acquired audio signal satisfies a first condition and a second determination process of determining whether the acquired audio signal satisfies a second condition different from the first condition when the attribute identified by the attribute information included in the acquired audio signal is information indicating indirect sound, and a reproduction step of outputting an output signal based on the acquired audio signal when the acquired audio signal satisfies the first condition and the second condition.
  • An audio signal processing device includes an acquisition unit that acquires an audio signal including attribute information that identifies an attribute of the audio signal, a determination unit that performs a first determination process that determines whether the acquired audio signal satisfies a first condition and a second determination process that determines whether the acquired audio signal satisfies a second condition different from the first condition when the attribute identified by the attribute information included in the acquired audio signal is information indicating indirect sound, and a playback unit that outputs an output signal based on the acquired audio signal when the acquired audio signal satisfies the first condition and the second condition.
  • FIG. 22 is a diagram showing an example of the arrangement of avatars, sound source objects, and obstacle objects.
  • FIG. 23 is a flowchart showing yet another example of the selection process.
  • FIG. 24 is a block diagram showing an example of a configuration for a rendering unit to perform pipeline processing.
  • FIG. 25 is a diagram showing sound transmission and diffraction.
  • FIG. 26 is a block diagram illustrating an example of a configuration of a rendering unit according to the second embodiment.
  • FIG. 27 is a flowchart showing an example of the operation of the audio signal processing device according to the second embodiment.
  • FIG. 28 is a graph showing threshold data indicating the first threshold value according to the second embodiment.
  • FIG. 29 is a block diagram illustrating an example of a configuration of a rendering unit according to the third embodiment.
  • appropriately selecting and outputting (playing back) one or more reflected sounds that are to be processed or not to be processed from among the multiple reflected sounds that occur in the sound space during playback is useful for appropriately reducing the amount of calculation and the calculation load.
  • Patent Document 1 the importance of an audio signal, more specifically, the importance of the direct sound indicated by the audio signal is detected, but the importance of reflected sound is not considered. For this reason, when indirect sound such as reflected sound occurs as shown in Figure 1, the amount of calculation and the calculation load increase, which means that it may be difficult to appropriately reduce the amount of calculation and the calculation load.
  • the audio signal processing method is an audio signal processing method executed by an audio signal processing device, and includes an acquisition step of acquiring an audio signal including attribute information that identifies an attribute of the audio signal, a determination step of performing a first determination process of determining whether the acquired audio signal satisfies a first condition and a second determination process of determining whether the acquired audio signal satisfies a second condition different from the first condition when the attribute identified by the attribute information included in the acquired audio signal is information indicating indirect sound, and a reproduction step of outputting an output signal based on the acquired audio signal when the acquired audio signal satisfies the first condition and the second condition.
  • the audio signal processing method according to the fourth aspect of the present disclosure is the audio signal processing method according to the third aspect, in which the predetermined sound is a direct sound.
  • the first judgment process has an extremely light computational load, since it is mainly a process of judging the magnitude relationship between the amplitude value of the target audio signal and a predetermined threshold.
  • the second judgment process requires calculation of the volume ratio and arrival time difference between the target indirect sound and the direct sound related to the indirect sound, and therefore has a much larger computational load than the first judgment process. Therefore, in the first judgment process, which has a light computational load, multiple input signals are first sieved, and only the remaining signals are judged in the second judgment process. In this way, the amount of calculation for the entire judgment step can be significantly reduced, so this order of processing is extremely important in the present disclosure, whose original purpose is to reduce the amount of calculation for audio signal processing.
  • the audio signal processing device 1001 performs acoustic processing based on spatial information that describes the factors that cause the above-mentioned effects.
  • the spatial information includes, for example, information indicating the positions of the sound source, the listener, and surrounding objects, information indicating the shape of the space, and parameters related to sound propagation.
  • the audio signal processing device 1001 is, for example, a PC (Personal Computer), a smartphone, a tablet, or a game console.
  • the audio signal processing device 1001 may also decode a bit stream generated by encoding at least a portion of the data of the audio signal and the spatial information used in the audio processing, and perform the audio processing. Therefore, the audio signal processing device 1001 may be referred to as a decoding device.
  • the encoding device 1100 stores encoded data 1103 in a memory 1104.
  • the encoding device 1120 differs from the encoding device 1100 in that it includes a transmission unit 1121 that transmits the encoded data 1103 to the outside.
  • the decryption device 1110 reads the input data 1113 from the memory 1114.
  • the decryption device 1130 differs from the decryption device 1110 in that it includes a receiving unit 1131 that receives the input data 1113 from outside.
  • the receiving unit 1131 receives the received signal 1132, acquires the received data, and outputs the input data 1113 that is input to the decoder 1112.
  • the received data may be the same as the input data 1113 that is input to the decoder 1112, or may be data in a different data format from the input data 1113.
  • the input data 1113 is an encoded bitstream and includes encoded audio data, which is an encoded audio signal, and metadata used in the acoustic processing.
  • the spatial information management unit 1201 acquires metadata contained in the input data 1113 and analyzes the metadata.
  • the metadata includes information describing elements that act on sounds arranged in a sound space.
  • the spatial information management unit 1201 manages the spatial information used for acoustic processing obtained by analyzing the metadata, and provides the spatial information to the rendering unit 1203.
  • the information used in the acoustic processing is expressed as spatial information
  • other expressions may be used.
  • the information used in the acoustic processing may be expressed as sound spatial information or as scene information.
  • the spatial information input to the rendering unit 1203 may be information expressed as a spatial state, a sound spatial state, a scene state, or the like.
  • the information managed by the spatial information management unit 1201 is not limited to information contained in the bitstream.
  • the input data 1113 may include data that is not included in the bitstream, and that indicates the characteristics and structure of the space obtained from software or a server that provides VR or AR.
  • the audio data decoder 1202 decodes the encoded audio data contained in the input data 1113 to obtain an audio signal.
  • the encoding method may be a lossy codec such as MP3 (MPEG-1 Audio Layer-3), AAC (Advanced Audio Coding), WMA (Windows Media Audio), AC3 (Audio Codec-3) or Vorbis.
  • the encoding method may be a lossless codec such as ALAC (Apple Lossless Audio Codec) or FLAC (Free Lossless Audio Codec).
  • PCM data may be a type of encoded audio data.
  • the decoding process may be, for example, a process of converting an N-bit binary number into a number format (e.g., floating-point format) that can be processed by the rendering unit 1203, where the number of quantization bits of the PCM data is N.
  • FIG. 4B differs from FIG. 4A in that the input data 1113 includes an unencoded audio signal rather than encoded audio data.
  • the input data 1113 includes a bitstream including metadata and an audio signal.
  • the spatial information management unit 1211 is the same as the spatial information management unit 1201 in FIG. 4A, so a description thereof will be omitted.
  • decoders 1112, 1200, and 1210 may be expressed as audio processing units that perform audio processing.
  • the decoding devices 1110 and 1130 may be the audio signal processing device 1001, and may be expressed as audio processing devices.
  • the communication IF 1403 is a communication module compatible with a communication method such as Bluetooth (registered trademark) or WIGIG (registered trademark).
  • the audio signal processing device 1001 communicates with another communication device via the communication IF 1403, for example, to obtain a bitstream to be decoded.
  • the obtained bitstream is stored in the memory 1404, for example.
  • Sensor 1405 performs sensing to estimate the position and orientation of the listener. Specifically, sensor 1405 estimates the position and/or orientation of the listener based on one or more detection results of the position, orientation, movement, velocity, angular velocity, acceleration, etc. of a part or the whole of the body, and generates position/or orientation information indicating the position and/or orientation of the listener.
  • the sensor 1405 is, for example, an imaging device such as a camera or a ranging device such as a LiDAR (Laser Imaging Detection and Ranging).
  • the sensor 1405 may capture the movement of the listener's head and detect the movement of the listener's head by processing the captured image.
  • a device that performs position estimation using wireless signals of any frequency band, such as millimeter waves, may be used as the sensor 1405.
  • Speaker 1401 has, for example, a diaphragm, a drive mechanism such as a magnet or voice coil, and an amplifier, and presents the audio signal after acoustic processing as sound to the listener. Speaker 1401 operates the drive mechanism in response to the audio signal (more specifically, a waveform signal indicating the waveform of the sound) amplified via the amplifier, and causes the drive mechanism to vibrate the diaphragm. In this way, the diaphragm vibrating in response to the audio signal generates sound waves, which propagate through the air and are transmitted to the listener's ears, causing the listener to perceive the sound.
  • the audio signal more specifically, a waveform signal indicating the waveform of the sound
  • the processor 1501 is, for example, a CPU, a DSP, or a GPU.
  • the CPU, DSP, or GPU may execute a program stored in the memory 1503 to perform the encoding process of the present disclosure.
  • the processor 1501 is, for example, a circuit that performs information processing.
  • the processor 1501 may be a dedicated circuit that performs signal processing on an audio signal, including the encoding process of the present disclosure.
  • Memory 1503 is composed of, for example, RAM or ROM.
  • Memory 1503 may include a magnetic recording medium such as a hard disk or a semiconductor memory such as an SSD.
  • Memory 1503 may also be an internal memory built into the CPU or GPU.
  • FIG. 7 is a block diagram showing an example of the configuration of the rendering unit 1300. Specifically, Fig. 7 shows an example of the detailed configuration of the rendering unit 1300, which corresponds to the rendering units 1203 and 1213 in Fig. 4A and Fig. 4B.
  • the input signal is composed of, for example, spatial information, sensor information, and sound data.
  • the input signal may include a bitstream composed of sound data and metadata (control information), in which case the metadata may include spatial information.
  • Spatial information is information about the sound space (three-dimensional sound field) created by the stereophonic sound reproduction system 1000, and is composed of information about the objects contained in the sound space and information about the listener.
  • Objects include sound source objects that emit sound and are sound sources, and non-sound-emitting objects that do not emit sound. Sound source objects can also be simply expressed as sound sources.
  • the position information is expressed by coordinate values on three axes, for example the X-axis, Y-axis, and Z-axis, in Euclidean space, but it does not necessarily have to be three-dimensional information.
  • the position information may be two-dimensional information expressed by coordinate values on two axes, the X-axis and the Y-axis.
  • the position information of an object is determined by the representative position of a shape expressed by a mesh or voxels.
  • the attenuation rate may be expressed as a real number between 0 and 1, or may be expressed as a negative decibel value.
  • sound volume is not amplified by reflection, so the attenuation rate is set to a negative decibel value, but for example, to create the eerie feeling of an unreal space, an attenuation rate of 1 or greater, i.e., a positive decibel value, may be set.
  • the spatial information may also include information indicating whether the object belongs to a living organism, and information indicating whether the object is a moving object. If the object is a moving object, the position indicated by the position information may move over time. In this case, information on the changed position or the amount of change is transmitted to the rendering unit 1300.
  • Information about a sound source object includes information commonly assigned to sound source objects and non-sound generating objects, as well as sound data and information necessary to radiate the sound data into a sound space.
  • the sound data is data that indicates information about the frequency and strength of a sound, and is data that expresses the sound perceived by a listener.
  • the reflected sound according to this embodiment is an example of an indirect sound.
  • the indirect sound may be a reflected sound, a diffracted sound, or the like.
  • the direct sound according to this embodiment is an example of a predetermined sound that is different from the indirect sound.
  • the predetermined sound may be a direct sound or a high order ambisonics sound (HOA: High Order Ambisonics).
  • HOA High Order Ambisonics
  • a representative sound of the multiple sounds represented by the multiple audio signals may be created by bundling the multiple audio signals (by mixing, etc.), and the representative sound may be used as the predetermined sound. In this case, the representative sound may be called a representative sound.
  • reflected sound which is an example of indirect sound
  • direct sound which is an example of predetermined sound
  • orientation information is typically expressed using yaw, pitch, and roll.
  • the roll rotation may be omitted, and the orientation information of the sound source object may be expressed using azimuth (yaw) and elevation (pitch).
  • the orientation information of the sound source object may change over time, and if it does change, it is transmitted to the rendering unit 1300.
  • the sensor information includes the amount of rotation or displacement detected by the sensor 1405 worn by the listener, and the listener's position and orientation.
  • the sensor information is transmitted to the rendering unit 1300, which updates the listener's position and orientation information based on the sensor information.
  • the sensor information may include position information obtained by the mobile terminal performing self-position estimation using a GPS, a camera, LiDAR, or the like, for example.
  • the analysis unit 1301 analyzes the audio signal contained in the input signal and the spatial information received from the spatial information management units 1201 and 1211, and calculates the information necessary for the generation of direct sound and reflected sound in the reproduction unit 1303, as well as the information necessary for determining (selecting) whether or not to generate reflected sound.
  • Information required to generate direct sound and reflected sound is, for example, values related to the path taken by the direct sound and reflected sound to reach the listening position, the time it takes to reach the listening position, and the volume at the time of arrival, for each sound.
  • the values related to the path taken by the direct sound and reflected sound to reach the listening position, the time it takes to reach the listening position, and the volume at the time of arrival are, for example, values indicating the path taken by the direct sound and reflected sound to reach the listening position, the time it takes to reach the listening position, and the volume at the time of arrival, for each sound.
  • the information required to select the reflected sound to be output is information indicating the relationship between the direct sound and the reflected sound, such as a value relating to the time difference between the direct sound and the reflected sound, and a value relating to the volume ratio between the direct sound and the reflected sound at the listening position.
  • the value relating to the time difference between the direct sound and the reflected sound, and the value relating to the volume ratio between the direct sound and the reflected sound at the listening position are, for example, a value indicating the time difference between the direct sound and the reflected sound, and a value indicating the volume ratio between the direct sound and the reflected sound at the listening position, respectively.
  • volume ratio typically refers to the gain difference when the volumes of two sounds are expressed in decibel units
  • the threshold data is also typically defined as a gain difference expressed in the decibel domain.
  • the volume ratio is not limited to a gain difference in the decibel domain.
  • the threshold data defined in the decibel domain may be converted into the unit of the calculated volume ratio and used.
  • the threshold data defined in each unit may be stored in advance in memory.
  • the analysis unit 1301 analyzes the input signal input to the audio signal processing device 1001 to detect direct sound and reflected sound that may occur in the sound space.
  • the reflected sound detected here is a candidate for the reflected sound that is ultimately selected by the determination unit 1302 as the reflected sound to be generated by the reproduction unit 1303.
  • the analysis unit 1301 also analyzes the input signal to calculate information necessary for generating direct sound and reflected sound, and information necessary for selecting the reflected sound to be generated.
  • the characteristics of the direct sound and the reflected sound are calculated. Specifically, the arrival time and volume of the direct sound and the reflected sound when they reach the listener are calculated. If multiple objects exist in the sound space as reflecting objects, the characteristics of the reflected sound are calculated for each of the multiple objects.
  • the direct sound arrival time (td) is calculated based on the direct sound arrival path (pd).
  • the direct sound arrival path (pd) is the path connecting the position information S (xs, ys, zs) of the sound source object and the position information A1 (xa, ya, za) of the listener.
  • the direct sound arrival time (td) is a value obtained by dividing the length of the path connecting the position information S (xs, ys, zs) and the position information A1 (xa, ya, za) by the speed of sound (approximately 340 m/sec).
  • the path length (X) is calculated as (xs-xa) ⁇ 2 + (ys-ya) ⁇ 2 + (zs-za) ⁇ 2) ⁇ 0.5.
  • the volume N at the sound source position may be the reference volume described above.
  • the attenuation rate G may be expressed as a real number between 0 and 1, or may be expressed as a negative decibel value.
  • the volume of the entire signal is attenuated by G.
  • the attenuation rate may also be set for each frequency band that constitutes multiple frequency bands.
  • the analysis unit 1301 multiplies each frequency component of the signal by a specified attenuation rate.
  • the analysis unit 1301 may also use a representative value or average value of multiple attenuation rates for multiple frequency bands as the overall attenuation rate, and attenuate the volume of the entire signal by that amount.
  • the determination unit 1302 may select reflected sounds to which other processes are to be applied, not limited to generation processes. For example, the determination unit 1302 may select reflected sounds to which binaural processing is to be applied. Furthermore, the determination unit 1302 basically selects only one or more reflected sounds to be processed. However, the determination unit 1302 may select only one or more reflected sounds that are not to be processed. Then, processing may be applied to the one or more reflected sounds that are not selected.
  • the selection of whether or not to generate reflected sound is made by, for example, comparing the volume ratio between direct sound and reflected sound, which corresponds to the time difference between the direct sound and the reflected sound, with a preset threshold.
  • the threshold is set by referring to threshold data.
  • the threshold data is an index that indicates the boundary between whether or not a reflected sound relative to a direct sound is perceived by a listener, and is defined as the ratio between the volume when the direct sound arrives (Id) and the volume when the reflected sound arrives (lr).
  • the threshold corresponds to a value expressed by a numerical value or the like that is determined in response to the time difference (T).
  • the threshold data corresponds to the relationship between the time difference (T) and the threshold, and corresponds to table data or a relational expression that is used to identify or calculate the threshold at the time difference (T).
  • the format and type of the threshold data are not limited to table data or a relational expression.
  • FIG. 11 is a diagram showing the relationship between the time difference between direct sound and reflected sound and a threshold value.
  • threshold data of a volume ratio that is predetermined for each value of the time difference between direct sound and reflected sound as shown in FIG. 11 may be referenced.
  • threshold data obtained by interpolation or extrapolation from the threshold data shown in FIG. 11 may be referenced.
  • threshold data for the volume ratio that is predetermined for each value of the time difference between the direct sound and the reflected sound By performing selection processing using threshold data for the volume ratio that is predetermined for each value of the time difference between the direct sound and the reflected sound, it is possible to realize selection processing that takes post-masking or the precedence effect into consideration. A detailed explanation of the type, format, storage method, and setting method of the threshold data will be given later.
  • the volume (lr) at the time of arrival of the reflected sound when generating the reflected sound is different from the volume at the time of arrival of the direct sound, and is a value to which the attenuation rate G of the volume at the reflection is applied.
  • G may be an attenuation rate that is applied to all frequency bands at once.
  • a reflectance rate may be specified for each specified frequency band in order to reflect the bias of frequency components caused by reflection.
  • the process of applying the volume (lr) at the time of arrival of the reflected sound may be implemented as a frequency equalizer process that multiplies each band by an attenuation rate.
  • the path length of the direct sound and the reflected sound candidates as they arrive at the listener is calculated. Furthermore, the arrival time and volume at the time of arrival are calculated based on each path length. Then, the reflected sound candidate selection process is performed based on the time difference and volume ratio.
  • the selection process may be performed based on the path length of the direct sound and the reflected sound when they reach the listener, and the calculation of the arrival time and volume of the direct sound and the reflected sound, as well as the calculation of the time difference and volume ratio may be omitted.
  • a threshold value according to the path length difference may be predefined for the path length ratio. Then, the selection process may be performed based on whether the calculated path length ratio is equal to or greater than the threshold value according to the calculated path length difference. This makes it possible to perform the selection process based on the path length difference corresponding to the time difference while reducing the amount of calculations.
  • the threshold data may be determined based on the minimum time difference at which the listener's perception can detect a discrepancy between two sounds due to the auditory nerve function or the cognitive function in the brain, more specifically, due to the precedence effect described below, the temporal masking phenomenon described below, or a combination of these. Specific numerical values may be derived from already known research results on the temporal masking effect, the precedence effect, or the echo detection limit, or may be determined by listening experiments that are premised on application to the virtual space.
  • the volume information of the sound source may indicate a reference volume defined for each content, a temporal transition of the volume, or both.
  • the volume transitions intermittently over a short period of time. In other words, sound and silence alternate. If the virtual space is a concert hall and the direct sound is a musical performance, the volume is maintained for a certain length of time. If the virtual space is a battlefield and the direct sound is an explosion, the volume increases for a moment and then remains silent or low.
  • the selection process and the evaluation process may be executed independently, or only one of them may be executed. Furthermore, the evaluation process may be executed only for the reflected sounds that are determined to be selected in the selection process, and the evaluation process may re-determine whether or not to select the reflected sounds. Alternatively, the evaluation process may be executed only for the reflected sounds that are determined not to be selected in the selection process, and the evaluation process may re-determine whether or not to select the reflected sounds.
  • the above-described selection process can be interpreted as a process of selecting a reflected sound according to the properties of the direct sound.
  • a threshold value used to select a reflected sound is set or adjusted according to the properties of the direct sound.
  • an evaluation value used to select a reflected sound is calculated based on one or more of the volume of the sound source, the visibility of the sound source, the positioning of the sound source, the visibility of a reflecting object (obstacle object), and the geometric relationship between the direct sound and the reflected sound.
  • FIG. 14 is a flowchart showing an example of the selection process.
  • the determination unit 1302 specifies the reflected sound detected by the analysis unit 1301 (S201). Then, the determination unit 1302 detects the volume ratio (L) between the direct sound and the reflected sound, and the time difference (T) between the direct sound and the reflected sound (S202 and S203).
  • the determination unit 1302 also uses the threshold data to identify a threshold value corresponding to the time difference (T) (S204). Then, the determination unit 1302 determines whether the detected volume ratio (L) is equal to or greater than the threshold value (S205).
  • the determination unit 1302 selects the reflected sound as the reflected sound to be generated (S206). If the volume ratio (L) is smaller than the threshold (No in S205), the determination unit 1302 does not select the reflected sound as the reflected sound to be generated (S207). That is, in this case, the determination unit 1302 determines the reflected sound as a reflected sound not to be generated.
  • the determination unit 1302 determines whether or not there is an unspecified reflected sound (S208). If there is an unspecified reflected sound (Yes in S208), the determination unit 1302 repeats the above-mentioned processing (S201 to S207). If there is no unspecified reflected sound (No in S208), the determination unit 1302 ends the processing.
  • threshold data in multiple formats and multiple types may be stored in combination.
  • the combined threshold data may be read from the spatial information management units 1201 and 1211, and a threshold to be used in the selection process may be set.
  • the threshold data stored in memory 1404 may be stored in the spatial information management units 1201 and 1211.
  • the memory 1404 may store information regarding a relational equation showing the relationship between the time difference (T) and the threshold value.
  • a relational equation showing the relationship between the time difference (T) and the threshold value.
  • an equation having the time difference (T) as a variable may be stored.
  • the threshold value of each time difference (T) may be approximated by a straight line or a curve, and parameters indicating the geometric shape of the line or curve may be stored. For example, if the geometric shape is a straight line, the starting point and the slope for expressing the straight line may be stored.
  • threshold data may be stored for each time difference (T).
  • the information about the threshold has a time item as a one-dimensional index.
  • the information about the threshold may also have a two-dimensional or three-dimensional index that further includes a variable related to the direction of arrival.
  • the thresholds are stored in an array that has the direction of the direct sound ( ⁇ ) (more specifically, the angle ( ⁇ ) of the direction from which the direct sound arrives) and the direction of the reflected sound ( ⁇ ) (more specifically, the angle ( ⁇ ) of the direction from which the reflected sound arrives) as independent variables or indexes.
  • the angle ( ⁇ ) of the direction from which the direct sound arrives and the angle ( ⁇ ) of the direction from which the reflected sound arrives do not have to be used as independent variables.
  • the information indicating the characteristics of the audio signal may be obtained before the rendering process begins, or may be obtained each time the rendering process is performed.
  • the threshold adjustment unit 1304 does not have to be included in the audio signal processing device 1001, and another communication device may have the role of the threshold adjustment unit 1304.
  • the analysis unit 1301 or the determination unit 1302 may acquire information indicating the nature of the audio signal, threshold data according to the nature, or information for adjusting the threshold data according to the nature from the other communication device via the communication IF 1403.
  • information indicating the characteristics of the audio signal, information for adjusting the threshold, or both may be transmitted in an input signal other than the input signal containing the audio signal.
  • the input signal containing the audio signal may contain information associating the other input signal with the input signal, or the information associating the other input signal with the input signal may be stored in memory 1404 together with information regarding the threshold.
  • the threshold used to select the reflected sound is set according to the properties of the direct sound, i.e., the properties of the audio signal.
  • threshold data set in advance for each property may be used, or as in Figure 19, the threshold may be adjusted according to the properties of the audio signal.
  • the parameters of the threshold data may be adjusted according to the properties of the audio signal.
  • Non-Patent Document 1 Two short sounds that arrive at the listener's ears in succession will be heard as one sound if the time interval between them is short enough. This phenomenon is called the precedence effect. It is known that the precedence effect occurs only for discontinuous, i.e., transient, sounds (Non-Patent Document 1). Therefore, when the audio signal represents a stationary sound, the echo detection limit may be set lower than when the audio signal represents a non-stationary sound.
  • parameters for setting the threshold data according to information indicating the continuity of the direct sound may be stored in advance in the memory 1404.
  • the threshold adjustment unit 1304 may determine the continuity of the audio signal, and set the threshold data used to select the reflected sound based on the information and parameters indicating the continuity.
  • a short threshold is set. Also, the shorter the duration of the direct sound, the shorter the threshold is set.
  • the threshold may be set lower when the direct sound is an intermittent sound (such as speech) than when the direct sound is a continuous sound (such as music).
  • the threshold may be set higher for music, etc. than for speech, etc. Conversely, the threshold may be set lower for speech, etc. than for music, etc. In other words, if the direct sound has many intermittent parts, the threshold may be set lower.
  • the information indicating the characteristics of the direct sound may be information indicating the continuity, intermittency, duration, etc. of the direct sound. Furthermore, the information indicating the characteristics of the direct sound may be any combination of these. Furthermore, the information indicating the characteristics of the direct sound may be information indicating the time variation of any of these, or information indicating the time variation of any combination of these. In other words, the information indicating the characteristics of the direct sound may be information indicating the time variation of the direct sound.
  • the volume of the reflected sound is obtained by geometric calculation from information on the positions of the sound source, the listener, and the reflecting object. Specifically, the reference volume of the reflected sound relative to the reference volume of the sound source is obtained. By increasing or decreasing the reference volume of the reflected sound using information on the transition of the sound source's loudness as information indicating the properties of the direct sound, it is possible to accurately determine the volume of the reflected sound from moment to moment. The reason for this is that fluctuations in the volume of the sound source are reflected in fluctuations in the volume of the reflected sound.
  • the same result can be obtained by not adjusting the reference volume of the reflected sound, but instead adjusting the threshold based on the inverse of the information on the loudness transition of the sound source, and comparing the adjusted threshold with the reference volume of the reflected sound.
  • the reference volume of the reflected sound may be adjusted using the information on the loudness transition of the sound source, or the threshold may be adjusted using the information on the loudness transition of the sound source. Adjustment of the reference volume of the reflected sound and adjustment of the threshold correspond to each other.
  • the sound reflectance (the rate attenuation of sound due to reflection) varies for each frequency band depending on the composition of the surface of the object that reflects the sound. Therefore, as described below, a sound reflectance (attenuation rate) may be associated with each frequency band for each object that reflects sound. Using such reflectance information and spectrogram information, it is possible to more accurately determine whether or not to select the reflected sound. For example, the following process is performed.
  • the information indicating the time variation of the direct sound may be information obtained by calculating the energy or average amplitude of the direct sound for each predetermined short time length (for example, 5 ms; hereafter, frames of this time length will be referred to as analysis frames).
  • the information indicating the time variation of the direct sound may be information represented as a weighted average of the energy or average amplitude calculated in the past N-1 analysis frames.
  • the energy of the nth analysis frame is expressed as E(n)
  • the information indicating the properties of the direct sound I(n) can be calculated according to the following formula:
  • the parameter a(i) represents a weighting coefficient.
  • a(i) is set so that a(i) ⁇ 0 and the sum of a(i) is 1.
  • the method for setting a(i) is not limited to this.
  • information I(n) indicating the properties of the direct sound is calculated every 5 ms that the direct sound is captured. In other words, it is possible to calculate the time variation of information I(n) indicating the properties of the direct sound with low latency. Therefore, this method is suitable for application in applications that require real-time performance.
  • formulas 1 and 2 can be considered as filters in which E(n) is the input signal and I(n) is the output signal.
  • formula 1 is a moving average (MA) model filter
  • formula 2 is an autoregressive (AR) model filter, both of which have the characteristics of a low-pass filter.
  • AR autoregressive
  • ARMA model filter that combines both may be used.
  • the method of deriving the information indicating the time variation of the direct sound is not limited to the above-mentioned formula or filter, and other known methods may be used.
  • the information indicating the time variation of the direct sound indicates a value obtained by analyzing the direct sound for a predetermined time length.
  • the direct sound may be analyzed from a perspective other than the average energy.
  • the information indicating the properties of the direct sound may be information related to the frequency characteristics of the direct sound.
  • the information related to the frequency characteristics of the direct sound may be information calculated using the frequency characteristics of the direct sound.
  • the information related to the frequency characteristics of the direct sound may be information obtained as the average energy of the low-frequency components by averaging the low-frequency components of the direct sound over a predetermined analysis length.
  • the energy of the low-frequency components in the nth analysis frame is expressed as EL(n)
  • the information I(n) indicating the properties of the direct sound can be calculated according to the following formula:
  • parameter c(i) represents a weighting coefficient.
  • c(i) is set so that c(i) ⁇ 0 and the sum of c(i) is 1.
  • the method for setting c(i) is not limited to this.
  • information I(n) indicating the properties of the direct sound is calculated every 5 ms that the direct sound is captured. In other words, it is possible to calculate the time variation of information I(n) indicating the properties of the direct sound with low latency. Therefore, this method is suitable for application in applications that require real-time performance.
  • Equation 2 information I(n) indicating the properties of the direct sound may be obtained according to the following equation:
  • the parameter d(i) represents a weighting coefficient.
  • d(i) is set so that d(i) ⁇ 0 and the sum of d(i) is 1.
  • the method of setting d(i) is not limited to this.
  • formulas 3 and 4 can be considered as filters in which E(n) is the input signal and I(n) is the output signal.
  • formula 3 is a moving average (MA) model filter
  • formula 4 is an autoregressive (AR) model filter, both of which have the characteristics of a low-pass filter.
  • AR autoregressive
  • ARMA model filter that combines both may be used.
  • a filter with low-pass characteristics is used to determine the low-frequency components of the direct sound, but the method of determining the low-frequency components of the direct sound is not limited to this. Furthermore, the method of deriving information indicating the time variation of the direct sound is not limited to the above-mentioned formula or filter, and other known methods may be used.
  • the spectrum of the direct sound may be calculated by performing a frequency conversion on the direct sound. Then, the energy or average amplitude of the low-frequency components of the spectrum may be calculated.
  • the reason for the above setting is that the filter is expected to converge within the information update interval.
  • auditory masking (frequency masking) information calculated from the direct sound may be used as information indicating the characteristics of the direct sound.
  • the auditory masking information indicates a threshold value for the amplitude value in the frequency domain that is masked by the direct sound.
  • the amplitude value of the reflected sound in the same frequency domain may be compared with the threshold value, and a process may be performed that does not select reflected sounds with amplitude values smaller than the threshold value.
  • the amplitude value of the reflected sound in the frequency domain may be obtained by the analysis unit 1301 as information indicating the characteristics of the reflected sound.
  • the process of detecting the properties of the direct sound, the process of determining the threshold according to the properties, and the process of adjusting the threshold according to the properties may be performed during the rendering process or before the rendering process begins.
  • these processes may be performed when the virtual space is created (when the software is created), when processing of the virtual space begins (when the software is launched or rendering begins), or when an information update thread occurs that occurs periodically in processing of the virtual space.
  • the virtual space when the virtual space is created, it may be the timing when the virtual space is constructed before the start of acoustic processing, or it may be when information about the virtual space (spatial information) is acquired, or it may be when the software is acquired.
  • the threshold may be set high without even needing to detect the amount or remaining amount of computing resources.
  • a listener wearing the audio presentation device 1002 may be able to select between an "energy saving mode" with less target reflected sound and less computational effort, and a "high performance mode” with more target reflected sound and more computational effort.
  • the mode may be selectable by an administrator managing the stereophonic sound reproduction system 1000 or a creator of the stereophonic sound content.
  • a threshold or threshold data may be directly selectable.
  • the volume compensation process is performed in response to reflected sounds that were not selected in the selection process. For example, a lack of volume occurs when reflected sounds are not selected in the selection process.
  • the volume compensation process suppresses the sense of discomfort that accompanies this lack of volume.
  • the following two methods are disclosed as examples of methods for compensating for the sense of volume. Either of the two methods may be used.
  • the reproduction unit 1303 generates a direct sound by increasing the volume of the direct sound by the amount of the volume of the unselected reflected sound. This compensates for the sense of volume that would be lost by not generating the reflected sound.
  • the playback unit 1303 may increase the volume for each frequency component according to the frequency characteristics of the reflected sound.
  • a decay rate of the volume attenuated by the reflective object may be assigned for each predetermined frequency band. This makes it possible to derive the frequency characteristics of the reflected sound.
  • the playback unit 1303 adds unselected reflected sound to the direct sound to generate direct sound, thereby compensating for the sense of volume caused by not generating reflected sound.
  • the generated direct sound reflects the volume (amplitude), frequency, delay, etc. of the unselected reflected sound.
  • the amount of calculation required for the compensation process is extremely small, but only the volume is compensated for.
  • the amount of calculation required for the compensation process is greater than when using a method that increases the volume of direct sound, but the characteristics of the reflected sound are compensated for more accurately.
  • the analysis unit 1301 analyzes an input signal (S401). Next, the analysis unit 1301 detects the direction from which the sound is coming (S402). Next, the determination unit 1302 adjusts the difference in volume between the sounds perceived by the left and right ears (S403). The determination unit 1302 also adjusts the difference in arrival time (delay) between the sounds perceived by the left and right ears (S404). The determination unit 1302 determines whether or not to select a reflected sound based on the adjusted sound information (S405).
  • the determination unit 1302 adjusts the volume of the direct sound to match the position of the ear that primarily perceives the reflected sound. For example, the determination unit 1302 attenuates the volume of the direct sound when it reaches the listener by multiplying the volume by (1.0-0.3 sin( ⁇ )) (0 ⁇ 180).
  • the determination unit 1302 calculates the direct sound arrival direction ( ⁇ ) and the reflected sound arrival direction ( ⁇ ) (direction of reflected sound ( ⁇ )) determined using the avatar orientation as a reference from the direct sound arrival path (pd) and reflected sound arrival path (pr) calculated by the analysis unit 1301, and the avatar orientation information D1. That is, the determination unit 1302 detects the direct sound arrival direction ( ⁇ ) and the reflected sound arrival direction ( ⁇ ) (S231). The orientation of the avatar corresponds to the orientation of the listener.
  • the avatar orientation information D1 may be included in the input signal.
  • the threshold value may be determined by performing a process such as interpolation, in-placement, or extrapolation based on one or more threshold values corresponding to one or more indexes close to the calculated values of ( ⁇ ), ( ⁇ ), and (T).
  • a threshold value corresponding to (20°, 265°, T) may be determined based on four threshold values corresponding to four indexes, (0°, 225°, T), (0°, 270°, T), (45°, 225°, T), and (45°, 270°, T).
  • This section explains the selection process based on the difference between the angle of the direct sound arrival direction ( ⁇ ) and the angle of the reflected sound arrival direction ( ⁇ ).
  • threshold data may be set that has, as an index array, a combination of the angle difference ( ⁇ ), the direction of arrival of the direct sound ( ⁇ ), and the time difference (T), or a combination of the angle difference ( ⁇ ), the direction of arrival of the reflected sound ( ⁇ ), and the time difference (T).
  • threshold data may be set that has the values of ( ⁇ ), ( ⁇ ), and (T) as a three-dimensional index array, as shown in FIG. 15.
  • FIG. 24 is a block diagram showing an example of the configuration for the rendering unit 1300 to perform pipeline processing.
  • the rendering unit 1300 in FIG. 24 includes a reverberation processing unit 1311, an early reflection processing unit 1312, a distance attenuation processing unit 1313, a determination unit 1314, a generation unit 1315, and a binaural processing unit 1316. These multiple components may be composed of multiple components of the rendering unit 1300 shown in FIG. 7, or may be composed of at least some of the multiple components of the audio signal processing device 1001 shown in FIG. 5.
  • Pipeline processing refers to dividing the process for creating sound effects into multiple processes and executing the multiple processes one by one in sequence. Each of the multiple processes performs, for example, signal processing on an audio signal, or the generation of parameters used in signal processing.
  • the rendering unit 1300 may perform reverberation processing, early reflection processing, distance attenuation processing, binaural processing, and the like as pipeline processing.
  • these processes are merely examples, and the pipeline processing may include other processes than these, or may not include some of the processes.
  • the pipeline processing may include diffraction processing and occlusion processing.
  • reverberation processing may be omitted if it is not necessary.
  • Each process may be expressed as a stage.
  • audio signals such as reflected sounds generated as a result of each process may be expressed as rendering items.
  • the multiple stages in pipeline processing and their order are not limited to the example shown in FIG. 24.
  • the reverberation processor 1311 refers to the audio signal and spatial information contained in the input signal, and calculates the reverberation using a predetermined function prepared in advance as a function for generating the reverberation.
  • the early reflection processor 1312 calculates parameters for generating early reflection sounds based on spatial information.
  • Early reflection sounds are reflected sounds that arrive at the listener after one or more reflections at a relatively early stage (e.g., about several tens of milliseconds after the direct sound arrives) after the direct sound from the sound source object arrives at the listener.
  • the early reflection processing unit 1312 may also calculate the path of the direct sound.
  • the information on the path may be used as a parameter by the early reflection processing unit 1312 to generate the early reflected sound, or may be used as a parameter by the determination unit 1314 to select the reflected sound.
  • the pipeline processing may also include other processes.
  • the rendering unit 1300 may also include processing units (not shown) for performing other processes included in the pipeline processing.
  • the rendering unit 1300 may include a diffraction processing unit and an occlusion processing unit.
  • the diffraction processing unit executes processing to generate an audio signal that indicates sound including diffracted sound caused by an obstacle object between the listener and the sound source object in a three-dimensional sound field (space).
  • diffracted sound is sound that travels from the sound source object to the listener, going around the obstacle object.
  • the position information given to the sound source object indicates a "point” in the virtual space as the position of the sound source object. That is, in the above, the sound source is defined as a "point sound source.”
  • a sound source in a virtual space may be defined as an object having length, size, shape, etc., that is, as a spatially extended sound source that is not a point sound source.
  • the distance between the listener and the sound source and the direction from which the sound is coming are not determined. Therefore, the reflected sound caused by such a sound source may be limited to being selected by the determination unit 1302 without analysis by the analysis unit 1301, or regardless of the analysis results. This makes it possible to avoid deterioration in sound quality that may occur by not selecting the reflected sound.
  • a representative point such as the center of gravity of the object may be determined, and the processing of the present disclosure may be applied on the assumption that sound is generated from that representative point.
  • the threshold may be adjusted according to information on the spatial extension of the sound source.
  • a direct sound is a sound that is not reflected by a reflecting object
  • a reflected sound is a sound that is reflected by a reflecting object
  • a direct sound may be a sound that arrives at a listener from a sound source without being reflected by a reflecting object
  • a reflected sound may be a sound that arrives at a listener from a sound source after being reflected by a reflecting object.
  • FIG. 25 is a diagram showing sound transmission and diffraction. As shown in FIG. 25, there are cases where direct sound does not reach the listener due to the presence of an obstacle object between the sound source object and the listener. In this case, sound emitted from the sound source object, transmitted through the obstacle object, and reached the listener may be considered as direct sound. And sound emitted from the sound source object, diffracted by the obstacle object, and reached the listener may be considered as reflected sound.
  • the two sounds compared in the selection process are not limited to a direct sound and a reflected sound based on a sound emitted by a single sound source.
  • a sound may be selected by comparing two reflected sounds based on a sound emitted by a single sound source.
  • the direct sound in this disclosure may be interpreted as the sound that reaches the listener first, and the reflected sound in this disclosure may be interpreted as the sound that reaches the listener later.
  • spatial information is information about the space in which a listener who hears sound based on an audio signal is located.
  • spatial information is information about a specific position (localization position) for localizing a sound image at that position in a sound space (e.g., a three-dimensional sound field), that is, for allowing the listener to perceive sound coming from a direction corresponding to the specific position.
  • Spatial information includes, for example, sound source object information and position information indicating the position of the listener.
  • the sound source object information may indicate the position of the sound source object placed in the sound space, the orientation of the sound source object, the directivity of the sound emitted by the sound source object, whether the sound source object belongs to a living thing, and whether the sound source object is a moving object.
  • the audio signal is associated with one or more sound source objects indicated by the sound source object information.
  • the bitstream has a data structure that consists of, for example, metadata (control information) and an audio signal.
  • Metadata may be added to each bitstream, or may be added to multiple bitstreams collectively as information for controlling multiple bitstreams. In this case, multiple bitstreams may share metadata. Metadata may also be added for each playback time.
  • one or more of the bitstreams or one or more of the files may contain information indicating the associated bitstreams or associated files.
  • each of all of the bitstreams or each of all of the files may contain information indicating the associated bitstreams or associated files.
  • the related bitstreams or related files are, for example, bitstreams or files that may be used simultaneously during audio processing. Also, a bitstream or file that collectively describes information indicating related bitstreams or related files may be included.
  • the information indicating the related bitstream or related file may be, for example, an identifier indicating the related bitstream or related file.
  • the information indicating the related bitstream or related file may be, for example, a file name indicating the related bitstream or related file, a URL (Uniform Resource Locator), or a URI (Uniform Resource Identifier), etc.
  • the acquisition unit identifies and acquires the related bitstream or related file based on the information indicating the related bitstream or related file.
  • a bitstream or file may contain information indicating the related bitstream or related file, and another bitstream or another file may contain information indicating the related bitstream or related file.
  • the file containing information indicating the associated bitstream or associated file may be a control file such as a manifest file used for content distribution.
  • Metadata may be obtained from sources other than the bitstream of the audio signal.
  • the metadata for controlling the sound or the metadata for controlling the video may be obtained from sources other than the bitstream, or both may be obtained from sources other than the bitstream.
  • Metadata for controlling the video may be included in the bitstream acquired by the stereophonic sound reproduction system 1000.
  • the stereophonic sound reproduction system 1000 may output the metadata for controlling the video to a display device that displays the image, or a stereophonic video reproduction device that reproduces the stereophonic video.
  • the metadata may include not only information for controlling audio processing, but also information for controlling video processing.
  • the metadata may include only one of information for controlling audio processing and information for controlling video processing, or may include both.
  • the stereophonic sound reproduction system 1000 performs acoustic processing on the audio signal using metadata included in the bitstream and interactive listener position information that is additionally acquired, thereby generating virtual acoustic effects.
  • acoustic effects early reflection processing, obstacle processing, diffraction processing, blocking processing, and reverberation processing may be performed, and other acoustic processing may be performed using the metadata.
  • acoustic effects such as distance attenuation effect, localization, or Doppler effect may be added.
  • information for switching all or some of the sound effects on and off, or priority information for multiple sound effect processes may be added to the metadata.
  • the metadata includes information about a sound space including sound source objects and obstacle objects, and information about a localization position for localizing a sound image at a specific position within the sound space (i.e., allowing a listener to perceive a sound coming from a specific direction).
  • an obstacle object is an object that can affect the sound perceived by the listener, for example by blocking or reflecting the sound emitted by the sound source object before it reaches the listener.
  • Obstacle objects can include stationary objects as well as moving objects such as animals or machines. Animals can also be people, etc.
  • the metadata includes information that represents all or part of the shape of the sound space, the shape and position of obstacle objects in the sound space, the shape and position of sound source objects in the sound space, and the position and orientation of the listener in the sound space.
  • the sound source area is determined based on the relative relationship between the listener's position and the object's position, it is possible for the listener to perceive sound E coming from the right side of the object and sound F coming from the left side of the object.
  • Spatial metadata may include time to early reflections, reverberation time, and the ratio of direct sound to diffuse sound. If the ratio of direct sound to diffuse sound is zero, it is possible for the listener to perceive only direct sound.
  • the determination unit 2302 may perform all or part of the processing performed by the determination unit 1302 according to the first embodiment.
  • the determination unit 2302 also determines whether or not an output signal based on an audio signal created by the analysis unit 2301 (more specifically, the propagation path detection unit 2301a) is output (reproduced) by the reproduction unit 2303.
  • the classification unit 2302a acquires an audio signal including attribute information that is created by the propagation path detection unit 2301a and stored in the memory 2301b.
  • the classification unit 2302a outputs the audio signal to the first determination unit 2302b or the second determination unit 2302c according to the attribute specified by the attribute information included in the acquired audio signal.
  • the playback unit 2303 has a first playback unit 2303a and a second playback unit 2303b.
  • the first playback unit 2303a outputs an output signal (first output signal) based on a sound signal whose attribute is a predetermined sound different from indirect sound.
  • the second playback unit 2303b outputs an output signal (second output signal) based on a sound signal whose attribute is indirect sound.
  • the first reproduction unit 2303a performs binaural filtering on the acquired audio signal to generate and output a first output signal.
  • the binaural filtering is achieved, for example, by processing the acquired audio signal using a head-related transfer function.
  • the second reproduction unit 2303b performs binaural filtering and diffusion filtering on the acquired audio signal to generate and output a second output signal.
  • Diffusion filtering is, for example, a process for improving the reality of indirect sound by diffusing the indirect sound represented by the acquired audio signal.
  • Diffusion filtering is a process using a filter that realistically simulates the auditory strength of the sound diffusion represented by the acquired audio signal (i.e., simulates the auditory strength of the sound diffusion felt by the listener). In diffusion filtering, a finite impulse filter and/or an infinite impulse filter is used.
  • the analysis unit 2301 analyzes the input signal and calculates values related to the path taken by each of the direct sound and reflected sound to reach the listening position, the time it takes for each sound to arrive, and the volume at the time of arrival, as well as a value related to the time difference between the direct sound and the reflected sound, and a value related to the volume ratio between the direct sound and the reflected sound at the listening position.
  • the propagation path detection unit 2301a calculates the characteristics of the direct sound represented by the created audio signal and the reflected sound represented by the created audio signal. Specifically, the arrival time and volume of the direct sound and reflected sound at the time of arrival at the listener (listening position) are calculated. The method of calculating the arrival time and volume of the direct sound and reflected sound can be the same as that shown in embodiment 1.
  • the volume when the reflected sound arrives means the volume when the reflected sound, which is an example of an indirect sound, arrives at the listening position, or in other words, the volume of the indirect sound (reflected sound) at the listening position.
  • the volume ratio (L) is the volume ratio between the direct sound and the reflected sound (indirect sound) at the listening position.
  • the volume ratio (L) and the time difference (T) can be calculated using the method shown in the first embodiment.
  • the classification unit 2302a also acquires the volume (ld) at the time of direct sound arrival, the volume (lr) at the time of reflected sound arrival, the volume ratio (L), and the time difference (T) calculated by the propagation path detection unit 2301a.
  • the second determination process is a process for determining whether or not the acquired audio signal satisfies the second condition.
  • the second determination process if the volume ratio between the direct sound (predetermined sound) and the reflected sound (indirect sound) when they arrive at the listening position is equal to or greater than a second threshold determined according to the time difference between the direct sound and the reflected sound, the acquired audio signal is determined to satisfy the second condition.
  • the second determination process corresponds to the process performed by the determination unit 1302 in the first embodiment.
  • the time difference is calculated by the propagation path detection unit 2301a, and the second determination unit 2302c obtains the calculated time difference and performs the second determination process.
  • the reflected sound and the direct sound related to the reflected sound come from the same sound source.
  • the time difference between the direct sound and the reflected sound is, for example, but not limited to, the time difference between the direct sound arrival time (arrival time) and the reflected sound arrival time (arrival time).
  • the volume ratio between the direct sound and the reflected sound when the reflected sound and the direct sound arrive at the listening position corresponds to the volume ratio (L) in the first embodiment, which is the ratio between the volume when the direct sound arrives (ld) and the volume when the reflected sound arrives (lr).
  • the first determination process is a process performed on an audio signal whose attribute is indirect sound (reflected sound) and an audio signal whose attribute is information indicating a predetermined sound (direct sound).
  • the first judgment process is a process for judging whether or not the acquired audio signal satisfies a first condition.
  • the first judgment process if the amplitude value of the acquired audio signal is equal to or greater than a first threshold, the acquired audio signal is judged to satisfy the first condition.
  • the amplitude value of an audio signal corresponds to the volume of the sound (reflected sound (indirect sound) or direct sound (predetermined sound)) represented by the audio signal, in the first judgment process, if the volume of the sound represented by the acquired audio signal is equal to or greater than a certain level, the acquired audio signal is judged to satisfy the first condition.
  • the first threshold is a constant value that does not depend on the time difference between the direct sound and the reflected sound (indirect sound).
  • the first threshold is a value related to the volume of the acquired audio signal, in other words, a value related to the amplitude value. More specifically, the first threshold indicates the volume at the boundary between whether or not a sound can be perceived by a listener, and is a threshold for determining that a sound with a volume lower than the threshold is not to be reproduced.
  • FIG. 28 is a graph showing threshold data indicating the first threshold according to this embodiment.
  • the first threshold is -70 dB, and since the amplitude value of audio signal B shown in FIG. 28 is equal to or greater than the first threshold, audio signal B is determined to satisfy the first condition. Also, since the amplitude value of audio signal A shown in FIG. 28 is less than the first threshold, audio signal A is determined to not satisfy the first condition.
  • the playback unit 2303 acquires the audio signal output from the determination unit 2302 and outputs an output signal based on the audio signal (S503).
  • the first determination unit 2302b does not output the audio signal to the reproduction unit 2303 (first reproduction unit 2303a). In such a case, the first reproduction unit 2303a does not output an output signal based on the audio signal, thereby reducing the amount of calculation and the calculation load.
  • the second determination unit 2302c does not output the audio signal to the reproduction unit 2303 (second reproduction unit 2303b) if the audio signal does not satisfy the first condition, and does not output the audio signal to the reproduction unit 2303 (second reproduction unit 2303b) if the audio signal does not satisfy the second condition.
  • the second reproduction unit 2303b does not output an output signal based on the audio signal, thereby reducing the amount of calculation and the calculation load.
  • the acquisition step acquires an audio signal that includes attribute information that identifies an attribute of the audio signal.
  • the determination step performs a first determination process to determine whether the acquired audio signal satisfies a first condition when the attribute identified by the attribute information included in the acquired audio signal is information indicating indirect sound, and a second determination process to determine whether the acquired audio signal satisfies a second condition different from the first condition.
  • the reproduction step outputs an output signal based on the acquired audio signal when the acquired audio signal satisfies the first condition and the second condition.
  • a first judgment process and a second judgment process are performed on an audio signal whose attribute is indirect sound (reflected sound), and an output signal based on the acquired audio signal is output if the audio signal satisfies the first condition and the second condition. That is, it is appropriately determined whether or not an output signal based on an audio signal whose attribute is indirect sound (reflected sound) is to be output. If an output signal is not output, the amount of calculation and the calculation load are reduced. In other words, it is possible to realize an audio signal processing method that can appropriately reduce the amount of calculation and the calculation load.
  • the acquired audio signal in the first determination process, if the amplitude value of the acquired audio signal is equal to or greater than a first threshold, the acquired audio signal is determined to satisfy the first condition.
  • the second determination process if the volume ratio between the direct sound and the indirect sound related to the indirect sound when they arrive at the listening position where the listener is located is equal to or greater than a second threshold determined according to the time difference between the arrival of the direct sound and the indirect sound, the acquired audio signal is determined to satisfy the second condition.
  • the audio signal is determined to satisfy the first condition if the amplitude value is equal to or greater than the first threshold, and in the second determination process, the audio signal is determined to satisfy the second condition if the volume ratio is equal to or greater than the second threshold.
  • an output signal based on the acquired audio signal is output. In other words, it is more appropriately determined whether or not an output signal based on the audio signal is output. In other words, it is possible to realize an audio signal processing method that can more appropriately reduce the amount of calculation and the calculation load.
  • the first judgment unit 2302b and the second judgment unit 2302c are provided, but this is not limited thereto.
  • the first judgment unit 2302b may not be provided, and the second judgment unit 2302c may be provided.
  • the second judgment unit 2302c acquires both an audio signal whose attribute is a predetermined sound (direct sound) and an audio signal whose attribute is an indirect sound (reflected sound), and performs a first judgment process on both of them. If the first judgment process determines that the audio signal whose attribute is a predetermined sound (direct sound) satisfies the first condition, the audio signal is output to the first reproduction unit 2303a, and the first reproduction unit 2303a outputs a first output signal based on the output audio signal.
  • Fig. 29 is a block diagram showing an example of the configuration of the rendering unit 3300 according to the present embodiment.
  • the rendering unit 3300 includes an analysis unit 2301, a determination unit 3302, and a playback unit 3303.
  • the determination unit 3302 has the same configuration as the determination unit 2302 according to the second embodiment, except that it has a second determination unit 3302c instead of the first determination unit 2302c.
  • the playback unit 3303 has the same configuration as the playback unit 2303 in embodiment 2, except that it further includes a gain setting unit 3303c.
  • the gain setting unit 3303c outputs the determined gain to the judgment unit 3302 (more specifically, the second judgment unit 3302c).
  • the second determination unit 3302c performs a first determination process to determine whether the audio signal output from the classification unit 2302a satisfies a first condition. In this embodiment, the second determination unit 3302c does not perform the second determination process.
  • the analysis unit 2301 outputs the audio signal stored in the memory 2301b to the renderer pipeline unit 4304.
  • the first processing unit 4304a1 When the acquired audio signal has been processed by the initial reflection processing unit 1312, the first processing unit 4304a1 performs a first process of determining the amount by which to increase or decrease the amplitude of the audio signal.
  • the first processing unit 4304a may perform a process of determining the amount by which to increase or decrease the amplitude of the audio signal as the first process.
  • the acquired audio signal is output to the determination unit 4302, where it is processed.
  • the second processing unit 4304b2 When the binaural filter processing described above is performed on the acquired audio signal, the second processing unit 4304b2 performs a process of determining the amount by which to increase or decrease the amplitude of the audio signal as the second process.
  • a sphere centered at listening position P is shown, and on the sphere, circles are shown along the listener's horizontal plane, median plane, and frontal plane.
  • the circle along the listener's horizontal plane is shown in bold
  • Figure 33 the circle along the listener's median plane is shown in bold
  • Figure 34 the circle along the listener's frontal plane is shown in bold.
  • the energy of the head-related transfer function differs for each localization direction.
  • the energy of the head-related transfer function is shown converted to dB when the energy of a transfer function with a transfer characteristic of 1 is set to 0 dB.
  • FIGS. 31 to 34 show the energy of an example head-related transfer function, but the energy varies greatly depending on the head-related transfer function used.
  • a process is performed to determine the amount of increase or decrease depending on the head-related transfer function used.
  • the second processing units 4304b1 and 4304b2 each perform the second processing described above and output the determined increase or decrease amount to the second gain accumulation unit 4306.
  • the first gain accumulation unit 4305 calculates the first amount of increase or decrease.
  • the first amount of increase or decrease is an amount of increase or decrease determined by each of the multiple first processes (more specifically, each of the multiple first processing units 4304a), and is a value obtained by accumulating the amount of increase or decrease that amplifies the amplitude of the acquired audio signal. More specifically, the first gain accumulation unit 4305 calculates the first amount of increase or decrease by accumulating the amount of increase or decrease to the reference volume. In other words, the first amount of increase or decrease is a value obtained by accumulating the amount of increase or decrease determined by each of the multiple first processing units 4304a and the reference volume.
  • the multiple first processing units 4304a determine multiple (here, four) amounts of gain or loss for the acquired audio signal. Each of the multiple first processing units 4304a outputs the determined amount of gain or loss to the first gain accumulation unit 4305.
  • the first gain accumulation unit 4305 acquires the multiple output amounts of gain or loss and calculates a first amount of gain or loss by accumulating the multiple (four) amounts of gain or loss and a reference volume.
  • the first gain accumulation unit 4305 outputs the calculated first amount of gain or loss to the second gain accumulation unit 4306, and the second gain accumulation unit 4306 acquires the output first amount of gain or loss.
  • the second gain accumulation unit 4306 calculates a second amount of increase or decrease.
  • the second amount of increase or decrease is an amount of increase or decrease determined by each of the multiple second processes (more specifically, each of the multiple second processing units 4304b), and is a value obtained by accumulating the amounts of increase or decrease that amplify the amplitude of the acquired audio signal. More specifically, the second gain accumulation unit 4306 accumulates the amounts of increase or decrease, and further accumulates the first amount of increase or decrease output from the first gain accumulation unit 4305 to the accumulated amount of increase or decrease, thereby calculating the second amount of increase or decrease.
  • the second amount of increase or decrease is a value obtained by accumulating the amounts of increase or decrease determined by each of the multiple second processing units 4304b and the first amount of increase or decrease.
  • the second processing units 4304b determine multiple (here, two) amounts of increase or decrease for the acquired audio signal. Each of the second processing units 4304b outputs a parameter indicating the determined amount of increase or decrease to the second gain accumulation unit 4306.
  • the second gain accumulation unit 4306 acquires the multiple output parameters and calculates the second amount of increase or decrease by accumulating the amount of increase or decrease indicated by each of the multiple parameters and the first amount of increase or decrease.
  • the second process may be a sound quality adjustment function performed by the listener's selection, and may involve increasing or decreasing the amplitude of the signal.
  • the second amount of increase or decrease may include the amount of increase or decrease in amplitude due to the sound quality adjustment function set by the listener of the virtual space.
  • the listener may make a selection by, for example, operating the operation reception unit, the operation reception unit may accept the selection, and the second gain accumulation unit 4306 may calculate the second amount of increase or decrease based on the selection accepted by the operation reception unit.
  • the listener may make a selection that results in the sound quality of his or her preference, and thereby be able to listen to sound with the sound quality of his or her preference.
  • the second amount of increase or decrease may further include the amount of increase or decrease in amplitude due to the sound quality adjustment function that is set by the selection of the administrator of the virtual space instead of the listener of the virtual space.
  • the determination unit 4302 performs a first determination process on the audio signal acquired by the renderer pipeline unit 4304. In the first determination process, if the first increase/decrease amount (G1) calculated by the first gain accumulation unit 4305 is equal to or greater than the first threshold value (T1), it is determined that the acquired audio signal satisfies the first condition.
  • the first threshold value in this embodiment is a fixed value and is a value related to the volume of the audio signal, in other words, a value related to the amplitude value. In other words, the first threshold value in this embodiment is the same as the first threshold value described in embodiment 2.
  • the determination unit 4302 performs a second determination process on the audio signal acquired by the renderer pipeline unit 4304. In the second determination process, if the value corresponding to the second increase or decrease calculated by the second gain accumulation unit 4306 is equal to or greater than the second threshold, it is determined that the acquired audio signal satisfies the second condition.
  • the second increase or decrease calculated by the second gain accumulation unit 4306 corresponds to the volume (Ir) at the time of arrival of the reflected sound shown in the first and second embodiments, that is, it indicates the volume when the reflected sound indicated by the acquired audio signal arrives at the listening position.
  • the value corresponding to the second amount of increase or decrease is the ratio (volume ratio) between the volume of the direct sound related to the indirect sound (reflected sound) indicated by the acquired audio signal and the second amount of increase or decrease calculated by the second gain accumulation unit 4306.
  • the value corresponding to the second amount of increase or decrease corresponds to the volume ratio (L) shown in the second embodiment, which is the ratio between the volume when the direct sound arrives (ld) and the volume when the reflected sound arrives (lr).
  • the second determination process according to the second embodiment if the volume ratio (L) between the direct sound and the indirect sound when the indirect sound and the direct sound arrive at the listening position is equal to or greater than a second threshold, the acquired audio signal is determined to satisfy the second condition.
  • the second determination process according to the present embodiment is the same as the second determination process according to the second embodiment, except that the volume ratio between the direct sound and the indirect sound is changed to a value according to the second increase or decrease amount.
  • the second determination process if the first determination process determines that the acquired audio signal does not satisfy the first condition, the second determination process is not performed. Also, if the first determination process determines that the acquired audio signal does satisfy the first condition, the second determination process is performed.
  • the second amount of increase or decrease is calculated before the second determination process is performed.
  • the second process performed by the second processing unit 4304b uses processing based on the auditory perceptual characteristics of the listener, and is therefore a process that determines the amount of increase or decrease without relying on the audio signal (i.e., statically). For this reason, the second amount of increase or decrease can be calculated before the second determination process is performed.
  • the determination unit 4302 outputs the acquired audio signal to a plurality of second processing units 4304b, and further, the renderer pipeline unit 4304 outputs the acquired audio signal to the playback unit 4303.
  • the renderer pipeline unit 4304 may also output the second increase/decrease amount calculated by the second gain accumulation unit 4306 to the playback unit 4303. Then, processing is performed in the playback unit 4303.
  • the analysis unit 2301 performs an analysis process to analyze the input signal (S601).
  • each of the multiple first processing units 4304a determines the amount of increase or decrease by which to amplify the amplitude of the acquired audio signal (S603).
  • Each of the multiple first processing units 4304a outputs the determined amount of increase or decrease to the first gain accumulation unit 4305.
  • the analysis unit 2301 outputs the reference volume of the indirect sound (reflected sound) to the first gain accumulation unit 4305.
  • the second gain accumulation unit 4306 acquires the output multiple (two) amounts of increase/decrease and the calculated first amount of increase/decrease, and accumulates the acquired multiple amounts of increase/decrease and the acquired first amount of increase/decrease to calculate a second amount of increase/decrease (S606). Then, the second gain accumulation unit 4306 outputs the calculated second amount of increase/decrease to the determination unit 4302.
  • the second determination process is performed.
  • the audio signal processing method is an audio signal processing method executed by an audio signal processing device, and includes an acquisition step, a renderer pipeline step, a playback step, a first gain accumulation step, and a second gain accumulation step.
  • the acquisition step acquires an audio signal indicative of indirect sound.
  • the renderer pipeline step performs one or more first processes, a first determination process, a second determination process, and one or more second processes different from the one or more first processes on the acquired audio signal.
  • the first gain accumulation step includes a reproducing step of outputting an output signal based on the acquired audio signal, and accumulating the amount of increase or decrease determined by each of one or more first processes, which amplifies the amplitude of the acquired audio signal, to calculate a first amount of increase or decrease.
  • the second gain accumulation step includes accumulating the amount of increase or decrease determined by each of one or more second processes, which amplifies the amplitude of the acquired audio signal, to calculate a second amount of increase or decrease.
  • the first determination process if the calculated first amount of increase or decrease is equal to or greater than a first threshold, it is determined that the acquired audio signal satisfies the first condition. If it is determined that the acquired audio signal does not satisfy the first condition, the second determination process is not performed.
  • the second determination process is performed. In the second determination process, if a value corresponding to the calculated second amount of increase or decrease is equal to or greater than a second threshold different from the first threshold, it is determined that the acquired audio signal satisfies the second condition, and a reproducing step is performed if it is determined that the acquired audio signal satisfies the second condition.
  • the second amount of increase or decrease calculated in the second gain accumulation step is an amount of increase or decrease when a diffusion filter process is performed to improve the reality of the indirect sound by diffusing the indirect sound, and includes an amount of increase or decrease that amplifies the amplitude of the acquired audio signal.
  • the above value is the ratio between the volume of the direct sound related to the indirect sound and the second amount of increase or decrease calculated in the second gain accumulation step, and the second threshold is determined according to the time difference between the arrival of the direct sound and the indirect sound.
  • the second determination process if the ratio is equal to or greater than the second threshold, it is determined that the audio signal indicating indirect sound satisfies the second condition, and an output signal based on the acquired audio signal is output when such second condition is satisfied. In other words, it is more appropriately determined whether or not an output signal based on an audio signal indicating indirect sound is output. In other words, it is possible to realize an audio signal processing method that can more appropriately reduce the amount of calculation and the calculation load.
  • the second amount of increase or decrease calculated in the second gain accumulation step includes the amount of increase or decrease in amplitude due to the sound quality adjustment function set by the listener's selection.
  • the above value is the ratio between the volume of the direct sound related to the indirect sound and the second amount of increase or decrease calculated in the second gain accumulation step, and the second threshold is determined according to the time difference between the arrival of the direct sound and the indirect sound.
  • the first threshold value is a value related to the volume.
  • parameters are acquired that indicate the amount of increase or decrease determined by each of one or more second processes and that amplify the amplitude of the acquired audio signal, and the second amount of increase or decrease is calculated according to the acquired multiple parameters.
  • the second increase or decrease amount according to the above parameters is calculated, so that it is possible to more appropriately determine whether or not an output signal based on a sound signal whose attribute is indirect sound is to be output. In other words, it is possible to realize a sound signal processing method that can more appropriately reduce the amount of calculation and the calculation load.
  • the rendering unit 5300 has the same configuration as the rendering unit 4300 according to the fourth embodiment, except that it further includes a modification unit 5307 and an invalidation unit 5308.
  • the first threshold value set by the change unit 5307 may have a different value when the invalidation process is performed and when the invalidation process is not performed. More specifically, the first threshold value set when the invalidation process is performed may be greater than the first threshold value set when the invalidation process is not performed. The setting of the first threshold value and the effect of the invalidation process are described below with reference to FIG. 37.
  • FIG. 37 shows a table illustrating the setting of the first threshold and the effect of the invalidation process in this embodiment.
  • the “thinning number” indicates the number of audio signals (more specifically, multiple audio signals) acquired by the renderer pipeline unit 4304 that are not output as output signals from the playback unit 4303.
  • “O” is shown
  • “X” is shown.
  • the storage area that stores the value indicating the first threshold set by the change unit 5307 and the storage area that stores the signal instructing the execution of the invalidation process are adjacent areas. This is because not only is it easy to visually grasp the setting value by being adjacent to each other, but also because they are adjacent in terms of memory area, a special effect is obtained in that both values can be set simultaneously (with one memory access process).
  • the value indicating the first threshold and the signal instructing to perform the invalidation process are linked and arranged in the upper and lower bit fields of an area accessible by a single address, and the series of data arranged in this manner is written in a single memory access, allowing the two pieces of data to be set simultaneously.
  • the second determination process is no longer performed due to the invalidation process, and the amount of calculation and calculation load required to perform the second determination process can be reduced.
  • the first threshold value set when the invalidation process is performed is greater than the first threshold value set when the invalidation process is not performed.
  • being equal to or greater than the threshold value and being greater than the threshold value may be interpreted as interchangeable.
  • being equal to or less than the threshold value and being smaller than the threshold value may be interpreted as interchangeable.
  • time and hour may be interpreted as interchangeable.
  • the process of selecting one or more processing target sounds from a plurality of sounds if there is no sound that satisfies the conditions, then none of the sounds may be selected as processing target sounds.
  • the process of selecting one or more processing target sounds from a plurality of sounds may include cases in which no processing target sound is selected.
  • an expression "at least one of a first element, a second element, and a third element” may correspond to a first element, a second element, a third element, or any combination thereof.
  • the aspects understood based on this disclosure are described as being implemented as an audio signal processing device, an encoding device, or a decoding device.
  • the aspects understood based on this disclosure are not limited to these, and may be implemented as software for executing an audio signal processing method, an encoding method, or a decoding method.
  • a program for executing the above-mentioned audio signal processing method, encoding method, or decoding method may be stored in a computer-readable recording medium.
  • the computer may then record the program stored in the recording medium in the computer's RAM and operate according to the program.
  • the above components may be realized as an LSI, which is an integrated circuit typically having input and output terminals. These may be individually formed into single chips, or may be formed into a single chip that includes all or some of the components of the embodiments. Depending on the degree of integration, the LSI may be expressed as an IC, a system LSI, a super LSI, or an ultra LSI.
  • the FPGA or CPU, etc. may download all or part of the software for realizing the audio signal processing method, encoding method, or decoding method described in this disclosure via wireless or wired communication. Furthermore, all or part of the software for updates may be downloaded via wireless or wired communication. Then, the FPGA or CPU, etc. may store the downloaded software in memory and operate based on the stored software to execute the digital signal processing described in this disclosure.
  • the device equipped with an FPGA or a CPU, etc. may be connected to the signal processing device wirelessly or via a wire, or may be connected to the signal processing server via a network.
  • This device and the signal processing device or the signal processing server may then perform the audio signal processing method, encoding method, or decoding method described in this disclosure.
  • a server may provide software related to the acoustic processing, encoding processing, or decoding processing of the present disclosure. Then, a terminal or device may operate as an audio signal processing device, encoding device, or decoding device described in the present disclosure by installing the software. Note that the terminal or device may be connected to a server via a network and the software may be installed.
  • a device other than the terminal or device may connect to a server via a network to obtain data for installing the software, and the other device may provide the data for installing the software to the terminal or device, thereby installing the software in the terminal or device.
  • An example of the software may be VR software or AR software for causing a terminal or device to execute the audio signal processing method described in the embodiment.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • Audio signal processing device 1002 Audio presentation device 1100, 1120, 1500 Encoding device 1101, 1113 Input data 1102 Encoder 1103 Encoded data 1104, 1114, 1404, 1503, 2301b Memory 1110, 1130 Decoding device 1111 Audio signal 1112, 1200, 1210 Decoder 1121 Transmitting unit 1122 Transmitted signal 1131 Receiving unit 1132 Received signal 1201, 1211 Spatial information management unit 1202 Audio data decoder 1203, 1213, 1300, 2300, 3300, 4300, 5300 Rendering unit 1301, 2301 Analysis unit 1302, 1314, 2302, 3302, 4302 Determination unit 1303, 2303, 3303, 4303 Reproduction unit 1304 Threshold adjustment unit 1311 Reverberation processing unit 1312 Early reflection processing unit 1313 Distance attenuation processing unit 1315 Generation unit 1316 Binaural processing unit 1401 Speaker 1402, 1501 Processor 1403, 1502 Communication IF 1405 Sensor 2301a Propagation path detection unit 2302a

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

音声信号処理方法は、音声信号処理装置が実行する音声信号処理方法であって、音声信号であって、音声信号の属性を特定する属性情報を含む音声信号を取得する取得ステップと、取得された音声信号が含む属性情報によって特定される属性が間接音を示す情報である場合に、取得された音声信号が、第１条件を満たすか否かを判定する第１判定処理及び第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定ステップと、取得された音声信号が第１条件及び第２条件を満たす場合に、取得された音声信号に基づく出力信号を出力する再生ステップと、を含む。

Description

音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置
　本開示は、音声信号処理方法等に関する。
　近年、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）及びＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）を含むＥＲ（Ｅｘｔｅｎｄｅｄ　Ｒｅａｌｉｔｙ）（ＸＲとも表現され得る）を利用した商品及びサービスの普及が進んでいる。これに伴い、仮想空間又は実空間において、仮想的な音源が発した音に対して当該空間の環境に応じて生じる音響効果を付与してイマーシブオーディオ（Ｉｍｍｅｒｓｉｖｅ　Ａｕｄｉｏ）を受聴者に提供する音声信号処理技術の重要性が向上している。
　なお、受聴者は、リスナ又はユーザとも表現され得る。また、特許文献１、特許文献２、特許文献３及び非特許文献１には、本開示の音声信号処理方法等に関連する技術が示されている。
特許第６２８８１００号公報 特開２０１９－２２０４９号公報 国際公開第２０２１／１８０９３８号
Ｂ．Ｃ．Ｊ．ムーア著、「聴覚心理学概論」、誠信書房、１９９４／４／２０、第６章：空間知覚、ｐ．２２５
　ところで、特許文献１が示す技術では、演算量及び演算負荷を適切に削減することが困難な場合がある。
　そこで、本開示は、演算量及び演算負荷を適切に削減することができる音声信号処理方法等を提供することを目的とする。
　本開示の一態様に係る音声信号処理方法は、音声信号処理装置が実行する音声信号処理方法であって、音声信号であって、前記音声信号の属性を特定する属性情報を含む音声信号を取得する取得ステップと、取得された前記音声信号が含む前記属性情報によって特定される前記属性が間接音を示す情報である場合に、取得された前記音声信号が、第１条件を満たすか否かを判定する第１判定処理及び前記第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定ステップと、取得された前記音声信号が前記第１条件及び前記第２条件を満たす場合に、取得された前記音声信号に基づく出力信号を出力する再生ステップと、を含む。
　本開示の一態様に係る音声信号処理方法は、音声信号処理装置が実行する音声信号処理方法であって、間接音を示す音声信号を取得する取得ステップと、取得された前記音声信号について、１以上の第１処理、第１判定処理、第２判定処理、及び、前記１以上の第１処理とは異なる１以上の第２処理を行うレンダラーパイプラインステップと、取得された前記音声信号に基づく出力信号を出力する再生ステップと、前記１以上の第１処理のそれぞれによって決定された増減量であって、取得された前記音声信号の振幅を増幅させる増減量を累積して第１増減量を算出する第１ゲイン累積ステップと、前記１以上の第２処理のそれぞれによって決定された増減量であって、取得された前記音声信号の振幅を増幅させる増減量を累積して第２増減量を算出する第２ゲイン累積ステップと、を含み、前記第１判定処理では、算出された前記第１増減量が、第１閾値以上である場合に、取得された前記音声信号が第１条件を満たすと判定され、取得された前記音声信号が前記第１条件を満たさないと判定された場合に、前記第２判定処理が行われず、取得された前記音声信号が前記第１条件を満たすと判定された場合に、前記第２判定処理が行われ、前記第２判定処理では、算出された前記第２増減量に応じた値が、前記第１閾値と異なる第２閾値以上である場合に、取得された前記音声信号が第２条件を満たすと判定され、取得された前記音声信号が前記第２条件を満たすと判定された場合に、前記再生ステップが行われる。
　また、本開示の一態様に係るコンピュータプログラムは、上記の音声信号処理方法をコンピュータに実行させる。
　また、本開示の一態様に係る音声信号処理装置は、音声信号であって、前記音声信号の属性を特定する属性情報を含む音声信号を取得する取得部と、取得された前記音声信号が含む前記属性情報によって特定される前記属性が間接音を示す情報である場合に、取得された前記音声信号が、第１条件を満たすか否かを判定する第１判定処理及び前記第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定部と、取得された前記音声信号が前記第１条件及び前記第２条件を満たす場合に、取得された前記音声信号に基づく出力信号を出力する再生部と、を備える。
　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様に係る音声信号処理方法等によれば、演算量及び演算負荷を適切に削減することができる。
図１は、音空間で生成される直接音及び反射音の一例を示す図である。 図２は、実施の形態１における立体音響再生システムの一例を示す図である。 図３Ａは、実施の形態１における符号化装置の構成例を示すブロック図である。 図３Ｂは、実施の形態１における復号装置の構成例を示すブロック図である。 図３Ｃは、実施の形態１における符号化装置の別の構成例を示すブロック図である。 図３Ｄは、実施の形態１における復号装置の別の構成例を示すブロック図である。 図４Ａは、実施の形態１におけるデコーダの構成例を示すブロック図である。 図４Ｂは、実施の形態１におけるデコーダの別の構成例を示すブロック図である。 図５は、実施の形態１における音声信号処理装置の物理的構成の一例を示す図である。 図６は、実施の形態１における符号化装置の物理的構成の一例を示す図である。 図７は、実施の形態１におけるレンダリング部の構成例を示すブロック図である。 図８は、実施の形態１における音声信号処理装置の動作例を示すフローチャートである。 図９は、受聴者と障害物オブジェクトとが比較的遠い位置関係を示す図である。 図１０は、受聴者と障害物オブジェクトとが比較的近い位置関係を示す図である。 図１１は、直接音と反射音との時間差と、閾値との関係を示す図である。 図１２Ａは、閾値データの設定方法の例の一部を示す図である。 図１２Ｂは、閾値データの設定方法の例の一部を示す図である。 図１２Ｃは、閾値データの設定方法の例の一部を示す図である。 図１３は、閾値の設定方法の例を示す図である。 図１４は、選択処理の一例を示すフローチャートである。 図１５は、直接音の方向と反射音の方向と時間差と閾値との関係を示す図である。 図１６は、角度差と時間差と閾値との関係を示す図である。 図１７は、レンダリング部の別の構成例を示すブロック図である。 図１８は、選択処理の別の例を示すフローチャートである。 図１９は、選択処理のさらに別の例を示すフローチャートである。 図２０は、実施の形態１における音声信号処理装置の動作の第１変形例を示すフローチャートである。 図２１は、実施の形態１における音声信号処理装置の動作の第２変形例を示すフローチャートである。 図２２は、アバターと音源オブジェクトと障害物オブジェクトとの配置例を示す図である。 図２３は、選択処理のさらに別の例を示すフローチャートである。 図２４は、レンダリング部がパイプライン処理を行うための構成例を示すブロック図である。 図２５は、音の透過及び回折を示す図である。 図２６は、実施の形態２に係るレンダリング部の構成例を示すブロック図である。 図２７は、実施の形態２に係る音声信号処理装置の動作例を示すフローチャートである。 図２８は、実施の形態２に係る第１閾値を示す閾値データを示すグラフである。 図２９は、実施の形態３に係るレンダリング部の構成例を示すブロック図である。 図３０は、実施の形態４に係るレンダリング部の構成例を示すブロック図である。 図３１は、実施の形態４に係る頭部伝達関数のエネルギーを説明する図である。 図３２は、実施の形態４に係る頭部伝達関数のエネルギーを説明する図である。 図３３は、実施の形態４に係る頭部伝達関数のエネルギーを説明する図である。 図３４は、実施の形態４に係る頭部伝達関数のエネルギーを説明する図である。 図３５は、実施の形態４に係る音声信号処理装置の動作例を示すフローチャートである。 図３６は、実施の形態５に係るレンダリング部の構成例を示すブロック図である。 図３７は、実施の形態５に係る第１閾値の変更及び無効化処理による影響を説明するための表を示す図である。
　（本開示の基礎となった知見）
　従来、仮想空間又は実空間において、仮想的な音源が発した音に対して当該空間の環境に応じて生じる音響効果を付与してイマーシブオーディオを受聴者に提供する音声信号処理技術が検討されてきた。
　特許文献１には、このような音声信号処理技術が開示されている。より具体的には、特許文献１には、オーディオ信号（音声信号）の重要度を検出し、検出された重要度が低いオーディオ信号を出力しない技術が開示されている。このように、重要度が低いオーディオ信号を出力しないことにより、当該音声信号処理技術では、演算量及び演算負荷を適切に削減することが期待される。
　ところで、音空間（仮想空間又は実空間）では、反射音が重要になる場合がある。
　図１は、音空間で生成される直接音及び反射音の一例を示す図である。仮想空間の特徴を音で表現する音響処理においては、空間の広さ及び壁面の材質等を表現するため、並びに、音源の位置（音像の定位）を正確に把握するために、直接音のみならず反射音を再現することが有効である。
　例えば、図１のような直方体の室内で音を聴く場合、１つの音源について６面の壁面に対応する６本の一次反射音が生じる。これらの反射音を再現することは、空間及び音像に関する適切な理解の手掛かりとなる。さらに各反射音に対し当該反射音を生じさせた反射面以外の面で二次反射音が生じる。これらの反射音も知覚的に有効な手掛かりとなる。
　しかしながら、二次反射までしか考慮しない場合でさえ、１つの音源について、１本の直接音と３６本（６＋６×５）の反射音が生じるので、３７本の音線が生じることになり、これらの音線を処理するには相当程度の演算量が必要となる。
　また、バーチャル会議、バーチャルショッピング又はバーチャルコンサート等のような、メタバースに関して想定されている近年の応用商品では、必然的に複数の音源が存在することになるので、さらに膨大な演算量が必要となる。
　また、仮想空間内で音を受聴する受聴者は、ヘッドホン又はＶＲゴーグルを用いる。このような受聴者に立体音響を提供するため、両耳間に音圧比及び位相差を与えて音の到来方向及び遠近感を再現するバイノーラル（Ｂｉｎａｕｒａｌ）処理が各音線に行われる。したがって、発生する全ての反射音を再現しようとするとその演算量は甚大となる。
　一方、仮想空間を体験する受聴者によって装着されるＶＲゴーグルのバッテリとして、その利便性から小型の蓄電池が用いられる場合がある。その電池寿命を延ばすために、上記のような処理にかかる演算負荷は小さい方がよい。そのために、数百本の規模で発生する音線の数を、音の定位及び空間の把握を損なわない範囲で削減することが望ましい。
　また、音響を再生するシステムにおいて、６ＤｏＦ（６　Ｄｅｇｒｅｅｓ　ｏｆ　Ｆｒｅｅｄｏｍ）等の自由度が受聴者の位置（つまりは受聴者が居る位置である受聴位置）及び向きに対して許容される場合がある。この場合、受聴者と音源と音を反射する物体との位置関係は、再生時（レンダリング時）でないと確定されない。そのため、反射音も、再生時でないと確定されない。よって、処理対象の反射音を予め定めることは困難である。
　したがって、再生時に音空間において生じる複数の反射音のうち処理対象又は非処理対象の１つ以上の反射音を適切に選択して出力（再生）することは、演算量及び演算負荷の適切な削減に有用である。
　なお、音を選択するか否かを制御することは、音を選択するか否かを判定することに対応し、より具体的には、音を選択して出力（再生）するか否かを判定することに対応する。また、音を選択することは、音を処理対象音として選択することであってもよいし、音を非処理対象音として選択することであってもよい。
　ところで、特許文献１においては、オーディオ信号の重要度、より具体的には当該オーディオ信号が示す直接音の重要度を検出するものの、反射音の重要度は検討されていない。このため、図１が示すように反射音等の間接音が発生する場合には、演算量及び演算負荷が増加してしまい、つまりは、演算量及び演算負荷を適切に削減することが困難な場合がある。
　従って、音空間において演算量及び演算負荷を適切に削減することができる音声信号処理方法等が求められている。
　そこで、本開示の第１態様に係る音声信号処理方法は、音声信号処理装置が実行する音声信号処理方法であって、音声信号であって、前記音声信号の属性を特定する属性情報を含む音声信号を取得する取得ステップと、取得された前記音声信号が含む前記属性情報によって特定される前記属性が間接音を示す情報である場合に、取得された前記音声信号が、第１条件を満たすか否かを判定する第１判定処理及び前記第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定ステップと、取得された前記音声信号が前記第１条件及び前記第２条件を満たす場合に、取得された前記音声信号に基づく出力信号を出力する再生ステップと、を含む。
　これにより、属性が間接音である音声信号に第１判定処理及び第２判定処理が行われ、当該音声信号が第１条件及び第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、属性が間接音である音声信号に基づく出力信号が出力されるか否かが適切に判定される。出力信号が出力されない場合には、演算量及び演算負荷が削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第２態様に係る音声信号処理方法は、第１態様に係る音声信号処理方法において、前記間接音は、反射音である。
　これにより、間接音として反射音を用いることができる音声信号処理方法が実現される。
　本開示の第３態様に係る音声信号処理方法は、第１又は第２態様に係る音声信号処理方法において、取得された前記音声信号が含む前記属性情報によって特定される前記属性が前記間接音とは異なる所定音を示す情報である場合に、前記判定ステップでは、前記第２判定処理が行われない。
　これにより、属性が所定音である音声信号には第２判定処理が行われないため、演算量及び演算負荷がさらに削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第４態様に係る音声信号処理方法は、第３態様に係る音声信号処理方法において、前記所定音は、直接音である。
　これにより、所定音として直接音を用いることができる音声信号処理方法が実現される。
　本開示の第５態様に係る音声信号処理方法は、第１～第４態様のいずれか１の態様に係る音声信号処理方法において、前記第１判定処理では、取得された前記音声信号の振幅値が第１閾値以上である場合に、取得された前記音声信号が前記第１条件を満たすと判定され、前記第２判定処理では、前記間接音に係る直接音及び前記間接音が受聴者が居る位置である受聴位置に到来するときの前記直接音と前記間接音との音量比が、前記直接音と前記間接音との到来する時間差に応じて決定される第２閾値以上である場合に、取得された前記音声信号が前記第２条件を満たすと判定される。
　これにより、第１判定処理では、上記振幅値が第１閾値以上である場合に音声信号が第１条件を満たすと判定され、第２判定処理では、上記音量比が第２閾値以上である場合に音声信号が第２条件を満たすと判定される。このような第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、音声信号に基づく出力信号が出力されるか否かがより適切に判定される。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第６態様に係る音声信号処理方法は、第１～第５態様のいずれか１の態様に係る音声信号処理方法において、前記再生ステップは、前記属性が前記間接音とは異なる所定音である前記音声信号に基づく第１出力信号を出力する第１再生ステップと、前記属性が前記間接音である前記音声信号に基づく第２出力信号を出力する第２再生ステップと、を含み、前記第２再生ステップでは、取得された前記音声信号に、前記間接音を拡散することで前記間接音のリアリティを向上させる拡散フィルタ処理を行うことで、前記第２出力信号を出力し、前記第１再生ステップでは、取得された前記音声信号に、前記拡散フィルタ処理を施さずに、前記第１出力信号を出力する。
　これにより、属性が間接音である音声信号に拡散フィルタ処理が行われて出力されるため、受聴者はより高い音質の間接音を受聴することができる。また、属性が所定音である音声信号には拡散フィルタ処理が行われないため、演算量及び演算負荷がさらに削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第７態様に係る音声信号処理方法は、第１～第６態様のいずれか１の態様に係る音声信号処理方法において、前記第１判定処理が行われた後に、前記第２判定処理が行われる。
　これにより、第１判定処理が行われた後に第２判定処理を行うことができる音声信号処理方法が実現される。
　このような順序で判定処理を行うことが以下に述べるような格別の効果を生じさせる。上記第１判定処理は、対象となる音声信号の振幅値と所定の閾値との大小関係を判定する処理が主な処理であるので、その演算負荷は極めて軽微である。一方、上記第２判定処理は、対象となる間接音と当該間接音に係る直接音との音量比及び到来する時間差などの算出も必要であるので、第１判定処理よりは演算負荷がかなり大きい。そこで、演算負荷が軽微な第１判定処理で、複数の入力信号をまず篩（ふるい）にかけ、残った信号に対してのみ第２判定処理での判定が行われる。そうすることで、判定ステップ全体の演算量を大きく削減できるので、音声信号処理の演算量の削減がそもそもの目的であるところの本開示においては、この処理の順序は極めて重要な意味を有する。
　本開示の第８態様に係る音声信号処理方法は、音声信号処理装置が実行する音声信号処理方法であって、間接音を示す音声信号を取得する取得ステップと、取得された前記音声信号について、１以上の第１処理、第１判定処理、第２判定処理、及び、前記１以上の第１処理とは異なる１以上の第２処理を行うレンダラーパイプラインステップと、取得された前記音声信号に基づく出力信号を出力する再生ステップと、前記１以上の第１処理のそれぞれによって決定された増減量であって、取得された前記音声信号の振幅を増幅させる増減量を累積して第１増減量を算出する第１ゲイン累積ステップと、前記１以上の第２処理のそれぞれによって決定された増減量であって、取得された前記音声信号の振幅を増幅させる増減量を累積して第２増減量を算出する第２ゲイン累積ステップと、を含み、前記第１判定処理では、算出された前記第１増減量が、第１閾値以上である場合に、取得された前記音声信号が第１条件を満たすと判定され、取得された前記音声信号が前記第１条件を満たさないと判定された場合に、前記第２判定処理が行われず、取得された前記音声信号が前記第１条件を満たすと判定された場合に、前記第２判定処理が行われ、前記第２判定処理では、算出された前記第２増減量に応じた値が、前記第１閾値と異なる第２閾値以上である場合に、取得された前記音声信号が第２条件を満たすと判定され、取得された前記音声信号が前記第２条件を満たすと判定された場合に、前記再生ステップが行われる。
　これにより、間接音を示す音声信号に第１判定処理及び第２判定処理が行われ、当該音声信号が第１条件及び第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、間接音を示す音声信号に基づく出力信号が出力されるか否かが適切に判定される。出力信号が出力されない場合には、演算量及び演算負荷が削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第９態様に係る音声信号処理方法は、第８態様に係る音声信号処理方法おいて、前記第２ゲイン累積ステップで算出された前記第２増減量は、前記間接音を拡散することで前記間接音のリアリティを向上させる拡散フィルタ処理が行われた場合の増減量であって取得された前記音声信号の振幅を増幅させる増減量を含み、前記値は、前記間接音に係る直接音の音量と前記第２ゲイン累積ステップで算出された前記第２増減量との比であり、前記第２閾値は、前記直接音と前記間接音との到来する時間差に応じて決定される。
　これにより、第２判定処理では、上記比が第２閾値以上である場合に間接音を示す音声信号が第２条件を満たすと判定され、このような第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、間接音を示す音声信号に基づく出力信号が出力されるか否かがより適切に判定される。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第１０態様に係る音声信号処理方法は、第８態様に係る音声信号処理方法において、前記第２ゲイン累積ステップで算出された前記第２増減量は、受聴者の選択によって設定される音質調整機能による振幅の増減量を含み、前記値は、前記間接音に係る直接音の音量と前記第２ゲイン累積ステップで算出された前記第２増減量との比であり、前記第２閾値は、前記直接音と前記間接音との到来する時間差に応じて決定される。
　これにより、受聴者は、例えば自らの好みの音質となるような選択を行うことで、好みの音質の音を受聴することができるようになる。
　本開示の第１１態様に係る音声信号処理方法は、第８～第１０態様のいずれか１の態様に係る音声信号処理方法において、前記第１閾値は、音量に係る値である。
　これにより、第１閾値として音量に係る値を用いることができる音声信号処理方法を実現することができる。
　本開示の第１２態様に係る音声信号処理方法は、第８～第１１態様のいずれか１の態様に係る音声信号処理方法において、前記第２ゲイン累積ステップでは、前記１以上の第２処理のそれぞれによって決定された前記増減量であって、取得された前記音声信号の振幅を増幅させる前記増減量を示すパラメータを取得し、取得された複数の前記パラメータに応じて、前記第２増減量を算出する。
　これにより、上記パラメータに応じた第２増減量が算出されるため、属性が間接音である音声信号に基づく出力信号が出力されるか否かがより適切に判定される。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第１３態様に係る音声信号処理方法は、第８～第１２態様のいずれか１の態様に係る音声信号処理方法において、前記第１閾値を設定する変更ステップと、前記第２判定処理を無効化する無効化処理を行う無効化ステップとを含み、前記第１判定処理では、算出された前記第１増減量が、設定された前記第１閾値以上である場合に、取得された前記音声信号が前記第１条件を満たすと判定され、前記無効化処理が行われた場合には、取得された前記音声信号が前記第１条件を満たすと判定されたときに、前記再生ステップが行われる。
　これにより、無効化処理により第２判定処理が行われなくなるため、第２判定処理を行うために必要とされる演算量及び演算負荷が削減されることができる。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　本開示の第１４態様に係る音声信号処理方法は、第１３態様に係る音声信号処理方法において、前記変更ステップにおいて設定される前記第１閾値を示す値を格納する格納領域と、前記無効化処理を実施することを指示する信号を格納する格納領域とは、隣接する領域である。
　これにより、仮想空間の管理者又は受聴者が設定値を視覚的に把握しやすいということのみならず、メモリ領域的に隣接していることで、双方の値を同時に（１回のメモリアクセス処理で）設定することができるという格別の効果が生じる。言い換えれば、上記第１閾値を示す値と上記無効化処理を実施することを指示する信号とを、１つのアドレスによってアクセスできる領域の上位ビットフィールドと下位ビットフィールドとに連結して配置し、そのように配置された一連のデータが１回のメモリアクセスで書き込み処理されることで、上記２つのデータを同時に設定できることとなる。
　本開示の第１５態様に係る音声信号処理方法は、第１３態様に係る音声信号処理方法において、前記無効化処理が行われた場合における設定された前記第１閾値は、前記無効化処理が行われていない場合における設定された前記第１閾値よりも大きい。
　これにより、無効化処理が行われるか否かに応じて第１閾値の大きさを設定できる音声信号処理方法を実現することができる。
　本開示の第１６態様に係るコンピュータプログラムは、第１～第１５態様のいずれか１の態様に係る音声信号処理方法をコンピュータに実行させるためのコンピュータプログラム。
　これにより、コンピュータが、コンピュータプログラムに従って、上記の音声信号処理方法を実行することができる。
　本開示の第１７態様に係る音声信号処理装置は、音声信号であって、前記音声信号の属性を特定する属性情報を含む音声信号を取得する取得部と、取得された前記音声信号が含む前記属性情報によって特定される前記属性が間接音を示す情報である場合に、取得された前記音声信号が、第１条件を満たすか否かを判定する第１判定処理及び前記第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定部と、取得された前記音声信号が前記第１条件及び前記第２条件を満たす場合に、取得された前記音声信号に基づく出力信号を出力する再生部と、を備える。
　これにより、属性が間接音である音声信号に第１判定処理及び第２判定処理が行われ、当該音声信号が第１条件及び第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、属性が間接音である音声信号に基づく出力信号が出力されるか否かが適切に判定される。出力信号が出力されない場合には、演算量及び演算負荷が削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理装置を実現することができる。
　（実施の形態１）
　（立体音響再生システムの例）
　図２は、立体音響再生システム１０００の一例を示す図である。具体的には、図２は、本開示の音響処理又は復号処理が適用可能なシステムの一例である立体音響再生システム１０００を示す。立体音響は、イマーシブオーディオ（Ｉｍｍｅｒｓｉｖｅ　Ａｕｄｉｏ）とも表現される。立体音響再生システム１０００は、音声信号処理装置１００１と音声提示装置１００２を含む。
　音声信号処理装置１００１は、音響処理装置とも表現され、仮想音源が発した音声信号に対して音響処理を施して、受聴者に対して提示される音響処理後の音声信号を生成する。音声信号は声に限らず可聴音であればよい。音響処理とは、例えば、音が、音源で発生してから受聴者に届くまでの間に受ける１つ以上の作用を再現するために、音声信号に対して施される信号処理である。
　音声信号処理装置１００１は、上述した作用を引き起こす要因を記述した空間情報に基づいて音響処理を実施する。空間情報は、例えば、音源、受聴者、及び、周囲のオブジェクトの位置を示す情報、空間の形状を示す情報、並びに、音の伝搬に関するパラメータ等を含む。音声信号処理装置１００１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット又はゲームコンソール等である。
　音響処理後の信号は、音声提示装置１００２から受聴者に提示される。音声提示装置１００２は、無線又は有線の通信を介して音声信号処理装置１００１と接続されている。音声信号処理装置１００１で生成された音響処理後の音声信号は、無線又は有線の通信を介して音声提示装置１００２に伝送される。
　音声提示装置１００２が、例えば、右耳用のデバイス及び左耳用のデバイス等の複数のデバイスで構成されている場合、複数のデバイス間の通信、又は、複数のデバイスのそれぞれと音声信号処理装置１００１との通信によって、複数のデバイスは同期して音を提示する。音声提示装置１００２は、例えば、受聴者の頭部に装着されるヘッドホン、イヤホン、ヘッドマウントディスプレイ、又は、固定された複数のスピーカで構成されたサラウンドスピーカ等である。
　なお、立体音響再生システム１０００は、視覚的にＡＲ／ＶＲを含むＥＲ体験を提供する画像提示装置又は立体映像提示装置と組み合わせて用いられてもよい。例えば、空間情報によって扱われる空間は、仮想空間であって、当該空間における音源、受聴者及びオブジェクトの位置は、仮想空間における仮想的な音源、仮想的な受聴者及び仮想的なオブジェクトの仮想的な位置である。当該空間は、音空間とも表現され得る。また、空間情報は、音空間情報とも表現され得る。
　また、図２は、音声信号処理装置１００１と音声提示装置１００２とが別々の装置であるシステム構成例を示しているが、本開示の音響処理方法（音声信号処理方法）又は復号方法が適用可能な立体音響再生システム１０００は図２の構成に限定されない。例えば、音声信号処理装置１００１が音声提示装置１００２に含まれ、音声提示装置１００２が音響処理と音の提示との両方を行ってもよい。
　また、音声信号処理装置１００１と音声提示装置１００２とが本開示で説明する音響処理を分担して実施してもよい。また、音声信号処理装置１００１又は音声提示装置１００２とネットワークを介して接続されたサーバが、本開示で説明する音響処理の一部又は全体を実施してもよい。
　また、音声信号処理装置１００１は、音声信号と音響処理に用いる空間情報とのデータの少なくとも一部を符号化することで生成されたビットストリームを復号して、音響処理を実施してもよい。したがって、音声信号処理装置１００１は、復号装置と表現されてもよい。
　（符号化装置の例）
　図３Ａは、符号化装置１１００の構成例を示すブロック図である。具体的には、図３Ａは、本開示の符号化装置の一例である符号化装置１１００の構成を示す。
　入力データ１１０１は、エンコーダ１１０２に入力される空間情報及び／又は音声信号を含む符号化対象データである。空間情報の詳細については後で説明する。
　エンコーダ１１０２は、入力データ１１０１を符号化して、符号化データ１１０３を生成する。符号化データ１１０３は、例えば、符号化処理によって生成されたビットストリームである。
　メモリ１１０４は、符号化データ１１０３を記憶する。メモリ１１０４は、例えば、ハードディスク又はＳＳＤ（Ｓｏｌｉｄ－Ｓｔａｔｅ　Ｄｒｉｖｅ）であってもよいし、その他のメモリであってもよい。
　なお、上記説明ではメモリ１１０４に記憶される符号化データ１１０３の一例として符号化処理によって生成されたビットストリームが挙げられているが、符号化データ１１０３は、ビットストリーム以外のデータであってもよい。例えば、符号化装置１１００は、ビットストリームを所定のデータフォーマットに変換して生成された変換後のデータをメモリ１１０４に記憶してもよい。変換後のデータは、例えば、１つ以上のビットストリームに対応するファイル又は多重化ストリームであってもよい。
　ここで、ファイルは、例えばＩＳＯＢＭＦＦ（ＩＳＯ　Ｂａｓｅ　Ｍｅｄｉａ　Ｆｉｌｅ　Ｆｏｒｍａｔ）等のファイルフォーマットを有するファイルである。また、符号化データ１１０３は、上記のビットストリーム又はファイルを分割して生成された複数のパケットの形式であってもよい。
　例えば、エンコーダ１１０２で生成されたビットストリームが、ビットストリームとは異なるデータに変換されてもよい。この場合、符号化装置１１００は、図示されていない変換部を備え、変換部で変換処理を行ってもよいし、後述のプロセッサの例であるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で変換処理を行ってもよい。
　（復号装置の例）
　図３Ｂは、復号装置１１１０の構成例を示すブロック図である。具体的には、図３Ｂは、本開示の復号装置の一例である復号装置１１１０の構成を示す。
　メモリ１１１４は、例えば、符号化装置１１００で生成された符号化データ１１０３と同じデータを記憶している。記憶されているデータは、メモリ１１１４から読み出され、デコーダ１１１２に入力データ１１１３として入力される。入力データ１１１３は、例えば、復号対象となるビットストリームである。メモリ１１１４は、例えば、ハードディスク又はＳＳＤであってもよいし、その他のメモリであってもよい。
　なお、復号装置１１１０は、メモリ１１１４から読み出されたデータをそのまま入力データ１１１３としてデコーダ１１１２に入力せず、読み出されたデータを変換し、変換後のデータを入力データ１１１３としてデコーダ１１１２に入力してもよい。変換前のデータは、例えば、１つ以上のビットストリームを含む多重化データであってもよい。ここで、多重化データは、例えばＩＳＯＢＭＦＦ等のファイルフォーマットを有するファイルであってもよい。
　また、変換前のデータは、上記のビットストリーム又はファイルを分割することで生成される複数のパケットであってもよい。メモリ１１１４からビットストリームとは異なるデータが読み出され、当該データがビットストリームに変換されてもよい。この場合、復号装置１１１０は、図示されていない変換部を備え、変換部で変換処理を行ってもよいし、後述のプロセッサの例であるＣＰＵで変換処理を行ってもよい。
　デコーダ１１１２は、入力データ１１１３を復号して、受聴者に提示される音声を示す音声信号１１１１を生成する。
　（符号化装置の別の例）
　図３Ｃは、符号化装置の別の構成例を示すブロック図である。具体的には、図３Ｃは、本開示の符号化装置の別の一例である符号化装置１１２０の構成を示す。図３Ｃでは、図３Ａの構成要素と同じ構成要素に図３Ａの符号と同じ符号を付しており、これらの構成要素については説明を省略する。
　符号化装置１１００は、符号化データ１１０３をメモリ１１０４に記憶している。一方、符号化装置１１２０は、符号化データ１１０３を外部へ送信する送信部１１２１を備える点で符号化装置１１００とは異なる。
　送信部１１２１は、符号化データ１１０３又は符号化データ１１０３から別のデータ形式に変換されたデータに基づいて生成された送信信号１１２２を別の装置又はサーバに対して送信する。送信信号１１２２の生成に用いられるデータは、例えば、符号化装置１１００で説明したビットストリーム、多重化データ、ファイル又はパケットである。
　（復号装置の別の例）
　図３Ｄは、復号装置の別の構成例を示すブロック図である。具体的には、図３Ｄは、本開示の復号装置の別の一例である復号装置１１３０の構成を示す。図３Ｄでは、図３Ｂの構成要素と同じ構成要素に図３Ｂの符号と同じ符号を付しており、これらの構成要素については説明を省略する。
　復号装置１１１０は、入力データ１１１３をメモリ１１１４から読み出している。一方、復号装置１１３０は、入力データ１１１３を外部から受信する受信部１１３１を備える点で復号装置１１１０とは異なる。
　受信部１１３１は、受信信号１１３２を受信して受信データを取得し、デコーダ１１１２に入力される入力データ１１１３を出力する。受信データは、デコーダ１１１２に入力される入力データ１１１３と同じであってもよいし、入力データ１１１３とは異なるデータ形式のデータであってもよい。
　受信データのデータ形式が、入力データ１１１３のデータ形式とは異なる場合、受信部１１３１が、受信データを入力データ１１１３に変換してもよい。あるいは、復号装置１１３０の図示されていない変換部又はＣＰＵが、受信データを入力データ１１１３に変換してもよい。受信データは、例えば、符号化装置１１２０で説明したビットストリーム、多重化データ、ファイル又はパケットである。
　（デコーダの例）
　図４Ａは、デコーダ１２００の構成例を示すブロック図である。具体的には、図４Ａは、図３Ｂ又は図３Ｄにおけるデコーダ１１１２の一例であるデコーダ１２００の構成を示す。
　入力データ１１１３は、符号化されたビットストリームであり、符号化された音声信号である符号化音声データと、音響処理に用いられるメタデータとを含んでいる。
　空間情報管理部１２０１は、入力データ１１１３に含まれるメタデータを取得して、メタデータを解析する。メタデータは、音空間に配置された音に作用する要素を記述した情報を含む。空間情報管理部１２０１は、メタデータを解析して得られた音響処理に用いられる空間情報を管理し、レンダリング部１２０３に対して空間情報を提供する。
　なお、本開示では音響処理に用いられる情報が、空間情報と表現されているが、その他の表現が用いられてもよい。例えば、音響処理に用いられる情報は、音空間情報と表現されてもよいし、シーン情報と表現されてもよい。また、音響処理に用いられる情報が経時的に変化する場合、レンダリング部１２０３に入力される空間情報は、空間状態、音空間状態又はシーン状態等と表現される情報であってもよい。
　また、空間情報は、音空間毎又はシーン毎に管理されていてもよい。例えば、互いに異なる複数の部屋のそれぞれが仮想空間として表現される場合、複数の部屋が、それぞれ、互いに異なる複数のシーンとして管理されてもよい。また、同じ空間でも表現される状況に応じて異なるシーンとして空間情報が管理されてもよい。
　したがって、複数の音空間又は複数のシーンに対して、複数の空間情報が管理されてもよい。複数の空間情報の管理において、複数の空間情報のそれぞれを識別する識別子が空間情報に付与されていてもよい。
　空間情報のデータは、入力データ１１１３の一例であるビットストリームに含まれていてもよい。あるいは、ビットストリームが空間情報の識別子を含み、空間情報のデータは、ビットストリーム以外の情報源から取得されてもよい。具体的には、ビットストリームが空間情報の識別子のみを含む場合、レンダリングにおいて、空間情報の識別子を用いて、装置内のメモリ又は外部のサーバに記憶された空間情報のデータが入力データ１１１３として取得されてもよい。
　なお、空間情報管理部１２０１が管理する情報は、ビットストリームに含まれる情報に限定されない。例えば、入力データ１１１３は、ビットストリームには含まれないデータとして、ＶＲ又はＡＲを提供するソフトウェア又はサーバから取得された空間の特性及び構造を示すデータを含んでいてもよい。
　また、入力データ１１１３は、受聴者又はオブジェクトの特性及び位置等を示すデータを含んでいてもよい。また、入力データ１１１３は、受聴者の位置について復号装置（１１１０、１１３０）を含む端末が備えるセンサで取得された情報を含んでいてもよいし、センサで取得された情報に基づいて推定された端末の位置を示す情報を含んでいてもよい。
　つまり、空間情報管理部１２０１は、外部のシステム又はサーバと通信し、空間情報及び受聴者位置（つまりは受聴位置）を取得してもよい。また、空間情報管理部１２０１は、外部のシステムからクロック同期情報を取得し、レンダリング部１２０３のクロックと同期する処理を実行してもよい。
　なお、上記の説明における空間は、仮想的に形成された空間、つまりＶＲ空間であってもよいし、実空間又は実空間に対応する仮想空間、つまりＡＲ空間又はＭＲ空間であってもよい。また、仮想空間は、音場又は音空間と表現されてもよい。また、上記の説明における位置を示す情報は、空間内における位置を示す座標値等の情報であってもよいし、所定の基準位置に対する相対位置を示す情報であってもよいし、空間内の位置の動き又は加速度を示す情報であってもよい。
　音声データデコーダ１２０２は、入力データ１１１３に含まれる符号化音声データを復号して、音声信号を取得する。
　立体音響再生システム１０００が取得する符号化音声データは、例えば、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏ（ＩＳＯ／ＩＥＣ　２３００８－３）等の所定の形式で符号化されたビットストリームである。なお、ＭＰＥＧ－Ｈ　３Ｄ　Ａｕｄｉｏは、あくまでビットストリームに含まれる符号化音声データを生成する際に利用可能な符号化方式の一例である。符号化音声データは、他の符号化方式で符号化されたビットストリームであってもよい。
　例えば、符号化方式は、ＭＰ３（ＭＰＥＧ－１　Ａｕｄｉｏ　Ｌａｙｅｒ－３）、ＡＡＣ（Ａｄｖａｎｃｅｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ）、ＷＭＡ（Ｗｉｎｄｏｗｓ　Ｍｅｄｉａ　Ａｕｄｉｏ）、ＡＣ３（Ａｕｄｉｏ　Ｃｏｄｅｃ―３）又はＶｏｒｂｉｓ等の非可逆コーデックであってもよい。あるいは、符号化方式は、ＡＬＡＣ（Ａｐｐｌｅ　Ｌｏｓｓｌｅｓｓ　Ａｕｄｉｏ　Ｃｏｄｅｃ）又はＦＬＡＣ（Ｆｒｅｅ　Ｌｏｓｓｌｅｓｓ　Ａｕｄｉｏ　Ｃｏｄｅｃ）等の可逆コーデックであってもよい。
　あるいは、上記以外の任意の符号化方式が用いられてもよい。例えば、ＰＣＭデータが符号化音声データの一種であってもよい。この場合、復号処理は、例えば、当該ＰＣＭデータの量子化ビット数がＮである場合、Ｎビットの二進数を、レンダリング部１２０３が処理できる数形式（例えば浮動小数点形式）に変換する処理であってもよい。
　レンダリング部１２０３は、音声信号と空間情報とを取得し、空間情報を用いて音声信号に音響処理を施して、音響処理後の音声信号（音声信号１１１１）を出力する。
　空間情報管理部１２０１は、レンダリングを開始する前に、入力信号のメタデータを読み込み、空間情報で規定されたオブジェクト及び音等のレンダリングアイテムを検出し、レンダリング部１２０３に送信する。レンダリング開始後、空間情報管理部１２０１は、空間情報及び受聴者の位置の経時的な変化を把握し、空間情報を更新して管理する。そして、更新された空間情報をレンダリング部１２０３に送信する。
　レンダリング部１２０３は、入力データ１１１３に含まれる音声信号と、空間情報管理部１２０１から受信した空間情報とに基づいて、音響処理を付加した音声信号を生成し出力する。
　空間情報の更新処理と、音響処理を付加した音声信号の出力処理とは、同じスレッドで実行されてもよい。また、空間情報管理部１２０１とレンダリング部１２０３とは、それぞれ独立したスレッドに処理を配分してもよい。空間情報管理部１２０１とレンダリング部１２０３とは、空間情報の更新処理と、音響処理を付加した音声信号の出力処理とを異なるスレッドで実行する場合、スレッドの起動頻度を個々に設定してもよいし、並行して処理を実行してもよい。
　空間情報管理部１２０１とレンダリング部１２０３とが、異なる独立したスレッドで処理を実行する場合、レンダリング部１２０３に優先的に演算資源を割り当てることが可能である。これにより、僅かな遅延も許容されないような、例えば、１サンプル（０．０２ｍｓｅｃ）の遅延でプチっというノイズが発生するような出音処理を安全に実行することが可能である。
　その際、空間情報管理部１２０１には、演算資源の割り当てが制限される。しかし、空間情報の更新は、音声信号の出力処理と比較して、低頻度の処理（例えば、受聴者の顔の向きの更新のような処理）であるため、音声信号の出力処理のように必ずしも瞬間的に行われなくてもよい。したがって、演算資源の割り当てが制限されても、音響的な品質に大きな影響はない。
　空間情報の更新は、予め設定された時間又は期間毎に定期的に実行されてもよいし、予め設定された条件が満たされた場合に実行されてもよい。また、空間情報の更新は、受聴者又は音空間の管理者によって手動で実行されてもよいし、外部システムの変化をトリガとして実行されてもよい。
　例えば、受聴者によってコントローラが操作され、自身のアバターの立ち位置が瞬間的にワープしたり、時刻が瞬時に進められたり戻されたりした場合に、空間情報が更新されてもよい。あるいは、仮想空間の管理者によって、突如、場の環境を変更するような演出が施された場合、空間情報が更新されてもよい。これらの場合において、空間情報管理部１２０１によって管理される空間情報を更新するためのスレッドが、定期的な起動に加えて、単発的な割り込み処理として起動されてもよい。
　空間情報の更新処理を実行する情報更新スレッドが担う役割は、例えば、受聴者が装着しているＶＲゴーグルの位置又は向きに基づいて、仮想空間内に配置された受聴者のアバターの位置又は向きを更新する処理、及び、仮想空間内を移動している物体の位置の更新等であり、数１０Ｈｚ程度の比較的低頻度で起動する処理スレッド内で賄われるものである。そのような、発生頻度の低い処理スレッドで直接音の性質を反映させる処理が行われるようにしてもよい。それは、オーディオ出力のためのオーディオ処理フレームの発生頻度より直接音の性質が変動する頻度が低いためである。むしろそうすることで、当該処理の演算負荷を相対的に小さくすることができるし、不必要に速い頻度で情報を更新するとパルシブなノイズが発生するリスクが生じるので、そのリスクを回避することもできる。
　図４Ｂは、デコーダの別の構成例を示すブロック図である。具体的には、図４Ｂは、図３Ｂ又は図３Ｄにおけるデコーダ１１１２の別の一例であるデコーダ１２１０の構成を示す。
　図４Ｂは、入力データ１１１３が、符号化音声データではなく符号化されていない音声信号を含んでいる点で図４Ａと異なる。入力データ１１１３は、メタデータを含むビットストリームと音声信号を含む。
　空間情報管理部１２１１は、図４Ａの空間情報管理部１２０１と同じであるため説明を省略する。
　レンダリング部１２１３は、図４Ａのレンダリング部１２０３と同じであるため説明を省略する。
　なお、デコーダ１１１２、１２００及び１２１０は、音響処理を実施する音響処理部と表現されてもよい。また、復号装置１１１０及び１１３０は、音声信号処理装置１００１であってもよく、音響処理装置と表現されてもよい。
　（音声信号処理装置の物理的構成）
　図５は、音声信号処理装置１００１の物理的構成の一例を示す図である。なお、図５の音声信号処理装置１００１は、図３Ｂの復号装置１１１０又は図３Ｄの復号装置１１３０であってもよい。図３Ｂ又は図３Ｄに示された複数の構成要素は、図５に示された複数の構成要素によって実装されてもよい。また、ここで説明する構成の一部は音声提示装置１００２に備えられていてもよい。
　図５の音声信号処理装置１００１は、プロセッサ１４０２と、メモリ１４０４と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４０３と、センサ１４０５と、スピーカ１４０１とを備える。
　プロセッサ１４０２は、例えば、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。当該ＣＰＵ、ＤＳＰ又はＧＰＵが、メモリ１４０４に記憶されたプログラムを実行することで本開示の音響処理又は復号処理を実施してもよい。また、プロセッサ１４０２は、例えば、情報処理を行う回路である。プロセッサ１４０２は、本開示の音響処理を含む音声信号に対する信号処理を行う専用回路であってもよい。
　メモリ１４０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）で構成される。メモリ１４０４は、ハードディスクに代表される磁気記録媒体又はＳＳＤに代表される半導体メモリ等を含んでいてもよい。また、メモリ１４０４は、ＣＰＵ又はＧＰＵに組み込まれた内部メモリであってもよい。また、メモリ１４０４には、空間情報管理部１２０１及び１２１１で管理される空間情報等が記憶されてもよい。また、後述の閾値データが記憶されてもよい。
　通信ＩＦ１４０３は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＩＧＩＧ（登録商標）等の通信方式に対応した通信モジュールである。音声信号処理装置１００１は、例えば、通信ＩＦ１４０３を介して他の通信装置と通信を行い、復号対象のビットストリームを取得する。取得されたビットストリームは、例えば、メモリ１４０４に記憶される。
　通信ＩＦ１４０３は、例えば、通信方式に対応した信号処理回路とアンテナで構成される。通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＷＩＧＩＧ（登録商標）に限られず、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＮＲ（Ｎｅｗ　Ｒａｄｉｏ）又はＷｉ－Ｆｉ（登録商標）等であってもよい。
　また、通信方式は、上記のような無線通信方式に限られない。通信方式は、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）又はＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等の有線通信方式であってもよい。
　センサ１４０５は、受聴者の位置及び向きを推定するためのセンシングを行う。具体的には、センサ１４０５は、身体の一部又は全体の位置、向き、動き、速度、角速度及び加速度等のうちいずれか１つ以上の検出結果に基づいて、受聴者の位置及び／又は向きを推定し、受聴者の位置及び／又は向きを示す位置／向き情報を生成する。
　なお、音声信号処理装置１００１の外部の装置がセンサ１４０５を備えていてもよい。身体の一部は、受聴者の頭部等であってもよい。位置／向き情報は、実空間における受聴者の位置及び／又は向きを示す情報であってもよいし、所定の時点における受聴者の位置及び／又は向きを基準とした受聴者の位置及び／又は向きの変位を示す情報であってもよい。また、位置／向き情報は、立体音響再生システム１０００、又は、センサ１４０５を備える外部装置との相対的な位置及び／又は向きを示す情報であってもよい。
　センサ１４０５は、例えば、カメラ等の撮像装置又はＬｉＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）等の測距装置である。センサ１４０５は、受聴者の頭部の動きを撮像し、撮像された画像を処理することで受聴者の頭部の動きを検知してもよい。また、例えばミリ波等の任意の周波数帯域の無線を用いて位置推定を行う装置がセンサ１４０５として用いられてもよい。
　また、音声信号処理装置１００１は、センサ１４０５を備える外部の機器から通信ＩＦ１４０３を介して位置情報を取得してもよい。この場合、音声信号処理装置１００１は、センサ１４０５を含んでいなくてもよい。ここで、外部の機器とは、例えば図２で説明した音声提示装置１００２、又は、受聴者の頭部に装着される立体映像再生装置等である。このときセンサ１４０５は、例えば、ジャイロセンサ及び加速度センサ等の各種のセンサを組み合わせて構成される。
　センサ１４０５は、例えば、受聴者の頭部の動きの速度として、音空間内で互いに直交する３軸の少なくとも１つを回転軸とする回転の角速度を検知してもよいし、上記３軸の少なくとも１つを変位方向とする変位の加速度を検知してもよい。
　センサ１４０５は、例えば、受聴者の頭部の動きの量として、音空間内で互いに直交する３軸の少なくとも１つを回転軸とする回転量を検知してもよいし、上記３軸の少なくとも１つを変位方向とする変位量を検知してもよい。具体的には、センサ１４０５は、受聴者の位置として６ＤｏＦの位置（ｘ、ｙ、ｚ）及び角度（ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ）を検知する。センサ１４０５は、ジャイロセンサ及び加速度センサ等のような動きの検知に使用される各種のセンサを組み合わせて構成される。
　なお、センサ１４０５は、受聴者の位置を検出するためのカメラ又はＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機等により実現されてもよい。ＬｉＤＡＲ等をセンサ１４０５として用いて自己位置推定を実施することで得られる位置情報が用いられてもよい。例えば、センサ１４０５は、立体音響再生システム１０００がスマートフォンにより実現される場合には、スマートフォンに内蔵される。
　また、センサ１４０５には、音声信号処理装置１００１の温度を検出する熱電対等の温度センサが含まれていてもよい。また、センサ１４０５には、音声信号処理装置１００１が備えるバッテリ、又は、音声信号処理装置１００１と接続されたバッテリの残量を検出するセンサ等が含まれていてもよい。
　スピーカ１４０１は、例えば、振動板と、マグネット又はボイスコイル等の駆動機構とアンプを有し、音響処理後の音声信号を音として受聴者に提示する。スピーカ１４０１は、アンプを介して増幅させた音声信号（より具体的には、音の波形を示す波形信号）に応じて駆動機構を動作させ、駆動機構によって振動板を振動させる。このようにして、音声信号に応じて振動する振動板は、音波を発生させ、音波が空気を伝搬して受聴者の耳に伝達し、受聴者が音を知覚する。
　なお、ここでは、音声信号処理装置１００１がスピーカ１４０１を備え、スピーカ１４０１を介して、音響処理後の音声信号を提示する例が挙げられたが、音声信号の提示手段は上記の構成に限定されない。
　例えば、通信モジュールで接続された外部の音声提示装置１００２に音響処理後の音声信号が出力されてもよい。通信モジュールで行う通信は有線でも無線でもよい。また別の例として、音声信号処理装置１００１が音声のアナログ信号を出力する端子を備え、端子にイヤホン等のケーブルを接続してイヤホン等から音声信号を提示してもよい。
　上記の場合、音声提示装置１００２は、受聴者の頭部又は体の一部に装着されるヘッドホン、イヤホン、ヘッドマウントディスプレイ、ネックスピーカ又はウェアラブルスピーカ等であってもよい。あるいは、音声提示装置１００２は、固定された複数のスピーカで構成されたサラウンドスピーカ等であってもよい。そして、音声提示装置１００２が、音声信号を再生してもよい。
　（符号化装置の物理的構成）
　図６は、符号化装置１５００の物理的構成の一例を示す図である。図６の符号化装置１５００は、図３Ａの符号化装置１１００又は図３Ｃの符号化装置１１２０であってもよく、図３Ａ又は図３Ｃに示された複数の構成要素が、図６に示された複数の構成要素によって実装されてもよい。
　図６の符号化装置１５００は、プロセッサ１５０１と、メモリ１５０３と、通信ＩＦ１５０２とを備える。
　プロセッサ１５０１は、例えば、ＣＰＵ、ＤＳＰ又はＧＰＵである。当該ＣＰＵ、ＤＳＰ又はＧＰＵが、メモリ１５０３に記憶されたプログラムを実行することで本開示の符号化処理を実施してもよい。また、プロセッサ１５０１は、例えば、情報処理を行う回路である。プロセッサ１５０１は、本開示の符号化処理を含む音声信号に対する信号処理を行う専用回路であってもよい。
　メモリ１５０３は、例えば、ＲＡＭ又はＲＯＭで構成される。メモリ１５０３は、ハードディスクに代表される磁気記録媒体又はＳＳＤに代表される半導体メモリ等を含んでいてもよい。また、メモリ１５０３は、ＣＰＵ又はＧＰＵに組み込まれた内部メモリであってもよい。
　通信ＩＦ１５０２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＩＧＩＧ（登録商標）等の通信方式に対応した通信モジュールである。符号化装置１５００は、例えば、通信ＩＦ１５０２を介して他の通信装置と通信を行い、符号化されたビットストリームを送信する。
　通信ＩＦ１５０２は、例えば、通信方式に対応した信号処理回路とアンテナで構成される。通信方式は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＷＩＧＩＧ（登録商標）に限られず、ＬＴＥ、ＮＲ又はＷｉ－Ｆｉ（登録商標）等であってもよい。また、通信方式は、無線通信方式に限られない。通信方式は、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ又はＨＤＭＩ（登録商標）等の有線通信方式であってもよい。
　通信モジュールは、例えば、通信方式に対応した信号処理回路とアンテナとで構成される。上記の例では、通信方式としてＢｌｕｅｔｏｏｔｈ（登録商標）又はＷＩＧＩＧ（登録商標）を例に挙げたが、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、ＮＲ（Ｎｅｗ　Ｒａｄｉｏ）、又はＷｉ－Ｆｉ（登録商標）等の通信方式に対応していてもよい。また、通信ＩＦは、上記のような無線通信方式ではなく、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等の有線の通信方式であってもよい。
　［レンダリング部の構成］
　図７は、レンダリング部１３００の構成例を示すブロック図である。具体的には、図７は、図４Ａ及び図４Ｂのレンダリング部１２０３及び１２１３に対応するレンダリング部１３００の詳細な構成の一例を示す。
　レンダリング部１３００は、解析部１３０１と、判定部１３０２と、再生部１３０３とで構成され、入力信号に含まれる音データに対して音響処理を付加し出力する。
　入力信号は、例えば、空間情報とセンサ情報と音データとで構成される。入力信号は、音データとメタデータ（制御情報）とで構成されるビットストリームを含んでいてもよく、その場合、メタデータに空間情報が含まれていてもよい。
　空間情報は、立体音響再生システム１０００が作り出す音空間（三次元音場）に関する情報であって、音空間に含まれるオブジェクトに関する情報と受聴者に関する情報とで構成される。オブジェクトには、音を発し音源となる音源オブジェクトと、音を発しない非発音オブジェクトが存在する。音源オブジェクトは、単に音源とも表現され得る。
　非発音オブジェクトは、音源オブジェクトが発した音を反射する障害物オブジェクトの役割を果たすが、音源オブジェクトが、別の音源オブジェクトが発した音を反射する障害物オブジェクトの役割を果たす場合もある。障害物オブジェクトは、反射オブジェクトと表現されてもよい。
　音源オブジェクトと非発音オブジェクトとに共通して付与される情報として、位置情報、形状情報、及び、オブジェクトが音を反射する際の音量の減衰率等がある。
　位置情報は、ユークリッド空間の例えばＸ軸、Ｙ軸及びＺ軸の３軸の座標値で表されるが、必ずしも三次元情報でなくてもよい。例えば、位置情報は、Ｘ軸及びＹ軸の２軸の座標値で表される二次元情報であってもよい。オブジェクトの位置情報は、メッシュ又はボクセルで表現される形状の代表位置で定められる。
　形状情報は、表面の素材に関する情報を含んでいてもよい。
　減衰率は、０以上１以下の実数で表現してもよいし、マイナスのデシベル値で表現してもよい。実空間では反射によって音量が増幅することはないため、減衰率はマイナスのデシベル値が設定されるが、例えば、非現実空間の不気味さを演出するために、あえて１以上の減衰率、すなわち、プラスのデシベル値が設定されてもよい。
　また、減衰率は、複数の周波数帯域を構成する周波数帯域毎に異なる値が設定されてもよいし、周波数帯域毎に独立に値が設定されてもよい。また、減衰率がオブジェクト表面の素材の種類毎に設定されている場合、表面の素材に関する情報に基づいて対応する減衰率の値が用いられてもよい。
　また、空間情報は、オブジェクトが生物に属するか否かを示す情報、及び、オブジェクトが動体であるか否かを示す情報等を含んでいてもよい。オブジェクトが動体である場合、位置情報で示される位置は、時間とともに移動してもよい。この場合、変化した位置又は変化量の情報がレンダリング部１３００に伝送される。
　音源オブジェクトに関する情報は、音源オブジェクトと非発音オブジェクトとに共通して付与される情報に加えて、音データと、音データを音空間内に放射するために必要な情報とを含む。音データは、音の周波数及び強弱に関する情報等を示すデータであって、受聴者に知覚される音が表現されたデータである。
　音データは、典型的にはＰＣＭ信号であるが、ＭＰ３等の符号化方式を用いて圧縮されたデータであってもよい。その場合、少なくとも当該信号が再生部１３０３に到来するまでに復号される必要があるため、レンダリング部１３００は、図示しない復号部を含んでいてもよい。あるいは、当該信号が音声データデコーダ１２０２で復号されてもよい。
　１つの音源オブジェクトに対して、１つの音データが設定されていてもよいし、複数の音データが設定されていてもよい。また、各音データを識別する識別情報が音データに付与されてもよく、音源オブジェクトに関する情報は、音データの識別情報を含んでいてもよい。
　音データを音空間内に放射するために必要な情報は、例えば、音データの再生において基準として用いられる基準音量の情報、音データの性質（特性ともいう）を示す情報、音源オブジェクトの位置に関する情報、及び、音源オブジェクトの向きに関する情報（つまり、音源オブジェクトが発する音の指向性に関する情報）等を含んでいてもよい。
　基準音量の情報は、例えば、音データを音空間に放射する際の音源位置における音データの振幅値の実効値であって、デシベル（ｄｂ）値として浮動小数点で表されてもよい。
　例えば、基準音量は、０ｄｂの場合、音データが示す信号レベルの音量を増減させることなくそのままの音量で、音源オブジェクトの位置に関する情報が指し示す位置から、音空間に対して音を放射することを示していてもよい。また、基準音量は、－６ｄｂの場合、音データが示す信号レベルの音量を約半分にして、音源オブジェクトの位置に関する情報が指し示す位置から、音空間に対して音を放射することを示していてもよい。
　基準音量の情報は、音データ毎に付与されてもよいし、複数の音データに対してまとめて付与されてもよい。
　音データの性質を示す情報は、例えば、音源の音量に関する情報であって、音源の音量の時系列的な変動を示す情報であってもよい。
　例えば、音空間が仮想会議室であり、音源が話者である場合、音量は短い時間で断続的に遷移する。つまり、有音部分と無音部分とが交互に発生する。また、音空間がコンサートホールであり、音源が演奏者である場合、音量は、一定の時間長において維持される。また、音空間が戦場であり、音源が爆発物である場合、爆発音の音量は、一瞬だけ大きくなり、その後、無音又は小さい状態であり続ける。
　このように音源の音量の情報は、音の大きさの情報のみならず、音の大きさの遷移の情報を含んでいてもよい。そのような情報が、音データの性質を示す情報として用いられてもよい。
　遷移の情報は、周波数特性を時系列に示すデータで表現されてもよい。遷移の情報は、有音区間の継続時間長を示すデータで表現されてもよい。遷移の情報は、有音区間の継続時間長と無音区間の継続時間長との時系列を示すデータで表現されてもよい。遷移の情報は、音信号の振幅が定常的とみなされ得る（概ね一定であるとみなされ得る）継続時間と、その間の当該信号の振幅値との複数組を時系列で列挙したデータ等で表現されてもよい。
　遷移の情報は、音信号の周波数特性が定常的とみなされ得る継続時間のデータで表現されてもよい。遷移の情報は、音信号の周波数特性が定常的とみなされ得る継続時間と、その間の当該周波数特性との複数組を時系列で列挙したデータ等で表現されてもよい。遷移の情報は、例えば、スペクトログラムの概形を示すデータの形式で表現されてもよい。
　また、上記の周波数特性の基準として用いられる音量は、上記の基準音量であってもよい。基準音量の情報と音データの性質を示す情報とは、受聴者に知覚させる直接音又は反射音の音量の算出処理に用いられてもよいし、受聴者に知覚させるか否かの選択処理（判定処理とも言う）に用いられてもよい。音データの性質を示す情報の他の例及び利用方法については後述する。
　なお、本実施の形態に係る反射音は、間接音の一例である。間接音は、反射音であってもよく、回折音等であってもよい。また、本実施の形態に係る直接音は、上記間接音とは異なる所定音の一例である。所定音は、直接音であってもよく、高次アンビソニックス音（ＨＯＡ：Ｈｉｇｈ　Ｏｒｄｅｒ　Ａｍｂｉｓｏｎｉｃｓ）であってもよい。また、複数の音声信号を束ねること（Ｍｉｘｉｎｇ等をすること）によって当該複数の音声信号が示す複数の音の代表音を作成し当該代表音を所定音としてもよい。その場合その代表音をＲｅｐｒｅｓｅｎｔａｔｉｖｅ音と呼んでもよい。
　本実施の形態においては、間接音の一例である反射音、及び、所定音の一例である直接音を用いて説明するが、反射音にかえて間接音、及び、直接音にかえて所定音が用いられても同様の処理が行われる。
　音源オブジェクトの向きに関する情報（向き情報）は、典型的には、ｙａｗ、ｐｉｔｃｈ及びｒｏｌｌで表現される。あるいは、ｒｏｌｌの回転が省略され、音源オブジェクトの向き情報は、アジマス（ｙａｗ）及びエレベーション（ｐｉｔｃｈ）で表現されてもよい。音源オブジェクトの向き情報は、時間とともに変化してもよく、変化した場合に、レンダリング部１３００に伝送される。
　受聴者に関する情報は、音空間における受聴者の位置及び向きに関する情報である。位置に関する情報（位置情報）は、ユークリッド空間のＸＹＺ軸の位置で表されるが、必ずしも三次元情報でなくてもよく、二次元情報であってもよい。受聴者の向きに関する情報（向き情報）は、典型的には、ｙａｗ、ｐｉｔｃｈ及びｒｏｌｌで表現される。あるいは、ｒｏｌｌの回転が省略され、受聴者の向き情報は、アジマス（ｙａｗ）及びエレベーション（ｐｉｔｃｈ）で表現されてもよい。
　受聴者の位置情報及び向き情報は、時間とともに変化してもよく、変化した場合に、レンダリング部１３００に伝送される。
　センサ情報は、受聴者が装着するセンサ１４０５で検知された回転量又は変位量等と受聴者の位置及び向きとを含む情報である。センサ情報は、レンダリング部１３００に伝送され、レンダリング部１３００は、センサ情報に基づいて受聴者の位置及び向きの情報を更新する。センサ情報は、例えば携帯端末がＧＰＳ、カメラ又はＬｉＤＡＲ等を用いて自己位置推定を実施して得られた位置情報を含んでいてもよい。
　また、センサ１４０５ではなく、通信モジュールを通じて外部から取得された情報がセンサ情報として検出されてもよい。センサ１４０５から、音声信号処理装置１００１の温度を示す情報、及び、バッテリの残量を示す情報が取得されてもよい。また、音声信号処理装置１００１又は音声提示装置１００２の演算資源（ＣＰＵ能力、メモリ資源又はＰＣ性能等）がリアルタイムで取得されてもよい。
　解析部１３０１は、入力信号に含まれる音声信号、並びに、空間情報管理部１２０１及び１２１１から受け取った空間情報の解析を行い、再生部１３０３での直接音及び反射音の生成に必要な情報、並びに、反射音を生成するか否かの判定（選択）に必要な情報を算出する。
　直接音及び反射音の生成に必要な情報は、例えば直接音及び反射音のそれぞれについて、受聴位置に到来するまでの経路、到来するまでにかかる時間、及び、到来時の音量等に関する値である。受聴位置に到来するまでの経路、到来するまでにかかる時間、及び、到来時の音量等に関する値は、例えばそれぞれ、受聴位置に到来するまでの経路、到来するまでにかかる時間、及び、到来時の音量を示す値である。
　出力する反射音の選択に必要な情報は、直接音と反射音との関係を示す情報であって、例えば、直接音と反射音との時間差に関する値、及び、受聴位置における直接音と反射音との音量比に関する値等である。直接音と反射音との時間差に関する値、及び、受聴位置における直接音と反射音との音量比に関する値は、例えばそれぞれ、直接音と反射音との時間差を示す値、及び、受聴位置における直接音と反射音との音量比を示す値である。
　なお、音量が、対数軸のデシベルの単位で表現される場合（音量がデシベル領域で表される場合）、２つの信号の音量比は、デシベル値の差で表されることは言うまでもない。具体的には、２つの信号の音量比は、それぞれの信号の振幅値がデシベル領域で表されるときの差であってもよい。その値がエネルギー値又はパワー値等に基づいて算出されてもよい。また、この差は、デシベル領域において、ゲインの差又は単にゲイン差と呼ばれ得る。
　つまり、本開示における音量比は、実質的に信号の振幅の比であるので、Ｓｏｕｎｄ　ｖｏｌｕｍｅ　ｒａｔｉｏ、Ｖｏｌｕｍｅ　ｒａｔｉｏ、Ａｍｐｌｉｔｕｄｅ　ｒａｔｉｏ、Ｓｏｕｎｄ　ｌｅｖｅｌ　ｒａｔｉｏ、Ｓｏｕｎｄ　ｉｎｔｅｎｓｉｔｙ　ｒａｔｉｏ、又は、Ｇａｉｎ　ｒａｔｉｏ等と表現されてもよい。また、音量の単位がデシベルである場合、本開示における音量比は、音量差と言い換えられることは言うまでもない。
　本開示において、「音量比」とは、典型的には２つの音の音量がデシベルの単位で表現されるときのゲイン差を意味し、実施の形態の例では、閾値データも典型的にはデシベル領域で表されたゲイン差で規定されている。しかし、音量比は、デシベル領域のゲイン差に限定されない。デシベル領域以外で表される音量比が用いられる場合、算出された音量比の単位に、デシベル領域で規定された閾値データが変換されて用いられてもよい。あるいは、予めそれぞれの単位で規定された閾値データがメモリに格納されていてもよい。
　つまり、音量比の代わりに、例えば、エネルギーの値又はパワーの値等の比が用いられても、本開示におけるアルゴリズムを本開示の課題の解決に適用できることは明らかである。
　直接音と反射音との到来する時間差は、例えば、直接音到来時間（到来時刻）と反射音到来時間（到来時刻）との時間差である。なお、簡単のため、直接音と反射音との到来する時間差を、直接音と反射音との時間差、と記載する場合がある。直接音と反射音との時間差は、直接音と反射音とがそれぞれ受聴位置に到来する時刻の時間差、直接音と反射音とがそれぞれ受聴位置に到来するまでにかかる時間の差、又は、直接音の発音が終了する時刻と反射音が受聴位置に到来する時刻との時間差であってもよい。これらの値の算出方法については後述する。
　判定部１３０２は、第１閾値を用いた第１判定処理、及び、第２閾値を用いた第２判定処理の少なくとも一方を行う。本実施の形態においては、判定部１３０２は、反射音（すなわち反射音を示す音声信号）について第２判定処理を行う。以下、第２判定処理についてより具体的に説明する。
　判定部１３０２は、解析部１３０１が算出した情報と、第２閾値を示す閾値データとを用いて、再生部１３０３が反射音を生成するか否かを判定する。言い換えると、判定部１３０２は、反射音を生成対象反射音として選択するか否かを判定する。さらに、言い換えると、判定部１３０２は、再生部１３０３が複数の反射音のうちいずれの反射音を生成するかを選択する。なお、以下では、判定部１３０２が再生部１３０３によって反射音が生成されると判定することを、判定部１３０２が反射音を選択する、又は、判定部１３０２が反射音を生成することを選択する、と記載する場合がある。
　閾値データは、例えば直接音と反射音との時間差の値を横軸に有し、直接音と反射音との音量比を縦軸に有するグラフで、当該反射音が知覚されるか知覚されないかの境目（閾値）として表される。閾値データは、直接音と反射音との時間差の値を変数として有する近似式で表現されてもよいし、直接音と反射音との時間差の値をインデックスとして有し、対応する閾値を有する配列で表現されてもよい。なお、実施の形態１においては、第２閾値を、単に、閾値と記載する場合がある。
　判定部１３０２は、例えば直接音の到来時刻と反射音の到来時刻との時間差の値における、直接音の到来時音量と反射音の到来時音量との音量比が、閾値データを参照して設定された閾値よりも大きい値であった場合に、反射音を生成することを選択する。なお、到来時音量は、受聴位置に当該音が到達したときの音量を意味する。
　直接音の到来時刻と反射音の到来時刻との時間差は、言い換えると、直接音と反射音とがそれぞれ受聴位置に到来するまでにかかる時間の差である。また、直接音の発音が終了する時点と反射音が受聴位置に到来する時点の時間差が、直接音と反射音との時間差として用いられてもよい。その場合、直接音の到来時刻と反射音の到来時刻との時間差を基準に用いて定められた閾値データとは異なる閾値データが用いられてもよいし、共通の閾値データが用いられてもよい。
　閾値データは、音声信号処理装置１００１のメモリ１４０４から取得してもよいし、外部の記憶装置から通信モジュールを経由して取得してもよい。閾値データの記憶方法及び閾値の設定方法については後述する。
　再生部１３０３は、直接音の音声信号と、判定部１３０２が生成することを選択した反射音の音声信号とを合成する。
　具体的には、再生部１３０３は、解析部１３０１が算出した直接音到来時刻及び直接音到来時音量の情報に基づいて、入力された音声信号を加工し直接音を生成する。また、再生部１３０３は、判定部１３０２が選択した反射音についての反射音到来時刻及び反射音到来時音量の情報に基づいて、入力された音声信号を加工し反射音を生成する。そして、再生部１３０３は、生成した直接音及び反射音を合成し出力する。
　［レンダリング部の動作例］
　図８は、音声信号処理装置１００１の動作例を示すフローチャートである。図８には、主に音声信号処理装置１００１のレンダリング部１３００で実行される処理が示されている。
　入力信号の解析処理（図８のＳ１０１）では、解析部１３０１が、音声信号処理装置１００１に入力された入力信号を解析して、音空間で発生し得る直接音及び反射音を検出する。ここで検出される反射音は、最終的に再生部１３０３で生成される反射音として判定部１３０２で選択される反射音の候補である。また、解析部１３０１は、入力信号を解析して、直接音及び反射音の生成に必要な情報と、生成対象反射音の選択に必要な情報とを算出する。
　まず、直接音及び反射音のそれぞれの特性が算出される。具体的には、直接音及び反射音のそれぞれが受聴者へ到来する際の到来時間及び到来時音量が算出される。反射オブジェクトとして複数のオブジェクトが音空間に存在する場合、複数のオブジェクトのそれぞれに対して反射音の特性が算出される。
　直接音到来時間（ｔｄ）は、直接音到来経路（ｐｄ）に基づいて算出される。直接音到来経路（ｐｄ）は、音源オブジェクトの位置情報Ｓ（ｘｓ，ｙｓ，ｚｓ）と受聴者の位置情報Ａ１（ｘａ，ｙａ，ｚａ）とを結ぶ経路である。直接音到来時間（ｔｄ）は、位置情報Ｓ（ｘｓ，ｙｓ，ｚｓ）と位置情報Ａ１（ｘａ，ｙａ，ｚａ）とを結ぶ経路の長さを、音速（約３４０ｍ／秒）で割って得られる値である。
　例えば、経路の長さ（Ｘ）は、（ｘｓ－ｘａ）＾２＋（ｙｓ－ｙａ）＾２＋（ｚｓ－ｚａ）＾２）＾０．５で求められる。音量は距離に反比例して減衰する。したがって、音源オブジェクトの位置情報Ｓ（ｘｓ，ｙｓ，ｚｓ）における音量がＮであり、単位距離がＵである場合、直接音到来時音量（ｌｄ）は、ｌｄ＝Ｎ＊Ｕ／Ｘで求められる。
　音源位置での音量Ｎは、先に説明した基準音量であってもよい。
　反射音到来時間（ｔｒ）は、反射音到来経路（ｐｒ）に基づいて算出される。反射音到来経路（ｐｒ）は、反射音の音像の位置と位置情報Ａ１（ｘａ，ｙａ，ｚａ）とを結ぶ経路である。
　なお、反射音の音像の位置の導出は、例えば、「鏡像法」又は「レイトレーシング法」が用いられてもよいし、それ以外の任意の音像位置の導出方法が用いられてもよい。鏡像法とは、室内の壁面での反射波が壁面に対して音源と対称な位置に鏡像が存在すると仮定し、その鏡像の位置から音波が放射されると仮定して音像をシミュレートする手法である。レイトレーシング法とは、光線又は音線等のような直線的に伝わる波を追跡することで、ある点において観測される像（音像）等をシミュレートする手法である。
　図９は、受聴者と障害物オブジェクトとが比較的遠い位置関係を示す図である。図１０は、受聴者と障害物オブジェクトとが比較的近い位置関係を示す図である。すなわち、図９及び図１０のそれぞれは、音源位置に対して壁を挟んで対称の位置に反射音の音像が形成される例を示している。このような関係に基づいて、反射音の音像の位置をｘｙｚ軸で求めることで、反射音到来時間は、直接音到来時間を算出する方法と同様に求められる。
　反射音到来時間（ｔｒ）は、反射音の音像の位置と位置情報Ａ１（ｘａ，ｙａ，ｚａ）とを結ぶ経路の長さ（Ｙ）を、音速（約３４０ｍ／秒）で割って得られる値である。音量は距離に反比例して減衰する。したがって、音源位置での音量がＮであり、単位距離がＵであり、反射における音量の減衰率がＧである場合、反射音到来時音量（ｌｒ）は、ｌｒ＝Ｎ＊Ｇ＊Ｕ／Ｙで求められる。
　先に説明したように減衰率Ｇは、０以上１以下の実数で表現されてもよいし、マイナスのデシベル値で表現されてもよい。この場合、信号全体の音量がＧの分だけ減衰する。また、減衰率は、複数の周波数帯域を構成する周波数帯域毎に設定されてもよい。この場合、解析部１３０１は、信号の周波数成分毎に、指定された減衰率を掛ける。また、解析部１３０１は、演算量の削減のために、複数の周波数帯域の複数の減衰率の代表値又は平均値等を全体の減衰率として用いて、信号全体の音量をその分だけ減衰させてもよい。
　次に、解析部１３０１は、生成対象反射音の選択に必要な、直接音到来時音量（ｌｄ）と反射音到来時音量（ｌｒ）との比である音量比（Ｌ）、及び、直接音と反射音との時間差（Ｔ）を算出する。
　直接音到来時音量（ｌｄ）と上記ｌｒとの比である音量比（Ｌ）は、例えば、反射音到来時音量（ｌｒ）を直接音到来時音量（ｌｄ）で割った値であり、Ｌ＝（Ｎ＊Ｇ＊Ｕ／Ｙ）／（Ｎ＊Ｕ／Ｘ）＝Ｇ＊Ｘ／Ｙで求められる。求められる値は、音量の比であるため、ＮとＵとの値は予め定められた任意の値でよい。
　直接音と反射音との時間差（Ｔ）は、例えば、直接音と反射音とがそれぞれ受聴位置に到来する際にかかる時間の時間差であってもよい。例えば、直接音と反射音とがそれぞれ受聴位置に到来する際にかかる時間差（Ｔ）は、Ｔ＝ｔｒ－ｔｄで求められる。
　また、時間差（Ｔ）は、直接音と反射音とがそれぞれ受聴位置に到来する時刻の差であってもよい。また、時間差（Ｔ）は、直接音の発話が終了する時刻と反射音が受聴位置に到来する時刻との時間差であってもよい。つまり、時間差（Ｔ）は、受聴位置において直接音が終了する時刻と反射音が開始する時刻との時間差であってもよい。
　次に、反射音の選択処理（図８のＳ１０２）では、判定部１３０２が、解析部１３０１で算出された反射音を再生部１３０３が生成するか否かを選択する。言い換えれば、判定部１３０２は、反射音を生成対象反射音として選択するか否かを判定する。複数の反射音が存在する場合、判定部１３０２は、各反射音を生成するか否かを選択する。判定部１３０２は、各反射音を生成するか否かを選択した結果、複数の反射音の中から、１つ以上の生成対象反射音を選択してもよいし、生成対象反射音を１つも選択しなくてもよい。
　なお、判定部１３０２は、生成処理に限らず、他の処理の適用対象の反射音を選択してもよい。例えば、判定部１３０２は、バイノーラル処理の適用対象の反射音を選択してもよい。また、判定部１３０２は、基本的に、処理対象の１つ以上の反射音のみを選択する。しかしながら、判定部１３０２は、処理対象でない１つ以上の反射音のみを選択してもよい。そして、選択されなかった１つ以上の反射音に処理が適用されてもよい。
　例えば、反射音の選択は、解析部１３０１で算出した音量比（Ｌ）と時間差（Ｔ）とに基づいて行われる。直接音と反射音との時間差（Ｔ）に基づいて選択処理を行うことで、直接音と反射音との音量差のみに基づいて選択処理を行う場合と比較して、受聴者が知覚に影響する度合いが大きい反射音をより適切に選択することが可能である。
　具体的には、反射音を生成するか否かの選択は、例えば直接音と反射音との時間差に対応する直接音と反射音との音量比と、予め設定された閾値とを比較することで行われる。閾値は、閾値データを参照して設定される。閾値データは、直接音に対する反射音が受聴者に知覚されるか否かの境界を示す指標であって、直接音到来時音量（Ｉｄ）と反射音到来時音量（ｌｒ）との比で定義される。
　なお、閾値は、時間差（Ｔ）に対応して定められる数値等で表現される値に対応する。閾値データは、時間差（Ｔ）と閾値との関係に対応し、時間差（Ｔ）における閾値を特定又は算出するために用いるテーブルデータ又は関係式に対応する。閾値データの形式及び種類は、テーブルデータ又は関係式に限定されない。
　図１１は、直接音と反射音との時間差と、閾値との関係を示す図である。例えば、図１１に示されるような、直接音と反射音との時間差の値毎に予め定められた音量比の閾値データが参照されてもよい。あるいは、図１１に示される閾値データから内挿又は外挿等によって得られる閾値データが参照されてもよい。
　そして、解析部１３０１で算出された時間差（Ｔ）における音量比の閾値が、閾値データから特定される。そして、判定部１３０２は、解析部１３０１で算出された直接音と反射音との音量比（Ｌ）が当該閾値を上回るか否かで、反射音を生成対象反射音として選択するか否かを決定する。
　直接音と反射音との時間差の値毎に予め定められた音量比の閾値データを用いて選択処理を行うことで、ポストマスキング又は先行音効果を考慮した選択処理を実現することが可能である。閾値データの種類、形式、記憶方法及び設定方法等について詳細な説明は後述する。
　次に、直接音及び反射音の生成処理（図８のＳ１０３）では、再生部１３０３が、直接音の音声信号と、判定部１３０２によって生成対象反射音として選択された反射音の音声信号とを生成し合成する。
　直接音の音声信号は、入力情報に含まれる音源オブジェクトの音データに対し、解析部１３０１で算出された直接音到来時間（ｔｄ）及び直接音到来時音量（ｌｄ）を適用することで生成される。具体的には、音データを直接音到来時間（ｔｄ）の分だけ遅延させて、直接音到来時音量（ｌｄ）を乗じる処理が行われる。音データを遅延させる処理は、時間軸上で音データの位置を前後に移動させる処理である。例えば、特許文献２に開示されているような音質を劣化させることなく、音データを遅延させる処理が適用されてもよい。
　反射音の音声信号は、直接音と同様に、音源オブジェクトの音データに対し、解析部１３０１で算出された反射音到来時間（ｔｒ）及び反射音到来時音量（Ｉｒ）を適用することで生成される。
　ただし、反射音の生成における反射音到来時音量（ｌｒ）は、直接音到来時音量と異なり、反射における音量の減衰率Ｇが適用された値である。Ｇは、全周波数帯域に一括して適用される減衰率であってもよい。あるいは、反射によって生じる周波数成分の偏りを反映させるために、所定の周波数帯域毎に反射率が規定されていてもよい。その場合、反射音到来時音量（ｌｒ）を適用する処理は、帯域毎に減衰率を乗じる処理である周波数イコライザーの処理として実施されてもよい。
　上記の例では、直接音及び反射音候補のそれぞれが受聴者へ到来する際の経路長が算出される。さらに各経路長に基づいて到来時間と到来時音量とが算出される。そして、それらの時間差と音量比とに基づいて、反射音候補の選択処理が行われる。
　なお、別の例として、直接音及び反射音のそれぞれが受聴者へ到来する際の経路長に基づいて選択処理が行われ、直接音及び反射音の到来時間及び到来時音量の算出、並びに、時間差及び音量比の算出が省略されてもよい。この場合、経路長差に応じた閾値が経路長比に対して予め定められてもよい。そして、算出された経路長比が、算出された経路長差に応じた閾値以上であるか否かで選択処理が行われてもよい。これにより、演算量を削減しながら、時間差に対応する経路長差に基づいて選択処理を行うことが可能である。
　また、経路長差に加えて、音の伝搬速度を示すパラメータの値、又は、音の伝搬速度のパラメータに影響を与えるパラメータの値が用いられてもよい。
　（選択処理の詳細）
　反射音を生成するか否かの選択処理の詳細について説明する。
　反射音の選択は、直接音と反射音との時間差（Ｔ）における、直接音到来時音量と反射音到来時音量との比である音量比を定めた閾値と、解析部１３０１で算出した音量比（Ｌ）とを比較することで行われる。例えば、直接音と反射音との時間差の値毎に予め定められた音量比の閾値のうち、解析部１３０１で算出した直接音と反射音との時間差（Ｔ）における、音量比の閾値が参照される。そして、解析部１３０１で算出した音量比（Ｌ）が閾値を上回るか否かで、反射音を生成対象反射音として選択するか否かが決定される。
　時間差（Ｔ）は、例えば、直接音と反射音とがそれぞれ受聴位置に到来する時刻の差、直接音と反射音とがそれぞれ受聴位置に到来する際にかかる時間の時間差、及び、直接音の発音が終了した時点と反射音が受聴位置に到来する時点との時間差のいずれであってもよい。ここで、直接音の終了時刻は、例えば直接音の到来時刻に直接音の継続時間を加算することで求められてもよい。
　閾値データは、聴覚神経作用又は脳における認知作用によって、より具体的には、後述の先行音効果、後述の経時マスキング現象、又は、それらの組み合わせによって、受聴者の知覚が２つの音のずれを検知することが可能な最小時間差に基づいて定められてもよい。具体的な数値は、既に知られている経時マスキング効果、先行音効果又はエコー検知限等の研究成果から導出されてもよいし、当該仮想空間に適用することを前提とした試聴実験によって求められてもよい。
　図１２Ａ、図１２Ｂ及び図１２Ｃは、閾値データの設定方法の例を示す図である。閾値データは、図１２Ａ、図１２Ｂ及び図１２Ｃに示されるように、直接音と反射音との時間差を横軸に有し、直接音と反射音との音量比を縦軸に有するグラフで、当該反射音が知覚されるか知覚されないかの境目（閾値）によって表される。
　閾値データは、直接音と反射音との時間差を変数として有する近似式で表現されてもよい。また、閾値データは、図１１に示されるような、直接音と反射音との時間差のインデックスと、インデックスに対応する閾値との配列としてメモリ１４０４の領域に記憶されていてもよい。
　なお、図１２Ｃの例示４における横軸に平行な線の高さ（最小可聴限）が閾値として用いられる場合、直接音と反射音との音量比（Ｌ）ではなく、反射音の音量そのものが閾値に対して比較される。なぜなら、当該閾値は、受聴者によって知覚可能か否かの境目の音量を示し、当該閾値よりも音量が小さい音を再現しない音として決定するための閾値であるためである。すなわち、最小可聴限に対応する閾値は、反射音の音量と直接音の音量との比に対する閾値ではない。
　最小可聴限が閾値として用いられる場合、閾値は時間差（Ｔ）に関係なく一定であるため、時間差（Ｔ）は算出されなくてもよい。
　なお、解析処理（図８のＳ１０１）で複数の反射音が生成された場合、全ての反射音に対して選択処理が実行されてもよいし、予め設定された評価方法で各反射音に対して導出された評価値に基づいて評価値が高い反射音に対してのみ選択処理が実行されてもよい。ここで、反射音の評価値は、反射音の知覚的な重要度に対応する。なお、評価値が高いことは、評価値が大きいことに対応し、これらの表現は相互に置き換えられてもよい。
　判定部１３０２は、例えば、音源の音量、音源の視覚性、音源の定位性、反射オブジェクト（障害物オブジェクト）の視覚性、又は、直接音と反射音との幾何学的関係性等に応じた予め設定された評価方法で、反射音の評価値を算出してもよい。
　具体的には、音源の音量が大きいほど、評価値が高くてもよい。また、視覚的定位と音響的定位とを一致させるために、受聴者から音源オブジェクト又は反射オブジェクト（障害物オブジェクト）が視認可能である場合、又は、音源オブジェクトの定位性が高い場合、評価値が高くてもよい。
　また、直接音と反射音との到来角の開き、及び、直接音と反射音との到来時間の差は、空間の把握に大きな影響を与える。そのため、直接音と反射音との到来角の開きが大きい場合、又は、直接音と反射音との到来時間の差が大きい場合、評価値が高くてもよい。
　音源の音量の情報は、コンテンツ毎に定められた基準音量、音量の時間的な遷移、又は、その双方を示していてもよい。
　例えば、仮想空間が仮想会議室であり、直接音が会話音声である場合、音量は短い時間で断続的に遷移する。つまり、有音部分と無音部分が交互に発生する。また、仮想空間がコンサートホールであり、直接音が楽曲の演奏である場合、音量は、一定の時間長において維持される。また、仮想空間が戦場であり、直接音が爆発音である場合、音量は、一瞬だけ大きくなり、その後、無音又は小さい状態であり続ける。
　このように音源の音量の情報は、その音を仮想空間に放射する際のボリューム設定に相当する基準音量の情報のみならず、音の大きさの遷移の情報を含んでいてもよい。
　遷移の情報は、周波数特性を時系列に示すデータで表現されてもよい。遷移の情報は、有音区間の継続時間長を示すデータで表現されてもよい。遷移の情報は、有音区間の継続時間長と無音区間の継続時間長との時系列を示すデータで表現されてもよい。遷移の情報は、音信号の振幅が定常的とみなされ得る（概ね一定であるとみなされ得る）継続時間と、その間の当該信号の振幅値との複数組を時系列で列挙したデータ等で表現されてもよい。
　遷移の情報は、音信号の周波数特性が定常的とみなされ得る継続時間のデータで表現されてもよい。遷移の情報は、音信号の周波数特性が定常的であるとみなされ得る継続時間と、その間の当該周波数特性との複数組を時系列で列挙したデータ等で表現されてもよい。
　また、信号の周波数特性の時間的な遷移を仮想空間の音響処理に用いる取り組みが従来から広く行われている（特許文献１等）。そのような従来の技術に鑑みた場合、上記の組が、周波数特性が一定である時間長と、その周波数特性との組であってもよいことは言うまでもない。
　幾何学的関係性は、仮想空間内の音源、受聴者及び反射オブジェクトの位置の関係性であってもよい。それらの関係性によって、直接音及び反射音がそれぞれ到来する経路長を幾何学的に算出することが可能である。したがって、音量が距離に反比例する関係を利用すれば、直接音の基準音量に対する反射音の基準音量を算出することが可能である。
　反射音の基準音量の算出には、反射オブジェクトの反射係数が用いられてもよい。また、反射係数として、一般的に用いられている典型的な値が用いられてもよい。一方、反射オブジェクトが吸音材で覆われている等のような特別な条件が存在する場合、反射オブジェクトの反射係数として、特別に付与された反射係数が用いられてもよい。
　反射音は、反射音の音量によって評価されてもよい。反射音の音量は、上述したような、直接音と反射音との幾何学的関係性、及び、反射オブジェクトに付与された指標から求められてもよい。その音量と予め定められた閾値とを比較して反射音が評価されてもよい。
　さらに、音源の音量の時間的な遷移を示す情報が評価に反映されてもよい。例えば、音源の音量の時間的な遷移を示す情報が、有音の区間の継続時間長を示す場合において、時刻が有音の区間内である場合、反射音の評価値がそのままで維持されてもよい。一方、時刻が有音の区間外である場合、反射音の基準音量が閾値を上回っていても、反射音の評価値を小さくする又はゼロにする処理が行われてもよい。
　あるいは、音源の音量の時間的な遷移を示す情報は、音信号の振幅が概ね一定であるとみなされる継続時間と、その間の当該信号の振幅値との複数組を時系列で列挙したデータであってもよい。この場合、データにおける振幅値の変化に連動して反射音の基準音量を変化させて、反射音を評価する処理が行われてもよい。
　また、直接音の音量を示す情報として、基準音量の情報と、時間的に遷移する音量の情報との両方が用いられてもよい。例えば、基準音量の情報に基づいて評価値が算出された後に、遷移する音量の情報を用いて当該評価値が補正されてもよい。
　反射音の評価において、上述した全ての方法が実行されてもよいし、一部のみが実行されてもよい。例えば、複数の評価方法で反射音が評価されてもよいし、１つの評価方法で反射音が評価されてもよい。
　複数の評価方法で反射音が評価される場合、反射音を選択するか否かは、複数の評価方法で総合的に決定された評価値に基づいて決定されてもよいし、複数の評価方法のそれぞれにおける評価値に基づいて決定されてもよい。
　音声信号処理装置１００１は、複数の評価方法のそれぞれに基づいて反射音を選択するか否かが決定される場合において、複数の評価方法に基づく複数の評価結果の全てが音を選択することを示す場合、音を選択してもよい。あるいは、音声信号処理装置１００１は、複数の評価方法に基づく複数の評価結果のいずれか１つが音を選択することを示す場合、音を選択してもよい。
　また、例えば、第１から第３の評価方法に、優先度が設けられてもよい。そして、音声信号処理装置１００１は、第１の評価方法で音を選択しないと判定された場合、第２及び第３の評価方法における判定結果に依存することなく音を選択しないと最終的に判定してもよい。また、音声信号処理装置１００１は、第２及び第３の評価方法のいずれか一方で音を選択しないと判定されても他方で音を選択すると判定された場合、音を選択すると最終的に判定してもよい。
　また、選択処理と評価処理とは独立して実行されてもよく、いずれか一方だけが実行されてもよい。また、選択処理で選択されると決定された反射音に対してのみ評価処理が実行され、反射音を選択するか否かが評価処理で再決定されてもよい。あるいは、選択処理で選択されないと決定された反射音に対してのみ評価処理が実行され、反射音を選択するか否かが評価処理で再決定されてもよい。
　上述された選択処理は、直接音の性質に応じて反射音を選択する処理と解釈され得る。例えば、直接音の性質に応じて反射音を選択する処理において、反射音の選択に用いられる閾値が、直接音の性質に応じて設定又は調整される。あるいは、反射音の選択に用いられる評価値が、音源の音量、音源の視覚性、音源の定位性、反射オブジェクト（障害物オブジェクト）の視覚性、及び、直接音と反射音との幾何学的関係性等のいずれか１つ以上に基づいて算出される。
　また、直接音の性質に応じて反射音を選択する処理において、直接音の性質に応じて閾値を設定又は調整する処理、及び、処理対象の反射音の選択に用いられる評価値を算出する処理に限られず、他の処理が行われてもよい。また、直接音の性質に応じて閾値を設定又は調整する処理、あるいは、処理対象の反射音の選択に用いられる評価値を算出する処理が行われる場合であっても、処理が部分的に変更されてもよいし、新たな処理が追加されてもよい。
　なお、閾値を設定することは、閾値を調整すること、及び、閾値を変更すること等を含んでいてもよい。
　［閾値の設定方法］
　選択処理に用いられる閾値データは、例えば既に知られている先行音効果に基づくエコー検知限の値、又は、ポストマスキング効果に基づくマスキング閾値を参考に設定されてもよい。
　先行音効果とは、２ヶ所から音が聴こえてきた時、時間的に先に聞こえた方に音源があると認識する現象である。もし、２つの短音が融合して１つの音に聞こえるならば、全体の音の聞こえる位置（定位位置）は、最初の音の位置によって概ね支配的に決定される。エコー検知限とは、先行音効果によって生じる現象であり、２つの音のずれを受聴者の知覚が検知する最小時間差である。
　図１２Ｃの例示２において、横軸は、反射音（エコー）到来時間に対応し、具体的には、直接音の到来時刻から反射音の到来時刻までの遅れ時間に対応する。縦軸は、直接音に対する検知可能な反射音の音量比に対応し、具体的には、遅れ時間を伴って到来した反射音が検知可能であるか否かの閾値に対応する。
　図１３は、閾値の設定方法の例を示す図である。図１３における横軸は、反射音到来時間に対応し、具体的には、直接音と反射音との時間差（Ｔ）に対応する。図１３における縦軸は、反射音の音量に対応する。具体的には、図１３における縦軸は、直接音の音量に対して相対的に定められる反射音の音量（音量比）に対応していてもよいし、直接音の音量によらず絶対的に定められる反射音の音量に対応していてもよい。
　例えば、図９に示されるように受聴者と障害物オブジェクトとが比較的遠い場合、反射音到来時間が遅くなり、図１３のＣに示されるように、閾値は低く設定される。結果、図９の場合、反射音が生成される。一方、図１０に示すように受聴者と障害物オブジェクトとが比較的近い場合、反射音到来時間が図９の場合よりも早くなり、図１３のＢに示されるように、閾値は高く設定される。結果、図１０の場合、反射音が生成されない。
　また、閾値データは、メモリ１４０４に記憶され、選択処理時にメモリ１４０４から取得され、選択処理に用いられてもよい。
　図１４は、選択処理の一例を示すフローチャートである。まず、判定部１３０２は、解析部１３０１で検出された反射音を指定する（Ｓ２０１）。そして、判定部１３０２は、直接音と反射音との音量比（Ｌ）、及び、直接音と反射音との時間差（Ｔ）を検出する（Ｓ２０２及びＳ２０３）。
　時間差（Ｔ）は、例えば直接音と反射音とがそれぞれ受聴位置に到来する際にかかる時間の時間差、直接音到来時刻と反射音到来時刻との時間差、及び、直接音の発音が終了した時点と反射音が受聴位置に到来する時点との時間差のいずれであってもよい。ここでは直接音到来時刻と反射音到来時刻との時間差に基づく例を説明する。
　具体的には、判定部１３０２は、音源オブジェクト及び受聴者の位置情報、並びに、障害物オブジェクトの位置情報及び形状情報から、直接音のパスの長さと反射音のパスの長さとの差を算出する。そして、判定部１３０２は、当該長さの差を音速で除すことで、直接音が受聴者位置に到来する時刻と反射音が受聴者位置に到来する時刻との時間差（Ｔ）を検出する。
　受聴者に到来する音量は、音源の音量に対して、受聴者までの距離に比例して減衰（距離に反比例）する。したがって、直接音の音量は、音源の音量を直接音のパスの長さで除することで得られる。反射音の音量は、音源の音量を反射音のパスの長さで除して、さらに、仮想的な障害物オブジェクトに付与された減衰率を乗じることで得られる。判定部１３０２は、それらの音量の比を算出することで音量比を検出する。
　また、判定部１３０２は、閾値データを用いて、時間差（Ｔ）に対応する閾値を特定する（Ｓ２０４）。そして、判定部１３０２は、検出した音量比（Ｌ）が閾値以上であるか否かを判定する（Ｓ２０５）。
　音量比（Ｌ）が閾値以上である場合（Ｓ２０５でＹｅｓ）、判定部１３０２は、当該反射音を生成対象の反射音として選択する（Ｓ２０６）。音量比（Ｌ）が閾値よりも小さい場合（Ｓ２０５でＮｏ）、判定部１３０２は、当該反射音を生成対象の反射音として選択しない（Ｓ２０７）。すなわち、この場合、判定部１３０２は、当該反射音を生成対象外の反射音として決定する。
　その後、判定部１３０２は、未指定の反射音があるか否かを判定する（Ｓ２０８）。未指定の反射音があれば（Ｓ２０８でＹｅｓ）、判定部１３０２は、上述の処理（Ｓ２０１～Ｓ２０７）を繰り返す。未指定の反射音がなければ（Ｓ２０８でＮｏ）、判定部１３０２は、処理を終了する。
　この選択処理は、解析処理で生成した全ての反射音に対して実行されてもよいし、先述した評価値の高い反射音に対してのみ実行されてもよい。
　［閾値の記憶方法の詳細］
　本実施の形態に係る閾値データは、音声信号処理装置１００１のメモリ１４０４に記憶される。記憶しておく閾値データの形式及び種類は、任意の形式及び任意の種類であってよい。複数の形式及び複数の種類の閾値が記憶される場合、選択処理において、いずれの形式及びいずれの種類の閾値を反射音の選択処理に用いるかが決定されてもよい。いずれの閾値データを選択処理に用いるかを決定する方法については、後述する。
　また、複数の形式及び複数の種類の閾値データが組み合わせて記憶されていてもよい。組み合わせた閾値データが空間情報管理部１２０１及び１２１１から読み出され、選択処理に用いられる閾値が設定されてもよい。なお、メモリ１４０４に記憶される閾値データは、空間情報管理部１２０１及び１２１１に記憶されてもよい。
　閾値データは、例えば、図１２Ｃの［例示１］及び［例示２］に示す閾値の線を描くように、各時間差における閾値で記憶されていてもよい。
　また、閾値データは、図１１に示すように閾値と時間差（Ｔ）とが対応付けられたテーブルデータとして記憶されていてもよい。つまり、閾値データは、時間差（Ｔ）をインデックスとして有するテーブルデータとして記憶されていてもよい。勿論、図１１に示された閾値は一例であって、閾値は、図１１の例に限定されない。また、閾値自体が記憶されず、時間差（Ｔ）を変数として有する関数で閾値が近似され、当該関数の係数が記憶されてもよい。また、複数の近似式が組み合わせて記憶されてもよい。
　例えば、時間差（Ｔ）をｔｉｍｅＤｉｆｆ、閾値をｇａｉｎＴｈｒｅｓｈとして、下記の様な式で閾値データが表現されてもよい。
Figure JPOXMLDOC01-appb-M000001
　閾値は、先行音効果が生じるとされる時間範囲だけで定義される。その時間範囲以外（上記式で言えば１ｍｓ以下又は４０ｍｓより大きい値）の時間差の場合、ｇａｉｎＴｈｒｅｓｈによる判定は行わず、後述する、仮想空間で再現する最小の音量を示す閾値だけで判定が行われてもよい。
　先行音効果が生じるとされる時間範囲においては、閾値は上に凸である関数で近似されることが望ましいことが、本発明者らによる実験で明らかになった。上記式は、その実験に基づいて生成した近似式の一例である。
　メモリ１４０４には、時間差（Ｔ）と閾値との関係を示す関係式に関する情報が記憶されていてもよい。つまり、時間差（Ｔ）を変数として有する式が記憶されていてもよい。各時間差（Ｔ）の閾値が直線又は曲線で近似され、直線又は曲線の幾何学的な形状を示すパラメータが記憶されていてもよい。例えば、当該幾何学的な形状が直線である場合、当該直線を表現するための始点及び傾きが記憶されていてもよい。
　また、直接音の性質毎に閾値データの種類及び形式が定められて記憶されていてもよい。また、直接音の性質に応じて閾値を調整して選択処理に用いるためのパラメータが記憶されていてもよい。直接音の性質に応じて閾値を調整して選択処理に用いる処理は、閾値の設定方法の変形例として後述される。
　複数種類の閾値データが組み合わされて記憶される例として、図１２Ｃの［例示３］に示されるように、時間差（Ｔ）毎に、マスキング閾値とエコー検知限閾値とのうち大きい方の値が記憶されていてもよい。図１２Ｃの［例示４］に示されるように、時間差（Ｔ）毎に、仮想空間で再現する最小の音量と、エコー検知限閾値とのうち大きい方の値が記憶されていてもよい。
　複数種類の閾値データの組み合わせは、これに限定されない。例えば、複数の閾値データにおいて時間差（Ｔ）毎に最大値の情報が記憶されていてもよい。
　また、上記では、閾値に関する情報は、時間の項目を一次元のインデックスとして有する。閾値に関する情報は、さらに到来方向に関する変数を含む二次元又は三次元のインデックスを有していてもよい。
　図１５は、直接音の方向と反射音の方向と時間差と閾値との関係を示す図である。例えば、図１５に示すように、直接音の方向（θ）と、反射音の方向（γ）と、時間差（Ｔ）と、音量比（Ｌ）との関係に従って予め算出された閾値が記憶されていてもよい。
　直接音の方向（θ）は、受聴者に対する直接音の到来方向の角度に対応する。反射音の方向（γ）は、受聴者に対する反射音の到来方向の角度に対応する。ここでは、受聴者が向いている方向が０度と定められる。時間差（Ｔ）は、受聴位置への直接音到来時間と反射音到来時間との差に対応する。音量比（Ｌ）は、直接音到来時音量と反射音到来時音量との音量比に対応する。
　勿論、図１５に示された閾値は一例であって、閾値は、図１５の例に限定されない。また、図１５では、主に直接音の到来方向の角度（θ）が０度である場合の閾値が例示されている。しかしながら、直接音の到来方向（θ）が０度以外である場合の閾値もメモリ１４０４に記憶される。
　また、上記では、直接音の方向（θ）（より具体的には、直接音の到来方向の角度（θ））と、反射音の方向（γ）（より具体的には、反射音の到来方向の角度（γ））とを独立した変数又はインデックスとして有する配列に、閾値が記憶される。しかし、直接音の到来方向の角度（θ）と、反射音の到来方向の角度（γ）とが独立した変数として用いられなくてもよい。
　例えば、直接音の到来方向の角度（θ）と反射音の到来方向の角度（γ）との角度差が用いられてもよい。この角度差は、直接音の到来方向と反射音の到来方向との成す角度に対応し、直接音と反射音との到来角と表現されてもよい。
　図１６は、角度差と時間差と閾値との関係を示す図である。例えば、直接音の到来方向の角度（θ）と反射音の到来方向の角度（γ）との角度差（Φ）を変数として用いて予め算出された閾値が、図１６に示される例のように記憶されていてもよい。勿論、図１６に示された閾値は一例であって、閾値は、図１６の例に限定されない。
　図１６の例では、閾値の導出に用いられる変数の数を減らすことが可能である。そのため、メモリ１４０４に記憶される閾値の数を減らすことが可能である。したがって、メモリ１４０４に記憶されるデータ量を削減することが可能である。
　また、直接音の到来方向の角度（θ）と反射音の到来方向の角度（γ）との角度差（Φ）が用いられる場合、二次元の配列で閾値データが記憶されてもよい。また、選択処理において、三次元の配列を用いて、直接音の到来方向の角度（θ）と反射音の到来方向の角度（γ）との差が算出されてもよい。
　到来方向に応じた閾値を用いて反射音を選択する方法については後述する。
　［閾値の設定方法の第１変形例］
　図１２Ａ、図１２Ｂ及び図１２Ｃの例において、複数の形式及び複数の種類の閾値が空間情報管理部１２０１及び１２１１に記憶されてもよい。そして、複数の形式及び複数の種類の閾値のうち、いずれの形式及びいずれの種類の閾値を反射音の選択処理に用いるかが決定されてもよい。具体的には、図１２Ｃの例示３に示すように、反射音到来時刻に対応する時間差（Ｔ）において、最も高い閾値が採用されてもよい。
　また、例示４に示されるように、マスキング閾値、エコー検知限の閾値、及び、仮想空間で再現する最小の音量を示す閾値が記憶されていてもよい。そして、反射音到来時刻に対応する時間差（Ｔ）において、最も高い閾値が採用されてもよい。
　［閾値の設定方法の第２変形例］
　閾値の設定方法の別の例として、直接音の性質に応じて閾値を設定する方法について説明する。
　図１７は、図７に示されたレンダリング部１３００の別の構成例を示すブロック図である。図１７のレンダリング部１３００は、図７のレンダリング部１３００とは、閾値調整部１３０４を含む点で異なる。閾値調整部１３０４以外の説明は、図７で説明した内容と同じであるため省略する。
　閾値調整部１３０４は、音声信号の性質を示す情報に基づいて、閾値データから判定部１３０２で用いられる閾値を選択する。あるいは、閾値調整部１３０４は、音声信号の性質を示す情報に基づいて、閾値データに含まれる閾値を調整してもよい。
　音声信号の性質を示す情報は、入力信号に含まれていてもよい。そして、閾値調整部１３０４は、入力信号から、音声信号の性質を示す情報を取得してもよい。あるいは、解析部１３０１が、受け付けた入力信号に含まれる音声信号を解析することにより、音声信号の性質を導出し、音声信号の性質を示す情報を閾値調整部１３０４に出力してもよい。
　音声信号の性質を示す情報は、レンダリング処理を開始する前に取得されてもよいし、レンダリング中に都度取得されてもよい。
　また、閾値調整部１３０４は、音声信号処理装置１００１に含まれていなくてもよく、他の通信装置が閾値調整部１３０４の役割を有していてもよい。その場合、解析部１３０１又は判定部１３０２は、通信ＩＦ１４０３を介して他の通信装置から、音声信号の性質を示す情報、性質に応じた閾値データ、又は、性質に応じて閾値データを調整するための情報を取得してもよい。
　図１８は、選択処理の別の例を示すフローチャートである。図１９は、選択処理のさらに別の例を示すフローチャートである。図１８及び図１９では、直接音の性質に応じて閾値が設定される。具体的には、図１８では、閾値調整部１３０４が、時間差（Ｔ）と、音声信号の性質とに基づいて、閾値データから閾値を特定する。図１９では、閾値調整部１３０４が、時間差（Ｔ）に基づいて閾値データから特定される閾値を音声信号の性質に基づいて調整する。
　以下、各例の動作を説明する。なお、図１４の例と共通の処理については説明を省略する。
　まず、図１８で示す処理の例を説明する。ここでは、直接音の性質毎に閾値データがメモリ１４０４に予め記憶される。これにより、複数の性質に対応する複数の閾値データがメモリ１４０４に予め記憶される。そして、閾値調整部１３０４が、複数の閾値データの中から、反射音の選択処理に用いられる閾値データを特定する。
　例えば、閾値調整部１３０４は、入力信号に基づいて直接音の性質を取得する（Ｓ２１１）。閾値調整部１３０４は、入力信号に紐づいている直接音の性質を取得してもよい。そして、閾値調整部１３０４は、時間差（Ｔ）と、直接音の性質とに対応する閾値を特定する（Ｓ２１２）。
　また、図１９に示すように、閾値調整部１３０４は、直接音の性質に基づいて、判定部１３０２で特定された閾値を調整してもよい（Ｓ２２１）。
　いずれの場合も、入力信号に、音声信号の性質を示す情報、音声信号の性質に応じて閾値を調整するための情報、又は、それらの両方が含まれていてもよい。閾値調整部１３０４は、それらの一方又は両方を用いて閾値を調整してもよい。
　また、音声信号の性質を示す情報、閾値を調整するための情報、又は、それらの両方が、音声信号が含まれる入力信号とは別の入力信号で伝送されてもよい。その場合、音声信号が含まれる入力信号に、当該入力信号とは別の入力信号を関連付ける情報が含まれていてもよいし、入力信号に別の入力信号を関連付ける情報が、閾値に関する情報とともにメモリ１４０４に記憶されていてもよい。
　図１８及び図１９の例では、反射音の選択に用いられる閾値が、直接音の性質、つまり音声信号の性質に応じて設定される。図１８のように、予め性質毎に設定された閾値データが用いられてもよいし、図１９のように、音声信号の性質に応じて閾値が調整されてもよい。また、音声信号の性質に応じて閾値データのパラメータが調整されてもよい。
　また、閾値調整部１３０４によって行われる動作は、解析部１３０１又は判定部１３０２によって行われてもよい。例えば、解析部１３０１が、音声信号の性質を取得してもよい。また、判定部１３０２が、音声信号の性質に応じて閾値を設定してもよい。
　次に、音声信号の性質と閾値との関係について説明する。
　受聴者の耳に連続して到来する２つの短音は、その時間間隔が十分に短ければ１つの音として聞こえる。この現象は、先行音効果と呼ばれる。先行音効果は、不連続な、すなわち、過渡的な音に対してのみ生じることが知られている（非特許文献１）。したがって、音声信号が定常音を示す場合に、音声信号が非定常音を示す場合よりも、エコー検知限が低く設定されてもよい。
　すなわち、このような先行音効果の特性に従って、例えば、直接音が定常的な音である場合、閾値が小さく設定される。また、定常性が高ければ高いほど閾値が小さく設定されてもよい。
　音声信号の性質が定常的である場合の処理の例について説明する。まず閾値調整部１３０４又は解析部１３０１が、時間の経過に伴う音声信号の周波数成分の変動量に基づいて、定常性を判定する。例えば、当該変動量が少ない場合、定常性が高いと判定される。逆に当該変動量が多い場合、定常性が低いと判定される。判定の結果、定常性のレベルを示すフラグが設定されてもよいし、当該変動量に応じて定常性を示すパラメータが設定されてもよい。
　次に、閾値調整部１３０４は、音声信号の定常性を示すフラグ又はパラメータ等のような定常性を示す情報に基づいて、閾値データ又は閾値を調整し、調整された閾値データ又は閾値を判定部１３０２で用いられる閾値データ又は閾値として設定してもよい。
　あるいは、直接音の定常性を示す情報に応じて閾値データを設定するためのパラメータが、予めメモリ１４０４に記憶されていてもよい。この場合、閾値調整部１３０４は、音声信号の定常性を判定し、定常性を示す情報及びパラメータに基づいて、反射音の選択に用いられる閾値データを設定してもよい。
　あるいは、閾値データの複数のパラメータが、直接音の定常性の複数のパターンに対応して、予めメモリ１４０４に記憶されていてもよい。この場合、閾値調整部１３０４は、音声信号の定常性を判定し、直接音の定常性のパターンに基づいて閾値データのパラメータを選択し、閾値データのパラメータに基づいて、反射音の選択に用いられる閾値データを設定してもよい。
　なお、音声信号の定常性は、音声信号が入力される度に、音声信号の周波数成分の変動量に基づいて判定されてもよい。
　あるいは、音声信号の定常性は、音声信号に予め紐づけられた、定常性を示す情報に基づいて、判定されてもよい。つまり、音声信号の定常性を示す情報が、音声信号に紐づけられて、予めメモリ１４０４に記憶されていてもよい。解析部１３０１は、音声信号が入力される度に、音声信号に紐づけられた定常性を示す情報を取得してもよい。そして、閾値調整部１３０４は、音声信号に紐づけられた定常性を示す情報に基づいて、閾値を調整してもよい。
　音声信号の性質に応じて閾値が設定される他の例として、音声信号が短い音（クリック音等）を示す場合に、音声信号が長い音を示す場合よりも、エコー検知限の適用範囲が短く設定されてもよい。この処理は、先行音効果の特性に基づく。
　先行音効果によって、受聴者の耳に連続して到来する２つの短音は、その時間間隔が十分に短ければ１つの音として聞こえることが知られている。この時間間隔の上限は、音の長さに依存する。例えば、この時間間隔の上限は、クリック音では約５ｍｓであるが、人の声又は音楽のような複雑な音では４０ｍｓになることもある（非特許文献１）。
　このような先行音効果の特性に従って、例えば、直接音の継続時間長が短い音の場合、短い時間長の閾値が設定される。また、直接音の継続時間長が短いほど、より短い時間長の閾値が設定される。
　短い時間長の閾値が設定されることは、直接音と反射音との時間差（Ｔ）が小さい範囲において、先行音効果の特性に基づくエコー検知限に対応する閾値が設けられることを意味する。この範囲外では、先行音効果の特性に基づくエコー検知限に対応する閾値が設けられない。すなわち、この範囲外では、閾値が小さい。したがって、短い音に対して短い時間長の閾値が設定されることは、短い音に対して小さい閾値が設定されることに対応し得る。
　直接音の性質に応じて閾値が設定される他の例として、直接音が断続的な音（スピーチ等）である場合に、直接音が継続的な音（音楽等）である場合よりも、閾値が低く設定されてもよい。
　例えば直接音がスピーチに対応する場合、有音部と無音部とが繰り返され、マスキング効果として、無音部では、ポストマスキング効果のみが生じる。一方、直接音が音楽コンテンツのように継続的な音である場合、ポストマスキング効果と、その時に発生している音による同時マスキング効果との両方のマスキング効果が生じる。したがって、総合的なマスキング効果は、スピーチ等の場合よりも音楽等の場合に高い。
　上記のようなマスキング効果の特性に従って、スピーチ等の場合よりも音楽等の場合に、閾値が高く設定されてもよい。逆に、音楽等の場合よりもスピーチ等の場合に、閾値が低く設定されてもよい。つまり、直接音に断続的な部分が多い場合、閾値が小さく設定されてもよい。
　上述した通り、直接音の性質を示す情報は、直接音の定常性、断続性及び継続時間等を示す情報であってもよい。また、直接音の性質を示す情報は、それらの任意の組み合わせであってもよい。また、直接音の性質を示す情報は、それらのいずれかの時間変動を示す情報であってもよいし、それらの任意の組み合わせの時間変動を示す情報であってもよい。つまり、直接音の性質を示す情報は、直接音の時間変動を示す情報であってもよい。
　例えば、定常性の判定の説明において示したように、直接音の性質を示す情報は、周波数特性の時系列データであってもよい。ここで、周波数特性は、周波数バンド毎のゲイン値、時間軸信号に対するフーリエ級数、あるいは、周波数包絡線を求めるためのＬＰＣ係数又はケプストラム係数等のような、慣用されている形式で表現されてもよい。
　さらに、直接音の性質を示す情報は、直接音の断続性を示す情報として、信号の振幅が定常的である継続時間と、その間の当該信号の振幅値との複数組を時系列で列挙した情報（振幅の包絡線の概形）であってもよい。ここで、振幅値は、基準音量に対する比で表現されてもよい。
　さらに、直接音の性質を示す情報は、直接音の周波数特性に関する情報であってもよい。例えば、直接音の性質を示す情報は、直接音の周波数特性の定常性を示す情報であってもよい。具体的には、直接音の性質を示す情報は、周波数特性の変動が小さい状態である継続時間と、その間の当該信号の周波数特性との複数組を時系列で列挙した情報（スペクトログラムの概形）であってもよい。ここで、上記の周波数特性の基準として用いられる音量は、上記の基準音量であってもよい。
　例えば、直接音の時間変動を示す情報は、直接音の包絡線を示す情報である。直接音の時間変動を示す情報は、図１２Ｃの［例示４］に記載の「最小可聴限」が閾値である場合に用いられてもよい。最小可聴限と比較する信号は、反射音の音量である。
　反射音の音量は、音源、受聴者及び反射オブジェクトの位置の情報から幾何学的な計算によって得られる。具体的には、音源の基準音量に対する反射音の基準音量が得られる。直接音の性質を示す情報として音源の音の大きさの遷移の情報を用いて反射音の基準音量を増減させることで、時々刻々の反射音の音量を正確に求めることが可能である。この理由は、音源の音量の変動が反射音の音量の変動に反映されるためである。
　反射音の音量の調整後、反射音の音量を閾値と比較することで、より正確に聴感上必要な反射音を適切に選択することが可能である。
　勿論、反射音の基準音量を調整せずに、音源の音の大きさの遷移の情報の逆数に基づいて閾値を調整し、調整された閾値と反射音の基準音量とを比較することによっても同じ結果が得られることは言うまでもない。つまり、音源の音の大きさの遷移の情報を用いて反射音の基準音量が調整されてもよいし、音源の音の大きさの遷移の情報を用いて閾値が調整されてもよい。反射音の基準音量の調整と閾値の調整とは、互いに対応する。
　音を反射する物体の表面の組成によって、音の反射率（反射に伴う音の減衰率）は、周波数帯域毎に異なる。そこで、後述するように、音を反射する物体に対し、周波数帯域毎に、音の反射率（減衰率）が紐づけられていてもよい。そのような反射率の情報と、スペクトログラムの情報とによって、当該反射音を選択するか否かをより正確に判定することが可能である。例えば、下記のような処理が行われる。
　具体的には、例えば、スペクトログラムの情報によって、ある時間区間において、高域の周波数成分が、低域の周波数成分よりも優勢であることが示されている。また、例えば、音の反射率の情報によって、高域の周波数成分において、低域の周波数成分よりも、反射率が極めて小さいことが示されている。
　この場合、音源の信号の時間軸での振幅が大きくても、スペクトログラムの情報によって示される周波数成分と、反射率の情報によって示される周波数帯域毎の減衰率とを乗じることで得られる反射音の音量は小さくなり、反射音は選択されない可能性がある。
　上述した通り、直接音の性質を示す情報は、直接音の時間変動を示す情報であってもよい。例えば、直接音の性質を示す情報は、直接音を予め定められた時間長で分析することで得られる値を示してもよい。
　具体的には、直接音の性質を示す情報は、予め定められた時間長毎に直接音の平均エネルギー又は平均振幅を算出することで得られる情報であってもよい。また、直接音の性質を示す情報は、短時間分析長毎に直接音のエネルギー又は平均振幅を算出し、短時間分析長よりも長い長時間分析長毎にエネルギー又は平均振幅の加重平均を算出することで得られる情報であってもよい。
　より具体的には、例えば、直接音の時間変動を示す情報は、予め定められた短い時間長（例えば５ｍｓ、以後この時間長のフレームは分析フレームと表現される）毎に、直接音のエネルギー又は平均振幅を算出することで得られる情報であってもよい。また、直接音の時間変動を示す情報は、過去Ｎ－１個の分析フレームで算出されたエネルギー又は平均振幅の加重平均で表される情報であってもよい。
　仮に、第ｎ分析フレームのエネルギーがＥ（ｎ）で表現される場合、直接音の性質を示す情報Ｉ（ｎ）は、次式に従って求められる。
Figure JPOXMLDOC01-appb-M000002
　ここで、パラメータａ（ｉ）は、重み係数を表す。一般的には、ａ（ｉ）≧０、かつ、ａ（ｉ）の総和が１になるように、ａ（ｉ）が設定される。しかしながら、ａ（ｉ）の設定方法は、この限りではない。
　なお、直接音が５ｍｓ取り込まれる度に、直接音の性質を示す情報Ｉ（ｎ）が算出される。すなわち、直接音の性質を示す情報Ｉ（ｎ）の時間変動を低遅延で算出することが可能である。そのため、この方法は、リアルタイム性の必要なアプリケーションへの適用に適している。
　また、次式に従って、直接音の性質を示す情報Ｉ（ｎ）が求められてもよい。
Figure JPOXMLDOC01-appb-M000003
　ここで、パラメータｂ（ｉ）は、重み係数を表す。一般的には、ｂ（ｉ）≧０、かつ、ｂ（ｉ）の総和が１になるように、ｂ（ｉ）が設定される。しかしながら、ｂ（ｉ）の設定方法は、この限りではない。
　この式では、再帰的に、直接音の性質を示す情報Ｉ（ｎ）が求められている。そのため、少ない演算量で、長い時間長の平均エネルギーを算出することが可能である。
　上記の式１及び式２は、Ｅ（ｎ）が入力信号でありＩ（ｎ）が出力信号であるフィルタとみなされ得る。その場合、式１は、移動平均（ＭＡ）モデルのフィルタであり、式２は、自己回帰（ＡＲ）モデルのフィルタであり、いずれも、低域通過型（ローパス）フィルタの特性を有する。また、両者が組み合わせられたＡＲＭＡモデルのフィルタが用いられてもよい。
　なお、直接音の時間変動を示す情報を導出する方法には、上述の計算式又はフィルタに限られず、他の公知の手法が用いられてもよい。上述した通り、直接音の時間変動を示す情報は、直接音を予め定められた時間長で分析することで得られる値を示す。平均エネルギー以外の観点で直接音が分析されてもよい。
　また、上述した通り、直接音の性質を示す情報は、直接音の周波数特性に関する情報であってもよい。直接音の周波数特性に関する情報は、直接音の周波数特性を用いて算出された情報であってもよい。例えば、直接音の周波数特性に関する情報は、直接音の低域成分を予め定められた分析長で平均化することで低域成分の平均エネルギーとして得られる情報であってもよい。
　具体的には、分析フレーム長に含まれる直接音に対して、ローパス特性を有するフィルタを適用することで、直接音の低域成分が求められる。この低域成分のエネルギー又は平均振幅から、上述した式１と同様に、直接音の性質を示す情報が導出される。
　仮に、第ｎ分析フレームの低域成分のエネルギーがＥＬ（ｎ）で表現される場合、直接音の性質を示す情報Ｉ（ｎ）は、次式に従って求められる。
Figure JPOXMLDOC01-appb-M000004
　ここで、パラメータｃ（ｉ）は、重み係数を表す。一般的には、ｃ（ｉ）≧０、かつ、ｃ（ｉ）の総和が１になるように、ｃ（ｉ）が設定される。しかしながら、ｃ（ｉ）の設定方法は、この限りではない。
　なお、直接音が５ｍｓ取り込まれる度に、直接音の性質を示す情報Ｉ（ｎ）が算出される。すなわち、直接音の性質を示す情報Ｉ（ｎ）の時間変動を低遅延で算出することが可能である。そのため、この方法は、リアルタイム性の必要なアプリケーションへの適用に適している。
　また、式２と同様に、次式に従って、直接音の性質を示す情報Ｉ（ｎ）が求められてもよい。
Figure JPOXMLDOC01-appb-M000005
　ここで、パラメータｄ（ｉ）は、重み係数を表す。一般的には、ｄ（ｉ）≧０、かつ、ｄ（ｉ）の総和が１になるように、ｄ（ｉ）が設定される。しかしながら、ｄ（ｉ）の設定方法は、この限りではない。
　この式では、再帰的に、直接音の性質を示す情報Ｉ（ｎ）が求められている。そのため、少ない演算量で、長い時間長の平均エネルギーを算出することが可能である。
　上記の式３及び式４は、Ｅ（ｎ）が入力信号でありＩ（ｎ）が出力信号であるフィルタとみなされ得る。その場合、式３は、移動平均（ＭＡ）モデルのフィルタであり、式４は、自己回帰（ＡＲ）モデルのフィルタであり、いずれも、低域通過型（ローパス）フィルタの特性を有する。また、両者が組み合わせられたＡＲＭＡモデルのフィルタが用いられてもよい。
　上記では、直接音の低域成分を求める方法に、ローパス特性を有するフィルタが用いられているが、直接音の低域成分を求める方法は、これに限られない。また、直接音の時間変動を示す情報を導出する方法には、上述の計算式又はフィルタに限られず、他の公知の手法が用いられてもよい。例えば、直接音に対して周波数変換を施すことにより、直接音のスペクトルが算出されてもよい。そして、当該スペクトルの低域成分のエネルギー又は平均振幅が算出されてもよい。
　また、上記では、直接音の時間変動を示す情報の導出に、ＭＡモデル又はＡＲモデルが用いられている。これらモデルの係数は、予め定められた固定値であってもよいし、時間的に可変な値である可変値であってもよい。
　また、上記の分析フレーム長と、上記の情報更新スレッドの発生インターバルとの関係は、下記の様なものであってもよい。
　例えば、分析フレームの時間長がＴＡ（ｍｓｅｃ）であり、情報更新スレッドの発生インターバルがＴＵ（ｍｓｅｃ）である場合、ＭＡフィルタにおける上記の（式１）及び（式３）のＮの値は、ＴＵ／ＴＡによって与えられる値程度であってもよい。また、ＡＲフィルタにおける上記（式２）及び（式４）のｂ（ｉ）及びｄ（ｉ）（１≦ｉ＜Ｎ）は、当該フィルタの時定数がＴＵ（ｍｓｅｃ）程度になるような値であってもよい。
　上記の設定の理由は、情報更新のインターバル期間内で、当該フィルタが収束することが期待されるためである。
　一方、もし上記の設定で直接音の時間変動を示す情報において値が急峻に変動し過ぎるような場合は、Ｉ（ｎ）が予め算出されてもよい。そして、予め算出されたＩ（ｎ）が反射音の選択処理に適用されてもよい。例えば、ｔ時刻目のフレームの処理において、Ｉ（ｔ＋ｔａｕ）が用いられてもよい。ここで、ｔａｕは、フィルタの収束の特性に応じて定められる値である。収束が遅い場合、収束が速い場合に比べて、ｔａｕの値は大きい。
　また、直接音の特性を示す情報として、直接音から算出される聴覚マスキング（周波数マスキング）の情報が用いられてもよい。聴覚マスキングの情報は、直接音によってマスクされる周波数領域での振幅値の閾値を示す。同じ周波数領域での反射音の振幅値を閾値と比較して、閾値よりも振幅値の小さい反射音を選択しない処理が行われてもよい。周波数領域における反射音の振幅値は、反射音の特性を示す情報として解析部１３０１で取得されてもよい。
　このように直接音の性質に応じて反射音の選択に用いられる閾値を設定することで、聴感上必要な反射音を適切に選択することが可能になり、聴覚の特性を効果的に立体音響再生システム１０００に反映することが可能になる。直接音の性質を検出する処理、性質に応じて閾値を決定する処理、及び、性質に応じて閾値を調整する処理は、レンダリング処理時に行われてもよいし、レンダリング処理を開始する前に行われてもよい。
　例えば、これらの処理は、仮想空間作成時（ソフトウェアの作成時）、仮想空間の処理の開始時（ソフトウェアの起動時又はレンダリング開始時）、又は、仮想空間の処理において定期的に発生する情報更新スレッドが発生したタイミング等で行われてもよい。また、仮想空間作成時は、音響処理の開始前に仮想空間を構築するタイミングであってもよいし、仮想空間の情報（空間情報）の取得時であってもよいし、ソフトウェアの取得時であってもよい。
　ここで、情報更新スレッドでは、空間情報管理部１２０１及び１２１１によって管理される空間情報を更新するための処理が行われる。
　情報更新スレッドが担う役割は、例えば、受聴者が装着しているＶＲゴーグルの位置及び向きに基づいて、仮想空間内に配置された受聴者のアバターの位置及び向きを更新する処理、又は、仮想空間内を移動している物体の位置の更新等である。このような処理は、数１０Ｈｚ程度の比較的低頻度で起動する処理スレッド内で賄われる。
　このような発生頻度の低い処理スレッドで、直接音の性質を示す情報を更新する処理が行われてもよい。この理由は、オーディオ出力のためのオーディオ処理フレームの発生頻度よりも直接音の性質が変動する頻度が低いためである。これにより、当該処理の演算負荷を相対的に小さくすることが可能になる。また、不必要に速い頻度で情報を更新するとパルシブなノイズが発生するリスクが生じる。低い頻度で情報が更新されることにより、このようなリスクを回避することも可能である。
　［閾値の設定方法の第３変形例］
　閾値の設定方法の別の例として、当該仮想空間の再現を処理する演算資源（ＣＰＵ能力、メモリ資源、ＰＣ性能又はバッテリ残量等）に応じて、閾値が設定されてもよい。より具体的には、音声信号処理装置１００１のセンサ１４０５が演算資源の量を検知し、演算資源量が少ない場合、閾値が高く設定される。これにより、より多くの反射音の音量が閾値よりも小さくなるため、バイノーラル処理が行われる反射音を減らすことが可能になり、演算量を減らすことが可能になる。
　あるいは、信号処理が、スマートフォン又はＶＲゴーグル等のような、蓄電池で駆動する機器で行われる場合、処理を長時間持続させることを優先し演算資源を節約することが期待される。そのような場合、演算資源の量又は残量を検知するまでもなく、閾値が高く設定されてもよい。
　［閾値の設定方法の第４変形例］
　閾値の設定方法の別の例として、図示しない閾値設定部を音声信号処理装置１００１又は音声提示装置１００２が備えることで、当該仮想空間の管理者又は受聴者によって閾値が設定されてもよい。
　例えば、音声提示装置１００２を装着する受聴者によって、受聴対象反射音が少なく演算量が少ない「省エネモード」か、受聴対象反射音が多く演算量が多い「高性能モード」かが選択可能であってもよい。もしくは、立体音響再生システム１０００を管理する管理者又は立体音響コンテンツの作成者によって、モードが選択可能であってもよい。また、モードではなく、閾値又は閾値データが直接選択可能であってもよい。
　［レンダリング部の動作の第１変形例］
　図２０は、音声信号処理装置１００１の動作の第１変形例を示すフローチャートである。図２０には、主に音声信号処理装置１００１のレンダリング部１３００で実行される処理が示されている。本変形例では、レンダリング部１３００の動作に音量補償処理が追加される。
　例えば、解析部１３０１は、データ（入力信号）を取得する（Ｓ３０１）。次に、解析部１３０１は、データを解析する（Ｓ３０２）。次に、判定部１３０２は、解析結果に基づいて、反射音を選択するか否かの判定を行う（Ｓ３０３）。次に、再生部１３０３は、選択されない反射音に基づいて音量補償処理を行う（Ｓ３０４）。次に、再生部１３０３は、直接音及び反射音の音響処理を行う（Ｓ３０５）。そして、再生部１３０３は、直接音及び反射音をオーディオとして出力する（Ｓ３０６）。
　上記の処理（Ｓ３０１～Ｓ３０６）のうち音量補償処理（Ｓ３０４）以外は、上述された他の例と共通する処理であるため、それらの説明を省略する。
　音量補償処理は、選択処理において選択されなかった反射音に応じて実行される。例えば、選択処理において反射音を選択しないことによって音量感の欠如が生じる。音量補償処理によって、このような音量感の欠如に伴う違和感が抑制される。音量感を補償する方法の例として、以下の２つの方法を開示する。２つの方法のうちいずれの方法が用いられてもよい。
　まず、直接音の音量を上昇させることで音量感を補償する方法について説明する。再生部１３０３は、選択されなかった反射音の音量の分だけ直接音の音量を上昇させて、直接音を生成する。これによって、反射音を生成しないことで失われる音量感が補償される。
　再生部１３０３は、当該音量を上昇させる際、反射音の周波数特性に従って、周波数成分毎に音量を上昇させてもよい。このような処理を可能にするため、反射オブジェクトが減衰させる音量の減衰率が所定の周波数帯域毎に付与されていてもよい。これにより、反射音の周波数特性を導出することが可能になる。
　次に、直接音に反射音を合成させることで、音量感を補償する方法について説明する。この方法において、再生部１３０３は、選択されなかった反射音を直接音に加算し、直接音を生成することによって、反射音を生成しないことによる音量感を補償する。生成された直接音には、選択されなかった反射音の音量（振幅）、周波数及び遅延等が反映される。
　直接音の音量を上昇させる方法の場合、補償処理の演算量は極めて軽微であるが、音量のみが補償される。直接音に反射音を合成させる方法の場合、補償処理の演算量は、直接音の音量を上昇させる方法に比べれば大きいが、反射音の特性がより正確に補償される。
　いずれの場合も、反射音を生成せず、直接音のみが生成されるため、全体の演算量が削減される。特にＨＲＴＦを畳み込む処理を含むバイノーラル処理にかかる演算量が削減されるため、全体の演算量は大きく削減される。この理由は、バイノーラル処理にかかる演算量が上記の補償処理にかかる演算量よりも遥かに大きいためである。
　なお、反射音が選択されない理由が、反射音の音量がマスキング閾値を下回ることである場合、音量感が失われないため、補償処理を行うことなく、単に反射音が除去されてもよい。
　［レンダリング部の動作の第２変形例］
　図２１は、音声信号処理装置１００１の動作の第２変形例を示すフローチャートである。図２１には、主に音声信号処理装置１００１のレンダリング部１３００で実行される処理が示されている。本変形例では、レンダリング部１３００の動作に左右音量差調整処理が追加される。
　例えば、解析部１３０１は、入力信号を解析する（Ｓ４０１）。次に、解析部１３０１は、音の到来方向を検出する（Ｓ４０２）。次に、判定部１３０２は、左右の耳で知覚される音の音量の差を調整する（Ｓ４０３）。また、判定部１３０２は、左右の耳で知覚される音の到来時間の差（遅延）を調整する（Ｓ４０４）。判定部１３０２は、調整後の音の情報に基づいて、反射音を選択するか否かの判定を行う（Ｓ４０５）。
　上記の処理（Ｓ４０１～Ｓ４０５）のうち左右音量差調整処理（Ｓ４０３）及び遅延調整処理（Ｓ４０４）以外は、上述された他の例と共通する処理であるため、それらの説明を省略する。
　図２２は、アバターと音源オブジェクトと障害物オブジェクトとの配置例を示す図である。例えば、受聴者の正面方向が０度である場合において、図２２のように、直接音の到来方向（θ）と反射音の到来方向（γ）（反射音の方向（γ））との極性（例えば正負）が異なる場合、両耳間で生じる音量差が補正される。
　具体的には、θとγとの極性が異なる場合、直接音と反射音とで主に（先に）音を知覚する耳が異なる。この場合、判定部１３０２は、左右音量差調整処理（Ｓ４０３）として、反射音を主に知覚する耳の位置に合わせて直接音の音量を調整する。例えば、判定部１３０２は、直接音が受聴者に到来する時の音量に、（１．０－０．３ｓｉｎ（θ））（０≦θ≦１８０）を乗じることで、直接音が受聴者に到来する時の音量を減衰させる。
　判定部１３０２は、上記のように補正された直接音の音量と、反射音の音量との音量比を算出し、算出された音量比と閾値とを比較することによって、反射音を選択するか否かの判定を行う。これにより、両耳間で生じる音量差が補正され、反射音に影響する直接音の音量がより正確に導出され、反射音を選択するか否かの判定がより正確に行われる。
　また、判定部１３０２は、左右音量差調整処理（Ｓ４０３）に加えて、遅延調整処理（Ｓ４０４）として、反射音を知覚する耳の位置に合わせて、直接音到来時間を遅延させてもよい。具体的には、判定部１３０２は、直接音到来時間に（ａ（ｓｉｎθ＋θ）／ｃ）ｍｓ（ａは頭部の半径、ｃは音速）を加えることにより、直接音到来時間を遅延させてもよい。
　［レンダリング部の動作の第３変形例］
　到来方向に応じた閾値を設定する方法について説明する。
　図２３は、選択処理のさらに別の一例を示すフローチャートである。図１４の例と共通の処理については説明を省略する。図２３の例では、判定部１３０２が、到来方向に応じた閾値を用いて反射音を選択する。
　具体的には、判定部１３０２は、解析部１３０１で算出された直接音到来経路（ｐｄ）、反射音到来経路（ｐｒ）、及び、アバターの向き情報Ｄ１から、アバターの向きを基準に用いて定められる直接音到来方向（θ）及び反射音到来方向（γ）（反射音の方向（γ））を算出する。すなわち、判定部１３０２は、直接音到来方向（θ）及び反射音到来方向（γ）を検出する（Ｓ２３１）。アバターの向きは、受聴者の向きに対応する。アバターの向き情報Ｄ１は、入力信号に含まれていてもよい。
　判定部１３０２は、直接音到来方向（θ）及び反射音到来方向（γ）に加えて時間差（Ｔ）を含む３つのインデックスを用いて、図１５に示されるような三次元配列から、選択処理に用いられる閾値を特定する（Ｓ２３２）。
　例として、図２２のように、アバターと音源オブジェクトと障害物オブジェクトとが配置されている場合に、選択処理に用いられる閾値の設定方法を説明する。
　入力信号から、アバター、音源オブジェクト及び障害物オブジェクトの位置情報と、アバターの向き情報Ｄ１とが取得される。これらの位置情報及び向き情報Ｄ１を用いて、アバターの向きが０度と定められる場合における直接音の方向（θ）と反射音の音像の方向（γ）とが算出される。図２２の場合、直接音の方向（θ）は、２０度程度であり、反射音の音像の方向（γ）は、２６５度（－９５度）程度である。
　次に、図１５に示される三次元の配列で記憶された閾値データを参照して、２つの方向（θ）及び（γ）の値と、解析部１３０１で算出された時間差（Ｔ）の値とに対応する配列領域から閾値が特定される。算出された（θ）、（γ）、（Ｔ）の値に対応するインデックスが存在しない場合、最も近いインデックスに対応する閾値が特定されてもよい。
　別の方法として、算出された（θ）、（γ）、（Ｔ）の値に近い１つ以上のインデックスに対応する１つ以上の閾値に基づいて、補間、内挿又は外挿等の処理を行うことにより、閾値が特定されてもよい。例えば、（０度、２２５度、Ｔ）、（０度、２７０度、Ｔ）、（４５度、２２５度、Ｔ）及び（４５度、２７０度、Ｔ）の４つのインデックスに対応する４つの閾値に基づいて、（２０度、２６５度、Ｔ）に対応する閾値が特定されてもよい。
　直接音の到来方向の角度（θ）と反射音の到来方向の角度（γ）との差に基づく選択処理について説明する。
　例えば、図１６に示されるような、直接音の到来方向（θ）と反射音の到来方向（γ）との角度差（Φ）と、時間差（Ｔ）とを二次元インデックス配列として有する閾値データが、予め作成され、設定されていてもよい。この場合、選択処理で角度差（Φ）と時間差（Ｔ）とが参照される。あるいは、選択処理で直接音の到来方向の角度（θ）と反射音の到来方向の角度（γ）との角度差（Φ）が算出され、算出された角度差（Φ）が閾値の特定に用いられてもよい。
　あるいは、当該角度差（Φ）と直接音の到来方向（θ）と時間差（Ｔ）との組み合わせ、又は、角度差（Φ）と反射音の到来方向（γ）と時間差（Ｔ）との組み合わせをインデックス配列として有する閾値データが設定されてもよい。
　あるいは、図１５に示されるような、（θ）、（γ）及び（Ｔ）の値を三次元インデックス配列として有する閾値データが設定されてもよい。
　［レンダリング部の動作の第４変形例］
　上述の解析部１３０１、判定部１３０２及び再生部１３０３で行われる処理は、例えば特許文献３で説明されているようなパイプライン処理として行われてもよい。
　図２４は、レンダリング部１３００がパイプライン処理を行うための構成例を示すブロック図である。
　図２４のレンダリング部１３００は、残響処理部１３１１、初期反射処理部１３１２、距離減衰処理部１３１３、判定部１３１４、生成部１３１５及びバイノーラル処理部１３１６を備える。これらの複数の構成要素は、図７に示されたレンダリング部１３００の複数の構成要素で構成されていてもよいし、図５に示された音声信号処理装置１００１の複数の構成要素の少なくとも一部で構成されていてもよい。
　パイプライン処理とは、音響効果を付与するための処理を複数の処理に分割し、複数の処理を１つずつ順番に実行することを指す。複数の処理のそれぞれでは、例えば、音声信号に対する信号処理、又は、信号処理に用いられるパラメータの生成等が実行される。
　レンダリング部１３００は、パイプライン処理として、残響処理、初期反射処理、距離減衰処理及びバイノーラル処理等を行ってもよい。ただし、これらの処理は一例であり、パイプライン処理は、これら以外の処理を含んでいてもよいし、一部の処理を含んでいなくてもよい。例えば、パイプライン処理は、回折処理及びオクルージョン処理を含んでいてもよい。また、例えば、残響処理が、不要な場合、省略されてもよい。
　また、各処理がステージと表現されてもよい。また、各処理の結果、生成された反射音等の音声信号は、レンダリングアイテムと表現されてもよい。パイプライン処理における複数のステージ、及び、それらの順番は、図２４に示された例に限られない。
　ここでは、選択処理で用いられるパラメータ（直接音及び反射音に関する到来経路、到来時間及び音量比）が、レンダリングアイテムを生成するための複数のステージのいずれかで算出される。つまり、反射音の選択に用いられるパラメータは、レンダリングアイテムを生成するためのパイプライン処理の一部で算出される。なお、全てのステージがレンダリング部１３００で行われなくてもよい。例えば、一部のステージが、省略されてもよいし、レンダリング部１３００以外で行われてもよい。
　パイプライン処理にステージとして含まれ得る残響処理、初期反射処理、距離減衰処理、選択処理、生成処理及びバイノーラル処理について説明する。各ステージにおいて、入力信号に含まれるメタデータを解析して、反射音の生成に用いられるパラメータが算出されてもよい。
　残響処理では、残響処理部１３１１が、残響音を示す音声信号、又は、音声信号の生成に用いられるパラメータを生成する。残響音とは、直接音の後に残響として受聴者に到来する音である。一例として、残響音は、後述する初期反射音が受聴者へ到来した後の比較的後期（例えば、直接音の到来時から百数十ｍｓ程度）の段階で、初期反射音よりも多くの回数（例えば、数十回）の反射を経て受聴者へ到来する音である。
　残響処理部１３１１は、入力信号に含まれる音声信号及び空間情報を参照し、残響音を生成するための関数として事前に準備された所定の関数を用いて残響音を計算する。
　残響処理部１３１１は、入力信号に含まれる音声信号に、公知の残響生成方法を適用して、残響音を生成してもよい。公知の残響生成方法の例は、シュレーダー法であるが、公知の残響生成方法は、シュレーダー法に限られない。また、残響処理部１３１１は、公知の残響生成方法の適用において、空間情報が示す音再生空間の形状及び音響特性を用いる。これにより、残響処理部１３１１は、残響音を生成するためのパラメータを算出することができる。
　初期反射処理では、初期反射処理部１３１２が、空間情報に基づいて、初期反射音を生成するためのパラメータを算出する。初期反射音は、音源オブジェクトから直接音が受聴者へ到来した後の比較的初期（例えば、直接音の到来時から数十ｍｓ程度）の段階で、１回以上の反射を経て受聴者へ到来する反射音である。
　初期反射処理部１３１２は、例えば音声信号及びメタデータを参照し、音源オブジェクトから反射オブジェクトで反射して受聴者に到来する反射音の経路を計算する。例えば、経路の計算において、三次元音場（空間）の形状、三次元音場の大きさ、構造物等の反射オブジェクトの位置、及び、反射オブジェクトの反射率等が用いられてもよい。
　また、初期反射処理部１３１２が、直接音の経路も算出してもよい。当該経路の情報は、初期反射処理部１３１２が初期反射音を生成するためのパラメータとして用いられてもよいし、判定部１３１４が反射音を選択するためのパラメータとして用いられてもよい。
　距離減衰処理では、距離減衰処理部１３１３が、直接音及び反射音の経路の長さに基づいて、受聴者に到来する直接音及び反射音の音量を算出する。受聴者に到来する直接音及び反射音の音量は、音源の音量に対して、受聴者までの経路の距離に比例して減衰（距離に反比例）する。したがって、距離減衰処理部１３１３は、音源の音量を直接音の経路の長さで除して直接音の音量を算出することができ、音源の音量を反射音のパスの長さで除して反射音の音量を算出することができる。
　選択処理では、判定部１３１４が、選択処理の前に算出されたパラメータに基づいて、生成対象反射音を選択する。生成対象反射音の選択には、本開示のいずれかの選択方法が用いられてもよい。
　選択処理は、全ての反射音に対して実行されてもよいし、前述したように評価処理に基づいて評価値の高い反射音に対してのみ実行されてもよい。つまり、評価値の低い反射音は、選択処理を行うまでもなく非選択と判定されてもよい。例えば、音量が非常に小さい反射音は、反射音の評価値が低いとみなされ、非選択と判定されてもよい。
　また、例えば、全ての反射音に対して選択処理が実施されてもよい。そして、選択処理で選択された反射音の評価値が判定され、判定された評価値が低い反射音は、非選択と判定し直されてもよい。
　選択処理と評価処理とは、それぞれ独立で実行されてもよく、組み合わせて実行されてもよい。選択処理と評価処理とが組み合わせて実行する場合、２つの処理のうちのいずれが先に実行されてもよい。
　生成処理において、生成部１３１５は、直接音及び反射音を生成する。例えば、生成部１３１５は、入力信号に含まれる音声信号から、直接音の到来時刻及び到来時音量に基づいて直接音を生成する。また、生成部１３１５は、選択処理において選択された反射音について、入力信号に含まれる音声信号から、反射音の到来時刻及び到来時音量に基づいて反射音を生成する。
　バイノーラル処理において、バイノーラル処理部１３１６は、直接音の音声信号が音源オブジェクトの方向から受聴者に到来する音として知覚されるように、信号処理を実行する。さらに、バイノーラル処理部１３１６は、判定部１３１４で選択された反射音が反射オブジェクトから受聴者に到来する音として知覚されるように、信号処理を実行する。
　例えば、バイノーラル処理部１３１６は、音空間における受聴者の位置及び向きに基づいて、音源オブジェクトの位置又は障害物オブジェクトの位置から音が受聴者に到来するように、ＨＲＩＲ　ＤＢを適用する処理を実行する。
　なお、ＨＲＩＲ（Ｈｅａｄ―Ｒｅｌａｔｅｄ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅｓ）は、１個のインパルスを発生させたときの応答特性である。具体的には、ＨＲＩＲは、耳殻、人頭及び肩まで含めた周辺物によって生じる音の変化が伝達関数として表現された頭部伝達関数をフーリエ変換によって周波数領域における表現から時間領域における表現に変換することで得られる応答特性である。ＨＲＩＲ　ＤＢは、このような情報を含むデータベースである。
　また、音空間における受聴者の位置及び向きは、例えば、仮想的な音空間における仮想的な受聴者の位置及び向きである。受聴者の頭部の動きに合わせて、仮想的な音空間における仮想的な受聴者の位置及び向きが変化してもよい。また、仮想的な音空間における仮想的な受聴者の位置及び向きは、センサ１４０５から取得された情報に基づいて定められてもよい。
　上記の処理に用いられるプログラム、空間情報、ＨＲＩＲ　ＤＢ、閾値データ又はその他のパラメータ等は、音声信号処理装置１００１に備わるメモリ１４０４又は音声信号処理装置１００１の外部から取得される。
　また、パイプライン処理は、他の処理を含んでいてもよい。そして、レンダリング部１３００は、パイプライン処理に含まれる他の処理を行うための図示されない処理部を含んでいてもよい。例えば、レンダリング部１３００は、回折処理部及びオクルージョン処理部を含んでいてもよい。
　回折処理部は、三次元音場（空間）における受聴者と音源オブジェクトとの間の障害物オブジェクトに起因する回折音を含む音を示す音声信号を生成する処理を実行する。回折音は、音源オブジェクトと受聴者との間に障害物オブジェクトが存在する場合に、当該障害物オブジェクトを回り込むようにして音源オブジェクトから受聴者へ到来する音である。
　回折処理部は、例えば音声信号及びメタデータを参照し、音源オブジェクトから障害物オブジェクトを迂回して受聴者へと到来する回折音の経路を計算し、当該経路に基づいて回折音を生成する。経路の計算において、三次元音場（空間）における音源オブジェクト、受聴者及び障害物オブジェクトの位置、並びに、障害物オブジェクトの形状及び大きさ等が用いられてもよい。
　オクルージョン処理部は、障害物オブジェクトの向こう側に音源オブジェクトが存在する場合に、空間情報及び障害物オブジェクトの材質等の情報に基づいて、音源オブジェクトから障害物オブジェクトを通り抜けて漏れ聞こえる音の音声信号を生成する。
　［音源オブジェクトの例］
　上記では、音源オブジェクトに付与される位置情報は、仮想空間内における「点」を音源オブジェクトの位置として示す。すなわち、上記では、音源は、「点音源」として定義されている。
　一方で、仮想空間における音源は、長さ、大きさ及び形状等を有する物体として、すなわち、点音源でない、空間的に拡張された音源として定義されてもよい。この場合、受聴者と音源との距離、及び、音の到来方向が確定しない。したがって、このような音源に起因する反射音は、解析部１３０１で解析を行うまでもなく、又は、解析結果の如何にかかわらず、判定部１３０２で選択されることに限定されてもよい。これにより、反射音を選択しないことによって生じるかもしれない音質の劣化を避けることが可能である。
　あるいは、当該物体の重心等の代表点が定められて、その代表点から音が発生していると仮定して本開示の処理が適用されてもよい。この場合、音源の空間的な拡張の情報に応じて、閾値が調整されてもよい。
　［直接音及び反射音の例］
　例えば、直接音は、反射オブジェクトによって反射されていない音であり、反射音は、反射オブジェクトによって反射された音である。直接音は、音源から反射オブジェクトによって反射することなく受聴者に到来した音であってもよいし、反射音は、音源から反射オブジェクトによって反射して受聴者に到来した音であってもよい。
　また、直接音及び反射音のそれぞれは、受聴者に到来した音に限られず、受聴者に到来する前の音であってもよい。例えば、直接音は、音源から出力された音、さらに言い換えれば、音源の音であってもよい。
　図２５は、音の透過及び回折を示す図である。図２５に示されるように、障害物オブジェクトが音源オブジェクトと受聴者との間に存在することによって、直接音が受聴者に到来しない場合がある。この場合、音源オブジェクトから発せられ、障害物オブジェクトを透過し、受聴者に到来した音が、直接音とみなされてもよい。そして、音源オブジェクトから発せられ、障害物オブジェクトによって回折し、受聴者に到来した音が、反射音とみなされてもよい。
　また、選択処理において比較される２つの音は、１つの音源が発する音に基づく直接音及び反射音に限定されない。例えば、１つの音源が発する音に基づく２つの反射音の間で比較を行って音の選択が行われてもよい。この場合、本開示における直接音は先に受聴者に届く音と読み替えられてもよく、本開示における反射音は後から受聴者に届く音と読み替えられてもよい。
　［ビットストリームの構造例］
　ビットストリームには、例えば、音声信号とメタデータとが含まれる。音声信号は、音が表現された音データであって、音の周波数及び強弱に関する情報等を示す。また、メタデータは、音場の空間である音空間に関する空間情報を含む。
　例えば、空間情報は、音声信号に基づく音を聞く受聴者が位置する空間に関する情報である。具体的には、空間情報は、音空間（例えば三次元音場）における所定の位置に音像を定位させるための、つまり、所定の位置に対応する方向から到来する音を受聴者に知覚させるための、当該所定の位置（定位位置）に関する情報である。空間情報には、例えば、音源オブジェクト情報と、受聴者の位置を示す位置情報とが含まれる。
　音源オブジェクト情報は、音声信号に基づく音を発生させる音源オブジェクトの情報である。つまり、音源オブジェクト情報は、音声信号を再生する物体（音源オブジェクト）に関する情報であって、仮想的な音空間に配置される仮想的な音源オブジェクトに関する情報である。ここで、仮想的な音空間は、音を発生させる物体が配置される実空間に対応していてもよく、仮想的な音空間における音源オブジェクトは、実空間において音を発生させる物体に対応していてもよい。
　音源オブジェクト情報は、音空間に配置される音源オブジェクトの位置、音源オブジェクトの向き、音源オブジェクトが発する音の指向性、音源オブジェクトが生物に属するか否か、及び、音源オブジェクトが動体であるか否か等を示してもよい。例えば、音声信号は、音源オブジェクト情報によって示される１以上の音源オブジェクトに対応付けられている。
　ビットストリームは、例えばメタデータ（制御情報）と音声信号とで構成されるデータ構造を有する。
　音声信号及びメタデータは、１つのビットストリームに含まれていてもよいし、複数のビットストリームに別々に含まれていてもよい。また、音声信号及びメタデータは、１つのファイルに含まれていてもよいし、複数のファイルに別々に含まれていてもよい。
　ビットストリームは、音源毎に存在してもよいし、再生時間毎に存在してもよい。再生時間毎にビットストリームが存在する場合であっても、同時に複数のビットストリームが並列で処理されてもよい。
　メタデータは、ビットストリーム毎に付与されてもよく、複数のビットストリームを制御するための情報として複数のビットストリームにまとめて付与されてもよい。この場合、複数のビットストリームがメタデータを共有してもよい。また、メタデータは、再生時間毎に付与されてもよい。
　複数のビットストリーム又は複数のファイルが存在する場合、１つ以上のビットストリーム又は１つ以上のファイルに、関連ビットストリーム又は関連ファイルを示す情報が含まれていてもよい。あるいは、全てのビットストリームのそれぞれ又は全てのファイルのそれぞれに、関連ビットストリーム又は関連ファイルを示す情報が含まれていてもよい。
　ここで、関連ビットストリーム又は関連ファイルとは、例えば、音響処理の際に同時に用いられる可能性のあるビットストリーム又はファイルである。また、関連ビットストリーム又は関連ファイルを示す情報をまとめて記述したビットストリーム又はファイルが含まれていてもよい。
　ここで、関連ビットストリーム又は関連ファイルを示す情報は、例えば、関連ビットストリーム又は関連ファイルを示す識別子であってもよい。また、関連ビットストリーム又は関連ファイルを示す情報は、例えば、関連ビットストリーム又は関連ファイルを示すファイル名、ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）又はＵＲＩ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｉｄｅｎｔｉｆｉｅｒ）等であってもよい。
　この場合、取得部は、関連ビットストリーム又は関連ファイルを示す情報に基づいて、関連ビットストリーム又は関連ファイルを特定し取得する。また、ビットストリーム又はファイルに、関連ビットストリーム又は関連ファイルを示す情報が含まれ、かつ、別のビットストリーム又は別のファイルに、関連ビットストリーム又は関連ファイルを示す情報が含まれていてもよい。
　ここで、関連ビットストリーム又は関連ファイルを示す情報を含むファイルは、例えばコンテンツの配信に用いられるマニフェストファイル等のような制御ファイルであってもよい。
　なお、全てのメタデータ又は一部のメタデータは、音声信号のビットストリーム以外から取得されてもよい。例えば、音響を制御するためのメタデータと、映像を制御するためのメタデータとのうち、いずれか一方のメタデータが、ビットストリーム以外から取得されてもよいし、両方のメタデータが、ビットストリーム以外から取得されてもよい。
　また、映像を制御するためのメタデータが、立体音響再生システム１０００で取得されるビットストリームに含まれていてもよい。この場合、立体音響再生システム１０００は、画像を表示する表示装置、又は、立体映像を再生する立体映像再生装置へ、映像を制御するためのメタデータを出力してもよい。
　［メタデータに含まれる情報の例］
　メタデータは、音空間で表現されるシーンの記述に用いられる情報であってもよい。ここで、シーンとは、メタデータを用いて立体音響再生システム１０００でモデリングされる音空間における三次元映像及び音響イベントを表す全ての要素の集合体を指す用語である。
　つまり、メタデータは、音響処理を制御するための情報だけでなく、映像処理を制御するための情報も含んでいてもよい。メタデータには、音響処理を制御するための情報と、映像処理を制御するための情報とのうち、いずれか一方のみが含まれていてもよいし、両方が含まれていてもよい。
　立体音響再生システム１０００は、ビットストリームに含まれるメタデータ、及び、追加で取得されるインタラクティブな受聴者の位置情報等を用いて、音声信号に音響処理を行うことで、仮想的な音響効果を生成する。音響効果のうち、初期反射処理と、障害物処理と、回折処理と、遮断処理と、残響処理とが行われてもよいし、メタデータを用いて他の音響処理が行われてもよい。例えば、距離減衰効果、ローカリゼーション又はドップラー効果等の音響効果が付加されてもよい。
　また、音響効果の全て又は一部のオンオフを切り替える情報、又は、音響効果の複数の処理に対する優先度情報が、メタデータに付加されてもよい。
　また、一例として、メタデータは、音源オブジェクト及び障害物オブジェクトを含む音空間に関する情報と、音空間内において所定位置に音像を定位させる（つまり所定方向から到来する音を受聴者に知覚させる）ための、定位位置に関する情報を含む。
　ここで、障害物オブジェクトは、音源オブジェクトが発する音が受聴者へと到来するまでの間において、例えば音を遮ったり、音を反射したりして、受聴者が知覚する音に影響を及ぼし得るオブジェクトである。障害物オブジェクトは、静止物体の他に、動物又は機械等の動体を含み得る。動物は、人等であってもよい。
　また、音空間に複数の音源オブジェクトが存在する場合、任意の音源オブジェクトにとっては、他の音源オブジェクトは障害物オブジェクトとなり得る。つまり、建材又は無生物等の音を発しないオブジェクトである非発音オブジェクトも、音を発する音源オブジェクトも、障害物オブジェクトとなり得る。
　メタデータには、音空間の形状、音空間における障害物オブジェクトの形状及び位置、音空間における音源オブジェクトの形状及び位置、並びに、音空間における受聴者の位置及び向きの全て又は一部を表す情報が含まれる。
　音空間は、閉空間及び開空間のいずれであってもよい。また、メタデータには、音空間において音を反射し得る障害物オブジェクトの反射率を表す情報が含まれていてもよい。例えば、音空間の境界を構成する床、壁又は天井等も障害物オブジェクトを構成し得る。
　反射率は、反射音と入射音とのエネルギーの比であって、音の周波数帯域毎に設定されていてもよい。勿論、反射率は、音の周波数帯域に依らず、一律に設定されていてもよい。なお、音空間が開空間の場合、例えば一律で設定された減衰率、回折音及び初期反射音等のパラメータが用いられてもよい。
　メタデータは、障害物オブジェクト又は音源オブジェクトに関するパラメータとして、反射率以外の情報を含んでいてもよい。例えば、メタデータは、音源オブジェクト及び非発音オブジェクトの両方に関するパラメータとして、オブジェクトの素材に関する情報を含んでいてもよい。具体的には、メタデータは、拡散率、透過率及び吸音率等の情報を含んでいてもよい。
　音源オブジェクトに関する情報は、音量、放射特性（指向性）、再生条件、１つのオブジェクトにおける音源の数及び種類、並びに、オブジェクトにおける音源領域を示す情報等を含んでいてもよい。再生条件では、例えば、継続的に流れ続ける音なのかイベント発動する音なのかが定められてもよい。オブジェクトにおける音源領域は、受聴者の位置とオブジェクトの位置との相対的な関係で定められてもよいし、オブジェクトを基準に用いて定められてもよい。
　例えば、受聴者の位置とオブジェクトの位置との相対的な関係で音源領域が定められる場合、受聴者から見て、オブジェクトの右側から音Ｅ、及び、オブジェクトの左側から音Ｆを受聴者に知覚させることが可能である。
　また、オブジェクトを基準に用いて音源領域が定められる場合、オブジェクトを基準に用いて、オブジェクトのどの領域からどの音を出すかを固定することが可能である。例えば、受聴者がオブジェクトを正面から見た場合、オブジェクトの右側から高い音、及び、オブジェクトの左側から低い音を受聴者に知覚させることが可能である。そして、受聴者がオブジェクトを背面から見た場合、オブジェクトの右側から低い音、及び、オブジェクトの左側から高い音を受聴者に知覚させることが可能である。
　空間に関するメタデータは、初期反射音までの時間、残響時間、及び、直接音と拡散音との比率等を含んでいてもよい。直接音と拡散音との比率がゼロの場合、直接音のみを受聴者に知覚させることが可能である。
　（実施の形態２）
　以下、実施の形態２について説明する。以下では、実施の形態１との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
　［レンダリング部の構成］
　まず、本実施の形態に係るレンダリング部２３００の構成について説明する。図２６は、本実施の形態に係るレンダリング部２３００の構成例を示すブロック図である。
　レンダリング部２３００は、解析部２３０１と、判定部２３０２と、再生部２３０３とを備える。なお、上記の通り、本実施の形態に係る音声信号処理装置は復号装置の一例であり、当該復号装置はデコーダを含み、当該デコーダがレンダリング部２３００を含む。すなわち、本実施の形態に係る音声信号処理装置が、解析部２３０１と、判定部２３０２と、再生部２３０３とを備えている、と言える。レンダリング部２３００は、入力信号に含まれる音データに対して音響処理を付加し出力する。
　実施の形態１と同じく、入力信号は、例えば、空間情報とセンサ情報と音データとで構成される。空間情報は、非発音オブジェクト（障害物オブジェクト）の反射係数、透過係数、回折係数等の物理情報も含む。
　解析部２３０１は、実施の形態１に係る解析部１３０１が行う全ての処理又は一部の処理を行えるとよい。また、解析部２３０１は、反射音を示す音声信号、及び、直接音を示す音声信号を作成し、作成された反射音を示す音声信号、及び、直接音を示す音声信号を記憶する。
　なお、本実施の形態においては、主に、間接音の一例である反射音、及び、所定音の一例である直接音を用いる。すなわち、本実施の形態においては、間接音として反射音を、所定音として直接音を用いることができる。なお、ここでは反射音及び直接音を用いて主に説明するが、反射音にかえて間接音、及び、直接音にかえて所定音が用いられても同様の処理が行われる。また、間接音は、一例として反射音又は回折音等であり、所定音は、間接音とは異なる音であり、一例として直接音、ＨＯＡ又はＲｅｐｒｅｓｅｎｔａｔｉｖｅ音である。
　解析部２３０１は、伝播経路検出部２３０１ａと、メモリ２３０１ｂとを有する。
　伝播経路検出部２３０１ａは、空間情報と音データとに基づいて、反射音を示す音声信号、及び、直接音を示す音声信号を作成する。
　より具体的には、伝播経路検出部２３０１ａは、空間情報に含まれる音源オブジェクトの位置情報、非発音オブジェクト（障害物オブジェクト）の位置情報、受聴者の位置情報及び物理情報と、音データとに基づいて、反射音を示す音声信号及び直接音を示す音声信号を作成する。
　すなわち、伝播経路検出部２３０１ａは、空間情報と音データとに基づいて、仮想空間内に発生する音声信号を作成し、作成された音声信号に、当該音声信号を特定する属性を示す属性情報を付与し、属性情報を含む音声信号を作成する。属性は、当該音声信号が示す音声が直接音（所定音）又は反射音（間接音）であるかを示す情報である。
　１つの音源から受聴者の頭部へ直接届く音が直接音であり、当該１つの音源から出力された後、非発音オブジェクトに反射して又は非発音オブジェクトにより回折して受聴者の頭部へ届く音が間接音（反射音又は回折音）である。
　また、間接音に係る直接音とは、当該間接音と同じ音源に由来する直接音を意味する。直接音に係る間接音とは、当該直接音と同じ音源に由来する間接音を意味する。
　属性が反射音（間接音）である音声信号には、当該反射音（間接音）に係る直接音の音声信号を示す情報が含まれている。
　伝播経路検出部２３０１ａは、作成した音声信号を、メモリ２３０１ｂに記憶させる。図２６にはメモリ２３０１ｂに記憶されている音声信号Ａ、Ｂ、Ｃ及びＤが示されており、音声信号Ａ、Ｂ、Ｃ及びＤのそれぞれの属性も示されている。なお、当該音声信号は、メモリ２３０１ｂ以外の記憶装置に記憶されてもよい。
　また、伝播経路検出部２３０１ａは、実施の形態１と同じく、直接音及び反射音のそれぞれについて、受聴位置に到来するまでの経路、到来するまでにかかる時間、及び、到来時の音量等に関する値を算出しているとよい。同様に伝播経路検出部２３０１ａは、直接音と反射音との関係を示す情報であって、例えば、直接音と反射音との到来する時間差（直接音と反射音との時間差）に関する値、及び、受聴位置における直接音と反射音との音量比に関する値等を算出しているとよい。
　属性が反射音である音声信号及び属性が直接音である音声信号のそれぞれは、受聴位置における音声信号が示す音の音量を示す情報を含んでもよい。属性が反射音である音声信号は、受聴位置における音声信号が示す反射音の音量として、上記反射音到来時音量（ｌｒ）を示す情報を含んでもよい。属性が直接音である音声信号は、受聴位置における音声信号が示す直接音の音量として、上記直接音到来時音量（ｌｄ）を示す情報を含んでもよい。
　判定部２３０２は、実施の形態１に係る判定部１３０２が行う全ての処理又は一部の処理を行えるとよい。また、判定部２３０２は、解析部２３０１（より具体的には、伝播経路検出部２３０１ａ）によって作成された音声信号に基づく出力信号が、再生部２３０３によって出力（再生）されるか否かを判定する。
　判定部２３０２は、分類部２３０２ａと、第１判定部２３０２ｂと、第２判定部２３０２ｃとを有する。
　分類部２３０２ａは、伝播経路検出部２３０１ａによって作成されメモリ２３０１ｂに記憶された属性情報を含む音声信号を取得する。分類部２３０２ａは、取得した音声信号が含む属性情報によって特定される属性に従って、当該音声信号を第１判定部２３０２ｂ又は第２判定部２３０２ｃに出力する。
　分類部２３０２ａは、取得した音声信号が含む属性情報によって特定される属性が直接音（所定音）を示す情報である場合には、当該音声信号を第１判定部２３０２ｂに出力する。分類部２３０２ａは、取得した音声信号が含む属性情報によって特定される属性が反射音（間接音）を示す情報である場合には、当該音声信号を第２判定部２３０２ｃに出力する。
　第１判定部２３０２ｂは、分類部２３０２ａから出力された音声信号が、第１条件を満たすか否かを判定する第１判定処理を行う。当該音声信号が第１条件を満たす場合に、第１判定部２３０２ｂは、当該音声信号を再生部２３０３に出力する。
　また、第１判定部２３０２ｂは、第２判定処理を行わない。つまり、取得された音声信号が含む属性情報によって特定される属性が所定音を示す情報である場合に、第２判定処理は行われない。このように、第２判定処理が行われない場合には、演算量及び演算負荷を削減することができる。
　第２判定部２３０２ｃは、分類部２３０２ａから出力された音声信号が、第１条件を満たすか否かを判定する第１判定処理、及び、第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う。当該音声信号が第１条件及び第２条件を満たす場合に、第２判定部２３０２ｃは、当該音声信号を再生部２３０３に出力する。
　再生部２３０３は、実施の形態１に係る再生部１３０３が行う全ての処理又は一部の処理を行えるとよい。また、再生部２３０３は、判定部２３０２から出力された音声信号を取得し、取得された音声信号に基づく出力信号を出力する。
　再生部２３０３は、第１再生部２３０３ａと第２再生部２３０３ｂとを有する。第１再生部２３０３ａは、属性が間接音とは異なる所定音である音声信号に基づく出力信号（第１出力信号）を出力する。第２再生部２３０３ｂは、属性が間接音である音声信号に基づく出力信号（第２出力信号）を出力する。
　つまり、第１再生部２３０３ａは、第１判定部２３０２ｂから出力された音声信号を取得して、第１出力信号を出力する。第２再生部２３０３ｂは、第２判定部２３０２ｃから出力された音声信号を取得して、第２出力信号を出力する。
　第１再生部２３０３ａは、取得された音声信号に、バイノーラルフィルタ処理を行うことで、第１出力信号を生成して出力する。バイノーラルフィルタ処理は、例えば、取得された音声信号に頭部伝達関数を用いた処理が行われることで実現される。
　第２再生部２３０３ｂは、取得された音声信号に、バイノーラルフィルタ処理、及び、拡散フィルタ処理を行うことで、第２出力信号を生成して出力する。拡散フィルタ処理は、例えば、取得された音声信号に、当該音声信号が示す間接音を拡散することで間接音のリアリティを向上させる処理である。また、拡散フィルタ処理は、取得された音声信号が示す音の拡散の聴感的な強弱を、それらしく模擬（すなわち受聴者が感じる音の拡散の聴感的な強弱を模擬）するフィルタが用いられる処理である。拡散フィルタ処理では、有限インパルスフィルタ及び／又は無限インパルスフィルタが用いられる。
　なお、第１再生部２３０３ａは、取得された音声信号に、拡散フィルタ処理を施さずに、第１出力信号を出力する。
　再生部２３０３が上記構成となることで、属性が間接音である音声信号に拡散フィルタ処理が行われて出力されるため、受聴者はより高い音質の間接音を受聴することができる。また、属性が所定音である音声信号には拡散フィルタ処理が行われないため、演算量及び演算負荷がさらに削減される。
　以下、本実施の形態に係る音声信号処理装置（より具体的には、レンダリング部２３００）によって行われる音声信号処理方法の動作例について説明する。
　［レンダリング部の動作例］
　図２７は、本実施の形態に係る音声信号処理装置の動作例を示すフローチャートである。図２７には、主に本実施の形態に係る音声信号処理装置が備えるレンダリング部２３００で実行される処理が示されている。
　まず、解析部２３０１は、入力信号を解析する解析処理を行う（Ｓ５０１）。より具体的には、解析部２３０１の伝播経路検出部２３０１ａは、空間情報と音データとに基づいて、反射音を示す音声信号、及び、直接音を示す音声信号を作成する。伝播経路検出部２３０１ａは、作成した音声信号を、メモリ２３０１ｂに記憶させる。
　解析部２３０１は、入力信号を解析して、直接音及び反射音のそれぞれについて受聴位置に到来するまでの経路、到来するまでにかかる時間、及び、到来時の音量等に関する値と、直接音と反射音との時間差に関する値、及び、受聴位置における直接音と反射音との音量比に関する値とを算出する。
　まず、伝播経路検出部２３０１ａは、作成された音声信号が示す直接音、及び、作成された音声信号が示す反射音のそれぞれの特性を算出する。具体的には、直接音及び反射音のそれぞれが受聴者（受聴位置）へ到来する際の到来時間及び到来時音量が算出される。なお、これらの到来時間及び到来時音量の算出方法は、実施の形態１で示された方法を用いることができる。
　次に、伝播経路検出部２３０１ａは、直接音到来時音量（ｌｄ）と反射音到来時音量（ｌｒ）との比である音量比（Ｌ）、及び、直接音と反射音との時間差（Ｔ）（直接音と反射音との到来する時間差（Ｔ））を算出する。直接音到来時音量（ｌｄ）は、所定音の一例である直接音が、仮想空間における受聴者が居る位置である受聴位置に到来するときの音量を意味し、また換言すると、受聴位置における所定音（直接音）の音量である。反射音到来時音量（ｌｒ）は、間接音の一例である反射音が受聴位置に到来するときの音量を意味し、また換言すると、受聴位置における間接音（反射音）の音量である。すなわち、音量比（Ｌ）は、受聴位置における直接音と反射音（間接音）との音量比である。なお、これらの音量比（Ｌ）及び時間差（Ｔ）の算出方法は、実施の形態１で示された方法を用いることができる。
　判定部２３０２は、音声信号を判定する（Ｓ５０２）。より具体的には、判定部２３０２は、伝播経路検出部２３０１ａによって作成された音声信号が、再生部２３０３によって出力されるか否かを判定する。すなわち判定部２３０２は、判定処理（選択処理）を行う。
　まず、分類部２３０２ａは、伝播経路検出部２３０１ａによって作成されメモリ２３０１ｂに記憶された属性情報を含む音声信号を取得する。分類部２３０２ａは、属性が直接音（所定音）である音声信号を第１判定部２３０２ｂに出力し、属性が反射音（間接音）である音声信号を第２判定部２３０２ｃに出力する。
　なお、分類部２３０２ａは、伝播経路検出部２３０１ａによって算出された直接音到来時音量（ｌｄ）、反射音到来時音量（ｌｒ）、音量比（Ｌ）、及び、時間差（Ｔ）も取得する。
　次に、第１判定部２３０２ｂは、分類部２３０２ａから出力された音声信号について第１判定処理を行う。また、第２判定部２３０２ｃは、分類部２３０２ａから出力された音声信号について、第１判定処理、及び、第２判定処理を行う。すなわち、判定部２３０２（第２判定部２３０２ｃ）は、取得された音声信号が含む属性情報によって特定される属性が反射音（間接音）を示す情報である場合に、第１判定処理及び第２判定処理を行う。
　ここで第１判定処理及び第２判定処理について説明する。先に第２判定処理について説明する。なお、本実施の形態においては、第２判定処理は、属性が反射音（間接音）である音声信号にのみ行われる処理である。
　第２判定処理は、取得された音声信号が、第２条件を満たすか否かを判定する処理である。第２判定処理では、直接音（所定音）及び反射音（間接音）が受聴位置に到来するときの直接音と反射音との音量比が、反射音に係る直接音と反射音との時間差に応じて決定される第２閾値以上である場合に、取得された音声信号が第２条件を満たすと判定される。すなわち、第２判定処理は、実施の形態１において判定部１３０２によって行われた処理に相当する。なお、上記の通り、当該時間差は、伝播経路検出部２３０１ａによって算出されており、第２判定部２３０２ｃは、算出された当該時間差を取得し、第２判定処理を行う。
　上記の通り、反射音と、反射音に係る直接音とは、同じ音源に由来する音である。
　直接音と反射音との時間差は、実施の形態１で説明された通り、例えば、直接音到来時間（到来時刻）と反射音到来時間（到来時刻）との時間差であるがこれに限られない。反射音及び直接音が受聴位置に到来するときの直接音と反射音との音量比は、実施の形態１における、直接音到来時音量（ｌｄ）と反射音到来時音量（ｌｒ）との比である音量比（Ｌ）に相当する。
　また、音量比（Ｌ）は、実施の形態１と同じ方法で算出される。
　第２閾値は、反射音（間接音）に係る直接音と反射音（間接音）との時間差に応じて決定される値であり、換言すると時間差に依存する値であり、実施の形態１の閾値データに示される値である。閾値データは、例えば直接音と反射音との時間差の値を横軸に有し、直接音と反射音との音量比を縦軸に有するグラフで、当該反射音が知覚されるか知覚されないかの閾値（第２閾値）として表される。
　より具体的には、第２閾値を示す閾値データは、図１１～図１３等で示されるデータである。
　第２判定処理では、取得された音声信号が示す反射音（間接音）に係る直接音と当該反射音との音量比が、第２閾値以上である場合に、取得された音声信号が第２条件を満たすと判定される。
　続いて、第１判定処理について説明する。本実施の形態においては、第１判定処理は、属性が間接音（反射音）である音声信号、及び、属性が所定音（直接音）を示す情報である音声信号に行われる処理である。
　第１判定処理は、取得された音声信号が、第１条件を満たすか否かを判定する処理である。第１判定処理では、取得された音声信号の振幅値が第１閾値以上である場合に、取得された音声信号が第１条件を満たすと判定される。すなわち、音声信号の振幅値は当該音声信号が示す音（反射音（間接音）又は直接音（所定音））の音量に相当するため、第１判定処理では、取得された音声信号が示す音の音量が一定以上であれば、取得された音声信号が第１条件を満たすと判定される。
　第１閾値は、第２閾値とは異なり、反射音に係る直接音と反射音（間接音）との時間差に依存しない値であり、一定の値である。第１閾値は、取得された音声信号の音量に係る値であり、換言すると振幅値に係る値である。さらに言えば、第１閾値は、受聴者によって知覚可能か否かの境目の音量を示し、当該閾値よりも音量が小さい音を再現しない音として決定するための閾値である。図２８は、本実施の形態に係る第１閾値を示す閾値データを示すグラフである。例えば、第１閾値は－７０ｄＢであり、図２８が示す音声信号Ｂの振幅値が第１閾値以上であるため、音声信号Ｂは第１条件を満たすと判定される。また、図２８が示す音声信号Ａの振幅値が第１閾値未満であるため、音声信号Ａは第１条件を満たさないと判定される。
　なお、第１閾値は、例えば、上記の閾値設定部が用いられて、当該仮想空間の管理者又は受聴者によって設定（決定）されてもよい。
　第１判定部２３０２ｂで用いられる第１閾値と、第２判定部２３０２ｃで用いられる第１閾値とは、同じ値であってもよく、異なる値であってもよい。
　判定部２３０２は、以上のように、第１判定処理及び第２判定処理を行う。
　そして、第１判定部２３０２ｂは、分類部２３０２ａから出力された音声信号について第１判定処理を行い、当該音声信号が第１条件を満たす場合に、当該音声信号を再生部２３０３に出力する。
　第２判定部２３０２ｃは、分類部２３０２ａから出力された音声信号が、第１条件を満たすか否かを判定する第１判定処理、及び、第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う。なお、本実施の形態においては、第１判定処理が行われた後に、第２判定処理が行われる。
　従って、まず、第２判定部２３０２ｃは、分類部２３０２ａから出力された音声信号が、第１条件を満たすか否かを判定する第１判定処理を行い、当該音声信号が第１条件を満たす場合に、当該音声信号について第２判定処理を行う。そして、第２判定部２３０２ｃは、当該音声信号が第２条件を満たす場合に、当該音声信号を再生部２３０３に出力する。
　そして、再生部２３０３は、判定部２３０２から出力された音声信号を取得して、当該音声信号に基づく出力信号を出力する（Ｓ５０３）。
　より具体的には、第１再生部２３０３ａは、第１判定部２３０２ｂから出力された音声信号を取得して、当該音声信号にバイノーラルフィルタ処理を行うことで、第１出力信号を生成して出力する。第２再生部２３０３ｂは、第２判定部２３０２ｃから出力された音声信号を取得して、当該音声信号に、バイノーラルフィルタ処理、及び、拡散フィルタ処理を行うことで、第２出力信号を生成して出力する。つまり、再生部２３０３（より具体的には、第２再生部２３０３ｂ）は、音声信号が第１条件及び第２条件を満たす場合に、取得された音声信号に基づく出力信号（第２出力信号）を出力する。
　なお、第１判定部２３０２ｂは、音声信号が第１条件を満たさない場合に、当該音声信号を再生部２３０３（第１再生部２３０３ａ）に出力しない。このような場合には、第１再生部２３０３ａは、当該音声信号に基づく出力信号を出力しないため、演算量及び演算負荷が削減される。
　また、第２判定部２３０２ｃは、音声信号が第１条件を満たさない場合に当該音声信号を再生部２３０３（第２再生部２３０３ｂ）に出力せず、音声信号が第２条件を満たさない場合に当該音声信号を再生部２３０３（第２再生部２３０３ｂ）に出力しない。このような場合には、第２再生部２３０３ｂは、当該音声信号に基づく出力信号を出力しないため、演算量及び演算負荷が削減される。
　このように、本実施の形態に係る音声信号処理方法は、音声信号処理装置（レンダリング部２３００）が実行する音声信号処理方法であって、取得ステップと、判定ステップと、再生ステップとを含む。
　取得ステップは、音声信号であって、音声信号の属性を特定する属性情報を含む音声信号を取得する。判定ステップは、取得された音声信号が含む属性情報によって特定される属性が間接音を示す情報である場合に、取得された音声信号が、第１条件を満たすか否かを判定する第１判定処理及び第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う。再生ステップは、取得された音声信号が第１条件及び第２条件を満たす場合に、取得された音声信号に基づく出力信号を出力する。
　つまりは、属性が間接音（反射音）である音声信号に第１判定処理及び第２判定処理が行われ、当該音声信号が第１条件及び第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、属性が間接音（反射音）である音声信号に基づく出力信号が出力されるか否かが適切に判定される。出力信号が出力されない場合には、演算量及び演算負荷が削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理方法を実現することができる。
　また、本実施の形態においては、第１判定処理では、取得された音声信号の振幅値が第１閾値以上である場合に、取得された音声信号が第１条件を満たすと判定される。第２判定処理では、間接音に係る直接音及び間接音が受聴者が居る位置である受聴位置に到来するときの直接音と間接音との音量比が、直接音と間接音との到来する時間差に応じて決定される第２閾値以上である場合に、取得された音声信号が第２条件を満たすと判定される。
　これにより、第１判定処理では、上記振幅値が第１閾値以上である場合に音声信号が第１条件を満たすと判定され、第２判定処理では、上記音量比が第２閾値以上である場合に音声信号が第２条件を満たすと判定される。このような第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、音声信号に基づく出力信号が出力されるか否かがより適切に判定される。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　なお、本実施の形態においては、第１判定部２３０２ｂと第２判定部２３０２ｃとが設けられたが、これに限られない。例えば、第１判定部２３０２ｂは設けられず、第２判定部２３０２ｃが設けられてもよい。この場合、第２判定部２３０２ｃは、属性が所定音（直接音）である音声信号、及び、属性が間接音（反射音）である音声信号の両方を取得し、その両方について第１判定処理を行う。第１判定処理で、属性が所定音（直接音）である音声信号が第１条件を満たすと判定されると、当該音声信号が第１再生部２３０３ａに出力され、第１再生部２３０３ａは出力された音声信号に基づく第１出力信号を出力する。第１判定処理で、属性が間接音（反射音）である音声信号が第１条件を満たすと判定されると、さらに当該音声信号について第２判定処理が行われる。第２判定処理で、当該音声信号が第２条件を満たすと判定されると、当該音声信号が第２再生部２３０３ｂに出力され、第２再生部２３０３ｂは出力された音声信号に基づく第２出力信号を出力する。このような第１判定部２３０２ｂは設けられず、第２判定部２３０２ｃが設けられるレンダリング部も、本実施の形態に係るレンダリング部２３００と、実質的には同じ処理を行っていると言える。
　（実施の形態３）
　以下、実施の形態３について説明する。以下では、実施の形態２との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
　［レンダリング部の構成］
　まず、本実施の形態に係るレンダリング部３３００の構成について説明する。図２９は、本実施の形態に係るレンダリング部３３００の構成例を示すブロック図である。
　レンダリング部３３００は、解析部２３０１と、判定部３３０２と、再生部３３０３とを備える。
　判定部３３０２は、第２判定部２３０２ｃにかえて第２判定部３３０２ｃを有する点を除いて、実施の形態２に係る判定部２３０２と同じ構成を有する。
　再生部３３０３は、さらにゲイン設定部３３０３ｃを有する点を除いて、実施の形態２に係る再生部２３０３と同じ構成を有する。
　ゲイン設定部３３０３ｃは、第２再生部２３０３ｂでの拡散フィルタ処理におけるゲインを設定（決定）する。すなわち、ゲイン設定部３３０３ｃは、拡散フィルタ処理における音声信号の振幅の増幅率を設定（決定）する。本実施の形態においては、第２再生部２３０３ｂは、ゲイン設定部３３０３ｃによって決定されたゲインを用いて、拡散フィルタ処理を行う。
　例えば、ゲイン設定部３３０３ｃは、当該仮想空間の管理者又は受聴者が設定（決定）されたゲインを取得して、取得したゲインを、拡散フィルタ処理におけるゲインとして設定（決定）する。
　ゲイン設定部３３０３ｃは、決定したゲインを判定部３３０２（より具体的には、第２判定部３３０２ｃ）に出力する。
　本実施の形態においても、分類部２３０２ａは、取得した音声信号が含む属性情報によって特定される属性が間接音である場合には、当該音声信号を第２判定部３３０２ｃに出力する。
　第２判定部３３０２ｃは、分類部２３０２ａから出力された音声信号が、第１条件を満たすか否かを判定する第１判定処理を行う。本実施の形態においては、第２判定部３３０２ｃは、第２判定処理を行わない。
　第２判定部３３０２ｃは、第１判定処理を行う前に、ゲイン設定部３３０３ｃによって出力されたゲインを取得する。第２判定部３３０２ｃは、分類部２３０２ａから出力された音声信号に取得したゲインを加算し、当該ゲインが加算された音声信号について第１判定処理を行う。当該音声信号が第１条件を満たす場合に、第２判定部３３０２ｃは、当該音声信号を再生部３３０３（より具体的には、第２再生部２３０３ｂ）に出力する。
　（実施の形態４）
　以下、実施の形態４について説明する。以下では、実施の形態２との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
　［レンダリング部の構成］
　まず、本実施の形態に係るレンダリング部４３００の構成について説明する。図３０は、本実施の形態に係るレンダリング部４３００の構成例を示すブロック図である。
　レンダリング部４３００は、解析部２３０１と、レンダラーパイプライン部４３０４と、再生部４３０３と、第１ゲイン累積部４３０５と、第２ゲイン累積部４３０６とを備える。
　なお、本実施の形態においても、主に、間接音の一例である反射音、及び、所定音の一例である直接音を用いて説明するが、反射音にかえて間接音、及び、直接音にかえて所定音が用いられても同様の処理が行われる。
　本実施の形態においては、解析部２３０１は、メモリ２３０１ｂに記憶された音声信号をレンダラーパイプライン部４３０４に出力する。
　レンダラーパイプライン部４３０４は、解析部２３０１から出力された音声信号を取得する。レンダラーパイプライン部４３０４は、例えば、属性が間接音（反射音）である音声信号（すなわち間接音（反射音）を示す音声信号）を取得する。
　また、解析部２３０１は、入力信号に含まれる空間情報が含む基準音量、より具体的には当該音声信号が示す間接音（反射音）の基準音量を第１ゲイン累積部４３０５に出力し、第１ゲイン累積部４３０５は当該基準音量を取得する。レンダラーパイプライン部４３０４は、取得された音声信号について、１以上の第１処理（ここでは複数の第１処理）、第１判定処理、第２判定処理、及び、１以上の第２処理（ここでは複数の第２処理）を行う。
　レンダラーパイプライン部４３０４は、１以上の第１処理部４３０４ａ（ここでは複数の第１処理部４３０４ａ）と、判定部４３０２と、１以上の第２処理部４３０４ｂ（ここでは複数の第２処理部４３０４ｂ）と、を有する。
　複数の第１処理部４３０４ａは、第１処理部４３０４ａ１、第１処理部４３０４ａ２、第１処理部４３０４ａ３、及び、第１処理部４３０４ａ４を含む。複数の第１処理部４３０４ａのそれぞれは、取得された音声信号について第１処理を行う。第１処理は、本実施の形態においては、音声信号について物理特性に基づく処理が行われた場合に、当該音声信号の振幅を増幅させる増減量を決定する処理である。なお、第１処理は、これに限られず、当該音声信号の振幅を増幅させる増減量を決定する処理でなくてもよい。
　複数の第１処理部４３０４ａのそれぞれが行う第１処理は、互いに異なる処理であってもよい。一例として、第１処理部４３０４ａ１～４３０４ａ４のそれぞれは、以下の第１処理を行う。
　第１処理部４３０４ａ１は、取得された音声信号について上記の初期反射処理部１３１２による処理が行われた場合に、第１処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行う。
　第１処理部４３０４ａ２は、取得された音声信号について上記の回折処理部による処理が行われた場合に、第１処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行う。
　第１処理部４３０４ａ３は、取得された音声信号について上記の距離減衰処理部１３１３による処理が行われた場合に、第１処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行う。
　第１処理部４３０４ａ４は、取得された音声信号について上記の残響処理部１３１１による処理が行われた場合に、第１処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行う。
　なお他の例として、第１処理部４３０４ａは、取得された音声信号について透過、指向、音像定位又は拡散等の処理が行われた場合に、第１処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行ってもよい。
　第１処理部４３０４ａ１～４３０４ａ４のそれぞれは、上記の第１処理を行い、決定された増減量を、第１ゲイン累積部４３０５に出力するとよい。
　本実施の形態においては、複数の第１処理部４３０４ａのそれぞれで第１処理が行われた後に、取得された音声信号が判定部４３０２に出力され、判定部４３０２での処理が行われる。
　判定部４３０２は、第１判定処理及び第２判定処理を行う。なお、本実施の形態に係る第１判定処理及び第２判定処理については、第１ゲイン累積部４３０５及び第２ゲイン累積部４３０６を説明した後に、再度説明する。
　複数の第２処理部４３０４ｂは、第２処理部４３０４ｂ１及び第２処理部４３０４ｂ２を含む。複数の第２処理部４３０４ｂのそれぞれは、取得された音声信号について第２処理を行う。第２処理は、音声信号について受聴者の聴覚の知覚特性に基づく処理が行われた場合に、当該音声信号の振幅を増幅させる増減量を決定する処理である。また、第２処理は、受聴者の嗜好又は利便性など受聴者の選択によって行われる音質調整機能であって、信号の振幅の増減を伴う処理であってもよい。なお、第２処理は、これに限られず、当該音声信号の振幅を増幅させる増減量を決定する処理でなくてもよい。
　複数の第２処理部４３０４ｂのそれぞれが行う第２処理は、互いに異なる処理であってもよい。一例として、第２処理部４３０４ｂ１及び４３０４ｂ２それぞれは、以下の第２処理を行う。
　第２処理部４３０４ｂ１は、取得された音声信号について、拡散フィルタ処理が行われた場合に、第２処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行う。拡散フィルタ処理は、例えば、取得された音声信号に、当該音声信号が示す間接音を拡散することで間接音のリアリティを向上させる処理であり、有限インパルスフィルタ及び／又は無限インパルスフィルタが用いられる。
　第２処理部４３０４ｂ２は、取得された音声信号について、上記のバイノーラルフィルタ処理が行われた場合に、第２処理として当該音声信号の振幅を増幅させる増減量を決定する処理を行う。
　ここで第２処理部４３０４ｂ２による第２処理について図３１～図３４を用いて説明する。ここでは、バイノーラルフィルタ処理に用いられる一例の頭部伝達関数を用いて説明する。
　図３１～図３４のそれぞれは、本実施の形態に係る頭部伝達関数のエネルギーを説明する図である。図３１～図３４のそれぞれには、受聴者の受聴位置Ｐが示されている。また、図３１～図３４のそれぞれには、受聴者にとっての前方、後方、左方、右方、上方及び下方が示されている。
　図３１には、受聴位置Ｐを中心とした球形が模式的に示されており、当該球形には受聴者の水平面、正中面及び前額面のそれぞれに沿った円が示されている。図３２では、受聴者の水平面に沿った円が太線で示され、図３３では、受聴者の正中面に沿った円が太線で示され、図３４では、受聴者の前額面に沿った円が太線で示されている。
　図３１～図３４のそれぞれには、頭部伝達関数のエネルギーが最大となる方向が、ドットが付された円で示され、頭部伝達関数のエネルギーが最小となる方向が、白抜きの円で示されている。また、図３１～図３４のそれぞれには、頭部伝達関数のエネルギーが最大となる値と、頭部伝達関数のエネルギーが最小となる値とが示されている。
　図３１～図３４が示すように、頭部伝達関数のエネルギーは、定位方向毎に異なる。図３１～図３４においては、頭部伝達関数のエネルギーは、伝達特性が１である伝達関数のエネルギーを０ｄＢとしたときのエネルギーをｄＢ換算で表示している。
　図３１～図３４では一例の頭部伝達関数のエネルギーが示されたが、用いられる頭部伝達関数に応じて、当該エネルギーは大きく異なる。第２処理部４３０４ｂ２による第２処理では、用いられる頭部伝達関数に応じて、増減量を決定する処理を行う。
　第２処理部４３０４ｂ１及び４３０４ｂ２のそれぞれは、上記の第２処理を行い、決定された増減量を、第２ゲイン累積部４３０６に出力するとよい。
　さらに、第１ゲイン累積部４３０５及び第２ゲイン累積部４３０６について説明する。
　第１ゲイン累積部４３０５は、第１増減量を算出する。第１増減量は、複数の第１処理のそれぞれ（より具体的には、複数の第１処理部４３０４ａのそれぞれ）によって決定された増減量であって、取得された音声信号の振幅を増幅させる増減量が累積された値である。より具体的には、第１ゲイン累積部４３０５は、基準音量に、当該増減量を累積することで、第１増減量を算出する。すなわち、第１増減量は、複数の第１処理部４３０４ａのそれぞれによって決定された増減量と、基準音量とが累積された値である。
　上記の通り、複数の第１処理部４３０４ａは取得された音声信号について複数の（ここでは４つの）増減量を決定する。複数の第１処理部４３０４ａのそれぞれは、決定した増減量を第１ゲイン累積部４３０５に出力する。第１ゲイン累積部４３０５は、出力された複数の増減量を取得して、複数の（４つの）増減量と基準音量とを累積することで第１増減量を算出する。第１ゲイン累積部４３０５は算出した第１増減量を第２ゲイン累積部４３０６に出力し、第２ゲイン累積部４３０６は出力された第１増減量を取得する。
　第２ゲイン累積部４３０６は、第２増減量を算出する。第２増減量は、複数の第２処理のそれぞれ（より具体的には、複数の第２処理部４３０４ｂのそれぞれ）によって決定された増減量であって、取得された音声信号の振幅を増幅させる増減量が累積された値である。より具体的には、第２ゲイン累積部４３０６は、当該増減量を累積し、その累積された増減量に、第１ゲイン累積部４３０５から出力された第１増減量をさらに累積することで、第２増減量を算出する。すなわち、第２増減量は、複数の第２処理部４３０４ｂのそれぞれによって決定された増減量と、第１増減量とが累積された値である。
　上記の通り、複数の第２処理部４３０４ｂは取得された音声信号について複数の（ここでは２つの）増減量を決定する。複数の第２処理部４３０４ｂのそれぞれは、決定した増減量を示すパラメータを第２ゲイン累積部４３０６に出力する。第２ゲイン累積部４３０６は、出力された複数のパラメータを取得して、複数のパラメータのそれぞれが示す増減量と第１増減量とを累積することで第２増減量を算出する。
　なお、複数の第２処理部４３０４ｂのそれぞれは、上記パラメータを用いず決定した増減量を第２ゲイン累積部４３０６に出力してもよい。この場合、第２ゲイン累積部４３０６は、出力された複数の増減量を取得して、複数の（２つの）増減量と第１増減量とを累積することで第２増減量を算出する。
　また、上記の通り、第２処理は受聴者の選択によって行われる音質調整機能であって信号の振幅の増減を伴う処理であってもよく、例えば、第２増減量は、当該仮想空間の受聴者の選択によって設定される音質調整機能による振幅の増減量を含んでもよい。この場合には、受聴者は例えば操作受付部を操作することで選択を行い、操作受付部は選択を受付け、第２ゲイン累積部４３０６は操作受付部によって受付けられた選択に基づいて第２増減量を算出するとよい。受聴者は、例えば自らの好みの音質となるような選択を行うことで、好みの音質の音を受聴することができるようになる。また、第２増減量は、当該仮想空間の受聴者にかえて当該仮想空間の管理者の選択によって設定される音質調整機能による振幅の増減量をさらに含んでもよい。
　再度、本実施の形態に係る第１判定処理及び第２判定処理について説明する。
　まず、第１判定処理について説明する。
　判定部４３０２は、レンダラーパイプライン部４３０４が取得した音声信号について、第１判定処理を行う。第１判定処理では、第１ゲイン累積部４３０５によって算出された第１増減量（Ｇ１）が第１閾値（Ｔ１）以上である場合に、取得された音声信号が第１条件を満たすと判定される。
　本実施の形態に係る第１閾値は、一定の値であり、音声信号の音量に係る値であり、換言すると振幅値に係る値である。つまり、本実施の形態に係る第１閾値は、実施の形態２で説明された第１閾値と同じである。
　なお、実施の形態２に係る第１判定処理では、取得された音声信号の振幅値が第１閾値以上である場合に、取得された音声信号が第１条件を満たすと判定された。すなわち、本実施の形態に係る第１判定処理は、取得された音声信号の振幅値が第１増減量（Ｇ１）に変更される点を除いて、実施の形態２に係る第１判定処理と同じである。
　さらに、第２判定処理について説明する。
　判定部４３０２は、レンダラーパイプライン部４３０４が取得した音声信号について、第２判定処理を行う。第２判定処理では、第２ゲイン累積部４３０６によって算出された第２増減量に応じた値が、第２閾値以上である場合に、取得された音声信号が第２条件を満たすと判定される。
　本実施の形態に係る第２閾値は、第１閾値とは異なる値であり、実施の形態２で説明された第２閾値に相当する。すなわち、第２閾値は、取得された音声信号が示す間接音（反射音）に係る直接音と、当該間接音（反射音）との到来する時間差に応じて決定される値である。
　第２ゲイン累積部４３０６によって算出された第２増減量は、実施の形態１及び２で示された反射音到来時音量（Ｉｒ）に相当し、つまりは、取得された音声信号が示す反射音が受聴位置に到来するときの音量を示す。
　第２増減量に応じた値は、取得された音声信号が示す間接音（反射音）に係る直接音の音量と、第２ゲイン累積部４３０６で算出された第２増減量との比（音量比）である。すなわち、第２増減量に応じた値は、実施の形態２で示された、直接音到来時音量（ｌｄ）と反射音到来時音量（ｌｒ）との比である音量比（Ｌ）に相当する。
　なお、実施の形態２に係る第２判定処理では、間接音及び直接音が受聴位置に到来するときの直接音と間接音との音量比（Ｌ）が、第２閾値以上である場合に、取得された音声信号が第２条件を満たすと判定される。すなわち、本実施の形態に係る第２判定処理は、直接音と間接音との音量比が第２増減量に応じた値に変更される点を除いて、実施の形態２に係る第２判定処理と同じである。
　また、本実施の形態に係る第２増減量及び第２増減量に応じた値は、実施の形態２で説明された、反射音到来時音量（Ｉｒ）及び音量比（Ｌ）と同様の方法で算出されることができる。
　本実施の形態においては、第１判定処理で、取得された音声信号が第１条件を満たさないと判定された場合には、第２判定処理が行われない。また、第１判定処理で、取得された音声信号が第１条件を満たすと判定された場合に、第２判定処理が行われる。
　なお、上記の通り、第２増減量は、第２判定処理が行われる前に算出されている。第２処理部４３０４ｂが行う第２処理は、受聴者の聴覚の知覚特性に基づく処理を利用するため、音声信号に依存せずに（つまりは静的に）、増減量を決定する処理である。このため、第２増減量は、第２判定処理が行われる前に算出されることができる。
　そして、第２判定処理で取得された音声信号が第２条件を満たすと判定された場合に、判定部４３０２は取得された音声信号を複数の第２処理部４３０４ｂに出力し、さらに、レンダラーパイプライン部４３０４は取得された音声信号を再生部４３０３に出力する。またこの場合に、レンダラーパイプライン部４３０４は、第２ゲイン累積部４３０６で算出された第２増減量を再生部４３０３に出力してもよい。そして、再生部４３０３での処理が行われる。
　再生部４３０３は、レンダラーパイプライン部４３０４から出力された音声信号と、第２増減量とを取得する。再生部４３０３は、取得した音声信号に基づく出力信号を出力する。より具体的には、再生部４３０３は、取得した音声信号に、取得した第２増減量を乗じて、出力信号を生成して出力してもよい。このように、本実施の形態においては、出力された音声信号が第１条件及び第２条件の両方を満たした場合に、再生部４３０３が出力信号を出力する。
　以下、本実施の形態に係る音声信号処理装置（より具体的には、レンダリング部４３００）によって行われる音声信号処理方法の動作例について説明する。
　［レンダリング部の動作例］
　図３５は、本実施の形態に係る音声信号処理装置の動作例を示すフローチャートである。図３５には、主に本実施の形態に係る音声信号処理装置が備えるレンダリング部４３００で実行される処理が示されている。
　まず、解析部２３０１は、入力信号を解析する解析処理を行う（Ｓ６０１）。
　さらに、レンダラーパイプライン部４３０４は、解析部２３０１から出力された音声信号を取得する（Ｓ６０２）。なお、レンダラーパイプライン部４３０４は、例えば間接音を示す音声信号を取得する。
　そして、複数の第１処理部４３０４ａのそれぞれは、取得された音声信号の振幅を増幅させる増減量を決定する（Ｓ６０３）。複数の第１処理部４３０４ａのそれぞれは、決定した増減量を、第１ゲイン累積部４３０５に出力する。また、解析部２３０１は、間接音（反射音）の基準音量を第１ゲイン累積部４３０５に出力する。
　第１ゲイン累積部４３０５は、出力された複数の（４つの）増減量と基準音量とを取得し、取得した複数の増減量と取得した基準音量とを累積して第１増減量を算出する（Ｓ６０４）。そして、第１ゲイン累積部４３０５は、算出した第１増減量を判定部４３０２に出力する。また、第１ゲイン累積部４３０５は、算出した第１増減量を第２ゲイン累積部４３０６に出力する。
　次に、複数の第２処理部４３０４ｂのそれぞれは、取得された音声信号の振幅を増幅させる増減量を決定する（Ｓ６０５）。複数の第２処理部４３０４ｂのそれぞれは、決定した増減量を、第２ゲイン累積部４３０６に出力する。
　第２ゲイン累積部４３０６は、出力された複数の（２つの）増減量と算出された第１増減量とを取得し、取得した複数の増減量と取得した第１増減量とを累積して第２増減量を算出する（Ｓ６０６）。そして、第２ゲイン累積部４３０６は、算出した第２増減量を判定部４３０２に出力する。
　判定部４３０２は、第１判定処理を行う（Ｓ６０７）。つまり、判定部４３０２は、算出された第１増減量が第１閾値以上であるか否かを判定することで、取得された音声信号が第１条件を満たすか否かを判定する。
　判定部４３０２は、第２判定処理を行う（Ｓ６０８）。つまり、判定部４３０２は、算出された第２増減量に応じた値が第２閾値以上であるか否かを判定することで、取得された音声信号が第２条件を満たすか否かを判定する。
　なお、本実施の形態においては、取得された音声信号が第１条件を満たす場合に、第２判定処理が行われる。
　さらに、取得された音声信号が第２条件を満たす場合に、再生部４３０３は、取得した音声信号に基づく出力信号を出力する（Ｓ６０９）。
　また、音声信号が第１条件を満たさない場合に、当該音声信号は再生部４３０３に出力されず、音声信号が第２条件を満たさない場合に、当該音声信号は再生部４３０３に出力されない。このような場合には、再生部４３０３は、当該音声信号に基づく出力信号を出力しないため、演算量及び演算負荷が削減される。
　なお、本実施の形態においては、レンダラーパイプライン部４３０４が実施の形態２で説明された分類部２３０２ａを有していてもよい。分類部２３０２ａは、例えば、複数の第１処理部４３０４ａと判定部４３０２との間に設けられてもよいが、これに限られない。
　以上のように、本実施の形態に係る音声信号処理方法は、音声信号処理装置が実行する音声信号処理方法であって、取得ステップと、レンダラーパイプラインステップと、再生ステップと、第１ゲイン累積ステップと、第２ゲイン累積ステップとを含む。
　取得ステップは、間接音を示す音声信号を取得する。レンダラーパイプラインステップは、取得された音声信号について、１以上の第１処理、第１判定処理、第２判定処理、及び、１以上の第１処理とは異なる１以上の第２処理を行う。
　第１ゲイン累積ステップは、取得された音声信号に基づく出力信号を出力する再生ステップと、１以上の第１処理のそれぞれによって決定された増減量であって、取得された音声信号の振幅を増幅させる増減量を累積して第１増減量を算出する。第２ゲイン累積ステップは、１以上の第２処理のそれぞれによって決定された増減量であって、取得された音声信号の振幅を増幅させる増減量を累積して第２増減量を算出する。第１判定処理では、算出された第１増減量が、第１閾値以上である場合に、取得された音声信号が第１条件を満たすと判定される。取得された音声信号が第１条件を満たさないと判定された場合に、第２判定処理が行われない。取得された音声信号が第１条件を満たすと判定された場合に、第２判定処理が行われる。第２判定処理では、算出された第２増減量に応じた値が、第１閾値と異なる第２閾値以上である場合に、取得された音声信号が第２条件を満たすと判定され、取得された音声信号が第２条件を満たすと判定された場合に、再生ステップが行われる。
　これにより、間接音を示す音声信号に第１判定処理及び第２判定処理が行われ、当該音声信号が第１条件及び第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、間接音を示す音声信号に基づく出力信号が出力されるか否かが適切に判定される。出力信号が出力されない場合には、演算量及び演算負荷が削減される。つまりは、演算量及び演算負荷を適切に削減することができる音声信号処理方法を実現することができる。
　本実施の形態においては、第２ゲイン累積ステップで算出された第２増減量は、間接音を拡散することで間接音のリアリティを向上させる拡散フィルタ処理が行われた場合の増減量であって取得された音声信号の振幅を増幅させる増減量を含む。上記値は、間接音に係る直接音の音量と第２ゲイン累積ステップで算出された第２増減量との比であり、第２閾値は、直接音と間接音との到来する時間差に応じて決定される。
　これにより、第２判定処理では、上記比が第２閾値以上である場合に間接音を示す音声信号が第２条件を満たすと判定され、このような第２条件を満たす場合に取得された音声信号に基づく出力信号が出力される。すなわち、間接音を示す音声信号に基づく出力信号が出力されるか否かがより適切に判定される。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　本実施の形態においては、第２ゲイン累積ステップで算出された第２増減量は、受聴者の選択によって設定される音質調整機能による振幅の増減量を含む。上記値は、間接音に係る直接音の音量と第２ゲイン累積ステップで算出された第２増減量との比であり、第２閾値は、直接音と間接音との到来する時間差に応じて決定される。
　これにより、受聴者は、例えば自らの好みの音質となるような選択を行うことで、好みの音質の音を受聴することができるようになる。
　本実施の形態においては、第１閾値は、音量に係る値である。
　これにより、第１閾値として音量に係る値を用いることができる音声信号処理方法を実現することができる。
　本実施の形態においては、第２ゲイン累積ステップでは、１以上の第２処理のそれぞれによって決定された増減量であって、取得された音声信号の振幅を増幅させる増減量を示すパラメータを取得し、取得された複数のパラメータに応じて、第２増減量を算出する。
　これにより、上記パラメータに応じた第２増減量が算出されるため、属性が間接音である音声信号に基づく出力信号が出力されるか否かがより適切に判定される。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　（実施の形態５）
　以下、実施の形態５について説明する。以下では、実施の形態４との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
　［レンダリング部の構成］
　まず、本実施の形態に係るレンダリング部５３００の構成について説明する。図３６は、本実施の形態に係るレンダリング部５３００の構成例を示すブロック図である。
　レンダリング部５３００は、さらに変更部５３０７と、無効化部５３０８とを備える点を除いて、実施の形態４に係るレンダリング部４３００と同じ構成を有する。
　変更部５３０７は、第１判定処理で用いられる第１閾値を設定（決定）する処理を行う。例えば、変更部５３０７は、第１閾値を設定するための指示を、判定部４３０２に出力する。判定部４３０２は、出力された指示を取得して当該指示に従って第１閾値を設定する。従って、第１判定処理では、算出された第１増減量が、設定された第１閾値以上である場合に、取得された音声信号が第１条件を満たすと判定される。
　無効化部５３０８は、第２判定処理を無効化する無効化処理を行う。無効化処理が行われることで、第２判定処理は無効化されつまりは行われなくなる。例えば、無効化部５３０８は、無効化処理を示す指示を、判定部４３０２に出力する。判定部４３０２は、出力された指示を取得することで、第２判定処理を行わなくなる。
　ここで、本実施の形態において、第１判定処理で取得された音声信号が第１条件を満たすと判定され、かつ、無効化処理が行われている場合について説明する。この場合、判定部４３０２は、取得された音声信号を複数の第２処理部４３０４ｂに出力し、さらに、レンダラーパイプライン部４３０４は、取得された音声信号を再生部４３０３に出力する。つまり実施の形態４では、出力された音声信号が第１条件及び第２条件の両方を満たした場合に再生部４３０３が出力信号を出力したが、この場合においては、出力された音声信号が第１条件を満たした場合に再生部４３０３が出力信号を出力する。
　また、変更部５３０７によって設定された第１閾値は、無効化処理が行われている場合と、無効化処理が行われていない場合とで、値が異なるとよい。より具体的には、無効化処理が行われた場合における設定された第１閾値は、無効化処理が行われていない場合における設定された第１閾値よりも大きいとよい。以下で、第１閾値の設定及び無効化処理による影響について、図３７を用いて説明する。
　図３７は、本実施の形態に係る第１閾値の設定及び無効化処理による影響を説明するための表を示す図である。
　図３７には、第１閾値の設定により第１閾値が大きくなった場合（「第１閾値：大」）と小さくなった場合（「第１閾値：小」）とが示されている。また、図３７には、無効化処理が行われている場合（「第２判定処理無効」）と行われていない場合（「第２判定処理有効」）とが示されている。また、図３７には、「処理の複雑さ」、「音質の維持」及び「間引き数」が示されている。
　「処理の複雑さ」は、レンダリング部５３００における処理の複雑さを示す。「処理の複雑さ」が低い場合つまりは処理が容易である場合には「Ｏ」が示され、「処理の複雑さ」が高い場合つまりは処理が困難である場合には「Ｘ」が示されている。
　「音質の維持」は、再生部４３０３から出力される出力信号の音の音質が維持されるか否かを示す。音質が維持される場合には「Ｏ」が示され、音質が低下する場合には「Ｘ」が示されている。
　「間引き数」は、レンダラーパイプライン部４３０４が取得した音声信号（より具体的には複数の音声信号）のうち、再生部４３０３から出力信号として出力されない音声信号の数を示す。「間引き数」が多い場合つまりは出力されない音声信号の数が多く演算量及び演算負荷が削減される場合には「Ｏ」が示され、「間引き数」が少ない場合つまりは出力されない音声信号の数が少なく演算量及び演算負荷が削減され難い場合には「Ｘ」が示されている。
　図３７が示すように、「第１閾値：大」かつ「第２判定処理無効」の場合には、「処理の複雑さ」がＯ、「音質の維持」がＸ、「間引き数」がＯであることが示されている。すなわち、この場合には、レンダリング部５３００における処理が容易であり、演算量及び演算負荷が十分に削減されることができる。
　同様に、「第１閾値：大」かつ「第２判定処理有効」の場合には、「処理の複雑さ」がＸ、「音質の維持」がＸ、「間引き数」がＯであることが示されている。すなわち、この場合には、演算量及び演算負荷が十分に削減されることができる。
　同様に、「第１閾値：小」かつ「第２判定処理無効」の場合には、「処理の複雑さ」がＯ、「音質の維持」がＯ、「間引き数」がＸであることが示されている。すなわち、この場合には、高い音質が維持されることができる。
　同様に、「第１閾値：小」かつ「第２判定処理有効」の場合には、「処理の複雑さ」がＸ、「音質の維持」がＯ、「間引き数」がＯであることが示されている。すなわち、この場合には、高い音質が維持され、演算量及び演算負荷が十分に削減されることができる。
　なお、変更部５３０７が第１閾値を設定する処理を行うか否か、及び、無効化部５３０８が無効化処理を行うか否かは、当該仮想空間の管理者又は受聴者によって設定（決定）されていてもよい。また、空間情報が、変更部５３０７が第１閾値を設定する処理を行うか否か、及び、無効化部５３０８が無効化処理を行うか否かを示す情報を含み、当該情報に従って決定されてもよい。そのようにすることによって、当該仮想空間の管理者又は受聴者は、図３７に示したような種々の効果の中から最も適切な効果を試行錯誤しながら選定することができる。ここで試行錯誤の繰り返しを効果的に行えるようにするためにそれぞれの設定領域が隣接していることが望ましい。すなわち、変更部５３０７によって設定される第１閾値を示す値を格納する格納領域と、無効化処理を実施することを指示する信号を格納する格納領域とは、隣接する領域であるとよい。それは、隣接していることで設定値を視覚的に把握しやすいということのみならず、メモリ領域的に隣接していることで、双方の値を同時に（１回のメモリアクセス処理で）設定することができるという格別の効果が生じる。言い換えれば、上記第１閾値を示す値と上記無効化処理を実施することを指示する信号とを、１つのアドレスによってアクセスできる領域の上位ビットフィールドと下位ビットフィールドとに連結して配置し、そのように配置された一連のデータが１回のメモリアクセスで書き込み処理されることで、上記２つのデータを同時に設定できることとなる。
　さらに、変更部５３０７が第１閾値を設定する処理、及び、無効化部５３０８が行う無効化処理は、上記スレッドの更新に際に行われてもよい。
　以上のように、本実施の形態に係る音声信号処理方法は、第１閾値を設定する変更ステップと、第２判定処理を無効化する無効化処理を行う無効化ステップとを含む。第１判定処理では、算出された第１増減量が、設定された第１閾値以上である場合に、取得された音声信号が第１条件を満たすと判定される。無効化処理が行われた場合には、取得された音声信号が第１条件を満たすと判定されたときに、再生ステップが行われる。
　これにより、無効化処理により第２判定処理が行われなくなるため、第２判定処理を行うために必要とされる演算量及び演算負荷が削減されることができる。つまりは、演算量及び演算負荷をより適切に削減することができる音声信号処理方法を実現することができる。
　本実施の形態に係る音声信号処理方法においては、無効化処理が行われた場合における設定された第１閾値は、無効化処理が行われていない場合における設定された第１閾値よりも大きい。
　これにより、無効化処理が行われるか否かに応じて第１閾値の大きさを設定できる音声信号処理方法を実現することができる。
　（補足）
　なお、本開示に基づいて把握される態様は、実施の形態に限定されず、種々変更して実施されてもよい。
　例えば、実施の形態において特定の構成要素によって実行される処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、説明に用いられた第１及び第２等の序数は、適宜、付け替えられてもよいし、取り除かれてもよいし、新たに付与されてもよい。これらの序数は、意味のある順序に必ずしも対応せず、要素の識別に用いられてもよい。
　また、例えば、閾値に対する比較において、閾値以上であることと、閾値よりも大きいこととが相互に読み替えられてもよい。同様に、閾値以下であることと、閾値よりも小さいこととが相互に読み替えられてもよい。また、例えば、時間及び時刻は、相互に読み替えられる場合がある。
　また、複数の音から１つ以上の処理対象音を選択する処理において、条件を満たす音が存在しなければ、どの音も処理対象音として選択されなくてもよい。つまり、複数の音から１つ以上の処理対象音を選択する処理には、処理対象音が選択されないケースが含まれていてもよい。
　また、例えば、第１要素、第２要素及び第３要素の少なくとも１つという表現は、第１要素、第２要素、第３要素、又は、これらの任意の組み合わせに対応し得る。
　また、例えば、実施の形態では、本開示に基づいて把握される態様を音声信号処理装置、符号化装置又は復号装置として実施する場合について説明している。しかし、本開示に基づいて把握される態様は、これらに限られず、音声信号処理方法、符号化方法又は復号方法を実行するためのソフトウェアとして実施されてもよい。
　例えば、上述の音声信号処理方法、符号化方法又は復号方法を実行するためのプログラムが、予めＲＯＭに記憶されていてもよい。そして、そのプログラムに従って、ＣＰＵが動作してもよい。
　また、上述の音声信号処理方法、符号化方法又は復号方法を実行するためのプログラムが、コンピュータ読み取り可能な記録媒体に記憶されてもよい。そして、コンピュータは、記録媒体に記憶されたプログラムをコンピュータのＲＡＭに記録し、そのプログラムに従って動作してもよい。
　そして、上記の各構成要素は、典型的には、入力端子及び出力端子を有する集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、実施の形態の全ての構成要素又は一部の構成要素を含むように１チップ化されてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ又はウルトラＬＳＩと表現されてもよい。
　また、ＬＳＩに限られず、専用回路又は汎用プロセッサが利用されてもよい。また、ＬＳＩ製造後に、プログラミングが可能なＦＰＧＡ、又は、ＬＳＩ内部の回路セルの接続又は設定の再構成が可能なリコンフィギュラブル・プロセッサが利用されてもよい。さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化が行われてもよい。バイオ技術の適応等が可能性としてあり得る。
　また、ＦＰＧＡ又はＣＰＵ等が、本開示において説明した音声信号処理方法、符号化方法又は復号方法を実現するためのソフトウェアの全部又は一部を無線通信又は有線通信によりダウンロードしてもよい。さらに、更新のためのソフトウェアの全部又は一部が無線通信又は有線通信によりダウンロードされてもよい。そして、ＦＰＧＡ又はＣＰＵ等が、ダウンロードされたソフトウェアをメモリに記憶し、記憶されたソフトウェアに基づいて動作することにより、本開示において説明したデジタル信号処理を実行してもよい。
　このとき、ＦＰＧＡ又はＣＰＵ等を具備する機器は、信号処理装置と無線又は有線で接続してもよいし、信号処理サーバとネットワークを介して接続してもよい。そして、この機器と、信号処理装置又は信号処理サーバとは、本開示において説明した音声信号処理方法、符号化方法又は復号方法を行ってもよい。
　例えば、本開示における音声信号処理装置、符号化装置又は復号装置が、ＦＰＧＡ又はＣＰＵ等を具備してもよい。さらに、音声信号処理装置、符号化装置又は復号装置は、ＦＰＧＡ又はＣＰＵ等を動作させるためのソフトウェアを外部から入手するためのインタフェース、及び、入手されたソフトウェアを記憶するためのメモリを具備してもよい。そして、ＦＰＧＡ又はＣＰＵ等は、記憶されたソフトウェアに基づいて動作することで、本開示において説明した信号処理を実行してもよい。
　本開示の音響処理、符号化処理又は復号処理に関するソフトウェアをサーバが提供してもよい。そして、端末又は機器は、当該ソフトウェアをインストールすることで、本開示で記載した音声信号処理装置、符号化装置又は復号装置として動作してもよい。なお、端末又は機器が、ネットワークを介しサーバと接続し、ソフトウェアをインストールしてもよい。
　また、端末又は機器とは異なる別の装置が、ネットワークを介しサーバと接続してソフトウェアのインストール用のデータを取得し、当該別の装置が端末又は機器にソフトウェアのインストール用のデータを提供することで端末又は機器にソフトウェアがインストールされてもよい。なお、ソフトウェアの例は、実施の形態を用いて説明した音声信号処理方法を端末又は機器に実行させるためのＶＲ用ソフトウェア又はＡＲ用ソフトウェアであってもよい。
　なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　以上、１つ以上の態様に係る装置等について、実施の形態に基づいて説明したが、本開示に基づいて把握される態様は、実施の形態に限定されない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施すことで得られる形態、及び、異なる変形例における構成要素を組み合わせて構築される形態も、１つ以上の態様の範囲内に含まれてもよい。
　本開示は、例えば、音声信号処理装置、符号化装置、復号装置、又は、これらのいずれかの装置を備える端末又は機器において適用可能な態様を含む。
　　１０００　立体音響再生システム
　　１００１　音声信号処理装置（音響処理装置）
　　１００２　音声提示装置
　　１１００、１１２０、１５００　符号化装置
　　１１０１、１１１３　入力データ
　　１１０２　エンコーダ
　　１１０３　符号化データ
　　１１０４、１１１４、１４０４、１５０３、２３０１ｂ　メモリ
　　１１１０、１１３０　復号装置
　　１１１１　音声信号
　　１１１２、１２００、１２１０　デコーダ
　　１１２１　送信部
　　１１２２　送信信号
　　１１３１　受信部
　　１１３２　受信信号
　　１２０１、１２１１　空間情報管理部
　　１２０２　音声データデコーダ
　　１２０３、１２１３、１３００、２３００、３３００、４３００、５３００　レンダリング部
　　１３０１、２３０１　解析部
　　１３０２、１３１４、２３０２、３３０２、４３０２　判定部
　　１３０３、２３０３、３３０３、４３０３　再生部
　　１３０４　閾値調整部
　　１３１１　残響処理部
　　１３１２　初期反射処理部
　　１３１３　距離減衰処理部
　　１３１５　生成部
　　１３１６　バイノーラル処理部
　　１４０１　スピーカ
　　１４０２、１５０１　プロセッサ
　　１４０３、１５０２　通信ＩＦ
　　１４０５　センサ
　　２３０１ａ　伝播経路検出部
　　２３０２ａ　分類部
　　２３０２ｂ　第１判定部
　　２３０２ｃ、３３０２ｃ　第２判定部
　　２３０３ａ　第１再生部
　　２３０３ｂ　第２再生部
　　３３０３ｃ　ゲイン設定部
　　４３０４　レンダラーパイプライン部
　　４３０４ａ、４３０４ａ１、４３０４ａ２、４３０４ａ３、４３０４ａ４　第１処理部
　　４３０４ｂ、４３０４ｂ１、４３０４ｂ２　第２処理部
　　４３０５　第１ゲイン累積部
　　４３０６　第２ゲイン累積部
　　５３０７　変更部
　　５３０８　無効化部

Claims (17)

  1. 　音声信号処理装置が実行する音声信号処理方法であって、
    　音声信号であって、前記音声信号の属性を特定する属性情報を含む音声信号を取得する取得ステップと、
    　取得された前記音声信号が含む前記属性情報によって特定される前記属性が間接音を示す情報である場合に、取得された前記音声信号が、第１条件を満たすか否かを判定する第１判定処理及び前記第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定ステップと、
    　取得された前記音声信号が前記第１条件及び前記第２条件を満たす場合に、取得された前記音声信号に基づく出力信号を出力する再生ステップと、を含む、
    　音声信号処理方法。
  2. 　前記間接音は、反射音である、
    　請求項１に記載の音声信号処理方法。
  3. 　取得された前記音声信号が含む前記属性情報によって特定される前記属性が前記間接音とは異なる所定音を示す情報である場合に、
    　前記判定ステップでは、前記第２判定処理が行われない、
    　請求項１又は２に記載の音声信号処理方法。
  4. 　前記所定音は、直接音である、
    　請求項３に記載の音声信号処理方法。
  5. 　前記第１判定処理では、取得された前記音声信号の振幅値が第１閾値以上である場合に、取得された前記音声信号が前記第１条件を満たすと判定され、
    　前記第２判定処理では、前記間接音に係る直接音及び前記間接音が受聴者が居る位置である受聴位置に到来するときの前記直接音と前記間接音との音量比が、前記直接音と前記間接音との到来する時間差に応じて決定される第２閾値以上である場合に、取得された前記音声信号が前記第２条件を満たすと判定される、
    　請求項１～４のいずれか１項に記載の音声信号処理方法。
  6. 　前記再生ステップは、
    　　前記属性が前記間接音とは異なる所定音である前記音声信号に基づく第１出力信号を出力する第１再生ステップと、
    　　前記属性が前記間接音である前記音声信号に基づく第２出力信号を出力する第２再生ステップと、
    　を含み、
    　前記第２再生ステップでは、取得された前記音声信号に、前記間接音を拡散することで前記間接音のリアリティを向上させる拡散フィルタ処理を行うことで、前記第２出力信号を出力し、
    　前記第１再生ステップでは、取得された前記音声信号に、前記拡散フィルタ処理を施さずに、前記第１出力信号を出力する、
    　請求項１～５のいずれか１項に記載の音声信号処理方法。
  7. 　前記第１判定処理が行われた後に、前記第２判定処理が行われる、
    　請求項１～６のいずれか１項に記載の音声信号処理方法。
  8. 　音声信号処理装置が実行する音声信号処理方法であって、
    　間接音を示す音声信号を取得する取得ステップと、
    　取得された前記音声信号について、１以上の第１処理、第１判定処理、第２判定処理、及び、前記１以上の第１処理とは異なる１以上の第２処理を行うレンダラーパイプラインステップと、
    　取得された前記音声信号に基づく出力信号を出力する再生ステップと、
    　前記１以上の第１処理のそれぞれによって決定された増減量であって、取得された前記音声信号の振幅を増幅させる増減量を累積して第１増減量を算出する第１ゲイン累積ステップと、
    　前記１以上の第２処理のそれぞれによって決定された増減量であって、取得された前記音声信号の振幅を増幅させる増減量を累積して第２増減量を算出する第２ゲイン累積ステップと、を含み、
    　前記第１判定処理では、算出された前記第１増減量が、第１閾値以上である場合に、取得された前記音声信号が第１条件を満たすと判定され、
    　取得された前記音声信号が前記第１条件を満たさないと判定された場合に、前記第２判定処理が行われず、
    　取得された前記音声信号が前記第１条件を満たすと判定された場合に、前記第２判定処理が行われ、
    　前記第２判定処理では、算出された前記第２増減量に応じた値が、前記第１閾値と異なる第２閾値以上である場合に、取得された前記音声信号が第２条件を満たすと判定され、
    　取得された前記音声信号が前記第２条件を満たすと判定された場合に、前記再生ステップが行われる、
    　音声信号処理方法。
  9. 　前記第２ゲイン累積ステップで算出された前記第２増減量は、前記間接音を拡散することで前記間接音のリアリティを向上させる拡散フィルタ処理が行われた場合の増減量であって取得された前記音声信号の振幅を増幅させる増減量を含み、
    　前記値は、前記間接音に係る直接音の音量と前記第２ゲイン累積ステップで算出された前記第２増減量との比であり、
    　前記第２閾値は、前記直接音と前記間接音との到来する時間差に応じて決定される、
    　請求項８に記載の音声信号処理方法。
  10. 　前記第２ゲイン累積ステップで算出された前記第２増減量は、受聴者の選択によって設定される音質調整機能による振幅の増減量を含み、
    　前記値は、前記間接音に係る直接音の音量と前記第２ゲイン累積ステップで算出された前記第２増減量との比であり、
    　前記第２閾値は、前記直接音と前記間接音との到来する時間差に応じて決定される、
    　請求項８に記載の音声信号処理方法。
  11. 　前記第１閾値は、音量に係る値である、
    　請求項８～１０のいずれか１項に記載の音声信号処理方法。
  12. 　前記第２ゲイン累積ステップでは、
    　　前記１以上の第２処理のそれぞれによって決定された前記増減量であって、取得された前記音声信号の振幅を増幅させる前記増減量を示すパラメータを取得し、
    　　取得された複数の前記パラメータに応じて、前記第２増減量を算出する、
    　請求項８～１１のいずれか１項に記載の音声信号処理方法。
  13. 　前記第１閾値を設定する変更ステップと、
    　前記第２判定処理を無効化する無効化処理を行う無効化ステップとを含み、
    　前記第１判定処理では、算出された前記第１増減量が、設定された前記第１閾値以上である場合に、取得された前記音声信号が前記第１条件を満たすと判定され、
    　前記無効化処理が行われた場合には、取得された前記音声信号が前記第１条件を満たすと判定されたときに、前記再生ステップが行われる、
    　請求項８～１２のいずれか１項に記載の音声信号処理方法。
  14. 　前記変更ステップにおいて設定される前記第１閾値を示す値を格納する格納領域と、前記無効化処理を実施することを指示する信号を格納する格納領域とは、隣接する領域である、
    　請求項１３に記載の音声信号処理方法。
  15. 　前記無効化処理が行われた場合における設定された前記第１閾値は、前記無効化処理が行われていない場合における設定された前記第１閾値よりも大きい、
    　請求項１３に記載の音声信号処理方法。
  16. 　請求項１～１５のいずれか１項に記載の音声信号処理方法をコンピュータに実行させるためのコンピュータプログラム。
  17. 　音声信号であって、前記音声信号の属性を特定する属性情報を含む音声信号を取得する取得部と、
    　取得された前記音声信号が含む前記属性情報によって特定される前記属性が間接音を示す情報である場合に、取得された前記音声信号が、第１条件を満たすか否かを判定する第１判定処理及び前記第１条件とは異なる第２条件を満たすか否かを判定する第２判定処理を行う判定部と、
    　取得された前記音声信号が前記第１条件及び前記第２条件を満たす場合に、取得された前記音声信号に基づく出力信号を出力する再生部と、を備える、
    　音声信号処理装置。
PCT/JP2024/035590 2023-10-06 2024-10-04 音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置 Pending WO2025075136A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2024354852A AU2024354852A1 (en) 2023-10-06 2024-10-04 Audio signal processing method, computer program, and audio signal processing device
CN202480062783.8A CN121942218A (zh) 2023-10-06 2024-10-04 声音信号处理方法、计算机程序以及声音信号处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202363542839P 2023-10-06 2023-10-06
US63/542,839 2023-10-06

Publications (1)

Publication Number Publication Date
WO2025075136A1 true WO2025075136A1 (ja) 2025-04-10

Family

ID=95283335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/035590 Pending WO2025075136A1 (ja) 2023-10-06 2024-10-04 音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置

Country Status (4)

Country Link
CN (1) CN121942218A (ja)
AU (1) AU2024354852A1 (ja)
TW (1) TW202522463A (ja)
WO (1) WO2025075136A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749694A (ja) * 1993-08-04 1995-02-21 Roland Corp 残響音発生装置
JPH07212897A (ja) * 1994-01-18 1995-08-11 Victor Co Of Japan Ltd 音像定位処理方法
JP2017055149A (ja) * 2015-09-07 2017-03-16 ソニー株式会社 音声処理装置および方法、符号化装置、並びにプログラム
JP6288100B2 (ja) 2013-10-17 2018-03-07 株式会社ソシオネクスト オーディオエンコード装置及びオーディオデコード装置
JP2019022049A (ja) 2017-07-14 2019-02-07 ヤマハ株式会社 信号処理装置
WO2021180938A1 (en) 2020-03-13 2021-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering a sound scene using pipeline stages
WO2022220181A1 (ja) * 2021-04-12 2022-10-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び、プログラム
WO2023085186A1 (ja) * 2021-11-09 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749694A (ja) * 1993-08-04 1995-02-21 Roland Corp 残響音発生装置
JPH07212897A (ja) * 1994-01-18 1995-08-11 Victor Co Of Japan Ltd 音像定位処理方法
JP6288100B2 (ja) 2013-10-17 2018-03-07 株式会社ソシオネクスト オーディオエンコード装置及びオーディオデコード装置
JP2017055149A (ja) * 2015-09-07 2017-03-16 ソニー株式会社 音声処理装置および方法、符号化装置、並びにプログラム
JP2019022049A (ja) 2017-07-14 2019-02-07 ヤマハ株式会社 信号処理装置
WO2021180938A1 (en) 2020-03-13 2021-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering a sound scene using pipeline stages
WO2022220181A1 (ja) * 2021-04-12 2022-10-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、及び、プログラム
WO2023085186A1 (ja) * 2021-11-09 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
B.C.J. MOORE: "An Introduction to the Psychology of Hearing", SEISHIN SHOBO, 20 April 1994 (1994-04-20), pages 225

Also Published As

Publication number Publication date
AU2024354852A1 (en) 2026-04-02
CN121942218A (zh) 2026-04-28
TW202522463A (zh) 2025-06-01

Similar Documents

Publication Publication Date Title
KR102502383B1 (ko) 오디오 신호 처리 방법 및 장치
JP5857071B2 (ja) オーディオ・システムおよびその動作方法
US11417347B2 (en) Binaural room impulse response for spatial audio reproduction
WO2025075147A1 (ja) 音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置
WO2025075135A1 (ja) 音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置
WO2024084999A1 (ja) 音響処理装置及び音響処理方法
US20250310717A1 (en) Acoustic processing device and acoustic processing method
WO2025075108A1 (ja) 音響処理装置、閾値特定装置及び音響処理方法
WO2025075149A1 (ja) 音声信号処理方法、コンピュータプログラム、及び、音声信号処理装置
EP4607965A1 (en) Sound processing device and sound processing method
CN121942218A (zh) 声音信号处理方法、计算机程序以及声音信号处理装置
US20250247667A1 (en) Acoustic processing method, acoustic processing device, and recording medium
WO2025205328A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2025075079A1 (ja) 音響処理装置、音響処理方法、及び、プログラム
WO2025135070A1 (ja) 音響情報処理方法、情報処理装置、及び、プログラム
KR20250091201A (ko) 음향 신호 처리 방법, 컴퓨터 프로그램, 및, 음향 신호 처리 장치
KR20250036081A (ko) 음향 신호 처리 방법, 컴퓨터 프로그램, 및, 음향 신호 처리 장치
WO2026018859A1 (ja) 情報処理方法、情報処理システム、及び、プログラム
CN120019674A (zh) 音响信号处理方法、计算机程序及音响信号处理装置
Urbanietz et al. Binaural Rendering for Sound Navigation and Orientation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24874736

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: AU2024354852

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2601002070

Country of ref document: TH

ENP Entry into the national phase

Ref document number: 2025550356

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025550356

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2024354852

Country of ref document: AU

Date of ref document: 20241004

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112026007276

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 11202601716T

Country of ref document: SG

WWP Wipo information: published in national office

Ref document number: 11202601716T

Country of ref document: SG