WO2024069796A1 - 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法 - Google Patents

音空間構築装置、音空間構築システム、プログラム及び音空間構築方法 Download PDF

Info

Publication number
WO2024069796A1
WO2024069796A1 PCT/JP2022/036165 JP2022036165W WO2024069796A1 WO 2024069796 A1 WO2024069796 A1 WO 2024069796A1 JP 2022036165 W JP2022036165 W JP 2022036165W WO 2024069796 A1 WO2024069796 A1 WO 2024069796A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
unit
sound source
data
stereophonic
Prior art date
Application number
PCT/JP2022/036165
Other languages
English (en)
French (fr)
Inventor
智治 粟野
耕佑 細谷
勇 小川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/036165 priority Critical patent/WO2024069796A1/ja
Priority to JP2024542112A priority patent/JP7558467B2/ja
Publication of WO2024069796A1 publication Critical patent/WO2024069796A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • This disclosure relates to a sound space construction device, a sound space construction system, a program, and a sound space construction method.
  • Patent Document 1 discloses an apparatus adapted to modify the directional characteristics of captured directional audio in response to spatial data of a microphone system capturing the directional audio. This allows the directional characteristics of the directional audio to be modified in response to a movement of the listening position.
  • the purpose of the position or aspects of the present disclosure is to make it possible to reproduce the sound field at a free position while the sound collection device is fixed.
  • a sound space construction device includes a sound acquisition unit that acquires sound data including sounds from multiple sound sources, a sound source determination unit that determines multiple sound source positions, which are the positions of the multiple sound sources, from the sound data, a sound extraction unit that generates multiple extracted sound data by extracting sounds indicated by the sound data for each sound source and generating extracted sound data indicating the extracted sounds, a format conversion unit that converts the format of the multiple extracted sound data into a stereophonic format to generate multiple stereophonic sounds corresponding to the multiple sound sources, a position acquisition unit that acquires an auditory position, which is a position at which sounds are heard, a movement processing unit that calculates the angle and distance between the auditory position and each of the multiple sound source positions, an angle and distance adjustment unit that adjusts each of the multiple stereophonic sounds by the angle and distance corresponding to each of the multiple sound source positions, thereby generating multiple adjusted stereophonic sounds, which are multiple stereophonic sounds at the auditory position, and a superimposition unit that superimposes the multiple sound acquisition unit that acquires sound
  • a sound space construction system is a sound space construction system including a sound space construction device and a sound collection device connected to the sound space construction device via a network and generating sound data including sounds from multiple sound sources, the sound space construction device including a communication unit that communicates with the sound collection device, a sound acquisition unit that acquires the sound data via the communication unit, a sound source determination unit that determines multiple sound source positions that are the positions of the multiple sound sources from the sound data, and a sound extraction unit that extracts sounds indicated by the sound data for each sound source and generates extracted sound data indicating the extracted sounds, thereby generating multiple extracted sound data.
  • a stereophonic sound processing unit that converts the format of the extracted sound data into a stereophonic sound format to generate a plurality of stereophonic sounds corresponding to the plurality of sound sources; a position acquisition unit that acquires an auditory position where sound is heard; a movement processing unit that calculates the angle and distance between the auditory position and each of the plurality of sound source positions; an angle and distance adjustment unit that adjusts each of the plurality of stereophonic sounds by an angle and distance corresponding to each of the plurality of sound source positions to generate a plurality of adjusted stereophonic sounds that are a plurality of stereophonic sounds at the auditory position; and a superimposition unit that superimposes the plurality of adjusted stereophonic sounds.
  • the program causes a computer to function as an audio acquisition unit that acquires audio data including audio from multiple sound sources, a sound source determination unit that determines multiple sound source positions, which are the positions of the multiple sound sources, from the audio data, an audio extraction unit that generates multiple extracted audio data by extracting audio represented by the audio data for each sound source and generating extracted audio data representing the extracted audio, a format conversion unit that converts the format of the multiple extracted audio data into a stereophonic format to generate multiple stereophonic sounds corresponding to the multiple sound sources, a position acquisition unit that acquires an auditory position, which is a position at which audio is heard, a movement processing unit that calculates the angle and distance between the auditory position and each of the multiple sound source positions, an angle and distance adjustment unit that generates multiple adjusted stereophonic sounds, which are multiple stereophonic sounds at the auditory position, by adjusting each of the multiple stereophonic sounds with an angle and distance corresponding to each of the multiple sound source positions, and a superimposition unit that superimposes the multiple adjusted
  • a sound space construction method includes obtaining audio data including audio from a plurality of sound sources, determining from the audio data a plurality of sound source positions that are the positions of the plurality of sound sources, extracting audio represented by the audio data for each sound source, and generating extracted audio data representing the extracted audio, thereby generating a plurality of extracted audio data, converting the format of the plurality of extracted audio data into a stereophonic format to generate a plurality of stereophonic sounds corresponding to the plurality of sound sources, obtaining an auditory position that is a position at which the audio is heard, calculating an angle and distance between the auditory position and each of the plurality of sound source positions, adjusting each of the plurality of stereophonic sounds by an angle and distance corresponding to each of the plurality of sound source positions, thereby generating a plurality of adjusted stereophonic sounds that are a plurality of stereophonic sounds at the auditory position, and superimposing the plurality of adjusted stereophonic sounds.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a sound space construction device according to a first embodiment.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a voice extraction unit.
  • FIG. 1 is a block diagram showing a schematic configuration of a computer.
  • 11 is a first example for explaining a processing example accompanying a movement of an auditory position.
  • 13 is a second example for explaining a processing example accompanying a movement of an auditory position.
  • 13 is a third example for explaining a processing example accompanying a movement of an auditory position.
  • FIG. 11 is a block diagram illustrating a schematic configuration of a sound space construction system according to a second embodiment.
  • FIG. 11 is a block diagram illustrating a schematic configuration of a sound collection device according to a second embodiment.
  • FIG. 11 is a block diagram illustrating a schematic configuration of a sound space construction device according to a second embodiment.
  • FIG. 11 is a block diagram illustrating a configuration of a sound
  • FIG. 1 is a block diagram showing a schematic configuration of a sound space construction device 100 according to the first embodiment.
  • the sound space construction device 100 includes a voice acquisition unit 101, a sound source determination unit 102, a voice extraction unit 103, a format conversion unit 104, a position acquisition unit 105, a movement processing unit 106, an angle distance adjustment unit 107, a superimposition unit 108, and an output processing unit 109.
  • the voice acquisition unit 101 acquires voice data including voices from a plurality of sound sources.
  • the voice acquisition unit 101 acquires voice data generated by a sound collection device (not shown) such as a microphone.
  • the voice of the voice data is preferably captured by an Ambisonics microphone, which is a microphone compatible with the Ambisonics method, but may be captured by multiple non-directional microphones.
  • the voice acquisition unit 101 may acquire voice data from a sound collection device via a connection I/F (InterFace) not shown, or may acquire voice data from a network such as the Internet via a communication I/F not shown.
  • the acquired voice data is provided to the sound source determination unit 102.
  • the sound source determining unit 102 determines a plurality of sound source positions from the audio data. For example, the sound source determining unit 102 performs sound source number determination for determining the number of sound sources included in the audio data, and sound source position estimation for estimating the sound source position, which is the position of a sound source included in the audio data.
  • a publicly known technique may be used to determine the number of sound sources.
  • the following document 1 describes a method for estimating the number of sound sources using independent component analysis.
  • the sound source determination unit 102 may also identify sound sources and determine the number of sound sources by analyzing an image represented by image data obtained from an imaging device such as a camera (not shown). In other words, the sound source determination unit 102 may determine the positions of multiple sound sources using an image of a space containing multiple sound sources. For example, the position of an object that is a sound source can be determined based on the direction and size of the object.
  • a publicly known technique may be used for estimating the sound source position.
  • the following document 2 describes a method for estimating the sound source position using the beamforming method and the MUSIC method.
  • the voice data and sound source number data indicating the number of sound sources determined for the voice data are provided to the voice extraction unit 103 .
  • Sound source position data indicating the sound source position estimated by the sound source position estimation is provided to a movement processing unit 106 .
  • the voice extraction unit 103 extracts the voice represented by the voice data for each sound source and generates extracted voice data representing the extracted voice, thereby generating a plurality of extracted voice data.
  • Each of the plurality of extracted voice data corresponds to a respective one of the plurality of sound sources.
  • the audio extraction unit 103 extracts extracted audio data, which is audio data for each sound source, from the audio data.
  • the audio extraction unit 103 generates extracted audio data corresponding to one sound source among the multiple extracted audio data by subtracting remaining data obtained by separating audio from one sound source included in the multiple sound sources from the audio data.
  • the extracted audio data is provided to the format conversion unit 104.
  • FIG. 2 is a block diagram showing a schematic configuration of the voice extraction unit 103.
  • the voice extraction unit 103 includes a noise reduction unit 110 and an extraction processing unit 111 .
  • the noise reduction unit 110 reduces noise from the voice data. Any known technique may be used as the noise reduction method.
  • the noise reduction unit 110 may reduce noise using a Global Sidelobe Canceller (GSC) described in the following document 5.
  • GSC Global Sidelobe Canceller
  • the extraction processing unit 111 extracts extracted audio data, which is audio data for each sound source, from the processed audio data.
  • the extraction processing unit 111 includes a sound source separation unit 112 , a phase adjustment unit 113 , and a subtraction unit 114 .
  • the sound source separation unit 112 separates the sound data for each sound source from the processed sound data to generate separated sound data.
  • a publicly known method may be used to separate the sound data for each sound source.
  • the sound source separation unit 112 performs separation using a technique called ILRMA (Independent Low-Rank Matrix Analysis) described in the following document 4.
  • the phase adjustment unit 113 extracts the phase rotation given for each sound source in the signal processing used for sound source separation in the sound source separation unit 112, and generates phase-adjusted sound data by giving the processed sound data an opposite phase rotation that cancels the phase rotation.
  • the phase-adjusted sound data is given to the subtraction unit 114.
  • the subtraction unit 114 extracts extracted audio data, which is audio data for each sound source, by subtracting the phase-adjusted audio data from the processed audio data for each sound source.
  • the format conversion unit 104 converts the format of the multiple extracted sound data into a stereophonic format, thereby generating multiple stereophonic sounds corresponding to multiple sound sources.
  • the format conversion unit 104 converts the extracted audio data into a stereophonic format.
  • the format conversion unit 104 converts the format of the extracted audio data into the Ambisonics B format, which is a stereophonic format, to generate stereophonic data representing a stereophonic sound.
  • the format conversion unit 104 converts the Ambisonics A format of the extracted sound data into the Ambisonics B format.
  • the method of converting from the Ambisonics A format to the Ambisonics B format may use a known technique.
  • the following document 5 describes a method of converting from the Ambisonics A format to the Ambisonics B format.
  • the format conversion unit 104 can convert the format of the extracted sound data into the Ambisonics B format using known technology.
  • the following document 6 describes a method of generating the Ambisonics B format by generating bidirectionality using beamforming on the results of sound collected by omnidirectional microphones.
  • the position acquisition unit 105 acquires an auditory position, which is a position where sound is heard. For example, the position acquisition unit 105 acquires an auditory position where the user listens to sound in the virtual space by receiving a specification of the auditory position from the user via an input I/F such as a mouse or keyboard (not shown). Here, it is assumed that the user can move in the virtual space, so the position acquisition unit 105 acquires the auditory position periodically or each time the movement of the user is detected. Then, the position acquisition unit 105 provides the movement processing unit 106 with position data indicating the acquired hearing position.
  • an auditory position which is a position where sound is heard. For example, the position acquisition unit 105 acquires an auditory position where the user listens to sound in the virtual space by receiving a specification of the auditory position from the user via an input I/F such as a mouse or keyboard (not shown).
  • the position acquisition unit 105 acquires the auditory position periodically or each time the movement of the user is detected. Then, the position acquisition unit 105 provides the
  • the movement processing unit 106 calculates the angle and distance between the hearing position and each of a plurality of sound source positions. For example, the movement processing unit 106 calculates the angle and distance between the hearing position and each sound source position from the hearing position indicated by the position data and the sound source position indicated by the sound source position data. Then, the movement processing unit 106 provides angle and distance data indicating the calculated angle and distance for each sound source to the angle and distance adjustment unit 107 .
  • the angle and distance adjustment unit 107 adjusts each of the plurality of stereo sounds at an angle and distance corresponding to each of the plurality of sound source positions, thereby generating a plurality of adjusted stereo sounds which are the plurality of stereo sounds at the auditory position.
  • the angle distance adjustment unit 107 adjusts the stereophonic sound data for each sound source so that the angle and distance are at the angle and distance indicated by the angle distance data.
  • the angular distance adjustment unit 107 can easily change the angle corresponding to the arrival direction of a sound from a sound source in the Ambisonics B format in accordance with the Ambisonics standard.
  • the angular distance adjustment unit 107 also adjusts the amplitude of the stereophonic sound data according to the distance indicated by the angular distance data. For example, if the distance between the hearing position and the sound source is half the distance between the capture position and the sound source when the audio data was acquired, the angular distance adjustment unit 107 increases the amplitude by 6 dB. In other words, the angular distance adjustment unit 107 may adjust the relationship between distance and amplitude according to, for example, the square law.
  • the angle and distance adjustment unit 107 provides the superimposition unit 108 with adjusted stereophonic sound data that indicates an adjusted stereophonic sound, which is a stereophonic sound with adjusted angle and distance, for each sound source.
  • the overlapping unit 108 overlaps a plurality of adjusted stereo sounds.
  • the superimposing unit 108 superimposes the adjusted stereophonic data for each sound source.
  • the superimposing unit 108 adds together the sound signals represented by the adjusted stereophonic data for each sound source. In this way, the superimposing unit 108 generates synthetic sound data representing the added sound signals.
  • the synthetic sound data is provided to the output processing unit 109.
  • the output processing unit 109 generates output sound data indicating the output sound by converting the channel-based sound represented by the synthetic sound data into binaural sound, which is sound to be heard with both ears.
  • a publicly known method may be used to convert the channel-based sound into binaural sound.
  • the following document 7 describes a method of converting channel-based sound into binaural sound.
  • the output processing unit 109 outputs the output sound data to an audio output device such as a speaker via a connection I/F (not shown), for example.
  • the output processing unit 109 outputs the output sound data to an audio output device such as a speaker via a communication I/F (not shown).
  • the above-described sound space construction device 100 can be realized by a computer 10 as shown in FIG.
  • the computer 10 includes an auxiliary storage device 11 such as a hard disk drive (HDD) and a solid state drive (SSD), a memory 12, a processor 13 such as a central processing unit (CPU), an input I/F 14 such as a keyboard and a mouse, a connection I/F 15 such as a universal serial bus (USB), and a communication I/F 16 such as a network interface card (NIC).
  • auxiliary storage device 11 such as a hard disk drive (HDD) and a solid state drive (SSD)
  • a memory 12 such as a central processing unit (CPU), an input I/F 14 such as a keyboard and a mouse, a connection I/F 15 such as a universal serial bus (USB), and a communication I/F 16 such as a network interface card (NIC).
  • the voice acquisition unit 101, sound source determination unit 102, voice extraction unit 103, format conversion unit 104, position acquisition unit 105, movement processing unit 106, angle distance adjustment unit 107, superimposition unit 108 and output processing unit 109 can be realized by the processor 13 loading a program stored in the auxiliary storage device 11 into the memory 12 and executing the program.
  • the program may be downloaded to the auxiliary storage device 11 from a recording medium via a reader/writer (not shown) or from a network via the communication I/F 16, and then loaded onto the memory 12 and executed by the processor 13.
  • the program may also be loaded directly onto the memory 12 from a recording medium via a reader/writer or from a network via the communication I/F 16, and executed by the processor 13.
  • the direction from which a sound comes from the sound source can be changed depending on the direction in which the user is facing.
  • the angle between the user 22 and the first sound source 20 changes from angle ⁇ 1 to angle ⁇ 2
  • the angle between the user 22 and the second sound source 21 changes from angle ⁇ 3 to angle ⁇ 4 .
  • the conventional Ambisonics method can accommodate uniform angle changes, such as changes in the user's orientation, but cannot accommodate angle changes for each sound source, as shown in Figure 4.
  • extracted audio data from the first sound source 20 and extracted audio data from the second sound source 21 are extracted from the audio data and processed.
  • the first embodiment changes the angle between the user 22 and the first sound source 20 from a first angle ⁇ 1 to a second angle ⁇ 2. Furthermore, the first embodiment also changes the intensity of the sound from the first sound source 20 in response to the change from a first distance d 1 between the first hearing position 23 and the first sound source 20 to a second distance d 2 between the second hearing position 24 and the first sound source 20.
  • the first embodiment when the user 22 moves from the first hearing position 23 to the second hearing position 24, the first embodiment changes the angle between the user 22 and the second sound source 21 from the third angle ⁇ 3 to a fourth angle ⁇ 4 . Furthermore, the first embodiment also changes the intensity of the sound from the second sound source 21 in response to the change from the third distance d3 between the first hearing position 23 and the second sound source 21 to the fourth distance d4 between the second hearing position 24 and the second sound source 21.
  • the data processed for each sound source is superimposed in the above manner, thereby changing the sound in accordance with the movement of the user. Therefore, according to the first embodiment, even if a plurality of sound sources exist, it is possible to reproduce a sound field at a free position in a virtual space.
  • FIG. 7 is a block diagram showing a schematic configuration of a sound space construction system 230 according to the second embodiment.
  • the sound space construction system 230 includes a sound space construction device 200 and a sound collection device 240 .
  • the sound space construction device 200 and the sound collection device 240 are connected via a network 231 such as the Internet.
  • the sound collection device 240 captures sound in a space separate from the sound space construction device 200 and transmits audio data representing the sound to the sound space construction device 200 via the network 231.
  • FIG. 8 is a block diagram showing a schematic configuration of the sound collection device 240. As shown in FIG.
  • the sound collection device 240 includes a sound collection unit 241 , a control unit 242 , and a communication unit 243 .
  • the sound collection unit 241 captures sound in the space in which the sound collection device 240 is installed.
  • the sound collection unit 241 can be configured, for example, with an Ambisonics microphone or multiple omnidirectional microphones.
  • the control unit 242 controls the processing in the sound collection device 240 .
  • the control unit 242 generates audio data indicating the sound captured by the sound collection unit 241 and sends the audio data to the sound space construction device 200 via the communication unit 243.
  • control unit 242 when the control unit 242 receives a direction from which to capture sound from the sound space construction device 200 via the communication unit 243, it controls the sound collection unit 241 to generate sound data indicating the sound from that direction and send it to the sound space construction device 200. This is the process performed when beamforming is performed by the sound space construction device 200.
  • control unit 242 can be configured with a memory and a processor such as a CPU (Central Processing Unit) that executes a program stored in the memory.
  • a program may be provided over a network, or may be provided by recording it on a recording medium. In other words, such a program may be provided, for example, as a program product.
  • control unit 242 can be configured with a processing circuit such as a single circuit, a composite circuit, a processor operated by a program, a parallel processor operated by a program, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array).
  • a processing circuit such as a single circuit, a composite circuit, a processor operated by a program, a parallel processor operated by a program, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array).
  • the control unit 242 can be realized by a processing circuit network.
  • the communication unit 243 communicates with the sound space construction device 200 via the network 231 .
  • the communication unit 243 transmits audio data to the sound space construction device 200 via the network 231 .
  • the communication unit 243 receives instructions from the sound space construction device 200 via the network 231 and provides the instructions to the control unit 242 .
  • the communication unit 243 can be realized by a communication I/F such as a NIC, although this is not shown.
  • FIG. 9 is a block diagram showing a schematic configuration of a sound space construction device 200 according to the second embodiment.
  • the sound space construction device 200 includes an audio acquisition unit 201, a sound source determination unit 202, an audio extraction unit 103, a format conversion unit 104, a position acquisition unit 105, a movement processing unit 106, an angle distance adjustment unit 107, a superimposition unit 108, an output processing unit 109, and a communication unit 220.
  • the audio extraction unit 103, format conversion unit 104, position acquisition unit 105, movement processing unit 106, angle distance adjustment unit 107, superimposition unit 108, and output processing unit 109 of the sound space construction device 200 in embodiment 2 are similar to the audio extraction unit 103, format conversion unit 104, position acquisition unit 105, movement processing unit 106, angle distance adjustment unit 107, superimposition unit 108, and output processing unit 109 of the sound space construction device 100 in embodiment 1.
  • the communication unit 220 communicates with the sound collection device 240 via a network 231 .
  • the communication unit 220 receives audio data from the sound collection device 240 via the network 231 .
  • the communication unit 220 transmits instructions to the sound collection device 240 via the network 231 .
  • the communication unit 220 can be realized by the communication I/F 16 shown in FIG.
  • the audio acquisition unit 201 acquires audio data from the sound collection device 240 via the communication unit 220.
  • the acquired audio data is provided to the sound source determination unit 202.
  • the audio data is data indicating audio captured by the sound collection device 240 connected to the sound space construction device 200 via the network 231.
  • the sound source determination unit 202 performs sound source number determination for determining the number of sound sources included in the voice data, and sound source position estimation for estimating the sound source positions that are the positions of the sound sources included in the voice data.
  • the sound source number determination and sound source position estimation may be performed by the same processing as in the first embodiment.
  • the sound source determination unit 202 sends an instruction indicating the direction in which to capture the sound to the sound collection device 240 via the communication unit 220.
  • a virtual space can be constructed using the sound transmitted from the remote location.
  • FIG. 10 is a block diagram showing a schematic configuration of a sound space construction device 300 according to the third embodiment.
  • the sound space construction device 300 includes an audio acquisition unit 101, a sound source determination unit 102, an audio extraction unit 103, a format conversion unit 104, a position acquisition unit 105, a movement processing unit 106, an angular distance adjustment unit 107, a superposition unit 308, an output processing unit 109, a separate audio acquisition unit 321, and an angular distance adjustment unit 322.
  • the audio acquisition unit 101, the sound source determination unit 102, the audio extraction unit 103, the format conversion unit 104, the position acquisition unit 105, the movement processing unit 106, the angular distance adjustment unit 107 and the output processing unit 109 of the sound space construction device 300 of embodiment 3 are similar to the audio acquisition unit 101, the sound source determination unit 102, the audio extraction unit 103, the format conversion unit 104, the position acquisition unit 105, the movement processing unit 106, the angular distance adjustment unit 107 and the output processing unit 109 of the sound space construction device 100 of embodiment 1.
  • the movement processing unit 106 also provides the angular distance data to the angular distance adjustment unit 322 .
  • the separate audio acquisition unit 321 acquires audio data generated by a sound collection device (not shown) such as a microphone.
  • the audio data acquired by the separate audio acquisition unit 321 is assumed to be audio data that differs from the audio data acquired by the audio acquisition unit 101 in at least one of the time and position at which it was captured.
  • the audio data acquired by the separate audio acquisition unit 321 is also referred to as audio data for superimposition.
  • the audio data to be superimposed is assumed to be data that has been separated for each sound source and converted into Ambisonics B format by processing similar to that performed by the sound source determination unit 102, the audio extraction unit 103, and the format conversion unit 104 in embodiment 1.
  • the separate audio acquisition unit 321 acquires audio data for superimposition that indicates a stereophonic sound for superimposition, which is a stereophonic sound generated by converting audio data of an audio that is different from the audio contained in the audio data acquired by the audio acquisition unit 101 in at least one of the time and place of capture into a stereophonic format.
  • the sound of the audio data to be superimposed is preferably captured by an Ambisonics microphone, which is a microphone compatible with the Ambisonics system, but may also be captured by multiple omnidirectional microphones.
  • the separate audio acquisition unit 321 may also acquire audio data from a sound collection device via a connection I/F (not shown), or may acquire audio data from a network such as the Internet via a communication I/F (not shown). Furthermore, the separate audio acquisition unit 321 may acquire the audio data to be superimposed from a storage unit (not shown). The acquired audio data to be superimposed is provided to the angle distance adjustment unit 322.
  • the angular distance adjustment section 322 functions as a superimposition angular distance adjustment section that generates, from the superimposition stereo sound, an adjusted superimposition stereo sound, which is a stereo sound at the hearing position.
  • the angle distance adjustment unit 322 adjusts the superimposed audio data for each sound source so that the angle and distance are indicated by the angle distance data. For example, when the superimposed audio data indicates a past audio in the same location as the audio of the audio data acquired by the audio acquisition unit 101, the angle distance adjustment unit 322 adjusts the angle and amplitude according to the angle distance data.
  • the method of adjusting the angle and amplitude is the same as the adjustment method by the angle distance adjustment unit 107 in the first embodiment.
  • the audio data for superimposition indicates audio in a different location than the audio of the audio data acquired by the audio acquisition unit 101
  • a criterion for adjusting the angle and amplitude for each sound source according to the angle and distance indicated by the angle distance data is predefined, and the angle distance adjustment unit 322 adjusts the angle and amplitude of the audio data for superimposition according to that criterion.
  • the angle and distance adjustment unit 322 provides the superimposition unit 308 with adjusted audio data for superimposition that indicates the adjusted stereophonic sound for superimposition, which is a stereophonic sound for superimposition for which the angle and distance have been adjusted for each sound source.
  • the superimposing unit 308 superimposes the plurality of adjusted stereophonic sounds and the adjusted stereophonic sounds for superimposition. For example, the superimposing unit 308 superimposes the adjusted stereophonic data for each sound source and the adjusted audio data for superimposition. Specifically, the superimposing unit 308 adds together the sound signal represented by the adjusted stereophonic data for each sound source and the sound signal represented by the adjusted audio data for superimposition. In this way, the superimposing unit 308 generates synthetic sound data representing the added sound signal. The synthetic sound data is provided to the output processing unit 109.
  • the separate audio acquisition unit 321 and angle distance adjustment unit 322 described above can also be realized by the processor 13 shown in FIG. 3 loading a program stored in the auxiliary storage device 11 into the memory 12 and executing that program.
  • different sounds that do not actually occur can be added to the virtual space, which can improve the value of long distance travel, for example.
  • the user can listen to past sounds at a hearing position in the virtual space, or sounds in a space other than the virtual space.
  • the user can listen to sounds recorded inside Shuri Castle, which no longer exists, in the virtual space.
  • 100, 200, 300 Sound space construction device 101, 201 Audio acquisition unit, 102, 202 Sound source determination unit, 103 Audio extraction unit, 104 Format conversion unit, 105 Position acquisition unit, 106 Movement processing unit, 107 Angular distance adjustment unit, 108, 308 Superimposition unit, 109 Output processing unit, 110 Noise reduction unit, 111 Extraction processing unit, 112 Sound source separation unit, 113 Phase adjustment unit, 114 Subtraction unit, 220 Communication unit, 321 Separate audio acquisition unit, 322 Angular distance adjustment unit, 230 Sound space construction system, 231 Network, 240 Sound collection device, 241 Sound collection unit, 242 Control unit, 243 Communication unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

音空間構築装置（１００）は、複数の音源からの音声を含む音声データを取得する音声取得部（１０１）と、音声データから複数の音源位置を判定する音源判定部（１０２）と、音声データで示される音声を音源毎に抽出して、抽出された音声を示す複数の抽出音声データを生成する音声抽出部（１０３）と、複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、複数の音源に対応する複数の立体音を生成するフォーマット変換部（１０４）と、聴覚位置を取得する位置取得部（１０５）と、聴覚位置と、複数の音源位置の各々との間の角度及び距離を算出する移動処理部（１０６）と、複数の立体音のそれぞれを、複数の音源位置のそれぞれに対応する角度及び距離で調整することで、聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部（１０７）と、複数の調整済立体音を重畳する重畳部（１０８）とを備える。

Description

音空間構築装置、音空間構築システム、プログラム及び音空間構築方法
　本開示は、音空間構築装置、音空間構築システム、プログラム及び音空間構築方法に関する。
　現在、立体音響技術の開発が進んでいる。例えば、アンビソニックス方式を用いることで、マイク位置での３６０度方向の音場を再現することが可能である。アンビソニックス方式の実現には、通常、アンビソニックスマイクが用いられる。アンビソニックスマイクが固定されていると、仮想空間内を体験者が自由に動いた際に、移動した場所での音場を再現することができない。
　これに対して、特許文献１には、方向性オーディオを捕捉するマイクロフォンシステムの空間データに応答して、捕捉された方向性オーディオの方向特性を修正するように適応された装置が開示されている。これにより、視聴位置の移動に応じた方向制オーディオの方向特性を修正することができる。
特表２０２２－５０９７６１号公報
　しかしながら、従来の技術では、音源が二つ以上ある場合、視聴位置の移動に対するアンビソニックスＢフォーマットの空間追従を行うことはできない。
　そこで、本開示の位置又は複数の態様は、集音装置が固定された状態において、自由位置での音場を再現できるようにすることを目的とする。
　本開示の一態様に係る音空間構築装置は、複数の音源からの音声を含む音声データを取得する音声取得部と、前記音声データから、前記複数の音源の位置である複数の音源位置を判定する音源判定部と、前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する音声抽出部と、前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成するフォーマット変換部と、音声を聴く位置である聴覚位置を取得する位置取得部と、前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出する移動処理部と、前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部と、前記複数の調整済立体音を重畳する重畳部と、を備えることを特徴とする。
　本開示の一態様に係る音空間構築システムは、音空間構築装置と、前記音空間構築装置に対してネットワークで接続され、複数の音源からの音声を含む音声データを生成する集音装置とを備える音空間構築システムであって、前記音空間構築装置は、前記集音装置と通信を行う通信部と、前記通信部を介して、前記音声データを取得する音声取得部と、前記音声データから、前記複数の音源の位置である複数の音源位置を判定する音源判定部と、前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する音声抽出部と、前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成するフォーマット変換部と、音声を聴く位置である聴覚位置を取得する位置取得部と、前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出する移動処理部と、前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部と、前記複数の調整済立体音を重畳する重畳部と、を備えることを特徴とする。
　本開示の一態様に係るプログラムは、コンピュータを、複数の音源からの音声を含む音声データを取得する音声取得部、前記音声データから、前記複数の音源の位置である複数の音源位置を判定する音源判定部、前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する音声抽出部、前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成するフォーマット変換部、音声を聴く位置である聴覚位置を取得する位置取得部、前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出する移動処理部、前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部、及び、前記複数の調整済立体音を重畳する重畳部、として機能させることを特徴とする。
　本開示の一態様に係る音空間構築方法は、複数の音源からの音声を含む音声データを取得し、前記音声データから、前記複数の音源の位置である複数の音源位置を判定し、前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成し、前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成し、音声を聴く位置である聴覚位置を取得し、前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出し、前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成し、前記複数の調整済立体音を重畳することを特徴とする。
　本開示の一又は複数の態様によれば、集音装置が固定された状態において、自由位置での音場を再現することができる。
実施の形態１に係る音空間構築装置の構成を概略的に示すブロック図である。 音声抽出部の構成を概略的に示すブロック図である。 コンピュータの構成を概略的に示すブロック図である。 聴覚位置の移動に伴う処理例を説明するための第１の例である。 聴覚位置の移動に伴う処理例を説明するための第２の例である。 聴覚位置の移動に伴う処理例を説明するための第３の例である。 実施の形態２に係る音空間構築システムの構成を概略的に示すブロック図である。 実施の形態２における集音装置の構成を概略的に示すブロック図である。 実施の形態２における音空間構築装置の構成を概略的に示すブロック図である。 実施の形態３に係る音空間構築装置の構成を概略的に示すブロック図である。
実施の形態１．
　図１は、実施の形態１に係る音空間構築装置１００の構成を概略的に示すブロック図である。
　音空間構築装置１００は、音声取得部１０１と、音源判定部１０２と、音声抽出部１０３と、フォーマット変換部１０４と、位置取得部１０５と、移動処理部１０６と、角度距離調整部１０７と、重畳部１０８と、出力処理部１０９とを備える。
　音声取得部１０１は、複数の音源からの音声を含む音声データを取得する。
　例えば、音声取得部１０１は、マイク等の集音装置（図示しない）で生成された音声データを取得する。音声データの音声は、アンビソニックス方式に対応したマイクであるアンビソニックスマイクで捕捉されることが望ましいが、複数の無指向マイクで捕捉されてもよい。また、音声取得部１０１は、図示しない接続Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）を介して、集音装置から音声データを取得してもよく、図示しない通信Ｉ／Ｆを介して、インターネット等のネットワークから音声データを取得してもよい。取得された音声データは、音源判定部１０２に与えられる。
　音源判定部１０２は、音声データから、複数の音源の位置である複数の音源位置を判定する。
　例えば、音源判定部１０２は、音声データに含まれている音源の数を判定する音源数判定と、音声データに含まれている音源の位置である音源位置を推定する音源位置推定とを行う。
　音源数判定には、公知の技術が用いられればよい。例えば、下記の文献１には、音源数判定として、独立成分分析による音源数推定法が記載されている。
　また、音源判定部１０２は、図示しないカメラ等の撮像装置から得られた画像データで示される画像を解析することで、音源を特定して、その音源の数を判定してもよい。言い換えると、音源判定部１０２は、複数の音源が含まれる空間を撮像した画像を用いて、複数の音源位置を判定してもよい。例えば、音源となる物体の方向及び大きさにより、その物体の位置を判定することができる。
　音源位置推定にも、公知の技術が用いられればよい。例えば、下記の文献２には、ビームフォーミング法及びＭＵＳＩＣ法による音源位置の推定方法が記載されている。
　音声データ及びその音声データに対する音源数判定による音源数を示す音源数データは、音声抽出部１０３に与えられる。
　音源位置推定による音源位置を示す音源位置データは、移動処理部１０６に与えられる。
　音声抽出部１０３は、音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する。複数の抽出音声データのそれぞれは、複数の音源のそれぞれに対応する。
　例えば、音声抽出部１０３は、音声データから音源毎の音声データである抽出音声データを抽出する。具体的には、音声抽出部１０３は、音声データから、複数の音源に含まれる一つの音源からの音声を分離した残りのデータを、その音声データから減算することで、複数の抽出音声データの内、その一つの音源に対応する抽出音声データを生成する。抽出音声データは、フォーマット変換部１０４に与えられる。
　図２は、音声抽出部１０３の構成を概略的に示すブロック図である。
　音声抽出部１０３は、騒音低減部１１０と、抽出処理部１１１とを備える。
　騒音低減部１１０は、音声データから騒音を低減する。騒音の低減方法は、公知の技術が使用されればよい。例えば、騒音低減部１１０は、下記の文献５に記載されているＧＳＣ（Ｇｌｏｂａｌ　Ｓｉｄｅｌｏｂｅ　Ｃａｎｃｅｌｌｅｒ）を用いて、騒音を低減すればよい。音声データから騒音が低減された処理済音声データは、抽出処理部１１１に与えられる。
　抽出処理部１１１は、処理済音声データから、音源毎の音声データである抽出音声データを抽出する。
　抽出処理部１１１は、音源分離部１１２と、位相調整部１１３と、減算部１１４とを備える。
　音源分離部１１２は、処理済音声データから、音源毎の音声データを分離することで、分離音声データを生成する。音源毎の音声データを分離する方法については、公知の方法が使用されればよい。例えば、音源分離部１１２は、下記の文献４に記載されているＩＬＲＭＡ（Ｉｎｄｅｐｅｎｄｅｎｔ　Ｌｏｗ－Ｒａｎｋ　Ｍａｔｒｉｘ　Ａｎａｌｙｓｉｓ）という技術を用いて分離を行う。
　位相調整部１１３は、音源分離部１１２における音源分離に用いた信号処理で、音源毎に、与えられた位相回転を抽出し、その位相回転をキャンセルする逆側の位相回転を、処理済音声データに与えることで、位相調整済音声データを生成する。位相調整済音声データは、減算部１１４に与えられる。
　減算部１１４は、音源毎に、処理済音声データから位相調整済音声データを減算することで、音源毎の音声データである抽出音声データを抽出する。
　図１に戻り、フォーマット変換部１０４は、複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、複数の音源に対応する複数の立体音を生成する。
　例えば、フォーマット変換部１０４は、抽出音声データを立体音響フォーマットに変換する。ここでは、フォーマット変換部１０４は、抽出音声データのフォーマットを、立体音響フォーマットであるアンビソニックスＢフォーマットに変換することで、立体音を示す立体音データを生成する。
　なお、音声がアンビソニックスマイクで捕捉されている場合には、フォーマット変換部１０４は、抽出音声データのアンビソニックスＡフォーマットを、アンビソニックスＢフォーマットに変換すればよい。アンビソニックスＡフォーマットからアンビソニックスＢフォーマットへの変換方法は、公知の技術が使用されればよい。例えば、下記の文献５には、アンビソニックスＡフォーマットからアンビソニックスＢフォーマットへの変換方法が記載されている。
　一方、音声が複数の無指向マイクで捕捉されている場合には、フォーマット変換部１０４には、公知の技術を利用して、抽出音声データのフォーマットを、アンビソニックスＢフォーマットに変換すればよい。例えば、下記の文献６には、無指向マイクで集音された結果をビームフォーミングにより双指向性を生成することで、アンビソニックスＢフォーマットを生成する方法が記載されている。
　位置取得部１０５は、音声を聴く位置である聴覚位置を取得する。例えば、位置取得部１０５は、図示しないマウス又はキーボード等の入力Ｉ／Ｆを介して、ユーザから、ユーザが仮想空間において音を聴く聴覚位置の特定を受けることで、その聴覚位置を取得する。ここでは、ユーザは、仮想空間を移動できることが前提となっているため、位置取得部１０５は、定期的に、又は、ユーザの移動が検知される毎に、その聴覚位置を取得する。
　そして、位置取得部１０５は、取得された聴覚位置を示す位置データを移動処理部１０６に与える。
　移動処理部１０６は、聴覚位置と、複数の音源位置の各々との間の角度及び距離を算出する。
　例えば、移動処理部１０６は、位置データで示される聴覚位置と、音源位置データで示される音源位置とから、音源位置毎に、聴覚位置との間の角度及び距離を算出する。
　そして、移動処理部１０６は、音源毎に、算出された角度及び距離を示す角度距離データを角度距離調整部１０７に与える。
　角度距離調整部１０７は、複数の立体音のそれぞれを、複数の音源位置のそれぞれに対応する角度及び距離で調整することで、聴覚位置における複数の立体音である複数の調整済立体音を生成する。
　例えば、角度距離調整部１０７は、音源毎に、立体音データを、角度距離データで示される角度及び距離となるように調整する。
　例えば、角度距離調整部１０７は、アンビソニックスの規格に従って、アンビソニックスＢフォーマットにおける音源からの音の到来方向に対応する角度を、容易に変更することができる。
　また、角度距離調整部１０７は、立体音データにおける振幅を、角度距離データで示される距離に応じて調整する。例えば、聴覚位置と音源との距離が、音声データが取得された際における捕捉位置と音源との距離の半分になるのであれば、角度距離調整部１０７は、その振幅を６ｄＢ大きくする。言い換えると、角度距離調整部１０７は、距離と振幅との関係を、例えば二乗則に従って調整すればよい。
　角度距離調整部１０７は、音源毎に、角度及び距離を調整した立体音である調整済立体音を示す調整済立体音データを重畳部１０８に与える。
　重畳部１０８は、複数の調整済立体音を重畳する。
　例えば、重畳部１０８は、音源毎の調整済立体音データを重畳する。具体的には、重畳部１０８は、音源毎の調整済立体音データで示される音信号を足し合わせる。これにより、重畳部１０８は、足し合わされた音信号を示す合成音データを生成する。合成音データは、出力処理部１０９に与えられる。
　出力処理部１０９は、合成音データで示されるチャネルベースの音を、両耳で授聴するための音であるバイノーラル音に変換することで、出力音を示す出力音データを生成する。チャネルベースの音を、バイノーラル音に変換する方法については、公知の方法が使用されればよい。例えば、下記の文献７には、チャネルベースの音を、バイノーラル音に変換する方法が記載されている。
　そして、出力処理部１０９は、例えば、図示しない接続Ｉ／Ｆを介して、スピーカ等の音声出力装置に出力音データを出力する。または、出力処理部１０９は、図示しない通信Ｉ／Ｆを介して、スピーカ等の音声出力装置に出力音データを出力する。
　以上に記載された音空間構築装置１００は、図３に示されているようなコンピュータ１０により実現することができる。
　コンピュータ１０は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の補助記憶装置１１と、メモリ１２と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ１３と、キーボード及びマウス等の入力Ｉ／Ｆ１４と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等の接続Ｉ／Ｆ１５と、ＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）等の通信Ｉ／Ｆ１６とを備える。
　具体的には、音声取得部１０１、音源判定部１０２、音声抽出部１０３、フォーマット変換部１０４、位置取得部１０５、移動処理部１０６、角度距離調整部１０７、重畳部１０８及び出力処理部１０９は、プロセッサ１３が補助記憶装置１１に記憶されているプログラムをメモリ１２にロードして、そのプログラムを実行することで実現可能である。
　そのプログラムは、図示しないリーダ／ライタを介して記録媒体から、あるいは、通信Ｉ／Ｆ１６を介してネットワークから、補助記憶装置１１にダウンロードされ、それから、メモリ１２上にロードされてプロセッサ１３により実行されるようにしてもよい。また、そのプログラムは、リーダ／ライタを介して記録媒体から、あるいは、通信Ｉ／Ｆ１６を介してネットワークから、メモリ１２上に直接ロードされ、プロセッサ１３により実行されるようにしてもよい。
　アンビソニックス方式では、ユーザが向いている方向に応じて、音源からの音の到来方向を変更できるようになっている。
　しかしながら、図４に示されているように、第１の音源２０及び第２の音源２１のように複数の音源がある場合において、ユーザ２２が第１の聴覚位置２３から第２の聴覚位置２４に移動すると、ユーザ２２と第１の音源２０との間の角度は、角度θ１から角度θ２に変わり、ユーザ２２と第２の音源２１との間の角度は、角度θ３から角度θ４に変わる。
　従来からのアンビソニックス方式では、ユーザの向きの変更等のように、一様な角度の変更は収容可能であるが、図４に示されているように、音源毎の角度の変更を行うことはできない。
　このため、実施の形態１は、例えば、図５及び図６に示されているように、音声データから、第１の音源２０からの抽出音声データと、第２の音源２１からの抽出音声データとを抽出して、処理を行う。
　具体的には、図５に示されているように、ユーザ２２が第１の聴覚位置２３から第２の聴覚位置２４に移動した場合、実施の形態１は、ユーザ２２と第１の音源２０との間の角度を第１の角度θ１から第２の角度θ２に変更する。さらに、実施の形態１は、第１の音源２０からの音の強さも、第１の聴覚位置２３と、第１の音源２０との間の第１の距離ｄ１から、第２の聴覚位置２４と、第１の音源２０との間の第２の距離ｄ２への変化に応じて変更している。
　また、図６に示されているように、ユーザ２２が第１の聴覚位置２３から第２の聴覚位置２４に移動した場合、実施の形態１は、ユーザ２２と第２の音源２１との間の角度を第３の角度θ３から第４の角度θ４に変更する。さらに、実施の形態１は、第２の音源２１からの音の強さも、第１の聴覚位置２３と、第２の音源２１との間の第３の距離ｄ３から、第２の聴覚位置２４と、第２の音源２１との間の第４の距離ｄ４への変化に応じて変更している。
　そして、実施の形態１は、以上のようにして、音源毎に処理されたデータを重畳することで、ユーザの移動に伴って音を変化させている。
　このため、実施の形態１によれば、複数の音源が存在していても、仮想空間における自由位置での音場を再現することができる。
実施の形態２．
　図７は、実施の形態２に係る音空間構築システム２３０の構成を概略的に示すブロック図である。
　音空間構築システム２３０は、音空間構築装置２００と、集音装置２４０とを備える。
　音空間構築装置２００と、集音装置２４０とは、インターネット等のネットワーク２３１で接続されている。
　集音装置２４０は、音空間構築装置２００とは離れた空間における音声を捕捉して、その音声を示す音声データを、ネットワーク２３１を介して、音空間構築装置２００に送信する。
　図８は、集音装置２４０の構成を概略的に示すブロック図である。
　集音装置２４０は、集音部２４１と、制御部２４２と、通信部２４３とを備える。
　集音部２４１は、集音装置２４０が設置された空間における音声を捕捉する。集音部２４１は、例えば、アンビソニックスマイク又は複数の無指向マイクで構成することができる。
　制御部２４２は、集音装置２４０での処理を制御する。
　例えば、制御部２４２は、集音部２４１で捕捉された音声を示す音声データを生成して、通信部２４３を介して、その音声データを音空間構築装置２００に送る。
　また、制御部２４２は、通信部２４３を介して、音空間構築装置２００から、音声を捕捉する方向が示された場合には、集音部２４１を制御することで、その方向からの音声を示す音声データを生成して、音空間構築装置２００に送る。これは、音空間構築装置２００でビームフォーミングが行われる際の処理である。
　以上に記載された制御部２４２の一部又は全部は、図示されていないが、メモリと、メモリに格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサとにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
　また、制御部２４２の一部又は全部は、図示されていないが、単一回路、複合回路、プログラムで動作するプロセッサ、プログラムで動作する並列プロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路で構成することもできる。
　以上のように、制御部２４２は、処理回路網により実現することができる。
　通信部２４３は、ネットワーク２３１を介して、音空間構築装置２００と通信を行う。
　例えば、通信部２４３は、ネットワーク２３１を介して、音空間構築装置２００に音声データを送信する。
　また、通信部２４３は、ネットワーク２３１を介して、音空間構築装置２００からの指示を受信し、その指示を制御部２４２に与える。
　ここで、通信部２４３は、図示されていないが、ＮＩＣ等の通信Ｉ／Ｆにより実現することができる。
　図９は、実施の形態２における音空間構築装置２００の構成を概略的に示すブロック図である。
　音空間構築装置２００は、音声取得部２０１と、音源判定部２０２と、音声抽出部１０３と、フォーマット変換部１０４と、位置取得部１０５と、移動処理部１０６と、角度距離調整部１０７と、重畳部１０８と、出力処理部１０９と、通信部２２０とを備える。
　実施の形態２における音空間構築装置２００の音声抽出部１０３、フォーマット変換部１０４、位置取得部１０５、移動処理部１０６、角度距離調整部１０７、重畳部１０８及び出力処理部１０９は、実施の形態１における音空間構築装置１００の音声抽出部１０３、フォーマット変換部１０４、位置取得部１０５、移動処理部１０６、角度距離調整部１０７、重畳部１０８及び出力処理部１０９と同様である。
　通信部２２０は、ネットワーク２３１を介して、集音装置２４０と通信を行う。
　例えば、通信部２２０は、ネットワーク２３１を介して、集音装置２４０からの音声データを受信する。
　また、通信部２２０は、ネットワーク２３１を介して、集音装置２４０に指示を送信する。
　なお、通信部２２０は、図３に示されている通信Ｉ／Ｆ１６により実現することができる。
　音声取得部２０１は、通信部２２０を介して、集音装置２４０から音声データを取得する。取得された音声データは、音源判定部２０２に与えられる。実施の形態２では、音声データは、音空間構築装置２００に対してネットワーク２３１で接続された集音装置２４０で捕捉された音声を示すデータである。
　音源判定部２０２は、音声データに含まれている音源の数を判定する音源数判定と、音声データに含まれている音源の位置である音源位置を推定する音源位置推定とを行う。音源数判定及び音源位置推定は、実施の形態１と同様の処理で行われればよい。
　なお、音源判定部２０２は、例えば、ビームフォーミング法及びＭＵＳＩＣ法により音源位置の推定を行う場合には、音声を捕捉する方向を示す指示を、通信部２２０を介して、集音装置２４０に送る。
　以上のように、実施の形態２によれば、集音装置２４０を遠隔地に設置することで、遠隔地から送信されてきた音声を用いて、仮想空間を構築することができる。
実施の形態３．
　図１０は、実施の形態３に係る音空間構築装置３００の構成を概略的に示すブロック図である。
　音空間構築装置３００は、音声取得部１０１と、音源判定部１０２と、音声抽出部１０３と、フォーマット変換部１０４と、位置取得部１０５と、移動処理部１０６と、角度距離調整部１０７と、重畳部３０８と、出力処理部１０９と、別音声取得部３２１と、角度距離調整部３２２とを備える。
　実施の形態３に係る音空間構築装置３００の音声取得部１０１、音源判定部１０２、音声抽出部１０３、フォーマット変換部１０４、位置取得部１０５、移動処理部１０６、角度距離調整部１０７及び出力処理部１０９は、実施の形態１に係る音空間構築装置１００の音声取得部１０１、音源判定部１０２、音声抽出部１０３、フォーマット変換部１０４、位置取得部１０５、移動処理部１０６、角度距離調整部１０７及び出力処理部１０９と同様である。
　但し、移動処理部１０６は、角度距離データを角度距離調整部３２２にも与える。
　別音声取得部３２１は、マイク等の集音装置（図示しない）で生成された音声データを取得する。別音声取得部３２１で取得される音声データは、音声取得部１０１で取得される音声データとは、少なくとも捕捉された時間及び位置の何れか一方が異なる音声データであるものとする。別音声取得部３２１で取得される音声データを、重畳用音声データともいう。
　ここで、重畳用音声データは、実施の形態１における音源判定部１０２、音声抽出部１０３及びフォーマット変換部１０４での処理と同様の処理により、音源毎に分離されて、アンビソニックスＢフォーマットに変換されたデータであるものとする。
　言い換えると、別音声取得部３２１は、音声取得部１０１で取得される音声データに含まれている音声とは、捕捉された時及び場所の少なくとも何れか一方において異なる音声の音声データを、立体音響のフォーマットに変換することで生成された立体音である重畳用立体音を示す重畳用音声データを取得する。
　重畳用音声データの音声は、アンビソニックス方式に対応したマイクであるアンビソニックスマイクで捕捉されることが望ましいが、複数の無指向マイクで捕捉されてもよい。また、別音声取得部３２１は、図示しない接続Ｉ／Ｆを介して、集音装置から音声データを取得してもよく、図示しない通信Ｉ／Ｆを介して、インターネット等のネットワークから音声データを取得してもよい。さらに、別音声取得部３２１は、図示しない記憶部から重畳用音声データを取得してもよい。取得された重畳用音声データは、角度距離調整部３２２に与えられる。
　角度距離調整部３２２は、重畳用立体音から、聴覚位置における立体音である重畳用調整済立体音を生成する重畳用角度距離調整部として機能する。
　角度距離調整部３２２は、音源毎に、重畳用音声データを、角度距離データで示される角度及び距離となるように調整する。例えば、重畳用音声データが、音声取得部１０１で取得される音声データの音声と同じ場所における過去の音声を示す場合には、角度距離調整部３２２は、角度距離データに従って、角度及び振幅を調整すればよい。角度及び振幅の調整方法については、実施の形態１における角度距離調整部１０７での調整方法と同様である。
　一方、重畳用音声データが、音声取得部１０１で取得される音声データの音声とは、異なる場所における音声を示す場合には、角度距離データで示される角度及び距離に応じて、音源毎に角度及び振幅を調整する基準が予め定められており、その基準に従って、角度距離調整部３２２は、重畳用音声データの角度及び振幅を調整すればよい。
　角度距離調整部３２２は、音源毎に、角度及び距離を調整した重畳用立体音である重畳用調整済立体音を示す重畳用調整済音声データを重畳部３０８に与える。
　重畳部３０８は、複数の調整済立体音及び重畳用調整済立体音を重畳する。
　例えば、重畳部３０８は、音源毎の調整済立体音データ及び重畳用調整済音声データを重畳する。具体的には、重畳部３０８は、音源毎の調整済立体音データで示される音信号及び調整済重畳用音声データで示される音信号を足し合わせる。これにより、重畳部３０８は、足し合わされた音信号を示す合成音データを生成する。合成音データは、出力処理部１０９に与えられる。
　以上に記載された別音声取得部３２１及び角度距離調整部３２２も、図３に示されているプロセッサ１３が補助記憶装置１１に記憶されているプログラムをメモリ１２にロードして、そのプログラムを実行することで実現可能である。
　以上のように、実施の形態３によれば、現実には発生していない別の音声も仮想空間に付加することができるため、例えば、遠隔旅行等の価値を向上することができる。具体的には、ユーザは、仮想空間における聴覚位置での過去の音声、又は、仮想空間とは別の空間での音声を聞くことができる。例えば、ユーザは、現在はない首里城の中で収録された音声を、仮想空間において聞くことができる。
　文献１：澤田他、「独立成分分析を用いた音源数推定法」、日本音響学会、秋季研究発表会、２００４年
　文献２：浅野　太、「音のアレイ信号処理－音源の定位・追跡と分離」、４．５章、コロナ社、２０１１年
　文献３：浅野　太、「音のアレイ信号処理－音源の定位・追跡と分離」、４．５章、コロナ社、２０１１年
　文献４：北村他、「独立低ランク行列分析に基づくブラインド音源分離」、ＩＥＩＣＥ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ、ＥＡ２０１７－５６、ｖｏｌ．１１７、Ｎｏ．２５５、ｐｐ．７３－８０、Ｔｏｙａｍａ，Ｏｃｔｏｂｅｒ　２０１７
　文献５：西村　竜一、「アンビソニックス」、映像情報メディア学会誌、Ｖｏｌ．　６８、Ｎｏ.　８、ｐｐ．６１６－６２０、２０１４年
　文献６：特許第６７４２５３５号公報
　文献７：特許第４９６９９７８号公報
　１００，２００，３００　音空間構築装置、　１０１，２０１　音声取得部、　１０２，２０２　音源判定部、　１０３　音声抽出部、　１０４　フォーマット変換部、　１０５　位置取得部、　１０６　移動処理部、　１０７　角度距離調整部、　１０８，３０８　重畳部、　１０９　出力処理部、　１１０　騒音低減部、　１１１　抽出処理部、　１１２　音源分離部、　１１３　位相調整部、　１１４　減算部、　２２０　通信部、　３２１　別音声取得部、　３２２　角度距離調整部、　２３０　音空間構築システム、　２３１　ネットワーク、　２４０　集音装置、　２４１　集音部、　２４２　制御部、　２４３　通信部。

Claims (8)

  1. 　複数の音源からの音声を含む音声データを取得する音声取得部と、
    　前記音声データから、前記複数の音源の位置である複数の音源位置を判定する音源判定部と、
    　前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する音声抽出部と、
    　前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成するフォーマット変換部と、
    　音声を聴く位置である聴覚位置を取得する位置取得部と、
    　前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出する移動処理部と、
    　前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部と、
    　前記複数の調整済立体音を重畳する重畳部と、を備えること
    　を特徴とする音空間構築装置。
  2. 　前記音声抽出部は、前記音声データから、前記複数の音源に含まれる一つの音源からの音声を分離した残りのデータを、前記音声データから減算することで、前記複数の抽出音声データの内、前記一つの音源に対応する抽出音声データを生成すること
    　を特徴とする請求項１に記載の音空間構築装置。
  3. 　前記音源判定部は、前記複数の音源が含まれる空間を撮像した画像を用いて、前記複数の音源位置を判定すること
    　を特徴とする請求項１又は２に記載の音空間構築装置。
  4. 　前記音声データは、前記音空間構築装置に対してネットワークで接続された集音装置で捕捉された音声を示すデータであること
    　を特徴とする請求項１から３の何れか一項に記載の音空間構築装置。
  5. 　前記音声データに含まれている音声とは、捕捉された時及び場所の少なくとも何れか一方において異なる音声の音声データを、前記立体音響のフォーマットに変換することで生成された立体音である重畳用立体音を示す重畳用音声データを取得する別音声取得部と、
    　前記重畳用立体音から、前記聴覚位置における立体音である重畳用調整済立体音を生成する重畳用角度距離調整部と、をさらに備え、
    　前記重畳部は、前記複数の調整済立体音及び前記重畳用調整済立体音を重畳すること
    　を特徴とする請求項１から４の何れか一項に記載の音空間構築装置。
  6. 　音空間構築装置と、前記音空間構築装置に対してネットワークで接続され、複数の音源からの音声を含む音声データを生成する集音装置とを備える音空間構築システムであって、
    　前記音空間構築装置は、
    　前記集音装置と通信を行う通信部と、
    　前記通信部を介して、前記音声データを取得する音声取得部と、
    　前記音声データから、前記複数の音源の位置である複数の音源位置を判定する音源判定部と、
    　前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する音声抽出部と、
    　前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成するフォーマット変換部と、
    　音声を聴く位置である聴覚位置を取得する位置取得部と、
    　前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出する移動処理部と、
    　前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部と、
    　前記複数の調整済立体音を重畳する重畳部と、を備えること
    　を特徴とする音空間構築システム。
  7. 　コンピュータを、
    　複数の音源からの音声を含む音声データを取得する音声取得部、
    　前記音声データから、前記複数の音源の位置である複数の音源位置を判定する音源判定部、
    　前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成する音声抽出部、
    　前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成するフォーマット変換部、
    　音声を聴く位置である聴覚位置を取得する位置取得部、
    　前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出する移動処理部、
    　前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成する角度距離調整部、及び、
    　前記複数の調整済立体音を重畳する重畳部、として機能させること
    　を特徴とするプログラム。
  8. 　複数の音源からの音声を含む音声データを取得し、
    　前記音声データから、前記複数の音源の位置である複数の音源位置を判定し、
    　前記音声データで示される音声を音源毎に抽出して、抽出された音声を示す抽出音声データを生成することで、複数の抽出音声データを生成し、
    　前記複数の抽出音声データのフォーマットを、立体音響のフォーマットに変換することで、前記複数の音源に対応する複数の立体音を生成し、
    　音声を聴く位置である聴覚位置を取得し、
    　前記聴覚位置と、前記複数の音源位置の各々との間の角度及び距離を算出し、
    　前記複数の立体音のそれぞれを、前記複数の音源位置のそれぞれに対応する角度及び距離で調整することで、前記聴覚位置における複数の立体音である複数の調整済立体音を生成し、
    　前記複数の調整済立体音を重畳すること
    　を特徴とする音空間構築方法。
PCT/JP2022/036165 2022-09-28 2022-09-28 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法 WO2024069796A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/036165 WO2024069796A1 (ja) 2022-09-28 2022-09-28 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法
JP2024542112A JP7558467B2 (ja) 2022-09-28 2022-09-28 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/036165 WO2024069796A1 (ja) 2022-09-28 2022-09-28 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法

Publications (1)

Publication Number Publication Date
WO2024069796A1 true WO2024069796A1 (ja) 2024-04-04

Family

ID=90476628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/036165 WO2024069796A1 (ja) 2022-09-28 2022-09-28 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法

Country Status (2)

Country Link
JP (1) JP7558467B2 (ja)
WO (1) WO2024069796A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020527887A (ja) * 2017-07-14 2020-09-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 深度拡張ＤｉｒＡＣ技術またはその他の技術を使用して、拡張音場記述または修正音場記述を生成するための概念
JP2020167471A (ja) * 2019-03-28 2020-10-08 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020536286A (ja) * 2017-10-04 2020-12-10 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． ＤｉｒＡＣベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3503592B1 (en) 2017-12-19 2020-09-16 Nokia Technologies Oy Methods, apparatuses and computer programs relating to spatial audio

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020527887A (ja) * 2017-07-14 2020-09-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 深度拡張ＤｉｒＡＣ技術またはその他の技術を使用して、拡張音場記述または修正音場記述を生成するための概念
JP2020536286A (ja) * 2017-10-04 2020-12-10 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． ＤｉｒＡＣベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム
JP2020167471A (ja) * 2019-03-28 2020-10-08 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2024069796A1 (ja) 2024-04-04
JP7558467B2 (ja) 2024-09-30

Similar Documents

Publication Publication Date Title
CN107925815B (zh) 空间音频处理装置
CN106797525B (zh) 用于生成和回放音频信号的方法和设备
CN109804559B (zh) 空间音频系统中的增益控制
CN108369811B (zh) 分布式音频捕获和混合
US9877133B2 (en) Sound collection and reproduction system, sound collection and reproduction apparatus, sound collection and reproduction method, sound collection and reproduction program, sound collection system, and reproduction system
JP6665379B2 (ja) 聴覚支援システムおよび聴覚支援装置
JP5229053B2 (ja) 信号処理装置、および信号処理方法、並びにプログラム
CN110537221A (zh) 用于空间音频处理的两阶段音频聚焦
WO2017064368A1 (en) Distributed audio capture and mixing
JP2020500480A (ja) デバイス内の非対称配列の複数のマイクからの空間メタデータの分析
WO2014090277A1 (en) Spatial audio apparatus
KR20090051614A (ko) 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
CN106872945B (zh) 声源定位方法、装置和电子设备
JP2020500480A5 (ja)
KR20130116271A (ko) 다중 마이크에 의한 3차원 사운드 포착 및 재생
CN102256192A (zh) 声音信号的分离
US10917718B2 (en) Audio signal processing method and device
WO2020039119A1 (en) Spatial audio processing
KR101678305B1 (ko) 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법
CN110890100B (zh) 语音增强、多媒体数据采集、播放方法、装置及监控系统
JP6666276B2 (ja) 音声信号変換装置、その方法、及びプログラム
WO2024069796A1 (ja) 音空間構築装置、音空間構築システム、プログラム及び音空間構築方法
WO2021212287A1 (zh) 音频信号处理方法、音频处理装置及录音设备
KR101586364B1 (ko) 공간 음향 분할을 통한 동적 방향성 임펄스 응답을 생성하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR102161157B1 (ko) 오디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22960859

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024542112

Country of ref document: JP

Kind code of ref document: A