WO2015159731A1 - 音場再現装置および方法、並びにプログラム - Google Patents

音場再現装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2015159731A1
WO2015159731A1 PCT/JP2015/060554 JP2015060554W WO2015159731A1 WO 2015159731 A1 WO2015159731 A1 WO 2015159731A1 JP 2015060554 W JP2015060554 W JP 2015060554W WO 2015159731 A1 WO2015159731 A1 WO 2015159731A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
sound
main
main sound
unit
Prior art date
Application number
PCT/JP2015/060554
Other languages
English (en)
French (fr)
Inventor
祐基 光藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580018766.5A priority Critical patent/CN106165444B/zh
Priority to EP15780249.7A priority patent/EP3133833B1/en
Priority to US15/302,468 priority patent/US10477309B2/en
Priority to JP2016513715A priority patent/JP6485711B2/ja
Publication of WO2015159731A1 publication Critical patent/WO2015159731A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present technology relates to a sound field reproduction device, method, and program, and more particularly, to a sound field reproduction device, method, and program that can reproduce an arbitrary sound field more accurately.
  • a wavefront synthesis technique in which a sound wavefront in a sound field is picked up by a plurality of microphones, and the sound field is reproduced based on the obtained sound pickup signals.
  • the sound field can be reproduced by reproducing the sound at the corresponding coordinates using a sounding body having a pole characteristic.
  • a signal arriving from a sound source outside the closed space and a signal arriving from the inside of the closed space from another sound source outside the closed space are mixed. In some cases, it will be recorded. In this example, two sound sources are heard from an unexpected position during reproduction. That is, the sound source position felt by the user who listens to the sound field is different from the sound source position that should be.
  • This phenomenon is due to the fact that the signal that was physically canceled out in the listening area corresponding to the closed space remains due to not acquiring the sound pressure gradient.
  • Non-Patent Document 1 a technique has been proposed that solves the above-mentioned phenomenon by arranging a microphone on the surface of a rigid body to make the sound pressure gradient zero (see, for example, Non-Patent Document 1).
  • Non-Patent Document 1 is not suitable for recording a wide range of sound fields because the range of the sound field to be collected is proportional to the volume of the rigid body.
  • Non-Patent Document 2 the installation of the microphone array used for collecting the sound field is limited to a place where there is little sound wrapping around, such as near a wall.
  • the present technology has been made in view of such a situation, and makes it possible to reproduce an arbitrary sound field more accurately.
  • the sound field reproduction device is based on a feature amount extracted from a signal obtained by collecting the sound of the main sound source by the sound collection unit, and the first sound source is located in front of the main sound source.
  • An emphasis unit is provided for emphasizing the main sound source component of the first collected sound signal obtained by collecting sound with the microphone array.
  • the sound field reproduction device includes a reduction unit that reduces the main sound source component of the second collected sound signal obtained by collecting the sound from the second microphone array positioned in front of the sub sound source based on the feature amount. Further, it can be provided.
  • the emphasis unit can separate the first collected sound signal into a main sound source component and a sub sound source component based on the feature amount, and can emphasize the separated main sound source component.
  • the reduction unit separates the second collected sound signal into a main sound source component and a sub sound source component based on the feature amount, and emphasizes the separated sub sound source component, thereby The main sound source component of the sound signal can be reduced.
  • the enhancement unit can separate the first collected sound signal into a main sound source component and a sub sound source component by non-negative tensor decomposition.
  • the reduction unit can separate the second collected sound signal into a main sound source component and a sub sound source component by non-negative tensor decomposition.
  • the sound field reproduction device can be provided with each of the plurality of enhancement units corresponding to each of the plurality of first microphone arrays.
  • the sound field reproduction device can be provided with each of the plurality of reduction units corresponding to each of the plurality of second microphone arrays.
  • the first microphone array can be arranged on a straight line connecting the space surrounded by the first microphone array and the second microphone array and the main sound source.
  • the sound collection unit can be arranged in the vicinity of the main sound source.
  • a sound field reproduction method or program is based on a feature amount extracted from a signal obtained by collecting sound of a main sound source by a sound collection unit. And emphasizing the main sound source component of the first collected sound signal obtained by collecting sound by one microphone array.
  • the first microphone array positioned in front of the main sound source is collected based on the feature amount extracted from the signal obtained by collecting the sound of the main sound source by the sound collection unit.
  • the main sound source component of the first collected sound signal obtained by sounding is emphasized.
  • an arbitrary sound field can be reproduced more accurately.
  • This technology records a sound field using a plurality of linear microphone arrays composed of a plurality of microphones arranged in a straight line in a real space (sound collection space), and based on the sound collection signal obtained as a result, The sound field is reproduced using a plurality of linear speaker arrays composed of a plurality of speakers arranged in the. At this time, sound reproduction based on the collected sound signal is performed so that the reproduction space (listening area) for reproducing the sound field and the sound collection space have the same sound field.
  • the sound source to be collected mainly is called a main sound source, and the other sound sources are called sub sound sources. However, there may be a plurality of main sound sources.
  • three types of sound collection units are used for sound collection in the sound collection space according to the present technology as shown in FIG.
  • a linear microphone array and a linear speaker array are arranged in a square in all directions, so that a sound field generated from a sound source existing outside a closed space surrounded by the linear microphone array It is a system that reproduces inside a closed space (listening area) surrounded by a speaker array.
  • a main sound source MA11 that is a sound source that is a main sound collection target and a sub sound source that is a sound source that is not a main sound collection target.
  • SA11 a main sound source MA11 that is a sound source that is a main sound collection target and a sub sound source that is a sound source that is not a main sound collection target.
  • the sound from the main sound source MA11 and the sub sound source SA11 is collected using the microphone MMC11 and the linear microphone arrays MCA11-1 to MCA11-4. At this time, the sound from the sub sound source arrives at each linear microphone array from a different direction from the sound from the main sound source.
  • the microphone MMC11 is composed of a single or a plurality of microphones or a microphone array arranged in the vicinity of the main sound source MA11, and collects sound from the main sound source MA11.
  • the microphone MMC11 is arranged at a position closest to the main sound source MA11 among the sound collection units arranged in the sound collection space.
  • the microphone MMC11 is arranged in the vicinity of the main sound source MA11 so that the sound from the main sound source MA11 is picked up at a volume that is sufficiently high that the sound from the sub sound source SA11 can be ignored when the sound field is picked up. ing.
  • the microphone MMC11 is composed of a single microphone.
  • the linear microphone arrays MCA11-1 to MCA11-4 are arranged to be square in all directions, and are surrounded by these linear microphone arrays MCA11-1 to MCA11-4.
  • the square area AR11 is an area corresponding to the listening area HA11 in the reproduction space shown on the right side in the drawing.
  • the listening area HA11 is an area where the listener can listen to the sound field reproduced.
  • the linear microphone array MCA11-1 is arranged in front of the main sound source MA11 (front), and the linear microphone array MCA11-4 is arranged in front of the sub sound source SA11.
  • the linear microphone arrays MCA11-1 to MCA11-4 are also simply referred to as the linear microphone array MCA11 when it is not necessary to distinguish them.
  • linear microphone arrays MCA11 are mainly a main sound source linear microphone array that collects sound from the main sound source MA11, and the other linear microphone arrays are mainly sub sound sources.
  • the main sound source linear microphone array and the sub sound source linear microphone array are specifically determined as shown in FIG. In FIG. 2, the same reference numerals are given to the portions corresponding to those in FIG. 1, and the description thereof will be omitted as appropriate. However, in FIG. 2, the position of the main sound source MA11 with respect to each linear microphone array MCA11 is arranged at a position different from that in FIG.
  • the linear microphone array MCA11 between the main sound source MA11 and the area AR11 corresponding to the listening area HA11 is the main sound source linear microphone array. That is, the linear microphone array MCA11 arranged on a straight line connecting the main sound source MA11 and an arbitrary position on the area AR11 is the main sound source linear microphone array.
  • the linear microphone array MCA11 that is not the main sound source linear microphone array is the sub-sound source linear microphone array.
  • the linear microphone array MCA11 illuminated by the light emitted from the main sound source MA11 is the main sound source linear microphone array.
  • the linear microphone array MCA11 which is behind the main sound source linear microphone array and is not illuminated by the light emitted from the main sound source MA11, that is, the linear microphone array MCA11 which is hidden from view by the main sound source linear microphone array when viewed from the main sound source MA11. Is a sub-source linear microphone array.
  • the linear microphone array MCA11-1 and the linear microphone array MCA11-3 are the main sound source linear microphone arrays, and the linear microphone array MCA11-2 and the linear microphone array MCA11-4 are the secondary sound source linear microphone arrays.
  • each linear microphone array MCA11 is used as either the main sound source linear microphone array or the sub sound source linear microphone array, and the sound field is collected.
  • the linear microphone array MCA11-1 disposed in front of the main sound source MA11 is the main sound source linear microphone array. Further, when viewed from the main sound source MA11, the linear microphone arrays MCA11-2 to MCA11-4 arranged behind the linear microphone array MCA11-1 are sub-sound source linear microphone arrays.
  • a use case in which the main sound source MA11 is a musical instrument being played and the sub sound source SA11 is a listener who performs a cheering performance is considered. It is done.
  • a performance is recorded mainly by a main sound source linear microphone array, and a cheer is recorded by a sub sound source linear microphone array.
  • the linear microphone array MCA11-1 is used as the main sound source linear microphone array
  • the linear microphone array MCA11-4 is used as the auxiliary sound source linear microphone array
  • the remaining linear microphone array MCA11. -2 and the linear microphone array MCA11-3 are not used and the description will be continued.
  • the sound fields collected in the sound collection space in this way are represented by the linear speaker arrays SPA11-1 through SPA11-1 to the linear microphone arrays MCA11-1 through MCA11-4, respectively, in the reproduction space shown on the right side of the drawing. Reproduced by the linear speaker array SPA11-4.
  • the linear speaker arrays SPA11-1 to SPA11-4 are arranged on a square so as to surround the listening area HA11.
  • the linear speaker arrays SPA11-1 to SPA11-4 will be simply referred to as the linear speaker array SPA11 when it is not necessary to distinguish them.
  • the sound simply collected by the linear microphone array MCA11-1 is reproduced by the linear speaker array SPA11-1 corresponding to the linear microphone array MCA11-1, and the sound collected by the linear microphone array MCA11-4.
  • the linear speaker array SPA11-4 corresponding to the linear microphone array MCA11-4 the sound field of the sound collection space cannot be accurately reproduced.
  • a performance sound that is a signal (speech) coming from the main sound source MA11 and a sub sound source SA11 coming through the area AR11.
  • the signal and cheers are mixed and collected.
  • the listener who listens to the sound in the listening area HA11 gets an impression that the sub sound source SA11 is in a position opposite to the original position. That is, originally, the sound from the sub sound source SA11 reaches the listening area HA11 from the lower side in the figure, but the listener receives the sound from the sub sound source SA11 from the upper side in the figure. It will be heard as if it has reached the listening area HA11.
  • the linear microphone array MCA11-4 also includes a cheer that is a signal coming from the sub sound source SA11 and a signal coming from the main sound source MA11 through the area AR11. The performance sound is mixed and picked up.
  • the listener who listens to the sound in the listening area HA11 gets an impression that the main sound source MA11 is in a position opposite to the original position. That is, originally, the sound from the main sound source MA11 reaches the listening area HA11 from the upper side in the figure, but the listener receives the sound from the main sound source MA11 from the lower side in the figure. It will be heard as if it has reached the listening area HA11.
  • the sound of the main sound source MA11 collected by the microphone MMC11 is used. Main sound source enhancement processing and main sound source reduction processing are performed.
  • the sound collected by the microphone MMC11 is a sound in which the sound of the sub sound source SA11 is recorded sufficiently smaller than the sound of the main sound source MA11, the sound of the main sound source MA11 is collected from the sound collected by the microphone MMC11. It is possible to easily extract a feature amount (hereinafter also referred to as a main sound source feature amount) representing the feature of the voice.
  • a feature amount hereinafter also referred to as a main sound source feature amount
  • the main sound source is used to emphasize only the sound component of the main sound source MA11, that is, the component of the performance sound, with respect to the collected sound signal obtained by the sound collection by the linear microphone array MCA11-1 using the main sound source feature amount. Emphasis processing is performed. In the linear speaker array SPA11-1, sound is reproduced based on the collected sound signal subjected to the main sound source enhancement processing.
  • the main sound source feature quantity is used to emphasize the sound component of the sub sound source SA11, that is, the cheering component, relative to the collected sound signal obtained by the sound collection by the linear microphone array MCA11-4, and relatively the main sound source MA11.
  • the main sound source reduction process is performed to reduce only the sound component.
  • sound is reproduced based on the collected sound signal that has been subjected to the main sound source reduction processing.
  • the listener in the listening area HA11 seems to have the performance sound from the main sound source MA11 coming from the upper side in the figure and the cheer from the sub sound source SA11 coming from the lower side in the figure. I can hear it. Thereby, the sound field of an arbitrary sound collection space can be reproduced more accurately in the reproduction space.
  • the present technology it is not necessary to limit the size and shape of the area AR11 corresponding to the listening area HA11, the arrangement of the linear microphone array MCA11, and the like, so that the sound field of an arbitrary sound collection space can be reproduced more accurately. it can.
  • each linear microphone array MCA11 constituting the square microphone array is a main sound source linear microphone array or a sub sound source linear microphone array.
  • a part of the microphone array that constitutes the spherical microphone array and the annular microphone array is mainly compatible with the main sound source linear microphone array, mainly corresponding to the microphone array that picks up the main sound source and the sub sound source linear microphone array.
  • a microphone array that collects the sub sound source may be used.
  • FIG. 3 is a diagram illustrating a configuration example of an embodiment of a main sound source enhanced sound field reproduction device to which the present technology is applied.
  • the main sound source emphasized sound field reproducer 11 includes a microphone 21, a main sound source learning unit 22, a microphone array 23-1, a microphone array 23-2, a main sound source drive signal generation unit 24, a sub sound source drive signal generation unit 25, and a speaker. It consists of an array 26-1 and a speaker array 26-2.
  • the microphone 21 includes, for example, one or a plurality of microphones, a microphone array, and the like, and is disposed near the main sound source in the sound collection space.
  • the microphone 21 corresponds to the microphone MMC11 shown in FIG.
  • the microphone 21 collects the sound emitted from the main sound source and supplies the sound collection signal obtained as a result to the main sound source learning unit 22.
  • the main sound source learning unit 22 extracts a main sound source feature amount from the collected sound signal based on the collected sound signal supplied from the microphone 21, and sends it to the main sound source drive signal generation unit 24 and the sub sound source drive signal generation unit 25. Supply. That is, the main sound source learning unit 22 learns the feature amount of the main sound source.
  • the main sound source learning unit 22 includes a transmitter 31 arranged in the sound collection space and a receiver 32 arranged in the reproduction space.
  • the transmitter 31 includes a time frequency analysis unit 41, a feature amount extraction unit 42, and a communication unit 43.
  • the time-frequency analysis unit 41 performs time-frequency conversion on the collected sound signal supplied from the microphone 21 and supplies the time-frequency spectrum obtained as a result to the feature amount extraction unit 42.
  • the feature amount extraction unit 42 extracts the main sound source feature amount from the time frequency spectrum supplied from the time frequency analysis unit 41 and supplies it to the communication unit 43.
  • the communication unit 43 transmits the main sound source feature amount supplied from the feature amount extraction unit 42 to the receiver 32 by wire or wireless.
  • the receiver 32 includes a communication unit 44.
  • the communication unit 44 receives the main sound source feature amount transmitted from the communication unit 43 and supplies it to the main sound source drive signal generation unit 24 and the sub sound source drive signal generation unit 25. To do.
  • the microphone array 23-1 is composed of a linear microphone array and functions as a main sound source linear microphone array. That is, the microphone array 23-1 corresponds to the linear microphone array MCA11-1 shown in FIG.
  • the microphone array 23-1 collects the sound field of the sound collection space, and supplies the sound collection signal obtained as a result to the main sound source drive signal generation unit 24.
  • the microphone array 23-2 is composed of a linear microphone array and functions as a secondary sound source linear microphone array. That is, the microphone array 23-2 corresponds to the linear microphone array MCA11-4 shown in FIG.
  • the microphone array 23-2 collects the sound field of the sound collection space, and supplies the sound collection signal obtained as a result to the sub-sound source drive signal generation unit 25.
  • the microphone array 23-1 and the microphone array 23-2 are also simply referred to as the microphone array 23 when it is not necessary to distinguish between them.
  • the main sound source drive signal generation unit 24 Based on the main sound source feature amount supplied from the main sound source learning unit 22, the main sound source drive signal generation unit 24 extracts and extracts the main sound source component from the collected sound signal supplied from the microphone array 23-1. A signal in which the main sound source component is emphasized is generated as a speaker driving signal for the main sound source and supplied to the speaker array 26-1.
  • the processing performed by the main sound source drive signal generation unit 24 corresponds to the main sound source enhancement processing described with reference to FIG.
  • the main sound source drive signal generator 24 includes a transmitter 51 disposed in the sound collection space and a receiver 52 disposed in the reproduction space.
  • the transmitter 51 includes a time frequency analysis unit 61, a spatial frequency analysis unit 62, and a communication unit 63.
  • the time frequency analysis unit 61 performs time frequency conversion on the collected sound signal supplied from the microphone array 23-1, and supplies the time frequency spectrum obtained as a result to the spatial frequency analysis unit 62.
  • the spatial frequency analysis unit 62 performs spatial frequency conversion on the temporal frequency spectrum supplied from the temporal frequency analysis unit 61, and supplies the spatial frequency spectrum obtained as a result to the communication unit 63.
  • the communication unit 63 transmits the spatial frequency spectrum supplied from the spatial frequency analysis unit 62 to the receiver 52 by wire or wireless.
  • the receiver 52 includes a communication unit 64, a spatial frequency synthesis unit 65, a main sound source separation unit 66, a main sound source enhancement unit 67, and a time frequency synthesis unit 68.
  • the communication unit 64 receives the spatial frequency spectrum transmitted from the communication unit 63 and supplies it to the spatial frequency synthesis unit 65.
  • the spatial frequency synthesizer 65 obtains the driving signal of the speaker array 26-1 in the spatial domain from the spatial frequency spectrum supplied from the communication unit 64, and then performs inverse spatial frequency conversion, and the resulting temporal frequency spectrum is obtained. This is supplied to the main sound source separation unit 66.
  • the main sound source separation unit 66 Based on the main sound source feature amount supplied from the communication unit 44, the main sound source separation unit 66 converts the time frequency spectrum supplied from the spatial frequency synthesis unit 65 into a main sound source time frequency spectrum that is a main sound source component and a sub sound source component. To the main sound source emphasizing unit 67.
  • the main sound source emphasizing unit 67 generates a main sound source emphasizing time frequency spectrum in which the main sound source component is emphasized based on the main sound source time frequency spectrum and the sub sound source time frequency spectrum supplied from the main sound source separation unit 66, and the time frequency. This is supplied to the synthesis unit 68.
  • the time frequency synthesizing unit 68 performs time frequency synthesis of the main sound source emphasizing time frequency spectrum supplied from the main sound source emphasizing unit 67, and supplies the speaker drive signal obtained as a result to the speaker array 26-1.
  • the sub-sound source drive signal generation unit 25 extracts and extracts the main sound source component from the collected sound signal supplied from the microphone array 23-2 based on the main sound source feature amount supplied from the main sound source learning unit 22. A signal in which the main sound source component is reduced is generated as a speaker driving signal for the sub sound source and supplied to the speaker array 26-2.
  • the processing performed by the sub sound source drive signal generation unit 25 corresponds to the main sound source reduction processing described with reference to FIG.
  • the sub-sound source driving signal generation unit 25 includes a transmitter 71 arranged in the sound collection space and a receiver 72 arranged in the reproduction space.
  • the transmitter 71 includes a time frequency analysis unit 81, a spatial frequency analysis unit 82, and a communication unit 83.
  • the time frequency analysis unit 81 performs time frequency conversion on the collected sound signal supplied from the microphone array 23-2, and supplies the resulting time frequency spectrum to the spatial frequency analysis unit 82.
  • the spatial frequency analysis unit 82 performs spatial frequency conversion on the temporal frequency spectrum supplied from the temporal frequency analysis unit 81, and supplies the spatial frequency spectrum obtained as a result to the communication unit 83.
  • the communication unit 83 transmits the spatial frequency spectrum supplied from the spatial frequency analysis unit 82 to the receiver 72 by wire or wireless.
  • the receiver 72 includes a communication unit 84, a spatial frequency synthesis unit 85, a main sound source separation unit 86, a main sound source reduction unit 87, and a time frequency synthesis unit 88.
  • the communication unit 84 receives the spatial frequency spectrum transmitted from the communication unit 83 and supplies it to the spatial frequency synthesis unit 85.
  • the spatial frequency synthesizer 85 obtains a driving signal for the speaker array 26-2 in the spatial domain from the spatial frequency spectrum supplied from the communication unit 84, and then performs inverse spatial frequency conversion, and the resulting temporal frequency spectrum is obtained. This is supplied to the main sound source separation unit 86.
  • the main sound source separation unit 86 separates the time frequency spectrum supplied from the spatial frequency synthesis unit 85 into a main sound source time frequency spectrum and a sub sound source time frequency spectrum based on the main sound source feature amount supplied from the communication unit 44. To the main sound source reduction unit 87.
  • the main sound source reduction unit 87 reduces the main sound source component based on the main sound source time frequency spectrum and the sub sound source time frequency spectrum supplied from the main sound source separation unit 86, that is, the main sound source reduction in which the sub sound source component is emphasized.
  • a time frequency spectrum is generated and supplied to the time frequency synthesis unit 88.
  • the time frequency synthesizing unit 88 performs time frequency synthesis of the main sound source reduced time frequency spectrum supplied from the main sound source reducing unit 87, and supplies the speaker drive signal obtained as a result to the speaker array 26-2.
  • the speaker array 26-1 is composed of, for example, a linear speaker array, and corresponds to the linear speaker array SPA11-1 in FIG.
  • the speaker array 26-1 reproduces sound based on the speaker drive signal supplied from the time frequency synthesis unit 68. Thereby, the sound of the main sound source in the sound collection space is reproduced.
  • the speaker array 26-2 is composed of, for example, a linear speaker array, and corresponds to the linear speaker array SPA11-4 in FIG.
  • the speaker array 26-2 reproduces sound based on the speaker drive signal supplied from the time frequency synthesis unit 88. Thereby, the sound of the sub sound source in the sound collection space is reproduced.
  • the speaker array 26-1 and the speaker array 26-2 are also simply referred to as the speaker array 26 when it is not necessary to distinguish between them.
  • time frequency analysis unit 41 First, the time frequency analysis unit 41, the time frequency analysis unit 61, and the time frequency analysis unit 81 will be described. Here, the description will be continued by taking the time frequency analysis unit 61 as an example.
  • the time frequency analysis unit 61 analyzes time frequency information of the collected sound signal s (n mic , t) obtained by each microphone (microphone sensor) constituting the microphone array 23-1.
  • N mic indicates the number of microphones constituting the microphone array 23-1, and t indicates time.
  • the time frequency analysis unit 61 obtains an input frame signal s fr (n mic , n fr , l) obtained by performing time frame division of a fixed size from the collected sound signal s (n mic , t). Then, the time-frequency analysis unit 61 multiplies the input frame signal s fr (n mic , n fr , l) by the window function w T (n fr ) shown in the following equation (1), and the window function application signal s w ( n mic , n fr , l). In other words, the following function (2) is calculated to calculate the window function application signal s w (n mic , n fr , l).
  • n fr indicates a time index
  • the time index n fr 0,..., N fr ⁇ 1.
  • L indicates a time frame index
  • time frame index l 0,..., L ⁇ 1.
  • N fr is the frame size (number of samples in the time frame)
  • L is the total number of frames.
  • the time T fr of one frame is 1.0 [s]
  • the rounding function R () is rounded off.
  • the frame shift amount is set to 50% of the frame size N fr , but other frame amounts may be used.
  • the square root of the Hanning window is used here as the window function, other windows such as a Hamming window and a Blackman Harris window may be used.
  • the time-frequency analysis unit 61 calculates the following functions (3) and (4) to obtain the window function.
  • a time-frequency conversion is performed on the applied signal s w (n mic , n fr , l) to calculate a time-frequency spectrum S (n mic , n T , l).
  • the zero padded signal s w ′ (n mic , m T , l) is obtained by the calculation of the formula (3), and the formula is based on the obtained zero padded signal s w ′ (n mic , m T , l).
  • (4) is calculated, and the time-frequency spectrum S (n mic , n T , l) is calculated.
  • M T represents the number of points used in the time-frequency transform.
  • N T represents a time-frequency spectrum index.
  • i in Formula (4) indicates a pure imaginary number.
  • time-frequency transform is performed by STFT (Short Time Transform Transform) (short-time Fourier transform), but DCT (Discrete Cosine Transform) (discrete cosine transform) or MDCT (Modified Discrete Cosine Transform).
  • STFT Short Time Transform Transform
  • DCT Discrete Cosine Transform
  • MDCT Modified Discrete Cosine Transform
  • time frequency transforms such as (modified discrete cosine transform) may be used.
  • the STFT point number M T is set to a power of 2 that is N fr or more and is closest to N fr , but other point numbers M T may be used.
  • the time frequency analysis unit 61 supplies the time frequency spectrum S (n mic , n T , l) obtained by the processing described above to the spatial frequency analysis unit 62.
  • the time frequency analysis unit 41 also performs the same processing as the time frequency analysis unit 61, calculates a time frequency spectrum from the collected sound signal supplied from the microphone 21, and supplies it to the feature amount extraction unit 42.
  • the time frequency analysis unit 81 also calculates a time frequency spectrum from the collected sound signal supplied from the microphone array 23-2 and supplies the time frequency spectrum to the spatial frequency analysis unit 82.
  • the feature quantity extraction unit 42 extracts the main sound source feature quantity from the time frequency spectrum S (n mic , n T , l) supplied from the time frequency analysis unit 41.
  • the feature quantity extraction unit 42 first calculates the following equation (5) as preprocessing, and converts the time-frequency spectrum S (n mic , n T , l) into a non-negative spectrum V (j, k, l). .
  • conj (S (j, k, l)) represents the complex conjugate of the time-frequency spectrum S (j, k, l), and ⁇ represents the non-negative control value.
  • the non-negative spectrum V (j, k, l) obtained by the calculation of Equation (5) is connected in the time direction to form a non-negative spectrogram V, which is input to the NTF.
  • the non-negative spectrogram V can be separated into P three-dimensional tensors V p ′ (hereinafter also referred to as base spectrograms).
  • p represents a base index indicating a base spectrogram
  • p 0,..., P-1 where P is the base number.
  • the base indicated by the base index p is also referred to as a base p.
  • the P three-dimensional tensors Vp ′ can be expressed by the direct product of three vectors, each is decomposed into three vectors.
  • three new matrices are obtained, that is, a channel matrix Q, a frequency matrix W, and a time matrix H. It can be said that it can be decomposed.
  • the size of the channel matrix Q is J ⁇ P
  • the size of the frequency matrix W is K ⁇ P
  • the size of the time matrix H is L ⁇ P.
  • each element of a three-dimensional tensor or a matrix is shown, it will be described using lowercase letters.
  • each element of the non-negative spectrogram V is represented as v jkl and each element of the channel matrix Q is represented as q jkl .
  • v jkl is also written as [V] jkl .
  • the feature amount extraction unit 42 performs tensor decomposition by minimizing the error tensor E by non-negative tensor decomposition (NTF).
  • NTF non-negative tensor decomposition
  • the channel matrix Q the frequency matrix W, and the time matrix H will be described.
  • the three-dimensional tensor obtained by removing the error tensor E from the non-negative spectrogram V shown by the arrow R11 is decomposed into P basis numbers, and the result is shown by the arrows R12-1 to R12-P.
  • a base spectrogram V 0 ′ to a base spectrogram V P-1 ′ are obtained.
  • the base spectrogram V 0 ′ includes a vector [Q] j, 0 indicated by an arrow R13-1, a vector [H] l, 0 indicated by an arrow R14-1, and a vector [W] k, 0 indicated by an arrow R15-1. Can be expressed as the direct product of the three vectors.
  • the vector [Q] j, 0 is a column vector consisting of J elements with the total number of channels, and each J element of the vector [Q] j, 0 corresponds to each channel (microphone) indicated by the channel index j. It is an ingredient to do.
  • the vector [H] l, 0 is a row vector composed of L elements with the total number of time frames, and each L element of the vector [H] l, 0 is each time frame indicated by the time frame index l. It is a component corresponding to.
  • the vector [W] k, 0 is a column vector composed of K elements, which is the number of frequencies (time frequency), and each K element of the vector [W] k, 0 is indicated by a frequency index k. It is a component corresponding to the frequency.
  • vector [Q] j, 0 , vector [H] l, 0 , and vector [W] k, 0 are the channel direction property, time direction property, and frequency direction property of the base spectrogram V 0 ′, respectively. Represents.
  • the basis spectrogram V 1 ′ includes a vector [Q] j, 1 indicated by an arrow R13-2, a vector [H] l, 1 indicated by an arrow R14-2, and a vector [W] k indicated by an arrow R15-2.
  • 1 can be expressed as the direct product of three vectors.
  • the base spectrogram V P-1 ′ is indicated by a vector [Q] j, P-1 indicated by an arrow R13-P, a vector [H] l, P-1 indicated by an arrow R14-P, and an arrow R15-P. It can be expressed as the direct product of three vectors [W] k, P-1 .
  • a matrix obtained by collecting three vectors corresponding to the three dimensions of the P basis spectrograms V p ′ for each dimension is a channel matrix Q, a frequency matrix W, and a time matrix H.
  • a matrix composed of vectors [H] l, 0 to [H] l, P-1 which are vectors representing the properties in the time direction of each base spectrogram V p ′ is a time matrix H. It is said.
  • a matrix composed of vectors [Q] j, 0 to [Q] j, P-1 which are vectors representing the properties of the respective base spectrograms V p ′ in the channel direction is a channel matrix Q. Is done.
  • each of the base spectrograms V p ′ separated into P pieces is learned so that each represents a unique property in the sound source.
  • all elements are constrained to non-negative values, so only additive combinations of the base spectrogram V p ′ are allowed.
  • the combination pattern is reduced and it is easy to be separated due to the inherent properties of the sound source. . Therefore, by selecting a base index p in an arbitrary range, it is possible to extract each point sound source and perform acoustic processing.
  • channel matrix Q the properties of the channel matrix Q, frequency matrix W, and time matrix H will be further described.
  • the channel matrix Q represents the property of the non-negative spectrogram V in the channel direction. That is, the channel matrix Q is considered to indicate the contribution of each of the P base spectrograms V p ′ to a total of J channels j.
  • the frequency matrix W represents the property of the non-negative spectrogram V in the frequency direction. More specifically, the frequency matrix W represents the contribution of each of the total P base spectrograms V p ′ to the K frequency bins, that is, the frequency characteristics of each base spectrogram V p ′.
  • the time matrix H represents the property of the non-negative spectrogram V in the time direction. More specifically, the time matrix H represents the degree of contribution of each of the P base spectrograms V p ′ to a total of L time frames, that is, the time characteristics of each base spectrogram V p ′.
  • the cost function C is calculated by the following equation (6) as a channel matrix Q, a frequency matrix W, and a time matrix H. , An optimized channel matrix Q, frequency matrix W, and time matrix H are obtained.
  • v jkl represents an element of the non-negative spectrogram V
  • v jkl ′ is a predicted value of the element v jkl .
  • This element v jkl ′ is obtained by the following equation (7).
  • q jp is an element specified by the channel index j and the base index p, that is, the matrix element [Q] j, p constituting the channel matrix Q.
  • w kp is a matrix element [W] k, p
  • h lp is a matrix element [H] l, p .
  • the spectrogram composed of the element v jkl ′ calculated by the equation (7) becomes an approximate spectrogram V ′ that is a predicted value of the non-negative spectrogram V.
  • the approximate spectrogram V ′ is an approximate value of the non-negative spectrogram V obtained from the P basis spectrograms V p ′.
  • Equation (6) ⁇ divergence d ⁇ is used as an index for measuring the distance between the non-negative spectrogram V and the approximate spectrogram V ′.
  • This ⁇ divergence is expressed by, for example, the following equation (8) ).
  • V ′) is as shown in the following Expression (11). Further, partial differentiations of ⁇ divergence D 0 (V
  • Equation (15) [ ⁇ ⁇ D 0 (V
  • the feature quantity extraction unit 42 minimizes the cost function C of Expression (6) while updating the channel matrix Q, the frequency matrix W, and the time matrix H by Expressions (16) to (18). An optimized channel matrix Q, frequency matrix W, and time matrix H are obtained. Then, the feature amount extraction unit 42 supplies the obtained frequency matrix W to the communication unit 43 as a main sound source feature amount representing a feature related to the frequency of the main sound source.
  • the frequency matrix W as the main sound source feature amount is particularly referred to as a main sound source frequency matrix W S.
  • the spatial frequency analysis unit 62 and the spatial frequency analysis unit 82 will be described.
  • the spatial frequency analysis unit 62 will be mainly described.
  • the spatial frequency analysis unit 62 performs spatial frequency conversion on the temporal frequency spectrum S (n mic , n T , l) supplied from the temporal frequency analysis unit 61 by calculating the following equation (20), and space
  • the frequency spectrum S SP (n S , n T , l) is calculated.
  • S ′ (m S , n T , l) indicates a zero-padded signal obtained by performing zero padding on the time-frequency spectrum S (n mic , n T , l), and i is a pure imaginary number. Is shown. Further, n S represents a spatial frequency spectrum index.
  • the spatial sampling frequency of the signal obtained by the microphone array 23-1 is f s S [Hz]. This spatial sampling frequency f s S [Hz] is determined by the interval between the microphones constituting the microphone array 23-1.
  • the number of points M S is determined based on, for example, the spatial sampling frequency f s S [Hz].
  • the zero-padded signal S ′ (m S , n T , l) the time frequency spectrum S (n mic , n T , l)
  • the zero padded signal S ′ (m S , n T , l) 0.
  • the spatial frequency spectrum S SP (n S , n T , l) obtained by the processing described above shows the waveform of the signal of the temporal frequency n T included in the time frame l in space. Is shown.
  • the spatial frequency analysis unit 62 supplies the spatial frequency spectrum S SP (n S , n T , l) to the communication unit 63.
  • the spatial frequency analysis unit 82 also performs the same processing as the spatial frequency analysis unit 62, calculates a spatial frequency spectrum based on the temporal frequency spectrum supplied from the temporal frequency analysis unit 81, and supplies the spatial frequency spectrum to the communication unit 83. .
  • the spatial frequency synthesis unit 65 is based on the spatial frequency spectrum S SP (n S , n T , l) supplied from the spatial frequency analysis unit 62 via the communication unit 64 and the communication unit 63, and the following formula ( 21) is calculated, and a drive signal D SP (m S , n T , l) in the spatial domain for reproducing the sound field (wavefront) by the speaker array 26-1 is obtained. That is, the drive signal D SP (m S , n T , l) is calculated by SDM (Spectral Division Method).
  • y ref indicates the SDM reference distance
  • the reference distance y ref is the position where the wavefront is accurately reproduced.
  • This reference distance y ref is a distance in a direction perpendicular to the direction in which the microphones of the microphone array 23-1 are arranged.
  • the reference distance y ref 1 [m] is used here, but other values may be used.
  • H 0 (2) represents a Hankel function
  • i represents a pure imaginary number
  • m S represents a spatial frequency spectrum index
  • c represents the speed of sound and ⁇ represents the time angular frequency.
  • the method of calculating the drive signal D SP (m S , n T , l) by SDM has been described as an example, but the drive signal may be calculated by other methods.
  • the SDM especially "Jens Adrens, Sascha Spors," Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers ", in 2 nd International Symposium on Ambisonics and Spherical Acoustics " has been described in detail.
  • the spatial frequency synthesis unit 65 performs inverse spatial frequency conversion on the drive signal D SP (m S , n T , l) in the spatial domain by calculating the following equation (23), and the temporal frequency spectrum D (n spk , n T , l).
  • DFT Discrete Fourier Transform
  • DFT discrete Fourier transform
  • n spk indicates a speaker index that identifies the speakers constituting the speaker array 26-1.
  • M S indicates the number of points of DFT, i denotes the pure imaginary number.
  • the drive signal D SP (m S , n T , l), which is a spatial frequency spectrum, is converted into a time frequency spectrum, and at the same time, the drive signal is resampled.
  • the spatial frequency synthesizer 65 reproduces the sound field of the sound collection space by resampling (inverse spatial frequency conversion) the drive signal at a spatial sampling frequency corresponding to the speaker interval of the speaker array 26-1. A drive signal of the speaker array 26-1 that can be obtained is obtained.
  • the spatial frequency synthesis unit 65 supplies the temporal frequency spectrum D (n spk , n T , l) obtained in this way to the main sound source separation unit 66.
  • the spatial frequency synthesizer 85 also performs the same processing as the spatial frequency synthesizer 65 to calculate a time frequency spectrum that is a drive signal for the speaker array 26-2, and supplies it to the main sound source separator 86.
  • the main sound source separation unit 66 In the main sound source separation unit 66, the main sound source frequency matrix W S as the main sound source feature amount supplied from the feature amount extraction unit 42 via the communication unit 44 and the communication unit 43 is used and supplied from the spatial frequency synthesis unit 65.
  • the main sound source signal is extracted from the time frequency spectrum D (n spk , n T , l) thus obtained.
  • NTF is used to extract the main sound source signal (main sound source component).
  • the main sound source separation unit 66 performs the calculation of the following equation (24) and converts the time-frequency spectrum D (n spk , n T , l) into a non-negative spectrum V SP (j, k, l).
  • the speaker index n spk of the time frequency spectrum D (n spk , n T , l) is replaced with the channel index j, and the time frequency spectrum index n T is replaced with the frequency index k.
  • conj (D (j, k, l)) indicates a complex conjugate of the time-frequency spectrum D (j, k, l), and ⁇ indicates a non-negative control value.
  • the non-negative spectrum V SP (j, k, l) obtained by the calculation of the equation (24) is connected in the time direction to be a non-negative spectrogram V SP and is input to the NTF.
  • the main sound source separation unit 66 uses the update equations shown in the following equations (25) to (27) to calculate the channel matrix Q, the frequency matrix W, and the time matrix H for the non-negative spectrogram V SP thus obtained.
  • the optimized channel matrix Q, frequency matrix W, and time matrix H are obtained by minimizing the cost function while updating.
  • the main sound source frequency matrix W S is included in a part of the frequency matrix W, and in the update of the frequency matrix W shown in Expression (26), the main sound source frequency matrix W S. Only elements other than are updated. That is, when updating the frequency matrix W, the update of part of the main sound source frequency matrix W S included as an element in the frequency matrix W is not carried out.
  • the main sound source separation unit 66 uses the matrix corresponding to the elements corresponding to the main sound source and the elements corresponding to the sub sound source. To extract the collected sound into a main sound source component and a sub sound source component.
  • the main sound source separation unit 66 sets elements other than the main sound source frequency matrix W S of the optimized frequency matrix W as the sub sound source frequency matrix W N.
  • the main sound source separation unit 66 extracts an element corresponding to the main sound source frequency matrix W S from the optimized channel matrix Q as the main sound source channel matrix Q S , and the main sound source channel of the optimized channel matrix Q Elements other than the matrix Q S are set as the sub-source channel matrix Q N.
  • the sub sound source channel matrix Q N is a component of the sub sound source.
  • the main sound source separation unit 66 extracts an element corresponding to the main sound source frequency matrix W S from the optimized time matrix H as the main sound source time matrix H S , and the main sound source time of the optimized time matrix H. Elements other than the matrix H S are set as the sub-sound source time matrix H N.
  • the sub sound source time matrix H N is a component of the sub sound source.
  • the elements corresponding to the main sound source frequency matrix W S of the channel matrix Q and the time matrix H are the bases including the elements of the main sound source frequency matrix W S in the base spectrogram V p ′ shown in the example of FIG. It is an element of spectrogram V p '.
  • the main sound source separation unit 66 further extracts a main sound source from the matrix group obtained by the above processing using a Wiener filter.
  • the main sound source separation unit 66 performs the calculation of the following equation (28), so that the main sound source channel matrix Q S , the main sound source frequency matrix W S , and the main sound source time matrix H S are based on the main elements.
  • Each element of the base spectrogram V S 'of the sound source is obtained.
  • the main sound source separation unit 66 performs the calculation of the following equation (29), and based on the elements of the sub sound source channel matrix Q N , the sub sound source frequency matrix W N , and the sub sound source time matrix H N , Each element of the base spectrogram V N ′ of the secondary sound source is obtained.
  • the main sound source separation unit 66 calculates the following expressions (30) and (31) based on the obtained base spectrogram V S ′ of the main sound source and the base spectrogram V N ′ of the sub sound source, and the main sound source time
  • the frequency spectrum D S (n spk , n T , l) and the sub-source time frequency spectrum D N (n spk , n T , l) are calculated.
  • the symbol “ ⁇ ” represents multiplication for each element, and division is calculated for each element.
  • Equation (31) only the sub-sound source component of the time-frequency spectrum D (j, k, l) is extracted and used as the sub-sound source time-frequency spectrum D N (j, k, l). Then, the channel index j and the frequency index k of the secondary sound source time frequency spectrum D N (j, k, l) are replaced with the original speaker index n spk and the time frequency spectrum index n T to obtain the sub sound source time frequency spectrum D N. (n spk , n T , l).
  • the main sound source separation unit 66 uses the main sound source time frequency spectrum D S (n spk , n T , l) and the sub sound source time frequency spectrum D N (n spk , n T , l) obtained by the above calculation as a main. This is supplied to the sound source enhancement unit 67.
  • the main sound source separation unit 86 also performs the same processing as the main sound source separation unit 66, and the main sound source time frequency spectrum D S (n spk , n T , l) and the sub sound source time frequency spectrum D N obtained as a result. (n spk , n T , l) is supplied to the main sound source reduction unit 87.
  • the main sound source enhancement unit 67 uses the main sound source time frequency spectrum D S (n spk , n T , l) and the sub sound source time frequency spectrum D N (n spk , n T , l) supplied from the main sound source separation unit 66.
  • the main sound source emphasis time frequency spectrum D ES (n spk , n T , l) is generated.
  • the main sound source emphasizing unit 67 calculates the following equation (32), so that the main sound source time frequency spectrum D S (n spk , n) of the time frequency spectrum D (n spk , n T , l) is calculated .
  • a main sound source enhancement time frequency spectrum D ES (n spk , n T , l) in which the component of T , l) is emphasized is calculated.
  • ⁇ represents a weighting factor indicating the degree of emphasizing the main sound source time frequency spectrum D S (n spk , n T , l), and the weighting factor ⁇ is a factor larger than 1.0. Therefore, in the equation (32), the main sound source time frequency spectrum is weighted by the weighting factor ⁇ and added to the sub sound source time frequency spectrum to obtain the main sound source emphasis time frequency spectrum. That is, weighted addition is performed.
  • the main sound source enhancement unit 67 supplies the main sound source enhancement time frequency spectrum D ES (n spk , n T , l) obtained by the calculation of Expression (32) to the time frequency synthesis unit 68.
  • the main sound source reduction unit 87 uses the main sound source time frequency spectrum D S (n spk , n T , l) and the sub sound source time frequency spectrum D N (n spk , n T , l) supplied from the main sound source separation unit 86.
  • the main sound source reduced time frequency spectrum D EN (n spk , n T , l) is generated.
  • the main sound source reduction unit 87 calculates the following equation (33), so that the sub sound source time frequency spectrum D N (n spk , n) of the time frequency spectrum D (n spk , n T , l) is calculated .
  • the main sound source reduced time frequency spectrum D EN (n spk , n T , l) in which the component of T , l) is emphasized is calculated.
  • ⁇ represents a weighting coefficient indicating the degree of emphasizing the sub-sound source time frequency spectrum D N (n spk , n T , l), and the weighting coefficient ⁇ is a coefficient larger than 1.0.
  • the weighting factor ⁇ in Expression (33) may be the same value as or different from the weighting coefficient ⁇ in Expression (32).
  • Equation (33) the sub-sound source time frequency spectrum is weighted by the weighting factor ⁇ and added to the main sound source time frequency spectrum to obtain a main sound source reduced time frequency spectrum. That is, weighting addition is performed and the sub-sound source time frequency spectrum is emphasized, so that the main sound source time frequency spectrum is relatively reduced.
  • the main sound source reduction unit 87 supplies the main sound source reduced time frequency spectrum D EN (n spk , n T , l) obtained by the calculation of Expression (33) to the time frequency synthesis unit 88.
  • the time-frequency synthesis unit 68 performs time-frequency synthesis of the main sound source emphasizing time frequency spectrum D ES (n spk , n T , l) supplied from the main sound source emphasizing unit 67 by calculating the following equation (34). To obtain an output frame signal d fr (n spk , n fr , l).
  • ISTFT Inverse Short Time Fourier Transform
  • ISTFT Inverse Short Time Fourier Transform
  • i a pure imaginary number
  • n fr a time index.
  • M T denotes the number of points ISTFT
  • n spk indicates the speaker index.
  • the time-frequency synthesis unit 68 multiplies the obtained output frame signal d fr (n spk , n fr , l) by the window function w T (n fr ), and performs frame addition by performing overlap addition.
  • frame synthesis is performed by calculation of the following equation (36), and an output signal d (n spk , t) is obtained.
  • the same window function used in the time-frequency analysis unit 61 is used as the window function w T (n fr ) for multiplying the output frame signal d fr (n spk , n fr , l).
  • a rectangular window may be used.
  • d prev (n spk , n fr + lN fr ) and d curr (n spk , n fr + lN fr ) both indicate the output signal d (n spk , t).
  • d prev (n spk , n fr + lN fr ) indicates a value before update
  • d curr (n spk , n fr + lN fr ) indicates a value after update.
  • the time-frequency synthesizer 68 supplies the output signal d (n spk , t) thus obtained to the speaker array 26-1 as a speaker drive signal.
  • the time frequency synthesizer 88 also performs the same processing as the time frequency synthesizer 68 and based on the main sound source reduced time frequency spectrum D EN (n spk , n T , l) supplied from the main sound source reducer 87. Then, a speaker drive signal is generated and supplied to the speaker array 26-2.
  • step S11 the microphone 21 collects the sound of the main sound source, that is, the sound for learning the main sound source in the sound collection space, and supplies the sound collection signal obtained as a result to the time frequency analysis unit 41.
  • step S12 the microphone array 23-1 picks up the sound of the main sound source in the sound collection space, and supplies the sound collection signal obtained as a result to the time frequency analysis unit 61.
  • step S13 the microphone array 23-2 collects the sound of the sub sound source in the sound collection space, and supplies the sound collection signal obtained as a result to the time frequency analysis unit 81.
  • step S11 to step S13 is performed simultaneously.
  • step S14 the time frequency analysis unit 41 analyzes the time frequency information of the collected sound signal supplied from the microphone 21, that is, the time frequency information of the main sound source.
  • the time-frequency analysis unit 41 performs time frame division on the collected sound signal, multiplies the input frame signal obtained as a result by a window function, and calculates a window function application signal.
  • the time frequency analysis unit 41 performs time frequency conversion on the window function application signal, and supplies the resulting time frequency spectrum to the feature amount extraction unit 42. That is, the calculation of Expression (4) is performed to calculate the time-frequency spectrum S (n mic , n T , l).
  • step S15 the feature amount extraction unit 42 extracts the main sound source feature amount based on the time frequency spectrum supplied from the time frequency analysis unit 41.
  • the feature quantity extraction unit 42 calculates the equation (5) and calculates the equations (16) to (18) to optimize the channel matrix Q, the frequency matrix W, and the time matrix H, and obtain them by optimization.
  • the obtained main sound source frequency matrix W S is supplied to the communication unit 43 as the main sound source feature amount.
  • step S16 the communication unit 43 transmits the main sound source feature amount supplied from the feature amount extraction unit.
  • step S17 the time-frequency analysis unit 61 analyzes time-frequency information of the collected sound signal supplied from the microphone array 23-1, that is, time-frequency information of the main sound source, and spatial frequency analysis is performed on the resulting time-frequency spectrum. To the unit 62. In step S17, processing similar to that in step S14 is performed.
  • step S ⁇ b> 18 the spatial frequency analysis unit 62 performs spatial frequency conversion on the temporal frequency spectrum supplied from the temporal frequency analysis unit 61 and supplies the spatial frequency spectrum obtained as a result to the communication unit 63. That is, in step S18, the calculation of Expression (20) is performed.
  • step S19 the communication unit 63 transmits the spatial frequency spectrum supplied from the spatial frequency analysis unit 62.
  • step S20 the time frequency analysis unit 81 analyzes the time frequency information of the collected sound signal supplied from the microphone array 23-2, that is, the time frequency information of the sub sound source, and the resulting time frequency spectrum is subjected to a spatial frequency analysis. To the unit 82. In step S20, the same process as in step S14 is performed.
  • step S21 the spatial frequency analysis unit 82 performs spatial frequency conversion on the time frequency spectrum supplied from the time frequency analysis unit 81, and supplies the resulting spatial frequency spectrum to the communication unit 83. That is, in step S21, the calculation of Expression (20) is performed.
  • step S22 the communication unit 83 transmits the spatial frequency spectrum supplied from the spatial frequency analysis unit 82.
  • step S23 the communication unit 44 receives the main sound source feature amount transmitted from the communication unit 43 and supplies it to the main sound source separation unit 66 and the main sound source separation unit 86.
  • step S24 the communication unit 64 receives the spatial frequency spectrum of the main sound source transmitted from the communication unit 63 and supplies the spatial frequency spectrum to the spatial frequency synthesis unit 65.
  • step S25 the spatial frequency synthesizer 65 obtains a spatial domain drive signal based on the spatial frequency spectrum supplied from the communication unit 64, and performs inverse spatial frequency conversion on the drive signal.
  • the obtained time frequency spectrum is supplied to the main sound source separation unit 66.
  • the spatial frequency synthesizing unit 65 calculates the above-described equation (21) to obtain a spatial domain drive signal, and further calculates the equation (23) to obtain the time-frequency spectrum D (n spk , n T , l). calculate.
  • step S26 the main sound source separation unit 66 separates the time frequency spectrum supplied from the spatial frequency synthesis unit 65 into the main sound source component and the sub sound source component based on the main sound source feature amount supplied from the communication unit 44. To the main sound source emphasizing unit 67.
  • the main sound source separation unit 66 performs the calculations of Expressions (24) to (31) to obtain the main sound source time frequency spectrum D S (n spk , n T , l) and the sub sound source time frequency spectrum D N (n spk , n T , l) is calculated and supplied to the main sound source enhancement unit 67.
  • step S27 the main sound source emphasizing unit 67 emphasizes the main sound source component by calculating Expression (32) based on the main sound source time frequency spectrum and the sub sound source time frequency spectrum supplied from the main sound source separation unit 66, The main sound source emphasizing time frequency spectrum obtained as a result is supplied to the time frequency synthesis unit 68.
  • step S28 the time-frequency synthesis unit 68 performs time-frequency synthesis of the main sound source enhancement time frequency spectrum supplied from the main sound source enhancement unit 67.
  • the time frequency synthesis unit 68 calculates the output frame signal from the main sound source emphasizing time frequency spectrum by performing the calculation of Expression (34). Further, the time-frequency synthesizer 68 multiplies the output frame signal by the window function to calculate Equation (36), and calculates the output signal by frame synthesis. The time-frequency synthesizer 68 supplies the output signal thus obtained to the speaker array 26-1 as a speaker drive signal.
  • step S29 the communication unit 84 receives the spatial frequency spectrum of the sub sound source transmitted from the communication unit 83 and supplies the spatial frequency spectrum to the spatial frequency synthesis unit 85.
  • step S30 the spatial frequency synthesizer 85 obtains a spatial domain drive signal based on the spatial frequency spectrum supplied from the communication unit 84, performs inverse spatial frequency conversion on the drive signal, and obtains the result.
  • the obtained time-frequency spectrum is supplied to the main sound source separation unit 86. That is, in step S30, processing similar to that in step S25 is performed.
  • step S31 the main sound source separation unit 86 separates the time frequency spectrum supplied from the spatial frequency synthesis unit 85 into a main sound source component and a sub sound source component based on the main sound source feature amount supplied from the communication unit 44. To the main sound source reduction unit 87. In step S31, the same process as step S26 is performed.
  • step S32 the main sound source reduction unit 87 reduces the main sound source component by calculating Expression (33) based on the main sound source time frequency spectrum and the sub sound source time frequency spectrum supplied from the main sound source separation unit 86, The main sound source reduced time frequency spectrum obtained as a result is supplied to the time frequency synthesis unit 88.
  • step S33 the time frequency synthesizer 88 performs time frequency synthesis of the main sound source reduced time frequency spectrum supplied from the main sound source reducing unit 87, and uses the output signal obtained as a result as a speaker drive signal for the speaker array 26-. 2 is supplied.
  • step S33 processing similar to that in step S28 is performed.
  • step S34 the speaker array 26 reproduces sound.
  • the speaker array 26-1 reproduces sound based on the speaker drive signal supplied from the time frequency synthesis unit 68. As a result, the sound of the main sound source is output from the speaker array 26-1.
  • the speaker array 26-2 reproduces sound based on the speaker drive signal supplied from the time frequency synthesis unit 88. As a result, the sound of the secondary sound source is output from the speaker array 26-2.
  • the main sound source emphasized sound field reproducer 11 separates the time frequency spectrum obtained by sound collection into the main sound source component and the sub sound source component using the main sound source feature amount.
  • the main sound source-enhanced sound field reproducer 11 emphasizes the main sound source component of the time frequency spectrum obtained mainly by collecting the sound of the main sound source to generate a speaker drive signal, and mainly the sound of the sub sound source.
  • the loudspeaker drive signal is generated by reducing the main sound source component of the time-frequency spectrum obtained by collecting the sound.
  • the sound in an arbitrary sound collection space can be more accurately and easily processed.
  • the field can be reproduced.
  • ⁇ Variation 1 of the first embodiment> ⁇ Configuration example of main sound source enhanced sound field reproduction device>
  • a microphone array may be used.
  • the main sound source-enhanced sound field reproducer is configured as shown in FIG. 6, for example.
  • FIG. 6 portions corresponding to those in FIG. 3 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the main sound source enhanced sound field reproducer 141 shown in FIG. 6 includes a microphone 21, a main sound source learning unit 22, a microphone array 23-1 to a microphone array 23-4, a main sound source drive signal generation unit 24, and a main sound source drive signal generation. Section 151, sub-sound source drive signal generation unit 25, sub-sound source drive signal generation unit 152, and speaker arrays 26-1 to 26-4.
  • four microphone arrays 23-1 to 23-4 are arranged in a square shape in the sound collection space.
  • the two microphone arrays 23-1 and 23-3 are used as the main sound source linear microphone array, and the remaining two microphone arrays 23-2 and 23-4 are used as the sub sound source linear microphone array.
  • speaker arrays 26-1 to 26-4 corresponding to the microphone arrays 23-1 to 23-4 are arranged in a square shape.
  • the main sound source drive signal generation unit 24 uses the main sound source feature amount supplied from the main sound source learning unit 22 and the main sound source feature signal from the collected sound signal supplied from the microphone array 23-1. Then, a speaker drive signal for reproducing the sound of the main sound source is generated and supplied to the speaker array 26-1.
  • the main sound source drive signal generator 151 has the same configuration as the main sound source drive signal generator 24 shown in FIG.
  • the main sound source drive signal generation unit 151 mainly reproduces the sound of the main sound source from the collected sound signal supplied from the microphone array 23-3, using the main sound source feature amount supplied from the main sound source learning unit 22. Speaker drive signal is generated and supplied to the speaker array 26-3. Therefore, in the speaker array 26-3, the sound of the main sound source is reproduced based on the speaker drive signal.
  • the sub-sound source driving signal generation unit 25 uses the main sound source feature amount supplied from the main sound source learning unit 22 from the collected sound signal supplied from the microphone array 23-2, as in FIG. Then, a speaker drive signal mainly for reproducing the sound of the sub sound source is generated and supplied to the speaker array 26-2.
  • the sub sound source drive signal generation unit 152 has the same configuration as the sub sound source drive signal generation unit 25 shown in FIG.
  • the sub sound source drive signal generation unit 152 mainly reproduces the sound of the sub sound source from the collected sound signal supplied from the microphone array 23-4, using the main sound source feature amount supplied from the main sound source learning unit 22. Speaker drive signal is generated and supplied to the speaker array 26-4. Therefore, in the speaker array 26-4, the sound of the secondary sound source is reproduced based on the speaker drive signal.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 7 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in, for example, a removable medium 511 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in advance in the ROM 502 or the recording unit 508.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • the apparatus Based on the feature amount extracted from the signal obtained by collecting the sound of the main sound source by the sound collecting unit, the first sound obtained by collecting the sound by the first microphone array located in front of the main sound source.
  • a sound field reproduction device having an emphasis unit that emphasizes the main sound source component of the collected sound signal.
  • the apparatus further comprising: a reduction unit that reduces a main sound source component of a second collected sound signal obtained by collecting sound by a second microphone array positioned in front of the sub sound source based on the feature amount. Sound field reproduction device.
  • the enhancement unit separates the first collected sound signal into a main sound source component and a sub sound source component based on the feature amount, and emphasizes the separated main sound source component. Sound field reproduction according to (2) apparatus.
  • the reduction unit separates the second collected sound signal into a main sound source component and a sub sound source component based on the feature amount, and emphasizes the separated sub sound source component, thereby The sound field reproduction device according to (3), wherein the main sound source component of the signal is reduced.
  • the sound field reproduction device is provided with each of a plurality of the emphasizing units corresponding to each of the plurality of first microphone arrays.
  • Reproduction device. The first microphone array is disposed on a straight line connecting a space surrounded by the first microphone array and the second microphone array and the main sound source.
  • (2) to (6) The sound field reproduction device according to one item.
  • a sound field reproduction method including the step of emphasizing the main sound source component of the collected sound signal.
  • a program for causing a computer to execute a process including a step of emphasizing a main sound source component of a collected sound signal.
  • Main sound source enhanced sound field reproducer 42 feature quantity extraction unit, 66 main sound source separation unit, 67 main sound source enhancement unit, 86 main sound source separation unit, 87 main sound source reduction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

　本技術は、任意の音場をより正確に再現することができるようにする音場再現装置および方法、並びにプログラムに関する。 特徴量抽出部は、主音源の音声を収音して得られた収音信号から主音源特徴量を抽出する。主音源分離部は、主に主音源の音声を収音するマイクアレイによる収音によって得られた収音信号を、主音源特徴量を用いて主音源成分と副音源成分とに分離させ、主音源強調部は分離された主音源成分と副音源成分とに基づいて、主音源成分が強調された信号を生成する。このようにして生成された信号からスピーカアレイの駆動信号が生成され、スピーカアレイに供給される。本技術は音場再現器に適用することができる。

Description

音場再現装置および方法、並びにプログラム
　本技術は音場再現装置および方法、並びにプログラムに関し、特に、任意の音場をより正確に再現することができるようにした音場再現装置および方法、並びにプログラムに関する。
　従来、音場における音声の波面を複数個のマイクロフォンで収音し、得られた収音信号に基づいて音場を再現する波面合成技術が知られている。
　例えばキルヒホッフヘルムホルツの法則により、閉空間内の音場を正確に再現したい場合、閉空間の境界面における音圧、および閉空間内の音圧勾配を全ての座標で記録し、それぞれダイポール特性およびモノポール特性を持つ発音体を用いて対応する座標にて音声を再生すれば音場の再現が可能となる。
　実環境ではマイクロフォンやスピーカを用いて音場の記録および再生を行うが、物理的な制約から音圧用のマイクロフォンとモノポールスピーカを一対のみ用いることが一般的である。この場合、音圧勾配の欠如により再生音場に実音場との誤差が生じる。
　このような誤差が生じる代表例として、閉空間の外側の音源より到来する信号と、閉空間の外側の別の音源から閉空間内部を通過して、閉空間の内側より到来する信号とが混合されて記録されてしまう場合があげられる。この例では、再生時には期待しない位置から二つの音源が聞こえてしまうことになる。つまり、音場を聴取するユーザが感じる音源位置は、本来あるべき音源位置とは異なる位置となってしまう。
　この現象は、本来は閉空間に対応する受聴エリアにて物理的にキャンセルアウトされていた信号が、音圧勾配を取得しないことによって残ってしまったことに起因する。
　そこで、例えば剛体の表面にマイクロフォンを配置して音圧勾配をゼロにすることで、上述の現象が生じてしまうことを解決する技術が提案されている（例えば、非特許文献１参照）。
　また、閉空間の境界面を平面または直線に制限することで、境界面の内側から到来する信号の影響を排除し、上述した現象が生じないようにする技術も提案されている（例えば、非特許文献２参照）。
Zhiyun Li, Ramani Duraiswami, Nail A. Gumerov, "Capture and Recreation of Higher Order 3D Sound Fields via Reciprocity", in Proceedings of ICAD 04-Tenth Meeting of the International Conference on Auditory Display, Sydney, Australia, July 6-9, 2004. Shoichi Koyama et al.,"Design of Transform Filter for Sound Field Reproduction using Micorphone Array and Loudspeaker Array", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2011
　しかしながら、上述した技術では、任意の音場を正確に再現することは困難であった。
　例えば非特許文献１に記載の技術では、収音したい音場の範囲と剛体の体積が比例するため、広範囲の音場の記録には不向きである。
　また、非特許文献２に記載の技術では、音場の収音に用いるマイクアレイの設置が壁際など音の周り込みが少ない場所に制限されてしまう。
　本技術は、このような状況に鑑みてなされたものであり、任意の音場をより正確に再現することができるようにするものである。
　本技術の一側面の音場再現装置は、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部を備える。
　音場再現装置には、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部をさらに設けることができる。
　前記強調部には、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調させることができる。
　前記低減部には、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させることができる。
　前記強調部には、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させることができる。
　前記低減部には、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させることができる。
　前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれを設けることができる。
　前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれを設けることができる。
　前記第１のマイクアレイを、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置することができる。
　前記収音部を、前記主音源の近傍に配置することができる。
　本技術の一側面の音場再現方法またはプログラムは、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調するステップを含む。
　本技術の一側面においては、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分が強調される。
　本技術の一側面によれば、任意の音場をより正確に再現することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術について説明する図である。 主音源直線マイクアレイと副音源直線マイクアレイについて説明する図である。 主音源強調音場再現器の構成例を示す図である。 テンソル分解について説明する図である。 音場再現処理を説明するフローチャートである。 主音源強調音場再現器の他の構成例を示す図である。 コンピュータの構成例を示す図である。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術について〉
　本技術は、実空間（収音空間）において直線上に並べられた複数のマイクロフォンからなる直線マイクアレイを複数用いて音場を記録し、その結果得られた収音信号に基づいて、直線上に配置された複数のスピーカからなる直線スピーカアレイを複数用いて音場を再現するものである。このとき、音場を再現する再現空間（受聴エリア）と収音空間が同等の音場となるように収音信号に基づく音声の再生が行われる。
　以下では、主に収音したい対象となる音源を主音源と呼び、その他の音源を副音源と呼ぶこととする。但し、主音源は複数あってもよい。
　本技術による収音空間での収音には、例えば図１に示すように三種類の収音部が用いられる。
　図１に示す例は、直線マイクアレイと直線スピーカアレイを四方に正方形となるよう配置することで、直線マイクアレイで囲まれた閉空間の外側に存在する音源から生成される音場を、直線スピーカアレイで囲まれた閉空間の内側（受聴エリア）で再現するシステムとなっている。
　具体的には図１中、左側に示すように収音空間には、主な収音対象となる音声の音源である主音源ＭＡ１１と、主な収音対象ではない音声の音源である副音源ＳＡ１１がある。
　そして、これらの主音源ＭＡ１１および副音源ＳＡ１１からの音声が、マイクロフォンＭＭＣ１１、および直線マイクアレイＭＣＡ１１－１乃至直線マイクアレイＭＣＡ１１－４が用いられて収音される。このとき、副音源からの音声は、主音源からの音声とは異なる方向から各直線マイクアレイに到来する。
　マイクロフォンＭＭＣ１１は、主音源ＭＡ１１に近接した位置に配置された単一若しくは複数のマイクロフォン、またはマイクアレイからなり、主音源ＭＡ１１からの音声を収音する。マイクロフォンＭＭＣ１１は、収音空間に配置された収音部のうちで最も主音源ＭＡ１１に近い位置に配置されている。
　特に、マイクロフォンＭＭＣ１１は、音場を収音したときに副音源ＳＡ１１からの音声が無視できるほど十分に大きな音量で主音源ＭＡ１１からの音声が収音されるように、主音源ＭＡ１１近傍に配置されている。
　なお、以下では、マイクロフォンＭＭＣ１１は単一のマイクロフォンから構成されるものとして説明続ける。
　また、収音空間では直線マイクアレイＭＣＡ１１－１乃至直線マイクアレイＭＣＡ１１－４が、四方に正方形となるように配置されており、これらの直線マイクアレイＭＣＡ１１－１乃至直線マイクアレイＭＣＡ１１－４により囲まれる正方形の領域ＡＲ１１が、図中、右側に示される再現空間における受聴エリアＨＡ１１に対応する領域となる。受聴エリアＨＡ１１は、受聴者が再現される音場を聴取する領域である。
　この例では、直線マイクアレイＭＣＡ１１－１が主音源ＭＡ１１の正面（前方）に配置され、直線マイクアレイＭＣＡ１１－４が副音源ＳＡ１１の正面（前方）に配置されている。なお、以下、直線マイクアレイＭＣＡ１１－１乃至直線マイクアレイＭＣＡ１１－４を特に区別する必要のない場合、単に直線マイクアレイＭＣＡ１１とも称することとする。
　収音空間では、これらの直線マイクアレイＭＣＡ１１のうちのいくつかが、主に主音源ＭＡ１１からの音声が収音される主音源直線マイクアレイとされ、他の直線マイクアレイが、主に副音源ＳＡ１１からの音声が収音される副音源直線マイクアレイとされる。
　主音源直線マイクアレイと副音源直線マイクアレイは、具体的には例えば図２に示すように定められる。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。但し、図２では、説明のため各直線マイクアレイＭＣＡ１１に対する主音源ＭＡ１１の位置が図１における場合とは異なる位置に配置されている。
　図２の例では、主音源ＭＡ１１と、受聴エリアＨＡ１１に対応する領域ＡＲ１１との間にある直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。つまり、主音源ＭＡ１１と領域ＡＲ１１上の任意の位置とを結ぶ直線上に配置された直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。
　また、直線マイクアレイＭＣＡ１１のうち、主音源直線マイクアレイではない直線マイクアレイＭＣＡ１１が、副音源直線マイクアレイとされる。
　換言すれば、主音源ＭＡ１１を光源と見立てた場合に、主音源ＭＡ１１から発せられた光によって照らされる直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。
　また、主音源直線マイクアレイの陰となり、主音源ＭＡ１１から発せられた光によって照らされない直線マイクアレイＭＣＡ１１、つまり主音源ＭＡ１１から見たときに主音源直線マイクアレイによって隠れて見えない直線マイクアレイＭＣＡ１１が副音源直線マイクアレイとされる。
　したがって、図２では直線マイクアレイＭＣＡ１１－１と直線マイクアレイＭＣＡ１１－３が主音源直線マイクアレイとされ、直線マイクアレイＭＣＡ１１－２と直線マイクアレイＭＣＡ１１－４が副音源直線マイクアレイとされる。
　図１の説明に戻り、収音空間では各直線マイクアレイＭＣＡ１１が、主音源直線マイクアレイまたは副音源直線マイクアレイの何れかとして用いられ、音場が収音される。
　この例では、主音源ＭＡ１１の前方に配置された直線マイクアレイＭＣＡ１１－１が主音源直線マイクアレイとされる。また、主音源ＭＡ１１から見て、直線マイクアレイＭＣＡ１１－１の後方に配置されている直線マイクアレイＭＣＡ１１－２乃至直線マイクアレイＭＣＡ１１－４が副音源直線マイクアレイとされる。
　このように、主音源ＭＡ１１と副音源ＳＡ１１を収音するケースとして、例えば主音源ＭＡ１１が演奏されている楽器であり、副音源ＳＡ１１が歓声を発する演奏の受聴者であるようなユースケースが考えられる。そのようなユースケースでは、主に主音源直線マイクアレイで演奏が記録され、副音源直線マイクアレイで歓声が記録されるようなシステムとなる。
　なお、以下においては説明を簡単にするため、直線マイクアレイＭＣＡ１１－１が主音源直線マイクアレイとして用いられ、直線マイクアレイＭＣＡ１１－４が副音源直線マイクアレイとして用いられ、残りの直線マイクアレイＭＣＡ１１－２と直線マイクアレイＭＣＡ１１－３は用いられないものとして説明を続ける。
　このように収音空間で収音された音場は、図中、右側に示す再現空間において、直線マイクアレイＭＣＡ１１－１乃至直線マイクアレイＭＣＡ１１－４のそれぞれに対応する直線スピーカアレイＳＰＡ１１－１乃至直線スピーカアレイＳＰＡ１１－４により再現される。
　再現空間では、受聴エリアＨＡ１１を囲むように直線スピーカアレイＳＰＡ１１－１乃至直線スピーカアレイＳＰＡ１１－４が正方形上に配置されている。なお、以下、直線スピーカアレイＳＰＡ１１－１乃至直線スピーカアレイＳＰＡ１１－４を特に区別する必要のない場合、単に直線スピーカアレイＳＰＡ１１と称する。
　ここで、単純に直線マイクアレイＭＣＡ１１－１で収音された音声を、直線マイクアレイＭＣＡ１１－１に対応する直線スピーカアレイＳＰＡ１１－１で再生し、直線マイクアレイＭＣＡ１１－４で収音された音声を、直線マイクアレイＭＣＡ１１－４に対応する直線スピーカアレイＳＰＡ１１－４で再生すると、収音空間の音場を正確に再現することができない。
　例えば図１中、左側の矢印で表されるように、直線マイクアレイＭＣＡ１１－１では、主音源ＭＡ１１から到来する信号（音声）である演奏音と、副音源ＳＡ１１から領域ＡＲ１１を通って到来する信号である歓声とが混合されて収音される。
　そのため、直線マイクアレイＭＣＡ１１－１で収音された音声を直線スピーカアレイＳＰＡ１１－１でそのまま再生すると、主音源ＭＡ１１の音声と副音源ＳＡ１１の音声が混合された混合信号が受聴エリアＨＡ１１の方向に広がってしまう。
　そうすると、受聴エリアＨＡ１１で音声を聴取する受聴者には、副音源ＳＡ１１が本来あるべき位置とは正反対の位置にあるような印象を受けてしまう。つまり、本来であれば、副音源ＳＡ１１からの音声は図中、下側から受聴エリアＨＡ１１へと到達するものであるが、受聴者には、副音源ＳＡ１１からの音声があたかも図中、上側から受聴エリアＨＡ１１へと到達したかのように聴こえてしまう。
　同様に図１中、左側の矢印で表されるように、直線マイクアレイＭＣＡ１１－４でも、副音源ＳＡ１１から到来する信号である歓声と、主音源ＭＡ１１から領域ＡＲ１１を通って到来する信号である演奏音とが混合されて収音される。
　そのため、直線マイクアレイＭＣＡ１１－４で収音された音声を直線スピーカアレイＳＰＡ１１－４でそのまま再生すると、副音源ＳＡ１１の音声と主音源ＭＡ１１の音声が混合された混合信号が受聴エリアＨＡ１１の方向に広がってしまう。
　そうすると、受聴エリアＨＡ１１で音声を聴取する受聴者には、主音源ＭＡ１１が本来あるべき位置とは正反対の位置にあるような印象を受けてしまう。つまり、本来であれば、主音源ＭＡ１１からの音声は図中、上側から受聴エリアＨＡ１１へと到達するものであるが、受聴者には、主音源ＭＡ１１からの音声があたかも図中、下側から受聴エリアＨＡ１１へと到達したかのように聴こえてしまう。
　このように直線マイクアレイＭＣＡ１１で収音された音声を再生するだけでは、異なる方向から到来する主音源ＭＡ１１からの音声（楽器の演奏音）と副音源ＳＡ１１からの音声（歓声）とが混ざり合ってしまい、音場を正確に再現することができない。
　そこで本技術では、主な収音対象の音源とは異なる方向から到来する音声が混合されてしまうという影響を軽減させるために、マイクロフォンＭＭＣ１１で収音された主音源ＭＡ１１の音声が用いられて、主音源強調処理と主音源低減処理とが行われる。
　すなわち、マイクロフォンＭＭＣ１１で収音された音声は、主音源ＭＡ１１の音声に比べて副音源ＳＡ１１の音声が十分に小さく記録された音声であるから、マイクロフォンＭＭＣ１１で収音された音声から、主音源ＭＡ１１の音声の特徴を表す特徴量（以下、主音源特徴量とも称する）を容易に抽出することができる。
　本技術では、主音源特徴量が用いられて、直線マイクアレイＭＣＡ１１－１による収音で得られた収音信号に対して主音源ＭＡ１１の音声成分、つまり演奏音の成分のみを強調する主音源強調処理が行われる。そして、直線スピーカアレイＳＰＡ１１－１では、主音源強調処理された収音信号に基づいて音声が再生される。
　一方、主音源特徴量が用いられて、直線マイクアレイＭＣＡ１１－４による収音で得られた収音信号に対して副音源ＳＡ１１の音声成分、つまり歓声成分を強調し、相対的に主音源ＭＡ１１の音声成分のみを低減させる主音源低減処理が行われる。そして、直線スピーカアレイＳＰＡ１１－４では、主音源低減処理された収音信号に基づいて音声が再生される。
　以上の処理により、受聴エリアＨＡ１１にいる受聴者には、主音源ＭＡ１１からの演奏音が図中、上側から到来し、副音源ＳＡ１１からの歓声が図中、下側から到来しているように聴こえるようになる。これにより、再現空間において、より正確に任意の収音空間の音場を再現することができるようになる。
　すなわち、本技術では受聴エリアＨＡ１１に対応する領域ＡＲ１１の大きさや形状、直線マイクアレイＭＣＡ１１の配置などに制限を設ける必要がないため、任意の収音空間の音場をより正確に再現することができる。
　なお、図１では、正方形型マイクアレイを構成する各直線マイクアレイＭＣＡ１１を主音源直線マイクアレイまたは副音源直線マイクアレイとする例について説明した。しかし、球状マイクアレイや環状マイクアレイを構成する一部分のマイクアレイを、主音源直線マイクアレイに対応する、主に主音源を収音するマイクアレイや、副音源直線マイクアレイに対応する、主に副音源を収音するマイクアレイとしてもよい。
〈主音源強調音場再現器の構成例〉
　次に、本技術を主音源強調音場再現器に適用した場合を例として、本技術を適用した具体的な実施の形態について説明する。
　図３は、本技術を適用した主音源強調音場再現器の一実施の形態の構成例を示す図である。
　主音源強調音場再現器１１は、マイクロフォン２１、主音源学習部２２、マイクアレイ２３－１、マイクアレイ２３－２、主音源用駆動信号生成部２４、副音源用駆動信号生成部２５、スピーカアレイ２６－１、およびスピーカアレイ２６－２から構成される。
　マイクロフォン２１は、例えば一または複数のマイクロフォンや、マイクアレイなどからなり、収音空間における主音源近傍に配置されている。このマイクロフォン２１は、図１に示したマイクロフォンＭＭＣ１１に対応する。
　マイクロフォン２１は、主音源から発せられた音声を収音し、その結果得られた収音信号を主音源学習部２２に供給する。
　主音源学習部２２は、マイクロフォン２１から供給された収音信号に基づいて、収音信号から主音源特徴量を抽出し、主音源用駆動信号生成部２４および副音源用駆動信号生成部２５に供給する。すなわち、主音源学習部２２では、主音源の特徴量が学習される。
　主音源学習部２２は、収音空間に配置された送信器３１と、再現空間に配置された受信器３２とから構成される。
　送信器３１は、時間周波数分析部４１、特徴量抽出部４２、および通信部４３を有している。時間周波数分析部４１は、マイクロフォン２１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを特徴量抽出部４２に供給する。特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルから主音源特徴量を抽出し、通信部４３に供給する。通信部４３は、特徴量抽出部４２から供給された主音源特徴量を、有線または無線により受信器３２に送信する。
　受信器３２は通信部４４からなり、通信部４４は、通信部４３から送信されてきた主音源特徴量を受信して主音源用駆動信号生成部２４および副音源用駆動信号生成部２５に供給する。
　マイクアレイ２３－１は直線マイクアレイからなり、主音源直線マイクアレイとして機能する。すなわち、マイクアレイ２３－１は図１に示した直線マイクアレイＭＣＡ１１－１に対応する。マイクアレイ２３－１は収音空間の音場を収音し、その結果得られた収音信号を主音源用駆動信号生成部２４に供給する。
　マイクアレイ２３－２は直線マイクアレイからなり、副音源直線マイクアレイとして機能する。すなわち、マイクアレイ２３－２は図１に示した直線マイクアレイＭＣＡ１１－４に対応する。マイクアレイ２３－２は収音空間の音場を収音し、その結果得られた収音信号を副音源用駆動信号生成部２５に供給する。
　なお、以下、マイクアレイ２３－１およびマイクアレイ２３－２を特に区別する必要のない場合、単にマイクアレイ２３とも称することとする。
　主音源用駆動信号生成部２４は、主音源学習部２２から供給された主音源特徴量に基づいて、マイクアレイ２３－１から供給された収音信号から主音源成分を抽出するとともに、抽出した主音源成分が強調された信号を主音源用のスピーカ駆動信号として生成し、スピーカアレイ２６－１に供給する。主音源用駆動信号生成部２４により行われる処理が、図１を参照して説明した主音源強調処理に対応する。
　主音源用駆動信号生成部２４は、収音空間に配置された送信器５１と、再現空間に配置された受信器５２とから構成される。
　送信器５１は、時間周波数分析部６１、空間周波数分析部６２、および通信部６３を有している。
　時間周波数分析部６１は、マイクアレイ２３－１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部６２に供給する。空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６３に供給する。通信部６３は空間周波数分析部６２から供給された空間周波数スペクトルを、有線または無線により受信器５２に送信する。
　受信器５２は、通信部６４、空間周波数合成部６５、主音源分離部６６、主音源強調部６７、および時間周波数合成部６８を有している。
　通信部６４は、通信部６３から送信されてきた空間周波数スペクトルを受信して空間周波数合成部６５に供給する。空間周波数合成部６５は、通信部６４から供給された空間周波数スペクトルから空間領域におけるスピーカアレイ２６－１の駆動信号を求めた後、逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部６６に供給する。
　主音源分離部６６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部６５から供給された時間周波数スペクトルを主音源成分である主音源時間周波数スペクトルと、副音源成分である副音源時間周波数スペクトルとに分離させ、主音源強調部６７に供給する。
　主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルと副音源時間周波数スペクトルに基づいて、主音源成分が強調された主音源強調時間周波数スペクトルを生成し、時間周波数合成部６８に供給する。時間周波数合成部６８は、主音源強調部６７から供給された主音源強調時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ２６－１に供給する。
　副音源用駆動信号生成部２５は、主音源学習部２２から供給された主音源特徴量に基づいて、マイクアレイ２３－２から供給された収音信号から主音源成分を抽出するとともに、抽出した主音源成分が低減された信号を副音源用のスピーカ駆動信号として生成し、スピーカアレイ２６－２に供給する。副音源用駆動信号生成部２５により行われる処理が、図１を参照して説明した主音源低減処理に対応する。
　副音源用駆動信号生成部２５は、収音空間に配置された送信器７１と、再現空間に配置された受信器７２とから構成される。
　送信器７１は、時間周波数分析部８１、空間周波数分析部８２、および通信部８３を有している。
　時間周波数分析部８１は、マイクアレイ２３－２から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部８２に供給する。空間周波数分析部８２は、時間周波数分析部８１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部８３に供給する。通信部８３は空間周波数分析部８２から供給された空間周波数スペクトルを、有線または無線により受信器７２に送信する。
　受信器７２は、通信部８４、空間周波数合成部８５、主音源分離部８６、主音源低減部８７、および時間周波数合成部８８を有している。
　通信部８４は、通信部８３から送信されてきた空間周波数スペクトルを受信して空間周波数合成部８５に供給する。空間周波数合成部８５は、通信部８４から供給された空間周波数スペクトルから空間領域におけるスピーカアレイ２６－２の駆動信号を求めた後、逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部８６に供給する。
　主音源分離部８６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部８５から供給された時間周波数スペクトルを主音源時間周波数スペクトルと副音源時間周波数スペクトルとに分離させ、主音源低減部８７に供給する。
　主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルと副音源時間周波数スペクトルに基づいて、主音源成分が低減された、すなわち副音源成分が強調された主音源低減時間周波数スペクトルを生成し、時間周波数合成部８８に供給する。時間周波数合成部８８は、主音源低減部８７から供給された主音源低減時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ２６－２に供給する。
　スピーカアレイ２６－１は、例えば直線スピーカアレイからなり、図１の直線スピーカアレイＳＰＡ１１－１に対応する。スピーカアレイ２６－１は、時間周波数合成部６８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間の主音源の音声が再現される。
　スピーカアレイ２６－２は、例えば直線スピーカアレイからなり、図１の直線スピーカアレイＳＰＡ１１－４に対応する。スピーカアレイ２６－２は、時間周波数合成部８８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間の副音源の音声が再現される。
　なお、以下、スピーカアレイ２６－１およびスピーカアレイ２６－２を特に区別する必要のない場合、単にスピーカアレイ２６とも称することとする。
　ここで、主音源強調音場再現器１１を構成する各部についてより詳細に説明する。
（時間周波数分析部）
　まず、時間周波数分析部４１、時間周波数分析部６１、および時間周波数分析部８１について説明する。ここでは、時間周波数分析部６１を例として説明を続ける。
　時間周波数分析部６１は、マイクアレイ２３－１を構成する各マイクロフォン（マイクセンサ）で得られた収音信号s(nmic,t)の時間周波数情報を分析する。
　但し、収音信号s(nmic,t)においてnmicはマイクアレイ２３－１を構成するマイクロフォンを示すマイクインデクスであり、マイクインデクスnmic＝0,…,Nmic-1である。また、Nmicはマイクアレイ２３－１を構成するマイクロフォンの数を示しており、tは時間を示している。
　時間周波数分析部６１は、収音信号s(nmic,t)から固定サイズの時間フレーム分割を行った入力フレーム信号sfr(nmic,nfr,l)を得る。そして、時間周波数分析部６１は、次式（１）に示す窓関数wT(nfr)を入力フレーム信号sfr(nmic,nfr,l)に乗算し、窓関数適用信号sw(nmic,nfr,l)を得る。すなわち、以下の式（２）の計算が行われて窓関数適用信号sw(nmic,nfr,l)が算出される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、式（１）および式（２）において、nfrは時間インデクスを示しており、時間インデクスnfr＝0,…,Nfr-1である。また、lは時間フレームインデクスを示しており、時間フレームインデクスl＝0,…,L-1である。なお、Nfrはフレームサイズ（時間フレームのサンプル数）であり、Lは総フレーム数である。
　また、フレームサイズNfrは、時間サンプリング周波数fs T[Hz]における一フレームの時間Tfr[s]相当のサンプル数Nfr（＝R(fs T×Tfr)、但しR()は任意の丸め関数）である。この実施の形態では、例えば一フレームの時間Tfr＝1.0[s]であり、丸め関数R()は四捨五入であるが、それ以外でも構わない。さらに、フレームのシフト量はフレームサイズNfrの50％としているが、それ以外でも構わない。
　さらに、ここでは窓関数としてハニング窓の平方根を用いているが、ハミング窓やブラックマンハリス窓などのその他の窓を用いるようにしてもよい。
　このようにして窓関数適用信号sw(nmic,nfr,l)が得られると、時間周波数分析部６１は、以下の式（３）および式（４）を計算することで、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、時間周波数スペクトルS(nmic,nT,l)を算出する。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　すなわち、式（３）の計算によりゼロ詰め信号sw’(nmic,mT,l)が求められ、得られたゼロ詰め信号sw’(nmic,mT,l)に基づいて式（４）が計算され、時間周波数スペクトルS(nmic,nT,l)が算出される。
　なお、式（３）および式（４）において、MTは時間周波数変換に用いるポイント数を示している。また、nTは時間周波数スペクトルインデクスを示している。ここで、NT＝MT/2+1であり、nT＝0,…,NT-1である。さらに、式（４）においてiは純虚数を示している。
　また、この実施の形態では、STFT（Short Time Fourier Transform）（短時間フーリエ変換）による時間周波数変換を行っているが、DCT（Discrete Cosine Transform）（離散コサイン変換）やMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）などの他の時間周波数変換を用いてもよい。
　さらに、STFTのポイント数MTは、Nfr以上である、Nfrに最も近い２のべき乗の値としているが、それ以外のポイント数MTでも構わない。
　時間周波数分析部６１は、以上において説明した処理で得られた時間周波数スペクトルS(nmic,nT,l)を、空間周波数分析部６２に供給する。
　時間周波数分析部４１も、時間周波数分析部６１と同様の処理を行って、マイクロフォン２１から供給された収音信号から時間周波数スペクトルを算出し、特徴量抽出部４２に供給する。また、時間周波数分析部８１も、マイクアレイ２３－２から供給された収音信号から時間周波数スペクトルを算出し、空間周波数分析部８２に供給する。
（特徴量抽出部）
　特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルS(nmic,nT,l)から主音源特徴量の抽出を行う。
　ここでは、例えば主音源特徴量の抽出手法としてNTF（Nonnegative Tensor Factorization）により主音源の周波数基底を学習する手法について説明するが、他の手法により主音源特徴量を抽出するようにしてもよい。なお、NTFについては例えば「Derry FitzGerald et al., “Non-Negative Tensor Factorisation for Sound Source Separation”, ISSC 2005, Dublin, Sept. 1-2.」に詳細に記載されている。
　特徴量抽出部４２は、まず前処理として次式（５）の計算を行い、時間周波数スペクトルS(nmic,nT,l)を非負値スペクトルV(j,k,l)へと変換する。
Figure JPOXMLDOC01-appb-M000005
　なお、ここでは時間周波数スペクトルS(nmic,nT,l)のマイクインデクスnmicがチャネルインデクスjに置き換えられ、時間周波数スペクトルインデクスnTが周波数インデクスkに置き換えられている。すなわち、マイクインデクスnmicがjと記述され、時間周波数スペクトルインデクスnTがkと記述されている。なお、Nmic＝Jであるとし、NT＝Kであるとする。この場合、マイクインデクスnmicにより特定される一つのマイクロフォンが一つのチャネルとして扱われることになる。
　また、式（５）において、conj(S(j,k,l))は、時間周波数スペクトルS(j,k,l)の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ここでは非負値化制御値ρ＝１とされる。
　式（５）の計算により得られた非負値スペクトルV(j,k,l)は、時間方向に連結されて非負値スペクトログラムVとされ、NTFの入力とされる。
　例えば非負値スペクトログラムVをJ×K×Lの三次元テンソルとして捉えると、非負値スペクトログラムVをP個の三次元テンソルVp’（以下、基底スペクトログラムとも呼ぶ）に分離することができる。
　ここで、pは基底スペクトログラムを示す基底インデクスを表しており、基底数をPとしてp＝0,・・・,P-1である。また、以下では、基底インデクスpにより示される基底を基底pとも称することとする。
　さらに、P個の三次元テンソルVp’は三つのベクトルの直積で表現することが可能であるため、それぞれ三つのベクトルへと分解される。結果的に、それぞれ三種類のベクトルをP個ずつ集めた結果、新たな三つの行列、つまりチャネル行列Q、周波数行列W、および時間行列Hが得られるため、非負値スペクトログラムVを三つの行列に分解できるといえる。なお、チャネル行列QのサイズはJ×Pであり、周波数行列WのサイズはK×Pであり、時間行列HのサイズはL×Pである。
　なお、以下では、三次元テンソルまたは行列の各要素を示す場合には、小文字を用いて記すこととする。例えば非負値スペクトログラムVの各要素はvjklと表され、チャネル行列Qの各要素はqjklと表される。また、例えばvjklを[V] jklとも記すこととする。これは、他の行列についても同様に記すこととし、例えばqjklを[Q]jklとも記すこととする。
　特徴量抽出部４２では、非負値テンソル分解（NTF）により誤差テンソルEを最小化することで、テンソル分解が行なわれる。テンソル分解で得られるチャネル行列Q、周波数行列W、および時間行列Hは、それぞれが特有の性質を有している。
　ここで、チャネル行列Q、周波数行列W、および時間行列Hについて説明する。
　例えば、図４に示すように矢印Ｒ１１に示す非負値スペクトログラムVから、誤差テンソルEを除いて得られる三次元テンソルを基底数P個に分解した結果、矢印Ｒ１２－１乃至矢印Ｒ１２－Ｐに示す基底スペクトログラムV0’乃至基底スペクトログラムVP-1’が得られたとする。
　これらの各基底スペクトログラムVp’（但し、p＝0,…,P-1）、すなわち上述した三次元テンソルVp’を、それぞれ三つのベクトルの直積で表すことができる。
　例えば基底スペクトログラムV0’は、矢印Ｒ１３－１に示すベクトル[Q]j,0、矢印Ｒ１４－１に示すベクトル[H]l,0、および矢印Ｒ１５－１に示すベクトル[W]k,0の三つのベクトルの直積で表すことができる。
　ベクトル[Q]j,0は総チャネル数J個の要素からなる列ベクトルであり、ベクトル[Q]j,0のJ個の各要素は、チャネルインデクスjにより示される各チャネル（マイクロフォン）に対応する成分である。
　また、ベクトル[H]l,0は総時間フレーム数L個の要素からなる行ベクトルであり、ベクトル[H]l,0のL個の各要素は、時間フレームインデクスlにより示される各時間フレームに対応する成分である。さらに、ベクトル[W]k,0は周波数（時間周波数）の数であるK個の要素からなる列ベクトルであり、ベクトル[W]k,0のK個の各要素は、周波数インデクスkにより示される周波数に対応する成分である。
　これらのベクトル[Q]j,0、ベクトル[H]l,0、およびベクトル[W]k,0は、それぞれ基底スペクトログラムV0’のチャネル方向の性質、時間方向の性質、および周波数方向の性質を表している。
　同様に、基底スペクトログラムV1’は、矢印Ｒ１３－２に示すベクトル[Q]j,1、矢印Ｒ１４－２に示すベクト[H]l,1、および矢印Ｒ１５－２に示すベクトル[W]k,1の三つのベクトルの直積で表すことができる。また、基底スペクトログラムVP-1’は、矢印Ｒ１３－Ｐに示すベクトル[Q]j,P-1、矢印Ｒ１４－Ｐに示すベクトル[H]l,P-1、および矢印Ｒ１５－Ｐに示すベクトル[W]k,P-1の三つのベクトルの直積で表すことができる。
　そして、P個の基底スペクトログラムVp’の三つの次元に対応する三つのベクトルを、それぞれ次元ごとに集めて行列としたものがチャネル行列Q、周波数行列W、および時間行列Hとなる。
　すなわち、図４中、下側の矢印Ｒ１６に示すように、各基底スペクトログラムVp’の周波数方向の性質を表すベクトルであるベクトル[W]k,0乃至ベクトル[W]k,P-1からなる行列が周波数行列Wとされる。
　同様に、矢印Ｒ１７に示すように、各基底スペクトログラムVp’の時間方向の性質を表すベクトルであるベクトル[H]l,0乃至ベクトル[H]l,P-1からなる行列が時間行列Hとされる。また、矢印Ｒ１８に示すように、各基底スペクトログラムVp’のチャネル方向の性質を表すベクトルであるベクトル[Q]j,0乃至ベクトル[Q]j,P-1からなる行列がチャネル行列Qとされる。
　NTF（非負値テンソル分解）の性質により、P個に分離された各基底スペクトログラムVp’は、それぞれが音源中の固有の性質を表すように学習される。NTFでは、全要素を非負値に制約しているため、基底スペクトログラムVp’の加法性の組み合わせしか許容されず、その結果、組み合わせのパターンが減り、音源固有の性質によって分離され易くなっている。したがって、任意の範囲の基底インデクスpを選択することにより、各点音源を抽出し音響処理を行うことが可能である。
　ここで、チャネル行列Q、周波数行列W、および時間行列Hの各行列の性質についてさらに説明する。
　チャネル行列Qは、非負値スペクトログラムVのチャネル方向の性質を表している。すなわち、チャネル行列Qは、P個の各基底スペクトログラムVp’の合計J個の各チャネルjへの寄与度を示すと考えられる。
　周波数行列Wは、非負値スペクトログラムVの周波数方向の性質を表している。より具体的には、周波数行列Wは合計P個の基底スペクトログラムVp’のK個の各周波数ビンへの寄与度、すなわち各基底スペクトログラムVp’の各々の周波数特性を表している。
　また、時間行列Hは、非負値スペクトログラムVの時間方向の性質を表している。より具体的には、時間行列HはP個の各基底スペクトログラムVp’の合計L個の各時間フレームへの寄与度、すなわち各基底スペクトログラムVp’の各々の時間特性を表している。
　特徴量抽出部４２による主音源特徴量の算出の説明に戻り、NTF（非負値テンソル分解）では、次式（６）の計算によりコスト関数Cをチャネル行列Q、周波数行列W、および時間行列Hについて最小化することで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hが求められる。
Figure JPOXMLDOC01-appb-M000006
　なお、式（６）において、vjklは非負値スペクトログラムVの要素を表しており、vjkl’は要素vjklの予測値である。この要素vjkl’は次式（７）により得られる。なお、式（７）において、qjpはチャネル行列Qを構成する、チャネルインデクスjと基底インデクスpにより特定される要素、つまり行列要素[Q]j,pである。同様にwkpは行列要素[W]k,pであり、hlpは行列要素[H]l,pである。
Figure JPOXMLDOC01-appb-M000007
　式（７）により算出される要素vjkl’からなるスペクトログラムが、非負値スペクトログラムVの予測値である近似スペクトログラムV’となる。換言すれば、近似スペクトログラムV’は、基底数P個の基底スペクトログラムVp’から求まる、非負値スペクトログラムVの近似値である。
　さらに、式（６）では非負値スペクトログラムVと近似スペクトログラムV’の距離を測る指標としてβダイバージェンスdβが用いられており、このβダイバージェンスは、任意の変数をx，yとして例えば次式（８）で表される。
Figure JPOXMLDOC01-appb-M000008
　すなわち、βが１でも０でもない場合、式（８）中の一番上側に示す式によりβダイバージェンスが算出される。また、β＝１である場合、式（８）中の真ん中に示す式によりβダイバージェンスが算出される。
　さらに、β＝０（板倉斉藤距離）である場合、式（８）中の一番下側に示す式によりβダイバージェンスが算出される。すなわちβ＝０である場合、次式（９）に示す演算が行われることになる。
Figure JPOXMLDOC01-appb-M000009
　また、β＝０である場合のβダイバージェンスdβ=0(x|y)のyについての偏微分は次式（１０）に示すようになる。
Figure JPOXMLDOC01-appb-M000010
　したがって、式（６）の例では、βダイバージェンスD0(V|V’)は次式（１１）に示すようになる。また、βダイバージェンスD0(V|V’)のチャネル行列Q、周波数行列W、および時間行列Hに関する偏微分は、それぞれ以下の式（１２）乃至式（１４）に示すようになる。但し、式（１１）乃至式（１４）において減算、除算、および対数演算は全て要素ごとに計算される。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　続いて、チャネル行列Q、周波数行列W、および時間行列Hを同時に表すパラメータθを用いてNTFの更新式を表現すると、次式（１５）に示すようになる。但し、式（１５）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
Figure JPOXMLDOC01-appb-M000015
　なお、式（１５）において、[∇θD0(V|V’)]+および[∇θD0(V|V’)]-は、それぞれ関数∇θD0(V|V’)の正の部分および負の部分を表している。
　したがって、式（６）に示した場合、つまり制約関数を考慮しない場合におけるNTFの各行列の更新式は、次式（１６）乃至式（１８）に示す式となる。但し、式（１６）乃至式（１８）において階乗および除算は全て要素ごとに計算される。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　なお、式（１６）乃至式（１８）において記号「ｏ」は行列の直積を表している。すなわち、AがiA×P行列であり、BがiB×P行列である場合、「ＡｏＢ」はiA×iB×Pの三次元テンソルを表している。
　また、〈A,B〉{C},{D}はテンソルの収縮積と呼ばれ、以下の式（１９）で表される。但し、式（１９）では、式中の各文字は、以上において説明してきた行列等を表す記号とは関連がないものとする。
Figure JPOXMLDOC01-appb-M000019
　特徴量抽出部４２は、式（１６）乃至式（１８）によりチャネル行列Q、周波数行列W、および時間行列Hを更新しながら、式（６）のコスト関数Cの最小化を行なうことで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hを求める。そして、特徴量抽出部４２は、得られた周波数行列Wを、主音源の周波数に関する特徴を表す主音源特徴量として、通信部４３に供給する。なお、以下では、主音源特徴量としての周波数行列Wを、特に主音源周波数行列WSとも称することとする。
（空間周波数分析部）
　続いて、空間周波数分析部６２および空間周波数分析部８２について説明する。ここでは、主に空間周波数分析部６２について説明する。
　空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルS(nmic,nT,l)に対して、次式（２０）を計算することで空間周波数変換を行い、空間周波数スペクトルSSP(nS,nT,l)を算出する。
Figure JPOXMLDOC01-appb-M000020
　なお、式（２０）においてMSは空間周波数変換に用いるポイント数を示しており、mS＝0,…,MS-1である。また、S’(mS,nT,l)は時間周波数スペクトルS(nmic,nT,l)に対してゼロ詰めを行うことにより得られるゼロ詰め信号を示しており、iは純虚数を示している。さらに、nSは空間周波数スペクトルインデクスを示している。
　この実施の形態では、式（２０）の計算によってIDFT（Inverse Discrete Fourier Transform）（逆離散フーリエ変換）による空間周波数変換が行われている。
　また、必要であればIDFTのポイント数MSに合わせて適切にゼロ詰めを行ってもよい。この実施の形態では、マイクアレイ２３－１で得られる信号の空間サンプリング周波数がfs S[Hz]であるとする。この空間サンプリング周波数fs S[Hz]は、マイクアレイ２３－１を構成するマイクロフォン同士の間隔により定まる。
　式（２０）では、例えば空間サンプリング周波数fs S[Hz]に基づいてポイント数MSが定められる。そして、0≦mS≦Nmic-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝時間周波数スペクトルS(nmic,nT,l)とされ、Nmic≦mS≦MS-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝0とされる。
　以上において説明した処理により得られる空間周波数スペクトルSSP(nS,nT,l)は、時間フレームlに含まれている時間周波数nTの信号が空間上においてどのような波形となっているかを示している。空間周波数分析部６２は、空間周波数スペクトルSSP(nS,nT,l)を通信部６３に供給する。
　また、空間周波数分析部８２も、空間周波数分析部６２と同様の処理を行って、時間周波数分析部８１から供給された時間周波数スペクトルに基づいて空間周波数スペクトルを算出し、通信部８３に供給する。
（空間周波数合成部）
　また、空間周波数合成部６５は、通信部６４および通信部６３を介して空間周波数分析部６２から供給された空間周波数スペクトルSSP(nS,nT,l)に基づいて、以下の式（２１）を計算し、スピーカアレイ２６－１で音場（波面）を再現するための空間領域の駆動信号DSP(mS,nT,l)を求める。すなわち、SDM(Spectral Division Method)により、駆動信号DSP(mS,nT,l)が算出される。
Figure JPOXMLDOC01-appb-M000021
　ここで、式（２１）におけるkpwは次式（２２）により得られる。
Figure JPOXMLDOC01-appb-M000022
　なお、式（２１）においてyrefはSDMの基準距離を示しており、基準距離yrefは波面が正確に再現される位置である。この基準距離yrefはマイクアレイ２３－１のマイクロフォンが並ぶ方向と垂直な方向の距離となる。例えば、ここでは基準距離yref＝1[m]とされているが、その他の値でもよい。
　さらに、式（２１）においてH0 (2)はハンケル関数を示しており、iは純虚数を示している。また、mSは空間周波数スペクトルインデクスを示している。さらに、式（２２）においてcは音速を示しており、ωは時間角周波数を示している。
　なお、ここではSDMにより駆動信号DSP(mS,nT,l)を算出する手法を例として説明したが、他の手法により駆動信号が算出されてもよい。また、SDMについては、特に「Jens Adrens, Sascha Spors, “Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers”, in 2nd International Symposium on Ambisonics and Spherical Acoustics」に詳細に記載されている。
　続いて空間周波数合成部６５は、次式（２３）を計算することで空間領域の駆動信号DSP(mS,nT,l)を逆空間周波数変換して、時間周波数スペクトルD(nspk,nT,l)を算出する。式（２３）では、逆空間周波数変換として、DFT（Discrete Fourier Transform）（離散フーリエ変換）が行われる。
Figure JPOXMLDOC01-appb-M000023
　なお、式（２３）において、nspkはスピーカアレイ２６－１を構成するスピーカを特定するスピーカインデクスを示している。また、MSはDFTのポイント数を示しており、iは純虚数を示している。
　式（２３）では、空間周波数スペクトルである駆動信号DSP(mS,nT,l)が時間周波数スペクトルに変換されると同時に、駆動信号のリサンプリングも行われる。具体的には、空間周波数合成部６５は、スピーカアレイ２６－１のスピーカ間隔に応じた空間サンプリング周波数で駆動信号をリサンプリング（逆空間周波数変換）することで、収音空間の音場を再現することができるスピーカアレイ２６－１の駆動信号を得る。
　空間周波数合成部６５は、このようにして得られた時間周波数スペクトルD(nspk,nT,l)を主音源分離部６６に供給する。また、空間周波数合成部８５も、空間周波数合成部６５と同様の処理を行ってスピーカアレイ２６－２の駆動信号である時間周波数スペクトルを算出し、主音源分離部８６に供給する。
（主音源分離部）
　主音源分離部６６では、通信部４４および通信部４３を介して特徴量抽出部４２から供給された主音源特徴量としての主音源周波数行列WSが用いられて、空間周波数合成部６５から供給された時間周波数スペクトルD(nspk,nT,l)から、主音源信号が抽出される。ここでは、特徴量抽出部４２における場合と同様に、NTFが用いられて主音源信号（主音源成分）が抽出される。
　すなわち、主音源分離部６６は次式（２４）の計算を行い、時間周波数スペクトルD(nspk,nT,l)を非負値スペクトルVSP(j,k,l)へと変換する。
Figure JPOXMLDOC01-appb-M000024
　なお、ここでは時間周波数スペクトルD(nspk,nT,l)のスピーカインデクスnspkがチャネルインデクスjに置き換えられ、時間周波数スペクトルインデクスnTが周波数インデクスkに置き換えられている。
　また、式（２４）において、conj(D(j,k,l))は、時間周波数スペクトルD(j,k,l)の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ここでは非負値化制御値ρ＝１とされる。
　式（２４）の計算により得られた非負値スペクトルVSP(j,k,l)は、時間方向に連結されて非負値スペクトログラムVSPとされ、NTFの入力とされる。
　また、主音源分離部６６は、このようにして得られた非負値スペクトログラムVSPについて、次式（２５）乃至式（２７）に示す更新式によりチャネル行列Q、周波数行列W、および時間行列Hを更新しながらコスト関数の最小化を行なうことで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hを求める。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
Figure JPOXMLDOC01-appb-M000027
　但し、ここでの計算では、周波数行列Wの一部には主音源周波数行列WSが含まれているようになされ、式（２６）に示す周波数行列Wの更新では、主音源周波数行列WS以外の要素のみが更新される。つまり、周波数行列Wの更新時には、周波数行列Wに要素として含まれている主音源周波数行列WSの部分の更新は行われない。
　以上の計算で最適化されたチャネル行列Q、周波数行列W、および時間行列Hが得られると、主音源分離部６６は、主音源に対応する要素と副音源に対応する要素とをそれらの行列から抽出することで、収音された音声を主音源成分と副音源成分とに分離させる。
　すなわち、主音源分離部６６は、最適化された周波数行列Wの主音源周波数行列WS以外の要素を副音源周波数行列WNとする。
　また、主音源分離部６６は、最適化されたチャネル行列Qから主音源周波数行列WSに対応する要素を主音源チャネル行列QSとして抽出するとともに、最適化されたチャネル行列Qの主音源チャネル行列QS以外の要素を副音源チャネル行列QNとする。副音源チャネル行列QNは副音源の成分である。
　同様に主音源分離部６６は、最適化された時間行列Hから主音源周波数行列WSに対応する要素を主音源時間行列HSとして抽出するとともに、最適化された時間行列Hの主音源時間行列HS以外の要素を副音源時間行列HNとする。副音源時間行列HNは副音源の成分である。
　ここで、チャネル行列Qや時間行列Hの主音源周波数行列WSに対応する要素とは、図４の例で示した基底スペクトログラムVp’のうちの主音源周波数行列WSの要素を含む基底スペクトログラムVp’の要素である。
　主音源分離部６６は、さらに以上の処理により得られた行列群からWiener Filterを用いて主音源を抽出する。
　すなわち、主音源分離部６６は、次式（２８）の計算を行うことで、主音源チャネル行列QS、主音源周波数行列WS、および主音源時間行列HSの各要素に基づいて、主音源の基底スペクトログラムVS’の各要素を求める。
Figure JPOXMLDOC01-appb-M000028
　同様に、主音源分離部６６は、次式（２９）の計算を行うことで、副音源チャネル行列QN、副音源周波数行列WN、および副音源時間行列HNの各要素に基づいて、副音源の基底スペクトログラムVN’の各要素を求める。
Figure JPOXMLDOC01-appb-M000029
　さらに、主音源分離部６６は、得られた主音源の基底スペクトログラムVS’および副音源の基底スペクトログラムVN’に基づいて、次式（３０）および式（３１）を計算し、主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を算出する。なお、式（３０）および式（３１）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
Figure JPOXMLDOC01-appb-M000030
Figure JPOXMLDOC01-appb-M000031
　式（３０）では、時間周波数スペクトルD(nspk,nT,l)、すなわち時間周波数スペクトルD(j,k,l)のうちの主音源成分のみが抽出されて主音源時間周波数スペクトルDS(j,k,l)とされる。そして、主音源時間周波数スペクトルDS(j,k,l)のチャネルインデクスjおよび周波数インデクスkが、元のスピーカインデクスnspkおよび時間周波数スペクトルインデクスnTに置き換えられて主音源時間周波数スペクトルDS(nspk,nT,l)とされる。
　同様に式（３１）では、時間周波数スペクトルD(j,k,l)のうちの副音源成分のみが抽出されて副音源時間周波数スペクトルDN(j,k,l)とされる。そして、副音源時間周波数スペクトルDN(j,k,l)のチャネルインデクスjおよび周波数インデクスkが、元のスピーカインデクスnspkおよび時間周波数スペクトルインデクスnTに置き換えられて副音源時間周波数スペクトルDN(nspk,nT,l)とされる。
　主音源分離部６６は、以上の計算で得られた主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を、主音源強調部６７に供給する。
　また、主音源分離部８６も、主音源分離部６６と同様の処理を行い、その結果得られた主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を、主音源低減部８７に供給する。
（主音源強調部）
　主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を用いて、主音源強調時間周波数スペクトルDES(nspk,nT,l)を生成する。
　具体的には、主音源強調部６７は次式（３２）を計算することで、時間周波数スペクトルD(nspk,nT,l)のうちの主音源時間周波数スペクトルDS(nspk,nT,l)の成分が強調された、主音源強調時間周波数スペクトルDES(nspk,nT,l)を算出する。
Figure JPOXMLDOC01-appb-M000032
　なお、式（３２）においてαは主音源時間周波数スペクトルDS(nspk,nT,l)を強調させる度合いを示す重み係数を示しており、重み係数αは1.0より大きい係数とされる。したがって、式（３２）では、主音源時間周波数スペクトルが重み係数αにより重み付けされて副音源時間周波数スペクトルに加算され、主音源強調時間周波数スペクトルとされる。つまり、重み付け加算が行われる。
　主音源強調部６７は、式（３２）の計算により得られた主音源強調時間周波数スペクトルDES(nspk,nT,l)を時間周波数合成部６８に供給する。
（主音源低減部）
　主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を用いて、主音源低減時間周波数スペクトルDEN(nspk,nT,l)を生成する。
　具体的には、主音源低減部８７は次式（３３）を計算することで、時間周波数スペクトルD(nspk,nT,l)のうちの副音源時間周波数スペクトルDN(nspk,nT,l)の成分が強調された、主音源低減時間周波数スペクトルDEN(nspk,nT,l)を算出する。
Figure JPOXMLDOC01-appb-M000033
　なお、式（３３）においてαは副音源時間周波数スペクトルDN(nspk,nT,l)を強調させる度合いを示す重み係数を示しており、重み係数αは1.0より大きい係数とされる。なお、式（３３）における重み係数αは、式（３２）における重み係数αと同じ値であってもよいし、異なる値であってもよい。
　式（３３）では、副音源時間周波数スペクトルが重み係数αにより重み付けされて主音源時間周波数スペクトルに加算され、主音源低減時間周波数スペクトルとされる。つまり、重み付け加算が行われ、副音源時間周波数スペクトルが強調されることで、相対的に主音源時間周波数スペクトルが低減される。
　主音源低減部８７は、式（３３）の計算により得られた主音源低減時間周波数スペクトルDEN(nspk,nT,l)を時間周波数合成部８８に供給する。
（時間周波数合成部）
　時間周波数合成部６８は、次式（３４）の計算を行うことで、主音源強調部６７から供給された主音源強調時間周波数スペクトルDES(nspk,nT,l)の時間周波数合成を行い、出力フレーム信号dfr(nspk,nfr,l)を得る。ここでは、時間周波数合成として、ISTFT（Inverse Short Time Fourier Transform）（短時間逆フーリエ変換）が用いられているが、時間周波数分析部６１で行われる時間周波数変換（順変換）の逆変換に相当するものを用いればよい。
Figure JPOXMLDOC01-appb-M000034
　なお、式（３４）におけるD’(nspk,mT,l)は、次式（３５）により得られるものである。
Figure JPOXMLDOC01-appb-M000035
　式（３４）においてiは純虚数を示しており、nfrは時間インデクスを示している。また、式（３４）および式（３５）において、MTはISTFTのポイント数を示しており、nspkはスピーカインデクスを示している。
　さらに、時間周波数合成部６８は、得られた出力フレーム信号dfr(nspk,nfr,l)に、窓関数wT(nfr)を乗算し、オーバーラップ加算を行うことでフレーム合成を行う。例えば、次式（３６）の計算によりフレーム合成が行われて、出力信号d(nspk,t)が求められる。
Figure JPOXMLDOC01-appb-M000036
　なお、ここでは、出力フレーム信号dfr(nspk,nfr,l)に乗算する窓関数wT(nfr)として、時間周波数分析部６１で用いた窓関数と同じものを用いているが、ハミング窓などのその他の窓の場合は矩形窓で構わない。
　また、式（３６）において、dprev(nspk,nfr+lNfr)およびdcurr(nspk,nfr+lNfr)は、どちらも出力信号d(nspk,t)を示しているが、dprev(nspk,nfr+lNfr)は更新前の値を示し、dcurr(nspk,nfr+lNfr)は更新後の値を示している。
　時間周波数合成部６８は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号としてスピーカアレイ２６－１に供給する。
　また、時間周波数合成部８８も、時間周波数合成部６８と同様の処理を行って、主音源低減部８７から供給された主音源低減時間周波数スペクトルDEN(nspk,nT,l)に基づいてスピーカ駆動信号を生成し、スピーカアレイ２６－２に供給する。
〈音場再現処理の説明〉
　次に、以上において説明した主音源強調音場再現器１１により行われる処理の流れについて説明する。主音源強調音場再現器１１は、収音空間における音声の波面の収音が指示されると、その波面の収音を行って音場を再現する音場再現処理を行う。
　以下、図５のフローチャートを参照して主音源強調音場再現器１１による音場再現処理について説明する。
　ステップＳ１１において、マイクロフォン２１は、収音空間において主音源の音声、すなわち主音源学習用の音声を収音し、その結果得られた収音信号を時間周波数分析部４１に供給する。
　ステップＳ１２において、マイクアレイ２３－１は、収音空間において主音源の音声を収音し、その結果得られた収音信号を時間周波数分析部６１に供給する。
　ステップＳ１３において、マイクアレイ２３－２は、収音空間において副音源の音声を収音し、その結果得られた収音信号を時間周波数分析部８１に供給する。
　なお、より詳細にはステップＳ１１乃至ステップＳ１３の処理は同時に行われる。
　ステップＳ１４において、時間周波数分析部４１は、マイクロフォン２１から供給された収音信号の時間周波数情報、つまり主音源の時間周波数情報を分析する。
　具体的には、時間周波数分析部４１は収音信号に対して時間フレーム分割を行い、その結果得られた入力フレーム信号に窓関数を乗算し、窓関数適用信号を算出する。
　また、時間周波数分析部４１は、窓関数適用信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを特徴量抽出部４２に供給する。すなわち、式（４）の計算が行われて時間周波数スペクトルS(nmic,nT,l)が算出される。
　ステップＳ１５において、特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルに基づいて、主音源特徴量を抽出する。
　すなわち、特徴量抽出部４２は式（５）の計算を行うとともに式（１６）乃至式（１８）を計算してチャネル行列Q、周波数行列W、および時間行列Hを最適化し、最適化により得られた主音源周波数行列WSを主音源特徴量として、通信部４３に供給する。
　ステップＳ１６において、通信部４３は、特徴量抽出部４２から供給された主音源特徴量を送信する。
　ステップＳ１７において、時間周波数分析部６１はマイクアレイ２３－１から供給された収音信号の時間周波数情報、つまり主音源の時間周波数情報を分析し、その結果得られた時間周波数スペクトルを空間周波数分析部６２に供給する。ステップＳ１７ではステップＳ１４と同様の処理が行われる。
　ステップＳ１８において、空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６３に供給する。すなわち、ステップＳ１８では、式（２０）の計算が行われる。
　ステップＳ１９において、通信部６３は空間周波数分析部６２から供給された空間周波数スペクトルを送信する。
　ステップＳ２０において、時間周波数分析部８１はマイクアレイ２３－２から供給された収音信号の時間周波数情報、つまり副音源の時間周波数情報を分析し、その結果得られた時間周波数スペクトルを空間周波数分析部８２に供給する。ステップＳ２０ではステップＳ１４と同様の処理が行われる。
　ステップＳ２１において、空間周波数分析部８２は、時間周波数分析部８１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部８３に供給する。すなわち、ステップＳ２１では、式（２０）の計算が行われる。
　ステップＳ２２において、通信部８３は空間周波数分析部８２から供給された空間周波数スペクトルを送信する。
　ステップＳ２３において、通信部４４は、通信部４３から送信された主音源特徴量を受信して、主音源分離部６６および主音源分離部８６に供給する。
　ステップＳ２４において、通信部６４は、通信部６３から送信された、主音源の空間周波数スペクトルを受信して、空間周波数合成部６５に供給する。
　ステップＳ２５において、空間周波数合成部６５は、通信部６４から供給された空間周波数スペクトルに基づいて、空間領域の駆動信号を求めるとともに、その駆動信号に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部６６に供給する。
　すなわち、空間周波数合成部６５は、上述した式（２１）を計算して空間領域の駆動信号を求め、さらに式（２３）を計算して時間周波数スペクトルD(nspk,nT,l)を算出する。
　ステップＳ２６において、主音源分離部６６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部６５から供給された時間周波数スペクトルを主音源成分と副音源成分とに分離させ、主音源強調部６７に供給する。
　すなわち、主音源分離部６６は式（２４）乃至式（３１）の計算を行って、主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を算出し、主音源強調部６７に供給する。
　ステップＳ２７において、主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルおよび副音源時間周波数スペクトルに基づいて式（３２）を計算することで主音源成分を強調し、その結果得られた主音源強調時間周波数スペクトルを時間周波数合成部６８に供給する。
　ステップＳ２８において、時間周波数合成部６８は、主音源強調部６７から供給された主音源強調時間周波数スペクトルの時間周波数合成を行う。
　具体的には、時間周波数合成部６８は式（３４）の計算を行って、主音源強調時間周波数スペクトルから出力フレーム信号を算出する。さらに時間周波数合成部６８は、出力フレーム信号に窓関数を乗算して式（３６）の計算を行い、フレーム合成により出力信号を算出する。時間周波数合成部６８は、このようにして得られた出力信号を、スピーカ駆動信号としてスピーカアレイ２６－１に供給する。
　ステップＳ２９において、通信部８４は、通信部８３から送信された、副音源の空間周波数スペクトルを受信して、空間周波数合成部８５に供給する。
　ステップＳ３０において、空間周波数合成部８５は、通信部８４から供給された空間周波数スペクトルに基づいて、空間領域の駆動信号を求めるとともに、その駆動信号に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部８６に供給する。すなわち、ステップＳ３０ではステップＳ２５と同様の処理が行われる。
　ステップＳ３１において、主音源分離部８６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部８５から供給された時間周波数スペクトルを主音源成分と副音源成分とに分離させ、主音源低減部８７に供給する。ステップＳ３１では、ステップＳ２６と同様の処理が行われる。
　ステップＳ３２において、主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルおよび副音源時間周波数スペクトルに基づいて式（３３）を計算することで主音源成分を低減させ、その結果得られた主音源低減時間周波数スペクトルを時間周波数合成部８８に供給する。
　ステップＳ３３において、時間周波数合成部８８は、主音源低減部８７から供給された主音源低減時間周波数スペクトルの時間周波数合成を行い、その結果得られた出力信号を、スピーカ駆動信号としてスピーカアレイ２６－２に供給する。ステップＳ３３では、ステップＳ２８と同様の処理が行われる。
　ステップＳ３４において、スピーカアレイ２６は音声を再生する。
　すなわち、スピーカアレイ２６－１は、時間周波数合成部６８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、スピーカアレイ２６－１から主音源の音声が出力される。
　また、スピーカアレイ２６－２は、時間周波数合成部８８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、スピーカアレイ２６－２から副音源の音声が出力される。
　このようにして主音源と副音源の音声が出力されると、再現空間において、収音空間の音場が再現される。収音空間の音場が再現されると音場再現処理は終了する。
　以上のようにして、主音源強調音場再現器１１は、主音源特徴量を用いて、収音により得られた時間周波数スペクトルを主音源成分と副音源成分とに分離させる。そして主音源強調音場再現器１１は、主に主音源の音声を収音して得られた時間周波数スペクトルの主音源成分を強調してスピーカ駆動信号を生成するとともに、主に副音源の音声を収音して得られた時間周波数スペクトルの主音源成分を低減させてスピーカ駆動信号を生成する。
　このように適切に主音源成分を強調したり、主音源成分を低減させたりしてスピーカアレイ２６のスピーカ駆動信号を生成することで、簡単な処理で、より正確に任意の収音空間の音場を再現することができる。
〈第１の実施の形態の変形例１〉
〈主音源強調音場再現器の構成例〉
　なお、以上においては、主音源直線マイクアレイおよび副音源直線マイクアレイとして、それぞれ一つずつのマイクアレイ２３が用いられる例について説明したが、主音源直線マイクアレイや副音源直線マイクアレイとして複数のマイクアレイが用いられてもよい。
　そのような場合、主音源強調音場再現器は、例えば図６に示すように構成される。なお、図６において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図６に示す主音源強調音場再現器１４１は、マイクロフォン２１、主音源学習部２２、マイクアレイ２３－１乃至マイクアレイ２３－４、主音源用駆動信号生成部２４、主音源用駆動信号生成部１５１、副音源用駆動信号生成部２５、副音源用駆動信号生成部１５２、およびスピーカアレイ２６－１乃至スピーカアレイ２６－４から構成される。
　この例では、収音空間には、四つのマイクアレイ２３－１乃至マイクアレイ２３－４が正方形状に配置されている。そして、二つのマイクアレイ２３－１およびマイクアレイ２３－３が主音源直線マイクアレイとして用いられ、残りの二つのマイクアレイ２３－２およびマイクアレイ２３－４が副音源直線マイクアレイとして用いられる。
　また、再現空間には、これらのマイクアレイ２３－１乃至マイクアレイ２３－４に対応するスピーカアレイ２６－１乃至スピーカアレイ２６－４が正方形状に配置されている。
　主音源用駆動信号生成部２４は、図３における場合と同様に、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３－１から供給された収音信号から、主に主音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６－１に供給する。
　主音源用駆動信号生成部１５１は、図３に示した主音源用駆動信号生成部２４と同様の構成とされている。主音源用駆動信号生成部１５１は、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３－３から供給された収音信号から、主に主音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６－３に供給する。したがって、スピーカアレイ２６－３では、スピーカ駆動信号に基づいて主音源の音声が再現される。
　また、副音源用駆動信号生成部２５は、図３における場合と同様に、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３－２から供給された収音信号から、主に副音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６－２に供給する。
　副音源用駆動信号生成部１５２は、図３に示した副音源用駆動信号生成部２５と同様の構成とされている。副音源用駆動信号生成部１５２は、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３－４から供給された収音信号から、主に副音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６－４に供給する。したがって、スピーカアレイ２６－４では、スピーカ駆動信号に基づいて副音源の音声が再現される。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
　図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Me mory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部を備える
　音場再現装置。
（２）
　前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部をさらに備える
　（１）に記載の音場再現装置。
（３）
　前記強調部は、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調する
　（２）に記載の音場再現装置。
（４）
　前記低減部は、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させる
　（３）に記載の音場再現装置。
（５）
　前記強調部は、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させる
　（３）または（４）に記載の音場再現装置。
（６）
　前記低減部は、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させる
　（４）または（５）に記載の音場再現装置。
（７）
　前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれが設けられている
　（１）乃至（６）の何れか一項に記載の音場再現装置。
（８）
　前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれが設けられている
　（２）乃至（６）の何れか一項に記載の音場再現装置。
（９）
　前記第１のマイクアレイは、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置されている
　（２）乃至（６）の何れか一項に記載の音場再現装置。
（１０）
　前記収音部は、前記主音源の近傍に配置されている
　（１）乃至（９）の何れか一項に記載の音場再現装置。
（１１）
　主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
　ステップを含む音場再現方法。
（１２）
　主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
　ステップを含む処理をコンピュータに実行させるプログラム。
　１１　主音源強調音場再現器，　４２　特徴量抽出部，　６６　主音源分離部，　６７　主音源強調部，　８６　主音源分離部，　８７　主音源低減部

Claims (12)

  1. 　主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部を備える
    　音場再現装置。
  2. 　前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部をさらに備える
    　請求項１に記載の音場再現装置。
  3. 　前記強調部は、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調する
    　請求項２に記載の音場再現装置。
  4. 　前記低減部は、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させる
    　請求項３に記載の音場再現装置。
  5. 　前記強調部は、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させる
    　請求項３に記載の音場再現装置。
  6. 　前記低減部は、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させる
    　請求項４に記載の音場再現装置。
  7. 　前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれが設けられている
    　請求項１に記載の音場再現装置。
  8. 　前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれが設けられている
    　請求項２に記載の音場再現装置。
  9. 　前記第１のマイクアレイは、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置されている
    　請求項２に記載の音場再現装置。
  10. 　前記収音部は、前記主音源の近傍に配置されている
    　請求項１に記載の音場再現装置。
  11. 　主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
    　ステップを含む音場再現方法。
  12. 　主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
    　ステップを含む処理をコンピュータに実行させるプログラム。
PCT/JP2015/060554 2014-04-16 2015-04-03 音場再現装置および方法、並びにプログラム WO2015159731A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580018766.5A CN106165444B (zh) 2014-04-16 2015-04-03 声场再现设备、方法和程序
EP15780249.7A EP3133833B1 (en) 2014-04-16 2015-04-03 Sound field reproduction apparatus, method and program
US15/302,468 US10477309B2 (en) 2014-04-16 2015-04-03 Sound field reproduction device, sound field reproduction method, and program
JP2016513715A JP6485711B2 (ja) 2014-04-16 2015-04-03 音場再現装置および方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-084290 2014-04-16
JP2014084290 2014-04-16

Publications (1)

Publication Number Publication Date
WO2015159731A1 true WO2015159731A1 (ja) 2015-10-22

Family

ID=54323943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060554 WO2015159731A1 (ja) 2014-04-16 2015-04-03 音場再現装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10477309B2 (ja)
EP (1) EP3133833B1 (ja)
JP (1) JP6485711B2 (ja)
CN (1) CN106165444B (ja)
WO (1) WO2015159731A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066376A1 (ja) * 2016-10-05 2018-04-12 ソニー株式会社 信号処理装置および方法、並びにプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071526A1 (en) * 2014-09-09 2016-03-10 Analog Devices, Inc. Acoustic source tracking and selection
US10674255B2 (en) 2015-09-03 2020-06-02 Sony Corporation Sound processing device, method and program
JP6841229B2 (ja) 2015-12-10 2021-03-10 ソニー株式会社 音声処理装置および方法、並びにプログラム
WO2017118551A1 (en) * 2016-01-04 2017-07-13 Harman Becker Automotive Systems Gmbh Sound wave field generation
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
JP6881459B2 (ja) 2016-09-01 2021-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体
CN110544486B (zh) * 2019-09-02 2021-11-02 上海其高电子科技有限公司 基于麦克风阵列的语音增强方法及系统
CN110767247B (zh) * 2019-10-29 2021-02-19 支付宝(杭州)信息技术有限公司 语音信号处理方法、声音采集装置和电子设备
CN111272274B (zh) * 2020-02-22 2022-07-19 西北工业大学 基于传声器随机采样的封闭空间低频声场再现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058130A1 (ja) * 2005-11-15 2007-05-24 Yamaha Corporation 遠隔会議装置及び放収音装置
JP2008118559A (ja) * 2006-11-07 2008-05-22 Advanced Telecommunication Research Institute International ３次元音場再生装置
JP2009025490A (ja) * 2007-07-18 2009-02-05 Nippon Telegr & Teleph Corp <Ntt> 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP2014007543A (ja) * 2012-06-25 2014-01-16 Nippon Telegr & Teleph Corp <Ntt> 音場収音再生装置、方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541339B2 (ja) * 1997-06-26 2004-07-07 富士通株式会社 マイクロホンアレイ装置
JP2006245725A (ja) * 2005-03-01 2006-09-14 Yamaha Corp マイクロフォンシステム
JP4896449B2 (ja) * 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
JP2007235646A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 音源分離装置、方法及びプログラム
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
JP5229053B2 (ja) * 2009-03-30 2013-07-03 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
WO2010130084A1 (zh) * 2009-05-12 2010-11-18 华为终端有限公司 远程呈现系统、方法及视频采集设备
JP5678445B2 (ja) * 2010-03-16 2015-03-04 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US8583428B2 (en) * 2010-06-15 2013-11-12 Microsoft Corporation Sound source separation using spatial filtering and regularization phases
KR101715779B1 (ko) * 2010-11-09 2017-03-13 삼성전자주식회사 음원 신호 처리 장치 및 그 방법
WO2012080907A1 (en) * 2010-12-15 2012-06-21 Koninklijke Philips Electronics N.V. Noise reduction system with remote noise detector
CN103650540B (zh) * 2011-05-11 2016-03-09 索尼克埃莫申股份公司 紧凑扬声器阵列的高效声场控制的方法
JP5289517B2 (ja) * 2011-07-28 2013-09-11 株式会社半導体理工学研究センター センサネットワークシステムとその通信方法
JP5494699B2 (ja) * 2012-03-02 2014-05-21 沖電気工業株式会社 収音装置及びプログラム
JP2014215461A (ja) 2013-04-25 2014-11-17 ソニー株式会社 音声処理装置および方法、並びにプログラム
US9812150B2 (en) * 2013-08-28 2017-11-07 Accusonus, Inc. Methods and systems for improved signal decomposition
JP6458738B2 (ja) 2013-11-19 2019-01-30 ソニー株式会社 音場再現装置および方法、並びにプログラム
CN106797526B (zh) 2014-10-10 2019-07-12 索尼公司 音频处理装置、方法和计算机可读记录介质
US10380991B2 (en) 2015-04-13 2019-08-13 Sony Corporation Signal processing device, signal processing method, and program for selectable spatial correction of multichannel audio signal
US10674255B2 (en) 2015-09-03 2020-06-02 Sony Corporation Sound processing device, method and program
JP6841229B2 (ja) 2015-12-10 2021-03-10 ソニー株式会社 音声処理装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058130A1 (ja) * 2005-11-15 2007-05-24 Yamaha Corporation 遠隔会議装置及び放収音装置
JP2008118559A (ja) * 2006-11-07 2008-05-22 Advanced Telecommunication Research Institute International ３次元音場再生装置
JP2009025490A (ja) * 2007-07-18 2009-02-05 Nippon Telegr & Teleph Corp <Ntt> 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
JP2014007543A (ja) * 2012-06-25 2014-01-16 Nippon Telegr & Teleph Corp <Ntt> 音場収音再生装置、方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066376A1 (ja) * 2016-10-05 2018-04-12 ソニー株式会社 信号処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
EP3133833A4 (en) 2017-12-13
CN106165444B (zh) 2019-09-17
US10477309B2 (en) 2019-11-12
CN106165444A (zh) 2016-11-23
US20170034620A1 (en) 2017-02-02
JP6485711B2 (ja) 2019-03-20
EP3133833B1 (en) 2020-02-26
JPWO2015159731A1 (ja) 2017-04-13
EP3133833A1 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
WO2015159731A1 (ja) 音場再現装置および方法、並びにプログラム
US20210089967A1 (en) Data training in multi-sensor setups
JP6637014B2 (ja) 音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法
EP3320692B1 (en) Spatial audio processing apparatus
JP6807029B2 (ja) 音源分離装置および方法、並びにプログラム
EP2777298B1 (en) Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating a spherical harmonics representation or an ambisonics representation of the sound field
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
EP2731359B1 (en) Audio processing device, method and program
WO2013068283A1 (en) Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an ambisonics representation of the sound field
WO2018042791A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN103348703A (zh) 用以利用预先算出的参考曲线来分解输入信号的装置和方法
Sakamoto et al. Sound-space recording and binaural presentation system based on a 252-channel microphone array
JP6604331B2 (ja) 音声処理装置および方法、並びにプログラム
JP2014215461A (ja) 音声処理装置および方法、並びにプログラム
EP3005363A1 (en) Method of audio source separation and corresponding apparatus
CN111009259A (zh) 一种音频处理方法和装置
WO2021212287A1 (zh) 音频信号处理方法、音频处理装置及录音设备
Verron et al. Spectral and spatial multichannel analysis/synthesis of interior aircraft sounds
JP5826712B2 (ja) マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム
JP2021135446A (ja) 音響処理方法
Sakamoto et al. Binaural rendering of spherical microphone array recordings by directly synthesizing the spatial pattern of the head-related transfer function
Kealey et al. Unsupervised Improved MVDR Beamforming for Sound Enhancement
JP2014137389A (ja) 音響解析装置
JP2019016871A (ja) 音像生成装置
JP2009139615A (ja) 音響再生装置、音響再生方法、音響再生プログラム、及び音響再生システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15780249

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016513715

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015780249

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015780249

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15302468

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE