WO2021033222A1 - 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム - Google Patents

音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム Download PDF

Info

Publication number
WO2021033222A1
WO2021033222A1 PCT/JP2019/032193 JP2019032193W WO2021033222A1 WO 2021033222 A1 WO2021033222 A1 WO 2021033222A1 JP 2019032193 W JP2019032193 W JP 2019032193W WO 2021033222 A1 WO2021033222 A1 WO 2021033222A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
feature amount
auxiliary
learning
neural network
Prior art date
Application number
PCT/JP2019/032193
Other languages
English (en)
French (fr)
Inventor
翼 落合
マーク デルクロア
慶介 木下
小川　厚徳
中谷　智広
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2019/032193 priority Critical patent/WO2021033222A1/ja
Priority to US17/635,354 priority patent/US20220335965A1/en
Priority to JP2021540733A priority patent/JP7205635B2/ja
Priority to PCT/JP2020/030523 priority patent/WO2021033587A1/ja
Publication of WO2021033222A1 publication Critical patent/WO2021033222A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Definitions

  • the present invention relates to an audio signal processing device, an audio signal processing method, an audio signal processing program, a learning device, a learning method, and a learning program.
  • Conventional neural networks in many objective speaker extraction techniques include a configuration having a main neural network and an auxiliary neural network.
  • the conventional target speaker extraction technology extracts auxiliary features by inputting prior information that serves as a clue for the target speaker into the auxiliary neural network. Then, in the conventional target speaker extraction technique, a mask for extracting the target speaker's voice signal included in the mixed voice signal by the main neural network based on the input mixed voice signal and the auxiliary feature amount. Estimate the information. By using this mask information, the audio signal of the target speaker can be extracted from the input mixed audio signal.
  • a method of inputting a pre-recorded voice signal of the target speaker into the auxiliary neural network see, for example, Non-Patent Document 1 and an image of the target speaker.
  • a method of inputting (mainly around the mouth) into an auxiliary neural network see, for example, Non-Patent Document 2) is known.
  • Non-Patent Document 1 For the convenience of utilizing the speaker property in the voice signal, the extraction accuracy of the auxiliary feature amount is lowered when there is a speaker having similar voice properties in the mixed voice signal. There is a problem that it will be stored.
  • the technology described in Non-Patent Document 2 utilizes language-related information derived from the image around the mouth, it can operate relatively robustly even for a mixed audio signal including a speaker with a similar voice. Be expected.
  • the speaker clues (voice) in the technology described in Non-Patent Document 1 can extract auxiliary features with stable quality once pre-recorded.
  • the quality of the speaker clues (video) in the technology described in Non-Patent Document 2 varies greatly depending on the movement of the speaker at each time, so that it is not always possible to accurately extract the signal of the target speaker. There is a problem that there is no.
  • Non-Patent Document 2 for example, the direction of the speaker's face changes, or another speaker or object is reflected in the foreground of the target speaker, so that a part of the target speaker is hidden. As a result, it is not always possible to obtain information on the movement of the speaker's mouth with a certain quality. As a result, in the technique described in Non-Patent Document 2, the mask estimation accuracy may be lowered by estimating the mask information by relying on the auxiliary information obtained from the poor quality video information.
  • the present invention has been made in view of the above, and is a voice signal processing device, a voice signal processing method, and a voice signal processing capable of estimating a voice signal of a target speaker included in a mixed voice signal with stable accuracy. It is an object of the present invention to provide a program, a learning device, a learning method and a learning program.
  • the voice signal processing apparatus uses the first auxiliary neural network to convert the input first signal into the first auxiliary feature amount.
  • the first signal has a signal processing unit, and the first signal is a voice signal when the target speaker speaks alone at a time point different from the mixed voice signal, and the second signal is said. It is characterized in that it is the video information of the speaker in the scene where the mixed audio signal is uttered.
  • the learning device is a selection unit that selects a mixed audio signal for learning, a target speaker's audio signal, and a speaker's video information at the time of recording the mixed audio signal for learning from the learning data.
  • the first auxiliary feature amount conversion unit that converts the audio signal of the target speaker into the first auxiliary feature amount using the first auxiliary neural network, and the mixing for the learning using the second auxiliary neural network.
  • the second auxiliary feature amount conversion unit that converts the speaker's video information at the time of recording the audio signal into the second auxiliary feature amount and the main neural network, the feature amount of the mixed audio signal for learning, the first auxiliary Based on the feature amount and the second auxiliary feature amount, an audio signal processing unit that estimates information about the target speaker's audio signal included in the mixed audio signal for learning, and each neural network until a predetermined criterion is satisfied.
  • an audio signal processing unit that estimates information about the target speaker's audio signal included in the mixed audio signal for learning, and each neural network until a predetermined criterion is satisfied.
  • the voice signal of the target speaker included in the mixed voice signal can be estimated with stable accuracy.
  • FIG. 1 is a diagram showing an example of a configuration of an audio signal processing device according to an embodiment.
  • FIG. 2 is a diagram showing an example of the configuration of the learning device according to the embodiment.
  • FIG. 3 is a flowchart showing a processing procedure of audio signal processing according to the embodiment.
  • FIG. 4 is a flowchart showing a processing procedure of the learning process according to the embodiment.
  • FIG. 5 is a diagram showing an example of a computer in which a voice signal processing device or a learning device is realized by executing a program.
  • the audio signal processing device generates auxiliary information by using the video information of the speaker at the time of recording the input mixed audio signal in addition to the audio signal of the target speaker.
  • the voice signal processing apparatus has two auxiliary neural networks (first auxiliary neural network and one auxiliary neural network) in addition to the main neural network that estimates information about the voice signal of the target speaker included in the mixed voice signal. It has a second auxiliary neural network) and an auxiliary information generation unit that generates one auxiliary information by using the outputs of these two auxiliary neural networks.
  • FIG. 1 is a diagram showing an example of the configuration of the audio signal processing device according to the embodiment.
  • a predetermined program is read into a computer or the like including a ROM (Read Only Memory), a RAM (Random Access Memory), a CPU (Central Processing Unit), and the CPU. It is realized by executing a predetermined program.
  • the audio signal processing device 10 has an audio signal processing unit 11, a first auxiliary feature amount conversion unit 12, a second auxiliary feature amount conversion unit 13, and an auxiliary information generation unit 14 (generation unit).
  • a mixed voice signal including voices from a plurality of sound sources is input to the voice signal processing device 10.
  • the audio signal of the target speaker and the video information of the speaker at the time of recording the input mixed audio signal are input to the audio signal processing device 10.
  • the audio signal of the target speaker is a signal obtained by recording what the target speaker utters independently in a scene (place, time) different from the scene in which the mixed audio signal is acquired.
  • the voice signal of the target speaker does not include the voices of other speakers, but may include background noise and the like.
  • the video information of the speaker at the time of recording the mixed audio signal is a video including at least the target speaker in the scene in which the mixed audio signal to be processed by the audio signal processing device 10 is acquired, for example, the purpose of being present. This is a video of the speaker.
  • the audio signal processing device 10 estimates and outputs information regarding the audio signal of the target speaker included in the mixed audio signal.
  • the first auxiliary feature amount conversion unit 12 converts the audio signal of the target speaker of the input speaker into the first auxiliary feature amount Z s A by using the first auxiliary neural network.
  • the first auxiliary neural network is an SCnet (Speaker Clue extraction network) trained to extract features from an input audio signal.
  • the first auxiliary feature amount conversion unit 12 converts the input target speaker's voice signal into the first auxiliary feature amount Z s A by inputting the input target speaker's voice signal into the first auxiliary neural network. Output.
  • the audio signal of the target speaker is, for example, an amplitude spectrum feature C s obtained by applying a short-time Fourier transform (STFT) to a pre-recorded audio signal of the target speaker alone.
  • STFT short-time Fourier transform
  • the second auxiliary neural network is an SCnet trained to extract features from the speaker's video information.
  • the second auxiliary feature amount conversion unit 13 inputs the video information of the speaker at the time of recording the mixed audio signal to the second auxiliary neural network, so that the video information of the speaker at the time of recording the mixed audio signal is input to the second auxiliary feature amount. Converted to Z s V and output.
  • Non-Patent Document 1 As the video information of the speaker when recording the mixed audio signal, for example, the same video information as in Non-Patent Document 1 may be used. Specifically, when the face area of the target speaker is extracted from the video information by using a model learned in advance to extract the face area from the video as the video information of the speaker when recording the mixed audio signal. Purpose to be obtained An embedded vector (face embedding vector) C S V corresponding to the speaker's face area is used. The embedded vector is, for example, a feature quantity obtained by Facenet in Reference 1. When the frame of the video information is different from the frame of the mixed audio signal, the frame of the video information may be repeatedly arranged to match the number of frames. Reference 1: F. Schroff, D. Kalenichenko, and J. Philbin, “Facenet: A unified embedding for face recognition and clustering”, in IEEE conf. On computer and pattern recognition (CVPR), pp. 815-823, 2015 ..
  • CVPR computer and pattern recognition
  • the auxiliary information generation unit 14 uses a weighted sum obtained by multiplying the first auxiliary feature amount Z s A and the second auxiliary feature amount Z s V by attention weights as the auxiliary feature amount. It is realized by a caution mechanism that outputs.
  • the attention weight ⁇ ⁇ st ⁇ is learned in advance by the method shown in Reference 2.
  • Reference 2 D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to aligh and translate”, in International Conf. On Learning Representations (ICLR), 2015.
  • weight ⁇ ⁇ st ⁇ ⁇ ⁇ A , V ⁇ is the first intermediate feature quantity z M t and the feature quantity of the target speaker in the mixed voice signal ⁇ z ⁇ st ⁇ ⁇ ⁇ A , V ⁇ and Is calculated as in equations (2) and (3).
  • w, W, V, and v are learned weights and bias parameters.
  • the audio signal processing unit 11 uses the main neural network to estimate information about the audio signal of the target speaker included in the mixed audio signal.
  • the information regarding the target speaker's voice signal is, for example, mask information for extracting the target speaker's voice from the mixed voice signal, or the estimation result itself of the target speaker's voice signal included in the mixed voice signal. ..
  • the audio signal processing unit 11 has the feature amount of the input mixed voice signal, the first auxiliary feature amount converted by the first auxiliary feature amount conversion unit 12, and the second auxiliary feature amount conversion unit 13 converted by the second auxiliary feature amount conversion unit 13. 2 Based on the auxiliary feature amount, the information about the audio signal of the target speaker included in the mixed audio signal is estimated.
  • the audio signal processing unit 11 includes a first conversion unit 111, an integration unit 112, and a second conversion unit 113.
  • the first main neural network is a trained deep neural network (DNN) that converts a mixed audio signal into a first intermediate feature.
  • DNN deep neural network
  • As the input mixed audio signal Y for example, information obtained by applying an SFTT is used.
  • the second conversion unit 113 uses the second main neural network to estimate information about the voice signal of the target speaker included in the mixed voice signal.
  • the second main neural network is a neural network that estimates mask information based on the input features.
  • the second neural network is composed of, for example, a trained DNN, a subsequent linear conversion layer, and an activation layer, and after converting the second intermediate feature amount to the third intermediate feature amount by the DNN, the linear conversion layer This is converted into the fourth intermediate feature amount, and the sigmoid function is applied to the fourth intermediate feature amount to estimate the information about the target speaker's voice signal included in the output mixed voice signal.
  • the target speaker Audio signal ⁇ X s is obtained.
  • the mixing so as to output the estimation result ⁇ X s direct target speaker of the audio signal as the information about the audio signal of the target speaker included in the audio signal, it is also possible to constitute the main neural network. This can be realized by changing the learning method of the learning device described later.
  • FIG. 2 is a diagram showing an example of the configuration of the learning device according to the embodiment.
  • the learning device 20 is realized by, for example, reading a predetermined program into a computer or the like including a ROM, RAM, CPU, etc., and the CPU executing the predetermined program.
  • the learning device 20 includes an audio signal processing unit 21, a first auxiliary feature amount conversion unit 22, a second auxiliary feature amount conversion unit 23, an auxiliary information generation unit 24, a learning data selection unit 25, and an update unit.
  • the audio signal processing unit 21 has a first conversion unit 211, an integration unit 212, and a second conversion unit 213.
  • Each processing unit of the learning device 20 performs the same processing as the processing unit of the same name of the audio signal processing device 10 except for the learning data selection unit 25 and the update unit 26. Further, the mixed audio signal input to the learning device 20, the audio signal of the target speaker, and the video information of the speaker at the time of recording the input mixed audio signal are learning data, and the target talk included in the mixed audio signal. It is assumed that the voice signal of the person alone is known. Further, appropriate initial values are set in advance for the parameters of each neural network of the learning device 20.
  • the learning data selection unit 25 selects a set of the mixed audio signal for learning, the audio signal of the target speaker, and the video information of the speaker at the time of recording the mixed audio signal for learning from the learning data.
  • the learning data is a data set including a plurality of sets of a mixed audio signal, a target speaker's audio signal, and a speaker's video information at the time of recording the mixed audio signal, which are prepared in advance for learning.
  • the learning data selection unit 25 uses the first conversion unit 211 and the first auxiliary unit to input the selected mixed audio signal for learning, the audio signal of the target speaker, and the video information of the speaker at the time of recording the mixed audio signal for learning. Inputs are made to the feature amount conversion unit 22 and the second auxiliary feature amount conversion unit 23, respectively.
  • the update unit 26 learns the parameters of each neural network.
  • the update unit 26 causes the first auxiliary neural network and the second auxiliary neural network of the main neural network to execute multi-task learning.
  • the update unit 26 can also make each neural network execute single-task learning.
  • the audio signal processing device 10 is used to record the audio signal of the target speaker and the mixed audio signal of the speaker. High accuracy can be maintained even if only one of the video information is input.
  • the update unit 26 updates the parameters of each neural network until the predetermined criteria are satisfied, and the learning data selection unit 25, the first auxiliary feature amount conversion unit 22, the second auxiliary feature amount conversion unit 23, and the auxiliary unit 26.
  • the parameters of each neural network satisfying the predetermined criteria are set.
  • the values of the parameters of each neural network set in this way are applied as the parameters of each neural network in the audio signal processing device 10.
  • the update unit 26 updates the parameters by using a well-known parameter update method such as the error back propagation method.
  • the predetermined criterion is, for example, when a predetermined number of repetitions is reached.
  • the predetermined standard may be when the update amount of the parameter is less than the predetermined value.
  • the predetermined reference may be when the value of the loss function L MTL calculated for parameter update is less than the predetermined value.
  • the first loss L AV the weighted sum of the second loss L A and the third loss L V used.
  • the loss is the distance between the estimation result (estimated speaker voice signal) of the target speaker's voice signal included in the mixed voice signal in the learning data and the voice signal (teacher signal) of the correct target speaker.
  • the first loss LAV is a loss when an estimated speaker audio signal is obtained by using both the first auxiliary neural network and the second auxiliary neural network.
  • the second loss L A a loss when only give the estimated speaker's speech signal first auxiliary neural network.
  • the third loss L V a loss when obtaining the estimated speaker's speech signal using only the second auxiliary neural network.
  • the weights ⁇ , ⁇ , and ⁇ of each loss may be set so that at least one or more weights are non-zero. Therefore, one of the weights ⁇ , ⁇ , and ⁇ may be set to 0, and the corresponding loss may not be considered.
  • the "information about the audio signal of the target speaker included in the mixed audio signal" which is the output of the main neural network is the audio signal of the target speaker from the mixed audio signal. It was explained that it can be used as mask information for extraction, or it can be used as the estimation result itself of the target speaker's voice signal included in the mixed voice signal.
  • the output of the main neural network in the learning device is regarded as the estimation result of the mask information, and the estimated mask information is used in the equation (5).
  • the estimated speaker voice signal is obtained by applying it to the mixed voice signal as described above, and the distance between the estimated speaker voice signal and the teacher signal is calculated as the above loss.
  • the output of the main neural network in this learning device is used as the estimated speaker audio signal. Considering this, the above loss may be calculated.
  • the parameters of the first auxiliary neural network, the second auxiliary neural network, and the main neural network are set by the audio signal processing unit 11 as the feature amount of the mixed voice signal for learning and the first auxiliary feature amount.
  • FIG. 3 is a flowchart showing a processing procedure of audio signal processing according to the embodiment.
  • the audio signal processing device 10 receives the input of the mixed audio signal, the audio signal of the target speaker, and the video information of the speaker at the time of recording the input mixed audio signal (steps S1 and S3). , S5).
  • the first conversion unit 111 converts the input mixed audio signal Y into the first intermediate feature amount by using the first main neural network (step S2).
  • the first auxiliary feature amount conversion unit 12 converts the input audio signal of the target speaker of the speaker into the first auxiliary feature amount by using the first auxiliary neural network (step S4).
  • the second auxiliary feature amount conversion unit 13 converts the video information of the speaker at the time of recording the input mixed audio signal into the second auxiliary feature amount by using the second auxiliary neural network (step S6).
  • the auxiliary information generation unit 14 generates an auxiliary feature amount based on the first auxiliary feature amount and the second auxiliary feature amount (step S7).
  • the integration unit 112 integrates the first intermediate feature amount converted by the first conversion unit 111 and the auxiliary information generated by the auxiliary information generation unit 14 to generate the second intermediate feature amount (step S8).
  • the second conversion unit 113 converts the input second intermediate feature amount into information related to the voice signal of the target speaker included in the mixed voice signal by using the second main neural network (step S9).
  • FIG. 4 is a flowchart showing a processing procedure of the learning process according to the embodiment.
  • the learning data selection unit 25 sets a set of a mixed voice signal for learning, a voice signal of a target speaker, and a video information of a speaker at the time of recording the mixed voice signal for learning from the learning data. Is selected (step S21).
  • the learning data selection unit 25 converts the selected mixed audio signal for learning, the audio signal of the target speaker, and the video information of the speaker at the time of recording the mixed audio signal for learning into the first conversion unit 211 and the first auxiliary feature amount.
  • Inputs are made to the conversion unit 22 and the second feature amount conversion unit 23, respectively (steps S22, S24, S26).
  • Steps S23, S25, S27 to S30 are the same processes as steps S2, S4, S6 to S9 shown in FIG.
  • the update unit 26 determines whether or not the predetermined criteria are satisfied (step S31). When the predetermined criteria are not satisfied (step S31: No), the update unit 26 updates the parameters of each neural network, returns to step S21, and returns to the learning data selection unit 25, the first auxiliary feature amount conversion unit 22, and the second auxiliary. The processing of the feature amount conversion unit 23, the auxiliary information generation unit 24, and the audio signal processing unit 21 is repeatedly executed. When the predetermined criterion is satisfied (step S31: Yes), the update unit 26 sets each parameter satisfying the predetermined criterion as a parameter of each trained neural network (step S32).
  • the data set is a data set containing a mixed audio signal of two speakers generated by a mixed speech at an SNR (Signal to Noise Ratio) of 0.5 dB.
  • SNR Signal to Noise Ratio
  • the input mixed audio signal Y information obtained by applying a short-time Fourier transform (STFT) to the mixed audio signal was used.
  • STFT short-time Fourier transform
  • the audio signal of the target speaker the amplitude spectrum feature obtained by applying the FTFT to the audio signal with a 60 ms window length and a 20 ms window shift was used.
  • Facenet was used as the video information, and an embedded vector corresponding to the face region of the target speaker extracted from each video frame (25 fps, for example, 30 ms shift) was used.
  • Table 1 shows the results of comparing the accuracy of audio signal processing between the conventional method and the method of the embodiment.
  • Baseline-A is a conventional audio signal processing method that uses auxiliary information based on audio information
  • Baseline-V is a conventional audio signal processing method that uses auxiliary information based on video information
  • SpeakerBeam-AV is an audio signal processing method according to the present embodiment, which uses two auxiliary information based on each of audio information and video information.
  • Table 1 shows the SDR (Signal-to-Distortion Ratio) for the target speaker's audio signal extracted from the mixed audio signal using each of these methods.
  • SDR Signal-to-Distortion Ratio
  • “Same” indicates that the target speaker and other speakers have the same gender.
  • Diff indicates that the target speaker and another speaker have different genders.
  • All indicates the average SDR for the total mixed audio signal.
  • SpeakerBeam-AV showed better results under all conditions than the conventional Baseline-A and Baseline-V.
  • SpeakerBeam-AV showed an accuracy closer to the result of the Diff condition, which was very good compared to the conventional method, even for the result for the Same condition, which tended to be less accurate with the conventional method. ..
  • the audio signal processing accuracy was evaluated depending on whether or not multitask learning was executed.
  • Table 2 shows the results of comparing the audio signal processing accuracy when multitask learning is executed and when learning by single task is executed instead of multitask learning in the learning method according to the present embodiment.
  • “Speaker Beam-AV” indicates a voice signal processing method in which learning by a single task is executed for each neural network of the voice signal processing device 10, and “Speaker Beam-AV-MTL” indicates each of the voice signal processing devices 10.
  • An audio signal processing method in which learning by multitasking is executed for a neural network is shown.
  • ⁇ , ⁇ , ⁇ is the weights ⁇ , ⁇ , ⁇ of each loss in the equation (6).
  • “AV” of “Clues” indicates the case where both the voice signal of the target speaker and the video information of the speaker at the time of recording the mixed voice signal are input as auxiliary information
  • "A" is auxiliary information.
  • “V” indicates a case where only the video information of the speaker at the time of recording the mixed voice signal is input as auxiliary information.
  • SpeakerBeam-AV maintains a certain degree of accuracy when both the audio signal of the target speaker and the video information of the speaker at the time of recording the mixed audio signal are input as auxiliary information. be able to.
  • SpeakerBeam-AV cannot maintain accuracy when only one of the audio signal of the target speaker and the video information of the speaker at the time of recording the mixed audio signal is input as auxiliary information.
  • SpeakerBeam-AV-MTL maintains a certain level of accuracy even when only one of the target speaker's voice and the speaker's video information at the time of recording the mixed audio signal is input as auxiliary information. Can be done.
  • SpeakerBeam-AV-MTL uses conventional Baseline-A and Baseline even when only one of the target speaker's voice and the speaker's video information at the time of recording the mixed audio signal is input as auxiliary information. It maintains higher accuracy than -V (see Table 1).
  • SpeakerBeam-AV-MTL shows the same accuracy as SpeakerBeam-AV even when both the audio signal of the target speaker and the video information of the speaker at the time of recording the mixed audio signal are input as auxiliary information. Therefore, in a system to which SpeakerBeam-AV-MTL is applied, when both the audio signal of the target speaker and the video information of the speaker at the time of recording the mixed audio signal are input as auxiliary information (AV), the auxiliary information When only the audio signal of the target speaker is input (A) and when only the video information of the speaker at the time of recording the mixed audio signal is input as auxiliary information (V), each case is supported. Highly accurate audio signal processing can be performed simply by switching to the mode.
  • the audio signal processing device 10 has, as auxiliary information, the first auxiliary feature amount obtained by converting the voice signal of the target speaker using the first auxiliary neural network, and the speaker at the time of recording the input mixed audio signal.
  • the mask information for extracting the audio signal of the target speaker included in the mixed audio signal is estimated by using the second auxiliary feature amount obtained by converting the video information of the above using the second auxiliary neural network.
  • the audio signal processing device 10 is robust to the first auxiliary feature amount capable of extracting the auxiliary feature amount with stable quality and the mixed audio signal including speakers with similar voices. Since the mask information is estimated using both the auxiliary features and the auxiliary features, the mask information can be estimated with stable accuracy.
  • the learning device 20 by causing each neural network to execute multi-task learning, as shown in the result of the evaluation experiment, the voice signal of the target speaker and the mixed voice signal are recorded. High accuracy can be maintained in the audio signal processing device 10 even if only one of the video information of the speaker at the time is input.
  • the mask information for extracting the voice signal of the target speaker included in the mixed voice signal can be estimated with stable accuracy.
  • each component of each of the illustrated devices is a functional concept and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
  • the audio signal processing device 10 and the learning device 20 may be an integrated device.
  • each processing function performed by each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
  • all or part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed. All or part of it can be done automatically by a known method.
  • each process described in the present embodiment is not only executed in chronological order according to the order of description, but may also be executed in parallel or individually depending on the processing capacity of the device that executes the process or if necessary. ..
  • the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above document and drawings can be arbitrarily changed unless otherwise specified.
  • FIG. 5 is a diagram showing an example of a computer in which the audio signal processing device 10 or the learning device 20 is realized by executing the program.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • Memory 1010 includes ROM 1011 and RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1031.
  • the disk drive interface 1040 is connected to the disk drive 1041.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • the video adapter 1060 is connected to, for example, the display 1130.
  • the hard disk drive 1031 stores, for example, the OS 1091, the application program 1092, the program module 1093, and the program data 1094. That is, the program that defines each process of the audio signal processing device 10 or the learning device 20 is implemented as a program module 1093 in which a code that can be executed by the computer 1000 is described.
  • the program module 1093 is stored in, for example, the hard disk drive 1031.
  • a program module 1093 for executing processing similar to the functional configuration in the audio signal processing device 10 or the learning device 20 is stored in the hard disk drive 1031.
  • the hard disk drive 1031 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1031. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1031 into the RAM 1012 and executes them as needed.
  • the program module 1093 and the program data 1094 are not limited to the case where they are stored in the hard disk drive 1031, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1041 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Then, the program module 1093 and the program data 1094 may be read by the CPU 1020 from another computer via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Audio signal processing device 20 Learning device 11, 21 Audio signal processing unit 12, 22 First auxiliary feature amount conversion unit 13,23 Second auxiliary feature amount conversion unit 14, 24 Auxiliary information generation unit 25 Learning data selection unit 26 Update unit 111,211 1st conversion unit 112,212 Integration unit 113,213 2nd conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

音声信号処理装置（１０）は、第１補助ニューラルネットワークを用いて、入力された第１の信号を第１補助特徴量に変換する第１補助特徴量変換部（１２）と、第２補助ニューラルネットワークを用いて、入力された第２の信号を第２補助特徴量に変換する第２補助特徴量変換部（１３）と、メインニューラルネットワークを用いて、入力された混合音声信号の特徴量、第１補助特徴量及び第２補助特徴量を基に、混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定する音声信号処理部（１１）と、を有し、第１の信号は、混合音声信号とは異なる時点において、目的話者が単独で発話したときの音声信号であり、第２の信号は、混合音声信号が発声されるシーンにおける話者の映像情報である。

Description

音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
　本発明は、音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラムに関する。
　ニューラルネットワークを用いて混合音声信号から目的とする話者（目的話者）の音声信号を抽出する技術の開発が進められている。多くの目的話者抽出技術における従来のニューラルネットワークは、メインのニューラルネットワークと補助ニューラルネットワークとを有する構成を備える。
　例えば、従来の目的話者抽出技術は、目的話者の手がかりとなる事前情報を補助ニューラルネットワークに入力することによって補助特徴量を抽出する。そして、従来の目的話者抽出技術は、入力された混合音声信号と補助特徴量とに基づいて、メインのニューラルネットワークにより、混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定する。このマスク情報を用いることによって、入力混合音声信号から目的話者の音声信号を抽出することができる。
　このとき、目的話者の音声を抽出するための手がかりとして、事前録音された目的話者の音声信号を補助ニューラルネットワークに入力する方法（例えば、非特許文献１参照）と、目的話者の映像（主に、口周り）を補助ニューラルネットワークに入力する方法（例えば、非特許文献２参照）が知られている。
M.　Delcroix,　K.　Zmolikova,　K.　Kinoshita,　A.　Ogawa,　and　T.　Nakatani,　"SINGLE　CHANNEL　TARGET　SPEAKER　EXTRACTION　AND　RECOGNITION　WITH　SPEAKER BEAM",　in　Proc.　of　ICASSP’18,　pp.5554－5558,　2018. A.　Ephrat,　I.　Mosseri,　O.　Lang,　T.　Dekel,　K.　Wilson,　A.　Hassidim,　W.　T.　Freeman,　and　M.　Rubinstein,　"Looking　to　Listen　at　the　Cocktail　Party:　A　Speaker-Independent　Audio-Visual　Model　for　Speech　Separation",　ACM　Trans.　on　Graphics,　Vol.　37,　No.　4,　2018.
　非特許文献１記載の技術では、音声信号における話者性を活用する都合上、混合音声信号内に声の性質が似た話者が存在する場合に、補助特徴量の抽出精度が低下してしまうという問題がある。一方、非特許文献２記載の技術では、口周りの映像に由来する言語関連の情報を活用するため、似た声の話者を含む混合音声信号に対しても比較的頑健に動作することが期待される。
　また、非特許文献１記載の技術における話者手がかり（音声）は、一度事前録音さえしてしまえば、安定した品質で補助特徴量を抽出可能である。これに対し、非特許文献２記載の技術における話者手がかり（映像）は、時刻ごとの話者の動きによって品質が大きく異なってしまうため、常に精度よく目的話者の信号を抽出できるとは限らないという問題がある。
　非特許文献２記載の技術では、例えば、話者の顔の向きが変化したり、他の話者や物が目的話者の前景に映りこむことで目的話者の一部が隠れてしまったりする結果、必ずしも一定の品質で話者の口の動きの情報が取れるとは限らない。この結果、非特許文献２記載の技術では、品質の悪い映像情報から得た補助情報を頼りにマスク情報を推定することによって、マスクの推定精度が低下してしまう可能性がある。
　本発明は、上記に鑑みてなされたものであって、混合音声信号に含まれる目的話者の音声信号を安定した精度で推定することができる音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る音声信号処理装置は、第１補助ニューラルネットワークを用いて、入力された第１の信号を第１補助特徴量に変換する第１補助特徴量変換部と、第２補助ニューラルネットワークを用いて、入力された第２の信号を第２補助特徴量に変換する第２補助特徴量変換部と、メインニューラルネットワークを用いて、入力された混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定する音声信号処理部と、を有し、前記第１の信号は、前記混合音声信号とは異なる時点において、前記目的話者が単独で発話したときの音声信号であり、前記第２の信号は、前記混合音声信号が発声されるシーンにおける話者の映像情報であることを特徴とする。
　また、本発明に係る学習装置は、学習データの中から、学習用の混合音声信号、目的話者の音声信号及び前記学習用の混合音声信号収録時の話者の映像情報を選択する選択部と、第１補助ニューラルネットワークを用いて、前記目的話者の音声信号を第１補助特徴量に変換する第１補助特徴量変換部と、第２補助ニューラルネットワークを用いて、前記学習用の混合音声信号収録時の話者の映像情報を第２補助特徴量に変換する第２補助特徴量変換部と、メインニューラルネットワークを用いて、前記学習用の混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記学習用の混合音声信号に含まれる目的話者の音声信号に関する情報を推定する音声信号処理部と、所定基準を満たすまで、各ニューラルネットワークのパラメータを更新し、前記選択部、前記第１補助特徴量変換部、前記第２補助特徴量変換部及び前記音声信号処理部の処理を繰り返し実行させることによって、前記所定基準を満たす各ニューラルネットワークのパラメータを設定する更新部と、を有することを特徴とする。
　本発明によれば、混合音声信号に含まれる目的話者の音声信号を安定した精度で推定することができる。
図１は、実施の形態に係る音声信号処理装置の構成の一例を示す図である。 図２は、実施の形態に係る学習装置の構成の一例を示す図である。 図３は、実施の形態に係る音声信号処理の処理手順を示すフローチャートである。 図４は、実施の形態に係る学習処理の処理手順を示すフローチャートである。 図５は、プログラムが実行されることにより、音声信号処理装置或いは学習装置が実現されるコンピュータの一例を示す図である。
　以下に、本願に係る音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
　なお、以下では、ベクトル、行列又はスカラーであるＡに対し、“＾Ａ”と記載する場合は「“Ａ”の直上に“＾”が記された記号」と同等であるとする。
［実施の形態］
［音声信号処理装置］
　まず、実施の形態に係る音声信号処理装置について説明する。本実施の形態に係る音声信号処理装置は、目的話者の音声信号の他に、入力される混合音声信号収録時の話者の映像情報を用いて補助情報を生成する。言い換えると、本実施の形態に係る音声信号処理装置は、混合音声信号に含まれる目的話者の音声信号に関する情報を推定するメインニューラルネットワークに加え、２つの補助ニューラルネットワーク（第１補助ニューラルネットワーク及び第２補助ニューラルネットワーク）と、これら２つの補助ニューラルネットワークの出力を用いて１つの補助情報を生成する補助情報生成部とを有する。
　図１は、実施の形態に係る音声信号処理装置の構成の一例を示す図である。実施の形態に係る音声信号処理装置１０は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＣＰＵ（Central　Processing　Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。
　図１に示すように、音声信号処理装置１０は、音声信号処理部１１、第１補助特徴量変換部１２、第２補助特徴量変換部１３及び補助情報生成部１４（生成部）を有する。音声信号処理装置１０には、複数の音源からの音声を含む混合音声信号が入力される。さらに、音声信号処理装置１０には、目的話者の音声信号、及び、入力された混合音声信号収録時の話者の映像情報が入力される。ここで、目的話者の音声信号とは、混合音声信号を取得しているシーンとは別のシーン（場所、時刻）において、目的話者が単独で発話したものを録音した信号である。目的話者の音声信号には、他の話者の音声は含まれないが、背景雑音等は含まれていても良い。また、混合音声信号収録時の話者の映像情報は、音声信号処理装置１０の処理対象である混合音声信号を取得しているシーンにおける少なくとも目的話者を含む映像、例えば、その場にいる目的話者の様子を撮影した映像である。音声信号処理装置１０は、混合音声信号に含まれる目的話者の音声信号に関する情報を推定して出力する。
　第１補助特徴量変換部１２は、第１補助ニューラルネットワークを用いて、入力話者の目的話者の音声信号を第１補助特徴量Ｚｓ Ａに変換する。第１補助ニューラルネットワークは、入力された音声信号から特徴量を抽出するように学習させたＳＣｎｅｔ（Speaker　Clue　extraction　network）である。第１補助特徴量変換部１２は、入力された目的話者の音声信号を第１補助ニューラルネットワークに入力することによって、目的話者の音声信号を第１補助特徴量Ｚｓ Ａに変換して出力する。目的話者の音声信号としては、例えば、予め録音しておいた目的話者単独の音声信号に短時間フーリエ変換（ＳＴＦＴ：Short-Time　Fourier　Transform）を適用して得た振幅スペクトル特徴量Ｃｓ Ａの系列を用いる。なお、ｓは、話者のインデックスを表す。
　第２補助特徴量変換部１３は、第２補助ニューラルネットワークを用いて、入力される混合音声信号収録時の話者の映像情報を第２補助特徴量Ｚｓ Ｖ（Ｚｓ Ｖ＝ｚｓｔ Ｖ；ｔ＝１，２，・・・，Ｔ）に変換する。第２補助ニューラルネットワークは、話者の映像情報から特徴量を抽出するように学習させたＳＣｎｅｔである。第２補助特徴量変換部１３は、混合音声信号収録時の話者の映像情報を第２補助ニューラルネットワークに入力することによって、混合音声信号収録時の話者の映像情報を第２補助特徴量Ｚｓ Ｖに変換して出力する。
　混合音声信号収録時の話者の映像情報としては、例えば、非特許文献１と同じ映像情報を用いればよい。具体的には、混合音声信号収録時の話者の映像情報として、映像から顔領域を抽出するように予め学習されたモデルを用いて、映像情報から目的話者の顔領域を抽出する際に得られる目的話者の顔領域に対応する埋め込みベクトル（face　embedding　vector）ＣＳ Ｖを用いる。埋め込みベクトルは、例えば、参考文献１のFacenetで得られる特徴量である。映像情報のフレームが、混合音声信号のフレームと異なる場合には、映像情報のフレームを繰り返し配置して、フレーム数を合わせればよい。
　参考文献１：F.　Schroff,　D.　Kalenichenko,　and　J.　Philbin,　“Facenet:　A　unified　embedding　for　face　recognition　and　clustering”,　in　IEEE　conf.　on　computer　and　pattern　recognition　(CVPR),　pp.　815-823,　2015.
　補助情報生成部１４は、第１補助特徴量Ｚｓ Ａ及び第２補助特徴量Ｚｓ Ｖを基に補助特徴量Ｚｓ ＡＶ（Ｚｓ ＡＶ＝ｚｓｔ ＡＶ；ｔ＝１，２，・・・，Ｔ）を生成する。Ｔは、時間フレームの数を示す。補助情報生成部１４は、式（１）に示すように、第１補助特徴量Ｚｓ Ａと第２補助特徴量Ｚｓ Ｖとにそれぞれ注意重みを乗じた重みづけ和を、補助特徴量として出力するような注意機構により実現される。
Figure JPOXMLDOC01-appb-M000001
　ここで、注意重み｛αΨ ｓｔ｝は、参考文献２に示されるような手法で予め学習しておく。
　参考文献２：D.　Bahdanau,　K.　Cho,　and　Y.　Bengio,　“Neural　machine　translation　by　jointly　learning　to　aligh　and　translate”,　in　International　Conf.　on　Learning　Representations　(ICLR),　2015.　
　また、注意重み｛αΨ ｓｔ｝Ψ∈｛Ａ，Ｖ｝は、混合音声信号の第１中間特徴量ｚＭ ｔと目的話者の特徴量｛ｚΨ ｓｔ｝Ψ∈｛Ａ，Ｖ｝とを用いて、式（２）、式（３）のように計算される。ｗ、Ｗ，Ｖ，ｖは、学習済みの重み、バイアスパラメータである。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　音声信号処理部１１は、メインニューラルネットワークを用いて、混合音声信号に含まれる目的話者の音声信号に関する情報を推定する。目的話者の音声信号に関する情報とは、例えば、混合音声信号から目的話者の音声を抽出するためのマスク情報、あるいは、混合音声信号に含まれる目的話者の音声信号の推定結果そのものである。音声信号処理部１１は、入力された混合音声信号の特徴量、第１補助特徴量変換部１２によって変換された第１補助特徴量、及び、第２補助特徴量変換部１３によって変換された第２補助特徴量を基に、混合音声信号に含まれる目的話者の音声信号に関する情報を推定する。音声信号処理部１１は、第１変換部１１１、統合部１１２及び第２変換部１１３を有する。
　第１変換部１１１は、第１メインニューラルネットワークを用いて、入力された混合音声信号Ｙを、第１中間特徴量ＺＭ（Ｚｔ Ｍ＝ｚｔ Ｍ；ｔ＝１，２，・・・，Ｔ）に変換して出力する。第１メインニューラルネットワークは、混合音声信号を第１中間特徴量に変換する、学習済みのディープニューラルネットワーク（ＤＮＮ）である。入力混合音声信号Ｙとしては、たとえば、ＳＴＦＴを適用して得た情報を用いる。
　統合部１１２は、統合部１１２は、式（４）に示すように、第１変換部１１１が変換した第１中間特徴量ＺＭと、補助情報生成部１４が生成した補助情報Ｚｓ ＡＶとを統合して第２中間特徴量Ｉｓ（Ｉｓ ＝ｉｓｔ；ｔ＝１，２，・・・，Ｔ）を生成する。
Figure JPOXMLDOC01-appb-M000004
　第２変換部１１３は、第２メインニューラルネットワークを用いて、混合音声信号に含まれる目的話者の音声信号に関する情報を推定する。第２メインニューラルネットワークは、入力された特徴量を基にマスク情報を推定するニューラルネットワークである。第２変換部１１３は、第２中間特徴量Ｉｓを第２メインニューラルネットワークの入力とし、第２メインニューラルネットワークの出力を混合音声信号に含まれる目的話者の音声信号に関する情報として出力する。
　第２ニューラルネットワークは、例えば、学習済みのＤＮＮと後続する線形変換層と、活性化層とから構成され、ＤＮＮにより第２中間特徴量を第３中間特徴量へ変換した後、線形変換層によりこれを第４中間特徴量へ変換し、第４中間特徴量にシグモイド関数を適用して出力である混合音声信号に含まれる目的話者の音声信号に関する情報を推定する。
　混合音声信号に含まれる目的話者の音声信号に関する情報がマスク情報Ｍｓである場合には、式（５）のように混合音声信号Ｙにマスク情報Ｍｓを適用することによって、目的話者の音声信号＾Ｘｓが得られる。なお、混合音声信号に含まれる目的話者の音声信号に関する情報として直接目的話者の音声信号の推定結果＾Ｘｓを出力するように、メインニューラルネットワークを構成することも可能である。これは、後述の学習装置の学習のさせ方を変えることで実現できる。
Figure JPOXMLDOC01-appb-M000005
［学習装置］
　次に、音声信号処理装置１０で用いられる各ニューラルネットワークの学習を行うための学習装置の構成を説明する。図２は、実施の形態に係る学習装置の構成の一例を示す図である。
　実施の形態に係る学習装置２０は、例えば、ＲＯＭ、ＲＡＭ、ＣＰＵ等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。図２に示すように、学習装置２０は、音声信号処理部２１、第１補助特徴量変換部２２、第２補助特徴量変換部２３、補助情報生成部２４、学習データ選択部２５及び更新部２６を有する。また、音声信号処理部２１は、第１変換部２１１、統合部２１２及び第２変換部２１３を有する。
　学習装置２０の各処理部は、学習データ選択部２５及び更新部２６を除き、音声信号処理装置１０の同名の処理部と同様の処理を行う。また、学習装置２０に入力される混合音声信号、目的話者の音声信号、及び、入力された混合音声信号収録時の話者の映像情報は学習データであり、混合音声信号に含まれる目的話者単独の音声信号が既知であるものとする。また、学習装置２０の各ニューラルネットワークのパラメータには、予め適当な初期値が設定されている。
　学習データ選択部２５は、学習データの中から、学習用の混合音声信号、目的話者の音声信号及び学習用の混合音声信号収録時の話者の映像情報の組を選択する。学習データは、予め学習用に用意された、混合音声信号、目的話者の音声信号及び混合音声信号収録時の話者の映像情報の組を複数含むデータ集合である。そして、学習データ選択部２５は、選択した学習用の混合音声信号、目的話者の音声信号及び学習用の混合音声信号収録時の話者の映像情報を、第１変換部２１１、第１補助特徴量変換部２２及び第２補助特徴量変換部２３にそれぞれ入力する。
　更新部２６は、各ニューラルネットワークのパラメータの学習を行う。更新部２６は、メインニューラルネットワークの、第１補助ニューラルネットワーク及び第２補助ニューラルネットワークに対して、マルチタスク学習を実行させる。なお、更新部２６は、各ニューラルネットワークに対して、シングルタスク学習を実行させることも可能である。後述する評価実験に示すように、更新部２６が、各ニューラルネットワークにマルチタスク学習を実行させた場合、音声信号処理装置１０は、目的話者の音声信号及び混合音声信号収録時の話者の映像情報のいずれか一方のみの入力であっても、高い精度を保持できる。
　具体的には、更新部２６は、所定基準を満たすまで、各ニューラルネットワークのパラメータを更新し、学習データ選択部２５、第１補助特徴量変換部２２、第２補助特徴量変換部２３、補助情報生成部２４及び音声信号処理部２１の処理を繰り返し実行させることによって、所定基準を満たす各ニューラルネットワークのパラメータを設定する。このように設定された各ニューラルネットワークのパラメータの値が、音声信号処理装置１０における各ニューラルネットワークのパラメータとして適用される。更新部２６は、周知である誤差逆伝搬法などのパラメータ更新の手法を用いてパラメータの更新を行う。
　所定基準は、例えば、予め定めた繰り返し回数に到達した場合である。所定基準は、パラメータの更新量が所定の値未満となった場合でもよい。或いは、所定基準は、パラメータ更新のために計算する損失関数ＬＭＴＬの値が所定の値未満となった場合でもよい。
　ここで、損失関数ＬＭＴＬとして、式（６）に示すように、第１損失ＬＡＶ、第２損失ＬＡ及び第３損失ＬＶの重み付け和を用いる。損失は、学習用データ中の混合音声信号に含まれる目的話者の音声信号の推定結果（推定話者音声信号）と、正解の目的話者の音声信号（教師信号）との距離である。第１損失ＬＡＶは、第１補助ニューラルネットワークと第２補助ニューラルネットワークとの双方を用いて推定話者音声信号を得た場合の損失である。第２損失ＬＡは、第１補助ニューラルネットワークのみを推定話者音声信号を得た場合の損失である。第３損失ＬＶは、第２補助ニューラルネットワークのみを用いて推定話者音声信号を得た場合の損失である。
Figure JPOXMLDOC01-appb-M000006
　各損失の重みα，β，γは、少なくとも１つ以上の重みが非零となるように設定すればよい。このため、いずれかの重みα，β，γを０として、対応する損失は考慮しない形としてもよい。
　ここで、音声信号処理装置の実施形態の説明において、メインニューラルネットワークの出力である「混合音声信号に含まれる目的話者の音声信号に関する情報」は、混合音声信号から目的話者の音声信号を抽出するためのマスク情報とすることもできるし、混合音声信号に含まれる目的話者の音声信号の推定結果そのものとすることもできる旨を説明した。
　メインニューラルネットワークの出力がマスク情報となるようにニューラルネットワークを学習させる場合は、本学習装置におけるメインニューラルネットワークの出力をマスク情報の推定結果とみなして、当該推定されたマスク情報を式（５）のように混合音声信号に適用することで推定話者音声信号を求め、この推定話者音声信号と教師信号との距離を上記損失として計算する。
　メインニューラルネットワークの出力が、混合音声信号に含まれる目的話者の音声信号の推定結果となるようにニューラルネットワークを学習させる場合は、本学習装置におけるメインニューラルネットワークの出力を推定話者音声信号とみなして、上記損失を計算すればよい。
　このように、第１補助ニューラルネットワークのパラメータ、第２補助ニューラルネットワークのパラメータ及びメインニューラルネットワークのパラメータは、音声信号処理部１１が、学習用の混合音声信号の特徴量と第１補助特徴量と学習用の混合音声信号の収録時の話者の映像情報から変換された第２補助特徴量とを用いて推定した推定話者音声信号に対する第１損失と、音声信号処理部１１が、学習用の混合音声信号の特徴量と第１補助特徴量とを基に推定した推定話者音声信号に対する第２損失と、音声信号処理部１１が、学習用の混合音声信号の特徴量と第２補助特徴量とを基に推定した推定話者音声信号に対する第３損失と、の重み付け和を小さくするように、各パラメータを更新していくことにより学習させる。
［音声信号処理の処理手順］
　次に、音声信号処理装置１０が実行する音声信号処理の流れについて説明する。図３は、実施の形態に係る音声信号処理の処理手順を示すフローチャートである。
　図３に示すように、音声信号処理装置１０は、混合音声信号、目的話者の音声信号、及び、入力された混合音声信号収録時の話者の映像情報の入力を受け付ける（ステップＳ１，Ｓ３，Ｓ５）。
　第１変換部１１１は、第１メインニューラルネットワークを用いて、入力された混合音声信号Ｙを、第１中間特徴量に変換する（ステップＳ２）。第１補助特徴量変換部１２は、第１補助ニューラルネットワークを用いて、入力された話者の目的話者の音声信号を第１補助特徴量に変換する（ステップＳ４）。第２補助特徴量変換部１３は、第２補助ニューラルネットワークを用いて、入力された混合音声信号収録時の話者の映像情報を第２補助特徴量に変換する（ステップＳ６）。補助情報生成部１４は、第１補助特徴量及び第２補助特徴量を基に補助特徴量を生成する（ステップＳ７）。
　統合部１１２は、第１変換部１１１が変換した第１中間特徴量と、補助情報生成部１４が生成した補助情報とを統合して第２中間特徴量を生成する（ステップＳ８）。第２変換部１１３は、第２メインニューラルネットワークを用いて、入力された第２中間特徴量を、混合音声信号に含まれる目的話者の音声信号に関する情報に変換する（ステップＳ９）。
［学習処理の処理手順］
　次に、学習装置２０が実行する学習処理の流れについて説明する。図４は、実施の形態に係る学習処理の処理手順を示すフローチャートである。
　図４に示すように、学習データ選択部２５は、学習データの中から、学習用の混合音声信号、目的話者の音声信号及び学習用の混合音声信号収録時の話者の映像情報の組を選択する（ステップＳ２１）。学習データ選択部２５は、選択した学習用の混合音声信号、目的話者の音声信号及び学習用の混合音声信号収録時の話者の映像情報を、第１変換部２１１、第１補助特徴量変換部２２及び第２特徴量変換部２３にそれぞれ入力する（ステップＳ２２，Ｓ２４，Ｓ２６）。ステップＳ２３，Ｓ２５，Ｓ２７～Ｓ３０は、図３に示すステップＳ２，Ｓ４，Ｓ６～Ｓ９と同じ処理である。
　更新部２６は、所定基準を満たすか否かを判定する（ステップＳ３１）。所定基準を満たさない場合（ステップＳ３１：Ｎｏ）、更新部２６は、各ニューラルネットワークのパラメータを更新し、ステップＳ２１に戻り、学習データ選択部２５、第１補助特徴量変換部２２、第２補助特徴量変換部２３、補助情報生成部２４及び音声信号処理部２１の処理を繰り返し実行させる。所定基準を満たす場合（ステップＳ３１：Ｙｅｓ）、更新部２６は、所定基準を満たした各パラメータを、学習済みの各ニューラルネットワークのパラメータとして設定する（ステップＳ３２）。
［評価実験］
　評価用に、LRS3-TED（Lip　Reading　Sentences　3）音声-映像コーパスに基づく混合音声信号のシミュレーションデータセットを生成した。データセットは、０．５ｄＢのＳＮＲ（Signal　to　Noise　Ratio）での混合発話によって生成された２話者の混合音声信号を含むデータセットである。また、本評価では、入力混合音声信号Ｙとして、混合音声信号に短時間フーリエ変換（ＳＴＦＴ）を適用して得た情報を用いた。本評価では、目的話者の音声信号として、６０ｍｓウィンドウ長と２０ｍｓウィンドウシフトとで、音声信号にＳＴＦＴを適用して得た振幅スペクトル特徴量を使用した。本評価では、映像情報として、Facenetを用いて、毎ビデオフレーム（２５ｆｐｓ、例えば、３０ｍｓシフト）から抽出された、目的話者の顔領域に対応する埋め込みベクトルを使用した。
　まず、従来手法と実施の形態の手法の音声信号処理の精度を比較した結果を表１に示す。
Figure JPOXMLDOC01-appb-T000007
　表１において、「Baseline-A」は音声情報に基づく補助情報を使用する従来の音声信号処理方法であり、「Baseline-V」は、映像情報に基づく補助情報を使用する従来の音声信号処理方法であり、「SpeakerBeam-AV」は、音声情報及び映像情報のそれぞれに基づく２つ補助情報を使用する本実施の形態に係る音声信号処理方法である。表１は、これらの方法をそれぞれ用いて、混合音声信号から抽出した目的話者の音声信号に対するＳＤＲ（Signal-to-Distortion　Ratio）を示す。また、「Same」は目的話者と他の話者の性別が同じであることを表している。また、「Diff」は、目的話者と他の話者の性別が異なることを表している。「All」は、全混合音声信号に対するＳＤＲの平均を示す。
　表１に示すように、SpeakerBeam-AVは、従来のBaseline-A，Baseline-Vと比して、いずれの条件においても、良い結果を示した。特に、従来の手法では精度が低くなりがちであったSame条件に対する結果についても、SpeakerBeam-AVは、Diff条件の結果により近い精度を示し、従来の手法と比して非常によい結果を示した。
　次に、本実施の形態に係る学習方法において、マルチタスク学習の実行の有無による、音声信号処理精度を評価した。表２は、本実施の形態に係る学習方法において、マルチタスク学習を実行した場合と、マルチタスク学習ではなくシングルタスクでの学習を実行した場合における音声信号処理精度を比較した結果である。
Figure JPOXMLDOC01-appb-T000008
　「SpeakerBeam-AV」は、音声信号処理装置１０の各ニューラルネットワークに対してシングルタスクによる学習を実行された音声信号処理方法を示し、「SpeakerBeam-AV-MTL」は、音声信号処理装置１０の各ニューラルネットワークに対してマルチタスクよる学習を実行された音声信号処理方法を示す。｛α，β，γ｝は、式（６）式における各損失の重みα，β，γである。「Clues」の「AV」は、補助情報として、目的話者の音声信号と混合音声信号収録時の話者の映像情報との双方が入力された場合を示し、「A」は、補助情報として、目的話者の音声信号のみが入力された場合を示し、「V」は、補助情報として、混合音声信号収録時の話者の映像情報のみが入力された場合を示す。
　表２に示すように、SpeakerBeam-AVは、目的話者の音声信号と混合音声信号収録時の話者の映像情報との双方が補助情報として入力された場合には、一定の精度を保持することができる。しかしながら、SpeakerBeam-AVは、目的話者の音声信号と混合音声信号収録時の話者の映像情報との一方のみが補助情報として入力された場合には、精度を保持することができない。
　これに対し、SpeakerBeam-AV-MTLは、目的話者の音声と混合音声信号収録時の話者の映像情報との一方のみが補助情報として入力された場合にも、一定の精度を保持することができる。また、SpeakerBeam-AV-MTLは、目的話者の音声と混合音声信号収録時の話者の映像情報との一方のみが補助情報として入力された場合であっても、従来のBaseline-A，Baseline-V（表１参照）よりも高い精度を保持している。
　また、SpeakerBeam-AV-MTLは、目的話者の音声信号と混合音声信号収録時の話者の映像情報との双方が補助情報として入力された場合も、SpeakerBeam-AVと同等の精度を示す。したがって、SpeakerBeam-AV-MTLを適用したシステムであれば、補助情報として目的話者の音声信号と混合音声信号収録時の話者の映像情報との双方が入力された場合（AV）、補助情報として目的話者の音声信号のみが入力された場合（A）、補助情報として混合音声信号収録時の話者の映像情報のみが入力された場合（V）のいずれの場合についても、それぞれ対応するモードに切り替えるだけで、高精度での音声信号処理を実行することができる。
［実施の形態の効果］
　本実施に係る音声信号処理装置１０は、補助情報として、目的話者の音声信号を第１補助ニューラルネットワークを用いて変換した第１補助特徴量と、入力される混合音声信号収録時の話者の映像情報を第２補助ニューラルネットワークを用いて変換した第２補助特徴量とを使用して、混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定する。
　このように、音声信号処理装置１０は、安定した品質で補助特徴量を抽出可能である第１補助特徴量と、似た声の話者を含む混合音声信号に対しても頑健である第２補助特徴量との双方を使用してマスク情報を推定するため、安定した精度でマスク情報を推定することができる。
　また、本実施の形態に係る学習装置２０では、各ニューラルネットワークに対し、マルチタスク学習を実行させることによって、評価実験の結果にも示したように、目的話者の音声信号及び混合音声信号収録時の話者の映像情報のいずれか一方のみの入力であっても、音声信号処理装置１０において高い精度を保持できる。
　したがって、本実施の形態によれば、混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を安定した精度で推定することができる。
［システム構成等］
　図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、音声信号処理装置１０及び学習装置２０は、一体の装置であってもよい。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。また、本実施形態において説明した各処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　図５は、プログラムが実行されることにより、音声信号処理装置１０或いは学習装置２０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０４１に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、音声信号処理装置１０或いは学習装置２０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０３１に記憶される。例えば、音声信号処理装置１０或いは学習装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。なお、ハードディスクドライブ１０３１は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
　１０　音声信号処理装置
　２０　学習装置
　１１、２１　音声信号処理部
　１２，２２　第１補助特徴量変換部
　１３，２３　第２補助特徴量変換部
　１４，２４　補助情報生成部
　２５　学習データ選択部
　２６　更新部
　１１１，２１１　第１変換部
　１１２，２１２　統合部
　１１３，２１３　第２変換部

Claims (8)

  1. 　第１補助ニューラルネットワークを用いて、入力された第１の信号を第１補助特徴量に変換する第１補助特徴量変換部と、
    　第２補助ニューラルネットワークを用いて、入力された第２の信号を第２補助特徴量に変換する第２補助特徴量変換部と、
    　メインニューラルネットワークを用いて、入力された混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定する音声信号処理部と、
    　を有し、
    　前記第１の信号は、前記混合音声信号とは異なる時点において、前記目的話者が単独で発話したときの音声信号であり、
    　前記第２の信号は、前記混合音声信号が発声されるシーンにおける話者の映像情報である
    　ことを特徴とする音声信号処理装置。
  2. 　前記第１補助特徴量及び前記第２補助特徴量を基に補助情報を生成する生成部をさらに有し、
    　前記音声信号処理部は、第１メインニューラルネットワークを用いて前記混合音声信号を変換して得た第１中間特徴量と、前記補助情報とを統合して生成した第２中間特徴量を、入力とし、第２メインニューラルネットワークにより前記混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報に変換することを特徴とする請求項１に記載の音声信号処理装置。
  3. 　音声信号処理装置が実行する音声信号処理方法であって、
    　第１補助ニューラルネットワークを用いて、入力された第１の信号を第１補助特徴量に変換する工程と、
    　第２補助ニューラルネットワークを用いて、入力された第２の信号を第２補助特徴量に変換する工程と、
    　メインニューラルネットワークを用いて、入力された混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定する工程と、
    　を含み、
    　前記第１の信号は、前記混合音声信号とは異なる時点において、前記目的話者が単独で発話したときの音声信号であり、
    　前記第２の信号は、前記混合音声信号が発声されるシーンにおける話者の映像情報である
    　ことを特徴とする音声信号処理方法。
  4. 　コンピュータに、
    　第１補助ニューラルネットワークを用いて、入力された第１の信号を第１補助特徴量に変換するステップと、
    　第２補助ニューラルネットワークを用いて、入力された第２の信号を第２補助特徴量に変換するステップと、
    　メインニューラルネットワークを用いて、入力された混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記混合音声信号に含まれる目的話者の音声信号を抽出するためのマスク情報を推定するステップと、
    　をコンピュータに実行させ、
    　前記第１の信号は、前記混合音声信号とは異なる時点において、前記目的話者が単独で発話したときの音声信号であり、
    　前記第２の信号は、前記混合音声信号が発声されるシーンにおける話者の映像情報である音声信号処理プログラム。
  5. 　学習データの中から、学習用の混合音声信号、目的話者の音声信号及び前記学習用の混合音声信号収録時の話者の映像情報を選択する選択部と、
    　第１補助ニューラルネットワークを用いて、前記目的話者の音声信号を第１補助特徴量に変換する第１補助特徴量変換部と、
    　第２補助ニューラルネットワークを用いて、前記学習用の混合音声信号収録時の話者の映像情報を第２補助特徴量に変換する第２補助特徴量変換部と、
    　メインニューラルネットワークを用いて、前記学習用の混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記学習用の混合音声信号に含まれる目的話者の音声信号に関する情報を推定する音声信号処理部と、
    　所定基準を満たすまで、各ニューラルネットワークのパラメータを更新し、前記選択部、前記第１補助特徴量変換部、前記第２補助特徴量変換部及び前記音声信号処理部の処理を繰り返し実行させることによって、前記所定基準を満たす各ニューラルネットワークのパラメータを設定する更新部と、
    　を有することを特徴とする学習装置。
  6. 　前記更新部は、前記音声信号処理部が、前記学習用の混合音声信号の特徴量と前記第１補助特徴量と前記第２補助特徴量とを用いて推定した前記学習用の混合音声信号に含まれる目的話者の音声の、教師信号に対する第１損失と、前記音声信号処理部が、前記学習用の混合音声信号の特徴量と前記第１補助特徴量とを基に推定した前記学習用の混合音声信号に含まれる目的話者の音声の、教師信号に対する第２損失と、前記学習用の混合音声信号の特徴量と前記第２補助特徴量とを基に推定した前記学習用の混合音声信号に含まれる目的話者の音声の、教師信号に対する第３損失と、の重み付け和が小さくなるように各ニューラルネットワークのパラメータを更新することを特徴とする請求項５に記載の学習装置。
  7. 　学習装置が実行する学習方法であって、
    　学習データの中から、学習用の混合音声信号、目的話者の音声信号及び前記学習用の混合音声信号収録時の話者の映像情報を選択する選択工程と、
    　第１補助ニューラルネットワークを用いて、前記目的話者の音声信号を第１補助特徴量に変換する第１変換工程と、
    　第２補助ニューラルネットワークを用いて、前記学習用の混合音声信号収録時の話者の映像情報を第２補助特徴量に変換する第２変換工程と、
    　メインニューラルネットワークを用いて、前記学習用の混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記学習用の混合音声信号に含まれる目的話者の音声信号に関する情報を推定する音声信号処理工程と、
    　所定基準を満たすまで、各ニューラルネットワークのパラメータを更新し、前記選択工程、前記第１変換工程、前記第２変換工程及び前記音声信号処理工程の処理を繰り返し実行させることによって、前記所定基準を満たす各ニューラルネットワークのパラメータを設定する更新工程と、
    　を含んだことを特徴とする学習方法。
  8. 　学習データの中から、学習用の混合音声信号、目的話者の音声信号及び前記学習用の混合音声信号収録時の話者の映像情報を選択する選択ステップと、
    　第１補助ニューラルネットワークを用いて、前記目的話者の音声信号を第１補助特徴量に変換する第１変換ステップと、
    　第２補助ニューラルネットワークを用いて、前記学習用の混合音声信号収録時の話者の映像情報を第２補助特徴量に変換する第２変換ステップと、
    　メインニューラルネットワークを用いて、前記学習用の混合音声信号の特徴量、前記第１補助特徴量及び前記第２補助特徴量を基に、前記学習用の混合音声信号に含まれる目的話者の音声信号に関する情報を推定する音声信号処理ステップと、
    　所定基準を満たすまで、各ニューラルネットワークのパラメータを更新し、前記選択ステップ、前記第１変換ステップ、前記第２変換ステップ及び前記音声信号処理ステップの処理を繰り返し実行させることによって、前記所定基準を満たす各ニューラルネットワークのパラメータを設定する更新ステップと、
    　をコンピュータに実行させるための学習プログラム。
PCT/JP2019/032193 2019-08-16 2019-08-16 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム WO2021033222A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/032193 WO2021033222A1 (ja) 2019-08-16 2019-08-16 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
US17/635,354 US20220335965A1 (en) 2019-08-16 2020-08-07 Speech signal processing device, speech signal processing method, speech signal processing program, training device, training method, and training program
JP2021540733A JP7205635B2 (ja) 2019-08-16 2020-08-07 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
PCT/JP2020/030523 WO2021033587A1 (ja) 2019-08-16 2020-08-07 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032193 WO2021033222A1 (ja) 2019-08-16 2019-08-16 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム

Publications (1)

Publication Number Publication Date
WO2021033222A1 true WO2021033222A1 (ja) 2021-02-25

Family

ID=74659871

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/032193 WO2021033222A1 (ja) 2019-08-16 2019-08-16 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
PCT/JP2020/030523 WO2021033587A1 (ja) 2019-08-16 2020-08-07 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030523 WO2021033587A1 (ja) 2019-08-16 2020-08-07 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム

Country Status (3)

Country Link
US (1) US20220335965A1 (ja)
JP (1) JP7205635B2 (ja)
WO (2) WO2021033222A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3982299A1 (en) * 2020-10-09 2022-04-13 Naver Corporation Superloss: a generic loss for robust curriculum learning
US20230186035A1 (en) * 2021-12-14 2023-06-15 Meta Platforms, Inc. Textless Speech-to-Speech Translation on Real Data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126198A (ja) * 2002-10-02 2004-04-22 Institute Of Physical & Chemical Research 信号抽出システム、信号抽出方法および信号抽出プログラム
JP2017515140A (ja) * 2014-03-24 2017-06-08 マイクロソフト テクノロジー ライセンシング，エルエルシー 混合音声認識
WO2018047643A1 (ja) * 2016-09-09 2018-03-15 ソニー株式会社 音源分離装置および方法、並びにプログラム
WO2019017403A1 (ja) * 2017-07-19 2019-01-24 日本電信電話株式会社 マスク計算装置、クラスタ重み学習装置、マスク計算ニューラルネットワーク学習装置、マスク計算方法、クラスタ重み学習方法及びマスク計算ニューラルネットワーク学習方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126198A (ja) * 2002-10-02 2004-04-22 Institute Of Physical & Chemical Research 信号抽出システム、信号抽出方法および信号抽出プログラム
JP2017515140A (ja) * 2014-03-24 2017-06-08 マイクロソフト テクノロジー ライセンシング，エルエルシー 混合音声認識
WO2018047643A1 (ja) * 2016-09-09 2018-03-15 ソニー株式会社 音源分離装置および方法、並びにプログラム
WO2019017403A1 (ja) * 2017-07-19 2019-01-24 日本電信電話株式会社 マスク計算装置、クラスタ重み学習装置、マスク計算ニューラルネットワーク学習装置、マスク計算方法、クラスタ重み学習方法及びマスク計算ニューラルネットワーク学習方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KINOSHITA, KEISUKE ET AL.: "SpeakerBeam: A New Deep Learning Technology for Extracting Speech of a Target Speaker Based on the Speaker's Voice Characteristics", NTT TECHNICAL JOURNAL, vol. 30, no. 9, September 2018 (2018-09-01), pages 12 - 15 *

Also Published As

Publication number Publication date
JP7205635B2 (ja) 2023-01-17
JPWO2021033587A1 (ja) 2021-02-25
US20220335965A1 (en) 2022-10-20
WO2021033587A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
US10140972B2 (en) Text to speech processing system and method, and an acoustic model training system and method
US20240144945A1 (en) Signal processing apparatus and method, training apparatus and method, and program
US20220319506A1 (en) Method and system for performing domain adaptation of end-to-end automatic speech recognition model
CN112530403B (zh) 基于半平行语料的语音转换方法和系统
JP6543820B2 (ja) 声質変換方法および声質変換装置
JP7432199B2 (ja) 音声合成処理装置、音声合成処理方法、および、プログラム
JP2006084875A (ja) インデキシング装置、インデキシング方法およびインデキシングプログラム
US20230343319A1 (en) speech processing system and a method of processing a speech signal
WO2023001128A1 (zh) 音频数据的处理方法、装置及设备
US11929058B2 (en) Systems and methods for adapting human speaker embeddings in speech synthesis
WO2021033222A1 (ja) 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
CN112185340A (zh) 语音合成方法、语音合成装置、存储介质与电子设备
Kumar et al. Towards building text-to-speech systems for the next billion users
Wan et al. Combining multiple high quality corpora for improving HMM-TTS.
JP2009086581A (ja) 音声認識の話者モデルを作成する装置およびプログラム
EP3948851B1 (en) Dynamic combination of acoustic model states
WO2020195924A1 (ja) 信号処理装置および方法、並びにプログラム
JP6220733B2 (ja) 音声分類装置、音声分類方法、プログラム
EP4068279B1 (en) Method and system for performing domain adaptation of end-to-end automatic speech recognition model
JP4964194B2 (ja) 音声認識モデル作成装置とその方法、音声認識装置とその方法、プログラムとその記録媒体
JP4233831B2 (ja) 音声モデルの雑音適応化システム、雑音適応化方法、及び、音声認識雑音適応化プログラム
JP2017194510A (ja) 音響モデル学習装置、音声合成装置、これらの方法及びプログラム
Yanagisawa et al. Noise robustness in HMM-TTS speaker adaptation
WO2020166359A1 (ja) 推定装置、推定方法、及びプログラム
Chou et al. AV2WAV: Diffusion-Based Re-Synthesis from Continuous Self-Supervised Features for Audio-Visual Speech Enhancement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19942082

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19942082

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP