WO2022149196A1 - 抽出装置、抽出方法、学習装置、学習方法及びプログラム - Google Patents

抽出装置、抽出方法、学習装置、学習方法及びプログラム Download PDF

Info

Publication number
WO2022149196A1
WO2022149196A1 PCT/JP2021/000134 JP2021000134W WO2022149196A1 WO 2022149196 A1 WO2022149196 A1 WO 2022149196A1 JP 2021000134 W JP2021000134 W JP 2021000134W WO 2022149196 A1 WO2022149196 A1 WO 2022149196A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
extraction
vector
neural network
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/000134
Other languages
English (en)
French (fr)
Inventor
マーク デルクロア
翼 落合
智広 中谷
慶介 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US18/269,761 priority Critical patent/US20240062771A1/en
Priority to PCT/JP2021/000134 priority patent/WO2022149196A1/ja
Priority to JP2022573823A priority patent/JP7540512B2/ja
Publication of WO2022149196A1 publication Critical patent/WO2022149196A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches

Definitions

  • the present invention relates to an extraction device, an extraction method, a learning device, a learning method and a program.
  • SpeakerBeam is known as a technique for extracting the voice of a target speaker from a mixed voice signal obtained from the voices of a plurality of speakers (see, for example, Non-Patent Document 1).
  • the method described in Non-Patent Document 1 is a main NN (neural network) that converts a mixed voice signal into a time domain and extracts the voice of a target speaker from the mixed voice signal in the time domain, and a target story. It has an auxiliary NN that extracts the feature amount from the voice signal of the person, and by inputting the output of the auxiliary NN to the adaptive layer provided in the middle part of the main NN, the purpose story included in the mixed voice signal in the time domain. It estimates and outputs the voice signal of the person.
  • the conventional method has a problem that the target voice may not be extracted accurately and easily from the mixed voice.
  • the voice of the target speaker in advance.
  • the voice of a similar speaker may be erroneously extracted.
  • the voice of the target speaker may change due to fatigue or the like on the way.
  • the extraction device is combined with a conversion unit that converts a mixed sound with a known sound source for each component into an embedding vector for each sound source using a neural network for embedding.
  • a coupling unit that combines the embedded vectors to obtain a coupling vector using a neural network for extraction, and an extraction unit that extracts a target sound from the mixed sound and the coupling vector using a neural network for extraction. It is characterized by having.
  • the learning device combines the embedded vector with a conversion unit that converts a mixed sound whose sound source for each component is known to an embedded vector for each sound source using a neural network for embedding, and a neural network for combining.
  • the coupling part that obtains the coupling vector, the extraction unit that extracts the target sound from the mixed sound and the coupling vector using the neural network for extraction, the information about the sound source for each component of the mixed sound, and the above. It has the target sound extracted by the extraction unit, and an update unit characterized by updating the parameters of the neural network for embedding so that the loss function calculated based on the target sound is optimized. It is characterized by.
  • the target voice can be accurately and easily extracted from the mixed voice.
  • FIG. 1 is a diagram showing a configuration example of the extraction device according to the first embodiment.
  • FIG. 2 is a diagram showing a configuration example of the learning device according to the first embodiment.
  • FIG. 3 is a diagram showing a configuration example of the model.
  • FIG. 4 is a diagram illustrating an embedded network.
  • FIG. 5 is a diagram illustrating an embedded network.
  • FIG. 6 is a flowchart showing a processing flow of the extraction device according to the first embodiment.
  • FIG. 7 is a flowchart showing a processing flow of the learning device according to the first embodiment.
  • FIG. 8 is a diagram showing an example of a computer that executes a program.
  • FIG. 1 is a diagram showing a configuration example of the extraction device according to the first embodiment.
  • the extraction device 10 has an interface unit 11, a storage unit 12, and a control unit 13.
  • the extraction device 10 accepts input of mixed voice including voice from a plurality of sound sources. Further, the extraction device 10 extracts the voice of each sound source or the voice of the target sound source from the mixed voice and outputs it.
  • the sound source is assumed to be a speaker.
  • the mixed voice is a mixture of voices emitted by a plurality of speakers.
  • mixed audio is obtained by recording the audio of a meeting in which multiple speakers participate with a microphone.
  • the "sound source" in the following description may be appropriately replaced with a "speaker”.
  • this embodiment can handle not only the voice emitted by the speaker but also the sound from any sound source.
  • the extraction device 10 can receive an input of a mixed sound having an acoustic event such as a musical instrument sound or a car siren sound as a sound source, and can extract and output the sound of a target sound source.
  • the "voice” in the following description may be appropriately replaced with a "sound”.
  • the interface unit 11 is an interface for inputting and outputting data.
  • the interface unit 11 is a NIC (Network Interface Card).
  • the interface unit 11 may be connected to an output device such as a display and an input device such as a keyboard.
  • the storage unit 12 is a storage device for an HDD (Hard Disk Drive), SSD (Solid State Drive), optical disk, or the like.
  • the storage unit 12 may be a semiconductor memory in which data such as RAM (Random Access Memory), flash memory, NVSRAM (Non Volatile Static Random Access Memory) can be rewritten.
  • the storage unit 12 stores an OS (Operating System) and various programs executed by the extraction device 10.
  • the storage unit 12 stores the model information 121.
  • the model information 121 is a parameter or the like for constructing a model.
  • the model information 121 is a weight, a bias, or the like for constructing each neural network described later.
  • the control unit 13 controls the entire extraction device 10.
  • the control unit 13 is, for example, an electronic circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like. It is an integrated circuit. Further, the control unit 13 has an internal memory for storing programs and control data that specify various processing procedures, and executes each process using the internal memory.
  • the control unit 13 functions as various processing units by operating various programs.
  • the control unit 13 has a signal processing unit 131.
  • the signal processing unit 131 has a conversion unit 131a, a coupling unit 131b, and an extraction unit 131c.
  • the signal processing unit 131 extracts the target voice from the mixed voice by using the model constructed from the model information 121.
  • the processing of each part of the signal processing unit 131 will be described later. Further, it is assumed that the model constructed from the model information 121 is a model trained by the learning device.
  • FIG. 2 is a diagram showing a configuration example of the learning device according to the first embodiment.
  • the learning device 20 has an interface unit 21, a storage unit 22, and a control unit 23.
  • the learning device 20 accepts input of mixed voice including voice from a plurality of sound sources. However, unlike the mixed voice input to the extraction device 10, it is assumed that the sound source of each component is known for the mixed voice input to the learning device 20. That is, it can be said that the mixed voice input to the learning device 20 is the labeled teacher data.
  • the learning device 20 extracts the voice of each sound source or the voice of the target sound source from the mixed voice. Then, the learning device 20 trains the model based on the extracted voice and teacher data for each sound source. For example, the mixed voice input to the learning device 20 may be obtained by synthesizing the voices of a plurality of speakers individually recorded.
  • the interface unit 21 is an interface for inputting and outputting data.
  • the interface unit 21 is a NIC.
  • the interface unit 21 may be connected to an output device such as a display and an input device such as a keyboard.
  • the storage unit 22 is a storage device for HDDs, SSDs, optical disks, and the like.
  • the storage unit 22 may be a semiconductor memory in which data such as RAM, flash memory, and NVSRAM can be rewritten.
  • the storage unit 22 stores the OS and various programs executed by the learning device 20.
  • the storage unit 22 stores the model information 221.
  • the model information 221 is a parameter or the like for constructing a model.
  • the model information 221 is a weight, a bias, or the like for constructing each neural network described later.
  • the control unit 23 controls the entire learning device 20.
  • the control unit 23 is, for example, an electronic circuit such as a CPU, MPU, GPU, or an integrated circuit such as an ASIC or FPGA. Further, the control unit 23 has an internal memory for storing programs and control data that specify various processing procedures, and executes each process using the internal memory.
  • the control unit 23 functions as various processing units by operating various programs.
  • the control unit 23 has a signal processing unit 231, a loss calculation unit 232, and an update unit 233.
  • the signal processing unit 231 has a conversion unit 231a, a coupling unit 231b, and an extraction unit 231c.
  • the signal processing unit 231 extracts the target voice from the mixed voice using the model constructed from the model information 221. The processing of each part of the signal processing unit 231 will be described later.
  • the loss calculation unit 232 calculates the loss function based on the target voice and teacher data extracted by the signal processing unit 231.
  • the update unit 233 updates the model information 221 so that the loss function calculated by the loss calculation unit 232 is optimized.
  • the signal processing unit 231 of the learning device 20 has the same function as the extraction device 10. Therefore, the extraction device 10 may be realized by using a part of the functions of the learning device 20.
  • the description regarding the signal processing unit 231 in particular shall be the same for the signal processing unit 131.
  • the processing of the signal processing unit 231 and the loss calculation unit 232 and the update unit 233 will be described in detail.
  • the signal processing unit 231 constructs a model as shown in FIG. 3 based on the model information 221.
  • FIG. 3 is a diagram showing a configuration example of the model.
  • the model has an embedding network 201, an embedding network 202, a coupling network 203, and an extraction network 204.
  • the signal processing unit 231 uses the model to output ⁇ x s , which is an estimated signal of the voice of the target speaker.
  • the embedding network 201 and the embedding network 202 are examples of the neural network for embedding. Further, the coupling network 203 is an example of a neural network for coupling. The extraction network 204 is an example of an extraction neural network.
  • the conversion unit 231a further converts the voice as * of the pre-registered sound source into the embedding vector e s * using the embedding network 201.
  • the conversion unit 231a converts the mixed voice y whose sound source for each component is known into an embedding vector ⁇ es ⁇ for each sound source using the embedding network 202.
  • the embedded network 201 and the embedded network 202 can be said to be networks that extract feature quantity vectors representing the characteristics of the speaker's voice.
  • the embedded vector corresponds to the feature vector.
  • the conversion unit 231a may or may not perform conversion using the embedding network 201. Also, ⁇ es ⁇ is a set of embedded vectors.
  • the conversion unit 231a uses the first conversion method.
  • the conversion unit 231a uses the second conversion method.
  • FIG. 4 is a diagram illustrating an embedded network.
  • the embedding network 202a outputs the embedding vectors e 1 , e 2 , ... Es for each sound source based on the mixed voice y.
  • the conversion unit 231a can use the same method as Wavesplit (reference: https://arxiv.org/abs/2002.08933) as the first conversion method. The calculation method of the loss function in the first conversion method will be described later.
  • the embedding network 202 is represented as a model having the embedding network 202b and the decoder 202c shown in FIG.
  • FIG. 5 is a diagram illustrating an embedded network.
  • the embedded network 202b functions as an encoder. Further, the decoder 202c is, for example, RSTM (Long Short Term Memory).
  • the conversion unit 231a can use the seq2seq model in order to handle an arbitrary number of sound sources. For example, the conversion unit 231a may separately output the embedded vector of the sound source exceeding the maximum number S (Nb of speakers).
  • the conversion unit 131a may count the number of sound sources and obtain it as the output of the model shown in FIG. 5, or may provide a flag for stopping the counting of the number of sound sources.
  • the embedded network 201 may have the same configuration as the embedded network 202. Further, the parameters of the embedded network 201 and the embedded network 202 may be shared or may be separate.
  • the joining portion 231b joins the embedded vector ⁇ es ⁇ using the joining network 203 to obtain the joining vector ⁇ e s ( ⁇ directly above es ). Further, the coupling portion 231b may combine the embedded vector ⁇ es ⁇ converted from the mixed voice and the embedded vector es * converted from the voice of the pre-registered sound source.
  • the coupling unit 231b calculates ⁇ ps ( ⁇ directly above ps), which is the activity of each sound source, using the coupling network 203.
  • the coupling portion 231b calculates the activity by the equation (1).
  • the activity of the equation (1) may be valid only when the cosine similarity between es * and es is equal to or higher than the threshold value. Further, the activity may be obtained by outputting the coupling network 203.
  • the join network 203 may be joined, for example, by simply concatenate each embedded vector contained in ⁇ es ⁇ . Further, the coupling network 203 may be coupled after weighting each embedded vector included in ⁇ es ⁇ based on activity or the like.
  • ⁇ ps becomes large when it is similar to the voice of the pre-registered sound source. Therefore, for example, when ⁇ ps does not exceed the threshold value with any of the pre-registered sound sources among the embedded vectors obtained by the conversion unit 231a, the conversion unit 231a pre-registers the embedded vector. It can be determined that it is a new sound source that has not been released. As a result, the conversion unit 231a can discover a new sound source.
  • the learning device 20 divided the mixed voice into blocks of, for example, every 10 seconds, and extracted the target voice for each block. Then, the learning device 20 treats the new sound source discovered by the conversion unit 231a in the processing of the n-1th block as a pre-registered sound source for the n (n> 1) th block.
  • the extraction unit 231c extracts the target voice from the mixed voice and the coupling vector using the extraction network 204.
  • the extraction network 204 may be the same as the main NN described in Cited Document 1.
  • the loss calculation unit 232 calculates the loss function based on the target voice extracted by the extraction unit 231c. Further, the update unit 233 of the embedding network 202 optimizes the loss function calculated based on the information about the sound source for each component of the mixed voice and the target voice extracted by the extraction unit 231c. Update the parameters.
  • the loss calculation unit 232 calculates the loss function L as shown in the equation (2).
  • the L signal and the L speaker are calculated in the same manner as the conventional speaker beam described in, for example, Non-Patent Document 1.
  • ⁇ , ⁇ , ⁇ , and ⁇ are weights set as tuning parameters.
  • x s is a voice whose sound source input to the learning device 20 is known.
  • L signal will be described.
  • x s corresponds to e s closest to e s * in ⁇ es ⁇ .
  • L signal may be calculated for all sound sources or may be calculated for some sound sources.
  • the L speaker will be described.
  • S is the maximum number of sound sources.
  • the L speaker may be cross entropy.
  • the loss calculation unit 232 may be calculated by the Wavesplit method described above. For example, the loss calculation unit 232 can rewrite the embedding into a PIT (permutation invariant) loss as in the equation (3).
  • S is the maximum number of sound sources.
  • ⁇ is a sequence of sound sources 1, 2, ..., S.
  • ⁇ s is an element of the sequence.
  • ⁇ Es may be an embedded vector calculated by the embedded network 201, or may be an embedded vector preset for each sound source. Further, ⁇ e s may be a one-hot vector. Also, for example, Embedding is a cosine distance between vectors or an L2 norm.
  • the calculation of PIT loss requires calculation for each element of the forward sequence, so the calculation cost may become enormous. For example, if the number of sound sources is 7, the number of elements in the sequence is 7! It exceeds 5000.
  • the calculation of Le embedding using the PIT loss can be omitted by calculating the L speaker by the first loss calculation method or the second loss calculation method described below.
  • the loss calculation unit 232 calculates P by the equations (4), (5), and (6).
  • the calculation method of P is not limited to the one described here, and any element of the matrix P may represent the distance between ⁇ es and es (for example, the cosine distance or the L2 norm). ..
  • ⁇ S is the number of pre-registered learning sound sources. Further, S is the number of sound sources included in the mixed voice.
  • the embedded vectors are arranged so that the activated (active) sound source in the mixed voice comes to the head.
  • the loss calculation unit 232 calculates ⁇ P (immediately above P ⁇ ) by the formula (7).
  • Equation (7) represents the probability that the embedded vectors of sound source i and sound source j correspond to each other, or the probability that equation (8) holds.
  • the loss calculation unit 232 calculates the activation vector q by the equation (9).
  • the true value (teacher data) q ref of the activation vector q is as shown in Eq. (10).
  • the loss calculation unit 232 can calculate the L speaker as in the equation (11).
  • the function l (a, b) is a function that outputs the distance between the vector a and the vector b (for example, the cosine distance or the L2 norm).
  • the loss calculation unit 232 can calculate the loss function based on the degree of activation of each sound source based on the embedded vector of each sound source of the mixed voice.
  • L activity is, for example, a cross entropy of activity ⁇ p s and p s . From the equation (1), the activity ⁇ ps is in the range of 0 to 1. Further, as described above, ps is 0 or 1.
  • the update unit 233 does not need to perform error back propagation for all speakers in the first loss calculation method or the second loss calculation method.
  • the first loss calculation method or the second loss calculation method is particularly effective when the number of sound sources is large (for example, 5 or more). Further, it is effective not only for extracting the target voice of the first loss calculation method or the second loss calculation method, but also for sound source separation and the like.
  • FIG. 6 is a flowchart showing a processing flow of the extraction device according to the first embodiment.
  • the extraction device 10 converts the voice of the pre-registered speaker into an embedding vector using the embedding network 201 (step S101).
  • the extraction device 10 does not have to execute step S101.
  • the extraction device 10 converts the mixed voice into an embedding vector using the embedding network 202 (step S102).
  • the extraction device 10 joins the embedded vectors using the join network 203 (step S103).
  • the extraction device 10 extracts the target voice from the combined embedded vector and the mixed voice using the extraction network 204 (step S104).
  • FIG. 7 is a flowchart showing a processing flow of the learning device according to the first embodiment.
  • the learning device 20 converts the pre-registered speaker's voice into an embedded vector using the embedded network 201 (step S201).
  • the learning device 20 does not have to execute step S201.
  • the learning device 20 converts the mixed voice into an embedded vector using the embedded network 202 (step S202).
  • the learning device 20 joins the embedded vectors using the join network 203 (step S203).
  • the learning device 20 extracts the target voice from the combined embedded vector and the mixed voice using the extraction network 204 (step S204).
  • the learning device 20 calculates a loss function that simultaneously optimizes each network (step S205). Then, the learning device 20 updates the parameters of each network so that the loss function is optimized (step S206).
  • step S207, Yes When it is determined that the parameters have converged (step S207, Yes), the learning device 20 ends the process. On the other hand, when it is determined that the parameters have not converged (step S207, No), the learning device 20 returns to step S201 and repeats the process.
  • the extraction device 10 converts the mixed voice whose sound source for each component is known into an embedding vector for each sound source using the embedding network 202.
  • the extraction device 10 joins the embedded vectors using the join network 203 to obtain a join vector.
  • the extraction device 10 extracts the target voice from the mixed voice and the coupling vector by using the extraction network 204.
  • the learning device 20 converts the mixed voice whose sound source for each component is known into an embedded vector for each sound source using the embedding network 202.
  • the learning device 20 joins the embedded vectors using the join network 203 to obtain a join vector.
  • the learning device 20 extracts the target voice from the mixed voice and the coupling vector by using the extraction network 204.
  • the learning device 20 updates the parameters of the embedded network 202 so that the loss function calculated based on the information about the sound source for each component of the mixed voice and the extracted target voice is optimized.
  • the coupling network 203 can reduce the activity of the time interval in which the target speaker is not speaking in the mixed voice signal. Further, since the embedded vector can be obtained from the mixed voice at random, it is possible to cope with the case where the voice of the target speaker changes in the middle.
  • the target voice can be accurately and easily extracted from the mixed voice.
  • the learning device 20 further converts the voice of the pre-registered sound source into an embedded vector using the embedded network 201.
  • the learning device 20 combines the embedded vector converted from the mixed voice and the embedded vector converted from the voice of the pre-registered sound source.
  • each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured. Further, each processing function performed by each device is realized by a CPU (Central Processing Unit) and a program that is analyzed and executed by the CPU, or hardware by wired logic. Can be realized as.
  • CPU Central Processing Unit
  • the extraction device 10 and the learning device 20 can be implemented by installing a program for executing the above-mentioned voice signal extraction processing or learning processing as package software or online software on a desired computer.
  • the information processing apparatus can be made to function as the extraction apparatus 10 by causing the information processing apparatus to execute the above-mentioned program for the extraction process.
  • the information processing device referred to here includes a desktop type or notebook type personal computer.
  • the information processing device includes a smartphone, a mobile communication terminal such as a mobile phone and a PHS (Personal Handyphone System), and a slate terminal such as a PDA (Personal Digital Assistant).
  • the extraction device 10 and the learning device 20 can be implemented as a server device in which the terminal device used by the user is a client and the service related to the above-mentioned voice signal extraction process or learning process is provided to the client.
  • the server device is implemented as a server device that receives a mixed audio signal as an input and provides a service for extracting the audio signal of the target speaker.
  • the server device may be implemented as a Web server or may be implemented as a cloud that provides services by outsourcing.
  • FIG. 8 is a diagram showing an example of a computer that executes a program.
  • the computer 1000 has, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also has a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • the disk drive interface 1040 is connected to the disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • the video adapter 1060 is connected to, for example, the display 1130.
  • the hard disk drive 1090 stores, for example, the OS 1091, the application program 1092, the program module 1093, and the program data 1094. That is, the program that defines each process of the extraction device 10 is implemented as a program module 1093 in which a code that can be executed by a computer is described.
  • the program module 1093 is stored in, for example, the hard disk drive 1090.
  • the program module 1093 for executing the same processing as the functional configuration in the extraction device 10 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD.
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in, for example, a memory 1010 or a hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 into the RAM 1012 and executes them as needed.
  • the program module 1093 and the program data 1094 are not limited to those stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Then, the program module 1093 and the program data 1094 may be read from another computer by the CPU 1020 via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Extractor 20 Learning device 11, 21 Interface unit 12, 22 Storage unit 13, 23 Control unit 121, 221 Model information 131, 231 Signal processing unit 131a, 231a Conversion unit 131b, 231b Coupling unit 131c, 231c Extraction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Machine Translation (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

学習装置は、変換部と、結合部と、抽出部と、更新部と、を有する。変換部は、成分ごとの音源が既知の混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する。結合部は、結合用のニューラルネットワークを使って埋め込みベクトルを結合して結合ベクトルを得る。抽出部は、混合音と結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する。更新部は、混合音の成分ごとの音源に関する情報と、抽出部によって抽出された目的音と、を基に計算される損失関数が最適化されるように、埋め込み用のニューラルネットワークのパラメータを更新する。

Description

抽出装置、抽出方法、学習装置、学習方法及びプログラム
　本発明は、抽出装置、抽出方法、学習装置、学習方法及びプログラムに関する。
　複数の話者の音声から得られる混合音声信号から、目的話者の音声を抽出する技術としてスピーカービーム（SpeakerBeam）が知られている（例えば、非特許文献１を参照）。例えば、非特許文献１に記載の手法は、混合音声信号を時間領域に変換し、時間領域の混合音声信号から目的話者の音声を抽出するメインＮＮ（neural　network：ニューラルネットワーク）と、目的話者の音声信号から特徴量を抽出する補助ＮＮとを有し、メインＮＮの中間部分に設けられた適応層に補助ＮＮの出力を入力することで、時間領域の混合音声信号に含まれる目的話者の音声信号を推定し、出力するものである。
　しかしながら、従来の手法には、混合音声から目的音声を精度良くかつ容易に抽出することができない場合があるという問題がある。例えば、非特許文献１に記載の手法は、目的話者の音声を事前に登録しておく必要がある。また、例えば、混合音声信号の中に目的話者が発話していない時間区間（非アクティブな区間）がある場合、似た話者の音声を誤って抽出してしまう場合がある。また、例えば、混合音声が長時間のミーティングの音声である場合、目的話者の音声が途中で疲労等により変化してしまう場合がある。
　上述した課題を解決し、目的を達成するために、抽出装置は、成分ごとの音源が既知の混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する変換部と、結合用のニューラルネットワークを使って前記埋め込みベクトルを結合して結合ベクトルを得る結合部と、前記混合音と前記結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する抽出部と、を有することを特徴とする。
　また、学習装置は、成分ごとの音源が既知の混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する変換部と、結合用のニューラルネットワークを使って前記埋め込みベクトルを結合して結合ベクトルを得る結合部と、前記混合音と前記結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する抽出部と、前記混合音の成分ごとの音源に関する情報と、前記抽出部によって抽出された前記目的音と、を基に計算される損失関数が最適化されるように、前記埋め込み用のニューラルネットワークのパラメータを更新することを特徴とする更新部と、を有することを特徴とする。
　本発明によれば、混合音声から目的音声を精度良くかつ容易に抽出することができる。
図１は、第１の実施形態に係る抽出装置の構成例を示す図である。 図２は、第１の実施形態に係る学習装置の構成例を示す図である。 図３は、モデルの構成例を示す図である。 図４は、埋め込み用ネットワークについて説明する図である。 図５は、埋め込み用ネットワークについて説明する図である。 図６は、第１の実施形態に係る抽出装置の処理の流れを示すフローチャートである。 図７は、第１の実施形態に係る学習装置の処理の流れを示すフローチャートである。 図８は、プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願に係る抽出装置、抽出方法、学習装置、学習方法及びプログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
［第１の実施形態］
　図１は、第１の実施形態に係る抽出装置の構成例を示す図である。図１に示すように、抽出装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。
　抽出装置１０は、複数の音源からの音声を含む混合音声の入力を受け付ける。また、抽出装置１０は、音源ごとの音声又は目的の音源の音声を混合音声から抽出し、出力する。
　本実施形態では、音源は話者であるものとする。この場合、混合音声は、複数の話者が発した音声を混合したものである。例えば、混合音声は、複数の話者が参加するミーティングの音声をマイクロホンで録音することによって得られる。以降の説明における「音源」は、適宜「話者」に置き換えられてよい。
　なお、本実施形態は、話者によって発せられる音声（voice）だけでなく、あらゆる音源からの音（sound）を扱うことができる。例えば、抽出装置１０は、楽器の音、車のサイレン音等の音響イベントを音源とする混合音の入力を受け付け、目的音源の音を抽出し、出力することができる。また、以降の説明における「音声」は、適宜「音」に置き換えられてもよい。
　インタフェース部１１は、データの入力及び出力のためのインタフェースである。例えば、インタフェース部１１はＮＩＣ（Network　Interface　Card）である。また、インタフェース部１１は、ディスプレイ等の出力装置及びキーボード等の入力装置に接続されていてもよい。
　記憶部１２は、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、光ディスク等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non　Volatile　Static　Random　Access　Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１２は、抽出装置１０で実行されるＯＳ（Operating　System）や各種プログラムを記憶する。
　図１に示すように、記憶部１２は、モデル情報１２１を記憶する。モデル情報１２１は、モデルを構築するためのパラメータ等である。例えば、モデル情報１２１は、後述する各ニューラルネットワークを構築するための重み及びバイアス等である。
　制御部１３は、抽出装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等の電子回路や、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路である。また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。
　制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１３は、信号処理部１３１を有する。また、信号処理部１３１は、変換部１３１ａ、結合部１３１ｂ及び抽出部１３１ｃを有する。
　信号処理部１３１は、モデル情報１２１から構築されるモデルを用いて、混合音声から目的音声を抽出する。信号処理部１３１の各部の処理については後述する。また、モデル情報１２１から構築されるモデルは、学習装置によって訓練されたモデルであるものとする。
　ここで、図２を用いて学習装置の構成について説明する。図２は、第１の実施形態に係る学習装置の構成例を示す図である。図２に示すように、学習装置２０は、インタフェース部２１、記憶部２２及び制御部２３を有する。
　学習装置２０は、複数の音源からの音声を含む混合音声の入力を受け付ける。ただし、抽出装置１０に入力される混合音声と異なり、学習装置２０に入力される混合音声は、各成分の音源が既知であるものとする。すなわち、学習装置２０に入力される混合音声は、ラベル付きの教師データであるということができる。
　学習装置２０は、音源ごとの音声又は目的の音源の音声を混合音声から抽出する。そして、学習装置２０は、抽出した音源ごとの音声及び教師データを基にモデルを訓練する。例えば、学習装置２０に入力される混合音声は、個別に録音された複数の話者の音声を合成して得られたものであってもよい。
　インタフェース部２１は、データの入力及び出力のためのインタフェースである。例えば、インタフェース部２１はＮＩＣである。また、インタフェース部２１は、ディスプレイ等の出力装置及びキーボード等の入力装置に接続されていてもよい。
　記憶部２２は、ＨＤＤ、ＳＳＤ、光ディスク等の記憶装置である。なお、記憶部２２は、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ等のデータを書き換え可能な半導体メモリであってもよい。記憶部２２は、学習装置２０で実行されるＯＳや各種プログラムを記憶する。
　図２に示すように、記憶部２２は、モデル情報２２１を記憶する。モデル情報２２１は、モデルを構築するためのパラメータ等である。例えば、モデル情報２２１は、後述する各ニューラルネットワークを構築するための重み及びバイアス等である。
　制御部２３は、学習装置２０全体を制御する。制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等の電子回路や、ＡＳＩＣ、ＦＰＧＡ等の集積回路である。また、制御部２３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。
　制御部２３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２３は、信号処理部２３１、損失計算部２３２及び更新部２３３を有する。また、信号処理部２３１は、変換部２３１ａ、結合部２３１ｂ及び抽出部２３１ｃを有する。
　信号処理部２３１は、モデル情報２２１から構築されるモデルを用いて、混合音声から目的音声を抽出する。信号処理部２３１の各部の処理については後述する。
　損失計算部２３２は、信号処理部２３１によって抽出された目的音声及び教師データを基に損失関数を計算する。更新部２３３は、損失計算部２３２によって計算された損失関数が最適化されるようにモデル情報２２１を更新する。
　学習装置２０の信号処理部２３１は、抽出装置１０と同等の機能を有する。このため、抽出装置１０は、学習装置２０の機能の一部を用いて実現されるものであってもよい。以降、特に信号処理部２３１に関する説明は、信号処理部１３１についても同様であるものとする。
　信号処理部２３１、損失計算部２３２及び更新部２３３の処理について詳細に説明する。信号処理部２３１は、モデル情報２２１を基に、図３に示すようなモデルを構築する。図３は、モデルの構成例を示す図である。
　図３に示すように、モデルは、埋め込み用ネットワーク２０１、埋め込み用ネットワーク２０２、結合用ネットワーク２０３及び抽出用ネットワーク２０４を有する。信号処理部２３１は、モデルを用いて、目的話者の音声の推定信号である＾ｘｓを出力する。
　埋め込み用ネットワーク２０１及び埋め込み用ネットワーク２０２は、埋め込み用のニューラルネットワークの一例である。また、結合用ネットワーク２０３は、結合用のニューラルネットワークの一例である。また、抽出用ネットワーク２０４は、抽出用のニューラルネットワークの一例である。
　変換部２３１ａは、事前登録された音源の音声ａｓ＊を、埋め込み用ネットワーク２０１を使ってさらに埋め込みベクトルｅｓ＊に変換する。変換部２３１ａは、成分ごとの音源が既知の混合音声ｙを、埋め込み用ネットワーク２０２を使って音源ごとの埋め込みベクトル｛ｅｓ｝に変換する。
　ここで、埋め込み用ネットワーク２０１及び埋め込み用ネットワーク２０２は、話者の音声の特徴を表す特徴量ベクトルを抽出するネットワークということができる。この場合、埋め込みベクトルは特徴量ベクトルに相当する。
　なお、変換部２３１ａは、埋め込み用ネットワーク２０１を使った変換を行ってもよいし、行わなくてもよい。また、｛ｅｓ｝は、埋め込みベクトルの集合である。
　ここで、変換部２３１ａによる変換方法の例を説明する。音源の最大値数が固定されている場合、変換部２３１ａは、第１の変換方法を用いる。一方、音源の数が任意である場合、変換部２３１ａは、第２の変換方法を用いる。
［第１の変換方法］
　第１の変換方法について説明する。第１の変換方法では、埋め込み用ネットワーク２０２は、図４に示す埋め込み用ネットワーク２０２ａとして表現される。図４は、埋め込み用ネットワークについて説明する図である。
　図４に示すように、埋め込み用ネットワーク２０２ａは、混合音声ｙを基に音源ごとの埋め込みベクトルｅ１、ｅ２、…ｅｓを出力する。例えば、変換部２３１ａは、第１の変換方法として、Wavesplit（参考文献：https://arxiv.org/abs/2002.08933）と同様の方法を用いることができる。第１の変換方法における損失関数の計算方法については後述する。
［第２の変換方法］
　第２の変換方法について説明する。第２の変換方法では、埋め込み用ネットワーク２０２は、図５に示す埋め込み用ネットワーク２０２ｂ及びデコーダ２０２ｃを有するモデルとして表現される。図５は、埋め込み用ネットワークについて説明する図である。
　埋め込み用ネットワーク２０２ｂはエンコーダとして機能する。また、デコーダ２０２ｃは、例えばＬＳＴＭ（Long　Short　Term　Memory）である。
　第２の変換方法においては、任意の数の音源を扱うために、変換部２３１ａは、seq2seqモデルを用いることができる。例えば、変換部２３１ａは、最大数Ｓを超える音源の埋め込みベクトルについては、別途出力してもよい（Nb　of　speakers）。
　例えば、変換部１３１ａは、音源の数をカウントし、図５に示すモデルの出力として得るようにしてもよいし、音源の数のカウントを止めるフラグを設けてもよい。
　埋め込み用ネットワーク２０１は、埋め込み用ネットワーク２０２と同様の構成であってもよい。また、埋め込み用ネットワーク２０１及び埋め込み用ネットワーク２０２のパラメータは共有されてもよいし、別個のものであってもよい。
　結合部２３１ｂは、結合用ネットワーク２０３を使って埋め込みベクトル｛ｅｓ｝を結合して結合ベクトル￣ｅｓ（ｅｓの直上に￣）を得る。さらに、結合部２３１ｂは、混合音声から変換された埋め込みベクトル｛ｅｓ｝と、事前登録された音源の音声から変換された埋め込みベクトルｅｓ＊とを結合してもよい。
　さらに、結合部２３１ｂは、結合用ネットワーク２０３を使って各音源の活性度（Activity）である＾ｐｓ（ｐｓの直上に＾）を計算する。例えば、結合部２３１ｂは、（１）式により活性度を計算する。
Figure JPOXMLDOC01-appb-M000001
　（１）式の活性度は、ｅｓ＊とｅｓのコサイン類似度が閾値以上のときのみ有効であってもよい。また、活性度は、結合用ネットワーク２０３の出力して得られるものであってもよい。
　結合用ネットワーク２０３は、例えば、｛ｅｓ｝に含まれる各埋め込みベクトルを単純に連接（concatenate）することによって結合してもよい。また、結合用ネットワーク２０３は、例えば、｛ｅｓ｝に含まれる各埋め込みベクトルに活性度等に基づく重みを付けた上で結合してもよい。
　前述の＾ｐｓは、事前登録された音源の音声と類似している場合に大きくなる。このため、例えば、変換部２３１ａによって得られた埋め込みベクトルのうち、事前登録されたいずれの音源との間でも＾ｐｓが閾値を超えない場合、変換部２３１ａは、当該埋め込みベクトルは事前登録されていない新たな音源のものであると判定できる。これにより、変換部２３１ａは、新たな音源を発見することができる。
　ここで、実験では、音源の事前登録を行うことなく、本実施形態により目的音声の抽出を行うことができた。このとき、学習装置２０は、混合音声を例えば１０秒ごとのブロックに分割し、ブロックごとに目的音声の抽出を行った。そして、学習装置２０は、ｎ（ｎ＞１）個目のブロックについては、ｎ－１個目のブロックの処理において変換部２３１ａによって発見された新たな音源を事前登録された音源として扱った。
　抽出部２３１ｃは、混合音声と結合ベクトルとから、抽出用ネットワーク２０４を使って目的音声を抽出する。抽出用ネットワーク２０４は、引用文献１に記載のメインＮＮと同様のものであってもよい。
　損失計算部２３２は、抽出部２３１ｃによって抽出された目的音声と、を基に損失関数を計算する。また、更新部２３３は、混合音声の成分ごとの音源に関する情報と、抽出部２３１ｃによって抽出された目的音声と、を基に計算される損失関数が最適化されるように、埋め込み用ネットワーク２０２のパラメータを更新する。
　例えば、損失計算部２３２は、（２）式に示すような損失関数Ｌを計算する。
Figure JPOXMLDOC01-appb-M000002
　Ｌｓｉｇｎａｌ及びＬｓｐｅａｋｅｒは、例えば非特許文献１に記載された従来のスピーカービームと同様の方法で計算される。α、β、γ、νは、チューニングパラメータとして設定される重みである。ｘｓは、学習装置２０に入力される音源が既知の音声である。ｐｓは、混合音声の中に音源ｓの話者が存在するか否かを示す値である。例えば、音源ｓが存在する場合はｐｓ＝１となり、そうでない場合はｐｓ＝０となる。
　Ｌｓｉｇｎａｌについて説明する。ｘｓは、｛ｅｓ｝のうちｅｓ＊と最も近いｅｓに対応する。Ｌｓｉｇｎａｌは全ての音源について計算されてもよいし、一部の音源について計算されてもよい。
　Ｌｓｐｅａｋｅｒについて説明する。Ｓは音源の最大数である。｛ｓ｝ｓ＝１ ＾Ｓは、音源のＩＤである。Ｌｓｐｅａｋｅｒは、クロスエントロピーであってもよい。
　Ｌｅｍｂｅｄｄｉｎｇについて説明する。損失計算部２３２は、前述のWavesplitの方法により計算されてもよい。例えば、損失計算部２３２は、Ｌｅｍｂｅｄｄｉｎｇを（３）式のようにＰＩＴ（permutation　invariant）損失に書き換えることができる。
Figure JPOXMLDOC01-appb-M000003
　Ｓは音源の最大数である。πは音源１、２、…、Ｓの順列である。πｓは、順列の要素である。＾ｅｓは、埋め込み用ネットワーク２０１によって計算された埋め込みベクトルであってもよいし、音源ごとにあらかじめ設定された埋め込みベクトルであってもよい。また、＾ｅｓは、one-hotベクトルであってもよい。また、例えば、Ｌｅｍｂｅｄｄｉｎｇは、ベクトル間のコサイン距離又はＬ２ノルムである。
　ここで、（３）式に示すように、ＰＩＴ損失の計算には、順列の要素ごとの計算が必要になるため、計算コストが膨大になる場合がある。例えば、音源の数が７である場合、順列の要素数は７！であり、５０００を超える。
　そこで、本実施形態では、下記の第１の損失計算方法又は第２の損失計算方法でＬｓｐｅａｋｅｒを計算することにより、ＰＩＴ損失を用いたＬｅｍｂｅｄｄｉｎｇの計算を省略することができる。
［第１の損失計算方法］
　第１の損失計算方法では、損失計算部２３２は、（４）式、（５）式、（６）式により、Ｐを計算する。なお、Ｐの計算方法はここで説明したものに限られず、行列Ｐの各要素が＾ｅｓとｅｓとの距離（例えば、コサイン距離又はＬ２ノルム）を表すようになるものであればよい。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　＾Ｓは事前登録された学習用の音源の数である。また、Ｓは混合音声に含まれる音源の数である。（４）式では、混合音声において活性化している（アクティブな）音源が先頭の方に来るように埋め込みベクトルが並べられている。
　続いて、損失計算部２３２は、（７）式により～Ｐ（Ｐの直上に～）を計算する。
Figure JPOXMLDOC01-appb-M000007
　（７）式は、音源ｉと音源ｊの埋め込みベクトルが対応している確率、又は（８）式が成り立つ確率を表している。
Figure JPOXMLDOC01-appb-M000008
　そして、損失計算部２３２は、（９）式により活性化ベクトルｑを計算する。
Figure JPOXMLDOC01-appb-M000009
　活性化ベクトルｑの真の値（教師データ）ｑｒｅｆは、（１０）式のようになる。
Figure JPOXMLDOC01-appb-M000010
　これより、損失計算部２３２は、（１１）式のようにＬｓｐｅａｋｅｒを計算することができる。なお、関数ｌ（ａ，ｂ）は、ベクトルａとベクトルｂとの距離（例えばコサイン距離又はＬ２ノルム）を出力する関数である。
Figure JPOXMLDOC01-appb-M000011
　このように、損失計算部２３２は、混合音声の各音源の埋め込みベクトルに基づく各音源の活性化の度合いを基に損失関数を計算することができる。
［第２の損失計算方法］
　第２の損失計算方法では、まず行列～Ｐ∈Ｒ＾Ｓ×Ｓを考える。この行列の各行は混合音声の各音源の埋め込みベクトルの、事前登録済みの各音源の埋め込みベクトルへの割り当てを表している。ここで、損失計算部２３２は、目的音声抽出のための埋め込みベクトルを（１２）式のように計算する。～ｐｉは、～Ｐのｉ番目の行であり、アテンション機構における重みに相当する。
Figure JPOXMLDOC01-appb-M000012
　損失計算部２３２は、第１の損失計算方法と同様にＬｓｐｅａｋｅｒ＝ｌ（ｐ，ｐｒｅｆ）を計算することで、各埋め込みベクトルを異なる音源と対応付ける排他的な制約を表現することができる。
　また、Ｌａｃｔｉｖｉｔｙは、例えば活性度＾ｐｓとｐｓとのクロスエントロピーである。（１）式より、活性度＾ｐｓは０から１の範囲内である。また、前述の通り、ｐｓは０又は１である。
　更新部２３３は、第１の損失計算方法又は第２の損失計算方法では、全ての話者について誤差逆伝播を行う必要はない。第１の損失計算方法又は第２の損失計算方法は、音源の数が多い場合（例えば、５以上）に特に有効である。また、第１の損失計算方法又は第２の損失計算方法目的音声の抽出だけでなく、音源分離等にも有効である。
［第１の実施形態の処理の流れ］
　図６は、第１の実施形態に係る抽出装置の処理の流れを示すフローチャートである。図６に示すように、まず、抽出装置１０は、事前登録された話者の音声を、埋め込み用ネットワーク２０１を使って埋め込みベクトルに変換する（ステップＳ１０１）。抽出装置１０はステップＳ１０１を実行しなくてもよい。
　そして、抽出装置１０は、混合音声を、埋め込み用ネットワーク２０２を使って埋め込みベクトルに変換する（ステップＳ１０２）。次に、抽出装置１０は、結合用ネットワーク２０３を使って埋め込みベクトルを結合する（ステップＳ１０３）。
　続いて、抽出装置１０は、結合された埋め込みベクトルと混合音声とから、抽出用ネットワーク２０４を使って目的音声を抽出する（ステップＳ１０４）。
　図７は、第１の実施形態に係る学習装置の処理の流れを示すフローチャートである。図７に示すように、まず、学習装置２０は、事前登録された話者の音声を、埋め込み用ネットワーク２０１を使って埋め込みベクトルに変換する（ステップＳ２０１）。学習装置２０はステップＳ２０１を実行しなくてもよい。
　そして、学習装置２０は、混合音声を、埋め込み用ネットワーク２０２を使って埋め込みベクトルに変換する（ステップＳ２０２）。次に、学習装置２０は、結合用ネットワーク２０３を使って埋め込みベクトルを結合する（ステップＳ２０３）。
　続いて、学習装置２０は、結合された埋め込みベクトルと混合音声とから、抽出用ネットワーク２０４を使って目的音声を抽出する（ステップＳ２０４）。
　ここで、学習装置２０は、各ネットワークを同時最適化する損失関数を計算する（ステップＳ２０５）。そして、学習装置２０は、損失関数が最適化されるように各ネットワークのパラメータを更新する（ステップＳ２０６）。
　学習装置２０は、パラメータが収束したと判定した場合（ステップＳ２０７、Ｙｅｓ）、処理を終了する。一方、学習装置２０は、パラメータが収束していないと判定した場合（ステップＳ２０７、Ｎｏ）、ステップＳ２０１に戻り処理を繰り返す。
［第１の実施形態の効果］
　これまで説明してきたように、抽出装置１０は、成分ごとの音源が既知の混合音声を、埋め込み用ネットワーク２０２を使って音源ごとの埋め込みベクトルに変換する。抽出装置１０は、結合用ネットワーク２０３を使って埋め込みベクトルを結合して結合ベクトルを得る。抽出装置１０は、混合音声と結合ベクトルとから、抽出用ネットワーク２０４を使って目的音声を抽出する。
　また、学習装置２０は、成分ごとの音源が既知の混合音声を、埋め込み用ネットワーク２０２を使って音源ごとの埋め込みベクトルに変換する。学習装置２０は、結合用ネットワーク２０３を使って埋め込みベクトルを結合して結合ベクトルを得る。学習装置２０は、混合音声と結合ベクトルとから、抽出用ネットワーク２０４を使って目的音声を抽出する。学習装置２０は、混合音声の成分ごとの音源に関する情報と、抽出された目的音声と、を基に計算される損失関数が最適化されるように、埋め込み用ネットワーク２０２のパラメータを更新する。
　第１の実施形態によれば、音源ごとの埋め込みベクトルを計算することで、未登録の音源の音声についても抽出することができる。また、結合用ネットワーク２０３により、混合音声信号における目的話者が発話していない時間区間の活性度を低下させることができる。また、混合音声から逐時埋め込みベクトルを得ることができるので、目的話者の音声が途中で変化してしまう場合に対応することができる。
　以上より、本実施形態によれば、混合音声から目的音声を精度良くかつ容易に抽出することができる。
　学習装置２０は、事前登録された音源の音声を、埋め込み用ネットワーク２０１を使ってさらに埋め込みベクトルに変換する。学習装置２０は、混合音声から変換された埋め込みベクトルと、事前登録された音源の音声から変換された埋め込みベクトルとを結合する。
　このように、事前に音声が入手可能な音源がある場合は、効率良く学習を行うことができる。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、抽出装置１０及び学習装置２０は、パッケージソフトウェアやオンラインソフトウェアとして上記の音声信号の抽出処理又は学習処理を実行するプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の抽出処理のためのプログラムを情報処理装置に実行させることにより、情報処理装置を抽出装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、抽出装置１０及び学習装置２０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の音声信号の抽出処理又は学習処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、サーバ装置は、混合音声信号を入力とし、目的話者の音声信号を抽出するサービスを提供するサーバ装置として実装される。この場合、サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによってサービスを提供するクラウドとして実装することとしてもかまわない。
　図８は、プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、抽出装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、抽出装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１０　抽出装置
　２０　学習装置
　１１、２１　インタフェース部
　１２、２２　記憶部
　１３、２３　制御部
　１２１、２２１　モデル情報
　１３１、２３１　信号処理部
　１３１ａ、２３１ａ　変換部
　１３１ｂ、２３１ｂ　結合部
　１３１ｃ、２３１ｃ　抽出部

Claims (8)

  1. 　混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する変換部と、
    　結合用のニューラルネットワークを使って前記埋め込みベクトルを結合して結合ベクトルを得る結合部と、
    　前記混合音と前記結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する抽出部と、
    　を有することを特徴とする抽出装置。
  2. 　抽出装置によって実行される抽出方法であって、
    　混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する変換工程と、
    　結合用のニューラルネットワークを使って前記埋め込みベクトルを結合して結合ベクトルを得る結合工程と、
    　前記混合音と前記結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する抽出工程と、
    　を含むことを特徴とする抽出方法。
  3. 　成分ごとの音源が既知の混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する変換部と、
    　結合用のニューラルネットワークを使って前記埋め込みベクトルを結合して結合ベクトルを得る結合部と、
    　前記混合音と前記結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する抽出部と、
    　前記混合音の成分ごとの音源に関する情報と、前記抽出部によって抽出された前記目的音と、を基に計算される損失関数が最適化されるように、前記埋め込み用のニューラルネットワークのパラメータを更新することを特徴とする更新部と、
    　を有することを特徴とする学習装置。
  4. 　前記変換部は、事前登録された音源の音を、前記埋め込み用のニューラルネットワークを使ってさらに埋め込みベクトルに変換し、
    　前記結合部は、前記混合音から変換された埋め込みベクトルと、前記事前登録された音源の音から変換された埋め込みベクトルとを結合することを特徴とする請求項３に記載の学習装置。
  5. 　前記更新部は、前記混合音の各音源の埋め込みベクトルに基づく各音源の活性化の度合いを基に計算される損失関数が最適化されるように、前記埋め込み用のニューラルネットワークのパラメータを更新することを特徴とする請求項４に記載の学習装置。
  6. 　前記更新部は、前記混合音の各音源の埋め込みベクトルの、事前登録済みの各音源の埋め込みベクトルへの割り当てを表す行列を基に計算される損失関数が最適化されるように、前記埋め込み用のニューラルネットワークのパラメータを更新することを特徴とする請求項４に記載の学習装置。
  7. 　学習装置によって実行される学習方法であって、
    　成分ごとの音源が既知の混合音を、埋め込み用のニューラルネットワークを使って音源ごとの埋め込みベクトルに変換する変換工程と、
    　結合用のニューラルネットワークを使って前記埋め込みベクトルを結合して結合ベクトルを得る結合工程と、
    　前記混合音と前記結合ベクトルとから、抽出用のニューラルネットワークを使って目的音を抽出する抽出工程と、
    　前記混合音の成分ごとの音源に関する情報と、前記抽出工程によって抽出された前記目的音と、を基に計算される損失関数が最適化されるように、前記埋め込み用のニューラルネットワークのパラメータを更新することを特徴とする更新工程と、
    　を含むことを特徴とする学習方法。
  8. 　コンピュータを、請求項１に記載の抽出装置、又は請求項３から６のいずれか１項に記載の学習装置として機能させるためのプログラム。
PCT/JP2021/000134 2021-01-05 2021-01-05 抽出装置、抽出方法、学習装置、学習方法及びプログラム Ceased WO2022149196A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/269,761 US20240062771A1 (en) 2021-01-05 2021-01-05 Extraction device, extraction method, training device, training method, and program
PCT/JP2021/000134 WO2022149196A1 (ja) 2021-01-05 2021-01-05 抽出装置、抽出方法、学習装置、学習方法及びプログラム
JP2022573823A JP7540512B2 (ja) 2021-01-05 2021-01-05 抽出装置、抽出方法、学習装置、学習方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000134 WO2022149196A1 (ja) 2021-01-05 2021-01-05 抽出装置、抽出方法、学習装置、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022149196A1 true WO2022149196A1 (ja) 2022-07-14

Family

ID=82358157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000134 Ceased WO2022149196A1 (ja) 2021-01-05 2021-01-05 抽出装置、抽出方法、学習装置、学習方法及びプログラム

Country Status (3)

Country Link
US (1) US20240062771A1 (ja)
JP (1) JP7540512B2 (ja)
WO (1) WO2022149196A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20260057891A1 (en) * 2024-08-20 2026-02-26 Beijing Zitiao Network Technology Co., Ltd. Same singer identification for music samples

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020240682A1 (ja) * 2019-05-28 2020-12-03 日本電気株式会社 信号抽出システム、信号抽出学習方法および信号抽出学習プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020240682A1 (ja) * 2019-05-28 2020-12-03 日本電気株式会社 信号抽出システム、信号抽出学習方法および信号抽出学習プログラム

Also Published As

Publication number Publication date
US20240062771A1 (en) 2024-02-22
JPWO2022149196A1 (ja) 2022-07-14
JP7540512B2 (ja) 2024-08-27

Similar Documents

Publication Publication Date Title
CN112309365B (zh) 语音合成模型的训练方法、装置、存储介质以及电子设备
CN107978311B (zh) 一种语音数据处理方法、装置以及语音交互设备
US20160078880A1 (en) Systems and Methods for Restoration of Speech Components
JP6623376B2 (ja) 音源強調装置、その方法、及びプログラム
JP7329393B2 (ja) 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、学習装置、学習方法及び学習プログラム
CN110379415B (zh) 领域自适应声学模型的训练方法
CN115136230A (zh) 基于音调对抗网络的无监督歌声语音转换
JP7112348B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
WO2020045313A1 (ja) マスク推定装置、マスク推定方法及びマスク推定プログラム
CN115240633B (zh) 用于文本到语音转换的方法、装置、设备和存储介质
JP2021039216A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
WO2020170803A1 (ja) 拡張装置、拡張方法及び拡張プログラム
CN114299910A (zh) 语音合成模型的训练方法、使用方法、装置、设备及介质
JP7540512B2 (ja) 抽出装置、抽出方法、学習装置、学習方法及びプログラム
CN116153323A (zh) 语音降噪网络的训练方法及装置、电子设备、存储介质
JP6636973B2 (ja) マスク推定装置、マスク推定方法およびマスク推定プログラム
CN111063337B (zh) 可快速更新语言模型的大规模语音识别方法及系统
JP2021167850A (ja) 信号処理装置、信号処理方法、信号処理プログラム、学習装置、学習方法及び学習プログラム
JP7605698B2 (ja) 抽出装置、抽出方法、学習装置、学習方法及びプログラム
CN115563377B (zh) 企业的确定方法、装置、存储介质及电子设备
CN117711372A (zh) 语音合成方法、装置、计算机设备和存储介质
JP7376895B2 (ja) 学習装置、学習方法、学習プログラム、生成装置、生成方法及び生成プログラム
JP7376896B2 (ja) 学習装置、学習方法、学習プログラム、生成装置、生成方法及び生成プログラム
WO2022034675A1 (ja) 信号処理装置、信号処理方法、信号処理プログラム、学習装置、学習方法、および、学習プログラム
WO2023248398A1 (ja) 学習装置、学習方法、学習プログラム及び音声合成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917424

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573823

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18269761

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917424

Country of ref document: EP

Kind code of ref document: A1