WO2024023946A1 - 音声処理装置、音声処理方法及び音声処理プログラム - Google Patents

音声処理装置、音声処理方法及び音声処理プログラム Download PDF

Info

Publication number
WO2024023946A1
WO2024023946A1 PCT/JP2022/028843 JP2022028843W WO2024023946A1 WO 2024023946 A1 WO2024023946 A1 WO 2024023946A1 JP 2022028843 W JP2022028843 W JP 2022028843W WO 2024023946 A1 WO2024023946 A1 WO 2024023946A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss function
model
learning
context
becomes smaller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/028843
Other languages
English (en)
French (fr)
Inventor
智大 田中
亮 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2022/028843 priority Critical patent/WO2024023946A1/ja
Priority to JP2024536612A priority patent/JP7758201B2/ja
Publication of WO2024023946A1 publication Critical patent/WO2024023946A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Definitions

  • the present invention relates to an audio processing device, an audio processing method, and an audio processing program.
  • the latter task refers to a task that uses voice as input, such as voice recognition.
  • voice such as voice recognition.
  • self-supervised learning parameters are learned so that a context representation can be obtained from speech that takes into account previous and subsequent input.
  • Transformer is known as a neural network that can acquire a context representation (see, for example, Non-Patent Document 2).
  • the conventional technology has a problem in that the accuracy of tasks subsequent to self-supervised learning may decrease.
  • the self-supervised learning model for speech may overfit the learning data of the self-supervised learning.
  • a mismatch occurs between the self-supervised learning model and the data used in the subsequent task, and an effective representation for the subsequent task cannot be obtained.
  • a speech processing device has a first method in which a vector obtained by quantizing speech features by a model becomes smaller as it approaches the context representation acquired by the model from the features. and a second loss function that becomes smaller as the accuracy with which the model identifies meta information of the speech based on the context representation increases, and the first loss function and an updating unit that updates parameters of the model so that the loss function becomes small and the second loss function becomes large.
  • FIG. 1 is a diagram showing an example of the configuration of a first learning device.
  • FIG. 2 is a diagram showing an example of the configuration of the second learning device.
  • FIG. 3 is a diagram showing a configuration example of an estimation device.
  • FIG. 4 is a flowchart showing the overall flow of the learning process.
  • FIG. 5 is a flowchart showing the flow of self-supervised learning processing.
  • FIG. 6 is a flowchart showing the flow of relearning processing.
  • FIG. 7 is a flowchart showing the flow of inference processing.
  • FIG. 8 is a diagram showing an example of a computer that executes a learning program.
  • the model is, for example, a neural network and includes a speech encoder, a context network, a quantization network, a classification network and an additional network. Details of each network will be described later.
  • the additional network is a neural network for calculating the final output in the latter task described above.
  • Tasks include classification tasks, generation tasks, prediction tasks, and the like.
  • Tasks targeting speech include speech recognition to obtain text from speech, speech classification to classify speech into predetermined types (e.g. speaker attributes, emotions), speaker identification to identify the speaker of speech, etc. It will be done.
  • the process of optimizing model parameters to improve task accuracy is called learning process.
  • the process of actually executing a task using one or more models including additional networks that have been trained through the learning process is called inference process.
  • the learning process of this embodiment is comprised of two steps: self-supervised learning process and relearning process.
  • the speech encoder and context network are called a self-supervised learning model.
  • Self-supervised learning models can be used for several different tasks targeting speech.
  • additional networks are models specialized for specific tasks.
  • a self-supervised learning model is trained.
  • additional network learning is performed using the self-supervised learning model that has been trained in the self-supervised learning process.
  • the first learning device 10 performs self-supervised learning processing. Further, the second learning device 20 performs relearning processing. Further, the inference device 30 performs inference processing.
  • the first learning device 10, the second learning device 20, and the inference device 50 may be realized by different computers, or may be realized by one computer.
  • the first learning device 10 is an example of a speech processing device. Moreover, any one or more of the first learning device 10, the second learning device 20, and the reasoning device 50 can function as a speech processing device.
  • FIG. 1 is a diagram showing an example of the configuration of a first learning device.
  • the first learning device 10 has a set of an acoustic feature sequence X and a classification label l of meta information ⁇ (X 1 , l 1 ), ..., (X M , l M ); l M ⁇ l 1 ,..., l L ⁇ is input as learning data.
  • the classification label l is the correct label.
  • M is the number of pairs of audio feature series and classification labels included in the learning data, and is an integer of 1 or more.
  • l l is the l-th type of classification label.
  • L is the number of types of classification labels prepared, and is an integer of 2 or more.
  • meta information is information representing the domain of audio (call center conversation audio, online conference audio, reading audio, etc.), language, gender, etc.
  • the acoustic features are, for example, log Mel filter bank coefficients (FBANK).
  • acoustic features are not limited to logarithmic mel filter vans, but include MFCC (Mel frequency cepstral coefficient), ⁇ MFCC (first derivative of MFCC), ⁇ MFCC (second derivative of MFCC), logarithmic power, ⁇ logarithmic power (logarithmic power first-order differential), etc.
  • the acoustic feature amount may be a sample of raw speech.
  • classification label may be represented by an L-dimensional 1-hot vector.
  • the first learning device 10 includes a speech encoder section 11, a context network section 12, a quantization network section 13, a classification network section 14, a classification learning loss calculation section 15, and a context representation learning loss calculation section 16. , a learning parameter updating unit 17, and model information 10a.
  • the model information 10a is the parameter of the model used by the first learning device 10. Parameters include neural network weights and biases. Furthermore, in the learning process, the model information 10a is updated as appropriate.
  • I is the sequence length of the acoustic feature, and is an integer of 1 or more.
  • T is the sequence length of the voice intermediate feature vector sequence, and is an integer of 1 or more.
  • the audio encoder unit 11 calculates the audio intermediate feature vector sequence Z as shown in equation (1).
  • SpeechEncoder() is a function that has the function of a neural network, for example, a convolutional neural network.
  • ⁇ se1 is a parameter of the audio encoder and can be learned. ⁇ se1 is read from the model information 10a.
  • the context network unit 12 applies masking to the intermediate feature vector sequence Z, which is the output of the audio encoder unit 11, as shown in equation (2).
  • Masking() is a function that performs masking in the time direction.
  • ContextNetwork() (context network) is a function that has the function of a neural network, and is, for example, the Transformer described in Non-Patent Document 2.
  • ⁇ se2 is a parameter of the context network and can be learned. ⁇ se2 is read from the model information 10a.
  • QuantizationNetwork() is a function that has the function of a neural network, and is composed of, for example, a fully connected neural network and a Gumbel softmax function.
  • the Gumbel softmax function is a differentiable function for propagating the output of a classifier (for example, a fully connected neural network) to a subsequent network.
  • the Gumbel softmax function is described in Reference 1, for example.
  • ⁇ qn is a parameter of the quantization network and can be learned. ⁇ qn is read from the model information 10a.
  • the number of dimensions of the probability sequence O is L.
  • Each element of the probability series O corresponds to each element ⁇ l 1 ,...,l L ⁇ of the classification label l.
  • GRL( ) is a function representing a gradient reversal layer (for example, see reference document 1), and is a function that inverts the sign of the gradient during Backward in the error backpropagation method.
  • ClassNetwork() (classification network) is a function that has the function of a neural network, and is composed of, for example, a fully connected neural network and a softmax function.
  • ⁇ qn is a parameter of the quantization network and can be learned. ⁇ qn is read from the model information 10a.
  • the classification learning loss calculation unit 15 calculates the classification learning loss L class for the classification label l as shown in equation (7).
  • ClassLoss( ) is a function that calculates the loss for identifying the classification label l, for example, cross entropy loss.
  • the context expression learning loss calculation unit 16 calculates a loss L context (context expression learning loss) for learning a context expression as shown in equation (8).
  • ContextLoss() is a function that calculates loss for learning context expressions, for example, Contrastive loss.
  • Sim() in equation (8) is a function that calculates the similarity between two vectors, and is, for example, a cosine similarity.
  • ⁇ Q ( ⁇ above Q) represents the set of negative examples of the quantized vector.
  • ⁇ is a temperature parameter set in advance.
  • a pair (positive example) of an element of the quantized expression vector sequence Q and an element of the corresponding context expression vector sequence is used.
  • q t and c t are a pair of corresponding elements.
  • the learning parameter updating unit 17 updates the parameters of the model based on the classification learning loss L class and the context expression learning loss L context .
  • the learning parameter updating unit 17 updates the parameters for each mini-batch.
  • the learning parameter updating unit 17 uses equations (9), (10), and ( 11) Update the parameters using the formula.
  • ⁇ represents the learning rate
  • ⁇ represents the weight for context representation learning loss
  • ⁇ represents the weight for classification learning loss.
  • ⁇ represents a weight, and the influence of loss is adjusted by changing it significantly each time learning progresses (updating is repeated in mini-batch units).
  • Equation (5) the function GRL( ) is introduced in the calculation of the classification network unit 14, so the sign of the term with ⁇ in equation (11) is inverted.
  • Equation (11) the learning parameter is updated so that it becomes smaller as the vector quantized for the input by the model approaches the acquired context representation, and the accuracy of identifying meta information based on the acquired context representation increases. be done.
  • the learning parameter updating unit 17 uses the first loss function (context representation learning loss L context ) and a second loss function (classification learning loss L class ) that becomes smaller as the accuracy with which the model identifies speech meta information based on the context expression increases. Then, the learning parameter updating unit 17 updates the parameters of the model so that the first loss function becomes smaller and the second loss function becomes larger (Equation (11)).
  • the learning parameter update section 17 corresponds to a loss function calculation section and an update section.
  • the parameter by the update unit is transferred from the first term (the term with ⁇ ) which is the first loss function to the second loss function.
  • This is a loss function (third loss function) obtained by subtracting a second term (term with ⁇ ) attached with a weight ⁇ that increases as the number of times the update of is repeated.
  • ANN adversarial neural network
  • the ANN performs learning so that the context network does not identify meta information regarding audio. This allows the context network to obtain a universal representation without overfitting the learning data.
  • the context network will operate robustly even for speech in an unknown domain.
  • the meta information includes the domain of the voice, the characteristics of the voice (language, etc.), the attributes of the speaker of the voice (gender, age), etc., and is information different from the content of the utterance expressed in text or the like. Moreover, the content of the utterance may be rephrased as the content of information transmitted by voice.
  • the process is further repeated using the updated parameters. Furthermore, when a predetermined condition (for example, the number of repetitions) is satisfied, the iterative process ends.
  • the context network unit 12 is an example of a context expression calculation unit that inputs voice features into a model and calculates a context expression.
  • the classification network unit 14 is an example of a meta-information label calculation unit that inputs a context expression into a model and calculates a label that specifies audio meta-information.
  • the quantization network unit 13 is an example of a quantization vector calculation unit that inputs a voice feature amount into a model and calculates a quantized vector.
  • the learning parameter update unit 17 calculates the first loss function so that the vector calculated by the quantization vector calculation unit becomes smaller as it approaches the context expression calculated by the context expression calculation unit, and the meta information It can be said that the second loss function is calculated so that it becomes smaller as the label calculation accuracy of the label calculation unit increases.
  • FIG. 2 is a diagram showing an example of the configuration of the second learning device.
  • the second learning device 20 uses the parameters updated by the first learning device 10 to perform learning of a relearning model for performing tasks related to speech.
  • the model in the first learning device 10 is a model that combines a speech encoder, a context network, a quantization network, and a classification network.
  • the relearning model is a model that combines a speech encoder, a context network, and an additional network.
  • a set of an acoustic feature sequence X and a subsequent task label l' is input to the second learning device 20 as learning data.
  • the subsequent task label l' is the correct label.
  • the subsequent task label l' corresponds to information according to the task, and does not need to indicate meta information.
  • the subsequent task label l' is the text corresponding to the speech. Further, the subsequent task label l' may indicate meta information like the classification label l. Note that the processing unit of the text corresponding to the voice in the subsequent task label l' may be a phoneme, a character, or a word.
  • the second learning device 20 includes a speech encoder section 21, a context network section 22, an additional network section 23, a subsequent task learning loss calculation section 24, a learning parameter update section 25, and model information 20a.
  • the model information 20a is parameters of a model trained by the first learning device 10.
  • the model information 20a includes at least parameters ⁇ se1 and ⁇ se2 . Furthermore, the model information 20a includes a parameter ⁇ add of an additional network depending on the task.
  • the audio encoder unit 21 calculates the audio intermediate feature vector sequence Z as shown in equation (1).
  • ⁇ se1 is a parameter of the audio encoder that has been updated by the first learning device 10, and is read from the model information 20a.
  • the context network unit 22 converts the intermediate feature vector sequence Z, which is the output of the audio encoder unit 21, into a context expression C as shown in equation (12). However, unlike the context network unit 12, the context network unit 22 does not perform masking.
  • ⁇ se2 is a parameter of the context network that has been updated by the first learning device 10, and is read from the model information 10a.
  • the additional network unit 23 calculates a probability sequence P (sequence of predicted probabilities) for the subsequent task label from the context expression vector sequence C that is the output of the context network unit 22, as shown in equation (13).
  • the ClassNetwork() (classification network) in equation (13) is different from the classification network of the first learning device 10, and learning is performed in the second learning device 20.
  • the classification network of the second learning device 20 is a function having the function of a neural network, and is composed of, for example, a bidirectional LSTM and a softmax function.
  • ⁇ add is a parameter of the classification network of the subsequent task and can be learned.
  • ⁇ addn is read from the model information 20a.
  • the subsequent task learning loss calculation unit 24 calculates the subsequent task learning loss L down for the subsequent task label l' as shown in equation (14).
  • Loss( ) is a function that calculates the loss of the subsequent task (for example, classification loss), for example, cross-entropy loss. Note that Loss( ) is changed as appropriate depending on the type of subsequent task (classification task, generation task, prediction task, etc.).
  • the learning parameter updating unit 25 updates the parameters of the model based on the loss L down of the subsequent task.
  • the learning parameter update unit 25 may fix some parameters and update other parameters. For example, the learning parameter updating unit 25 updates the parameter ⁇ add without updating the parameters ⁇ se1 and ⁇ se2 .
  • the calculation of the loss L down of the subsequent task is performed for each mini-batch. Therefore, the learning parameter updating unit 25 updates the parameters for each mini-batch.
  • the process is further repeated using the updated parameters. Furthermore, when a predetermined condition (for example, the number of repetitions) is satisfied, the iterative process ends.
  • FIG. 3 is a diagram showing a configuration example of an estimation device.
  • the inference device 50 uses the relearning model to execute a task.
  • the acoustic feature series X is input to the inference device 50 as learning data.
  • the inference device 50 estimates a label corresponding to the acoustic feature sequence X.
  • the inference device 50 includes a speech encoder section 51, a context network section 52, an additional network section 53, and model information 50a.
  • the model information 50a is the parameters of each model learned by the first learning device 10 and the second learning device 20.
  • the model information 50a includes a learned speech encoder parameter ⁇ se1 and a learned context network parameter ⁇ se2 . Furthermore, the model information 50a includes the learned additional network parameter ⁇ add .
  • the context network unit 52 converts the intermediate feature vector sequence Z, which is the output of the audio encoder unit 51, into a context representation C.
  • the additional network unit 23 calculates a probability sequence P (sequence of predicted probabilities) for the subsequent task label from the context expression vector sequence C that is the output of the context network unit 52.
  • the additional network unit 53 outputs classification results based on the probability sequence P.
  • the additional network unit 53 may output the probability sequence P, or may output information specifying the subsequent task label corresponding to the element with the largest value among the elements of the probability sequence P.
  • FIG. 4 is a flowchart showing the overall flow of the learning process. As shown in FIG. 4, first, the first learning device 10 performs preliminary learning of a speech encoder, a context network, a quantization network, and a classification network (step S1).
  • the second learning device 20 uses the learned speech encoder and context network to learn an additional network (step S2). At this time, it is also possible to relearn the audio encoder and context network.
  • FIG. 5 is a flowchart showing the flow of self-supervised learning processing.
  • the self-supervised learning process corresponds to the process of step S1 in FIG.
  • the first learning device 10 inputs the acoustic feature sequence to the audio encoder and calculates the intermediate expression vector sequence (step S101).
  • the first learning device 10 applies masking to the intermediate expression vector sequence, inputs it to the context network, and calculates a context expression vector sequence (step S102).
  • the first learning device 10 inputs the intermediate representation vector sequence to the quantization network and calculates a quantized representation vector sequence (step S103).
  • the first learning device 10 applies GRL to the context expression vector sequence, inputs it to the classification network, and calculates a probability sequence for the classification label of the meta information (step S104).
  • the first learning device 10 calculates the classification learning loss based on the calculated probability sequence and the correct classification label of the meta information (step S105).
  • the first learning device 10 calculates a context expression learning loss based on the context expression vector sequence and the quantized expression vector sequence (step S106).
  • the first learning device 10 updates the parameters of the audio encoder, context network, quantization network, and classification network based on the classification learning loss and context representation learning (step S107).
  • step S108 Yes
  • step S108, No the first learning device 10 terminates the process.
  • step S101 the end condition is not satisfied (step S108, No)
  • step S101 the end condition is not satisfied
  • the termination conditions include, for example, that the process has been repeated a certain number of times, that the amount of parameter updates has converged, etc.
  • FIG. 6 is a flowchart showing the flow of the relearning process.
  • the relearning process corresponds to the process of step S2 in FIG.
  • the second learning device 20 first inputs the acoustic feature sequence to the audio encoder and calculates the intermediate expression vector sequence (step S201).
  • the second learning device 20 inputs the intermediate expression vector sequence to the context network and calculates the context expression vector sequence (step S202).
  • the second learning device 20 inputs the context expression vector sequence to the additional network and calculates a probability sequence for the classification label according to the task (step S203).
  • the second learning device 20 calculates additional learning loss based on the calculated probability sequence and the correct classification label according to the task (step S204).
  • the second learning device 20 updates the parameters of the additional network based on the additional learning loss (step S205). At this time, it is also possible to relearn the audio encoder and context network.
  • step S206 Yes
  • step S206, No the second learning device 20 terminates the process.
  • step S206, No the second learning device 20 returns to step S201 and repeats the process using the model with updated parameters.
  • the termination conditions include, for example, that the process has been repeated a certain number of times, that the amount of parameter updates has converged, etc.
  • FIG. 7 is a flowchart showing the flow of inference processing.
  • the inference device 50 inputs the acoustic feature sequence to the audio encoder and calculates the intermediate representation vector sequence (step S501).
  • the inference device 50 inputs the intermediate representation vector sequence to the context network and calculates the context expression vector sequence (step S502).
  • the inference device 50 inputs the context expression vector sequence to the additional network and calculates a probability sequence for the classification label according to the task (step S503).
  • the inference device 50 outputs a classification result based on the calculated probability series (step S504).
  • the first learning device 10 has a first loss function that decreases as the vector obtained by quantizing the voice feature amount by the model becomes closer to the context expression acquired by the model from the feature amount; A second loss function is calculated that becomes smaller as the accuracy with which the model identifies audio meta information based on the context expression increases.
  • the first learning device 10 updates the parameters of the model so that the first loss function becomes smaller and the second loss function becomes larger. This prevents the context network from overfitting to the learning data, and prevents the accuracy of tasks subsequent to self-supervised learning from decreasing.
  • the first learning device 10 converts the first term, which is the first loss function, into a second term, which is weighted with a weight that increases as the number of repeated parameter updates increases.
  • a third loss function is calculated by subtracting , and the model parameters are updated so that the third loss function becomes smaller.
  • the first learning device 10 uses the updated parameters to learn a relearning model that executes tasks related to speech. Thereby, subsequent tasks by the additional network can be executed with high accuracy.
  • the first learning device 10 inputs the voice features into the model, calculates a context expression, inputs the context expression into the model, calculates a label that specifies the meta information of the voice, and inputs the voice features into the model. and calculate the quantized vector.
  • the first learning device 10 calculates a first loss function such that the calculated vector becomes smaller as it approaches the calculated context expression, and calculates a second loss function such that the calculated vector becomes smaller as the calculation accuracy of the label increases. calculate. Thereby, the first learning device 10 can consistently perform calculations using the model and update parameters.
  • the speech processing device provides a specific improvement over the conventional machine learning method as described in Non-Patent Document 1, and is applicable to the technical field related to speech tasks using machine learning models. This shows an improvement in
  • each component of each device shown in the drawings is functionally conceptual, and does not necessarily need to be physically configured as shown in the drawings.
  • the specific form of distributing and integrating each device is not limited to what is shown in the diagram, and all or part of the devices may be functionally or physically distributed or integrated in arbitrary units depending on various loads and usage conditions. Can be integrated and configured.
  • each processing function performed by each device is realized in whole or in part by a CPU (Central Processing Unit) and a program that is analyzed and executed by the CPU, or by hardware using wired logic. It can be realized as Note that the program may be executed not only by the CPU but also by another processor such as a GPU.
  • a CPU Central Processing Unit
  • the speech processing device installs a program that executes the above processing as packaged software or online software on a desired computer. It can be implemented by For example, by causing the information processing device to execute the above program, the information processing device can be made to function as an audio processing device.
  • the information processing device referred to here includes a desktop or notebook personal computer.
  • information processing devices include mobile communication terminals such as smartphones, mobile phones, and PHSs (Personal Handyphone Systems), as well as slate terminals such as PDAs (Personal Digital Assistants).
  • the audio processing device can also be implemented as a learning server device that uses a terminal device used by a user as a client and provides services related to the above-mentioned learning processing to the client.
  • a learning server device is implemented as a server device that provides a learning service that takes learning data as input and outputs parameters of a trained model.
  • the learning server device may be implemented as a Web server, or may be implemented as a cloud that provides services related to the above-mentioned learning processing by outsourcing.
  • FIG. 8 is a diagram showing an example of a computer that executes a learning program.
  • Computer 1000 includes, for example, a memory 1010 and a CPU 1020.
  • the computer 1000 also includes a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These parts are connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012.
  • the ROM 1011 stores, for example, a boot program such as BIOS (Basic Input Output System).
  • Hard disk drive interface 1030 is connected to hard disk drive 1090.
  • Disk drive interface 1040 is connected to disk drive 1100.
  • Serial port interface 1050 is connected to, for example, mouse 1110 and keyboard 1120.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, an application program 1092, a program module 1093, and program data 1094. That is, a program that defines each process of the learning device 5 is implemented as a program module 1093 in which computer-executable code is written.
  • Program module 1093 is stored in hard disk drive 1090, for example.
  • a program module 1093 for executing processing similar to the functional configuration of the learning device 5 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the embodiment described above is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads out the program module 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes the processing of the embodiment described above.
  • program module 1093 and the program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like.
  • the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). The program module 1093 and program data 1094 may then be read by the CPU 1020 from another computer via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network
  • the processor includes: a first loss function in which a vector obtained by quantizing voice features by a model becomes smaller as it approaches a context representation acquired by the model from the features; A second loss function that becomes smaller as the accuracy of identification is higher, and A speech processing device that updates parameters of the model so that the first loss function becomes smaller and the second loss function becomes larger.
  • a third term is obtained by subtracting a second term, which is weighted with a weight that increases as the number of times parameter updates are repeated, from the first term, which is the first loss function. Calculate the loss function, A speech processing device that updates parameters of the model so that the third loss function becomes smaller.
  • the audio processing device comprises: A speech processing device that uses updated parameters to train a relearning model to perform speech-related tasks.
  • the audio processing device comprises: inputting the voice features into the model and calculating a context representation; inputting the context representation into the model and calculating a label identifying meta information of the speech; inputting the feature amount of the voice into the model and calculating a quantized vector;
  • the first loss function is calculated such that the calculated vector becomes smaller as it approaches the calculated context expression, and the second loss function is calculated such that the calculated vector becomes smaller as the calculation precision of the label increases.
  • the audio processing device comprises: A speech processing device that executes the task using the relearning model.
  • a non-transitory storage medium storing a program executable by a computer to perform audio processing,
  • the audio processing includes: a first loss function in which a vector obtained by quantizing voice features by a model becomes smaller as it approaches a context representation acquired by the model from the features; A second loss function that becomes smaller as the accuracy of identification is higher, and The parameters of the model are updated such that the first loss function becomes smaller and the second loss function becomes larger.
  • An inference device comprising: an inference unit that performs inference processing regarding speech using a re-learning model that is trained using parameters of the model that has been trained through pre-learning processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

第１の学習装置（１０）は、モデルが音声の特徴量を量子化したベクトルが、モデルが特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、コンテキスト表現を基に音声のメタ情報をモデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算する。第１の学習装置（１０）第１の損失関数が小さくなり、かつ第２の損失関数が大きくなるように、モデルのパラメータを更新する。

Description

音声処理装置、音声処理方法及び音声処理プログラム
　本発明は、音声処理装置、音声処理方法及び音声処理プログラムに関する。
　従来、音声データを利用した自己教師学習で学習したニューラルネットワークのパラメータを、特定の後段タスクに対して転移することにより、その後段タスクの精度が改善することが知られている（例えば、非特許文献１を参照）。
　ここで、後段タスクとは音声を入力としたタスクを指しており、例えば音声認識等が挙げられる。自己教師学習では、音声から前後の入力を考慮したコンテキスト表現を獲得できるよう、パラメータが学習される。コンテキスト表現を獲得できるニューラルネットワークとして、Transformerが知られている（例えば、非特許文献２を参照）。
A.　Baevski,　H.　Zhou,　A.　Mohamed,　and　M.　Auli,　"wav2vec　2.0:　A　framework　for　self-supervised　learning　of　speech　representations,"　NeurIPS,　2020. A.　Vaswani,　N.　Shazeer,　N.　Parmar,　J.　Uszkoreit,　L.　Jones,　A.　N.　Gomez,　L.　Kaiser,　and　I.　Polosukhin,　"Attention　is　all　you　need",　In　Advances　in　NeurIPS,　pp.　5998-6008,　2017.
　しかしながら、従来の技術には、自己教師学習に対する後段のタスクの精度が低下する場合があるという問題がある。
　例えば、非特許文献１に記載の技術では、音声の自己教師学習モデルが、自己教師学習の学習データに対して過剰に適合してしまうことがある。この場合、自己教師学習モデルと後段のタスクで用いるデータとのミスマッチが生じ、後段のタスクに対して有効な表現が獲得できない。
　上述した課題を解決し、目的を達成するために、音声処理装置は、モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算する損失関数計算部と、前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する更新部と、を有することを特徴とする。
　本発明によれば、自己教師学習に対する後段のタスクの精度が低下することを抑止できる。
図１は、第１の学習装置の構成例を示す図である。 図２は、第２の学習装置の構成例を示す図である。 図３は、推定装置の構成例を示す図である。 図４は、学習処理の全体の流れを示すフローチャートである。 図５は、自己教師学習処理の流れを示すフローチャートである。 図６は、再学習処理の流れを示すフローチャートである。 図７は、推論処理の流れを示すフローチャートである。 図８は、学習プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願に係る音声処理装置、音声処理方法及び音声処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
［第１の実施形態］
　第１の実施形態では、複数のモデルの学習（訓練）が行われる。モデルは、例えばニューラルネットワークであり、音声エンコーダ、コンテキストネットワーク、量子化ネットワーク、分類ネットワーク及び追加ネットワークが含まれる。各ネットワークの詳細については後述する。
　追加ネットワークは、前述の後段のタスクにおける最終的な出力を計算するためのニューラルネットワークである。タスクには、分類タスク、生成タスク、予測タスク等が含まれる。
　本実施形態では、特に音声を対象としたタスクを対象とする。音声を対象としたタスクには、音声からテキストを得る音声認識、音声を所定の種別（例えば話者の属性、感情）に分類する音声分類、音声の話者を識別する話者識別等が含まれる。
　また、タスクの精度を向上させるためのモデルのパラメータを最適化する処理を学習処理と呼ぶ。また、学習処理によって学習済みの追加ネットワークを含む１つ以上のモデルを使って実際にタスクを実行する処理を推論処理と呼ぶ。
　本実施形態の学習処理は、自己教師学習処理と再学習処理の２段階の処理によって構成される。
　ここで、音声エンコーダ及びコンテキストネットワークを自己教師学習モデルと呼ぶ。自己教師学習モデルは、音声を対象とする複数の異なるタスクで利用可能である。一方で、追加ネットワークは、特定のタスクに特化したモデルである。
　自己教師学習処理では、自己教師学習モデルの学習が行われる。また、再学習処理では、自己教師学習処理で学習済みの自己教師学習モデルを使って、追加ネットワークの学習が行われる。
　本実施形態では、第１の学習装置１０が自己教師学習処理を行う。また、第２の学習装置２０が再学習処理を行う。また、推論装置３０が推論処理を行う。第１の学習装置１０、第２の学習装置２０及び推論装置５０は、それぞれ異なるコンピュータにより実現されてもよいし、１つのコンピュータにより実現されてもよい。
　第１の学習装置１０は、音声処理装置の一例である。また、第１の学習装置１０、第２の学習装置２０及び推論装置５０のいずれか１つ又は複数が音声処理装置として機能することができる。
　図１を用いて、第１の学習装置１０の構成を説明する。図１は、第１の学習装置の構成例を示す図である。
　図１に示すように、第１の学習装置１０には、音響特徴量系列Ｘとメタ情報の分類ラベルｌの組｛（Ｘ１，ｌ１），…，（ＸＭ，ｌＭ）；ｌＭ∈｛ｌ１，…，ｌＬ｝｝が学習データとして入力される。分類ラベルｌは正解ラベルである。
　ここで、Ｍは、学習データに含まれる音声特徴量系列と分類ラベルの組の数であり、１以上の整数である。また、ｌｌは、ｌ種類目の分類ラベルである。Ｌは、用意されている分類ラベルの種類数であり、２以上の整数である。
　また、メタ情報は、音声のドメイン（コールセンターの会話音声、オンライン会議の音声、読み上げ音声等）、言語、性別等を表す情報である。
　音響特徴量（音響特徴量系列Ｘの要素）は、例えば対数メルフィルタバンク（FBANK：log　Mel　filterbank　coefficients）である。また、音響特徴量は対数メルフィルタバンに限られず、ＭＦＣＣ（Mel　frequency　cepstral　coefficient）、ΔＭＦＣＣ（MFCCの１階微分）、ΔΔＭＦＣＣ（MFCCの２階微分）、対数パワー、Δ対数パワー（対数パワーの１階微分）等であってもよい。また、音響特徴量は、生の音声のサンプルであってもよい。
　また、分類ラベルは、Ｌ次元の１－ｈｏｔベクトルで表されてもよい。
　図１に示すように、第１の学習装置１０は、音声エンコーダ部１１、コンテキストネットワーク部１２、量子化ネットワーク部１３、分類ネットワーク部１４、分類学習ロス計算部１５、コンテキスト表現学習ロス計算部１６、学習パラメータ更新部１７及びモデル情報１０ａを有する。
　モデル情報１０ａは、第１の学習装置１０で用いられるモデルのパラメータである。パラメータは、ニューラルネットワークの重み及びバイアス等である。また、学習処理において、モデル情報１０ａは適宜更新される。
　音声エンコーダ部１１は、音響特徴量系列Ｘ＝｛ｘ１，…，ｘＩ｝が与えられた時、音声の中間表現ベクトル系列Ｚ＝｛ｚ１，…，ｚＴ｝を計算する。ここで、Ｉは音響特徴量の系列長であり、１以上の整数である。また、Ｔは音声の中間特徴量ベクトル系列の系列長であり、１以上の整数である。
　音声エンコーダ部１１は、（１）式のように音声の中間特徴量ベクトル系列Ｚを計算する。
Figure JPOXMLDOC01-appb-M000001
　ここで、SpeechEncoder（）（音声エンコーダ）、はニューラルネットワークの機能を持つ関数であり、例えば畳み込みニューラルネットワークである。
　θｓｅ１は音声エンコーダのパラメータであり、学習可能である。θｓｅ１は、モデル情報１０ａから読み出される。
　コンテキストネットワーク部１２は、音声エンコーダ部１１の出力である中間特徴量ベクトル系列Ｚに対して、（２）式のようにマスキングを適用する。
Figure JPOXMLDOC01-appb-M000002
　コンテキストネットワーク部１２は、マスキングが適用された中間特徴量ベクトル系列（Ｃの上にバー）を、（３）式のようにコンテキスト表現Ｃ＝｛ｃ１，…，ｃＩ｝に変換する。
Figure JPOXMLDOC01-appb-M000003
　ここで、Masking（）は時間方向にマスキングを行う機能を持つ関数である。
　ContextNetwork（）（コンテキストネットワーク）は、ニューラルネットワークの機能を持つ関数であり、例えば非特許文献２に記載のTransformerである。
　θｓｅ２はコンテキストネットワークのパラメータであり、学習可能である。θｓｅ２は、モデル情報１０ａから読み出される。
　量子化ネットワーク部１３は、音声エンコーダ部１１の出力である中間特徴量ベクトル系列Ｚから、（４）式のように音声の量子化表現ベクトル系列Ｑ＝｛ｑ１，…，ｑＩ｝を計算する。
Figure JPOXMLDOC01-appb-M000004
　ここで、QuantizationNetwork（）（量子化ネットワーク）は、ニューラルネットワークの機能を持つ関数であり、例えば全結合のニューラルネットワークとGumbel　softmax関数により構成される。
　Gumbel　softmax関数は、分類器（例えば全結合のニューラルネットワーク）の出力を後段のネットワークに伝搬させるための微分可能な関数である。Gumbel　softmax関数については、例えば参考文献１に記載されている。
　θｑｎは量子化ネットワークのパラメータであり、学習可能である。θｑｎは、モデル情報１０ａから読み出される。
　参考文献１：E.　Jang,　S.　Gu,　and　B.　Poole,　“Categorical　reparameterization　with　Gumbel-softmax,”　ICLR,　2017.
　分類ネットワーク部１４は、コンテキストネットワーク部１２の出力であるコンテキスト表現ベクトル系列Ｃから、（５）式及び（６）式のように、分類ラベルに対する確率系列Ｏ＝｛ｏｌ１，…，ｏｌL｝を計算する。確率系列Ｏの次元数はＬである。確率系列Ｏの各要素は分類ラベルｌの各要素｛ｌ１,…,ｌＬ｝に対応している。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここで、ＧＲＬ（）は、Gradient　reversal　layer（例えば、参考文献１を参照）を表す関数であり、誤差逆伝播法におけるBackwardの際に、勾配の符号を反転させる関数である。
　ClassNetwork（）（分類ネットワーク）は、ニューラルネットワークの機能を持つ関数であり、例えば全結合のニューラルネットワークとsoftmax関数により構成される。
　θｑｎは量子化ネットワークのパラメータであり、学習可能である。θｑｎは、モデル情報１０ａから読み出される。
　分類学習ロス計算部１５は、分類ラベルｌに対する分類学習ロスＬｃｌａｓｓを、（７）式のように計算する。
Figure JPOXMLDOC01-appb-M000007
　ClassLoss（）は分類ラベルｌを識別するためのロス計算をする関数であり、例えばクロスエントロピーロスである。
　コンテキスト表現学習ロス計算部１６は、コンテキスト表現を学習するためのロスＬｃｏｎｔｅｘｔ（コンテキスト表現学習ロス）を、（８）式のように計算する。
Figure JPOXMLDOC01-appb-M000008
　ContextLoss（）はコンテキスト表現を学習するためのロス計算をする関数であり、例えばContrastive　lossである。
　Contrastive　lossについて説明する。（８）式のＳｉｍ（）は、２つのベクトルの類似度を計算する関数であり、例えばコサイン類似度である。＾Ｑ（Ｑの上に＾）は、量子化されたベクトルの負例の集合を表している。τは事前に設定される温度パラメータである。
　（８）式の第３辺のｌｏｇ内の分子では、量子化表現ベクトル系列Ｑの要素と、対応するコンテキスト表現ベクトル系列の要素のペア（正例）が用いられる。例えば、ｑｔとｃｔは対応する要素同士のペアである。
　一方、（８）式の第３辺のｌｏｇ内の分母では、量子化表現ベクトル系列Ｑの要素と、対応しないコンテキスト表現ベクトル系列の要素のペア（負例）が用いられる。例えば、ｑｔとｃｔ´（ただしｔ≠ｔ´）は対応しない要素同士のペアである。
　学習パラメータ更新部１７は、分類学習ロスＬｃｌａｓｓ及びコンテキスト表現学習ロスＬｃｏｎｔｅｘｔを基に、モデルのパラメータを更新する。
　分類学習ロスＬｃｌａｓｓ及びコンテキスト表現を学習するためのロスＬｃｏｎｔｅｘｔの計算は、ミニバッチごとに行われる。このため、学習パラメータ更新部１７は、ミニバッチごとにパラメータの更新を行う。
　学習パラメータをΘｓｅ＝｛θｓｅ１，θｓｅ１｝、Θｑｎ＝｛θｑｎ｝、Θｃｎ＝｛θｃｎ｝とすると、学習パラメータ更新部１７は、（９）式、（１０）式、（１１）式によりパラメータを更新する。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　ここで、εは学習率、βはコンテキスト表現学習ロスに対する重み、γは分類学習ロスに対する重みを表している。また、αは重みを表しており、学習が進む（ミニバッチ単位で更新が繰り返される）ごとに大きく変化させることでロスの影響を調整する。
　（５）式に示すように、分類ネットワーク部１４の計算では関数ＧＲＬ（）が導入されているため、（１１）式のαが付された項の符号が反転している。
　（１１）式では、モデルが入力に対して量子化したベクトルと獲得したコンテキスト表現が近づき、かつ獲得されたコンテキスト表現を基にメタ情報を識別する精度が高いほど小さくなるように学習パラメータが更新される。
　このように、学習パラメータ更新部１７は、モデルが音声の特徴量を量子化したベクトルが、モデルが特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数（コンテキスト表現学習ロスＬｃｏｎｔｅｘｔ）と、コンテキスト表現を基に音声のメタ情報をモデルが識別する精度が高いほど小さくなる第２の損失関数（分類学習ロスＬｃｌａｓｓ）と、を計算する。そして、学習パラメータ更新部１７は、第１の損失関数が小さくなり、かつ第２の損失関数が大きくなるように、モデルのパラメータを更新する（（１１）式）。この場合、学習パラメータ更新部１７は、損失関数計算部及び更新部に相当する。
　さらに具体的には、（１１）式の右辺のかっこの中は、第１の損失関数である第１の項（βが付された項）から、第２の損失関数に、更新部によるパラメータの更新が繰り返された回数が多いほど大きくなる重みαが付された第２の項（αが付された項）を引いた損失関数（第３の損失関数）である。
　このように、本実施形態では、自己教師学習処理において、モデルの学習データに対する過適合を防ぐために、（１１）式によりadversarial　neural　network（ＡＮＮ）が実現されている。ＡＮＮについては、参考文献１に記載されている。
　本実施形態では、ＡＮＮにより、コンテキストネットワークが音声に関するメタ情報を識別しないよう学習が行われる。これにより、コンテキストネットワークが学習データに過適合することなく、普遍的な表現を獲得可能になる。
　例えば、分類ラベルｌが音声のドメインを示すものである場合、本実施形態によれば、コンテキストネットワークは、未知のドメインの音声に対しても頑健に動作するようになる。
　メタ情報は、音声のドメイン、音声の特性（言語等）、音声の話者の属性（性別、年齢）等であり、テキスト等で表現される発話の内容とは異なる情報である。また、発話の内容は、音声によって伝達される情報の内容と言い換えられてもよい。
　学習パラメータ更新部１７によってパラメータθｓｅ１、θｓｅ２、θｑｎ、θｃｎが更新された後、更新後のパラメータを用いてさらに処理が繰り返される。また、所定の条件（例えば繰り返し回数）が充足された場合、繰り返し処理が終了する。
　ここで、コンテキストネットワーク部１２は、音声の特徴量をモデルに入力し、コンテキスト表現を計算するコンテキスト表現計算部の一例である。また、分類ネットワーク部１４は、コンテキスト表現をモデルに入力し、音声のメタ情報を特定するラベルを計算するメタ情報ラベル計算部の一例である。また、量子化ネットワーク部１３は、音声の特徴量をモデルに入力し、量子化したベクトルを計算する量子化ベクトル計算部の一例である。
　これより、学習パラメータ更新部１７は、量子化ベクトル計算部によって計算されたベクトルが、コンテキスト表現計算部によって計算されたコンテキスト表現に近いほど小さくなるように第１の損失関数を計算し、メタ情報ラベル計算部のラベルの計算精度が高いほど小さくなるように第２の損失関数を計算するということができる。
　図２を用いて、第２の学習装置２０の構成を説明する。図２は、第２の学習装置の構成例を示す図である。第２の学習装置２０は、第１の学習装置１０によって更新されたパラメータを用いて、音声に関するタスクを実行する再学習モデルの学習を行う。第１の学習装置１０におけるモデルは、音声エンコーダ、コンテキストネットワーク、量子化ネットワーク、及び分類ネットワークを組み合わせたモデルである。一方、再学習モデルは、音声エンコーダ、コンテキストネットワーク及び追加ネットワークを組み合わせたモデルである。
　図２に示すように、第２の学習装置２０には、音響特徴量系列Ｘと後段タスクラベルｌ´の組が学習データとして入力される。後段タスクラベルｌ´は正解ラベルである。
　ここで、後段タスクラベルｌ´は、タスクに応じた情報に対応したものであり、メタ情報を示すものでなくてもよい。
　例えば、タスクが音声からテキストを得る音声認識である場合、後段タスクラベルｌ´は、音声に対応するテキストである。また、後段タスクラベルｌ´は、分類ラベルｌと同じく、メタ情報を示すものであってもよい。なお、後段タスクラベルｌ´における音声に対応するテキストの処理単位は、音素であってもよいし、文字であってもよいし、単語であってもよい。
　図２に示すように、第２の学習装置２０は、音声エンコーダ部２１、コンテキストネットワーク部２２、追加ネットワーク部２３、後段タスク学習ロス計算部２４、学習パラメータ更新部２５及びモデル情報２０ａを有する。
　モデル情報２０ａは、第１の学習装置１０で学習が行われたモデルのパラメータである。モデル情報２０ａは、少なくともパラメータθｓｅ１及びθｓｅ２を含む。さらに、モデル情報２０ａは、タスクに応じた追加ネットワークのパラメータθａｄｄを含む。
　音声エンコーダ部２１は、音声エンコーダ部１１と同様に、音響特徴量系列Ｘ＝｛ｘ１，…，ｘＩ｝が与えられた時、音声の中間表現ベクトル系列Ｚを計算する。
　音声エンコーダ部２１は、（１）式のように音声の中間特徴量ベクトル系列Ｚを計算する。
　θｓｅ１は第１の学習装置１０により更新済みの音声エンコーダのパラメータであり、モデル情報２０ａから読み出される。
　コンテキストネットワーク部２２は、コンテキストネットワーク部１２と同様に、音声エンコーダ部２１の出力である中間特徴量ベクトル系列Ｚを、（１２）式のようにコンテキスト表現Ｃに変換する。ただし、コンテキストネットワーク部２２は、コンテキストネットワーク部１２と異なりマスキングを行わない。
Figure JPOXMLDOC01-appb-M000012
　θｓｅ２は第１の学習装置１０により更新済みのコンテキストネットワークのパラメータであり、モデル情報１０ａから読み出される。
　追加ネットワーク部２３は、コンテキストネットワーク部２２の出力であるコンテキスト表現ベクトル系列Ｃから、（１３）式のように、後段タスクラベルに対する確率系列Ｐ（予測確率の系列）を計算する。
Figure JPOXMLDOC01-appb-M000013
　（１３）式のClassNetwork（）（分類ネットワーク）は、第１の学習装置１０の分類ネットワークとは異なるものであり、第２の学習装置２０において学習が行われる。
　例えば、第２の学習装置２０の分類ネットワークは、ニューラルネットワークの機能を持つ関数であり、例えば双方向ＬＳＴＭとsoftmax関数により構成される。
　θａｄｄは後段タスクの分類ネットワークのパラメータであり、学習可能である。θａｄｄｎは、モデル情報２０ａから読み出される。
　後段タスク学習ロス計算部２４は、後段タスクラベルｌ´に対する後段タスク学習ロスＬｄｏｗｎを、（１４）式のように計算する。
Figure JPOXMLDOC01-appb-M000014
　Loss（）は後段タスクのロス（例えば、分類ロス）を計算する関数であり、例えばクロスエントロピーロスである。なお、Loss（）は、後段タスクの種類（分類タスク、生成タスク、予測タスク等）に応じて適宜変更される。
　学習パラメータ更新部２５は、後段タスクのロスＬｄｏｗｎを基に、モデルのパラメータを更新する。
　学習パラメータ更新部２５は、一部のパラメータを固定して、他のパラメータを更新してもよい。例えば、学習パラメータ更新部２５は、パラメータθｓｅ１及びθｓｅ２を更新することなく、パラメータθａｄｄを更新する。
　後段タスクのロスＬｄｏｗｎの計算は、ミニバッチごとに行われる。このため、学習パラメータ更新部２５は、ミニバッチごとにパラメータの更新を行う。
　学習パラメータ更新部２５によってパラメータが更新された後、更新後のパラメータを用いてさらに処理が繰り返される。また、所定の条件（例えば繰り返し回数）が充足された場合、繰り返し処理が終了する。
　図３を用いて、学習済みのモデルを用いた推論処理について説明する。図３は、推定装置の構成例を示す図である。推論装置５０は、再学習モデルを用いて、タスクを実行する。
　図３に示すように、推論装置５０には、音響特徴量系列Ｘが学習データとして入力される。例えば、推論装置５０は、音響特徴量系列Ｘに対応するラベルを推定する。
　図３に示すように、推論装置５０は、音声エンコーダ部５１、コンテキストネットワーク部５２及び追加ネットワーク部５３及びモデル情報５０ａを有する。
　モデル情報５０ａは、第１の学習装置１０及び第２の学習装置２０で学習が行われた各モデルのパラメータである。モデル情報５０ａは、学習済みの音声エンコーダのパラメータθｓｅ１及び学習済みのコンテキストネットワークのパラメータθｓｅ２を含む。また、モデル情報５０ａは、学習済みの追加ネットワークのパラメータθａｄｄを含む。
　音声エンコーダ部５１は、音声エンコーダ部２１と同様に、音響特徴量系列Ｘ＝｛ｘ１，…，ｘＩ｝が与えられた時、音声の中間表現ベクトル系列Ｚを計算する。
　コンテキストネットワーク部５２は、コンテキストネットワーク部２２と同様に、音声エンコーダ部５１の出力である中間特徴量ベクトル系列Ｚを、コンテキスト表現Ｃに変換する。
　追加ネットワーク部２３は、コンテキストネットワーク部５２の出力であるコンテキスト表現ベクトル系列Ｃから、後段タスクラベルに対する確率系列Ｐ（予測確率の系列）を計算する。
　追加ネットワーク部５３は、確率系列Ｐを基に分類結果を出力する。追加ネットワーク部５３は、確率系列Ｐを出力してもよいし、確率系列Ｐの要素のうち最も値が大きい要素に対応する後段タスクラベルを特定する情報を出力してもよい。
［第１の実施形態の処理］
　図４、図５、図６及び図７を用いて、第１の実施形態の学習処理及び推論処理の流れを説明する。
　図４は、学習処理の全体の流れを示すフローチャートである。図４に示すように、まず、第１の学習装置１０は、音声エンコーダ、コンテキストネットワーク、量子化ネットワーク、分類ネットワークの事前学習を行う（ステップＳ１）。
　次に、第２の学習装置２０は、学習済みの音声エンコーダ及びコンテキストネットワークを使って追加ネットワークの学習を行う（ステップＳ２）。このとき、音声エンコーダ及びコンテキストネットワークの再学習を行うことも可能である。
　図５は、自己教師学習処理の流れを示すフローチャートである。自己教師学習処理は、図４のステップＳ１の処理に相当する。
　図５に示すように、まず、第１の学習装置１０は、音響特徴量系列を音声エンコーダに入力し、中間表現ベクトル系列を計算する（ステップＳ１０１）。
　次に、第１の学習装置１０は、中間表現ベクトル系列にマスキングを適用した上でコンテキストネットワークに入力し、コンテキスト表現ベクトル系列を計算する（ステップＳ１０２）。
　また、第１の学習装置１０は、中間表現ベクトル系列を量子化ネットワークに入力し、量子化表現ベクトル系列を計算する（ステップＳ１０３）。
　続いて、第１の学習装置１０は、コンテキスト表現ベクトル系列にＧＲＬを適用した上で分類ネットワークに入力し、メタ情報の分類ラベルに対する確率系列を計算する（ステップＳ１０４）。
　そして、第１の学習装置１０は、計算した確率系列、及びメタ情報の正解の分類ラベルを基に、分類学習ロスを計算する（ステップＳ１０５）。
　また、第１の学習装置１０は、コンテキスト表現ベクトル系列、及び量子化表現ベクトル系列を基に、コンテキスト表現学習ロスを計算する（ステップＳ１０６）。
　さらに、第１の学習装置１０は、分類学習ロス、及びコンテキスト表現学習を基に、音声エンコーダ、コンテキストネットワーク、量子化ネットワーク、分類ネットワークのパラメータを更新する（ステップＳ１０７）。
　ここで、終了条件が充足されている場合（ステップＳ１０８、Ｙｅｓ）、第１の学習装置１０は処理を終了する。一方、第１の学習装置１０は、終了条件が充足されていない場合（ステップＳ１０８、Ｎｏ）、ステップＳ１０１に戻り、パラメータが更新されたモデルを用いて処理を繰り返す。
　終了条件は、例えば、処理が一定回数だけ繰り返されたこと、パラメータの更新量が収束したこと等である。
　図６は、再学習処理の流れを示すフローチャートである。再学習処理は、図４のステップＳ２の処理に相当する。
　図６に示すように、まず、第２の学習装置２０は、音響特徴量系列を音声エンコーダに入力し、中間表現ベクトル系列を計算する（ステップＳ２０１）。
　次に、第２の学習装置２０は、中間表現ベクトル系列をコンテキストネットワークに入力し、コンテキスト表現ベクトル系列を計算する（ステップＳ２０２）。
　続いて、第２の学習装置２０は、コンテキスト表現ベクトル系列を追加ネットワークに入力し、タスクに応じた分類ラベルに対する確率系列を計算する（ステップＳ２０３）。
　そして、第２の学習装置２０は、計算した確率系列、及びタスクに応じた正解の分類ラベルを基に、追加学習ロスを計算する（ステップＳ２０４）。
　さらに、第２の学習装置２０は、追加学習ロスを基に、追加ネットワークのパラメータを更新する（ステップＳ２０５）。このとき、音声エンコーダ及びコンテキストネットワークの再学習を行うことも可能である。
　ここで、終了条件が充足されている場合（ステップＳ２０６、Ｙｅｓ）、第２の学習装置２０は処理を終了する。一方、第２の学習装置２０は、終了条件が充足されていない場合（ステップＳ２０６、Ｎｏ）、ステップＳ２０１に戻り、パラメータが更新されたモデルを用いて処理を繰り返す。
　終了条件は、例えば、処理が一定回数だけ繰り返されたこと、パラメータの更新量が収束したこと等である。
　図７は、推論処理の流れを示すフローチャートである。
　図７に示すように、まず、推論装置５０は、音響特徴量系列を音声エンコーダに入力し、中間表現ベクトル系列を計算する（ステップＳ５０１）。
　次に、推論装置５０は、中間表現ベクトル系列をコンテキストネットワークに入力し、コンテキスト表現ベクトル系列を計算する（ステップＳ５０２）。
　続いて、推論装置５０は、コンテキスト表現ベクトル系列を追加ネットワークに入力し、タスクに応じた分類ラベルに対する確率系列を計算する（ステップＳ５０３）。
　そして、推論装置５０は、計算した確率系列に基づく分類結果を出力する（ステップＳ５０４）。
［第１の実施形態の効果］
　これまで説明してきたように、第１の学習装置１０は、モデルが音声の特徴量を量子化したベクトルが、モデルが特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、コンテキスト表現を基に音声のメタ情報をモデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算する。第１の学習装置１０は、第１の損失関数が小さくなり、かつ第２の損失関数が大きくなるように、モデルのパラメータを更新する。これにより、コンテキストネットワークの学習データに対する過適合を防ぎ、自己教師学習に対する後段のタスクの精度が低下することを抑止できる。
　第１の学習装置１０は、第１の損失関数である第１の項から、第２の損失関数に、パラメータの更新が繰り返された回数が多いほど大きくなる重みが付された第２の項を引いた第３の損失関数を計算し、第３の損失関数が小さくなるように、モデルのパラメータを更新する。これにより、学習が進むにつれて分類ネットワークの精度が向上していく場合であっても、その影響を低減させることができる。
　第１の学習装置１０は、更新されたパラメータを用いて、音声に関するタスクを実行する再学習モデルの学習を行う。これにより、追加ネットワークによる後段のタスクを精度良く実行することができる。
　第１の学習装置１０は、音声の特徴量をモデルに入力し、コンテキスト表現を計算し、コンテキスト表現をモデルに入力し、音声のメタ情報を特定するラベルを計算し、音声の特徴量をモデルに入力し、量子化したベクトルを計算する。第１の学習装置１０は、計算したベクトルが、計算したコンテキスト表現に近いほど小さくなるように第１の損失関数を計算し、ラベルの計算精度が高いほど小さくなるように第２の損失関数を計算する。これにより、第１の学習装置１０は、モデルを使った計算及びパラメータの更新を一貫して実行することができる。
　第１の実施の形態に係る音声処理装置は、非特許文献１に記載のような従来の機械学習手法に対して特定の改善を提供するものであり、機械学習モデルによる音声タスクに係る技術分野の向上を示すものである。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、音声処理装置（第１の学習装置１０、第２の学習装置２０又は推論装置５０）は、パッケージソフトウェアやオンラインソフトウェアとして上記の処理を実行するプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置を音声処理装置として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、音声処理装置は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理に関するサービスを提供する学習サーバ装置として実装することもできる。例えば、学習サーバ装置は、学習用のデータを入力とし、学習済みのモデルのパラメータを出力とする学習サービスを提供するサーバ装置として実装される。この場合、学習サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の学習処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図８は、学習プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、学習装置５の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、学習装置５における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算し、
　前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する
　音声処理装置。
　（付記項２）
　付記項１に記載の音声処理装置であって、前記プロセッサは、
　前記第１の損失関数である第１の項から、前記第２の損失関数に、パラメータの更新が繰り返された回数が多いほど大きくなる重みが付された第２の項を引いた第３の損失関数を計算し、
　前記第３の損失関数が小さくなるように、前記モデルのパラメータを更新する
　音声処理装置。
　（付記項３）
　付記項１に記載の音声処理装置であって、前記プロセッサは、
　更新されたパラメータを用いて、音声に関するタスクを実行する再学習モデルの学習を行う
　音声処理装置。
　（付記項４）
　付記項１に記載の音声処理装置であって、前記プロセッサは、
　前記音声の特徴量を前記モデルに入力し、コンテキスト表現を計算し、
　前記コンテキスト表現を前記モデルに入力し、前記音声のメタ情報を特定するラベルを計算し、
　前記音声の特徴量を前記モデルに入力し、量子化したベクトルを計算し、
　計算した前記ベクトルが、計算した前記コンテキスト表現に近いほど小さくなるように前記第１の損失関数を計算し、前記ラベルの計算精度が高いほど小さくなるように前記第２の損失関数を計算する
　音声処理装置。
　（付記項５）
　付記項１に記載の音声処理装置であって、前記プロセッサは、
　前記再学習モデルを用いて、前記タスクを実行する
　音声処理装置。
　（付記項６）
　音声処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記音声処理は、
　モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算し、
　前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する
　非一時的記憶媒体。
　（付記項７）
　モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算し、前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する事前学習処理によって学習が行われた前記モデルのパラメータを用いて学習が行われた再学習モデルを用いて、音声に関する推論処理を行う推論部を有することを特徴とする推論装置。
　１０　第１の学習装置
　１０ａ、２０ａ、５０ａ　モデル情報
　１１、２１、５１　音声エンコーダ部
　１２、２２、５２　コンテキストネットワーク部
　１３　量子化ネットワーク部
　１４　分類ネットワーク部
　１５　分類学習ロス計算部
　１６　コンテキスト表現学習ロス計算部
　１７、２５　学習パラメータ更新部
　２４　後段タスク学習ロス計算部
　２３、５３　追加ネットワーク部

Claims (7)

  1. 　モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算する損失関数計算部と、
    　前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する更新部と、
    　を有することを特徴とする音声処理装置。
  2. 　前記損失関数計算部は、前記第１の損失関数である第１の項から、前記第２の損失関数に、前記更新部によるパラメータの更新が繰り返された回数が多いほど大きくなる重みが付された第２の項を引いた第３の損失関数を計算し、
    　前記更新部は、前記第３の損失関数が小さくなるように、前記モデルのパラメータを更新する
    　ことを特徴とする請求項１に記載の音声処理装置。
  3. 　前記更新部によって更新されたパラメータを用いて、音声に関するタスクを実行する再学習モデルの学習を行う追加学習部をさらに有することを特徴とする請求項１に記載の音声処理装置。
  4. 　前記音声の特徴量を前記モデルに入力し、コンテキスト表現を計算するコンテキスト表現計算部と、
    　前記コンテキスト表現を前記モデルに入力し、前記音声のメタ情報を特定するラベルを計算するメタ情報ラベル計算部と、
    　前記音声の特徴量を前記モデルに入力し、量子化したベクトルを計算する量子化ベクトル計算部と、
    　をさらに有し、
    　前記損失関数計算部は、前記量子化ベクトル計算部によって計算されたベクトルが、前記コンテキスト表現計算部によって計算されたコンテキスト表現に近いほど小さくなるように前記第１の損失関数を計算し、前記メタ情報ラベル計算部のラベルの計算精度が高いほど小さくなるように前記第２の損失関数を計算する
    　ことを特徴とする請求項１に記載の音声処理装置。
  5. 　前記再学習モデルを用いて、前記タスクを実行する推論部をさらに有することを特徴とする請求項３に記載の音声処理装置。
  6. 　音声処理装置によって実行される音声処理方法であって、
    　モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算する損失関数計算工程と、
    　前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する更新工程と、
    　を有することを特徴とする音声処理方法。
  7. 　モデルが音声の特徴量を量子化したベクトルが、前記モデルが前記特徴量から獲得したコンテキスト表現に近いほど小さくなる第１の損失関数と、前記コンテキスト表現を基に前記音声のメタ情報を前記モデルが識別する精度が高いほど小さくなる第２の損失関数と、を計算する損失関数計算ステップと、
    　前記第１の損失関数が小さくなり、かつ前記第２の損失関数が大きくなるように、前記モデルのパラメータを更新する更新ステップと、
    　をコンピュータに実行させることを特徴とする音声処理プログラム。
PCT/JP2022/028843 2022-07-26 2022-07-26 音声処理装置、音声処理方法及び音声処理プログラム Ceased WO2024023946A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/028843 WO2024023946A1 (ja) 2022-07-26 2022-07-26 音声処理装置、音声処理方法及び音声処理プログラム
JP2024536612A JP7758201B2 (ja) 2022-07-26 2022-07-26 音声処理装置、音声処理方法及び音声処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028843 WO2024023946A1 (ja) 2022-07-26 2022-07-26 音声処理装置、音声処理方法及び音声処理プログラム

Publications (1)

Publication Number Publication Date
WO2024023946A1 true WO2024023946A1 (ja) 2024-02-01

Family

ID=89705831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028843 Ceased WO2024023946A1 (ja) 2022-07-26 2022-07-26 音声処理装置、音声処理方法及び音声処理プログラム

Country Status (2)

Country Link
JP (1) JP7758201B2 (ja)
WO (1) WO2024023946A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118824233A (zh) * 2024-06-13 2024-10-22 北京达佳互联信息技术有限公司 语音表征模型训练方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112951213A (zh) * 2021-02-09 2021-06-11 中国科学院自动化研究所 端到端的在线语音检测与识别方法、系统及设备
CN113327595A (zh) * 2021-06-16 2021-08-31 北京语言大学 发音偏误检测方法、装置及存储介质
WO2022044243A1 (ja) * 2020-08-28 2022-03-03 日本電信電話株式会社 学習装置、推論装置、それらの方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022044243A1 (ja) * 2020-08-28 2022-03-03 日本電信電話株式会社 学習装置、推論装置、それらの方法、およびプログラム
CN112951213A (zh) * 2021-02-09 2021-06-11 中国科学院自动化研究所 端到端的在线语音检测与识别方法、系统及设备
CN113327595A (zh) * 2021-06-16 2021-08-31 北京语言大学 发音偏误检测方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118824233A (zh) * 2024-06-13 2024-10-22 北京达佳互联信息技术有限公司 语音表征模型训练方法、装置及相关设备

Also Published As

Publication number Publication date
JP7758201B2 (ja) 2025-10-22
JPWO2024023946A1 (ja) 2024-02-01

Similar Documents

Publication Publication Date Title
CN114360520B (zh) 语音分类模型的训练方法、装置、设备及存储介质
CN109887484B (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
JP6637078B2 (ja) 音響モデル学習装置、音響モデル学習方法及びプログラム
JP6222821B2 (ja) 誤り修正モデル学習装置、及びプログラム
CN115062769B (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
JPWO2018051841A1 (ja) モデル学習装置、その方法、及びプログラム
EP4154248B1 (en) Systems and methods for training dual-mode machine-learned speech recognition models
JP7112348B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
CN111862961A (zh) 识别语音的方法和装置
CN115392382A (zh) 一种基于跨模态密集注意力的视觉语言对象分类方法
CN113889121A (zh) 基于语音的年龄识别方法、装置、设备及存储介质
JP2025505962A (ja) オーディオ処理のための自己教師あり学習
CN115066690A (zh) 搜索归一化-激活层架构
Vaněk et al. A regularization post layer: An additional way how to make deep neural networks robust
JP2021039216A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
CN112951270A (zh) 语音流利度检测的方法、装置和电子设备
JP7758201B2 (ja) 音声処理装置、音声処理方法及び音声処理プログラム
JP7212596B2 (ja) 学習装置、学習方法および学習プログラム
Dong et al. E-bats: Efficient backpropagation-free test-time adaptation for speech foundation models
Silva et al. Intelligent genetic fuzzy inference system for speech recognition: An approach from low order feature based on discrete cosine transform
WO2020044755A1 (ja) 音声認識装置、音声認識方法、及びプログラム
CN113468857A (zh) 风格转换模型的训练方法、装置、电子设备以及存储介质
CN115188371B (zh) 一种语音识别模型训练方法、语音识别方法及相关设备
WO2023248398A1 (ja) 学習装置、学習方法、学習プログラム及び音声合成装置
JP2021039215A (ja) 学習装置、学習方法及び学習プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953041

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024536612

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22953041

Country of ref document: EP

Kind code of ref document: A1