WO2024052987A1 - 信号生成装置、信号生成システム、信号生成方法及びプログラム - Google Patents
信号生成装置、信号生成システム、信号生成方法及びプログラム Download PDFInfo
- Publication number
- WO2024052987A1 WO2024052987A1 PCT/JP2022/033402 JP2022033402W WO2024052987A1 WO 2024052987 A1 WO2024052987 A1 WO 2024052987A1 JP 2022033402 W JP2022033402 W JP 2022033402W WO 2024052987 A1 WO2024052987 A1 WO 2024052987A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal generation
- signal
- different
- feature
- processing
- Prior art date
Links
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 title claims abstract description 242
- 238000000034 method Methods 0.000 title claims description 78
- 238000012545 processing Methods 0.000 claims abstract description 159
- 238000013528 artificial neural network Methods 0.000 claims abstract description 150
- 230000010354 integration Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 description 58
- 238000010801 machine learning Methods 0.000 description 54
- 238000013527 convolutional neural network Methods 0.000 description 37
- 230000005236 sound signal Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 33
- 230000000052 comparative effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 230000004913 activation Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Definitions
- the present invention relates to a signal generation device, a signal generation system, a signal generation method, and a program.
- the signal generation system may receive, for example, a sequence signal (e.g., an audio signal, an acoustic signal, a text string), a multidimensional signal (e.g., a still image, a video), a sensor signal, or a combination of any of the above signals.
- a sequence signal e.g., an audio signal, an acoustic signal, a text string
- a multidimensional signal e.g., a still image, a video
- a sensor signal e.g., a combination of any of the above signals.
- the signal generation system generates a predetermined target signal as an output signal based on an input signal.
- the target signal is, for example, a series signal (for example, an audio signal, an acoustic signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or a combination of any of the above signals.
- a signal generation system includes a neural network module (signal generation device) at one or more stages from an input stage to an output stage.
- the signal generation system may execute the following processing A1 and processing A2.
- the signal generation system estimates an intermediate representation between the input signal and the output signal (target signal) based on the input signal (the input feature of the input stage signal generation device). For example, in text-to-speech synthesis, a signal generation system estimates an intermediate representation based on an input text string. For example, in speech conversion, a signal generation system estimates an intermediate representation based on features extracted from an input speech signal (input speech features).
- the signal generation system generates a target signal (target audio signal) as an output signal (output feature amount of the signal generation device at the output stage) based on the estimated intermediate representation.
- the intermediate representation is, for example, a feature quantity (spectrogram, etc.) obtained by applying time-frequency transform (short-time Fourier transform, wavelet transform, etc.) based on basis functions to the audio signal.
- the intermediate representation may be a feature amount (such as a mel spectrogram) obtained by further scaling the feature amount.
- the intermediate representation may be a feature amount (cepstrum, mel cepstrum, etc.) obtained by applying a time-frequency transform (Fourier transform, etc.) based on basis functions to a spectrogram, mel spectrogram, etc.
- the intermediate representation may be any other feature obtained by applying a predetermined function (for example, a function expressed using a neural network, a signal processing function, etc.) to the audio signal or any of the above features. .
- the intermediate representation may be any combination of the above feature amounts.
- processing A1 and processing A2 may be consistent processing (inseparable processing).
- Non-Patent Document 1 discloses a signal generation system using a neural network as a signal generation system that generates an audio signal.
- the signal generation system disclosed in Non-Patent Document 1 includes a module (component) called multi-receptive field fusion (MRF) as a signal generation device.
- MRF multi-receptive field fusion
- FIG. 13 is a diagram showing a configuration example of the signal generation device 10 (multi-receptive field fusion module).
- M is an integer greater than or equal to 1
- signal generation devices 10 are provided in tandem at one or more stages from the input stage to the output stage of the signal generation system.
- the signal generation device 10 includes a plurality of different intermediate feature generation units 101 (neural networks) in parallel. Further, the signal generation device 10 includes an addition processing device 102.
- Intermediate feature generation unit 101 “g i ” (“i” represents an integer from 1 to N. “N” is an integer of 2 or more, and in FIG. 13 represents the number of intermediate feature generation units 101
- the parameters e.g., kernel size) of the neural networks of the machine learning models in .
- a plurality of different intermediate feature amount generation units 101 convert the input feature amount "h in " into the previous stage signal generation Obtained from the device 10 (module).
- the addition processing device 102 adds a plurality of different intermediate feature amounts " hi ".
- the addition processing device 102 outputs the output feature amount to the subsequent signal generation device 10 (module).
- the multi-receptive field fusion signal generation device 10 a plurality of different machine learning models (intermediate feature generation unit 101) having neural networks with different parameters are used in parallel.
- the machine learning model expresses the features of the input audio signal. It is possible to improve the ability to That is, a signal generation system incorporating a multi-receptive field fusion module can generate a high-quality target audio signal.
- the present invention is capable of suppressing an increase in the number of neural network parameters in a machine learning model and improving the ability of the machine learning model to express the feature amount of an input signal.
- the present invention aims to provide a signal generation device, a signal generation system, a signal generation method, and a program.
- One aspect of the present invention includes a plurality of feature amount generation units that use a plurality of different first neural networks in parallel to generate a plurality of different first intermediate feature amounts based on input feature amounts; a parameter sharing unit that uses a plurality of shared second neural networks in parallel to generate a plurality of different second intermediate features based on the plurality of different first intermediate features; and the plurality of different second intermediate features.
- the signal generation device includes an integration processing unit that integrates quantities as output feature quantities.
- One aspect of the present invention is a signal generation system including one or more signal generation devices, wherein the signal generation device uses a plurality of different first neural networks in parallel to generate a plurality of different first intermediate features.
- a plurality of different second intermediate feature quantities are generated based on the plurality of different first feature quantities by using in parallel a plurality of feature quantity generation units that generate based on input feature quantities and a plurality of second neural networks that share at least some parameters.
- the signal generation system includes a parameter sharing unit that generates a parameter based on intermediate feature quantities, and an integration processing unit that integrates the plurality of different second intermediate feature quantities as an output feature quantity.
- One aspect of the present invention is a signal generation method executed by a signal generation device, in which a plurality of different first neural networks are used in parallel to generate a plurality of different first intermediate features based on an input feature. a step of generating a plurality of different second intermediate features based on the plurality of different first intermediate features using a plurality of second neural networks that share at least some parameters; This signal generation method includes a step of integrating different second intermediate feature quantities as an output feature quantity.
- One aspect of the present invention provides a procedure for generating a plurality of different first intermediate features based on an input feature by using a plurality of different first neural networks in parallel in a computer, and sharing at least some parameters.
- This is a program for executing a procedure for integrating as feature quantities.
- the present invention it is possible to suppress an increase in the number of neural network parameters in a machine learning model and improve the ability of the machine learning model to express the feature amount of an input signal.
- FIG. 1 is a diagram showing a configuration example of a signal generation system in a first embodiment.
- FIG. FIG. 2 is a diagram showing a configuration example of a signal generation device in a first embodiment.
- FIG. 2 is a diagram illustrating a first example of a neural network that executes residual modeling processing in the first embodiment.
- FIG. 7 is a diagram illustrating a second example of a neural network that executes residual modeling processing in the first embodiment.
- 3 is a flowchart illustrating an example of the operation of the signal generation system in the first embodiment.
- FIG. 7 is a diagram illustrating a configuration example of a signal generation device in a second modified example of the first embodiment in which all parameters are shared in the same predetermined stage.
- FIG. 7 is a diagram illustrating a configuration example of a signal generation device in a second modified example of the first embodiment in which some parameters are shared in other same stages.
- FIG. 7 is a diagram illustrating a configuration example of a signal generation device in a case where all parameters are shared in a predetermined same stage and some parameters are shared in other same stages in a second modification of the first embodiment; .
- It is a figure which shows the example of an effect of a signal generation system in a comparative example, 1st Embodiment, and 2nd modification.
- It is a figure showing an example of composition of a signal generation system in a 2nd embodiment.
- It is a figure showing an example of composition of a signal generation system in a 3rd embodiment.
- 1 is a diagram illustrating an example of the hardware configuration of a signal generation system in each embodiment.
- FIG. FIG. 2 is a diagram showing an example of the configuration of a signal generation device.
- a signal generation system including the signal generation device 10 in the comparative example (hereinafter referred to as "signal generation system in the comparative example") generates a predetermined target signal based on an input signal.
- the input signal is, for example, a series signal (for example, an audio signal, an audio signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or a combination of any of the above signals.
- the signal generation system in the comparative example obtains an input text signal (in the case of text-to-speech synthesis) or an input audio signal (in the case of speech conversion) as an example of the input signal.
- the target signal is, for example, a series signal (for example, an audio signal, an acoustic signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or a combination of any of the above signals.
- a series signal for example, an audio signal, an acoustic signal, a text string
- a multidimensional signal for example, a still image, a moving image
- a sensor signal or a combination of any of the above signals.
- the signal generation system in the comparative example generates a target voice signal as an example of a target signal.
- the signal generation system in the comparative example may execute the above "process A1” and the above “process A2” as processes that can be separated into two stages (separable processes), or the above "process A1” and the above “process A2” may be executed as processes that can be separated into two stages (separable processes).
- Process A2' may be executed as an integrated process (indivisible process).
- the signal generation system in the comparative example executes the above-mentioned "processing A1" and the above-mentioned "processing A2" as processing that can be separated into two stages.
- the above “processing A2" is a so-called vocoder processing.
- the signal generation device 10 of the signal generation system in the comparative example includes a neural network as a vocoder (neural vocoder) module.
- Neural networks include, for example, Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Transformer Network, Attention Neural Network, and fully connected neural network.
- FNN Fully Connected Neural Network
- Audio signals are complex signals containing thousands to tens of thousands of samples per second.
- the signal generation device 10 in the comparative example includes a plurality of intermediate feature amount generation units 101.
- the signal generation device 10 in the comparative example generates an output feature amount based on the input feature amount in the above "processing A2".
- the input feature amount may be an input signal (input data) of the signal generation system, or one or more functions (neural network, signal processing function, etc.) are applied to the input signal of the signal generation system. It may also be a feature amount obtained by
- Each neural network "g i " of a multiple receptive field fusion (MRF) consists of one or more convolutional layers (e.g., a one-dimensional convolutional layer) or one or more activation function layers (e.g., a normalized linear unit layer (ReLU)). : Rectified Linear Unit) or leaky normalized linear unit layer (Leaky ReLU)) may be provided in any order. Additionally, each neural network “g i " may include a recurrent neural network, a transformer network, an attention neural network, a fully connected neural network, or a combination thereof.
- feature amount A the outputs of the plurality of different neural networks "g i " in the case where each unit of the plurality of different neural networks “g i " of multi-receptive field fusion are used singly or consecutively.
- feature amount B the results of transformations such as identity transformation or linear transformation executed in parallel.
- the signal generation device 10 in the comparative example may add the feature amount A and the feature amount B. This allows modeling of the residual of the input signal.
- the process in which residual modeling is performed once at the input and output of the neural network "g i " has been described above.
- the present invention is not limited to this, and for example, when the neural network "g i " is a multilayer neural network, residual modeling may be performed one or more times between one or more predetermined layers in the multilayer.
- a dilated convolution layer may be used for part or all of the convolution layer of the signal generation device 10 in the comparative example. Thereby, even if the number (size) of parameters of the convolutional neural network is smaller than a predetermined number, it is possible to expand the receptive field of the convolutional neural network.
- the size of the input signal of the signal generation system in the comparative example is different from the size of the output signal of the signal generation system in the comparative example, the size of the input signal or the size of the output signal of the signal generation system in the comparative example and the size of the output signal of the signal generation system in the comparative example are different.
- the signal generation system in the comparative example is and a module (not shown) that performs upsampling processing or downsampling processing on feature quantities at one or more arbitrary stages from the input stage to the output stage of the signal generation system. It's okay.
- the upsampling process or the downsampling process may be performed in multiple steps.
- the signal generation system in the comparative example may further include a module that performs other processing.
- the signal generation device 10 and a neural network having another configuration for example, a convolutional neural network, a recurrent neural network, a transformer network, an attention neural network, or a fully connected neural network
- a convolutional neural network for example, a convolutional neural network, a recurrent neural network, a transformer network, an attention neural network, or a fully connected neural network
- Examples of machine learning methods for the signal generation device 10 in the comparative example include Generative Adversarial Networks (GAN), Autoregressive Model, Flow Model, and Diffusion Probabilistic Model. ), a generative model such as a variational autoencoder (VAE), or a machine learning method using a combination of these.
- GAN Generative Adversarial Networks
- VAE variational autoencoder
- machine learning methods of the signal generation device 10 in the comparative example include, for example, using an arbitrary scale (for example, L1 distance, L2 distance, Wasserstein distance, Hinge function, or a combination thereof). Based machine learning methods may be used. Additionally, a machine learning method based on a combination of a generative model and an arbitrary measure may be used.
- an arbitrary scale for example, L1 distance, L2 distance, Wasserstein distance, Hinge function, or a combination thereof.
- Based machine learning methods may be used.
- a machine learning method based on a combination of a generative model and an arbitrary measure may be used.
- the signal generation device 10 in the comparative example by using a plurality of different neural networks (intermediate feature generation unit 101) in parallel as multi-receptive field fusion, a single machine learning model (multi-receptive field fusion with a plurality of different neural networks) is used in parallel.
- the input signal e.g., the input text signal or the input audio signal
- the signal generation device 10 in the comparative example a plurality of different machine learning models having neural networks with different parameters are used in parallel, so if the increase in the number (size) of parameters is suppressed, the input Machine learning models cannot improve their ability to represent signal features.
- the signal generation system in each embodiment includes one or more signal generation devices (modules) in series, in which at least some parameters are shared, in one or more stages from the input stage to the output stage.
- the signal generation system in each embodiment can generate any input signal (for example, a series signal (for example, an audio signal, an acoustic signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or the above-mentioned signal.
- a predetermined target signal is generated based on any combination of the following.
- the target signal is, for example, a series signal (for example, an audio signal, an acoustic signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or a combination of any of the above signals.
- a series signal for example, an audio signal, an acoustic signal, a text string
- a multidimensional signal for example, a still image, a moving image
- a sensor signal or a combination of any of the above signals.
- the signal generation system in each embodiment may execute the above-mentioned "processing A1" and the above-mentioned “processing A2" as two-step separable processing (separable processing), or the above-mentioned “processing A1” and the following “processing A2” may be executed.
- "Process A2" may be executed as an integrated process (indivisible process).
- the signal generation system in the first embodiment executes the above-mentioned "processing A1" and the above-mentioned “processing A2” as processing that can be separated into two stages (separable processing).
- the expression generation device (module that generates an intermediate expression) of the first embodiment generates an intermediate expression in the above "processing A1".
- the signal generation device (module that generates feature amounts) of the first embodiment uses a neural network to perform the following "processing B1", the following "processing B2", and the following "processing B3" in the above "processing A2". Execute.
- the output stage signal generation device of the first embodiment generates an output signal in the above-mentioned "processing A2".
- the signal generation system in the second embodiment executes the above-mentioned "processing A1" and the above-mentioned “processing A2” as processing that can be separated into two stages (separable processing).
- the signal generation device (module that generates feature quantities) of the second embodiment uses a neural network to perform the following "processing B1", the following "processing B2", and the following "processing B3" in the above "processing A1". Execute. Thereby, the signal generation device of the second embodiment generates an intermediate representation (target intermediate representation) in the above-mentioned "processing A1".
- the output generation device (module that generates an output signal) of the second embodiment generates a target signal (output signal) based on the intermediate representation in the above "processing A2".
- the signal generation system in the third embodiment executes the above-mentioned "processing A1" and the above-mentioned “processing A2” as integrated processing. That is, the signal generation system in the third embodiment does not explicitly estimate the intermediate representation (target intermediate representation).
- the signal generation device (module that generates feature quantities) of the third embodiment uses a neural network in the above "processing A1” and the above “processing A2” to perform the following "processing B1", the following "processing B2", and the following "processing B1” and the following “processing B2". "Processing B3" is executed. Thereby, the signal generation device of the third embodiment generates an output signal (target signal) based on the input signal.
- the signal generation device (module) of the embodiment acquires the input feature amount “h in ” from the previous stage.
- N is an integer of 2 or more and represents the number of neural networks used in parallel.
- the first neural network "f i " is a neural network that is lighter than the second neural network "g i " (described later).
- f i " and “g i " are one-dimensional convolutional neural networks
- "f i " has a one-dimensional convolutional neural network with a smaller kernel size than "g i " (e.g., kernel size "1”).
- a one-dimensional convolutional neural network) may also be used.
- "f i " and “g i " are one-dimensional convolutional neural networks that include one or more convolutional layers
- "f i " has a one-dimensional convolutional neural network with a smaller total number of convolutional layers than "g i ".
- a neural network for example, a one-dimensional convolutional neural network with a total number of convolutional layers of one may be used.
- the signal generation device of the embodiment increases variations in input feature amounts. That is, the signal generation system of the embodiment generates N different first intermediate feature amounts “h 1 i ” as N variations (diversities) of the input feature amount “h in ”.
- the N second neural networks "g i " share at least some parameters. This suppresses an increase in the number of parameters.
- the signal generation device of the embodiment performs a predetermined conversion process on the result of combining N different second intermediate feature amounts in the feature amount dimension direction.
- the signal generation device of the embodiment performs a predetermined conversion process on the combination result of N different second intermediate features using a neural network that is lighter than the second neural network "g i ". do.
- a lightweight neural network is, for example, a one-dimensional convolutional neural network with a small kernel size, a one-dimensional convolutional neural network with a small total number of convolutional layers, or a one-dimensional convolutional neural network with a small number of connections in the channel direction of the convolutional layers. It's a network.
- a small kernel size means, for example, that the kernel size is 1.
- a small total number of convolutional layers means, for example, that the total number of convolutional layers is one.
- the term "the number of connections is small” means, for example, that the number of connections is less than or equal to a predetermined number.
- the signal generation device of the embodiment may generate the output feature amount “h out ” by adding N different second intermediate feature amounts “h 2 i ”. The signal generation device of the embodiment outputs the output feature amount to a subsequent stage.
- FIG. 1 is a diagram showing a configuration example of a signal generation system 1a in the first embodiment.
- the signal generation system 1a is a system that generates an output signal (target signal) based on an arbitrary input signal.
- the signal generation system 1a includes an expression generation device 100 and M (“M” is an integer greater than or equal to 1) signal generation devices 11 arranged in tandem. Note that the signal generation system 1a may further include one or more signal generation devices 10 in series with respect to the signal generation device 11.
- the signal generation system 1a may place one or more modules (for example, a neural network or a signal processing function) other than the signal generation device 10 and the signal generation device 11 at one or more arbitrary positions (for example, at a predetermined position). It may be provided at a stage before or after one or more signal generation devices 11).
- modules for example, a neural network or a signal processing function
- the signal generation system 1a explicitly estimates an intermediate representation (target intermediate representation) based on an arbitrary input signal, and outputs an output signal (target intermediate representation) based on the estimated intermediate representation (target intermediate representation). signal).
- the arbitrary input signal is, for example, a series signal (for example, an audio signal, an audio signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or a combination of any of the above signals.
- the signal generation system 1a obtains an input text signal as an example of an input signal.
- the signal generation system 1a obtains an input audio signal as an example of an input signal.
- the target signal is, for example, a series signal (for example, an audio signal, an acoustic signal, a text string), a multidimensional signal (for example, a still image, a moving image), a sensor signal, or a combination of any of the above signals.
- the signal generation system 1a generates a target speech signal as an example of an output signal (target signal).
- the expression generation device 100 generates an intermediate expression (for example, a spectrogram, etc.) in the above “processing A1".
- the signal generation device 11-1 generates the output feature amount of the signal generation device 11-1 based on the intermediate representation generated by the expression generation device 100 in the above “processing A2”.
- the signal generation device 11-M based on the input feature amount from the signal generation device 11-(M-1) (the output feature amount of the signal generation device 11-(M-1)), The output feature amount of the signal generation device 11-M is generated.
- a generative model for the machine learning method in the signal generating device 11 for example, a generative model such as an adversarial generative network, an autoregressive model, a flow model, a diffusion probability model, a variational autoencoder, or a combination thereof is used. It will be done.
- a method based on an arbitrary measure for example, L1 distance, L2 distance, Wasserstein distance, hinge function, or a combination thereof
- a method based on a combination of a generative model and an arbitrary measure may be used.
- G represents the group of signal generating devices 11 (signal generating devices 11-1 to 11-M).
- a predetermined signal generation device for example, a signal generation device other than the signal generation device 10 or the signal generation device 10 and the signal generation device 11
- s represents an intermediate representation (target intermediate representation) input to the signal generation device 11-1.
- the intermediate representation is, for example, a mel spectrogram.
- G(s) represents a fake (product) target signal.
- the fake target signal is an output signal generated by the signal generation device 11 group.
- "x” represents the real target signal (target audio signal).
- D represents a discriminator (not shown) that identifies whether the target signal is a real target signal or a fake target signal.
- D(x) represents the identification result of whether the target signal is a real target signal or a fake target signal.
- pair data "(x, s)" of the target signal "x" and the target intermediate representation "s” is used as learning data for the machine learning model.
- learning data including one or more paired data is used. Note that, for example, when learning the group of signal generation devices 11 that perform vocoder processing, an intermediate representation extracted based on the target signal "x" is used as the target intermediate representation "s".
- An adversarial loss function based on an arbitrary measure may be used as the adversarial loss function. That is, as the adversarial loss function, a function based on the least squares adversarial loss function (LSGAN: Least Squares GAN) as shown in Equations (1) and Equation (2), and a function based on the Wasserstein adversarial loss function (Wasserstein GAN) are used.
- LSGAN least squares adversarial loss function
- Wasserstein GAN Wasserstein GAN
- a function based on a non-saturating adversarial loss function (Non-saturating GAN), a function based on a Hinge adversarial loss function (Hinge GAN), or a combination thereof may be used.
- the discriminator "D” minimizes the value of equation (1) so that the real target signal "x” and the fake (product) target signal “G(s)" are separated.
- the signal generation device group 11 minimizes the value of equation (2) so that the real target signal "x” and the fake target signal “G(s)" become close to each other.
- the adversarial generation network of the signal generation system is optimized under conditions in which the discriminator "D" and the group of signal generation devices 11 “G” compete with each other.
- the signal generation device 11 group “G” can generate a target signal "G(s)” that makes it impossible for the discriminator "D” to identify whether it is the real target signal "x” or not. .
- an intermediate representation matching loss function (Intermediate Representation-Matching Loss) "L im (G)" expressed as in equation (3) and an adversarial loss function are used. may be used.
- ⁇ represents a function that extracts the target intermediate representation (target feature amount) from the target signal. That is, “ ⁇ (x)” represents the real target intermediate representation extracted from the real target signal "x”. “ ⁇ (G(s))” represents a fake target intermediate representation extracted from the fake target signal “G(s)”.
- the L1 distance is used as an example of a criterion for bringing the real target intermediate representation " ⁇ (x)” and the fake target intermediate representation " ⁇ (G(s))” closer together, but any A measure of (eg, L2 distance, Wasserstein distance, hinge function, or a combination thereof) may be used as an example of a criterion.
- the fake target signal "G(s)” is added to the real target signal "x" which is the target of the fake target signal. It is possible to bring them closer.
- a feature adaptation loss function (Feature- Matching Loss) "L fm (G; D)" may be used.
- T represents the number of layers of the classifier "D”.
- D i represents the i-th layer feature amount of the classifier “D”.
- N i represents the number of features of the i-th layer of the classifier “D”.
- L1 distance is used as an example in equation (4), any measure (eg, L2 distance, Wasserstein distance, hinge function, or a combination thereof) may be used.
- the features of all layers of the classifier "D” are used for machine learning, but only the features of some layers of the classifier “D” are used for machine learning. It's okay to be hit.
- the fake target signal "G(s)" is added to the real target signal "x" which is the target of the fake target signal. It is possible to bring them closer.
- a loss function that is a combination of three types of loss functions is used as the final loss function "L G " of the signal generation device 11 "G" of the embodiment.
- ⁇ fm is a weighting parameter of the loss function "L fm (G; D)”.
- ⁇ im is a weighting parameter of the loss function “L im (G)”.
- the machine learning model of the signal generation device 11 group “G” is optimized by minimizing the loss function “L G ”.
- the machine learning model of the discriminator "D” is optimized by minimizing the loss function "L D ".
- FIG. 2 is a diagram showing a configuration example of the signal generation device 11 (module) in the first embodiment.
- the signal generation device 11 includes a plurality of feature amount generation section 111.
- the signal generation device 11 includes a parameter sharing section 112 that shares at least some parameters. Further, the signal generation device 11 includes an integrated processing device 115.
- the signal generation system 1 further performs upsampling processing or downsampling processing. It is also possible to include one or more modules (not shown) that execute on feature quantities at one or more arbitrary stages from the input stage to the output stage. The upsampling process or the downsampling process may be performed in multiple steps.
- the signal generation system 1a may further include a module (signal generation device) that executes other processing.
- the signal generation device 11 includes a plurality of feature amount generation section 111, a parameter sharing section 112, and a neural network having another configuration (for example, a convolutional neural network, a recurrent neural network, a transformer network, an attention network, or a fully connected neural network). (neural network) may also be combined.
- the multiple feature amount generation unit 111 (variation generation unit) includes N different first feature amount generation units 113.
- “N” represents the number of first neural networks used in parallel. That is, “N” represents the number of multiple feature amount generation units 111.
- "f i " is a one-dimensional convolutional neural network with a smaller kernel size than "g i ", a one-dimensional convolutional neural network with a smaller total number of convolutional layers than "g i ", or a one-dimensional convolutional neural network with a smaller total number of convolutional layers than "g i ", or a one-dimensional convolutional neural network with a smaller total number of convolutional layers than "g i ". It is a one-dimensional convolutional neural network with a small number of connections in the channel direction of the convolutional layer.
- the multiple feature quantity generation unit 111 acquires the input feature quantity "h in " from the previous stage.
- the multiple feature amount generation unit 111 increases the variation of the input feature amount. That is, the multiple feature quantity generation unit 111 generates N different first intermediate feature quantities "h 1 i " as N variations (diversities) of the input feature quantity "h in ".
- the parameter sharing unit 112 includes N second feature amount generation units 114.
- the N second feature generation units 114 have N second neural networks "g i " of machine learning models. At least some of the N second neural networks share parameters. This suppresses an increase in the number of parameters of the second neural network.
- the second neural network “g i " includes one or more convolutional layers (e.g., one-dimensional convolutional layer), or one or more activation function layers (e.g., rectified linear unit (ReLU) layer), or , leaky normalized linear unit layer (Leaky ReLU), etc., may be provided in any order. Additionally, each neural network “g i " may include a recurrent neural network, a transformer network, an attention neural network, a fully connected neural network, or a combination thereof.
- convolutional layers e.g., one-dimensional convolutional layer
- activation function layers e.g., rectified linear unit (ReLU) layer
- Leaky ReLU leaky normalized linear unit layer
- a dilate convolution layer may be used for part or all of the convolution layers of the parameter sharing unit 112. Thereby, even if the number of parameters of the convolutional neural network is less than a predetermined number, it is possible to expand the receptive field of the convolutional neural network.
- the parameter sharing unit 112 stores N different second intermediate feature quantities (a plurality of different feature quantities A) and transformation results (a plurality of Different feature amounts B) may be added. This allows modeling of the residual of the input signal.
- the process in which residual modeling is performed once at the input and output of the second neural network "g i " has been described as an example.
- the present invention is not limited to this, and for example, when the second neural network "g i " is a multilayer neural network, residual modeling may be performed one or more times between one or more predetermined layers. .
- a neural network is used in the multiple feature amount generation unit 111 or the integrated processing device 115, modeling of residuals may be similarly executed.
- FIG. 3 is a diagram showing a first example of a neural network that executes residual modeling processing in the first embodiment.
- the second feature generation unit 114 includes a combination of an activation function layer 300, a convolution layer 301, and an addition unit 302.
- the second feature generation unit 114 may include a plurality of these combinations in a column.
- the activation function layer 300 executes activation processing on the input feature amount from the previous stage.
- the convolution layer 301 performs convolution processing on the input feature amount that has been subjected to activation processing.
- the addition unit 302 adds the input feature amount from the previous stage and the input feature amount on which the convolution process has been performed.
- FIG. 4 is a diagram showing a second example of a neural network that executes residual modeling processing in the first embodiment.
- the second feature generation unit 114 generates a combination of the activation function layer 300-1, the convolution layer 301-1, the activation function layer 300-2, the convolution layer 301-2, and the addition unit 302. Be prepared.
- the second feature generation unit 114 may include a plurality of these combinations in a column.
- the activation function layer 300-1 executes activation processing on the input feature amount from the previous stage.
- the convolution layer 301-1 performs a convolution process on the input feature quantity that has been activated by the activation function layer 300-1.
- the activation function layer 300-2 performs activation processing on the input feature amount from the convolutional layer 301-1.
- the convolution layer 301-2 performs a convolution process on the input feature quantity that has been activated by the activation function layer 300-2.
- the addition unit 302 adds the input feature amount from the previous stage and the input feature amount subjected to convolution processing by the convolution layer 301-2.
- the integrated processing device 115 includes a relatively lightweight neural network.
- a relatively lightweight neural network is, for example, a one-dimensional convolutional neural network with a small kernel size, a one-dimensional convolutional neural network with a small total number of convolutional layers, or a one-dimensional convolutional neural network with a small number of connections in the channel direction of the convolutional layers. be.
- the integration processing device 115 generates the result of integration processing for N different second intermediate feature quantities as an output feature quantity "h out ".
- the integrated processing device 115 outputs the output feature amount “h out ” to a subsequent stage.
- the integration processing device 115 performs a predetermined conversion process on the result of combining N different second intermediate feature quantities in the feature dimension direction.
- the predetermined transformation process is, for example, identity transformation or linear transformation.
- the integrated processing device 115 uses a relatively lightweight neural network to perform a predetermined conversion process on the combination result of N different second intermediate feature quantities (a plurality of different feature quantities A).
- the integrated processing device 115 adds the N different second intermediate feature amounts "h 2 i " in the same way as the addition processing of the addition processing device 102, thereby obtaining the output feature amount "h out ". may be generated.
- the signal generation device 11 uses N different relatively lightweight first neural networks “ fi " to generate N variations of the input feature "h in ".
- a first intermediate feature amount “h 1 i ” with different values is generated.
- the signal generation device 11 uses a second neural network "g i " that shares at least some parameters with respect to N different first intermediate feature values "h 1 i ".
- FIG. 5 is a flowchart showing an example of the operation of the signal generation system 1 in the embodiment.
- the multiple feature amount generation unit 111 uses a plurality of different first neural networks in parallel to generate a plurality of different first intermediate feature amounts based on the input feature amount from the previous stage (step S101).
- the parameter sharing unit 112 uses a plurality of second neural networks in parallel to generate a plurality of different second intermediate feature amounts based on a plurality of different first intermediate feature amounts (step S102).
- the integration processing device 115 integrates a plurality of different second intermediate feature amounts as an output feature amount (step S103).
- the multiple feature quantity generation unit 111 uses a plurality of different first neural networks in parallel to generate a plurality of different first intermediate feature quantities "h 1 i " based on the input feature quantity "h in ". and generate it.
- the integration processing device 115 integrates a plurality of different second intermediate feature amounts as an output feature amount.
- the integrated processing device 115 outputs the output feature amount to a subsequent stage.
- processing B1 and “processing B2” are each executed only once in this order, and then “processing B3" is executed.
- processing B1 and “processing B2” are executed an arbitrary number of times and in an arbitrary order, and then "processing B3" is executed.
- the method of sharing parameters may be different for each execution.
- the parameters of the first neural network "f i " and the parameters of the second neural network "g i " may be different for each execution.
- the number "N” of neural networks that execute each process differs for each execution. Furthermore, the parameters of the first neural network “f i " and the parameters of the second neural network “g i " may be different for each execution.
- the sharing unit 112 combines the data into one tensor data.
- the plural feature amount generation unit 111 may combine the different first intermediate feature amounts into one piece of tensor data.
- the assembled tensor data is input to one or more of the N second feature generation units 114 (second neural network) that share parameters, and is collectively processed. Ru.
- FIG. 6 is a diagram illustrating a configuration example of the signal generation device 11 in a second modification of the first embodiment in which all parameters are shared in the same predetermined stage.
- the second feature generation unit 114-1 (parameter sharing location) is connected to another second feature generation unit 114 (not shown) in the same stage as the second feature generation unit 114-1. , share parameters in advance.
- the second feature quantity generation unit 114-1 combines the N different first intermediate feature quantities generated by the N first feature quantity generation units 113 into one tensor data.
- the second feature amount generation unit 114-1 collectively generates N different second intermediate feature amounts based on the tensor data.
- the second feature amount generation unit 114-1 outputs N different second intermediate feature amounts to N second feature amount generation units 114-2 (not shown) in the subsequent stage or to the integrated processing device 115. .
- FIG. 7 is a diagram illustrating a configuration example of the signal generation device 11 in a second modification of the first embodiment in which some parameters are shared in other same stages.
- each of the N second feature generation units 114-1 in the parameter sharing unit 112 illustrated in FIG. The results are shown in which N parameter sharing locations are summarized.
- each of the second feature amount generation unit 114-1-1 to the second feature amount generation unit 114-1-N' is a parameter non-sharing location.
- each of the N'' second feature generation units 114-1-S is a parameter sharing location.
- “N” is an integer of 1 or more, and in FIG. 7, 1 is an example. be.
- the second feature generation unit 114-1-S selects the parameters from among the N different first intermediate features generated by the N first feature generation units 113. -The inputs (first intermediate feature quantities) of each second feature quantity generation unit 114-1 shared with S are combined into one tensor data. The second feature generation unit 114-1-S responds to the input (first intermediate feature) of each second feature generation unit 114-1 that shares parameters with the second feature generation unit 114-1-S. Based on the generated tensor data, outputs (second intermediate feature amounts) of each second feature amount generation section 114-1 whose parameters are shared with the second feature amount generation section 114-1-S are generated at once.
- the second feature generation unit 114-1-S outputs the output (second intermediate feature) of each second feature generation unit 114-1 that shares parameters with the second feature generation unit 114-1-S. It is output to the second feature generation unit 114-2 (not shown) at the subsequent stage or to the integrated processing device 115.
- FIG. 8 shows a configuration example of the signal generation device 11 in a second modification of the first embodiment in which all parameters are shared in a predetermined same stage and some parameters are shared in other same stages.
- the second feature generation unit 114-2 exchanges parameters with another second feature generation unit 114-2 (not shown) at the same stage as the second feature generation unit 114-2. Share in advance. Further, the second feature generation unit 114-4 shares parameters in advance with another second feature generation unit 114-4 (not shown) at the same stage as the second feature generation unit 114-4. do.
- Each second feature amount generation unit 114-1 does not need to share parameters with other second feature amount generation units 114-1 at the same stage as the second feature amount generation unit 114-1.
- the second feature amount generation unit 114-1-1 does not need to share parameters with the second feature amount generation unit 114-1-N.
- Each second feature amount generation unit 114-3 does not need to share parameters with other second feature amount generation units 114-3 at the same stage as the second feature amount generation unit 114-3.
- the second feature amount generation section 114-3-1 does not need to share parameters with the second feature amount generation section 114-3-N.
- the N second feature quantity generation units 114-1 generate N different second intermediate feature quantities based on the N different first intermediate feature quantities generated by the N first feature quantity generation units 113. generate.
- the second feature amount generating unit 114-2 combines the N different second intermediate feature amounts generated by the N second feature amount generating units 114-1 into one tensor data.
- the second feature amount generation unit 114-2 collectively generates N different new second intermediate feature amounts based on the tensor data.
- the second feature amount generation unit 114-3 operates in the same manner as the second feature amount generation unit 114-1 based on N different new second intermediate feature amounts. Further, the second feature amount generation section 114-2 operates in the same manner as the second feature amount generation section 114-4.
- the configuration of the signal generation system illustrated in this embodiment is an example, and the specific configuration of the signal generation system is not limited to the configuration illustrated in this embodiment.
- the second feature amount generating unit 114 collects the second intermediate feature amounts that are input to the parameter sharing points into one tensor data for each parameter sharing point of an arbitrary stage and number, and generates tensor data. New second intermediate features may be generated all at once based on the above.
- the parameter sharing unit 112 uses at least some of the plurality of different first intermediate feature quantities (the plurality of first intermediate feature quantities input to the second feature quantity generation unit 114 that shares parameters). , are combined into one tensor data.
- the parameter sharing unit 112 collectively generates at least some of the plurality of different second intermediate feature quantities (outputs of the second feature quantity generation unit 114 that shares parameters) based on tensor data.
- the entire "processing B2" may be executed at once using an arithmetic device specialized for tensor operations. Thereby, it is possible to execute "processing B2" even faster.
- the main difference from the first embodiment is that the input feature amount of the multidimensional signal is input to the signal generation device 11.
- differences from the first embodiment will be mainly explained.
- a lightweight first neural network in the first feature generation unit 113 When an input feature of a multidimensional signal (L-dimensional signal) such as a still image or a moving image is input to the signal generation device 11, a lightweight first neural network in the first feature generation unit 113, for example, has a kernel size.
- a small L-dimensional convolutional neural network, an L-dimensional convolutional neural network with a small total number of convolutional layers, or an L-dimensional convolutional neural network with a small number of connections in the channel direction of convolutional layers may be used.
- a lightweight neural network in the integrated processing unit 115 for example, an L-dimensional convolutional neural network with a small kernel size, an L-dimensional convolutional neural network with a small total number of convolutional layers, or an L-dimensional convolutional neural network with a small number of convolutional layer connections in the channel direction.
- a dimensional convolutional neural network may be used.
- L of the L dimension is the number of dimensions of the input feature amount, and is, for example, a value less than or equal to the number of dimensions of the generated data.
- the number of dimensions "L” is 1 or 2.
- the number of dimensions "L” is 1, 2, or 3.
- the second neural network "g i " includes one or more convolutional layers (e.g., an L-dimensional convolutional layer) or one or more activation function layers (e.g., a normalized linear unit layer or a leaky normalized linear unit layer). ) may be provided in any order. Additionally, each neural network “g i " may include a recurrent neural network, a transformer network, an attention neural network, a fully connected neural network, or a combination thereof.
- the audio time length of the input audio signal is, for example, about 24 hours.
- the sampling frequency for the input audio signal is, for example, 22.05 kHz.
- a short-time Fourier transform was performed on the input audio signal.
- the fast Fourier transform size (FFT size) of this short-time Fourier transform is, for example, 1024.
- the shift width of this short-time Fourier transform is, for example, 256.
- the window width of this short-time Fourier transform is, for example, 1024.
- the intermediate representation is, for example, an 80-dimensional logarithmic mel spectrogram.
- the log mel spectrogram is the result of performing a short-time Fourier transform on the audio signal and converting the scale.
- the processing speed rating represents a relative value to the 1x audio speed (reference speed) of the input audio signal in the execution environment of the graphics processing unit (GPU). The higher the processing speed rating, the faster the processing speed of the signal generation system. A score greater than 1 indicates that it is possible to generate the target audio signal (output audio feature) faster than the one-time speed (in real time) of the audio of the input audio signal (input audio feature).
- the score for the size of the neural network (model size) in a machine learning model represents the number of parameters of the neural network. The smaller the size score, the smaller the size of the neural network.
- the signal generation method by the signal generation system in the comparative example will be referred to as the "baseline method.”
- a signal generation method in which parameters are simply shared by a plurality of second neural networks and all second neural networks are used for “processing B2" as in the first embodiment will be referred to as a "first generation method”. That's what it means.
- the input features of all the second neural networks are combined into one tensor data, and one tensor data is input to all the second neural networks at once.
- the signal generation method performed is called a "second generation method.”
- FIG. 9 shows an example of the effect of the signal generation system (results of an experimental example) in a comparative example (baseline method), a first embodiment (first generation method), and a second modification (second generation method). It is a diagram.
- the voice quality according to the first generation method and the voice quality according to the second generation method are equivalent to the voice quality according to the baseline method.
- the processing speed according to the first generation method is equivalent to the processing speed according to the baseline method.
- the processing speed according to the second generation method is faster than the processing speed according to the baseline method.
- the number of parameters in the first generation method and the number of parameters in the second generation method are smaller than the number of parameters in the baseline method.
- the voice quality of the baseline method, the voice quality of the first generation method, and the voice quality of the second generation method are all the same, and the model size of the first generation method and the model size of the second generation method are , smaller than the model size of the baseline method. Furthermore, the processing speed of the second generation method is the fastest.
- the first generation method and the second generation method suppress the increase in the number of parameters compared to the baseline method, and improve the ability of the machine learning model to express the features of the input audio signal. , it is possible to obtain the same voice quality as the baseline method. Furthermore, by combining the tensor data as in the second modification, it is possible to further improve the processing speed.
- FIG. 10 shows a configuration example of the signal generation system 1b in the second embodiment.
- the signal generation system 1b is a system that generates an output signal (target signal) based on an arbitrary input signal.
- the signal generation system 1b includes an output generation device 200 and M signal generation devices 11 arranged in tandem.
- the signal generation system 1b may further include one or more signal generation devices 10 in series with respect to the signal generation device 11.
- the signal generation system 1b includes a signal generation device other than the signal generation device 10 and the signal generation device 11 at one or more arbitrary locations (for example, at a stage before or after the signal generation device 11 at one or more predetermined locations).
- one or more neural networks or signal processing functions may be provided.
- the signal generation system 1b explicitly estimates an intermediate representation (target intermediate representation) based on the input signal, and generates an output signal (target signal) based on the estimated intermediate representation (target intermediate representation). generate.
- the signal generation device 11-1 generates an output feature quantity based on the input signal in the above-mentioned "processing A1".
- the signal generation device 11-M generates an intermediate representation (for example, a spectrogram, etc.) based on the input feature amount from the signal generation device 11-(M-1) in the above-mentioned “processing A1”.
- the output generation device 200 generates an output signal based on the intermediate representation (output feature amount of the signal generation device 11-M) generated by the signal generation device 11-M in the above “processing A2”.
- FIG. 11 is a diagram showing a configuration example of the signal generation system 1c in the third embodiment.
- the signal generation system 1c is a system that generates an output signal (target signal) based on an arbitrary input signal.
- the signal generation system 1c includes M signal generation devices 11 arranged in tandem. Note that the signal generation system 1c may further include one or more signal generation devices 10 in series with respect to the signal generation device 11.
- the signal generation system 1b includes signal generation devices other than the signal generation device 10 and the signal generation device 11 (for example, One or more neural networks or signal processing functions may be provided.
- the signal generation system 1c generates an output signal (target signal) based on the input signal without explicitly estimating the intermediate representation (target intermediate representation) based on the input signal.
- the signal generation device 11-1 generates an output feature amount based on the input signal.
- the signal generation device 11-M generates an output signal (signal generation device 11 - output feature quantity of M) is generated.
- FIG. 12 is a diagram showing an example of the hardware configuration of the signal generation system 1 in each embodiment.
- the signal generation system 1 corresponds to a signal generation system 1a, a signal generation system 1b, and a signal generation system 1c, respectively.
- Some or all of the functional units of the signal generation system 1 include a processor 2. It is realized as software by a processor 2 such as a CPU (Central Processing Unit) or GPU executing a program stored in a storage device 4 having a non-volatile recording medium (non-temporary recording medium) and a memory 3. Ru.
- the program may be recorded on a computer-readable non-transitory recording medium.
- the program may be a multi-threaded program.
- Computer-readable non-temporary recording media include, for example, portable media such as flexible disks, magneto-optical disks, ROM (Read Only Memory), and CD-ROM (Compact Disc Read Only Memory), and hard disks built into computer systems. Or it is a non-temporary recording medium such as a storage device such as a solid state drive.
- the communication unit 5 executes predetermined communication processing.
- each functional unit of the signal generation system 1 may be an analog circuit or a digital circuit. At least some of the functional units of the signal generation system 1 include, for example, an LSI (Large Scale Integrated Circuit), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array). It may also be realized using hardware including an electronic circuit or circuitry.
- LSI Large Scale Integrated Circuit
- ASIC Application Specific Integrated Circuit
- PLD Programmable Logic Device
- FPGA Field Programmable Gate Array
- the present invention is applicable to a system that generates a target signal from an input signal.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
信号生成装置は、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する複数特徴量生成部と、少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を複数の異なる第1中間特徴量に基づいて生成するパラメータ共有部と、複数の異なる第2中間特徴量を出力特徴量として統合する統合処理部とを備える。パラメータ共有部は、複数の異なる第1中間特徴量のうちの少なくとも一部をテンソルデータにまとめ、複数の異なる第2中間特徴量のうちの少なくとも一部をテンソルデータに基づいて一括生成してもよい。
Description
本発明は、信号生成装置、信号生成システム、信号生成方法及びプログラムに関する。
信号生成システムには、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせが入力されることがある。信号生成システムは、入力信号に基づいて、所定の目標信号を出力信号として生成する。目標信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。
目標信号として音声信号を生成する代表的なタスクとして、テキスト音声合成及び音声変換がある。信号生成システムは、入力段から出力段までの1個以上の段に、ニューラルネットワークのモジュール(信号生成装置)を備える。テキスト音声合成及び音声変換では、例えば、以下の処理A1及び処理A2を信号生成システムが実行することがある。
処理A1:
信号生成システムは、入力信号(入力段の信号生成装置の入力特徴量)に基づいて、入力信号と出力信号(目標信号)との間の中間表現を推定する。例えばテキスト音声合成では、信号生成システムは、入力されたテキスト列に基づいて、中間表現を推定する。例えば音声変換では、信号生成システムは、入力された音声信号から抽出された特徴量(入力音声特徴量)に基づいて、中間表現を推定する。
信号生成システムは、入力信号(入力段の信号生成装置の入力特徴量)に基づいて、入力信号と出力信号(目標信号)との間の中間表現を推定する。例えばテキスト音声合成では、信号生成システムは、入力されたテキスト列に基づいて、中間表現を推定する。例えば音声変換では、信号生成システムは、入力された音声信号から抽出された特徴量(入力音声特徴量)に基づいて、中間表現を推定する。
処理A2:
信号生成システムは、推定された中間表現に基づいて、目標信号(目標音声信号)を、出力信号(出力段の信号生成装置の出力特徴量)として生成する。
信号生成システムは、推定された中間表現に基づいて、目標信号(目標音声信号)を、出力信号(出力段の信号生成装置の出力特徴量)として生成する。
中間表現は、例えば、基底関数に基づく時間周波数変換(短時間フーリエ変換、ウェーブレット変換等)を音声信号に適用することによって得られた特徴量(スペクトログラム等)である。中間表現は、この特徴量をさらにスケール変換することによって得られた特徴量(メルスペクトログラム等)でもよい。
中間表現は、基底関数に基づく時間周波数変換(フーリエ変換等)をスペクトログラム又はメルスペクトログラム等に適用することによって得られた特徴量(ケプストラム、メルケプストラム等)でもよい。中間表現は、所定の関数(例えば、ニューラルネットワークを用いて表現された関数、信号処理関数等)を音声信号又は上記各特徴量のいずれかに適用することによって得られた他の特徴量でもよい。中間表現は、上記各特徴量のいずれかの組合わせでもよい。
なお、中間表現は、明示的に推定されなくてもよい。すなわち、処理A1及び処理A2は、一貫処理(不可分処理)でもよい。
また、非特許文献1には、音声信号を生成する信号生成システムとして、ニューラルネットワークを用いた信号生成システムが開示されている。非特許文献1に開示された信号生成システムは、マルチ受容野融合(MRF : Multi-receptive Field Fusion)と呼ばれるモジュール(構成要素)を、信号生成装置として備える。
図13は、信号生成装置10(マルチ受容野融合のモジュール)の構成例を示す図である。信号生成システムの入力段から出力段までの1個以上の段に、M(「M」は、1以上の整数)個の信号生成装置10が、縦列に備えられる。信号生成装置10は、複数の異なる中間特徴量生成部101(ニューラルネットワーク)を、並列に備える。更に、信号生成装置10は、加算処理装置102を備える。
中間特徴量生成部101「gi」(「i」は、1からNまでの整数を表す。「N」は、2以上の整数であり、図13では中間特徴量生成部101の個数を表す。)における機械学習モデルのニューラルネットワークのパラメータ(例えば、カーネルサイズ)は、互いに異なる。
上記「処理A1」及び上記「処理A2」が可分処理である場合、上記「処理A2」において、複数の異なる中間特徴量生成部101は、入力特徴量「hin」を、前段の信号生成装置10(モジュール)から取得する。複数の異なる中間特徴量生成部101は、入力特徴量「hin」に基づいて、複数の異なる中間特徴量「hi」(hi=gi(hin),i={1,…,N})を生成する。
上記「処理A2」において、加算処理装置102は、複数の異なる中間特徴量「hi」を加算する。加算処理装置102は、複数の異なる中間特徴量の加算結果を、出力特徴量「hout=ΣN
i=1hi」として生成する。加算処理装置102は、出力特徴量を後段の信号生成装置10(モジュール)に出力する。
このように、マルチ受容野融合の信号生成装置10では、異なるパラメータのニューラルネットワークを有する複数の異なる機械学習モデル(中間特徴量生成部101)が、並列に用いられる。これによって、マルチ受容野融合では、同じパラメータのニューラルネットワークを有する単独の機械学習モデルが用いられる場合(N=1である場合)と比較して、入力音声信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である。すなわち、マルチ受容野融合のモジュールが導入された信号生成システムは、高品質な目標音声信号を生成することが可能である。
Jungil Kong, Jaehyeon Kim, and Jaekyoung Bae, "HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis," in Adv. NeurIPS, 2020.
しかしながら、マルチ受容野融合では、異なるパラメータのニューラルネットワークを有する複数の異なる機械学習モデルが並列に用いられるので、パラメータの個数が増加することが抑制された場合には、入力信号の特徴量を機械学習モデルが表現する能力を向上させることができないという問題がある。
上記事情に鑑み、本発明は、機械学習モデルにおけるニューラルネットワークのパラメータの個数が増加することを抑制した上で、入力信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である信号生成装置、信号生成システム、信号生成方法及びプログラムを提供することを目的としている。
本発明の一態様は、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する複数特徴量生成部と、少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成するパラメータ共有部と、前記複数の異なる第2中間特徴量を出力特徴量として統合する統合処理部とを備える信号生成装置である。
本発明の一態様は、1以上の信号生成装置を備える信号生成システムであって、前記信号生成装置は、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する複数特徴量生成部と、少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成するパラメータ共有部と、前記複数の異なる第2中間特徴量を出力特徴量として統合する統合処理部とを備える信号生成システムである。
本発明の一態様は、信号生成装置が実行する信号生成方法であって、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成するステップと、少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成するステップと、前記複数の異なる第2中間特徴量を出力特徴量として統合するステップとを含む信号生成方法である。
本発明の一態様は、コンピュータに、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する手順と、少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成する手順と、前記複数の異なる第2中間特徴量を出力特徴量として統合する手順とを実行させるためのプログラムである。
本発明により、機械学習モデルにおけるニューラルネットワークのパラメータの個数が増加することを抑制した上で、入力信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
まず、各実施形態の信号生成システムとの比較例として、マルチ受容野融合の信号生成装置(モジュール)を有する信号生成システムを説明する。
(比較例)
比較例における信号生成装置10を備える信号生成システム(以下、「比較例における信号生成システム」という。)は、入力信号に基づいて、所定の目標信号を生成する。入力信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。比較例における信号生成システムは、入力信号の一例として、入力テキスト信号(テキスト音声合成の場合)、又は、入力音声信号(音声変換の場合)を取得する。目標信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。テキスト音声合成又は声変換では、比較例における信号生成システムは、目標信号の一例として、目標音声信号を生成する。
比較例における信号生成装置10を備える信号生成システム(以下、「比較例における信号生成システム」という。)は、入力信号に基づいて、所定の目標信号を生成する。入力信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。比較例における信号生成システムは、入力信号の一例として、入力テキスト信号(テキスト音声合成の場合)、又は、入力音声信号(音声変換の場合)を取得する。目標信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。テキスト音声合成又は声変換では、比較例における信号生成システムは、目標信号の一例として、目標音声信号を生成する。
また、比較例における信号生成システムは、2段階に分離可能な処理(可分処理)として上記「処理A1」及び上記「処理A2」を実行してもよいし、上記「処理A1」及び上記「処理A2」を一貫処理(不可分処理)として実行してもよい。以下では、比較例における信号生成システムは、2段階に分離可能な処理として、上記「処理A1」及び上記「処理A2」を実行する。
上記「処理A2」は、いわゆるボコーダの処理である。比較例における信号生成システムの信号生成装置10は、ボコーダ(ニューラルボコーダ)のモジュールとして、ニューラルネットワークを備える。ニューラルネットワークとは、例えば、畳み込みニューラルネットワーク(CNN : Convolutional Neural Network)、リカレントニューラルネットワーク(RNN : Recurrent Neural Network)、トランスフォーマーネットワーク(Transformer Network)、アテンションニューラルネットワーク(Attention Neural Network)、全結合ニューラルネットワーク(FNN : Fully Connected Neural Network)、又は、これらの組み合わせである。以下では一例として、信号生成装置10が畳み込みニューラルネットワークをボコーダのモジュールとして備える場合について説明する。
音声信号は、1秒間あたり数千個から数万個のサンプルを含む複雑な信号である。このように複雑な音声信号を忠実に再現できる信号生成システムが実現されるためには、表現能力の高いニューラルネットワークを有する機械学習モデルが必要である。比較例における信号生成装置10は、複数の中間特徴量生成部101を備える。複数の中間特徴量生成部101は、互いに異なる畳み込みニューラルネットワークを含む。このため、比較例における信号生成装置10は、単独の機械学習モデル(複数の異なる中間特徴量生成部101のうちのいずれか一つの中間特徴量生成部101の畳み込みニューラルネットワークのみを有する機械学習モデル)が用いられる場合(N=1である場合(単純法))と比較して、入力信号(例えば、入力テキスト信号、又は、入力音声信号)の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
比較例における信号生成装置10は、上記「処理A2」において、入力特徴量に基づいて出力特徴量を生成する。以下では、入力特徴量は、信号生成システムの入力信号(入力データ)でもよいし、信号生成システムの入力信号に対して1以上の関数(ニューラルネットワーク、又は、信号処理関数等)が適用されたことによって得られた特徴量でもよい。
マルチ受容野融合(MRF)の各ニューラルネットワーク「gi」は、1以上の畳み込み層(例えば、一次元畳み込み層)、又は、1以上の活性化関数層(例えば、正規化線形ユニット層(ReLU : Rectified Linear Unit)、又は、漏洩正規化線形ユニット層(Leaky ReLU))等の各ユニット(各層)を、任意の順で有してもよい。また、各ニューラルネットワーク「gi」は、リカレントニューラルネットワーク、トランスフォーマーネットワーク、アテンションニューラルネットワーク、全結合ニューラルネットワーク、又は、これらの組み合わせを有してもよい。
以下、マルチ受容野融合の複数の異なるニューラルネットワーク「gi」の各ユニットが単独又は連続して用いられる場合における、複数の異なるニューラルネットワーク「gi」の出力を「特徴量A」という。以下、並列に実行された恒等変換又は線形変換等の変換結果を「特徴量B」という。
比較例における信号生成装置10は、特徴量A及び特徴量Bを加算してもよい。これにより、入力信号の残差のモデル化が可能である。上記では一例として、ニューラルネットワーク「gi」の入出力において残差のモデル化が1回実行される処理が説明された。これに限られず、例えば、ニューラルネットワーク「gi」が多層のニューラルネットワークである場合、多層における予め定められた1以上の層間で、残差のモデル化が1回以上実行されてもよい。
比較例における信号生成装置10の畳み込み層の一部又は全部には、ダイレイト畳み込み層(Dilated Convolution)が用いられてもよい。これにより、畳み込みニューラルネットワークのパラメータの個数(サイズ)が所定個数より少ない場合でも、畳み込みニューラルネットワークの受容野を拡張することが可能である。
なお、比較例における信号生成システムの入力信号のサイズと、比較例における信号生成システムの出力信号のサイズとが異なる場合、比較例における信号生成システムの入力信号のサイズ又は出力信号のサイズと、比較例における信号生成システムの中間表現のサイズとが異なる場合、又は、所定の次元について情報の縮約、又は、拡張を行う場合には、比較例における信号生成システムは、信号生成装置10(マルチ受容野融合のモジュール)と、アップサンプリング処理又はダウンサウンプリング処理を、信号生成システムの入力段から出力段までの1以上の任意の段の特徴量に対して実行するモジュール(不図示)とを備えてもよい。アップサンプリング処理又はダウンサウンプリング処理は、複数回に分けて実行されてもよい。比較例における信号生成システムは、更に、他の処理を実行するモジュールを備えてもよい。
また、比較例における信号生成システムでは、信号生成装置10と、他の構成を持つニューラルネットワーク(例えば、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスフォーマーネットワーク、アテンションニューラルネットワーク、又は、全結合ニューラルネットワーク)とが組み合わされてもよい。
比較例における信号生成装置10の機械学習の方法として、例えば、敵対的生成ネットワーク(GAN : Generative Adversarial Networks)、自己回帰モデル(Autoregressive Model)、フローモデル(Flow Model)、拡散確率モデル(Diffusion Probabilistic Model)、変分自己符号化器(VAE : Variational Autoencoder)等の生成モデル、又は、これらの組み合わせを用いる機械学習の方法が用いられる。
比較例における信号生成装置10の他の機械学習の方法として、例えば、任意の尺度(例えば、L1距離、L2距離、ワッサースタイン(Wasserstein)距離、ヒンジ(Hinge)関数、又は、これらの組み合わせ)に基づく機械学習の方法が用いられてもよい。また、生成モデルと任意の尺度との組み合わせに基づく機械学習の方法が用いられてもよい。
比較例における信号生成装置10では、マルチ受容野融合として複数の異なるニューラルネットワーク(中間特徴量生成部101)が並列に用いられることによって、単独の機械学習モデル(マルチ受容野融合として複数の異なるニューラルネットワークのうちのいずれか一つのニューラルネットワークのみを有する機械学習モデル)が用いられる場合(N=1である場合)と比較して、入力信号(例えば、入力テキスト信号、又は、入力音声信号)の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
しかしながら、比較例における信号生成装置10では、異なるパラメータのニューラルネットワークを有する複数の異なる機械学習モデルが並列に用いられるので、パラメータの個数(サイズ)が増加することが抑制された場合には、入力信号の特徴量を機械学習モデルが表現する能力を向上させることができない。
(各実施形態の概要)
各実施形態における信号生成システムは、入力段から出力段までの1個以上の段に、少なくとも一部のパラメータが共有される1個以上の信号生成装置(モジュール)を、縦列に備える。各実施形態における信号生成システムは、任意の入力信号(例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせ)に基づいて、所定の目標信号(出力信号)を生成する。目標信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。
各実施形態における信号生成システムは、入力段から出力段までの1個以上の段に、少なくとも一部のパラメータが共有される1個以上の信号生成装置(モジュール)を、縦列に備える。各実施形態における信号生成システムは、任意の入力信号(例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせ)に基づいて、所定の目標信号(出力信号)を生成する。目標信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。
各実施形態における信号生成システムは、2段階に分離可能な処理(可分処理)として上記「処理A1」と上記「処理A2」とを実行してもよいし、上記「処理A1」と下記「処理A2」とを一貫処理(不可分処理)として実行してもよい。
例えば、第1実施形態における信号生成システムは、2段階に分離可能な処理(可分処理)として、上記「処理A1」と上記「処理A2」とを実行する。第1実施形態の表現生成装置(中間表現を生成するモジュール)は、上記「処理A1」において、中間表現を生成する。第1実施形態の信号生成装置(特徴量を生成するモジュール)は、上記「処理A2」において、ニューラルネットワークを用いて、下記「処理B1」と下記「処理B2」と下記「処理B3」とを実行する。これによって、第1実施形態の出力段の信号生成装置は、上記「処理A2」において出力信号を生成する。
例えば、第2実施形態における信号生成システムは、2段階に分離可能な処理(可分処理)として、上記「処理A1」と上記「処理A2」とを実行する。第2実施形態の信号生成装置(特徴量を生成するモジュール)は、上記「処理A1」において、ニューラルネットワークを用いて、下記「処理B1」と下記「処理B2」と下記「処理B3」とを実行する。これによって、第2実施形態の信号生成装置は、上記「処理A1」において、中間表現(目標中間表現)を生成する。第2実施形態の出力生成装置(出力信号を生成するモジュール)は、上記「処理A2」において、中間表現に基づいて目標信号(出力信号)を生成する。
例えば、第3実施形態における信号生成システムは、一貫処理として、上記「処理A1」と上記「処理A2」とを実行する。すなわち、第3実施形態における信号生成システムは、中間表現(目標中間表現)を、明示的には推定しない。第3実施形態の信号生成装置(特徴量を生成するモジュール)は、上記「処理A1」及び上記「処理A2」において、ニューラルネットワークを用いて、下記「処理B1」と下記「処理B2」と下記「処理B3」とを実行する。これによって、第3実施形態の信号生成装置は、入力信号に基づいて、出力信号(目標信号)を生成する。
処理B1:
実施形態の信号生成装置(モジュール)は、入力特徴量「hin」を、前段から取得する。実施形態の信号生成装置は、N個の異なる第1ニューラルネットワーク「fi」(i={1,…,N})を用いて、入力特徴量「hin」に基づいて、N個の異なる第1中間特徴量「h1 i=fi(hin)」を生成する。ここで、「N」は、2以上の整数であり、並列に用いられるニューラルネットワークの個数を表す。第1ニューラルネットワーク「fi」は、第2ニューラルネットワーク「gi」(後述)よりも軽量なニューラルネットワークである。例えば、「fi」及び「gi」が一次元畳み込みニューラルネットワークである場合、「fi」には「gi」よりもカーネルサイズが小さい一次元畳み込みニューラルネットワーク(例えば、カーネルサイズ「1」の一次元畳み込みニューラルネットワーク)を用いてもよい。また、「fi」及び「gi」が1層以上の畳み込み層を含む一次元畳み込みニューラルネットワークである場合、「fi」には「gi」よりも畳み込み層の総数が少ない一次元畳み込みニューラルネットワーク(例えば、畳み込み層の総数が1の一次元畳み込みニューラルネットワーク)を用いてもよい。また、「fi」及び「gi」が一次元畳み込みニューラルネットワークである場合、「fi」には「gi」よりも畳み込み層のチャンネル方向の結合数が少ない一次元畳み込みニューラルネットワークが用いられてもよい。これにより、実施形態の信号生成装置は、入力特徴量のバリエーションを増やす。すなわち、実施形態の信号生成システムは、入力特徴量「hin」のN個のバリエーション(多様性)として、N個の異なる第1中間特徴量「h1 i」を生成する。
実施形態の信号生成装置(モジュール)は、入力特徴量「hin」を、前段から取得する。実施形態の信号生成装置は、N個の異なる第1ニューラルネットワーク「fi」(i={1,…,N})を用いて、入力特徴量「hin」に基づいて、N個の異なる第1中間特徴量「h1 i=fi(hin)」を生成する。ここで、「N」は、2以上の整数であり、並列に用いられるニューラルネットワークの個数を表す。第1ニューラルネットワーク「fi」は、第2ニューラルネットワーク「gi」(後述)よりも軽量なニューラルネットワークである。例えば、「fi」及び「gi」が一次元畳み込みニューラルネットワークである場合、「fi」には「gi」よりもカーネルサイズが小さい一次元畳み込みニューラルネットワーク(例えば、カーネルサイズ「1」の一次元畳み込みニューラルネットワーク)を用いてもよい。また、「fi」及び「gi」が1層以上の畳み込み層を含む一次元畳み込みニューラルネットワークである場合、「fi」には「gi」よりも畳み込み層の総数が少ない一次元畳み込みニューラルネットワーク(例えば、畳み込み層の総数が1の一次元畳み込みニューラルネットワーク)を用いてもよい。また、「fi」及び「gi」が一次元畳み込みニューラルネットワークである場合、「fi」には「gi」よりも畳み込み層のチャンネル方向の結合数が少ない一次元畳み込みニューラルネットワークが用いられてもよい。これにより、実施形態の信号生成装置は、入力特徴量のバリエーションを増やす。すなわち、実施形態の信号生成システムは、入力特徴量「hin」のN個のバリエーション(多様性)として、N個の異なる第1中間特徴量「h1 i」を生成する。
処理B2:
実施形態の信号生成装置は、N個の第2ニューラルネットワーク「gi」(i={1,…,N})を用いて、N個の異なる第1中間特徴量「h1 i」に基づいて、N個の異なる第2中間特徴量「h2 i=gi(h1 i)」を生成する。ここで、N個の第2ニューラルネットワーク「gi」は、少なくとも一部のパラメータを共有する。これにより、パラメータの個数が増加することが抑制される。
実施形態の信号生成装置は、N個の第2ニューラルネットワーク「gi」(i={1,…,N})を用いて、N個の異なる第1中間特徴量「h1 i」に基づいて、N個の異なる第2中間特徴量「h2 i=gi(h1 i)」を生成する。ここで、N個の第2ニューラルネットワーク「gi」は、少なくとも一部のパラメータを共有する。これにより、パラメータの個数が増加することが抑制される。
処理B3:
実施形態の信号生成装置は、N個の異なる第2中間特徴量「h2 i=gi(h1 i)」を統合することによって、出力特徴量「hout」を生成する。ここで、実施形態の信号生成装置は、N個の異なる第2中間特徴量を特徴量次元方向に結合した結果に対して、所定の変換処理を実行する。例えば、実施形態の信号生成装置は、N個の異なる第2中間特徴量の結合結果に対して、第2ニューラルネットワーク「gi」よりも軽量なニューラルネットワークを用いて、所定の変換処理を実行する。以下では、軽量なニューラルネットワークとは、例えば、カーネルサイズの小さい一次元畳み込みニューラルネットワーク、畳み込み層の総数が少ない一次元畳み込みニューラルネットワーク、又は、畳み込み層のチャンネル方向の結合数が少ない一次元畳み込みニューラルネットワークである。以下では、カーネルサイズの小さいとは、例えば、カーネルサイズが1であることである。以下では、畳み込み層の総数が少ないとは、例えば、畳み込み層の総数が1であることである。以下では、結合数が少ないとは、例えば、予め定められた個数以下であることである。なお、実施形態の信号生成装置は、N個の異なる第2中間特徴量「h2 i」を加算することによって、出力特徴量「hout」を生成してもよい。実施形態の信号生成装置は、出力特徴量を後段に出力する。
実施形態の信号生成装置は、N個の異なる第2中間特徴量「h2 i=gi(h1 i)」を統合することによって、出力特徴量「hout」を生成する。ここで、実施形態の信号生成装置は、N個の異なる第2中間特徴量を特徴量次元方向に結合した結果に対して、所定の変換処理を実行する。例えば、実施形態の信号生成装置は、N個の異なる第2中間特徴量の結合結果に対して、第2ニューラルネットワーク「gi」よりも軽量なニューラルネットワークを用いて、所定の変換処理を実行する。以下では、軽量なニューラルネットワークとは、例えば、カーネルサイズの小さい一次元畳み込みニューラルネットワーク、畳み込み層の総数が少ない一次元畳み込みニューラルネットワーク、又は、畳み込み層のチャンネル方向の結合数が少ない一次元畳み込みニューラルネットワークである。以下では、カーネルサイズの小さいとは、例えば、カーネルサイズが1であることである。以下では、畳み込み層の総数が少ないとは、例えば、畳み込み層の総数が1であることである。以下では、結合数が少ないとは、例えば、予め定められた個数以下であることである。なお、実施形態の信号生成装置は、N個の異なる第2中間特徴量「h2 i」を加算することによって、出力特徴量「hout」を生成してもよい。実施形態の信号生成装置は、出力特徴量を後段に出力する。
本発明の実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、第1実施形態における、信号生成システム1aの構成例を示す図である。信号生成システム1aは、任意の入力信号に基づいて出力信号(目標信号)を生成するシステムである。信号生成システム1aは、表現生成装置100と、M(「M」は、1以上の整数)個の信号生成装置11を、縦列に備える。なお、信号生成システム1aは、更に、1個以上の信号生成装置10を、信号生成装置11に対して縦列に備えてもよい。また、信号生成システム1aは、信号生成装置10及び信号生成装置11以外の1個以上のモジュール(例えば、ニューラルネットワーク又は信号処理関数)を、1箇所以上の任意の位置(例えば、予め定められた1以上の信号生成装置11の前段又は後段)に備えてもよい。
(第1実施形態)
図1は、第1実施形態における、信号生成システム1aの構成例を示す図である。信号生成システム1aは、任意の入力信号に基づいて出力信号(目標信号)を生成するシステムである。信号生成システム1aは、表現生成装置100と、M(「M」は、1以上の整数)個の信号生成装置11を、縦列に備える。なお、信号生成システム1aは、更に、1個以上の信号生成装置10を、信号生成装置11に対して縦列に備えてもよい。また、信号生成システム1aは、信号生成装置10及び信号生成装置11以外の1個以上のモジュール(例えば、ニューラルネットワーク又は信号処理関数)を、1箇所以上の任意の位置(例えば、予め定められた1以上の信号生成装置11の前段又は後段)に備えてもよい。
第1実施形態では、信号生成システム1aは、任意の入力信号に基づいて中間表現(目標中間表現)を明示的に推定し、推定された中間表現(目標中間表現)に基づいて出力信号(目標信号)を生成する。
任意の入力信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。テキスト音声合成では、信号生成システム1aは、入力テキスト信号を、入力信号の一例として取得する。音声変換では、信号生成システム1aは、入力音声信号を、入力信号の一例として取得する。目標信号は、例えば、系列信号(例えば、音声信号、音響信号、テキスト列)、多次元信号(例えば、静止画、動画)、センサ信号、又は、上記信号のいずれかの組み合わせである。テキスト音声合成及び音声変換では、信号生成システム1aは、出力信号(目標信号)の一例として、目標音声信号を生成する。
表現生成装置100は、上記「処理A1」において、中間表現(例えば、スペクトログラム等)を生成する。信号生成装置11-1は、上記「処理A2」において、表現生成装置100によって生成された中間表現に基づいて、信号生成装置11-1の出力特徴量を生成する。信号生成装置11-Mは、上記「処理A2」において、信号生成装置11-(M-1)からの入力特徴量(信号生成装置11-(M-1)の出力特徴量)に基づいて、信号生成装置11-Mの出力特徴量を生成する。
次に、機械学習の方法について説明する。
信号生成装置11における機械学習の方法の生成モデルとして、例えば、敵対的生成ネットワーク、自己回帰モデル、フローモデル、拡散確率モデル、変分自己符号化器等の生成モデル、又は、これらの組み合わせが用いられる。
信号生成装置11における機械学習の方法の生成モデルとして、例えば、敵対的生成ネットワーク、自己回帰モデル、フローモデル、拡散確率モデル、変分自己符号化器等の生成モデル、又は、これらの組み合わせが用いられる。
信号生成装置11の他の機械学習の方法として、例えば、任意の尺度(例えば、L1距離、L2距離、ワッサースタイン距離、ヒンジ関数、又は、これらの組み合わせ)に基づく方法が用いられてもよい。また、信号生成装置11の他の機械学習の方法として、生成モデルと任意の尺度との組み合わせに基づく方法が用いられてもよい。
識別器(不図示)及び信号生成装置11の機械学習の方法として、例えば敵対的生成ネットワークが用いられる場合、式(1)に示された敵対的損失関数(Adversarial Loss)「Ladv(D;G)」と、式(2)に示された敵対的損失関数「Ladv(G;D)」とが用いられる。
ここで、「G」は、信号生成装置11群(信号生成装置11―1~11-M)を表す。なお、信号生成装置11群における、1以上の任意の信号生成装置11の前段又は後段には、所定の信号生成装置(例えば、信号生成装置10、又は、信号生成装置10及び信号生成装置11以外の1個以上のモジュール(例えば、ニューラルネットワーク又は信号処理関数))が備えられてもよい。「s」は、信号生成装置11-1に入力される中間表現(目標中間表現)を表す。中間表現は、例えば、メルスペクトログラムである。「G(s)」は、偽物(生成物)の目標信号を表す。偽物の目標信号とは、信号生成装置11群によって生成された出力信号である。「x」は、本物の目標信号(目標音声信号)を表す。「D」は、本物の目標信号であるか偽物の目標信号であるかを識別する識別器(不図示)を表す。「D(x)」は、本物の目標信号であるか偽物の目標信号であるかの識別結果を表す。
また、機械学習モデルの学習データとして、目標信号「x」と目標中間表現「s」とのペアデータ「(x,s)」が用いられる。ここで、1個以上のペアデータを含む学習データが用いられる。なお、例えば、ボコーダの処理を行う信号生成装置11群を学習する場合、目標中間表現「s」には、目標信号「x」に基づいて抽出された中間表現が用いられる。
敵対的損失関数として、任意の尺度に基づく敵対的損失関数が用いられてもよい。すなわち、敵対的損失関数として、式(1)及び式(2)のように最小二乗法敵対的損失関数(LSGAN : Least Squares GAN)に基づく関数、ワッサースタイン敵対的損失関数(Wasserstein GAN)に基づく関数、非飽和型敵対的損失関数(Non-saturating GAN)に基づく関数、ヒンジ敵対的損失関数(Hinge GAN)に基づく関数、又は、これらの組み合わせが用いられてもよい。
識別器「D」は、式(1)の値を最小化することによって、本物の目標信号「x」と偽物(生成物)の目標信号「G(s)」とが離れるようにする。これに対して、信号生成装置11群は、式(2)の値を最小化することで、本物の目標信号「x」と偽物の目標信号「G(s)」とが近づくようにする。
このように、識別器「D」と信号生成装置11群「G」とが互いに敵対(競合)するような条件下で、信号生成システムの敵対的生成ネットワークが最適化される。これによって、信号生成装置11群「G」は、本物の目標信号「x」であるか否かを識別器「D」が識別できないような目標信号「G(s)」を生成することができる。
信号生成装置11群の機械学習の安定化のため、式(3)のように表される中間表現適合損失関数(Intermediate Representation-Matching Loss)「Lim(G)」と敵対的損失関数とが用いられてもよい。
ここで、「φ」は、目標中間表現(目標特徴量)を目標信号から抽出する関数を表す。つまり、「φ(x)」は、本物の目標信号「x」から抽出された、本物の目標中間表現を表す。「φ(G(s))」は、偽物の目標信号「G(s)」から抽出された、偽物の目標中間表現を表す。なお、式(3)では、本物の目標中間表現「φ(x)」と偽物の目標中間表現「φ(G(s))」を近づける基準の一例としてL1距離が用いられているが、任意の尺度(例えば、L2距離、ワッサースタイン距離、ヒンジ関数、又は、これらの組み合わせ)が、基準の一例として用いられてもよい。
中間表現適合損失関数が機械学習に用いられることによって、中間表現の特徴空間内において、偽物の目標信号の目標とされる本物の目標信号「x」に、偽物の目標信号「G(s)」を近づけることが可能である。
識別器及び信号生成装置11群の機械学習の安定化のため、上記の各損失関数のうちのいずれかの損失関数に加えて、式(4)で表される特徴量適合損失関数(Feature-Matching Loss)「Lfm(G;D)」が用いられてもよい。
ここで、「T」は、識別器「D」の層の数を表す。「Di」は、識別器「D」のi層目の特徴量を表す。「Ni」は、識別器「D」のi層目の特徴量の個数を表す。式(4)では一例としてL1距離が用いられているが、任意の尺度(例えば、L2距離、ワッサースタイン距離、ヒンジ関数、又は、これらの組み合わせ)が用いられてもよい。また、式(4)では一例として識別器「D」の全ての層の特徴量が機械学習に用いられているが、識別器「D」の一部の層の特徴量のみが機械学習に用いられてもよい。特徴量適合損失関数が機械学習に用いられることによって、識別器の特徴空間内において、偽物の目標信号の目標とされる本物の目標信号「x」に、偽物の目標信号「G(s)」を近づけることが可能である。
式(5)に例示されているように、3種類の損失関数が組み合わされた損失関数が、実施形態の信号生成装置11「G」の最終的な損失関数「LG」として用いられる。
式(6)に例示されているように、敵対的損失関数が、識別器「D」の最終的な損失関数「LD」として用いられる。
ここで、「λfm」は、損失関数「Lfm(G;D)」の重み付けパラメータである。「λim」は、損失関数「Lim(G)」の重み付けパラメータである。信号生成装置11群「G」の機械学習モデルは、損失関数「LG」が最小化されることによって最適化される。識別器「D」の機械学習モデルは、損失関数「LD」が最小化されることによって最適化される。
なお、式(5)及び式(6)に例示された3種類の損失関数のうちの全てが機械学習に用いられてもよいし、3種類の損失関数のうちの一部が機械学習に用いられてもよい。
次に、信号生成装置11の構成例について説明する。
図2は、第1実施形態における、信号生成装置11(モジュール)の構成例を示す図である。信号生成装置11は、複数特徴量生成部111を備える。信号生成装置11は、少なくとも一部のパラメータを共有するパラメータ共有部112を備える。また、信号生成装置11は、統合処理装置115を備える。
図2は、第1実施形態における、信号生成装置11(モジュール)の構成例を示す図である。信号生成装置11は、複数特徴量生成部111を備える。信号生成装置11は、少なくとも一部のパラメータを共有するパラメータ共有部112を備える。また、信号生成装置11は、統合処理装置115を備える。
信号生成システム1aの入力信号のサイズと、信号生成システム1aの出力信号のサイズとが異なる場合、比較例における信号生成システムの入力信号のサイズ又は出力信号のサイズと、比較例における信号生成システムの中間表現のサイズとが異なる場合、又は、所定の次元について情報の縮約、又は、拡張を行う場合には、信号生成システム1は、更に、アップサンプリング処理又はダウンサウンプリング処理を、信号生成システムの入力段から出力段までの1以上の任意の段の特徴量に対して実行するモジュール(不図示)を1個以上備えてもよい。アップサンプリング処理又はダウンサウンプリング処理は、複数回に分けて実行されてもよい。信号生成システム1aは、更に、他の処理を実行するモジュール(信号生成装置)を備えてもよい。
また、信号生成装置11では、複数特徴量生成部111と、パラメータ共有部112と、他の構成を持つニューラルネットワーク(例えば、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスフォーマーネットワーク、アテンションネットワーク、又は、全結合ニューラルネットワーク)とが組み合わされてもよい。
複数特徴量生成部111(バリエーション生成部)は、N個の異なる第1特徴量生成部113を備える。N個の異なる第1特徴量生成部113は、機械学習モデルのN個の異なる第1ニューラルネットワーク「fi」(i={1,…,N})を有する。ここで、「N」は、並列に用いられる第1ニューラルネットワークの個数を表す。すなわち、「N」は、複数特徴量生成部111の個数を表す。第1ニューラルネットワーク「fi」は、パラメータ共有部112における第2ニューラルネットワーク「gi」(i={1,…,N})と比較して軽量なニューラルネットワーク(モデルサイズが小さいニューラルネットワーク)である。例えば、「fi」は、「gi」よりもカーネルサイズの小さい一次元畳み込みニューラルネットワーク、「gi」よりも畳み込み層の総数が少ない一次元畳み込みニューラルネットワーク、又は、「gi」よりも畳み込み層のチャンネル方向の結合数が少ない一次元畳み込みニューラルネットワークである。
上記「処理B1」において、複数特徴量生成部111は、入力特徴量「hin」を、前段から取得する。複数特徴量生成部111は、複数の異なる第1ニューラルネットワーク「fi」を用いて、入力特徴量「hin」に基づいて、複数の異なる第1中間特徴量「h1
i=fi(hin)」を生成する。これにより、複数特徴量生成部111は、入力特徴量のバリエーションを増やす。すなわち、複数特徴量生成部111は、入力特徴量「hin」のN個のバリエーション(多様性)として、N個の異なる第1中間特徴量「h1
i」を生成する。
パラメータ共有部112は、N個の第2特徴量生成部114を備える。N個の第2特徴量生成部114は、機械学習モデルのN個の第2ニューラルネットワーク「gi」を有する。N個の第2ニューラルネットワークのうちの少なくとも一部は、パラメータを共有する。これにより、第2ニューラルネットワークのパラメータの個数が増加することが抑制される。
ここで、N個の第2ニューラルネットワーク「gi」の全てがパラメータを共有した場合、N個の第2ニューラルネットワークが同じであることから、第2ニューラルネットワークのパラメータの個数は、N分の1に抑制される。例えば、「N=3」個の第2ニューラルネットワーク「gi」の全てがパラメータを共有した場合、第2ニューラルネットワークのパラメータの個数は、3分の1に抑制される。
第2ニューラルネットワーク「gi」は、1以上の畳み込み層(例えば、一次元畳み込み層)、又は、1以上の活性化関数層(例えば、正規化線形ユニット層(ReLU : Rectified Linear Unit)、又は、漏洩正規化線形ユニット層(Leaky ReLU))等の各ユニット(各層)を、任意の順で有してもよい。また、各ニューラルネットワーク「gi」は、リカレントニューラルネットワーク、トランスフォーマーネットワーク、アテンションニューラルネットワーク、全結合ニューラルネットワーク、又は、これらの組み合わせを有してもよい。
パラメータ共有部112の畳み込み層の一部又は全部に、ダイレイト畳み込み層が用いられてもよい。これにより、畳み込みニューラルネットワークのパラメータの個数が所定個数より少ない場合でも、畳み込みニューラルネットワークの受容野を拡張することが可能である。
上記「処理B2」において、パラメータ共有部112は、N個の第2ニューラルネットワーク「gi」を用いて、N個の異なる第1中間特徴量「h1
i」に基づいて、N個の異なる第2中間特徴量「h2
i=gi(h1
i)」を生成する。
なお、パラメータ共有部112は、N個の異なる第2中間特徴量(複数の異なる特徴量A)と、N個の異なる第1中間特徴量に対する恒等変換又は線形変換等の変換結果(複数の異なる特徴量B)とを加算してもよい。これにより、入力信号の残差のモデル化が可能である。上記では、第2のニューラルネットワーク「gi」の入出力において残差のモデル化が1回実行される処理が、一例として説明された。これに限られず、例えば、第2のニューラルネットワーク「gi」が多層のニューラルネットワークである場合、予め定められた1以上の層間で、1回以上、残差のモデル化が実行されてもよい。また、複数特徴量生成部111又は統合処理装置115においてニューラルネットワークが用いられる場合、同様に、残差のモデル化が実行されてもよい。
図3は、第1実施形態における、残差のモデル化処理を実行するニューラルネットワークの第1例を示す図である。図3では、第2特徴量生成部114は、活性化関数層300と、畳み込み層301と、加算部302との組み合わせを備える。第2特徴量生成部114は、この組み合わせを、縦列に、複数備えてもよい。
活性化関数層300は、前段からの入力特徴量に対して、活性化処理を実行する。畳み込み層301は、活性化処理が実行された入力特徴量に対して、畳み込み処理を実行する。加算部302は、前段からの入力特徴量と、畳み込み処理が実行された入力特徴量とを加算する。
図4は、第1実施形態における、残差のモデル化処理を実行するニューラルネットワークの第2例を示す図である。図4では、第2特徴量生成部114は、活性化関数層300-1及び畳み込み層301-1と、活性化関数層300-2及び畳み込み層301-2と、加算部302との組み合わせを備える。第2特徴量生成部114は、この組み合わせを、縦列に、複数備えてもよい。
活性化関数層300-1は、前段からの入力特徴量に対して、活性化処理を実行する。畳み込み層301-1は、活性化関数層300-1によって活性化処理が実行された入力特徴量に対して、畳み込み処理を実行する。活性化関数層300-2は、畳み込み層301-1からの入力特徴量に対して、活性化処理を実行する。畳み込み層301-2は、活性化関数層300-2によって活性化処理が実行された入力特徴量に対して、畳み込み処理を実行する。加算部302は、前段からの入力特徴量と、畳み込み層301-2によって畳み込み処理が実行された入力特徴量とを加算する。
図2に戻り、信号生成装置11の構成例の説明を続ける。統合処理装置115(統合処理部)は、比較的軽量なニューラルネットワークを備える。比較的軽量なニューラルネットワークは、例えば、カーネルサイズの小さい一次元畳み込みニューラルネットワーク、畳み込み層の総数が少ない一次元畳み込みニューラルネットワーク、又は、畳み込み層のチャンネル方向の結合数が少ない一次元畳み込みニューラルネットワークである。
上記「処理B3」において、統合処理装置115は、N個の異なる第2中間特徴量「h2
i=gi(h1
i)」(各第2ニューラルネットワークの出力)を統合する。統合処理装置115は、N個の異なる第2中間特徴量に対する統合処理の結果を、出力特徴量「hout」として生成する。統合処理装置115は、出力特徴量「hout」を、後段に出力する。
統合処理「k」として、統合処理装置115は、N個の異なる第2中間特徴量を特徴量次元方向に結合した結果に対して、所定の変換処理を実行する。所定の変換処理は、例えば、恒等変換又は線形変換である。例えば、統合処理装置115は、N個の異なる第2中間特徴量(複数の異なる特徴量A)の結合結果に対して、比較的軽量なニューラルネットワークを用いて、所定の変換処理を実行する。
統合処理「k」として、統合処理装置115は、N個の異なる第2中間特徴量「h2
i」を加算処理装置102の加算処理と同様に加算することによって、出力特徴量「hout」を生成してもよい。
このように、上記「処理B1」において、信号生成装置11は、比較的軽量なN個の異なる第1ニューラルネットワーク「fi」を用いて、入力特徴量「hin」のバリエーションとして、N個の異なる第1中間特徴量「h1
i」を生成する。上記「処理B2」において、信号生成装置11は、N個の異なる第1中間特徴量「h1
i」に対して、少なくとも一部のパラメータを共有する第2ニューラルネットワーク「gi」を用いて、N個の異なる第2中間特徴量「h2
i=gi(h1
i)」を生成する。
このように、パラメータ共有部112における複数の第2特徴量生成部114がパラメータを共有することによって、機械学習モデルにおける第2ニューラルネットワークのパラメータの個数が増加することを抑制した上で、入力特徴量「hin」のバリエーションの増加により、入力信号の特徴量(入力特徴量)を機械学習モデルが表現する能力を向上させることが可能である。
次に、信号生成装置11の動作例を説明する。
図5は、実施形態における、信号生成システム1の動作例を示すフローチャートである。複数特徴量生成部111は、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を、前段からの入力特徴量に基づいて生成する(ステップS101)。
図5は、実施形態における、信号生成システム1の動作例を示すフローチャートである。複数特徴量生成部111は、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を、前段からの入力特徴量に基づいて生成する(ステップS101)。
パラメータ共有部112は、複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を、複数の異なる第1中間特徴量に基づいて生成する(ステップS102)。統合処理装置115は、複数の異なる第2中間特徴量を、出力特徴量として統合する(ステップS103)。
以上のように、複数特徴量生成部111は、複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量「h1
i」を、入力特徴量「hin」に基づいて生成する。パラメータ共有部112は、少なくとも一部のパラメータを共有する複数の第2ニューラルネットワーク「gi」を並列に用いて、複数の異なる第2中間特徴量「h2
i=gi(h1
i)」を、複数の異なる第1中間特徴量「h1
i」に基づいて生成する。統合処理装置115は、複数の異なる第2中間特徴量を、出力特徴量として統合する。統合処理装置115は、出力特徴量を後段に出力する。
これによって、機械学習モデルにおけるニューラルネットワークのパラメータの個数が増加することを抑制した上で、入力信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
(第1変形例)
第1変形例では、上記「処理B1」と上記「処理B2」とが任意の回数及び順番で実行されてから上記「処理B3」が実行される点が、第1実施形態との主な差分である。第1変形例では、第1実施形態との差分を中心に説明する。
第1変形例では、上記「処理B1」と上記「処理B2」とが任意の回数及び順番で実行されてから上記「処理B3」が実行される点が、第1実施形態との主な差分である。第1変形例では、第1実施形態との差分を中心に説明する。
上記の第1実施形態では、「処理B1」と「処理B2」とが、それぞれ1回だけ、この順番で実行されてから、「処理B3」が実行される。これに対して第1変形例では、「処理B1」と「処理B2」とが、任意の回数及び順番で実行されてから、「処理B3」が実行される。
「処理B1」と「処理B2」とが複数回実行される場合、各処理を実行するニューラルネットワークの個数「N」は、実行回ごとに異なってもよい。
「処理B2」において、パラメータの共有方法は、実行回ごとに異なってもよい。すなわち、第1ニューラルネットワーク「fi」のパラメータと第2ニューラルネットワーク「gi」のパラメータとは、実行回ごとに異なってもよい。
以上のように、各処理を実行するニューラルネットワークの個数「N」は、実行回ごとに異なる。また、第1ニューラルネットワーク「fi」のパラメータと第2ニューラルネットワーク「gi」のパラメータとは、実行回ごとに異なってもよい。
これによって、機械学習モデルにおけるニューラルネットワークのパラメータの個数が増加することを更に抑制した上で、入力信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
(第2変形例)
第2変形例では、パラメータを共有する1以上の第2特徴量生成部114に入力される第1中間特徴量のうちの少なくとも一部が1個のテンソルデータにまとめられ、第2特徴量生成部114に共有されたパラメータが一括で適用される点が、第1実施形態との主な差分である。第2変形例では、第1実施形態との差分を中心に説明する。
第2変形例では、パラメータを共有する1以上の第2特徴量生成部114に入力される第1中間特徴量のうちの少なくとも一部が1個のテンソルデータにまとめられ、第2特徴量生成部114に共有されたパラメータが一括で適用される点が、第1実施形態との主な差分である。第2変形例では、第1実施形態との差分を中心に説明する。
上記の第1実施形態では、上記「処理B2」において、複数の第2ニューラルネットワークによってパラメータが単に共有され、かつ、N個の第2ニューラルネットワークが「処理B2」に用いられた場合、「処理B2」の演算時間は、「N=1」個の第2ニューラルネットワークが「処理B2」に用いられた場合と比較して、N倍となる。
そこで第2変形例では、N個の第2特徴量生成部114のうちでパラメータを共有する1個以上の第2特徴量生成部114への入力となる異なる第1中間特徴量が、例えばパラメータ共有部112によって、1個のテンソルデータにまとめられる。上記異なる第1中間特徴量を、複数特徴量生成部111が1個のテンソルデータにまとめてもよい。まとめられたテンソルデータは、N個の第2特徴量生成部114(第2ニューラルネットワーク)のうちでパラメータを共有する1個以上の第2特徴量生成部114に入力されて、一括で処理される。
図6は、第1実施形態の第2変形例における、所定の同一段において全てのパラメータが共有される場合について、信号生成装置11の構成例を示す図である。図6では、第2特徴量生成部114-1(パラメータ共有箇所)は、第2特徴量生成部114-1の段と同一の段における他の第2特徴量生成部114(不図示)と、パラメータを予め共有する。第2特徴量生成部114-1は、N個の第1特徴量生成部113によって生成されたN個の異なる第1中間特徴量を、1個のテンソルデータにまとめる。第2特徴量生成部114-1は、テンソルデータに基づいて、N個の異なる第2中間特徴量を一括生成する。第2特徴量生成部114-1は、N個の異なる第2中間特徴量を、後段のN個の第2特徴量生成部114-2(不図示)、又は、統合処理装置115に出力する。
図7は、第1実施形態の第2変形例における、他の同一段において一部のパラメータが共有される場合について、信号生成装置11の構成例を示す図である。図7には、図2に例示されたパラメータ共有部112におけるN個の第2特徴量生成部114-1の各々がパラメータ非共有箇所とパラメータ共有箇所とに分離された上で、分離されたN個のパラメータ共有箇所がまとめられた結果が示されている。図7では、第2特徴量生成部114-1-1から第2特徴量生成部114-1-N’までの各々が、パラメータ非共有箇所である。また、N”個の第2特徴量生成部114-1-Sの各々が、パラメータ共有箇所である。ここで、「N”」は、1以上の整数であり、図7では一例として1である。
第2特徴量生成部114-1-Sは、N個の第1特徴量生成部113によって生成されたN個の異なる第1中間特徴量のうち、パラメータを第2特徴量生成部114-1-Sと共有する各第2特徴量生成部114-1の入力(第1中間特徴量)を、1個のテンソルデータにまとめる。第2特徴量生成部114-1-Sは、パラメータを第2特徴量生成部114-1-Sと共有する各第2特徴量生成部114-1の入力(第1中間特徴量)に応じたテンソルデータに基づいて、パラメータを第2特徴量生成部114-1-Sと共有する各第2特徴量生成部114-1の出力(第2中間特徴量)を、一括生成する。第2特徴量生成部114-1-Sは、パラメータを第2特徴量生成部114-1-Sと共有する各第2特徴量生成部114-1の出力(第2中間特徴量)を、後段の第2特徴量生成部114-2(不図示)、又は、統合処理装置115に出力する。
図8は、第1実施形態の第2変形例における、所定の同一段において全てのパラメータが共有され、他の同一段において一部のパラメータが共有される場合について、信号生成装置11の構成例を示す図である。図8では、第2特徴量生成部114-2は、第2特徴量生成部114-2の段と同一の段における他の第2特徴量生成部114-2(不図示)と、パラメータを予め共有する。また、第2特徴量生成部114-4は、第2特徴量生成部114-4の段と同一の段における他の第2特徴量生成部114-4(不図示)と、パラメータを予め共有する。
各第2特徴量生成部114-1は、第2特徴量生成部114-1の段と同一の段における他の第2特徴量生成部114-1と、パラメータを共有しなくてよい。例えば、第2特徴量生成部114-1-1は、第2特徴量生成部114-1-Nと、パラメータを共有しなくてよい。各第2特徴量生成部114-3は、第2特徴量生成部114-3の段と同一の段における他の第2特徴量生成部114-3と、パラメータを共有しなくてよい。例えば、第2特徴量生成部114-3-1は、第2特徴量生成部114-3-Nと、パラメータを共有しなくてよい。
N個の第2特徴量生成部114-1は、N個の第1特徴量生成部113によって生成されたN個の異なる第1中間特徴量に基づいて、N個の異なる第2中間特徴量を生成する。第2特徴量生成部114-2は、N個の第2特徴量生成部114-1によって生成されたN個の異なる第2中間特徴量を、1個のテンソルデータにまとめる。第2特徴量生成部114-2は、テンソルデータに基づいて、N個の異なる新たな第2中間特徴量を一括生成する。
第2特徴量生成部114-3は、N個の異なる新たな第2中間特徴量に基づいて、第2特徴量生成部114-1と同様に動作する。また、第2特徴量生成部114-2は、第2特徴量生成部114-4と同様に動作する。
なお、本実施形態に示された信号生成システムの構成は例示であり、信号生成システムの具体的な構成は、本実施形態に例示された構成に限定されない。例えば、第2特徴量生成部114は、任意の段及び個数の各パラメータ共有箇所について、それらのパラメータ共有箇所への入力となる第2中間特徴量を1個のテンソルデータにまとめて、テンソルデータに基づいて、新たな第2中間特徴量を一括生成してもよい。
以上のように、パラメータ共有部112は、複数の異なる第1中間特徴量のうちの少なくとも一部(パラメータを共有する第2特徴量生成部114に入力された複数の第1中間特徴量)を、1個のテンソルデータにまとめる。パラメータ共有部112は、複数の異なる第2中間特徴量のうちの少なくとも一部(パラメータを共有する第2特徴量生成部114の出力)を、テンソルデータに基づいて一括生成する。
これによって、テンソル演算に特化した演算装置(例えば、グラフィックス・プロセッシング・ユニット(GPU : Graphics Processing Unit))を用いて、テンソルデータに対する演算を一括実行することができるようになるので、N個の異なる第1中間特徴量に対する演算を逐次実行する場合と比較して、「処理B2」を高速実行することが可能である。
更に、N個の第2ニューラルネットワークでは、テンソル演算に特化した演算装置を用いて、「処理B2」の全体が一括実行されてもよい。これによって、「処理B2」を更に高速実行することが可能である。
(第3変形例)
第3変形例では、多次元信号の入力特徴量が信号生成装置11に入力される点が、第1実施形態との主な差分である。第3変形例では、第1実施形態との差分を中心に説明する。
第3変形例では、多次元信号の入力特徴量が信号生成装置11に入力される点が、第1実施形態との主な差分である。第3変形例では、第1実施形態との差分を中心に説明する。
静止画又は動画等の多次元信号(L次元信号)の入力特徴量が信号生成装置11に入力される場合、第1特徴量生成部113における軽量な第1ニューラルネットワークとして、例えば、カーネルサイズの小さいL次元畳み込みニューラルネットワーク、畳み込み層の総数の少ないL次元畳み込みニューラルネットワーク、又は、畳み込み層のチャンネル方向の結合数の少ないL次元畳み込みニューラルネットワークが用いられてもよい。また、統合処理装置115における軽量なニューラルネットワークとして、例えば、カーネルサイズの小さいL次元畳み込みニューラルネットワーク、畳み込み層の総数の少ないL次元畳み込みニューラルネットワーク、又は、畳み込み層のチャンネル方向の結合数の少ないL次元畳み込みニューラルネットワークが用いられてもよい。
ここで、L次元の「L」は、入力特徴量の次元数であり、例えば、生成データの次元数以下の値である。例えば、静止画データの多次元信号の入力特徴量が信号生成システム1に入力される場合、次元数「L」は、1又は2である。例えば、動画データの多次元信号の入力特徴量が信号生成システム1に入力される場合、次元数「L」は、1、2又は3である。
第2ニューラルネットワーク「gi」は、1以上の畳み込み層(例えば、L次元畳み込み層)、又は、1以上の活性化関数層(例えば、正規化線形ユニット層、又は、漏洩正規化線形ユニット層)等の各ユニット(各層)を、任意の順で有してもよい。また、各ニューラルネットワーク「gi」は、リカレントニューラルネットワーク、トランスフォーマーネットワーク、アテンションニューラルネットワーク、全結合ニューラルネットワーク、又は、これらの組み合わせを有してもよい。
(効果例)
次に、信号生成システム1aの効果例について説明する。
効果例を確認するための実験では、一例として、話者(女性)の音声の入力音声信号が、機械学習モデルの学習データとして用いられた。
次に、信号生成システム1aの効果例について説明する。
効果例を確認するための実験では、一例として、話者(女性)の音声の入力音声信号が、機械学習モデルの学習データとして用いられた。
入力音声信号の音声の時間長は、一例として、約24時間である。入力音声信号に対するサンプリング周波数は、一例として、22.05kHzである。入力音声信号に対して短時間フーリエ変換が実行された。この短時間フーリエ変換の高速フーリエ変換サイズ(FFTサイズ)は、一例として、1024である。この短時間フーリエ変換のシフト幅は、一例として、256である。この短時間フーリエ変換の窓幅は、一例として、1024である。
中間表現は、一例として、80次元の対数メルスペクトログラムである。対数メルスペクトログラムは、音声信号に対して短時間フーリエ変換が実行され、スケールが変換された結果として得られる。
効果例を確認するための実験では、目標音声信号(出力特徴量)を目標中間表現(入力特徴量)から生成する信号生成装置11群「G」が、機械学習の方法を用いて学習された。また、このような信号生成装置11群「G」の性能が評価された。
音声品質は、平均オピニオン評点(MOS : Mean Opinion Score)を用いて、主観評価された。平均オピニオン評点の段階は、5段階である。平均オピニオン評点が高いほど、音声品質は良い。ここで、評点「5」が最高点であり、評点「1」が最低点である。
処理速度の評点は、グラフィックス・プロセッシング・ユニット(GPU)の実行環境における、入力音声信号の音声の1倍速(基準速度)に対する相対値を表す。処理速度の評点が高いほど、信号生成システムの処理速度は速い。1よりも大きい評点は、入力音声信号(入力音声特徴量)の音声の1倍速(リアルタイム)よりも速く目標音声信号(出力音声特徴量)を生成することが可能であることを表す。
機械学習モデルにおけるニューラルネットワークのサイズ(モデルサイズ)の評点は、ニューラルネットワークのパラメータの個数を表す。サイズの評点が小さいほど、ニューラルネットワークのサイズは小さい。
以下、比較例における信号生成システムによる信号生成方法を、「ベースライン法」という。
以下、第1実施形態のように、複数の第2ニューラルネットワークによってパラメータが単に共有され、かつ、全ての第2ニューラルネットワークが「処理B2」に用いられる信号生成方法を、「第1生成方法」という。
以下、第1実施形態の第2変形例のように、全ての第2ニューラルネットワークの入力特徴量が1個のテンソルデータにまとめられ、1個のテンソルデータが全ての第2ニューラルネットワークに一括入力される信号生成方法を、「第2生成方法」という。
図9は、比較例(ベースライン法)と第1実施形態(第1生成方法)と第2変形例(第2生成方法)とにおける、信号生成システムの効果例(実験例の結果)を示す図である。第1生成方法による音声品質と第2生成方法による音声品質とは、ベースライン法による音声品質と同等である。第1生成方法による処理速度は、ベースライン法による処理速度と同等である。第2生成方法による処理速度は、ベースライン法による処理速度よりも速い。また、第1生成方法におけるパラメータの個数と第2生成方法におけるパラメータの個数とは、ベースライン法におけるパラメータの個数よりも少ない。つまり、ベースライン法の音声品質と第1生成方法の音声品質と第2生成方法の音声品質とは全て同等であり、第1生成方法のモデルサイズと第2生成方法のモデルサイズとのそれぞれは、ベースライン法のモデルサイズよりも小さい。また、第2生成方法の処理速度は、最も速い。
このように、第1生成方法及び第2生成方法では、パラメータの個数が増加することをベースライン法よりも抑制した上で、入力音声信号の特徴量を機械学習モデルが表現する能力を向上させ、ベースライン法と同等の音声品質を得ることが可能である。また、第2変形例のようにテンソルデータがまとめられることによって、処理速度を更に向上させることが可能である。
(第2実施形態)
第2実施形態では、各信号生成装置11が上記「処理A1」を実行する点が、第1実施形態との主な差分である。第2実施形態では、第1実施形態との差分を中心に説明する。
第2実施形態では、各信号生成装置11が上記「処理A1」を実行する点が、第1実施形態との主な差分である。第2実施形態では、第1実施形態との差分を中心に説明する。
図10は、第2実施形態における、信号生成システム1bの構成例を示すである。信号生成システム1bは、任意の入力信号に基づいて出力信号(目標信号)を生成するシステムである。信号生成システム1bは、出力生成装置200と、M個の信号生成装置11を、縦列に備える。なお、信号生成システム1bは、更に、1個以上の信号生成装置10を、信号生成装置11に対して縦列に備えてもよい。また、信号生成システム1bは、任意の1以上の箇所(例えば、所定の1以上の箇所における信号生成装置11の前段又は後段)において、信号生成装置10及び信号生成装置11以外の信号生成装置(例えば、ニューラルネットワーク、又は、信号処理関数)を1個以上備えてもよい。
第2実施形態では、信号生成システム1bは、入力信号に基づいて中間表現(目標中間表現)を明示的に推定し、推定された中間表現(目標中間表現)に基づいて出力信号(目標信号)を生成する。信号生成装置11-1は、上記「処理A1」において、入力信号に基づいて、出力特徴量を生成する。信号生成装置11-Mは、上記「処理A1」において、信号生成装置11-(M-1)からの入力特徴量に基づいて、中間表現(例えば、スペクトログラム等)を生成する。出力生成装置200は、上記「処理A2」において、信号生成装置11-Mによって生成された中間表現(信号生成装置11-Mの出力特徴量)に基づいて、出力信号を生成する。
これによって、機械学習モデルにおけるニューラルネットワークのパラメータの個数が増加することを抑制した上で、入力信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
(第3実施形態)
第3実施形態では、上記「処理A1」及び上記「処理A2」が一貫処理として実行される点が、第1実施形態及び第2実施形態との主な差分である。第3実施形態では、第1実施形態及び第2実施形態との差分を中心に説明する。
第3実施形態では、上記「処理A1」及び上記「処理A2」が一貫処理として実行される点が、第1実施形態及び第2実施形態との主な差分である。第3実施形態では、第1実施形態及び第2実施形態との差分を中心に説明する。
図11は、第3実施形態における、信号生成システム1cの構成例を示す図である。信号生成システム1cは、任意の入力信号に基づいて出力信号(目標信号)を生成するシステムである。信号生成システム1cは、M個の信号生成装置11を、縦列に備える。なお、信号生成システム1cは、更に、1個以上の信号生成装置10を、信号生成装置11に対して縦列に備えてもよい。また、信号生成システム1bは、任意の1以上の箇所(例えば、ある箇所の信号生成装置11の前段、又は、後段)において、信号生成装置10及び信号生成装置11以外の信号生成装置(例えば、ニューラルネットワーク、又は、信号処理関数)を1個以上備えてもよい。
第3実施形態では、信号生成システム1cは、入力信号に基づいて中間表現(目標中間表現)を明示的には推定せずに、入力信号に基づいて出力信号(目標信号)を生成する。信号生成装置11-1は、入力信号に基づいて、出力特徴量を生成する。信号生成装置11-Mは、信号生成装置11-(M-1)からの入力特徴量(信号生成装置11-(M-1)の出力特徴量)に基づいて、出力信号(信号生成装置11-Mの出力特徴量)を生成する。
これによって、機械学習モデルにおけるニューラルネットワークのパラメータの個数が増加することを抑制した上で、入力信号の特徴量を機械学習モデルが表現する能力を向上させることが可能である。
(ハードウェア構成例)
図12は、各実施形態における、信号生成システム1のハードウェア構成例を示す図である。信号生成システム1は、信号生成システム1aと、信号生成システム1bと、信号生成システム1cとのそれぞれに相当する。信号生成システム1の各機能部のうちの一部又は全部は、プロセッサ2を備える。CPU(Central Processing Unit)又はGPU等のプロセッサ2が、不揮発性の記録媒体(非一時的記録媒体)を有する記憶装置4とメモリ3とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な非一時的記録媒体に記録されてもよい。プログラムは、マルチスレッドプログラムでもよい。コンピュータ読み取り可能な非一時的記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク又はソリッド・ステート・ドライブ等の記憶装置などの非一時的記録媒体である。通信部5は、所定の通信処理を実行する。
図12は、各実施形態における、信号生成システム1のハードウェア構成例を示す図である。信号生成システム1は、信号生成システム1aと、信号生成システム1bと、信号生成システム1cとのそれぞれに相当する。信号生成システム1の各機能部のうちの一部又は全部は、プロセッサ2を備える。CPU(Central Processing Unit)又はGPU等のプロセッサ2が、不揮発性の記録媒体(非一時的記録媒体)を有する記憶装置4とメモリ3とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な非一時的記録媒体に記録されてもよい。プログラムは、マルチスレッドプログラムでもよい。コンピュータ読み取り可能な非一時的記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク又はソリッド・ステート・ドライブ等の記憶装置などの非一時的記録媒体である。通信部5は、所定の通信処理を実行する。
信号生成システム1の各機能部のうちの少なくとも一部は、アナログ回路又はデジタル回路でもよい。信号生成システム1の各機能部のうちの少なくとも一部は、例えば、LSI(Large Scale Integrated circuit)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)又はFPGA(Field Programmable Gate Array)等を用いた電子回路(electronic circuit又はcircuitry)を含むハードウェアを用いて実現されてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、目標信号を入力信号から生成するシステムに適用可能である。
1,1a,1b,1c…信号生成システム、2…プロセッサ、3…メモリ、4…記憶装置、5…通信部、10…信号生成装置、11…信号生成装置、100…表現生成装置、101…中間特徴量生成部、102…加算処理装置、111…複数特徴量生成部、112…パラメータ共有部、113…第1特徴量生成部、114…第2特徴量生成部、115…統合処理装置、200…出力生成装置、300…活性化関数層、301…畳み込み層、302…加算部
Claims (6)
- 複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する複数特徴量生成部と、
少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成するパラメータ共有部と、
前記複数の異なる第2中間特徴量を出力特徴量として統合する統合処理部と
を備える信号生成装置。 - 前記パラメータ共有部は、前記複数の異なる第1中間特徴量のうちの少なくとも一部をテンソルデータにまとめ、前記複数の異なる第2中間特徴量のうちの少なくとも一部を前記テンソルデータに基づいて一括生成する、請求項1に記載の信号生成装置。
- 前記複数の異なる第1ニューラルネットワークのうちの第1ニューラルネットワークのモデルサイズは、前記複数の第2ニューラルネットワークのうちの第2ニューラルネットワークのモデルサイズよりも小さい、請求項1に記載の信号生成装置。
- 1以上の信号生成装置を備える信号生成システムであって、
前記信号生成装置は、
複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する複数特徴量生成部と、
少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを並列に用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成するパラメータ共有部と、
前記複数の異なる第2中間特徴量を出力特徴量として統合する統合処理部と
を備える信号生成システム。 - 信号生成装置が実行する信号生成方法であって、
複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成するステップと、
少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成するステップと、
前記複数の異なる第2中間特徴量を出力特徴量として統合するステップと
を含む信号生成方法。 - コンピュータに、
複数の異なる第1ニューラルネットワークを並列に用いて、複数の異なる第1中間特徴量を入力特徴量に基づいて生成する手順と、
少なくとも一部のパラメータを共有する複数の第2ニューラルネットワークを用いて、複数の異なる第2中間特徴量を前記複数の異なる第1中間特徴量に基づいて生成する手順と、
前記複数の異なる第2中間特徴量を出力特徴量として統合する手順と
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/033402 WO2024052987A1 (ja) | 2022-09-06 | 2022-09-06 | 信号生成装置、信号生成システム、信号生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/033402 WO2024052987A1 (ja) | 2022-09-06 | 2022-09-06 | 信号生成装置、信号生成システム、信号生成方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024052987A1 true WO2024052987A1 (ja) | 2024-03-14 |
Family
ID=90192402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/033402 WO2024052987A1 (ja) | 2022-09-06 | 2022-09-06 | 信号生成装置、信号生成システム、信号生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024052987A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783934A (zh) * | 2020-05-15 | 2020-10-16 | 北京迈格威科技有限公司 | 卷积神经网络构建方法、装置、设备及介质 |
KR20220016402A (ko) * | 2020-07-31 | 2022-02-09 | 동국대학교 산학협력단 | 복수의 배율에 따라 크기 변환된 영상으로 학습된 병렬 심층 신경망 장치 및 방법 |
-
2022
- 2022-09-06 WO PCT/JP2022/033402 patent/WO2024052987A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783934A (zh) * | 2020-05-15 | 2020-10-16 | 北京迈格威科技有限公司 | 卷积神经网络构建方法、装置、设备及介质 |
KR20220016402A (ko) * | 2020-07-31 | 2022-02-09 | 동국대학교 산학협력단 | 복수의 배율에 따라 크기 변환된 영상으로 학습된 병렬 심층 신경망 장치 및 방법 |
Non-Patent Citations (1)
Title |
---|
LI YANGHAO; CHEN YUNTAO; WANG NAIYAN; ZHANG ZHAO-XIANG: "Scale-Aware Trident Networks for Object Detection", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 27 October 2019 (2019-10-27), pages 6053 - 6062, XP033723890, DOI: 10.1109/ICCV.2019.00615 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yen et al. | Cold diffusion for speech enhancement | |
US9824683B2 (en) | Data augmentation method based on stochastic feature mapping for automatic speech recognition | |
WO2019163849A1 (ja) | 音声変換学習装置、音声変換装置、方法、及びプログラム | |
WO2017218465A1 (en) | Neural network-based voiceprint information extraction method and apparatus | |
US11741343B2 (en) | Source separation method, apparatus, and non-transitory computer-readable medium | |
JP7274184B2 (ja) | 話者適応型モデルを実現して合成音声信号を生成するニューラルボコーダおよびニューラルボコーダの訓練方法 | |
Nguyen et al. | Nvc-net: End-to-end adversarial voice conversion | |
JP6987378B2 (ja) | ニューラルネットワークの学習方法及びコンピュータプログラム | |
CN112634920A (zh) | 基于域分离的语音转换模型的训练方法及装置 | |
WO2019240228A1 (ja) | 音声変換学習装置、音声変換装置、方法、及びプログラム | |
JP7388495B2 (ja) | データ変換学習装置、データ変換装置、方法、及びプログラム | |
WO2020045313A1 (ja) | マスク推定装置、マスク推定方法及びマスク推定プログラム | |
JP7176627B2 (ja) | 信号抽出システム、信号抽出学習方法および信号抽出学習プログラム | |
US20220157329A1 (en) | Method of converting voice feature of voice | |
JP6872197B2 (ja) | 音響信号生成モデル学習装置、音響信号生成装置、方法、及びプログラム | |
WO2019138897A1 (ja) | 学習装置および方法、並びにプログラム | |
JP2020071482A (ja) | 語音分離方法、語音分離モデル訓練方法及びコンピュータ可読媒体 | |
JP7326033B2 (ja) | 話者認識装置、話者認識方法、及び、プログラム | |
WO2024052987A1 (ja) | 信号生成装置、信号生成システム、信号生成方法及びプログラム | |
WO2023152895A1 (ja) | 波形信号生成システム、波形信号生成方法及びプログラム | |
JP6636973B2 (ja) | マスク推定装置、マスク推定方法およびマスク推定プログラム | |
US20230162725A1 (en) | High fidelity audio super resolution | |
CN115798453A (zh) | 语音重建方法、装置、计算机设备和存储介质 | |
CN114822497A (zh) | 语音合成模型的训练及语音合成方法、装置、设备和介质 | |
Chakravarty et al. | A lightweight feature extraction technique for deepfake audio detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22958066 Country of ref document: EP Kind code of ref document: A1 |