WO2021060493A1 - 情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置 - Google Patents

情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置 Download PDF

Info

Publication number
WO2021060493A1
WO2021060493A1 PCT/JP2020/036355 JP2020036355W WO2021060493A1 WO 2021060493 A1 WO2021060493 A1 WO 2021060493A1 JP 2020036355 W JP2020036355 W JP 2020036355W WO 2021060493 A1 WO2021060493 A1 WO 2021060493A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
control data
sound
estimation model
time series
Prior art date
Application number
PCT/JP2020/036355
Other languages
English (en)
French (fr)
Inventor
竜之介 大道
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to CN202080064952.3A priority Critical patent/CN114402382A/zh
Publication of WO2021060493A1 publication Critical patent/WO2021060493A1/ja
Priority to US17/698,601 priority patent/US11875777B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G10L13/0335—Pitch control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G10H7/006—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof using two or more algorithms of different types to generate tones, e.g. according to tone color or to processor workload
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments or also rapid repetition of the same note onset
    • G10H2210/165—Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Definitions

  • the present disclosure relates to a technique for generating a time series of features related to sounds such as voice or musical tones.
  • Non-Patent Document 1 discloses a technique for generating a time series of pitches in a synthetic sound by a neural network.
  • An estimation model for estimating the pitch is constructed by machine learning using a plurality of training data including a time series of the pitch.
  • the time series of pitch in each of the plurality of training data includes a dynamic component that fluctuates with time (hereinafter referred to as "time fluctuating component").
  • time fluctuating component a dynamic component that fluctuates with time
  • a time series of pitches in which the time fluctuation component is suppressed tends to be generated. Therefore, there is a limit in generating a high-quality synthetic sound that sufficiently contains a time-varying component.
  • attention was paid to the case of generating a time series of pitches but the same problem is assumed in the scene of generating a time series of features other than pitches.
  • one aspect of the present disclosure is to generate a high-quality synthetic sound in which the time series of the feature amount appropriately contains a time-varying component.
  • the information processing method is synthesized using a first estimation model trained to output a time variation component based on the first control data. Trained to process the first control data of the target synthetic sound to be generated, generate the time-variable component of the target synthetic sound, and output the time series of the feature amount based on the second control data and the time-variable component. Using the second estimation model, the second control data of the target synthetic sound and the time-varying component of the target synthetic sound are processed to generate a time series of the feature amount of the target synthetic sound.
  • a time series of feature quantities for training and a time series of time-varying components for training are generated from a reference signal indicating the recorded sound, and the time series of the time-variable components for training are recorded.
  • the first control data for training corresponding to the sound and the time series of the time-varying component for training the first control data of the target synthetic sound to be synthesized is processed and the time of the target synthetic sound is processed.
  • a first estimation model that outputs fluctuation components is constructed by machine learning, and the second control data for training corresponding to the recorded sound, the time series of time fluctuation components for training, and the time of feature quantities for training Using the sequence, a second estimation model that processes the second control data of the target synthetic sound and the time-varying component of the target synthetic sound and outputs a time series of the feature amount of the target synthetic sound is constructed by machine learning. To do.
  • the information processing apparatus uses a first estimation model trained to output a time variation component based on the first control data, and first controls the target synthetic sound to be synthesized. Based on the data, the first generator that generates the time-varying component of the target synthetic sound, and the second estimation model trained to output the time series of the feature amount based on the second control data and the time-varying component. Is provided with a second generation unit that generates a time series of feature quantities of the target synthetic sound based on the second control data of the target synthetic sound and the time-varying component of the target synthetic sound.
  • the estimation model construction device includes a generation unit that generates a time series of feature quantities for training and a time series of time-varying components for training from a reference signal indicating a recorded sound, and the recording unit.
  • the time of the target synthetic sound based on the first control data of the target synthetic sound to be synthesized by using the first control data for training corresponding to the sound and the time series of the time-varying component for the training.
  • the first training unit that builds the first estimation model that outputs the fluctuation component by machine learning, the second control data for training corresponding to the recorded sound, the time series of the time fluctuation component for training, and the training Using the time series of the feature amount of the target synthetic sound, a second estimation model that outputs the time series of the feature amount of the target synthetic sound based on the second control data of the target synthetic sound and the time variation component of the target synthetic sound is obtained. It is equipped with a second training unit constructed by machine learning.
  • FIG. 1 is a block diagram illustrating the configuration of the sound synthesizer 100 according to the first embodiment of the present disclosure.
  • the sound synthesizer 100 is an information processing device that generates an arbitrary sound (hereinafter referred to as “target sound”) that is a target of synthesis.
  • the target sound is, for example, a singing sound that is produced when the singer virtually sings the music, or a musical sound that is produced when the performer virtually plays the music with an instrument.
  • the target sound is an example of "sound to be synthesized”.
  • the sound synthesizer 100 is realized by a computer system including a control device 11, a storage device 12, and a sound emitting device 13.
  • a control device 11 for example, an information terminal such as a mobile phone, a smartphone, or a personal computer is used as the sound synthesizer 100.
  • the sound synthesizer 100 may be realized by a set (that is, a system) of a plurality of devices configured as separate bodies from each other.
  • the control device 11 is composed of a single or a plurality of processors that control each element of the sound synthesizer 100.
  • the control device 11 is one or more types such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or an ASIC (Application Specific Integrated Circuit). It consists of a processor.
  • the control device 11 generates an acoustic signal V in the time domain representing the waveform of the target sound.
  • the sound emitting device 13 emits a target sound represented by the acoustic signal V generated by the control device 11.
  • the sound emitting device 13 is, for example, a speaker or headphones.
  • the D / A converter that converts the acoustic signal V from digital to analog and the amplifier that amplifies the acoustic signal V are not shown for convenience. Further, in FIG. 1, a configuration in which the sound emitting device 13 is mounted on the sound synthesizer 100 is illustrated, but the sound emitting device 13 separate from the sound synthesizer 100 is connected to the sound synthesizer 100 by wire or wirelessly. May be good.
  • the storage device 12 includes a program executed by the control device 11 (for example, a sound synthesis program G1 and a machine learning program G2) and various data used by the control device 11 (for example, music data D and reference data).
  • Q One or more memories that store and.
  • the storage device 12 is composed of a known recording medium such as a magnetic recording medium or a semiconductor recording medium.
  • the storage device 12 may be configured by combining a plurality of types of recording media.
  • a portable recording medium that can be attached to and detached from the sound synthesizer 100, or an external recording medium (for example, online storage) that the sound synthesizer 100 can communicate with may be used as the storage device 12.
  • the music data D specifies a time series (that is, a musical score) of the notes that make up the music.
  • the music data D is time-series data for designating a pitch and a sounding period for each sounding unit.
  • the pronunciation unit is, for example, one note. However, one note may be divided into a plurality of pronunciation units.
  • a phoneme for example, a phonetic character
  • A1 Synthesis processing unit 20
  • the control device 11 functions as the synthesis processing unit 20 of FIG. 3 by executing the sound synthesis program G1.
  • the synthesis processing unit 20 generates an acoustic signal V corresponding to the music data D.
  • the synthesis processing unit 20 includes a first generation unit 21, a second generation unit 22, a third generation unit 23, a control data generation unit 24, and a signal synthesis unit 25.
  • the control data generation unit 24 generates the first control data C1, the second control data C2, and the third control data C3 from the music data D.
  • Each control data C (C1, C2, C3) is data that specifies conditions related to the target sound.
  • the control data generation unit 24 generates each control data C for each unit period (for example, a frame having a predetermined length) on the time axis.
  • the control data C for each unit period specifies, for example, the relationship between the pitch of the notes in the unit period, the start or end of the pronunciation period, and the notes that are in phase with each other (for example, the context of the pitch difference).
  • the control data generation unit 24 is composed of an estimation model such as a deep neural network in which the relationship between the music data D and each control data C is learned by machine learning.
  • the first generation unit 21 generates the time-varying component X according to the first control data C1.
  • the time-varying component X is sequentially generated for each unit period. That is, the first generation unit 21 generates a time series of the time fluctuation component X from the time series of the first control data C1.
  • the first control data C1 is also paraphrased as data that specifies the condition of the time fluctuation component X.
  • the time-varying component X is a dynamic component that fluctuates with time in the time series of the pitch (fundamental frequency) Y of the target sound. Assuming a stationary component whose temporal fluctuation is slow in the time series of pitch Y, a dynamic component other than the stationary component corresponds to the time fluctuation component X.
  • the time-varying component X is a high-frequency component that exceeds a predetermined frequency in the time series of pitch Y.
  • the first generation unit 21 may generate a temporal differential value with respect to the time series of pitch Y as a time fluctuation component X.
  • the time series of the time fluctuation component X includes both fluctuations as a musical expression such as vibrato and fluctuations (fluctuation components) that are stochastically generated in a singing voice or a musical tone.
  • the first estimation model M1 is used to generate the time-varying component X by the first generation unit 21.
  • the first estimation model M1 is a statistical model that outputs the time fluctuation component X by inputting the first control data C1. That is, the first estimation model M1 is a trained model in which the relationship between the first control data C1 and the time fluctuation component X is well learned.
  • the first estimation model M1 is composed of, for example, a deep neural network.
  • the first estimation model M1 is a recurrent neural network (RNN:) in which the time-varying component X generated for each unit period is regressed to the input layer for the generation of the time-varying component X in the immediately following unit period.
  • RNN recurrent neural network
  • any kind of neural network such as a convolutional neural network (CNN) may be used as the first estimation model M1.
  • CNN convolutional neural network
  • the first estimation model M1 may include additional elements such as long short-term memory (LSTM).
  • the output stage of the first estimation model M1 is provided with an output layer that defines the probability distribution of the time-variable component X and an extraction unit that generates (samples) a random number that follows the probability distribution as the time-variable component X. ..
  • the first estimation model M1 includes an artificial intelligence program A1 that causes the control device 11 to execute an operation for generating a time variation component X from the first control data C1, and a plurality of variables W1 (specifically, weighting) applied to the operation. It is realized in combination with the value and bias).
  • the artificial intelligence program A1 and the plurality of variables W1 are stored in the storage device 12. Each numerical value of the plurality of variables W1 is set by machine learning.
  • the second generation unit 22 generates a pitch Y corresponding to the second control data C2 and the time fluctuation component X.
  • Pitch Y is sequentially generated for each unit period. That is, the second generation unit 22 generates a time series of pitch Y from the time series of the second control data C2 and the time series of the time fluctuation component X.
  • the time series of pitch Y is a pitch curve including a time-varying component X that dynamically fluctuates on the time axis and a steady-state component that fluctuates slowly with time as compared with the time-varying component X.
  • the second control data C2 is also paraphrased as data that specifies the condition of pitch Y.
  • the second estimation model M2 is used to generate the pitch Y by the second generation unit 22.
  • the second estimation model M2 is a statistical model that outputs the pitch Y by inputting the second control data C2 and the time fluctuation component X. That is, the second estimation model M2 is a trained model in which the relationship between the combination of the second control data C2 and the time fluctuation component X and the pitch Y is well learned.
  • the second estimation model M2 is composed of, for example, a deep neural network. Specifically, the second estimation model M2 is composed of any kind of neural network such as a convolutional neural network or a recurrent neural network. The second estimation model M2 may include additional elements such as long short-term memory.
  • the output stage of the second estimation model M2 is provided with an output layer that defines a probability distribution of pitch Y and an extraction unit that generates (samples) random numbers according to the probability distribution as pitch Y.
  • the second estimation model M2 includes an artificial intelligence program A2 that causes the control device 11 to execute an operation for generating a pitch Y from the second control data C2 and the time fluctuation component X, and a plurality of variables W2 (2) applied to the operation. Specifically, it is realized in combination with a weighted value and a bias).
  • the artificial intelligence program A2 and the plurality of variables W2 are stored in the storage device 12. Each numerical value of the plurality of variables W2 is set by machine learning.
  • the third generation unit 23 generates the frequency characteristic Z corresponding to the third control data C3 and the pitch Y.
  • the frequency characteristic Z is sequentially generated for each unit period. That is, the third generation unit 23 generates a time series of the frequency characteristic Z from the time series of the third control data C3 and the time series of the pitch Y.
  • the frequency characteristic Z in the first embodiment is, for example, an amplitude spectrum of a target sound.
  • the third control data C3 is also paraphrased as data that specifies the condition of the frequency characteristic Z.
  • the third estimation model M3 is used to generate the frequency characteristic Z by the third generation unit 23.
  • the third estimation model M3 is a statistical model that generates the frequency characteristic Z according to the third control data C3 and the pitch Y. That is, the third estimation model M3 is a trained model in which the relationship between the combination of the third control data C3 and the pitch Y and the frequency characteristic Z is well learned.
  • the third estimation model M3 is composed of, for example, a deep neural network. Specifically, the third estimation model M3 is composed of any kind of neural network such as a convolutional neural network or a recurrent neural network. The third estimation model M3 may include additional elements such as long short-term memory. In the output stage of the third estimation model M3, an output layer that defines the probability distribution of each component (frequency bin) representing the frequency characteristic Z and an extraction that generates (samples) a random number according to the probability distribution as the frequency characteristic Z. The department is installed.
  • the third estimation model M3 includes an artificial intelligence program A3 that causes the control device 11 to execute an operation for generating the frequency characteristic Z from the third control data C3 and the pitch Y, and a plurality of variables W3 (specifically) applied to the operation. It is realized in combination with a weighted value and a bias).
  • the artificial intelligence program A3 and the plurality of variables W3 are stored in the storage device 12. Each numerical value of the plurality of variables W3 is set by machine learning.
  • the signal synthesis unit 25 generates the acoustic signal V from the time series of the frequency characteristic Z generated by the third generation unit 23. Specifically, the signal synthesis unit 25 converts the frequency characteristic Z into a time waveform by an operation including, for example, a discrete inverse Fourier transform, and generates an acoustic signal V by connecting the time waveforms over a plurality of unit periods. The acoustic signal V is supplied to the sound emitting device 13.
  • the signal synthesizing unit 25 may include a so-called neural vocoder in which the potential relationship between the time series of the frequency characteristic Z and the acoustic signal V is well learned by machine learning. The signal synthesizing unit 25 uses a neural vocoder to process the time series of the supplied frequency characteristic Z to generate the acoustic signal V.
  • FIG. 4 is a flowchart illustrating a specific procedure of the process (hereinafter referred to as “synthesis process”) Sa in which the control device 11 (synthesis processing unit 20) generates the acoustic signal V.
  • the synthesis process Sa is started when the user gives an instruction to the sound synthesizer 100.
  • the synthesis process Sa is executed every unit period.
  • the control data generation unit 24 generates control data C (C1, C2, C3) from the music data D (Sa1).
  • the first generation unit 21 generates the time fluctuation component X by processing the first control data C1 using the first estimation model M1 (Sa2).
  • the second generation unit 22 generates a pitch Y by processing the second control data C2 and the time fluctuation component X using the second estimation model M2 (Sa3).
  • the third generation unit 23 generates the frequency characteristic Z by processing the third control data C3 and the pitch Y using the third estimation model M3 (Sa4).
  • the signal synthesis unit 25 generates an acoustic signal V from the frequency characteristic Z (Sa5).
  • the first estimation model M1 generates the time variation component X corresponding to the first control data C1
  • the second estimation model M2 generates the second control data C2 and the time variation component.
  • a pitch Y corresponding to X is generated. Therefore, it is compared with the configuration (hereinafter referred to as "inverse proportion") in which the pitch Y corresponding to the control data is generated by using a single estimation model that learns the relationship between the control data that specifies the target sound and the pitch Y. Therefore, it is possible to generate a time series of pitch Y containing abundant time-varying component X. According to the above configuration, it is possible to generate a target sound containing abundant time-varying component X that is audibly natural.
  • A2 Learning processing unit 30
  • the control device 11 functions as the learning processing unit 30 of FIG. 5 by executing the machine learning program G2.
  • the learning processing unit 30 constructs the first estimation model M1, the second estimation model M2, and the third estimation model M3 by machine learning.
  • the learning processing unit 30 includes the numerical values of the plurality of variables W1 in the first estimation model M1, the numerical values of the plurality of variables W2 in the second estimation model M2, and the plurality of values in the third estimation model M3. Set each numerical value of the variable W3 of.
  • the storage device 12 stores a plurality of reference data Qs.
  • Each of the plurality of reference data Qs is data in which the music data D and the reference signal R correspond to each other.
  • the music data D specifies a time series of notes constituting the music.
  • the reference signal R of each reference data Q represents the waveform of the sound produced by singing or playing the music represented by the music data D of the reference data Q.
  • a voice sung by a specific singer or a musical sound played by a specific performer is recorded in advance, and a reference signal R representing the voice or the musical sound is stored in the storage device 12 together with the music data D.
  • the reference signal R may be generated from the voices of a large number of singers or the musical sounds of a large number of performers.
  • the learning processing unit 30 includes a first training unit 31, a second training unit 32, a third training unit 33, and a training data preparation unit 34.
  • the training data preparation unit 34 prepares a plurality of first training data T1, a plurality of second training data T2, and a plurality of third training data T3.
  • Each of the plurality of first training data T1 is known data in which the first control data C1 and the time variation component X are associated with each other.
  • Each of the plurality of second training data T2 is known data in which the combination of the second control data C2 and the time variation component Xa and the pitch Y correspond to each other.
  • the time-varying component Xa is a component in which a noise component is added to the time-varying component X.
  • Each of the plurality of third training data T3 is known data in which the combination of the third control data C3 and the pitch Y and the frequency characteristic Z correspond to each other.
  • the training data preparation unit 34 includes a control data generation unit 341, a frequency analysis unit 342, a fluctuation extraction unit 343, and a noise addition unit 344.
  • the control data generation unit 341 generates control data C (C1, C2, C3) for each unit period from the music data D of each reference data Q.
  • the configuration and operation of the control data generation unit 341 are the same as those of the control data generation unit 24 described above.
  • the frequency analysis unit 342 generates a pitch Y and a frequency characteristic Z from the reference signal R of each reference data Q.
  • a pitch Y and a frequency characteristic Z are generated for each unit period. That is, the frequency analysis unit 342 generates a time series of the pitch Y of the reference signal R and a time series of the frequency characteristic Z.
  • a known analysis technique such as a discrete Fourier transform is arbitrarily adopted for generating the pitch Y and the frequency characteristic Z of the reference signal R.
  • the fluctuation extraction unit 343 generates a time fluctuation component X from the pitch Y.
  • a time-varying component X is generated for each unit period. That is, the fluctuation extraction unit 343 generates a time series of the time fluctuation component X from the time series of the pitch Y. Specifically, the fluctuation extraction unit 343 calculates the differential value of the pitch Y in the time series as the time fluctuation component X.
  • a filter high frequency passing filter
  • a filter that extracts a high frequency component exceeding a predetermined frequency as a time fluctuation component X may be adopted as the fluctuation extraction unit 343.
  • the noise addition unit 344 generates the time fluctuation component Xa by adding the noise component to the time series of the time fluctuation component X. Specifically, the noise addition unit 344 assigns a random number that follows a predetermined probability distribution such as a normal distribution to the time series of the time fluctuation component X as a noise component. In the configuration in which the noise component is not added to the time series of the time fluctuation component X, the time fluctuation component X that excessively reflects the fluctuation component of the pitch Y in each reference signal R tends to be estimated by the first estimation model M1. There is.
  • the noise component is added to the time variation component X (that is, regularization)
  • the time variation component X that appropriately reflects the tendency of the variation component of the pitch Y in the reference signal R is first estimated.
  • the noise addition unit 344 may be omitted.
  • the first training data T1 in which the first control data C1 and the time fluctuation component X (correct answer value) correspond to each other is supplied to the first training unit 31.
  • the second training data T2 in which the combination of the second control data C2 and the time fluctuation component X and the pitch Y (correct answer value) correspond to each other is supplied to the second training unit 32.
  • the third training data T3 corresponding to the combination of the third control data C3 and the pitch Y and the frequency characteristic Z (correct answer value) is supplied to the third training unit 33.
  • the first training unit 31 constructs the first estimation model M1 by supervised machine learning using a plurality of first training data T1s. Specifically, the first training unit 31 has a time-variable component X generated by the provisional first estimation model M1 when the first control data C1 of each first training data T1 is supplied, and the first training. The update of the plurality of variables W1 with respect to the first estimation model M1 is repeated so that the error of the data T1 with the time variation component X is reduced. Therefore, the first estimation model M1 learns the latent relationship between the first control data C1 and the time variation component X in the plurality of first training data T1s. That is, the first estimation model M1 after training by the first training unit 31 outputs a statistically valid time variation component X under the relationship with respect to the unknown first control data C1.
  • the second training unit 32 constructs the second estimation model M2 by supervised machine learning using a plurality of second training data T2. Specifically, the second training unit 32 has a pitch Y generated by the provisional second estimation model M2 when the second control data C2 of each second training data T2 and the time fluctuation component X are supplied. The update of a plurality of variables W2 with respect to the second estimation model M2 is repeated so that the error of the second training data T2 from the pitch Y is reduced. Therefore, the second estimation model M2 learns the latent relationship between the combination of the second control data C2 and the time variation component X in the plurality of second training data T2 and the pitch Y. That is, the second estimation model M2 after training by the second training unit 32 obtains a statistically valid pitch Y under the relationship with respect to the combination of the unknown second control data C2 and the time fluctuation component X. Output.
  • the third training unit 33 constructs the third estimation model M3 by supervised machine learning using a plurality of third training data T3. Specifically, the third training unit 33 has the frequency characteristic Z generated by the provisional third estimation model M3 when the third control data C3 and the pitch Y of each third training data T3 are supplied, and the corresponding frequency characteristic Z. The update of the plurality of variables W3 with respect to the third estimation model M3 is repeated so that the error of the third training data T3 with the frequency characteristic Z is reduced. Therefore, the third estimation model M3 learns the latent relationship between the combination of the third control data C3 and the pitch Y in the plurality of third training data T3 and the frequency characteristic Z. That is, the third estimation model M3 after training by the third training unit 33 outputs a statistically valid frequency characteristic Z under the relation to the unknown combination of the third control data C3 and the pitch Y. To do.
  • FIG. 6 is a flowchart illustrating a specific procedure of a process (hereinafter referred to as “learning process”) Sb in which the control device 11 (learning process unit 30) trains the estimation model M (M1, M2, M3).
  • learning process Sb is started when the user gives an instruction to the sound synthesizer 100.
  • the learning process Sb is executed every unit period.
  • the training data preparation unit 34 generates the first training data T1, the second training data T2, and the third training data T3 from the reference data Q (Sb1). Specifically, the control data generation unit 341 generates the first control data C1, the second control data C2, and the third control data C3 from the music data D (Sb11).
  • the frequency analysis unit 342 generates a pitch Y and a frequency characteristic Z from the reference signal R (Sb12).
  • the variation extraction unit 343 generates a time variation component X from a time series of pitch Y (Sb13).
  • the noise imparting unit 344 generates the time fluctuation component Xa by adding the noise component to the time fluctuation component X (Sb14).
  • the first training data T1, the second training data T2, and the third training data T3 are generated.
  • the order of the generation of each control data C (Sb11) and the processing related to the reference signal R (Sb12-Sb14) may be reversed.
  • the first training unit 31 updates a plurality of variables W1 of the first estimation model M1 by machine learning using the first training data T1 (Sb2).
  • the second training unit 32 updates a plurality of variables W2 of the second estimation model M2 by machine learning using the second training data T2 (Sb3).
  • the third training unit 33 updates a plurality of variables W3 of the third estimation model M3 by machine learning using the third training data T3 (Sb4).
  • the control data and the pitch Y of the reference signal R are made to correspond.
  • the estimation model is constructed by machine learning using training data. Since the phases of the fluctuating components in each reference signal R are different, in inverse proportion, the pitch Y in which the fluctuating components are averaged over the plurality of reference signals R is learned. Therefore, for example, the pitch Y tends to change steadily within the sounding period of one note.
  • inverse proportion it is difficult to generate a target sound rich in a musical expression such as vibrato or a dynamically fluctuating component such as a stochastic fluctuation component.
  • the first estimation model M1 is constructed by the first training data T1 including the first control data C1 and the time variation component X
  • the second estimation model M2 is constructed by the second training data T2 including the combination of the data C2 and the time variation component X and the pitch Y.
  • FIG. 7 is a block diagram illustrating the configuration of the synthesis processing unit 20 in the second embodiment.
  • the time series of the pitch Y generated by the second generation unit 22 is supplied to the signal synthesis unit 25.
  • the frequency characteristic Z in the second embodiment is an amplitude spectrum envelope representing an outline of the amplitude spectrum. Amplitude spectrum entrainment is represented, for example, by the mel spectrum or mel cepstrum.
  • the signal synthesis unit 25 generates the acoustic signal V from the time series of the frequency characteristic Z and the time series of the pitch Y.
  • the signal synthesis unit 25 first generates a spectrum of a wave-tuning structure including a fundamental component corresponding to pitch Y and a plurality of overtone components. Secondly, the signal synthesizer 25 adjusts the intensity of the peaks of the fundamental component and each harmonic component of the spectrum so as to match the spectral envelope represented by the frequency characteristic Z. Third, the signal synthesis unit 25 converts the adjusted spectrum into a time waveform, and generates an acoustic signal V by connecting the time waveforms over a plurality of unit periods.
  • the signal synthesizing unit 25 may include a so-called neural vocoder that has acquired the potential relationship between the time series of the frequency characteristic Z and the time series of the pitch Y and the acoustic signal V by machine learning. ..
  • the signal synthesizing unit 25 uses a neural vocoder to process the supplied time series of pitch Y and the amplitude spectrum wrapping to generate an acoustic signal V.
  • the configuration and operation related to the elements other than the signal synthesizer 25 are the same as those in the first embodiment. Therefore, the same effect as that of the first embodiment is realized in the second embodiment.
  • FIG. 8 is a block diagram illustrating the configuration of the synthesis processing unit 20 in the third embodiment.
  • the third generation unit 23 and the signal synthesis unit 25 of the first embodiment are replaced with the sound source unit 26.
  • the sound source unit 26 is a sound source that generates an acoustic signal V corresponding to the third control data C3 and the pitch Y.
  • Various sound source parameters P applied by the sound source unit 26 to generate the acoustic signal V are stored in the storage device 12.
  • the sound source unit 26 generates an acoustic signal V corresponding to the third control data C3 and the pitch Y by the sound source processing to which the sound source parameter P is applied.
  • various sound sources such as FM (Frequency Modulation) sound sources are used as the sound source unit 26.
  • the sound source described in US Pat. No. 7,626,113 or US Pat. No. 4,218,624 is used as the sound source unit 26.
  • the sound source unit 26 is realized not only by the control device 11 executing the program, but also by an electronic circuit dedicated to the generation of the acoustic signal V.
  • the configuration and operation of the first generation unit 21 and the second generation unit 22 are the same as those in the first embodiment.
  • the configuration and operation of the first estimation model M1 and the second estimation model M2 are the same as those in the first embodiment. Therefore, the same effect as that of the first embodiment is realized in the third embodiment.
  • the third generation unit 23 and the third estimation model M3 in the first embodiment or the second embodiment may be omitted.
  • the first control data C1, the second control data C2, and the third control data C3 are illustrated as individual data, but the first control data C1, the second control data C2, and the third control data C3 are illustrated.
  • the data may be common to the control data C3. Further, two of the first control data C1, the second control data C2, and the third control data C3 may be used as common data.
  • control data C generated by the control data generation unit 24 is supplied to the first generation unit 21 as the first control data C1 and to the second generation unit 22 as the second control data C2. It may be supplied and supplied to the third generation unit 23 as the third control data C3.
  • a modified example based on the first embodiment is shown in FIG. 9, a configuration in which the first control data C1, the second control data C2, and the third control data C3 are shared is the second embodiment. The same applies to the embodiment or the third embodiment.
  • control data C generated by the control data generation unit 341 is supplied to the first training unit 31 as the first control data C1 and to the second training unit 32 as the second control data C2. It may be supplied and supplied to the third training unit 33 as the third control data C3.
  • the second estimation model M2 generates the pitch Y, but the feature amount generated by the second estimation model M2 is not limited to the pitch Y.
  • the second estimation model M2 may generate the volume of the target sound
  • the first estimation model M1 may generate the time variation component X in the time series of the volume.
  • the second training data T2 and the third training data T3 include the volume of the reference signal R instead of the pitch Y in each of the above-described forms, and the first training data T1 includes a time variation component X relating to the volume. Is done.
  • the second estimation model M2 may generate a feature amount (for example, mel cepstrum) representing the timbre of the target sound
  • the first estimation model M1 may generate a time-varying component X in the time series of the feature amount.
  • the second training data T2 and the third training data T3 include a timbre feature amount instead of the pitch Y in each of the above-described forms
  • the first training data T1 includes a time-variable component X relating to the timbre feature amount. Is included.
  • the feature quantity is comprehensively expressed as an arbitrary kind of physical quantity representing the acoustic feature
  • the pitch Y, the volume, and the timbre are examples of the feature quantity.
  • the pitch Y is generated from the time-varying component X of the pitch Y, but the feature amount represented by the time-varying component X generated by the first generation unit 21 and the second generation unit A feature amount of a different type from the feature amount generated by 22 may be used.
  • the time-varying component of pitch Y in the target sound tends to correlate with the time-varying component of the volume of the target sound.
  • the time-varying component X generated by the first generation unit 21 by the first estimation model M1 may be a time-varying component of volume.
  • the second generation unit 22 generates a time series of pitch Y by inputting the second control data C2 and the time fluctuation component X of the volume into the first estimation model M1.
  • the first training data T1 includes the first control data C1 and the time-varying component X of the volume.
  • the second training data T2 is known data in which the combination of the second control data C2 and the time-varying component Xa of the volume and the pitch Y correspond to each other.
  • the first generation unit 21 first controls the target sound by using the first estimation model M1 well trained to output the time fluctuation component X by inputting the first control data C1.
  • the feature amount represented by the time-varying component X which is comprehensively expressed as an element for inputting the data C1, is an arbitrary kind of feature amount that correlates with the feature amount generated by the second generation unit 22.
  • the sound synthesizer 100 including both the synthesis processing unit 20 and the learning processing unit 30 is illustrated, but the learning processing unit 30 may be omitted from the sound synthesis device 100.
  • the present disclosure is also specified as an estimation model construction device including a learning processing unit 30.
  • the estimation model building device is also referred to as a machine learning device that builds an estimation model by machine learning. The presence or absence of the synthesis processing unit 20 in the estimation model construction device does not matter, and the presence or absence of the learning processing unit 30 in the sound synthesis device 100 does not matter.
  • the sound synthesizer 100 may be realized by a server device that communicates with a terminal device such as a mobile phone or a smartphone. For example, the sound synthesizer 100 generates an acoustic signal V corresponding to the music data D received from the terminal device, and transmits the acoustic signal V to the terminal device. In the configuration in which the control data C (C1, C2, C3) is transmitted from the terminal device, the control data generation unit 24 is omitted from the sound synthesizer 100.
  • the functions of the sound synthesizer 100 exemplified above include the programs stored in the storage device 12 and the single or multiple processors constituting the control device 11 (for example, the sound synthesis program G1 and the machine learning program G2). ) Will be realized.
  • the program according to the present disclosure may be provided and installed on a computer in a form stored in a computer-readable recording medium.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disc) such as a CD-ROM is a good example, but a known arbitrary such as a semiconductor recording medium or a magnetic recording medium. Recording media in the format of are also included.
  • the non-transient recording medium includes any recording medium other than the transient propagation signal (transitory, propagating signal), and the volatile recording medium is not excluded. Further, in the configuration in which the distribution device distributes the program via the communication network, the storage device that stores the program in the distribution device corresponds to the above-mentioned non-transient recording medium.
  • the execution subject of the artificial intelligence software for realizing the estimation model M is not limited to the CPU.
  • a processing circuit dedicated to a neural network such as Tensor Processing Unit or Neural Engine, or a DSP (Digital Signal Processor) dedicated to artificial intelligence may execute artificial intelligence software.
  • a plurality of types of processing circuits selected from the above examples may cooperate to execute the artificial intelligence software.
  • the information processing method is a target synthesis to be synthesized using a first estimation model well trained to output a time variation component based on the first control data.
  • a well-trained second that processes the first control data of the sound to generate the time-varying component of the target synthetic sound and outputs a time series of features based on the second control data and the time-varying component. 2
  • the estimation model uses the estimation model, the second control data of the target synthetic sound and the time-varying component of the target synthetic sound are processed to generate a time series of the feature amount of the target synthetic sound.
  • the first estimation model is used to generate the time-varying component according to the first control data
  • the second estimation model is used to generate the feature quantity according to the second control data and the time-varying component.
  • a time series is generated. Therefore, a time series of features containing abundant time-varying components can be generated as compared with the case of using a single estimation model in which the relationship between the control data and the features is learned.
  • the "time-varying component” is a dynamic component that fluctuates with time in the target synthetic sound to be synthesized.
  • a component that fluctuates with time in the time series of the feature amount corresponds to a "time-variable component", but a component that fluctuates with time in a time series of a feature amount different from the feature amount is also a concept of "time-variable component". Included in. For example, assuming a stationary component whose time-varying fluctuation is slow in the time series of the feature quantity, a dynamic component other than the stationary component corresponds to the time-varying component.
  • the difference between the first control data and the second control data does not matter.
  • the time series of the feature amount indicates at least one of the pitch, volume, and timbre of the target synthetic sound.
  • aspect 2 in the generation of the time-variable component, the time-variable component related to the time series of the feature amount of the target synthetic sound is generated.
  • the feature amount represented by the time-varying component generated by the first estimation model and the feature amount generated by the second estimation model are the same type of feature amount, the feature generated by the second estimation model Compared with the case where a time-varying component of a feature amount different from the quantity is generated by the first estimation model, a time series of the feature amount that naturally fluctuates audibly can be generated.
  • the time-varying component is a differential value of the feature amount with respect to the time series.
  • the time-varying component is a component exceeding a predetermined frequency in the time series of the feature amount.
  • the third control data of the target synthetic sound and the time series of the feature amount of the target synthetic sound are processed to generate the frequency characteristic of the target synthetic sound.
  • the difference between the third control data and the first control data or the second control data does not matter.
  • the frequency characteristic of the target synthetic sound is the frequency spectrum of the target synthetic sound or the amplitude spectrum inclusion of the target synthetic sound.
  • the information processing method generates an acoustic signal based on the frequency characteristics of the target synthetic sound.
  • a time series of feature quantities for training and a time series of time-varying components for training are generated from a reference signal indicating the recorded sound, and the above-mentioned
  • the first control data of the target synthetic sound to be synthesized is processed to process the target synthetic sound.
  • the first estimation model that outputs the time fluctuation component of is constructed by machine learning, the second control data for training corresponding to the recorded sound, the time series of the time fluctuation component for training, and the feature amount for training.
  • Machine learning of a second estimation model that processes the second control data of the target synthetic sound and the time-varying component of the target synthetic sound and outputs the time series of the feature amount of the target synthetic sound using the time series of To build by.
  • the first estimation model that processes the first control data and outputs the time fluctuation component
  • the second estimation model that processes the second control data and the time fluctuation component and outputs the time series of the feature amount.
  • An estimation model is constructed. Therefore, a time series of features containing abundant time-varying components can be generated as compared with the case of constructing a single estimation model in which the relationship between the control data and the features is learned.
  • the information processing apparatus is based on the first control data of the target synthetic sound to be synthesized by using the first estimation model well trained to output the time fluctuation component based on the first control data.
  • a first generator that generates the time-varying component of the target synthetic sound
  • a second estimation model that is well trained to output a time series of features based on the second control data and the time-varying component.
  • a second generation unit that generates a time series of feature quantities of the target synthetic sound based on the second control data of the target synthetic sound and the time-varying component of the target synthetic sound is provided.
  • the estimation model construction device has a generation unit that generates a time series of feature quantities for training and a time series of time-varying components for training from a reference signal indicating the recorded sound, and the recorded sound. Using the corresponding first control data for training and the time series of the time variation component for training, the time variation component of the target synthetic sound is output based on the first control data of the target synthetic sound to be synthesized.
  • the first training unit that builds the first estimation model by machine learning, the second control data for training corresponding to the recorded sound, the time series of time-varying components for training, and the feature quantity for training.
  • a second estimation model that outputs the time series of the feature amount of the target synthetic sound based on the second control data of the target synthetic sound and the time fluctuation component of the target synthetic sound is constructed by machine learning. It is equipped with a second training department.
  • the program according to aspect 9 is based on the first control data of the target synthetic sound to be synthesized, using a first estimation model well trained to output the time variation component based on the first control data.
  • a first generator that produces the time-varying component of the target synthetic sound
  • a second estimation model that is well trained to output a time series of features based on the second control data and the time-varying component.
  • the computer functions as a second generation unit that generates a time series of feature quantities of the target synthetic sound based on the second control data of the target synthetic sound and the time-varying component of the target synthetic sound.
  • the program according to the tenth aspect is a generation unit that generates a time series of feature quantities for training and a time series of time-varying components for training from a reference signal indicating the recorded sound, and a training unit corresponding to the recorded sound.
  • First estimation that outputs the time-varying component of the target synthetic sound based on the first control data of the target synthetic sound to be synthesized by using the first control data of The first training unit that builds a model by machine learning, the second control data for training corresponding to the recorded sound, the time series of time-varying components for training, and the time series of feature quantities for training.
  • a second estimation model that outputs a time series of feature quantities of the target synthetic sound based on the second control data of the target synthetic sound and the time-varying component of the target synthetic sound is constructed by machine learning. Make the computer function as a training department.
  • the information processing method, the estimation model construction method, the information processing device, and the estimation model construction device of the present disclosure can generate a high-quality synthetic sound in which the time series of the feature amount appropriately includes a time-varying component.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

情報処理装置（１００）は、第１制御データ（Ｃ１）に基づいて時間変動成分（Ｘ）を出力するように訓練された第１推定モデル（Ｍ１）を用いて、合成されるべき目標合成音の第１制御データ（Ｃ１）を処理して、前記目標合成音の時間変動成分（Ｘ）を生成する第１生成部（２１）と、第２制御データ（Ｃ２）と時間変動成分（Ｘ）とに基づいて特徴量の時系列を出力するように訓練された第２推定モデル（Ｍ２）を用いて、前記目標合成音の第２制御データ（Ｃ２）と前記目標合成音の時間変動成分（Ｘ）とを処理して、前記目標合成音の特徴量の時系列を生成する第２生成部（２２）と、を具備する。

Description

情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置
　本開示は、音声または楽音等の音に関する特徴量の時系列を生成する技術に関する。
　歌唱音声または楽器の演奏音等の任意の音を合成する音合成技術が従来から提案されている。例えば非特許文献１には、合成音における音高の時系列をニューラルネットワークにより生成する技術が開示されている。音高の時系列を含む複数の訓練データを利用した機械学習により、音高を推定するための推定モデルが構築される。
Merlijn Blaauw, Jordi Bonada, "A Neural Parametric Singing Synthesizer Modeling Timbre and Expression from Natural Songs," Applied Sciences 7(12):1313, 2017
　複数の訓練データの各々における音高の時系列には時間的に変動する動的成分（以下「時間変動成分」という）が含まれる。しかし、複数の訓練データを利用して構築される推定モデルにおいては、時間変動成分が抑制された音高の時系列が生成される傾向がある。したがって、時間変動成分を充分に含む高音質な合成音を生成するには限界がある。なお、以上の説明では音高の時系列を生成する場合に着目したが、音高以外の特徴量の時系列を生成する場面でも同様の課題が想定される。以上の事情を考慮して、本開示のひとつの態様は、特徴量の時系列が時間変動成分を適切に含む高音質な合成音を生成することを目的とする。
　以上の課題を解決するために、本開示のひとつの態様に係る情報処理方法は、第１制御データに基づいて時間変動成分を出力するように訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データを処理して、前記目標合成音の時間変動成分を生成し、第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するように訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とを処理して、前記目標合成音の特徴量の時系列を生成する。
　また、本開示のひとつの態様に係る推定モデル構築方法は、収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成し、前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データを処理して前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築し、前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とを処理して前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する。
　本開示のひとつの態様に係る情報処理装置は、第１制御データに基づいて時間変動成分を出力するように訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データに基づき、前記目標合成音の時間変動成分を生成する第１生成部と、第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するように訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて、前記目標合成音の特徴量の時系列を生成する第２生成部と、を具備する。本開示のひとつの態様に係る推定モデル構築装置は、収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成する生成部と、前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データに基づいて前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築する第１訓練部と、前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する第２訓練部と、を具備する。
音合成装置の構成を例示するブロック図である。 記憶装置の模式図である。 合成処理部の構成を例示するブロック図である。 合成処理の具体的な手順を例示するフローチャートである。 学習処理部の構成を例示するブロック図である。 学習処理の具体的な手順を例示するフローチャートである。 第２実施形態における合成処理部の構成を例示するブロック図である。 第３実施形態における合成処理部の構成を例示するブロック図である。 変形例における合成処理部の構成を例示するブロック図である。 変形例における学習処理部の構成を例示するブロック図である。
Ａ：第１実施形態
　図１は、本開示の第１実施形態に係る音合成装置１００の構成を例示するブロック図である。音合成装置１００は、合成の目標となる任意の音響（以下「目標音」という）を生成する情報処理装置である。目標音は、例えば、歌唱者が楽曲を仮想的に歌唱することで発音される歌唱音声、または、演奏者が楽器により楽曲を仮想的に演奏することで発音される楽音である。目標音は、「合成されるべき音」の一例である。
　音合成装置１００は、制御装置１１と記憶装置１２と放音装置１３とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、音合成装置１００として利用される。なお、相互に別体で構成された複数の装置の集合（すなわちシステム）により音合成装置１００を実現してもよい。
　制御装置１１は、音合成装置１００の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。具体的には、制御装置１１は、目標音の波形を表す時間領域の音響信号Ｖを生成する。
　放音装置１３は、制御装置１１が生成した音響信号Ｖが表す目標音を放音する。放音装置１３は、例えばスピーカまたはヘッドホンである。なお、音響信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器と、音響信号Ｖを増幅する増幅器とについては、図示が便宜的に省略されている。また、図１では、放音装置１３を音合成装置１００に搭載した構成を例示したが、音合成装置１００とは別体の放音装置１３を有線または無線により音合成装置１００に接続してもよい。
　記憶装置１２は、図２に例示される通り、制御装置１１が実行するプログラム（例えば音合成プログラムＧ1および機械学習プログラムＧ2）と制御装置１１が使用する各種のデータ（例えば楽曲データＤおよび参照データＱ）とを記憶する単数または複数のメモリである。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成される。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、音合成装置１００に着脱可能な可搬型の記録媒体、または、音合成装置１００が通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
　楽曲データＤは、楽曲を構成する音符の時系列（すなわち楽譜）を指定する。例えば、楽曲データＤは、発音単位毎に音高と発音期間とを指定する時系列データである。発音単位は、例えば１個の音符である。ただし、１個の音符を複数の発音単位に区分してもよい。なお、歌唱音声の合成に利用される楽曲データＤにおいては、発音単位毎に音韻（例えば発音文字）が指定される。
Ａ１：合成処理部２０
　制御装置１１は、音合成プログラムＧ1を実行することで図３の合成処理部２０として機能する。合成処理部２０は、楽曲データＤに応じた音響信号Ｖを生成する。合成処理部２０は、第１生成部２１と第２生成部２２と第３生成部２３と制御データ生成部２４と信号合成部２５とを具備する。
　制御データ生成部２４は、第１制御データＣ1と第２制御データＣ2と第３制御データＣ3とを楽曲データＤから生成する。各制御データＣ（Ｃ1，Ｃ2，Ｃ3）は、目標音に関する条件を指定するデータである。制御データ生成部２４は、時間軸上の単位期間（例えば所定長のフレーム）毎に各制御データＣを生成する。各単位期間の制御データＣは、例えば当該単位期間における音符の音高と、発音期間の開始または終了と、相前後する音符との関係（例えば音高差等のコンテキスト）とを指定する。制御データ生成部２４は、楽曲データＤと各制御データＣとの関係を機械学習により学習した深層ニューラルネットワーク等の推定モデルより構成される。
　第１生成部２１は、第１制御データＣ1に応じた時間変動成分Ｘを生成する。時間変動成分Ｘは単位期間毎に順次に生成される。すなわち、第１生成部２１は、第１制御データＣ1の時系列から時間変動成分Ｘの時系列を生成する。第１制御データＣ1は、時間変動成分Ｘの条件を指定するデータとも換言される。
　時間変動成分Ｘは、目標音の音高（基本周波数）Ｙの時系列において時間的に変動する動的成分である。音高Ｙの時系列において時間的な変動が緩慢である定常成分を想定すると、定常成分以外の動的成分が時間変動成分Ｘに相当する。例えば、時間変動成分Ｘは、音高Ｙの時系列において所定の周波数を上回る高域成分である。また、第１生成部２１は、音高Ｙの時系列に関する時間的な微分値を時間変動成分Ｘとして生成してもよい。時間変動成分Ｘの時系列は、例えばビブラート等の音楽表現としての変動と、歌唱音声または楽音に確率的に発生する変動（揺らぎ成分）との双方を含む。
　第１生成部２１による時間変動成分Ｘの生成には第１推定モデルＭ1が利用される。第１推定モデルＭ1は、第１制御データＣ1を入力として時間変動成分Ｘを出力する統計的モデルである。すなわち、第１推定モデルＭ1は、第１制御データＣ1と時間変動成分Ｘとの関係をよく学習した訓練済モデルである。
　第１推定モデルＭ1は、例えば深層ニューラルネットワークで構成される。具体的には、第１推定モデルＭ1は、各単位期間について生成した時間変動成分Ｘを、直後の単位期間における時間変動成分Ｘの生成のために入力層に回帰させる再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）である。ただし、畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の任意の種類のニューラルネットワークを第１推定モデルＭ1として利用してもよい。第１推定モデルＭ1は、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）等の付加的な要素を具備してもよい。なお、第１推定モデルＭ1の出力段には、時間変動成分Ｘの確率分布を規定する出力層と、当該確率分布に従う乱数を時間変動成分Ｘとして生成（サンプリング）する抽出部とが設置される。
　第１推定モデルＭ1は、第１制御データＣ1から時間変動成分Ｘを生成する演算を制御装置１１に実行させる人工知能プログラムＡ1と、当該演算に適用される複数の変数Ｗ1（具体的には加重値およびバイアス）との組合せで実現される。人工知能プログラムＡ1と複数の変数Ｗ1とは記憶装置１２に記憶される。複数の変数Ｗ1の各々の数値は、機械学習により設定されている。
　第２生成部２２は、第２制御データＣ2と時間変動成分Ｘとに応じた音高Ｙを生成する。音高Ｙは単位期間毎に順次に生成される。すなわち、第２生成部２２は、第２制御データＣ2の時系列と時間変動成分Ｘの時系列とから音高Ｙの時系列を生成する。音高Ｙの時系列は、時間軸上で動的に変動する時間変動成分Ｘと、時間変動成分Ｘと比較して時間的な変動が緩慢である定常成分とを含むピッチカーブである。第２制御データＣ2は、音高Ｙの条件を指定するデータとも換言される。
　第２生成部２２による音高Ｙの生成には第２推定モデルＭ2が利用される。第２推定モデルＭ2は、第２制御データＣ2と時間変動成分Ｘとを入力として音高Ｙを出力する統計的モデルである。すなわち、第２推定モデルＭ2は、第２制御データＣ2および時間変動成分Ｘの組合せと音高Ｙとの関係をよく学習した訓練済モデルである。
　第２推定モデルＭ2は、例えば深層ニューラルネットワークで構成される。具体的には、第２推定モデルＭ2は、例えば畳込ニューラルネットワーク、再帰型ニューラルネットワーク等の何れかの種類のニューラルネットワークにより構成される。第２推定モデルＭ2は、長短期記憶等の付加的な要素を具備してもよい。なお、第２推定モデルＭ2の出力段には、音高Ｙの確率分布を規定する出力層と、当該確率分布に従う乱数を音高Ｙとして生成（サンプリング）する抽出部とが設置される。
　第２推定モデルＭ2は、第２制御データＣ2と時間変動成分Ｘとから音高Ｙを生成する演算を制御装置１１に実行させる人工知能プログラムＡ2と、当該演算に適用される複数の変数Ｗ2（具体的には加重値およびバイアス）との組合せで実現される。人工知能プログラムＡ2と複数の変数Ｗ2とは記憶装置１２に記憶される。複数の変数Ｗ2の各々の数値は、機械学習により設定されている。
　第３生成部２３は、第３制御データＣ3と音高Ｙとに応じた周波数特性Ｚを生成する。周波数特性Ｚは単位期間毎に順次に生成される。すなわち、第３生成部２３は、第３制御データＣ3の時系列と音高Ｙの時系列とから周波数特性Ｚの時系列を生成する。第１実施形態における周波数特性Ｚは、例えば目標音の振幅スペクトルである。第３制御データＣ3は、周波数特性Ｚの条件を指定するデータとも換言される。
　第３生成部２３による周波数特性Ｚの生成には第３推定モデルＭ3が利用される。第３推定モデルＭ3は、第３制御データＣ3と音高Ｙとに応じた周波数特性Ｚを生成する統計的モデルである。すなわち、第３推定モデルＭ3は、第３制御データＣ3および音高Ｙの組合せと周波数特性Ｚとの関係をよく学習した訓練済モデルである。
　第３推定モデルＭ3は、例えば深層ニューラルネットワークで構成される。具体的には、第３推定モデルＭ3は、例えば畳込ニューラルネットワーク、再帰型ニューラルネットワーク等の何れかの種類のニューラルネットワークにより構成される。第３推定モデルＭ3は、長短期記憶等の付加的な要素を具備してもよい。なお、第３推定モデルＭ3の出力段には、周波数特性Ｚを表す各成分（周波数ビン）の確率分布を規定する出力層と、当該確率分布に従う乱数を周波数特性Ｚとして生成（サンプリング）する抽出部とが設置される。
　第３推定モデルＭ3は、第３制御データＣ3と音高Ｙとから周波数特性Ｚを生成する演算を制御装置１１に実行させる人工知能プログラムＡ3と、当該演算に適用される複数の変数Ｗ3（具体的には加重値およびバイアス）との組合せで実現される。人工知能プログラムＡ3と複数の変数Ｗ3とは記憶装置１２に記憶される。複数の変数Ｗ3の各々の数値は、機械学習により設定されている。
　信号合成部２５は、第３生成部２３が生成する周波数特性Ｚの時系列から音響信号Ｖを生成する。具体的には、信号合成部２５は、例えば離散逆フーリエ変換を含む演算により周波数特性Ｚを時間波形に変換し、複数の単位期間にわたり時間波形を連結することで音響信号Ｖを生成する。音響信号Ｖは放音装置１３に供給される。
　なお、信号合成部２５は、機械学習により、周波数特性Ｚの時系列と音響信号Ｖとの間の潜在的な関係をよく学習した、所謂ニューラルボコーダを備えてもよい。信号合成部２５は、ニューラルボコーダを用いて、供給された周波数特性Ｚの時系列を処理して音響信号Ｖを生成する。
　図４は、制御装置１１（合成処理部２０）が音響信号Ｖを生成する処理（以下「合成処理」という）Ｓaの具体的な手順を例示するフローチャートである。例えば音合成装置１００に対する利用者からの指示を契機として合成処理Ｓaが開始される。合成処理Ｓaは単位期間毎に実行される。
　制御データ生成部２４は、楽曲データＤから制御データＣ（Ｃ1，Ｃ2，Ｃ3）を生成する（Ｓa1）。第１生成部２１は、第１制御データＣ1を第１推定モデルＭ1を用いて処理することで時間変動成分Ｘを生成する（Ｓa2）。第２生成部２２は、第２制御データＣ2と時間変動成分Ｘとを第２推定モデルＭ2を用いて処理することで音高Ｙを生成する（Ｓa3）。第３生成部２３は、第３制御データＣ3と音高Ｙとを第３推定モデルＭ3を用いて処理することで周波数特性Ｚを生成する（Ｓa4）。信号合成部２５は、周波数特性Ｚから音響信号Ｖを生成する（Ｓa5）。
　以上に説明した通り、第１実施形態においては、第１推定モデルＭ1により第１制御データＣ1に応じた時間変動成分Ｘが生成され、第２推定モデルＭ2により第２制御データＣ2と時間変動成分Ｘとに応じた音高Ｙが生成される。したがって、目標音を指定する制御データと音高Ｙとの関係を学習した単体の推定モデルを利用して制御データに応じた音高Ｙを生成する構成（以下「対比例」という）と比較して、時間変動成分Ｘを豊富に含む音高Ｙの時系列を生成できる。以上の構成によれば、聴感的に自然な時間変動成分Ｘを豊富に含む目標音を生成できる。
Ａ２：学習処理部３０
　制御装置１１は、機械学習プログラムＧ2を実行することで図５の学習処理部３０として機能する。学習処理部３０は、第１推定モデルＭ1と第２推定モデルＭ2と第３推定モデルＭ3とを機械学習により構築する。具体的には、学習処理部３０は、第１推定モデルＭ1における複数の変数Ｗ1の各々の数値と、第２推定モデルＭ2における複数の変数Ｗ2の各々の数値と、第３推定モデルＭ3における複数の変数Ｗ3の各々の数値とを設定する。
　記憶装置１２は、複数の参照データＱを記憶する。複数の参照データＱの各々は、楽曲データＤと参照信号Ｒとを相互に対応させたデータである。楽曲データＤは、楽曲を構成する音符の時系列を指定する。各参照データＱの参照信号Ｒは、当該参照データＱの楽曲データＤが表す楽曲の歌唱または演奏により発音される音の波形を表す。特定の歌唱者が歌唱した音声または特定の演奏者が演奏した楽音が事前に収録され、当該音声または当該楽音を表す参照信号Ｒが楽曲データＤとともに記憶装置１２に記憶される。なお、多数の歌唱者の音声または多数の演奏者の楽音から参照信号Ｒを生成してもよい。
　学習処理部３０は、第１訓練部３１と第２訓練部３２と第３訓練部３３と訓練データ準備部３４とを具備する。訓練データ準備部３４は、複数の第１訓練データＴ1と複数の第２訓練データＴ2と複数の第３訓練データＴ3とを準備する。複数の第１訓練データＴ1の各々は、第１制御データＣ1と時間変動成分Ｘとを相互に対応させた既知データである。複数の第２訓練データＴ2の各々は、第２制御データＣ2および時間変動成分Ｘaの組合せと音高Ｙとを相互に対応させた既知データである。時間変動成分Ｘaは、時間変動成分Ｘに対して雑音成分を付加した成分である。複数の第３訓練データＴ3の各々は、第３制御データＣ3および音高Ｙの組合せと周波数特性Ｚとを相互に対応させた既知データである。
　訓練データ準備部３４は、制御データ生成部３４１と周波数解析部３４２と変動抽出部３４３と雑音付与部３４４とを具備する。制御データ生成部３４１は、各参照データＱの楽曲データＤから単位期間毎に制御データＣ（Ｃ1，Ｃ2，Ｃ3）を生成する。制御データ生成部３４１の構成および動作は、前述の制御データ生成部２４と同様である。
　周波数解析部３４２は、各参照データＱの参照信号Ｒから音高Ｙと周波数特性Ｚとを生成する。単位期間毎に音高Ｙと周波数特性Ｚとが生成される。すなわち、周波数解析部３４２は、参照信号Ｒの音高Ｙの時系列と周波数特性Ｚの時系列とを生成する。参照信号Ｒの音高Ｙおよび周波数特性Ｚの生成には、離散フーリエ変換等の公知の解析技術が任意に採用される。
　変動抽出部３４３は、音高Ｙから時間変動成分Ｘを生成する。単位期間毎に時間変動成分Ｘが生成される。すなわち、変動抽出部３４３は、音高Ｙの時系列から時間変動成分Ｘの時系列を生成する。具体的には、変動抽出部３４３は、音高Ｙの時系列における微分値を時間変動成分Ｘとして算定する。なお、所定の周波数を上回る高域成分を時間変動成分Ｘとして抽出するフィルタ（高域通過フィルタ）を変動抽出部３４３として採用してもよい。
　雑音付与部３４４は、時間変動成分Ｘの時系列に対して雑音成分を付与することで時間変動成分Ｘaを生成する。具体的には、雑音付与部３４４は、例えば正規分布等の所定の確率分布に従う乱数を雑音成分として時間変動成分Ｘの時系列に付与する。なお、時間変動成分Ｘの時系列に雑音成分を付与しない構成では、各参照信号Ｒにおける音高Ｙの変動成分を過剰に反映した時間変動成分Ｘが第１推定モデルＭ1により推定されるという傾向がある。第１実施形態においては、時間変動成分Ｘに雑音成分が付与（すなわち正則化）されるから、参照信号Ｒにおける音高Ｙの変動成分の傾向を適度に反映した時間変動成分Ｘを第１推定モデルＭ1により推定できるという利点がある。ただし、参照信号Ｒの過度な反映が特段の問題とならない場合には、雑音付与部３４４を省略してもよい。
　第１制御データＣ1と時間変動成分Ｘ（正解値）とを対応させた第１訓練データＴ1が第１訓練部３１に供給される。第２制御データＣ2および時間変動成分Ｘの組合せと音高Ｙ（正解値）とを対応させた第２訓練データＴ2が第２訓練部３２に供給される。第３制御データＣ3および音高Ｙの組合せと周波数特性Ｚ（正解値）とを対応させた第３訓練データＴ3が第３訓練部３３に供給される。
　第１訓練部３１は、複数の第１訓練データＴ1を利用した教師あり機械学習により第１推定モデルＭ1を構築する。具体的には、第１訓練部３１は、各第１訓練データＴ1の第１制御データＣ1を供給した場合に暫定的な第１推定モデルＭ1が生成する時間変動成分Ｘと、当該第１訓練データＴ1の時間変動成分Ｘとの誤差が低減されるように、第１推定モデルＭ1に関する複数の変数Ｗ1の更新を反復する。したがって、第１推定モデルＭ1は、複数の第１訓練データＴ1における第１制御データＣ1と時間変動成分Ｘとの間に潜在する関係を学習する。すなわち、第１訓練部３１による訓練後の第１推定モデルＭ1は、未知の第１制御データＣ1に対して当該関係のもとで統計的に妥当な時間変動成分Ｘを出力する。
　第２訓練部３２は、複数の第２訓練データＴ2を利用した教師あり機械学習により第２推定モデルＭ2を構築する。具体的には、第２訓練部３２は、各第２訓練データＴ2の第２制御データＣ2および時間変動成分Ｘを供給した場合に暫定的な第２推定モデルＭ2が生成する音高Ｙと、当該第２訓練データＴ2の音高Ｙとの誤差が低減されるように、第２推定モデルＭ2に関する複数の変数Ｗ2の更新を反復する。したがって、第２推定モデルＭ2は、複数の第２訓練データＴ2における第２制御データＣ2および時間変動成分Ｘの組合せと音高Ｙとの間に潜在する関係を学習する。すなわち、第２訓練部３２による訓練後の第２推定モデルＭ2は、未知の第２制御データＣ2および時間変動成分Ｘの組合せに対して当該関係のもとで統計的に妥当な音高Ｙを出力する。
　第３訓練部３３は、複数の第３訓練データＴ3を利用した教師あり機械学習により第３推定モデルＭ3を構築する。具体的には、第３訓練部３３は、各第３訓練データＴ3の第３制御データＣ3および音高Ｙを供給した場合に暫定的な第３推定モデルＭ3が生成する周波数特性Ｚと、当該第３訓練データＴ3の周波数特性Ｚとの誤差が低減されるように、第３推定モデルＭ3に関する複数の変数Ｗ3の更新を反復する。したがって、第３推定モデルＭ3は、複数の第３訓練データＴ3における第３制御データＣ3および音高Ｙの組合せと周波数特性Ｚとの間に潜在する関係を学習する。すなわち、第３訓練部３３による訓練後の第３推定モデルＭ3は、未知の第３制御データＣ3および音高Ｙの組合せに対して当該関係のもとで統計的に妥当な周波数特性Ｚを出力する。
　図６は、制御装置１１（学習処理部３０）が推定モデルＭ（Ｍ1，Ｍ2，Ｍ3）を訓練する処理（以下「学習処理」という）Ｓbの具体的な手順を例示するフローチャートである。例えば音合成装置１００に対する利用者からの指示を契機として学習処理Ｓbが開始される。学習処理Ｓbは単位期間毎に実行される。
　訓練データ準備部３４は、第１訓練データＴ1と第２訓練データＴ2と第３訓練データＴ3とを参照データＱから生成する（Ｓb1）。具体的には、制御データ生成部３４１は、第１制御データＣ1と第２制御データＣ2と第３制御データＣ3とを楽曲データＤから生成する（Ｓb11）。周波数解析部３４２は、参照信号Ｒから音高Ｙと周波数特性Ｚとを生成する（Ｓb12）。変動抽出部３４３は、音高Ｙの時系列から時間変動成分Ｘを生成する（Ｓb13）。雑音付与部３４４は、時間変動成分Ｘに雑音成分を付与することで時間変動成分Ｘaを生成する（Ｓb14）。以上の処理により、第１訓練データＴ1と第２訓練データＴ2と第３訓練データＴ3とが生成される。なお、各制御データＣの生成（Ｓb11）と参照信号Ｒに関する処理（Ｓb12－Ｓb14）との順番を逆転してもよい。
　第１訓練部３１は、第１訓練データＴ1を利用した機械学習により第１推定モデルＭ1の複数の変数Ｗ1を更新する（Ｓb2）。第２訓練部３２は、第２訓練データＴ2を利用した機械学習により第２推定モデルＭ2の複数の変数Ｗ2を更新する（Ｓb3）。第３訓練部３３は、第３訓練データＴ3を利用した機械学習により第３推定モデルＭ3の複数の変数Ｗ3を更新する（Ｓb4）。以上に説明した学習処理Ｓbが反復されることで、第１推定モデルＭ1と第２推定モデルＭ2と第３推定モデルＭ3とが構築される。
　ところで、目標音の条件を指定する制御データと音高Ｙとの関係を学習した単体の推定モデルを利用する前述の対比例においては、制御データと参照信号Ｒの音高Ｙとを対応させた訓練データを利用した機械学習により当該推定モデルが構築される。各参照信号Ｒにおける変動成分の位相は相違するから、対比例においては、複数の参照信号Ｒにわたり変動成分が平均化された音高Ｙが学習される。したがって、例えば１個の音符の発音期間内においては音高Ｙが定常的に推移するという傾向がある。以上の説明から理解される通り、対比例においては、例えばビブラート等の音楽表現または確率的な揺らぎ成分等の動的な変動成分を豊富に含む目標音を生成すことは困難である。
　以上に説明した対比例とは対照的に、第１実施形態においては、第１制御データＣ1と時間変動成分Ｘとを含む第１訓練データＴ1により第１推定モデルＭ1が構築され、第２制御データＣ2および時間変動成分Ｘの組合せと音高Ｙとを含む第２訓練データＴ2により第２推定モデルＭ2が構築される。以上の構成によれば、時間変動成分Ｘの傾向と音高Ｙの傾向とが別個の推定モデルに反映されるから、各参照信号Ｒにおける動的な変動成分の傾向を適切に反映した時間変動成分Ｘが第１推定モデルＭ1により生成される。したがって、対比例と比較して、時間変動成分Ｘを豊富に含む音高Ｙの時系列を生成できる。すなわち、聴感的に自然な時間変動成分Ｘを豊富に含む目標音を生成できる。
Ｂ：第２実施形態
　第２実施形態について説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　図７は、第２実施形態における合成処理部２０の構成を例示するブロック図である。第２実施形態の合成処理部２０においては、第２生成部２２が生成した音高Ｙの時系列が信号合成部２５に供給される。また、第２実施形態における周波数特性Ｚは、振幅スペクトルの概形を表す振幅スペクトル包絡である。振幅スペクトル包絡は、例えばメルスペクトルまたはメルケプストラムにより表現される。信号合成部２５は、周波数特性Ｚの時系列と音高Ｙの時系列とから音響信号Ｖを生成する。具体的には、信号合成部２５は、第１に、音高Ｙに対応する基音成分と複数の倍音成分とを含む調波構造のスペクトルを生成する。第２に、信号合成部２５は、当該スペクトルの基音成分および各倍音成分のピークの強度を、周波数特性Ｚが表すスペクトル包絡に整合するように調整する。第３に、信号合成部２５は、調整後のスペクトルを時間波形に変換し、複数の単位期間にわたり時間波形を連結することで音響信号Ｖを生成する。
　なお、信号合成部２５は、機械学習により、周波数特性Ｚの時系列および音高Ｙの時系列と、音響信号Ｖとの間の潜在的な関係を習得した、所謂ニューラルボコーダを備えてもよい。信号合成部２５は、ニューラルボコーダを用いて、供給された音高Ｙの時系列と振幅スペクトル包絡とを処理して、音響信号Ｖを生成する。
　信号合成部２５以外の要素に関する構成および動作は第１実施形態と同様である。したがって、第２実施形態においても第１実施形態と同様の効果が実現される。
Ｃ：第３実施形態
　図８は、第３実施形態における合成処理部２０の構成を例示するブロック図である。第３実施形態の合成処理部２０においては、第１実施形態における第３生成部２３および信号合成部２５が音源部２６に置換される。
　音源部２６は、第３制御データＣ3と音高Ｙとに応じた音響信号Ｖを生成する音源である。音源部２６が音響信号Ｖの生成に適用する各種の音源パラメータＰは記憶装置１２に記憶される。音源部２６は、音源パラメータＰを適用した音源処理により、第３制御データＣ3と音高Ｙとに応じた音響信号Ｖを生成する。例えばＦＭ（Frequency Modulation）音源等の各種の音源が音源部２６として利用される。米国特許第７６２６１１３号または特許第４２１８６２４号に記載された音源が音源部２６として利用される。なお、音源部２６は、制御装置１１がプログラムを実行することで実現されるほか、音響信号Ｖの生成に専用される電子回路でも実現される。
　第１生成部２１および第２生成部２２の構成および動作は第１実施形態と同様である。第１推定モデルＭ1および第２推定モデルＭ2の構成および動作も第１実施形態と同様である。したがって、第３実施形態においても第１実施形態と同様の効果が実現される。第３実施形態の例示から理解される通り、第１実施形態または第２実施形態における第３生成部２３および第３推定モデルＭ3は省略され得る。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、第１制御データＣ1と第２制御データＣ2と第３制御データＣ3とを個別のデータとして例示したが、第１制御データＣ1と第２制御データＣ2と第３制御データＣ3とは共通のデータでもよい。また、第１制御データＣ1と第２制御データＣ2と第３制御データＣ3とのうちの２つを共通のデータとしてもよい。
　例えば、図９に例示される通り、制御データ生成部２４が生成した制御データＣを、第１生成部２１に第１制御データＣ1として供給し、第２生成部２２に第２制御データＣ2として供給し、第３生成部２３に第３制御データＣ3として供給してもよい。なお、図９においては第１実施形態を基礎とした変形例が図示されているが、第１制御データＣ1と第２制御データＣ2と第３制御データＣ3とを共通させる構成は、第２実施形態または第３実施形態においても同様に適用される。
　また、図１０に例示される通り、制御データ生成部３４１が生成した制御データＣを、第１訓練部３１に第１制御データＣ1として供給し、第２訓練部３２に第２制御データＣ2として供給し、第３訓練部３３に第３制御データＣ3として供給してもよい。
（２）前述の各形態では、第２推定モデルＭ2が音高Ｙを生成したが、第２推定モデルＭ2が生成する特徴量は音高Ｙに限定されない。例えば、第２推定モデルＭ2が目標音の音量を生成し、当該音量の時系列における時間変動成分Ｘを第１推定モデルＭ1が生成してもよい。第２訓練データＴ2および第３訓練データＴ3には、前述の各形態における音高Ｙに代えて参照信号Ｒの音量が含まれ、第１訓練データＴ1には、音量に関する時間変動成分Ｘが含まれる。
　また、例えば第２推定モデルＭ2が目標音の音色を表す特徴量（例えばメルケプストラム）を生成し、当該特徴量の時系列における時間変動成分Ｘを第１推定モデルＭ1が生成してもよい。第２訓練データＴ2および第３訓練データＴ3には、前述の各形態における音高Ｙに代えて音色の特徴量が含まれ、第１訓練データＴ1には、音色の特徴量に関する時間変動成分Ｘが含まれる。以上の説明から理解される通り、特徴量は、音響の特徴を表す任意の種類の物理量として包括的に表現され、音高Ｙと音量と音色とは特徴量の例示である。
（３）前述の各形態においては、音高Ｙの時間変動成分Ｘから当該音高Ｙを生成したが、第１生成部２１が生成する時間変動成分Ｘが表す特徴量と、第２生成部２２が生成する特徴量とは別種の特徴量でもよい。例えば、目標音における音高Ｙの時間変動成分は、当該目標音の音量の時間変動成分に相関するという傾向が想定される。以上の傾向を考慮すると、第１生成部２１が第１推定モデルＭ1により生成する時間変動成分Ｘは、音量の時間変動成分でもよい。第２生成部２２は、第２制御データＣ2と音量の時間変動成分Ｘとを第１推定モデルＭ1に入力することで音高Ｙの時系列を生成する。第１訓練データＴ1は、第１制御データＣ1と音量の時間変動成分Ｘとを含む。第２訓練データＴ2は、第２制御データＣ2および音量の時間変動成分Ｘaの組合せと音高Ｙとを相互に対応させた既知データである。以上の例示から理解される通り、第１生成部２１は、第１制御データＣ1を入力として時間変動成分Ｘを出力するようによく訓練された第１推定モデルＭ1に、目標音の第１制御データＣ1を入力する要素として包括的に表現され、時間変動成分Ｘが表す特徴量は、第２生成部２２が生成する特徴量に相関する任意の種類の特徴量である。
（４）前述の各形態においては、合成処理部２０および学習処理部３０の双方を具備する音合成装置１００を例示したが、音合成装置１００から学習処理部３０を省略してもよい。また、学習処理部３０を具備する推定モデル構築装置としても本開示は特定される。推定モデル構築装置は、機械学習により推定モデルを構築する機械学習装置とも換言される。推定モデル構築装置において合成処理部２０の有無は不問であり、音合成装置１００において学習処理部３０の有無は不問である。
（５）携帯電話機またはスマートフォン等の端末装置との間で通信するサーバ装置により音合成装置１００を実現してもよい。例えば、音合成装置１００は、端末装置から受信した楽曲データＤに応じた音響信号Ｖを生成し、当該音響信号Ｖを端末装置に送信する。端末装置から制御データＣ（Ｃ1，Ｃ2，Ｃ3）が送信される構成では、音合成装置１００から制御データ生成部２４が省略される。
（６）以上に例示した音合成装置１００の機能は、前述の通り、制御装置１１を構成する単数または複数のプロセッサと記憶装置１２に記憶されたプログラム（例えば音合成プログラムＧ1および機械学習プログラムＧ2）との協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。
（７）推定モデルＭ（Ｍ1，Ｍ2，Ｍ3）を実現するための人工知能ソフトウェアの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitもしくはNeural Engine等のニューラルネットワーク専用の処理回路、または、人工知能に専用されるＤＳＰ（Digital Signal Processor）が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
＜付記＞
　以上に例示した形態から、例えば以下の構成が把握される。
　本開示のひとつの態様（態様１）に係る情報処理方法は、第１制御データに基づいて時間変動成分を出力するようによく訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データを処理して、前記目標合成音の時間変動成分を生成し、第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するようによく訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とを処理して、前記目標合成音の特徴量の時系列を生成する。以上の態様では、第１推定モデルを利用して第１制御データに応じた時間変動成分が生成され、第２推定モデルを利用して第２制御データと時間変動成分とに応じた特徴量の時系列が生成される。したがって、制御データと特徴量との関係を学習した単体の推定モデルを利用する場合と比較して、時間変動成分を豊富に含む特徴量の時系列を生成できる。
　なお、「時間変動成分」は、合成されるべき目標合成音において時間的に変動する動的成分である。特徴量の時系列において時間的に変動する成分が「時間変動成分」に相当するが、当該特徴量とは別種の特徴量の時系列において時間的に変動する成分も「時間変動成分」の概念に包含される。例えば、特徴量の時系列において時間的な変動が緩慢である定常成分を想定すると、定常成分以外の動的成分が時間変動成分に相当する。第１制御データと第２制御データとの異同は不問である。
　例えば、前記特徴量の時系列は、前記目標合成音の音高、音量および音色の少なくとも一つを示す。
　態様１の具体例（態様２）において、前記時間変動成分の生成においては、前記目標合成音の特徴量の時系列に関する時間変動成分を生成する。以上の態様では、第１推定モデルにより生成される時間変動成分が表す特徴量と第２推定モデルにより生成される特徴量とが同種の特徴量であるから、第２推定モデルにより生成される特徴量とは別種の特徴量の時間変動成分を第１推定モデルにより生成する場合と比較して、聴感的に自然に変動する特徴量の時系列を生成できる。
　態様２の具体例（態様３）において、前記時間変動成分は、前記特徴量の時系列に関する微分値である。態様２の他の具体例（態様４）において、前記時間変動成分は、前記特徴量の時系列において所定の周波数を上回る成分である。
　態様１から態様３の何れかの具体例（態様５）において、第３制御データと特徴量の時系列とに基づいて周波数特性を出力するようによく訓練された第３推定モデルを用いて、前記目標合成音の第３制御データと前記目標合成音の特徴量の時系列とを処理して前記目標合成音の周波数特性を生成する。第３制御データと第１制御データまたは第２制御データとの異同は不問である。
　例えば、前記目標合成音の周波数特性は、前記目標合成音の周波数スペクトル又は前記目標合成音の振幅スペクトル包絡である。
　例えば、前記情報処理方法は、前記目標合成音の周波数特性に基づき音響信号を生成する。
　本開示のひとつの態様（態様６）に係る推定モデル構築方法は、収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成し、前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データを処理して前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築し、前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とを処理して前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する。以上の態様においては、第１制御データを処理して時間変動成分を出力する第１推定モデルと、第２制御データと当該時間変動成分とを処理して特徴量の時系列を出力する第２推定モデルとが構築される。したがって、制御データと特徴量との関係を学習した単体の推定モデルを構築する場合と比較して、時間変動成分を豊富に含む特徴量の時系列を生成できる。
　態様７に係る情報処理装置は、第１制御データに基づいて時間変動成分を出力するようによく訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データに基づき、前記目標合成音の時間変動成分を生成する第１生成部と、第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するようによく訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて、前記目標合成音の特徴量の時系列を生成する第２生成部と、を具備する。
　態様８に係る推定モデル構築装置は、収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成する生成部と、前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データに基づいて前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築する第１訓練部と、前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する第２訓練部と、を具備する。
　態様９に係るプログラムは、第１制御データに基づいて時間変動成分を出力するようによく訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データに基づき、前記目標合成音の時間変動成分を生成する第１生成部、及び第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するようによく訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて、前記目標合成音の特徴量の時系列を生成する第２生成部としてコンピュータを機能させる。
　態様１０に係るプログラムは、収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成する生成部、前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データに基づいて前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築する第１訓練部、および、前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する第２訓練部としてコンピュータを機能させる。
　本出願は、2019年9月26日出願の日本出願（特願2019-175436）に基づくものであり、その内容はここに参照として取り込まれる。
　本開示の情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置は、特徴量の時系列が時間変動成分を適切に含む高音質な合成音を生成することができる。
　１００…音合成装置
　１１…制御装置
　１２…記憶装置
　１３…放音装置
　２０…合成処理部
　２１…第１生成部
　２２…第２生成部
　２３…第３生成部
　２４…制御データ生成部
　２５…信号合成部
　２６…音源部
　３０…学習処理部
　３１…第１訓練部
　３２…第２訓練部
　３３…第３訓練部
　３４…訓練データ準備部
　３４１…制御データ生成部
　３４２…周波数解析部
　３４３…変動抽出部
　３４４…雑音付与部
　Ｍ1…第１推定モデル
　Ｍ2…第２推定モデル
　Ｍ3…第３推定モデル

Claims (11)

  1. 　第１制御データに基づいて時間変動成分を出力するように訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データを処理して、前記目標合成音の時間変動成分を生成し、
    　第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するように訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とを処理して、前記目標合成音の特徴量の時系列を生成する、
    　情報処理方法。
  2. 　前記特徴量の時系列は、前記目標合成音の音高、音量および音色の少なくとも一つを示す、
    　請求項１に記載の情報処理方法。
  3. 　前記時間変動成分の生成においては、前記目標合成音の特徴量の時系列に関する時間変動成分を生成する、
    　請求項１又は２に記載の情報処理方法。
  4. 　前記時間変動成分は、前記特徴量の時系列に関する微分値である、
    　請求項３に記載の情報処理方法。
  5. 　前記時間変動成分は、前記特徴量の時系列において所定の周波数を上回る成分である、
    　請求項３に記載の情報処理方法。
  6. 　第３制御データと特徴量の時系列とに基づいて周波数特性を出力するように訓練された第３推定モデルを用いて、前記目標合成音の第３制御データと前記目標合成音の特徴量の時系列とを処理して前記目標合成音の周波数特性を生成する、
    　請求項１から請求項５の何れかに記載の情報処理方法。
  7. 　前記目標合成音の周波数特性は、前記目標合成音の周波数スペクトル又は前記目標合成音の振幅スペクトル包絡である、
    　請求項６に記載の情報処理方法。
  8. 　前記目標合成音の周波数特性に基づき音響信号を生成する、
    　請求項６又は７に記載の情報処理方法。
  9. 　収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成し、
    　前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データを処理して前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築し、
    　前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とを処理して前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する、
    　推定モデル構築方法。
  10. 　第１制御データに基づいて時間変動成分を出力するように訓練された第１推定モデルを用いて、合成されるべき目標合成音の第１制御データに基づき、前記目標合成音の時間変動成分を生成する第１生成部と、
    　第２制御データと時間変動成分とに基づいて特徴量の時系列を出力するように訓練された第２推定モデルを用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて、前記目標合成音の特徴量の時系列を生成する第２生成部と、
    　を具備する情報処理装置。
  11. 　収録された音を示す参照信号から訓練用の特徴量の時系列と訓練用の時間変動成分の時系列を生成する生成部と、
    　前記収録された音に対応する訓練用の第１制御データと前記訓練用の時間変動成分の時系列とを用いて、合成されるべき目標合成音の第１制御データに基づいて前記目標合成音の時間変動成分を出力する第１推定モデルを機械学習により構築する第１訓練部と、
    　前記収録された音に対応する訓練用の第２制御データ、訓練用の時間変動成分の時系列、および訓練用の特徴量の時系列を用いて、前記目標合成音の第２制御データと前記目標合成音の時間変動成分とに基づいて前記目標合成音の特徴量の時系列を出力する第２推定モデルを機械学習により構築する第２訓練部と、
    　を具備する推定モデル構築装置。
PCT/JP2020/036355 2019-09-26 2020-09-25 情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置 WO2021060493A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080064952.3A CN114402382A (zh) 2019-09-26 2020-09-25 信息处理方法、推定模型构建方法、信息处理装置及推定模型构建装置
US17/698,601 US11875777B2 (en) 2019-09-26 2022-03-18 Information processing method, estimation model construction method, information processing device, and estimation model constructing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-175436 2019-09-26
JP2019175436A JP7331588B2 (ja) 2019-09-26 2019-09-26 情報処理方法、推定モデル構築方法、情報処理装置、推定モデル構築装置およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/698,601 Continuation US11875777B2 (en) 2019-09-26 2022-03-18 Information processing method, estimation model construction method, information processing device, and estimation model constructing device

Publications (1)

Publication Number Publication Date
WO2021060493A1 true WO2021060493A1 (ja) 2021-04-01

Family

ID=75157740

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036355 WO2021060493A1 (ja) 2019-09-26 2020-09-25 情報処理方法、推定モデル構築方法、情報処理装置、および推定モデル構築装置

Country Status (4)

Country Link
US (1) US11875777B2 (ja)
JP (1) JP7331588B2 (ja)
CN (1) CN114402382A (ja)
WO (1) WO2021060493A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452162B2 (ja) * 2020-03-25 2024-03-19 ヤマハ株式会社 音信号生成方法、推定モデル訓練方法、音信号生成システム、およびプログラム
WO2022244818A1 (ja) * 2021-05-18 2022-11-24 ヤマハ株式会社 機械学習モデルを用いた音生成方法および音生成装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164609A (ja) * 2013-04-15 2013-08-22 Yamaha Corp 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
WO2019107378A1 (ja) * 2017-11-29 2019-06-06 ヤマハ株式会社 音声合成方法、音声合成装置およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4218624A (en) 1977-05-31 1980-08-19 Schiavone Edward L Electrical vehicle and method
WO2004068098A1 (ja) * 2003-01-30 2004-08-12 Fujitsu Limited 音声パケット消失隠蔽装置，音声パケット消失隠蔽方法，受信端末および音声通信システム
JP4218624B2 (ja) 2004-10-18 2009-02-04 ヤマハ株式会社 楽音データ生成方法及び装置
JP4124247B2 (ja) * 2006-07-05 2008-07-23 ヤマハ株式会社 楽曲練習支援装置、制御方法及びプログラム
JP5834449B2 (ja) * 2010-04-22 2015-12-24 富士通株式会社 発話状態検出装置、発話状態検出プログラムおよび発話状態検出方法
JP6268916B2 (ja) * 2013-10-24 2018-01-31 富士通株式会社 異常会話検出装置、異常会話検出方法及び異常会話検出用コンピュータプログラム
JP6798484B2 (ja) * 2015-05-07 2020-12-09 ソニー株式会社 情報処理システム、制御方法、およびプログラム
CN106571146B (zh) * 2015-10-13 2019-10-15 阿里巴巴集团控股有限公司 噪音信号确定方法、语音去噪方法及装置
JP6733644B2 (ja) * 2017-11-29 2020-08-05 ヤマハ株式会社 音声合成方法、音声合成システムおよびプログラム
US11361021B2 (en) * 2019-08-01 2022-06-14 Meta Platform, Inc. Systems and methods for music related interactions and interfaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164609A (ja) * 2013-04-15 2013-08-22 Yamaha Corp 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
WO2019107378A1 (ja) * 2017-11-29 2019-06-06 ヤマハ株式会社 音声合成方法、音声合成装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKAMURA, K. ET AL.: "Singing voice synthesis based on convolutional neural networks", ARXIV PREPRINT, ARXIV:1904.06868V2, 25 June 2019 (2019-06-25), XP081380820, Retrieved from the Internet <URL:http://arxiv.org/pdf/1904.06868.pdf> [retrieved on 20201014] *

Also Published As

Publication number Publication date
US11875777B2 (en) 2024-01-16
JP7331588B2 (ja) 2023-08-23
CN114402382A (zh) 2022-04-26
JP2021051251A (ja) 2021-04-01
US20220208175A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
CN111542875B (zh) 声音合成方法、声音合成装置及存储介质
EP3719795B1 (en) Voice synthesizing method, voice synthesizing apparatus, and computer program
WO2020095950A1 (ja) 情報処理方法および情報処理システム
WO2020171033A1 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
US11875777B2 (en) Information processing method, estimation model construction method, information processing device, and estimation model constructing device
JP6737320B2 (ja) 音響処理方法、音響処理システムおよびプログラム
US20210366454A1 (en) Sound signal synthesis method, neural network training method, and sound synthesizer
JP6821970B2 (ja) 音声合成装置および音声合成方法
US20210350783A1 (en) Sound signal synthesis method, neural network training method, and sound synthesizer
JP7147211B2 (ja) 情報処理方法および情報処理装置
JP2020166299A (ja) 音声合成方法
US20230016425A1 (en) Sound Signal Generation Method, Estimation Model Training Method, and Sound Signal Generation System
WO2020241641A1 (ja) 生成モデル確立方法、生成モデル確立システム、プログラムおよび訓練データ準備方法
JP7107427B2 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
WO2020171035A1 (ja) 音信号合成方法、生成モデルの訓練方法、音信号合成システムおよびプログラム
US11756558B2 (en) Sound signal generation method, generative model training method, sound signal generation system, and recording medium
WO2023171522A1 (ja) 音響生成方法、音響生成システムおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20868909

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20868909

Country of ref document: EP

Kind code of ref document: A1