WO2022172576A1 - 機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム - Google Patents

機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム Download PDF

Info

Publication number
WO2022172576A1
WO2022172576A1 PCT/JP2021/045962 JP2021045962W WO2022172576A1 WO 2022172576 A1 WO2022172576 A1 WO 2022172576A1 JP 2021045962 W JP2021045962 W JP 2021045962W WO 2022172576 A1 WO2022172576 A1 WO 2022172576A1
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
feature
musical
input
feature quantity
Prior art date
Application number
PCT/JP2021/045962
Other languages
English (en)
French (fr)
Inventor
慶二郎 才野
竜之介 大道
ボナダ ジョルディ
ブラアウ メルレイン
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to CN202180092886.5A priority Critical patent/CN116830189A/zh
Publication of WO2022172576A1 publication Critical patent/WO2022172576A1/ja
Priority to US18/447,051 priority patent/US20230386440A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/08—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform
    • G10H7/12—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform by means of a recursive algorithm using one or more sets of parameters stored in a memory and the calculated amplitudes of one or more preceding sample points
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/04—Transposing; Transcribing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/551—Waveform approximation, e.g. piecewise approximation of sinusoidal or complex waveforms

Definitions

  • the present invention relates to a sound generation method, training method, sound generation device, training device, sound generation program, and training program capable of generating sound.
  • a sound generation method receives a first feature sequence in which musical features change with time, and input features in which musical features change with time at a first definition. I learned the input/output relationship between the quantity sequence and the reference sound data sequence corresponding to the output feature quantity sequence whose musical feature quantity changes with time at a second definition higher than the first definition. Using the trained model, the first feature sequence is processed to generate a sound data sequence corresponding to the second feature sequence in which the musical feature changes at the second definition; Realized.
  • musical feature quantity indicates that the feature quantity is a musical type (for example, amplitude, pitch, timbre, etc.).
  • the first feature quantity sequence, the input feature quantity sequence, the output feature quantity sequence, and the second feature quantity sequence are all examples of time-series data of "musical feature quantity (feature quantity)".
  • the feature amounts showing the change in each of the first feature amount sequence, the input feature amount sequence, the output feature amount sequence, and the second feature amount sequence are all "musical feature amounts”.
  • a training method includes a reference sound data string in which musical features change with time at a predetermined precision from reference data representing sound waveforms, and a time series of the musical features.
  • a certain output feature value string is extracted, and from the output feature value string, an input feature value string in which the musical feature value changes with time at a precision lower than a predetermined precision is generated, and the input feature value string is referenced.
  • a trained model that has learned the input/output relationship between the input feature amount string and the reference sound data string is constructed by machine learning using the sound data string, and is realized by a computer.
  • a sound generation device includes a reception unit that receives a first feature sequence in which musical features change with time, and and a reference sound data sequence corresponding to an output feature sequence whose musical features change with time at a second definition higher than the first definition.
  • the first feature quantity string is processed to generate a sound data string corresponding to the second feature quantity string in which the musical feature quantity changes at the second definition. and a generator for generating.
  • a training apparatus includes a reference sound data string in which a musical feature amount changes with time at a predetermined precision from reference data representing a sound waveform, and a time series of the musical feature amount. and a generation unit for generating an input feature value sequence in which the musical feature value temporally changes at a definition lower than a predetermined definition from the output feature value sequence and a building unit that builds a trained model that has learned the input/output relationship between the input feature quantity string and the reference sound data string by machine learning using the input feature quantity string and the reference sound data string.
  • FIG. 1 is a block diagram showing the configuration of a processing system including a sound generator and a training device according to one embodiment of the present invention.
  • the processing system 100 includes a RAM (Random Access Memory) 110, a ROM (Read Only Memory) 120, a CPU (Central Processing Unit) 130, a storage section 140, an operation section 150 and a display section 160.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • CPU 130 Central Processing Unit
  • storage section 140 an operation section 150
  • display section 160 a display section 160.
  • CPU 130 may be or include one or more of a CPU, MPU, GPU, ASIC, FPGA, DSP, and general purpose computer.
  • the RAM 110 consists of, for example, a volatile memory, and is used as a work area for the CPU 130.
  • the ROM 120 consists of, for example, non-volatile memory and stores a sound generation program and a training program.
  • the CPU 130 performs sound generation processing by executing a sound generation program stored in the ROM 120 on the RAM 110 . Further, CPU 130 performs training processing by executing a training program stored in ROM 120 on RAM 110 . Details of the sound generation process and the training process will be described later.
  • the sound generation program or training program may be stored in the storage unit 140 instead of the ROM 120.
  • the sound generation program or training program may be provided in a form stored in a computer-readable storage medium and installed in ROM 120 or storage unit 140 .
  • a sound generating program distributed from a server (including a cloud server) on the network may be installed in the ROM 120 or the storage unit 140. .
  • the storage unit 140 includes a storage medium such as a hard disk, an optical disk, a magnetic disk, or a memory card.
  • the storage unit 140 stores a trained model M, result data D1, a plurality of reference data D2, a plurality of musical score data D3, and a plurality of reference musical score data D4.
  • the plurality of reference data D2 and the plurality of reference musical score data D4 correspond to each other.
  • the reference data D2 (sound data) and the reference musical score data D4 (score data) “correspond” means, for example, that each note (and phoneme) of the music indicated by the musical score indicated by the reference musical score data D4 corresponds to the reference data D2.
  • the notes (and phonemes) of the music indicated by the waveform data indicated by are identical to each other, including their performance timing, performance intensity, performance expression, and the like.
  • the trained model M is a generative model that receives a score feature value string and a control value (input feature value string) of the score data D3, and estimates result data D1 (sound data string) according to the score feature value string and the control value. is.
  • the trained model M is constructed by the training device 20 by learning the input/output relationship between the musical score feature sequence, the input feature sequence, and the reference sound data sequence corresponding to the output feature sequence.
  • the trained model M is an AR (regression) type generative model, but may be a non-AR type generative model.
  • the input feature quantity sequence is a time series (time series data) in which the musical feature quantity changes with time at a first fineness. It is a time series that slowly changes discretely or intermittently.
  • the output feature value sequence is a time series (time-series data) in which the musical feature value changes temporally at a second resolution higher than the first resolution. It is a time series that either disappears or changes rapidly continuously.
  • the input feature quantity sequence and the output feature quantity sequence are each a feature quantity sequence, and the feature quantity sequence is time-series data of the musical feature quantity, and is data indicating temporal changes in the musical feature quantity. You can paraphrase it.
  • the musical feature quantity may be, for example, amplitude or its differential value, or pitch or its differential value.
  • the musical feature amount may include a spectral tilt or a spectral center of gravity instead of amplitude or the like, or may include a ratio of high-frequency power to low-frequency power (high-frequency power/low-frequency power).
  • musical feature quantity indicates that the feature quantity is a musical type (for example, amplitude, pitch, timbre, etc.), and hereinafter may be simply abbreviated as “feature quantity”.
  • the input feature value sequence, the output feature value sequence, the first feature value sequence, and the second feature value sequence in the present embodiment are all examples of time-series data of "musical feature values (feature values)." is.
  • the feature amounts showing the change in each of the input feature amount string, the output feature amount string, the first feature amount string, and the second feature amount string are all "musical feature amounts".
  • the sound data string is a string of frequency domain data that can be converted into a time domain sound waveform, and may be, for example, a combination of the time series of the amplitude spectral envelope of the waveform and the time series of the pitch, or a mel spectrogram. etc.
  • the definition does not mean the number of feature quantities within a unit time (temporal resolution), but rather the frequency of feature quantity changes or the content of high frequency components within a unit time. That is, the input feature value sequence is a feature value sequence obtained by lowering the definition of the output feature value sequence. or a feature quantity sequence obtained by applying a certain low-pass filter to the output feature quantity sequence.
  • the time resolution is the same between the input feature sequence and the output feature sequence.
  • the result data D1 indicates a sound data string corresponding to a sound feature string (a second feature string to be described later) generated by the sound generation device 10 .
  • the reference data D2 is waveform data used to train the trained model M, that is, a time series of sound waveform samples (time series data).
  • a time series (time series data) of feature amounts (for example, amplitude) extracted from each waveform data in relation to sound control is called an output feature amount sequence.
  • the musical score data D3 and the reference musical score data D4 represent musical scores each including a plurality of notes (note strings) arranged on the time axis.
  • the musical score feature quantity sequence generated from the musical score data D3 is used by the sound generator 10 to generate the result data D1.
  • the reference data D2 and the reference musical score data D4 are used for construction of the trained model M by the training device 20.
  • the operation unit 150 includes a pointing device such as a mouse or a keyboard, and is operated by the user to perform predetermined inputs.
  • the display unit 160 includes, for example, a liquid crystal display, and displays a predetermined GUI (Graphical User Interface), the result of sound generation processing, or the like. Operation unit 150 and display unit 160 may be configured by a touch panel display.
  • FIG. 2 is a block diagram showing the configuration of the sound generation device 10. As shown in FIG. 3 and 4 are diagrams for explaining an operation example of the sound generation device 10.
  • FIG. 2 sound generation device 10 includes presentation unit 11 , reception unit 12 , generation unit 13 and processing unit 14 .
  • the functions of the presentation unit 11, the reception unit 12, the generation unit 13, and the processing unit 14 are realized by the CPU 130 in FIG. 1 executing a sound generation program.
  • At least part of the presentation unit 11, reception unit 12, generation unit 13, and processing unit 14 may be realized by hardware such as an electronic circuit.
  • the presentation unit 11 causes the display unit 160 to display a reception screen 1 as a GUI for receiving input from the user.
  • a reception screen 1 is provided with a reference area 2 and an input area 3 .
  • a reference image 4 representing the positions of a plurality of notes on the time axis is displayed based on the musical score data D3 selected by the user.
  • the reference image 4 is, for example, a piano roll.
  • the input area 3 is arranged so as to correspond to the reference area 2.
  • the user roughly adjusts each feature amount on the input area 3 while looking at the notes in the reference image 4 so that the feature amount (amplitude in this example) changes over time. input.
  • the first feature value sequence can be input.
  • the amplitude is input so that the amplitude is small in the 1st to 5th measures of the musical score, large in the 6th to 7th measures, and slightly large in the 8th to 10th measures.
  • the accepting unit 12 accepts the first feature value sequence input to the input area 3 .
  • the trained model M stored in the storage unit 140 or the like includes, for example, a neural network (DNN (deep neural network) L1 in the example of FIG. 4), as shown in FIG.
  • the musical score data D3 selected by the user and the first feature value string input to the input area 3 are provided to the DNNL1.
  • the generation unit 13 uses the DNNL1 to process the musical score data D3 and the first feature value sequence, and generates result data D1 that is, for example, a combination of the pitch time series and the amplitude spectral envelope time series in the musical score. do.
  • result data D1 indicates a sound data string corresponding to the second feature amount string whose amplitude changes at the second definition.
  • the representative value is not limited to the statistic value of amplitude within a predetermined period in the second feature quantity sequence.
  • the representative value may be the ratio of the maximum value of the first harmonic and the maximum value of the second harmonic within a predetermined period in the second feature quantity sequence, or the logarithm of the ratio.
  • the representative value may be an average value of the maximum value of the first harmonic and the maximum value of the second harmonic.
  • the generation unit 13 may store the generated result data D1 in the storage unit 140 or the like.
  • the processing unit 14 functions, for example, as a vocoder, and generates an audio signal representing a time-domain waveform from the frequency-domain result data D ⁇ b>1 generated by the generation unit 13 .
  • sound generation device 10 includes the processing unit 14, but the embodiment is not limited to this.
  • the sound generation device 10 does not have to include the processing unit 14 .
  • the generation unit 13 uses DNNL1 to process the musical score data D3 and the first feature quantity sequence to generate a first intermediate feature quantity sequence whose amplitude changes over time.
  • the precision of the amplitude time series in the first intermediate feature quantity sequence is higher than the precision of the amplitude time series (first precision) in the first feature quantity sequence.
  • a first intermediate feature value sequence may be displayed in the input area 3 . The user can correct the first intermediate feature quantity sequence displayed in the input area 3 using the operation unit 150 .
  • the generation unit 13 uses DNNL2 to process the musical score data D3 and the first intermediate feature quantity sequence to generate a second intermediate feature quantity sequence whose amplitude changes over time.
  • the precision of the amplitude time series in the second intermediate feature quantity sequence is higher than the precision of the amplitude time series in the first intermediate feature quantity sequence.
  • a second intermediate feature sequence may be displayed in the input area 3 . The user can correct the second intermediate feature quantity sequence displayed in the input area 3 using the operation unit 150 .
  • musical score data is data representing a musical score including a plurality of notes (note strings) arranged on the time axis.
  • Data intervals in various data strings may be shorter or longer than 5 ms, and may be the same or different.
  • the generator 22 generates an input feature quantity sequence from each of the plurality of output feature quantity sequences.
  • the feature quantity eg, amplitude
  • the feature quantity temporally changes with a lower resolution than the time-series resolution of the feature quantity (eg, amplitude) in the output feature quantity sequence.
  • the generation unit 22 extracts the representative value of the amplitude within a predetermined period T including each time point t in the output feature sequence.
  • the interval between two adjacent time points t is, for example, 5 ms
  • the length of the period T is, for example, 3 seconds
  • each time point t is positioned at the center of the period T, for example.
  • the representative value of the amplitude in each period T is the maximum value of the amplitude within the period T, but other statistical values of the amplitude within the period T may be used.
  • the constructing unit 23 prepares a generative model m (untrained or pretrained) composed of a DNN, and stores the extracted reference sound data string, the generated input feature value string, and the storage unit 140 or the like.
  • the generative model m is trained based on the musical score feature value sequence generated from each reference musical score data D4. Through this training, a trained model M that has learned the input/output relationship between the input feature value sequence, the musical score feature value sequence, and the reference sound data sequence is constructed.
  • the prepared generative model m may include one DNNL1 as shown in FIG. 4, or may include a plurality of DNNL1 to L3 as shown in FIG.
  • the constructing unit 23 stores the constructed trained model M in the storage unit 140 or the like.
  • the CPU 130 When the musical score data D3 is selected, the CPU 130 causes the display unit 160 to display the acceptance screen 1 of FIG. 3 (step S2). A reference image 4 based on the musical score data D3 selected in step S1 is displayed in the reference area 2 of the reception screen 1. FIG. Next, the CPU 130 receives the first feature value sequence on the input area 3 of the reception screen 1 (step S3).
  • FIG. 9 is a flowchart showing an example of training processing by the training device 20 of FIG.
  • the training process in FIG. 9 is performed by CPU 130 in FIG. 1 executing a training program stored in storage unit 140 or the like.
  • the CPU 130 acquires a plurality of reference data D2 used for training from the storage unit 140 or the like (step S11).
  • the CPU 130 extracts a reference sound data string from each reference data D2 acquired in step S11 (step S12).
  • the CPU 130 extracts an output feature value sequence (for example, amplitude time series) from each reference data D2 acquired in step S1 (step S13).
  • step S16 determines whether sufficient machine learning has been performed for the generative model m to learn the input/output relationship. If the machine learning is insufficient, the CPU 130 returns to step S15. Steps S15 to S16 are repeated while changing parameters until sufficient machine learning is performed. The number of iterations of machine learning changes according to quality conditions that the trained model M to be constructed should satisfy.
  • the determination in step S16 is made based on a loss function that is an index of quality conditions. For example, the loss function that indicates the difference between the sound data string output by the generative model m for the input feature value string and the reference sound data string attached as a label to the input feature value string is If it is smaller than a predetermined value, it is determined that machine learning is sufficient.
  • the predetermined value may be appropriately set by the user of the processing system 100 according to the desired quality (quality condition). Alternatively, or together with such determination, it may be determined whether or not the number of repetitions has reached a predetermined number.
  • the CPU 130 saves the input/output relationship between the score feature value sequence and the input feature value sequence and the reference sound data sequence as a trained model M (step S17). ), ending the training process.
  • the generative model m obtains an input feature value string (for example, an input feature value string (x)) and a label attached to the input feature value string, "A sound data string corresponding to the input feature value string.
  • a certain reference sound data string for example, reference sound data string (x))” is learned.
  • the sound generation method accepts the first feature amount sequence in which the musical feature amount changes over time, A reference sound corresponding to an input feature value sequence that changes over time at a definition of 1 and an output feature value sequence that changes over time at a second definition whose musical feature value is higher than the first definition.
  • the first feature string is processed to produce a second feature string in which the musical feature changes at a second definition. is generated by a computer.
  • the term "musical feature quantity" indicates that the feature quantity is a musical type (eg, amplitude, pitch, timbre, etc.).
  • the first feature sequence, the input feature sequence, the output feature sequence, and the second feature sequence are all examples of "musical feature” time-series data.
  • the feature amounts showing the change in each of the first feature amount sequence, the input feature amount sequence, the output feature amount sequence, and the second feature amount sequence are all "musical feature amounts”.
  • the musical feature quantity in the received first feature quantity sequence changes roughly (in other words, in the first feature quantity sequence, the musical feature quantity is discrete or intermittent). ), a sound data string corresponding to the second feature quantity string is generated.
  • the musical feature amount changes in detail (in other words, constantly or continuously and rapidly), and natural speech is generated from the sound data string. Therefore, the user does not need to input detailed time series of musical feature quantities.
  • the musical feature amount at each point in the input feature amount sequence may represent the representative value of the musical feature amount within a predetermined period including the relevant point in the output feature amount sequence.
  • the representative value may indicate the statistic value of the musical feature amount within a predetermined period in the output feature amount sequence.
  • the sound generation method may further present a reception screen 1 on which the first feature sequence is displayed along the time axis, and the first feature sequence may be input by the user using the reception screen 1. .
  • the user can easily input the first feature quantity sequence while visually recognizing the position of the musical feature quantity in the first feature quantity sequence on the time axis.
  • the sound generation method may further convert the sound data string representing a frequency-domain waveform into a time-domain waveform.
  • the input feature quantity sequence is generated by extracting a representative value of the musical feature quantity within a predetermined period including the relevant time point in the output feature quantity sequence as the musical feature quantity at each time point in the input feature quantity sequence.
  • the representative value may indicate the statistic value of the musical feature amount within a predetermined period in the output feature amount sequence.
  • the reference data may indicate the sound waveform in the time domain
  • the reference sound data string may indicate the sound waveform in the frequency domain
  • Example using a feature amount other than amplitude the user inputs the maximum value of the amplitude as the control value to control the generated audio signal, but the embodiment is limited to this. not.
  • the control value may be another feature quantity.
  • the points common to and different from the sound generation device 10 and the training device 20 according to the first embodiment will be described for the sound generation device 10 and the training device 20 according to the second embodiment.
  • the sound generation device 10 of this embodiment is the same as the sound generation device 10 of the first embodiment described with reference to FIG. 2, except for the following points.
  • the presentation unit 11 causes the display unit 160 to display the reception screen 1 based on the musical score data D3 selected by the user.
  • FIG. 10 is a diagram showing an example of the reception screen 1 in the second embodiment. As shown in FIG. 10, three input areas 3a, 3b, and 3c are arranged to correspond to the reference area 2 in place of the input area 3 in FIG.
  • the user selects three first patterns in which the feature amounts (in this example, pitch variance) of the three parts of the sound corresponding to each note displayed in the reference image 4 change with time.
  • Each feature amount is input in the input areas 3a, 3b, and 3c, respectively.
  • the first feature value sequence can be input.
  • the time series of the pitch variance of the attack part of the sound corresponding to the note is input in the input area 3a
  • the time series of the pitch variance of the sustain part is input in the input area 3b
  • the pitch variance of the release portion is input in the input area 3c.
  • the pitch variance of the attack portion and the release portion in the 6th and 7th measures of the musical score is large
  • the pitch variance of the sustain portion in the 8th and 9th measures is large.
  • the generation unit 13 uses the trained model M to process the score feature value sequence and the first feature value sequence based on the score data D3 to generate result data D1.
  • the result data D1 includes a second feature quantity sequence that is a time series of pitches that change at the second definition.
  • the generation unit 13 may store the generated result data D1 in the storage unit 140 or the like.
  • the generator 13 also generates an audio signal, which is a waveform in the time domain, based on the result data D1 in the frequency domain, and supplies the audio signal to the sound system. Note that the generation unit 13 may cause the display unit 160 to display the second feature amount sequence included in the result data D1.
  • the training device 20 of this embodiment is similar to the training device 20 of the first embodiment described with reference to FIG. 6, except for the following points.
  • the pitch time series which is the output feature value string to be extracted in step S13 of the training process in FIG. 9, has already been extracted as part of the reference sound data string in step S12 immediately before.
  • the CPU 130 extraction unit 21 extracts the amplitude time series in each of the plurality of reference data D2 not as an output feature quantity sequence but as an index for separating sound into three parts.
  • the CPU 130 converts the pitch time series (output feature amount string) included in the reference sound data string into the sound attack portion, the sound release portion, and the attack portion.
  • the time series of the body part of the sound between the release part and the release part is divided into three parts, and each part is statistically analyzed to obtain the time series of the pitch variance (input feature value sequence) for each part.
  • reception screen 1 includes input areas 3a to 3c, the embodiment is not limited to this.
  • the reception screen 1 may not include any one or two of the input areas 3a, 3b, and 3c.
  • the reception screen 1 does not have to include the reference area 2 .
  • the sound is controlled by inputting three pitch dispersion sequences divided into three parts. It may be controlled.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

音楽的な特徴量が時間的に変化する第１の特徴量列の入力が受付部により受け付けられる。訓練済モデルを用いて、第１の特徴量列を処理して、特徴量が第２の精細度で変化する第２の特徴量列に対応する音データ列が生成部により生成される。訓練済モデルは、特徴量が第１の精細度で時間的に変化する入力特徴量列と、特徴量が第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した機械学習モデルである。

Description

機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム
　本発明は、音を生成することが可能な音生成方法、訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラムに関する。
　使用者により指定された音量の時系列に基づいて音声信号を生成するアプリケーションが知られている。例えば、非特許文献１に記載されたアプリケーションにおいては、使用者による入力音から基本周波数、隠れ変数およびラウドネスが特徴量として抽出される。抽出された特徴量にスペクトラルモデリング合成が行われることにより、音声信号が生成される。
Jesse Engel, Lamtharn Hantrakul, Chenjie Gu and Adam Roberts, "DDSP: Differentiable Digital Signal Processing", arXiv:2001.04643v1 [cs.LG] 14 Jan 2020
　非特許文献１記載のアプリケーションを用いて、人の歌唱または演奏のように自然に変化する音声を示す音声信号を生成するには、使用者は、振幅、音量、ピッチ、音色（Timbre）などのいずれかの音楽的な特徴量の時系列を詳細に指定する必要がある。しかしながら、振幅、音量、ピッチ、音色などのいずれかの音楽的な特徴量の時系列を詳細に指定することは容易ではない。
　本発明の目的は、自然な音声を容易に取得することが可能な音生成方法、訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラムを提供することである。
　本発明の一局面に従う音生成方法は、音楽的な特徴量が時間的に変化する第１の特徴量列を受け付け、音楽的な特徴量が第１の精細度で時間的に変化する入力特徴量列と、音楽的な特徴量が第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルを用いて、第１の特徴量列を処理して、音楽的な特徴量が第２の精細度で変化する第２の特徴量列に対応する音データ列を生成し、コンピュータにより実現される。なお、「音楽的な特徴量」との語は、特徴量が音楽的な種別（例えば、振幅、ピッチ、音色など）であることを示す。第１の特徴量列、入力特徴量列、出力特徴量列、および第２の特徴量列は、いずれも、「音楽的な特徴量（特徴量）」の時系列データの一例である。すなわち、第１の特徴量列、入力特徴量列、出力特徴量列、および第２の特徴量列の各々においてその変化が示される特徴量は、いずれも、「音楽的な特徴量」である。
　本発明の他の局面に従う訓練方法は、音波形を示す参照データから、音楽的な特徴量が所定精細度で時間的に変化する参照音データ列と、その音楽的な特徴量の時系列である出力特徴量列とを抽出し、出力特徴量列から、音楽的な特徴量が所定精細度よりも低い精細度で時間的に変化する入力特徴量列を生成し、入力特徴量列と参照音データ列とを用いた機械学習により、入力特徴量列と参照音データ列との間の入出力関係を習得した訓練済モデルを構築し、コンピュータにより実現される。
　本発明のさらに他の局面に従う音生成装置は、音楽的な特徴量が時間的に変化する第１の特徴量列を受け付ける受付部と、音楽的な特徴量が第１の精細度で時間的に変化する入力特徴量列と、音楽的な特徴量が第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルを用いて、第１の特徴量列を処理して、音楽的な特徴量が第２の精細度で変化する第２の特徴量列に対応する音データ列を生成する生成部とを備える。
　本発明のさらに他の局面に従う訓練装置は、音波形を示す参照データから、音楽的な特徴量が所定精細度で時間的に変化する参照音データ列と、その音楽的な特徴量の時系列である出力特徴量列とを抽出する抽出部と、出力特徴量列から、音楽的な特徴量が所定精細度よりも低い精細度で時間的に変化する入力特徴量列を生成する生成部と、入力特徴量列と参照音データ列とを用いた機械学習により、入力特徴量列と参照音データ列との間の入出力関係を習得した訓練済モデルを構築する構築部とを備える。
　本発明によれば、自然な音声を容易に取得することができる。
本発明の一実施形態に係る音生成装置および訓練装置を含む処理システムの構成を示すブロック図である。 音生成装置の構成を示すブロック図である。 音生成装置の動作例を説明するための図である。 音生成装置の動作例を説明するための図である。 音生成装置の他の動作例を説明するための図である。 訓練装置の構成を示すブロック図である。 訓練装置の動作例を説明するための図である。 図２の音生成装置による音生成処理の一例を示すフローチャートである。 図６の訓練装置による訓練処理の一例を示すフローチャートである。 第２実施形態における受付画面の一例を示す図である。
　（１）処理システムの構成
　以下、本発明の第１実施形態に係る音生成方法、訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラムについて図面を用いて詳細に説明する。図１は、本発明の一実施形態に係る音生成装置および訓練装置を含む処理システムの構成を示すブロック図である。図１に示すように、処理システム１００は、ＲＡＭ（ランダムアクセスメモリ）１１０、ＲＯＭ（リードオンリメモリ）１２０、ＣＰＵ（中央演算処理装置）１３０、記憶部１４０、操作部１５０および表示部１６０を備える。中央演算処理装置としてＣＰＵ１３０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ及び汎用コンピュータのうちの１つ以上であってもよいし、それらのうちの１又は複数を含んでもよい。
　処理システム１００は、例えばＰＣ、タブレット端末またはスマートフォン等のコンピュータにより実現される。あるいは、処理システム１００は、イーサネット等の通信路で接続された複数のコンピュータの共同動作で実現されてもよい。ＲＡＭ１１０、ＲＯＭ１２０、ＣＰＵ１３０、記憶部１４０、操作部１５０および表示部１６０は、バス１７０に接続される。ＲＡＭ１１０、ＲＯＭ１２０およびＣＰＵ１３０により音生成装置１０および訓練装置２０が構成される。本実施形態では、音生成装置１０と訓練装置２０とは共通の処理システム１００により構成されるが、別個の処理システムにより構成されてもよい。
　ＲＡＭ１１０は、例えば揮発性メモリからなり、ＣＰＵ１３０の作業領域として用いられる。ＲＯＭ１２０は、例えば不揮発性メモリからなり、音生成プログラムおよび訓練プログラムを記憶する。ＣＰＵ１３０は、ＲＯＭ１２０に記憶された音生成プログラムをＲＡＭ１１０上で実行することにより音生成処理を行う。また、ＣＰＵ１３０は、ＲＯＭ１２０に記憶された訓練プログラムをＲＡＭ１１０上で実行することにより訓練処理を行う。音生成処理および訓練処理の詳細については後述する。
　音生成プログラムまたは訓練プログラムは、ＲＯＭ１２０ではなく記憶部１４０に記憶されてもよい。あるいは、音生成プログラムまたは訓練プログラムは、コンピュータが読み取り可能な記憶媒体に記憶された形態で提供され、ＲＯＭ１２０または記憶部１４０にインストールされてもよい。あるいは、処理システム１００がインターネット等のネットワークに接続されている場合には、当該ネットワーク上のサーバ（クラウドサーバを含む。）から配信された音生成プログラムがＲＯＭ１２０または記憶部１４０にインストールされてもよい。
　記憶部１４０は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。記憶部１４０には、訓練済モデルＭ、結果データＤ１、複数の参照データＤ２、複数の楽譜データＤ３および複数の参照楽譜データＤ４が記憶される。複数の参照データＤ２と、複数の参照楽譜データＤ４とは、それぞれ対応する。参照データＤ２（音データ）と参照楽譜データＤ４（楽譜データ）とが「対応する」とは、例えば、参照楽譜データＤ４によって示される楽譜の示す楽曲の各音符（および音韻）と、参照データＤ２によって示される波形データの示す楽曲の各音符（および音韻）とが、その演奏タイミング、演奏強度、演奏表現などを含めて相互に同じであることをいう。訓練済モデルＭは、楽譜データＤ３の楽譜特徴量列と制御値（入力特徴量列）とを受け取り、それら楽譜特徴量列と制御値とに従う結果データＤ１（音データ列）を推定する生成モデルである。訓練済モデルＭは、楽譜特徴量列および入力特徴量列と、出力特徴量列に対応する参照音データ列との間の入出力関係を習得し、訓練装置２０により構築される。本例では、訓練済モデルＭはＡＲ（回帰）タイプの生成モデルであるが、非ＡＲタイプの生成モデルであってもよい。
　入力特徴量列は、音楽的な特徴量が第１の精細度（fineness）で時間的に変化する時系列（時系列データ）であり、例えば、音楽的な特徴量が音の時間部分ごとに離散的にないし間欠的にゆっくりと変化する時系列である。出力特徴量列は、音楽的な特徴量が第１の精細度よりも高い第２の精細度で時間的に変化する時系列（時系列データ）であり、例えば、音楽的な特徴量が絶え間なくないし連続的に素早く変化する時系列である。入力特徴量列および出力特徴量列は、各々、特徴量列であり、特徴量列は、音楽的な特徴量の時系列データであり、音楽的な特徴量の時間的な変化を示すデータと言い換えてもよい。音楽的な特徴量は、例えば振幅またはその微分値や、ピッチまたはその微分値であってもよい。音楽的な特徴量は、振幅等に代えて、スペクトル傾斜またはスペクトル重心を含んでもよいし、低域パワーに対する高域パワーの比（高域パワー／低域パワー）を含んでもよい。「音楽的な特徴量」との語は、特徴量が音楽的な種別（例えば、振幅、ピッチ、音色など）であることを示し、以下では、単に「特徴量」と略記することがある。本実施形態における入力特徴量列、出力特徴量列、第１の特徴量列、および第２の特徴量列は、いずれも、「音楽的な特徴量（特徴量）」の時系列データの一例である。すなわち、入力特徴量列、出力特徴量列、第１の特徴量列、および第２の特徴量列の各々においてその変化が示される特徴量は、いずれも、「音楽的な特徴量」である。他方、音データ列は、時間領域の音波形に変換できる周波数領域のデータの列であり、例えば、波形の振幅スペクトル包絡の時系列とピッチの時系列との組み合わせでもよいし、或いは、メルスペクトログラム等でもよい。
　ここで、精細度は、単位時間内の特徴量の数（時間分解能）を意味するのではなく、単位時間内における特徴量の変化の頻度または高い周波数成分の含有量を意味する。すなわち、入力特徴量列は出力特徴量列の精細度を下げて得た特徴量列であって、例えば、出力特徴量列をその大部分で直前の値と同じになるように加工した特徴量列または、出力特徴量列にある種のローパスフィルタを適用して得られる特徴量列等である。ここで、時間分解能については入力特徴量列と、出力特徴量列とで変わらない。
　結果データＤ１は、音生成装置１０により生成された音の特徴量列（後述する第２の特徴量列）に対応する音データ列を示す。参照データＤ２は、訓練済モデルＭを訓練するために用いる波形データ、すなわち音波形のサンプルの時系列（時系列データ）である。そして、音の制御に関連して各波形データから抽出された特徴量（例えば、振幅）の時系列（時系列データ）を出力特徴量列と呼ぶ。楽譜データＤ３および参照楽譜データＤ４は、それぞれ時間軸上に配置された複数の音符（音符列）を含む楽譜を示す。楽譜データＤ３から生成される楽譜特徴量列は、音生成装置１０による結果データＤ１の生成に用いられる。参照データＤ２および参照楽譜データＤ４は、訓練装置２０による訓練済モデルＭの構築に用いられる。
　訓練済モデルＭ、結果データＤ１、参照データＤ２、楽譜データＤ３および参照楽譜データＤ４は、記憶部１４０に記憶されず、コンピュータが読み取り可能な記憶媒体に記憶されていてもよい。あるいは、処理システム１００がネットワークに接続されている場合には、訓練済モデルＭ、結果データＤ１、参照データＤ２、楽譜データＤ３または参照楽譜データＤ４は、当該ネットワーク上のサーバに記憶されていてもよい。
　操作部１５０は、マウス等のポインティングデバイスまたはキーボードを含み、所定の入力を行うために使用者により操作される。表示部１６０は、例えば液晶ディスプレイを含み、所定のＧＵＩ（Graphical User Interface）または音生成処理の結果等を表示する。操作部１５０および表示部１６０は、タッチパネルディスプレイにより構成されてもよい。
　（２）音生成装置
　図２は、音生成装置１０の構成を示すブロック図である。図３および図４は、音生成装置１０の動作例を説明するための図である。図２に示すように、音生成装置１０は、提示部１１、受付部１２、生成部１３および処理部１４を含む。提示部１１、受付部１２、生成部１３および処理部１４の機能は、図１のＣＰＵ１３０が音生成プログラムを実行することにより実現される。提示部１１、受付部１２、生成部１３および処理部１４の少なくとも一部が電子回路等のハードウエアにより実現されてもよい。
　提示部１１は、図３に示すように、使用者からの入力を受け付けるためのＧＵＩとして、受付画面１を表示部１６０に表示させる。受付画面１には、参照領域２および入力領域３が設けられる。参照領域２には、例えば、使用者により選択された楽譜データＤ３に基づいて、複数の音符の時間軸上での位置を表す参照画像４が表示される。参照画像４は、例えばピアノロールである。使用者は、操作部１５０を操作することにより、記憶部１４０等に記憶された複数の楽譜データＤ３から所望の楽譜を示す楽譜データＤ３を選択したり、編集したりすることができる。
　入力領域３は、参照領域２と対応するように配置される。使用者は、図１の操作部１５０を用いて、参照画像４の音符を見ながら、特徴量（本例では振幅）が時間的に変化するように入力領域３上で各特徴量を大雑把に入力する。これにより、第１の特徴量列を入力することができる。図３の入力例では、楽譜の第１～第５小節における振幅は小さく、第６～第７小節における振幅は大きく、第８～第１０小節における振幅はやや大きくなるように振幅の入力が行われている。受付部１２は、入力領域３上に入力された第１の特徴量列を受け付ける。
　記憶部１４０等に記憶された訓練済モデルＭは、図４に示すように、例えばニューラルネットワーク（図４の例ではＤＮＮ（深層ニューラルネットワーク）Ｌ１）を含む。使用者により選択された楽譜データＤ３および入力領域３に入力された第１の特徴量列は、ＤＮＮＬ１に与えられる。生成部１３は、ＤＮＮＬ１を用いて、楽譜データＤ３および第１の特徴量列を処理して、例えば、楽譜におけるピッチの時系列と振幅スペクトル包絡の時系列との組み合わせである結果データＤ１を生成する。結果データＤ１は、振幅が第２の精細度で変化する第２の特徴量列に対応する音データ列を示す。また、結果データＤ１に含まれるピッチの時系列でも、（振幅と同様に）第１の特徴量列に応じて、ピッチが高い精細度（第１の特徴量列の精細度よりも高い精細度）で変化する。なお、結果データは、楽譜における振幅スペクトルの時系列（例えば、メルスペクトログラム）を示す結果データＤ１であってもよい。
　第１の特徴量列における各時点の振幅は、第２の特徴量列において、当該時点を含む所定期間内の振幅の代表値であってもよい。なお、隣り合う２つの時点の間隔は例えば５ｍｓであり、所定期間の長さは例えば３ｓであり、各時点は例えば対応する所定期間の中心に位置する。代表値は、第２の特徴量列における所定期間内の振幅の統計値であってもよい。例えば、代表値は、振幅の最大値、平均値、中央値、最頻値、分散または標準偏差であってもよい。
　しかしながら、代表値は、第２の特徴量列における所定期間内の振幅の統計値に限定されない。例えば、代表値は、第２の特徴量列における所定期間内の振幅の第１高調波の最大値と第２高調波の最大値との比、またはその比の対数値であってもよい。あるいは、代表値は、上記の第１高調波の最大値と第２高調波の最大値との平均値であってもよい。
　生成部１３は、生成された結果データＤ１を記憶部１４０等に記憶させてもよい。処理部１４は、例えばボコーダとして機能し、生成部１３により生成された周波数領域の結果データＤ１から時間領域の波形を示す音声信号を生成する。生成した音声信号を、処理部１４に接続された、スピーカ等を含むサウンドシステムに供給することにより、音声信号に基づく音が出力される。本例では、音生成装置１０は処理部１４を含むが、実施形態はこれに限定されない。音生成装置１０は、処理部１４を含まなくてもよい。
　図３の例では、受付画面１において、入力領域３は参照領域２の下方に配置されるが、実施形態はこれに限定されない。受付画面１において、入力領域３は、参照領域２の上方に配置されてもよい。あるいは、受付画面１において、入力領域３は、参照領域２と重なるように配置されてもよい。
　また、図３の例では、受付画面１は参照領域２を含み、参照領域２に参照画像４が表示されるが、実施形態はこれに限定されない。受付画面１は参照領域２を含まなくてもよい。この場合、使用者は、操作部１５０を用いて、入力領域３上で振幅の所望の時系列を示す描画を行う。これにより、振幅が大雑把に変化する第１の特徴量列を入力することができる。
　図４の例では、訓練済モデルＭは１つのＤＮＮＬ１を含むが、実施形態はこれに限定されない。訓練済モデルＭは、複数のＤＮＮを含んでもよい。図５は、音生成装置１０の他の動作例を説明するための図である。図５の例では、訓練済モデルＭは、３つのＤＮＮＬ１，Ｌ２，Ｌ３を含む。使用者により選択された楽譜データＤ３は、各ＤＮＮＬ１～Ｌ３に与えられる。また、使用者により入力領域３に入力された第１の特徴量列は、ＤＮＮＬ１に与えられる。
　生成部１３は、ＤＮＮＬ１を用いて、楽譜データＤ３および第１の特徴量列を処理して、振幅が時間的に変化する第１の中間特徴量列を生成する。第１の中間特徴量列における振幅の時系列の精細度は、第１の特徴量列における振幅の時系列の精細度（第１の精細度）よりも高い。第１の中間特徴量列は、入力領域３に表示されてもよい。使用者は、操作部１５０を用いて、入力領域３に表示された第１の中間特徴量列を修正することが可能である。
　また、生成部１３は、ＤＮＮＬ２を用いて、楽譜データＤ３および第１の中間特徴量列を処理して、振幅が時間的に変化する第２の中間特徴量列を生成する。第２の中間特徴量列における振幅の時系列の精細度は、第１の中間特徴量列における振幅の時系列の精細度よりも高い。第２の中間特徴量列は、入力領域３に表示されてもよい。使用者は、操作部１５０を用いて、入力領域３に表示された第２の中間特徴量列を修正することが可能である。
　さらに、生成部１３は、ＤＮＮＬ３を用いて、楽譜データＤ３および第２の中間特徴量列を処理して、楽譜におけるピッチの時系列を特定し、特定されたピッチの時系列を示す結果データＤ１を生成する。結果データＤ１により示される第２の特徴量列における振幅の時系列の精細度（第２の精細度）は、第２の中間特徴量列における振幅の時系列の精細度よりも高い。以上に説明したように、Ｌ１は、第１の精細度で特徴量（例えば、振幅）が時間的に変改する特徴量列（入力特徴量列、第１の特徴量列）を入力されると、第１の精細度よりも高い精細度で特徴量が時間的に変化する第１の中間特徴量列を出力してもよい。Ｌ２は、第１の中間特徴量列を入力されると、第１の中間特徴量列の精細度よりも高い精細度で特徴量が時間的に変化する第２の中間特徴量列を出力してもよい。Ｌ３は、第２の中間特徴量列を入力されると、楽譜におけるピッチの時系列を特定し、特定されたピッチの時系列を示す音データ列（参照音データ列、結果データＤ１）を出力してもよい。Ｌ３が出する音データ列に対応する波形の特徴量の時系列データを、第２の特徴量列と呼ぶ。第２の特徴量列において、特徴量は、第２の中間特徴量列の精細度よりも高い精細度で時間的に変化し、つまり、第２の特徴量列の精細度（第２の精細度）は、第２の中間特徴量列の精細度よりも高い。Ｌ１、Ｌ２、Ｌ３の各々には、Ｌ３が出力する音データ列に対応する楽譜データ（参照楽譜データＤ４、楽譜データＤ３）、および、その楽譜データから生成された楽譜特徴量の少なくとも一方が、さらに入力されてもよい。楽譜データは、時間軸上に配置された複数の音符（音符列）を含む楽譜を示すデータである。
　（３）訓練装置
　図６は、訓練装置２０の構成を示すブロック図である。図７は、訓練装置２０の動作例を説明するための図である。図６に示すように、訓練装置２０は、抽出部２１、生成部２２および構築部２３を含む。抽出部２１、生成部２２および構築部２３の機能は、図１のＣＰＵ１３０が訓練プログラムを実行することにより実現される。抽出部２１、生成部２２および構築部２３の少なくとも一部が電子回路等のハードウエアにより実現されてもよい。
　抽出部２１は、記憶部１４０等に記憶された複数の参照データＤ２の各々から参照音データ列と出力特徴量列とを抽出する。参照音データ列は、参照データＤ２が表す時間領域の波形の、周波数領域におけるスペクトルを表すデータであり、例えば、対応する参照データＤ２が示す波形の振幅スペクトル包絡の時系列とピッチの時系列との組み合わせでもよいし、メルスペクトログラム等でもよい。参照データＤ２を所定の時間フレームを用いて周波数解析することにより、所定間隔（例えば、５ｍｓ）ごとの参照音データの列が生成される。出力特徴量列は、参照音データ列に対応する波形の特徴量（例えば、振幅）の時系列であって、前記所定間隔（例えば、５ｍｓ）に対応する所定精細度で時間的に変化する。各種データ列におけるデータ間隔は、５ｍｓより短くてもよいし、長くてもよく、また、相互に同じでもよいし、異なっていてもよい。生成部２２は、複数の出力特徴量列の各々から入力特徴量列を生成する。入力特徴量列においては、出力特徴量列における特徴量（例えば、振幅）の時系列の精細度よりも低い精細度で特徴量（例えば、振幅）が時間的に変化する。
　具体的には、生成部２２は、図７に示すように、出力特徴量列において、各時点ｔを含む所定期間Ｔ内の振幅の代表値を抽出する。なお、隣り合う２つの時点ｔの間隔は例えば５ｍｓであり、期間Ｔの長さは例えば３ｓであり、各時点ｔは例えば期間Ｔの中心に位置する。図８の例では、各期間Ｔの振幅の代表値は、当該期間Ｔ内の振幅の最大値であるが、当該期間Ｔ内の振幅の他の統計値等であってもよい。生成部２２は、抽出された複数の期間Ｔの振幅の代表値をそれぞれ入力特徴量列における複数の時点ｔの振幅として配列することにより、入力特徴量列を生成する。振幅の最大値は、最大３ｓの期間同じ値をとり、時点の間隔５ｍｓに比べて、その値が変化する間隔が数十倍以上長い。つまり、入力特徴量列は出力特徴量列に比べて変化の頻度が低く、言い換えれば、精細度が低い。
　構築部２３は、ＤＮＮで構成される生成モデルｍ（未訓練または予備訓練済）を用意し、抽出された参照音データ列と、生成された入力特徴量列および記憶部１４０等に記憶された各参照楽譜データＤ４から生成される楽譜特徴量列とに基づいて、その生成モデルｍを訓練する。この訓練により、入力特徴量列および楽譜特徴量列と、参照音データ列との間の入出力関係を習得した訓練済モデルＭが構築される。用意される生成モデルｍは、図４に示すように、１つのＤＮＮＬ１を含んでもよいし、図５に示すように、複数のＤＮＮＬ１～Ｌ３を含んでもよい。構築部２３は、構築された訓練済モデルＭを記憶部１４０等に記憶させる。
　（４）音生成処理
　図８は、図２の音生成装置１０による音生成処理の一例を示すフローチャートである。図８の音生成処理は、図１のＣＰＵ１３０が記憶部１４０等に記憶された音生成プログラムを実行することにより行われる。まず、ＣＰＵ１３０は、使用者により楽譜データＤ３が選択されたか否かを判定する（ステップＳ１）。楽譜データＤ３が選択されない場合、ＣＰＵ１３０は、楽譜データＤ３が選択されるまで待機する。
　楽譜データＤ３が選択された場合、ＣＰＵ１３０は、図３の受付画面１を表示部１６０に表示させる（ステップＳ２）。受付画面１の参照領域２には、ステップＳ１で選択された楽譜データＤ３に基づく参照画像４が表示される。次に、ＣＰＵ１３０は、受付画面１の入力領域３上で第１の特徴量列を受け付ける（ステップＳ３）。
　続いて、ＣＰＵ１３０は、訓練済モデルＭを用いて、ステップＳ１で選択された楽譜データＤ３の楽譜特徴量列およびステップＳ４で受け付けられた第１の特徴量列を処理して結果データＤ１を生成する（ステップＳ４）。その後、ＣＰＵ１３０は、ステップＳ４で生成された結果データＤ１から時間領域の波形である音声信号を生成し（ステップＳ５）、音生成処理を終了する。
　（５）訓練処理
　図９は、図６の訓練装置２０による訓練処理の一例を示すフローチャートである。図９の訓練処理は、図１のＣＰＵ１３０が記憶部１４０等に記憶された訓練プログラムを実行することにより行われる。まず、ＣＰＵ１３０は、記憶部１４０等から訓練に用いる複数の参照データＤ２を取得する（ステップＳ１１）。次に、ＣＰＵ１３０は、ステップＳ１１で取得された各参照データＤ２から参照音データ列を抽出する（ステップＳ１２）。また、ＣＰＵ１３０は、ステップＳ１で取得された各参照データＤ２から出力特徴量列（例えば、振幅の時系列）を抽出する（ステップＳ１３）。
　続いて、ＣＰＵ１３０は、ステップＳ３で抽出された出力特徴量列から入力特徴量列（振幅の最大値の時系列）を生成する（ステップＳ１４）。その後、ＣＰＵ１３０は、生成モデルｍを用意し、ステップＳ１で取得された各参照データＤ２に対応する参照楽譜データＤ４に基づく楽譜特徴量列およびステップＳ１４で生成された入力特徴量列と、ステップＳ１２で抽出された参照音データ列とに基づいてその生成モデルｍを訓練することにより、楽譜特徴量列および参照入力特徴量列と、参照音データ列との間の入出力関係を生成モデルｍに機械学習させる（ステップＳ１５）。
　次に、ＣＰＵ１３０は、生成モデルｍが入出力関係を習得するのに十分な機械学習が実行されたか否かを判定する（ステップＳ１６）。機械学習が不十分な場合、ＣＰＵ１３０はステップＳ１５に戻る。十分な機械学習が実行されるまで、パラメータが変化されつつステップＳ１５～Ｓ１６が繰り返される。機械学習の繰り返し回数は、構築される訓練済モデルＭが満たすべき品質条件に応じて変化する。ステップＳ１６の判定は、品質条件の指標となる損失関数に基づいて行われる。例えば、入力された入力特徴量列に対して生成モデルｍが出力する音データ列と、入力された入力特徴量列にラベルとして付与されている参照音データ列との差異を示す損失関数が、所定の値よりも小さくなれば、機械学習が十分と判定される。所定の値は、処理システム１００の利用者によって、所望の品質（品質条件）に応じて適宜設定されてもよい。また、このような判定に代えて、または、このような判定と共に、繰り返し回数が所定の回数に到達したか否かが判定されてもよい。十分な機械学習が実行された場合、ＣＰＵ１３０は、訓練により楽譜特徴量列および入力特徴量列と、参照音データ列との間の入出力関係を習得した訓練済モデルＭとして保存し（ステップＳ１７）、訓練処理を終了する。訓練処理によって、生成モデルｍは、入力特徴量列（例えば、入力特徴量列（ｘ））と、その入力特徴量列にラベルとして付与された「その入力特徴量列に対応する音データ列である、参照音データ列（例えば、参照音データ列（ｘ））」との対応関係を学習する。
　（６）実施形態の効果
　以上説明したように、本実施形態に係る音生成方法は、音楽的な特徴量が時間的に変化する第１の特徴量列を受け付け、音楽的な特徴量が第１の精細度で時間的に変化する入力特徴量列と、音楽的な特徴量が第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルを用いて、第１の特徴量列を処理して、音楽的な特徴量が第２の精細度で変化する第２の特徴量列に対応する音データ列を生成し、コンピュータにより実現される。前述の通り、「音楽的な特徴量」との語は、特徴量が音楽的な種別（例えば、振幅、ピッチ、音色など）であることを示す。第１の特徴量列、入力特徴量列、出力特徴量列、および第２の特徴量列は、いずれも、「音楽的な特徴量」の時系列データの一例である。すなわち、第１の特徴量列、入力特徴量列、出力特徴量列、および第２の特徴量列の各々においてその変化が示される特徴量は、いずれも、「音楽的な特徴量」である。
　この方法によれば、受け付けた第１の特徴量列における音楽的な特徴量の変化が大雑把である（言い換えれば、第１の特徴量列において、音楽的な特徴量が離散的にないし間欠的にゆっくりと変化する）場合でも、第２の特徴量列に対応する音データ列が生成される。第２の特徴量列においては、音楽的な特徴量が詳細に（言い換えれば、絶え間なくないし連続的に素早く）変化し、その音データ列から、自然な音声が生成される。したがって、使用者は、音楽的な特徴量の詳細な時系列を入力する必要がない。
　入力特徴量列における各時点の音楽的な特徴量は、出力特徴量列において、当該時点を含む所定期間内の音楽的な特徴量の代表値を示してもよい。
　代表値は、出力特徴量列における所定期間内の音楽的な特徴量の統計値を示してもよい。
　音生成方法は、第１の特徴量列が時間軸に沿って表示される受付画面１をさらに提示し、第１の特徴量列は、受付画面１を用いて、ユーザにより入力されてもよい。この場合、使用者は、第１の特徴量列における音楽的な特徴量の時間軸上での位置を視認しつつ、第１の特徴量列を容易に入力することができる。
　前記精細度は、単位時間内における前記音楽的な特徴量の変化の頻度、または、前記音楽的な特徴量の高い周波数成分の含有割合を示してもよい。
　前記音生成方法は、さらに、周波数領域の波形を示す前記音データ列を、時間領域の波形へと変換してもよい。
　本実施形態に係る訓練方法は、音波形を示す参照データから、音楽的な特徴量が所定精細度で時間的に変化する参照音データ列と、その音楽的な特徴量の時系列である出力特徴量列とを抽出し、出力特徴量列から、音楽的な特徴量が所定精細度よりも低い精細度で時間的に変化する入力特徴量列を生成し、入力特徴量列と参照音データ列とを用いた機械学習により、入力特徴量列と参照音データ列との間の入出力関係を習得した訓練済モデルを構築し、コンピュータにより実現される。
　この方法によれば、入力される第１の特徴量列における音楽的な特徴量の変化が大雑把である（言い換えれば、第１の特徴量列において、音楽的な特徴量が離散的にないし間欠的にゆっくりと変化する）場合でも、音楽的な特徴量が詳細に（言い換えれば、絶え間なくないし連続的に素早く）変化する第２の特徴量列に対応する音データ列を生成可能な訓練済モデルＭが構築される。
　入力特徴量列は、入力特徴量列における各時点の音楽的な特徴量として、出力特徴量列において、当該時点を含む所定期間内の音楽的な特徴量の代表値を抽出することにより生成されてもよい。
　代表値は、出力特徴量列における所定期間内の音楽的な特徴量の統計値を示してもよい。
　参照データは時間領域の音波形を示してもよく、参照音データ列は周波数領域の音波形を示してもよい。
　（７）振幅以外の特徴量を用いる例
　上記第１実施形態において、使用者は、制御値として振幅の最大値を入力して、生成される音声信号を制御するが、実施形態はこれに限定されない。制御値は他の特徴量でもよい。以下、第２実施形態に係る音生成装置１０および訓練装置２０について、第１実施形態に係る音生成装置１０および訓練装置２０と共通する点および異なる点を説明する。
　本実施形態における音生成装置１０は、以下の点を除いて、図２に関して説明した第１実施形態の音生成装置１０と同様である。提示部１１は、使用者により選択された楽譜データＤ３に基づいて、受付画面１を表示部１６０に表示させる。図１０は、第２実施形態における受付画面１の一例を示す図である。図１０に示すように、本実施形態における受付画面１には、図３の入力領域３に代えて、３つの入力領域３ａ，３ｂ，３ｃが参照領域２と対応するように配置される。
　使用者は、操作部１５０を用いて、参照画像４に表示された各音符に対応する音の３つの部分における特徴量（本例ではピッチの分散）が時間的に変化する３つの第１の特徴量列を、それぞれ入力領域３ａ，３ｂ，３ｃ上で各特徴量を入力する。これにより、第１の特徴量列を入力することができる。第１の特徴量列として、入力領域３ａで、音符に対応する音のアタック部のピッチの分散の時系列が入力され、入力領域３ｂで、サステイン部のピッチの分散の時系列が入力され、入力領域３ｃでリリース部のピッチの分散が入力される。図１０の入力例では、楽譜の第６～第７小節におけるアタック部およびリリース部のピッチの分散が大きく、第８～第９小節におけるサステイン部のピッチの分散が大きい。
　生成部１３は、訓練済モデルＭを用いて、楽譜データＤ３に基づく楽譜特徴量列および第１の特徴量列を処理して、結果データＤ１を生成する。結果データＤ１は、第２の精細度で変化するピッチの時系列である第２の特徴量列を含む。生成部１３は、生成された結果データＤ１を記憶部１４０等に記憶させてもよい。また、生成部１３は、周波数領域の結果データＤ１に基づいて、時間領域の波形である音声信号を生成し、サウンドシステムに供給する。なお、生成部１３は、結果データＤ１に含まれる第２の特徴量列を表示部１６０に表示させてもよい。
　本実施形態における訓練装置２０は、以下の点を除いて、図６に関して説明した第１実施形態の訓練装置２０と同様である。本実施形態においては、図９の訓練処理のステップＳ１３で抽出すべき出力特徴量列であるピッチの時系列は、直前のステップＳ１２において、参照音データ列の一部として抽出済みである。ＣＰＵ１３０（抽出部２１）は、ステップＳ１３において、複数の参照データＤ２の各々における振幅の時系列を、出力特徴量列としてではなく、音を３つの部分に分離する指標として抽出する。
　次のステップＳ１４において、ＣＰＵ１３０は、その振幅の時系列に基づいて、参照音データ列に含まれるピッチの時系列（出力特徴量列）を、音のアタック部、音のリリース部、およびアタック部とリリース部との間の音のボディ部の３部分の時系列に分け、それぞれ統計分析して各部分についてピッチの分散の時系列（入力特徴量列）を求める。
　また、ＣＰＵ１３０（構築部２３）は、ステップＳ１５～Ｓ１６において、各参照データＤ２から生成した参照音データ列と入力特徴量列と対応する参照楽譜データＤ４とに基づいて、機械学習（生成モデルｍの訓練）を繰り返し行うことにより、参照楽譜データに対応する楽譜特徴量列および入力特徴量列と、出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルＭを構築する。
　本実施形態に係る音生成装置１０において、使用者は、第１の特徴量列として各時点のピッチの分散を大雑把に入力することにより、その時点で生成される音の、詳細に変化するピッチの変化幅を効果的に制御できる。また、３部分について第１の特徴量を個別に入力することにより、アタック部、ボディ部およびリリース部のピッチの変化幅を個別に制御できる。なお、受付画面１は入力領域３ａ～３ｃを含むが、実施形態はこれに限定されない。受付画面１は、入力領域３ａ，３ｂ，３ｃのうち、いずれか１つまたは２つの入力領域を含まなくてもよい。また、本実施形態においても、受付画面１は参照領域２を含まなくてもよい。本実施形態では、３部分に分けて３つのピッチの分散列を入力し音を制御したが、３部分に分けることなく、１つのピッチの分散列を入力してアタックからリリースまでの音全体を制御するようにしてもよい。
　１…受付画面，２…参照領域，３，３ａ～３ｃ…入力領域，４…参照画像，１０…音生成装置，１１…提示部，１２…受付部，１３，２２…生成部，１４…処理部，２０…訓練装置，２１…抽出部，２３…構築部，１００…処理システム，１１０…ＲＡＭ，１２０…ＲＯＭ，１３０…ＣＰＵ，１４０…記憶部，１５０…操作部，１６０…表示部，１７０…バス，Ｄ１…結果データ，Ｄ２…参照データ，Ｄ３…楽譜データ，Ｄ４…参照楽譜データ，Ｌ１～Ｌ３…ＤＮＮ，Ｍ…訓練済モデル，ｍ…生成モデル

Claims (14)

  1. 　音楽的な特徴量が時間的に変化する第１の特徴量列を受け付け、
    　前記音楽的な特徴量が第１の精細度で時間的に変化する入力特徴量列と、前記音楽的な特徴量が前記第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルを用いて、前記第１の特徴量列を処理して、前記音楽的な特徴量が前記第２の精細度で変化する第２の特徴量列に対応する音データ列を生成する、
    　コンピュータにより実現される音生成方法。
  2. 　前記入力特徴量列における各時点の前記音楽的な特徴量は、前記出力特徴量列において、当該時点を含む所定期間内の前記音楽的な特徴量の代表値を示す、請求項１記載の音生成方法。
  3. 　前記代表値は、前記出力特徴量列における前記所定期間内の前記音楽的な特徴量の統計値を示す、請求項２記載の音生成方法。
  4. 　前記第１の特徴量列が時間軸に沿って表示される受付画面をさらに提示し、
    　前記第１の特徴量列は、前記受付画面を用いて、ユーザにより入力される、請求項１～３のいずれか一項に記載の音生成方法。
  5. 　前記精細度は、単位時間内における前記音楽的な特徴量の変化の頻度、または、前記音楽的な特徴量の高い周波数成分の含有割合を示す、請求項１～４のいずれか一項に記載の音生成方法。
  6. 　さらに、周波数領域の波形を示す前記音データ列を、時間領域の波形へと変換する、請求項１～５のいずれか一項に記載の音生成方法。
  7. 　音波形を示す参照データから、音楽的な特徴量が所定精細度で時間的に変化する参照音データ列と、その音楽的な特徴量の時系列である出力特徴量列とを抽出し、
    　前記出力特徴量列から、前記音楽的な特徴量が前記所定精細度よりも低い精細度で時間的に変化する入力特徴量列を生成し、
    　前記入力特徴量列と前記参照音データ列とを用いた機械学習により、前記入力特徴量列と前記参照音データ列との間の入出力関係を習得した訓練済モデルを構築する、
    　コンピュータにより実現される訓練方法。
  8. 　前記入力特徴量列は、前記入力特徴量列における各時点の前記音楽的な特徴量として、前記出力特徴量列において、当該時点を含む所定期間内の前記音楽的な特徴量の代表値を抽出することにより生成される、請求項７記載の訓練方法。
  9. 　前記代表値は、前記出力特徴量列における前記所定期間内の前記音楽的な特徴量の統計値を示す、請求項８記載の訓練方法。
  10. 　前記参照データは時間領域の前記音波形を示し、前記参照音データ列は周波数領域の前記音波形を示す、請求項７記載の訓練方法。
  11. 　音楽的な特徴量が時間的に変化する第１の特徴量列を受け付ける受付部と、
    　前記音楽的な特徴量が第１の精細度で時間的に変化する入力特徴量列と、前記音楽的な特徴量が前記第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルを用いて、前記第１の特徴量列を処理して、前記音楽的な特徴量が前記第２の精細度で変化する第２の特徴量列に対応する音データ列を生成する生成部とを備える、音生成装置。
  12. 　音波形を示す参照データから、音楽的な特徴量が所定精細度で時間的に変化する参照音データ列と、その音楽的な特徴量の時系列である出力特徴量列とを抽出する抽出部と、
    　前記出力特徴量列から、前記音楽的な特徴量が前記所定精細度よりも低い精細度で時間的に変化する入力特徴量列を生成する生成部と、
    　前記入力特徴量列と前記参照音データ列とを用いた機械学習により、前記入力特徴量列と前記参照音データ列との間の入出力関係を習得した訓練済モデルを構築する構築部とを備える、訓練装置。
  13. 　１ないし複数のコンピュータに、
    　音楽的な特徴量が時間的に変化する第１の特徴量列を受け付け、
    　前記音楽的な特徴量が第１の精細度で時間的に変化する入力特徴量列と、前記音楽的な特徴量が前記第１の精細度よりも高い第２の精細度で時間的に変化する出力特徴量列に対応する参照音データ列との間の入出力関係を習得した訓練済モデルを用いて、前記第１の特徴量列を処理して、前記音楽的な特徴量が前記第２の精細度で変化する第２の特徴量列に対応する音データ列を生成する
    ステップを行わせる、音生成プログラム。
  14. 　１ないし複数のコンピュータに、
    　音波形を示す参照データから、音楽的な特徴量が所定精細度で時間的に変化する参照音データ列と、その音楽的な特徴量の時系列である出力特徴量列とを抽出し、
    　前記出力特徴量列から、前記音楽的な特徴量が前記所定精細度よりも低い精細度で時間的に変化する入力特徴量列を生成し、
    　前記入力特徴量列と前記参照音データ列とを用いた機械学習により、前記入力特徴量列と前記参照音データ列との間の入出力関係を習得した訓練済モデルを構築する
    ステップを行わせる、訓練プログラム。
PCT/JP2021/045962 2021-02-10 2021-12-14 機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム WO2022172576A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180092886.5A CN116830189A (zh) 2021-02-10 2021-12-14 使用机器学习模型的音生成方法、机器学习模型的训练方法、音生成装置、训练装置、音生成程序及训练程序
US18/447,051 US20230386440A1 (en) 2021-02-10 2023-08-09 Sound generation method using machine learning model, training method for machine learning model, sound generation device, training device, non-transitory computer-readable medium storing sound generation program, and non-transitory computer-readable medium storing training program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-020117 2021-02-10
JP2021020117A JP2022122706A (ja) 2021-02-10 2021-02-10 機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/447,051 Continuation US20230386440A1 (en) 2021-02-10 2023-08-09 Sound generation method using machine learning model, training method for machine learning model, sound generation device, training device, non-transitory computer-readable medium storing sound generation program, and non-transitory computer-readable medium storing training program

Publications (1)

Publication Number Publication Date
WO2022172576A1 true WO2022172576A1 (ja) 2022-08-18

Family

ID=82838644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045962 WO2022172576A1 (ja) 2021-02-10 2021-12-14 機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム

Country Status (4)

Country Link
US (1) US20230386440A1 (ja)
JP (1) JP2022122706A (ja)
CN (1) CN116830189A (ja)
WO (1) WO2022172576A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024062724A (ja) * 2022-10-25 2024-05-10 ヤマハ株式会社 楽音合成方法、楽音合成システムおよびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097332A (ja) * 2016-08-26 2017-06-01 株式会社テクノスピーチ 音声合成装置および音声合成方法
JP2018077283A (ja) * 2016-11-07 2018-05-17 ヤマハ株式会社 音声合成方法
JP2019008206A (ja) * 2017-06-27 2019-01-17 日本放送協会 音声帯域拡張装置、音声帯域拡張統計モデル学習装置およびそれらのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097332A (ja) * 2016-08-26 2017-06-01 株式会社テクノスピーチ 音声合成装置および音声合成方法
JP2018077283A (ja) * 2016-11-07 2018-05-17 ヤマハ株式会社 音声合成方法
JP2019008206A (ja) * 2017-06-27 2019-01-17 日本放送協会 音声帯域拡張装置、音声帯域拡張統計モデル学習装置およびそれらのプログラム

Also Published As

Publication number Publication date
CN116830189A (zh) 2023-09-29
US20230386440A1 (en) 2023-11-30
JP2022122706A (ja) 2022-08-23

Similar Documents

Publication Publication Date Title
CN105513583B (zh) 一种歌曲节奏的显示方法及其系统
CN109952609B (zh) 声音合成方法
US9552741B2 (en) Systems and methods for quantifying a sound into dynamic pitch-based graphs
Howard et al. WinSingad: A real-time display for the singing studio
Papiotis et al. Measuring ensemble interdependence in a string quartet through analysis of multidimensional performance data
KR101325722B1 (ko) 사용자 입력 노래에 대응한 악보 생성 장치와 그 방법
Ogg et al. The time course of sound category identification: Insights from acoustic features
US20230386440A1 (en) Sound generation method using machine learning model, training method for machine learning model, sound generation device, training device, non-transitory computer-readable medium storing sound generation program, and non-transitory computer-readable medium storing training program
JP7124373B2 (ja) 学習装置、音響生成装置、方法及びプログラム
CN112712783B (zh) 生成音乐的方法和装置、计算机设备和介质
CN112669811A (zh) 一种歌曲处理方法、装置、电子设备及可读存储介质
WO2022172577A1 (ja) 機械学習モデルを用いた音生成方法、機械学習モデルの訓練方法、音生成装置、訓練装置、音生成プログラムおよび訓練プログラム
Gu Recognition algorithm of piano playing music in intelligent background
CN110853457B (zh) 可互动的音乐教学指导方法
Mayor et al. Kaleivoicecope: voice transformation from interactive installations to video games
CN203165441U (zh) 交响乐器
JP2020204651A (ja) 音声処理装置、および音声処理方法
Shuster et al. Mapping timbral surfaces in Alpine yodeling: New directions in the analysis of tone color for unaccompanied vocal music
US20240087552A1 (en) Sound generation method and sound generation device using a machine learning model
CN103943098A (zh) 多米索交响乐器
WO2016039465A1 (ja) 音響解析装置
Shuster et al. 9 Mapping timbral surfaces in Alpine yodeling
Devis et al. Neurorack: deep audio learning in hardware synthesizers
Roebel Between physics and perception: Signal models for high level audio processing
KR20240010344A (ko) 악기 연주 교습 방법 및 악기 연주 교습 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21925819

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180092886.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21925819

Country of ref document: EP

Kind code of ref document: A1