WO2020031544A1 - 楽譜データの情報処理装置 - Google Patents

楽譜データの情報処理装置 Download PDF

Info

Publication number
WO2020031544A1
WO2020031544A1 PCT/JP2019/025871 JP2019025871W WO2020031544A1 WO 2020031544 A1 WO2020031544 A1 WO 2020031544A1 JP 2019025871 W JP2019025871 W JP 2019025871W WO 2020031544 A1 WO2020031544 A1 WO 2020031544A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
performance
note
model
musical
Prior art date
Application number
PCT/JP2019/025871
Other languages
English (en)
French (fr)
Inventor
陽 前澤
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to CN201980051783.7A priority Critical patent/CN112567450B/zh
Priority to JP2020536379A priority patent/JP7230919B2/ja
Publication of WO2020031544A1 publication Critical patent/WO2020031544A1/ja
Priority to US17/158,709 priority patent/US11967302B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/105—Composing aid, e.g. for supporting creation, edition or modification of a piece of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments, also rapid repetition of the same note onset, e.g. on a piano, guitar, e.g. rasgueado, drum roll
    • G10H2210/165—Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Definitions

  • the present invention relates to a technique for processing music score data representing a music score of a music piece.
  • Non-Patent Document 1 discloses a technique for generating performance data to which a tendency is added by using a Bayesian model that reflects a tendency of a specific player to perform.
  • Non-Patent Document 1 has a problem that only one type of performance data can be generated from one type of score data. That is, it is not possible to generate various performance data that a specific player has performed in different musical expressions.
  • an object of the present invention is to generate performance data representing various performances to which a music expression is added.
  • an information processing method includes the following. Further, it is possible to provide an information processing apparatus that executes the following, and an information processing program that causes a computer to execute the following. By inputting the musical score data representing the musical score of the musical composition and the fluctuation data representing the factor that fluctuates the performance to the learned model, performance data representing the performance of the musical composition reflecting the fluctuation due to the factor is generated. thing
  • An information processing method includes the following. Further, it is possible to provide an information processing apparatus that executes the following, and an information processing program that causes a computer to execute the following. Inputting first learning data including performance data representing the performance of the music to the first provisional model to generate variation data representing a factor that fluctuates the performance and following a specific probability distribution; By inputting second learning data including musical score data representing the musical score of the musical composition and fluctuation data generated by the first temporary model to the second temporary model, the performance of the musical composition reflecting the fluctuation due to the factors is input.
  • the estimated data generated by the second provisional model approaches the performance data of the first learning data, and the probability distribution of the fluctuation data generated by the first provisional model is Updating a plurality of coefficients defining the first provisional model and a plurality of coefficients defining the second provisional model so as to approach a specific target distribution;
  • FIG. 2 is a block diagram illustrating a configuration of the information processing apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing apparatus according to the first embodiment. It is a schematic diagram of an operation screen.
  • 5 is a flowchart illustrating an operation of the information processing apparatus according to the first embodiment. It is a block diagram which illustrates the composition of the information processor concerning a 2nd embodiment. It is a block diagram which illustrates the functional composition of the information processor concerning a 2nd embodiment.
  • 9 is a flowchart illustrating an operation of the information processing apparatus according to the second embodiment. It is a block diagram which illustrates the composition of the information processor concerning a 3rd and 4th embodiment.
  • FIG. 14 is a flowchart illustrating an operation of the information processing apparatus according to the fourth embodiment.
  • FIG. 14 is a block diagram illustrating a functional configuration of an information processing device according to a modification of the third embodiment.
  • FIG. 11 is a model diagram of a network for performing conversion of musical score data by a preprocessing unit according to the first and second embodiments and a modification of the third and fourth embodiments.
  • FIG. 1 is a block diagram illustrating the configuration of an information processing apparatus 100A according to the first embodiment of the present invention.
  • the information processing apparatus 100A according to the first embodiment is a computer system including a control device 11, a storage device 12, an input device 13, a display device 14, a sound source device 15, and a sound emitting device 16. is there.
  • an information terminal such as a mobile phone, a smartphone, or a personal computer is suitably used as the information processing device 100A.
  • the display device 14 displays various images under the control of the control device 11.
  • a liquid crystal display panel is suitably used as the display device 14.
  • the input device 13 receives an operation by a user.
  • an operation device operated by a user or a touch panel integrated with the display device 14 is used as the input device 13.
  • a sound collection device capable of voice input may be used as the input device 13.
  • the control device 11 is a processing circuit such as a CPU (Central Processing Unit), for example, and controls each element of the information processing device 100A.
  • the storage device 12 is a memory configured by a known recording medium such as a magnetic recording medium or a semiconductor recording medium, and stores a program executed by the control device 11 and various data used by the control device 11. Note that the storage device 12 may be configured by combining a plurality of types of recording media. Further, a portable recording medium that can be attached to and detached from the information processing apparatus 100A, or an external recording medium (for example, an online storage) with which the information processing apparatus 100A can communicate via a communication network can be used as the storage device 12. Good.
  • the storage device 12 of the first embodiment stores the score data S1 representing the score of the music.
  • the musical score data S1 specifies a time series of a plurality of musical notes constituting a musical piece and musical symbols (for example, clef, time signature, change symbol or performance symbol) related to the performance of the musical piece.
  • musical symbols for example, clef, time signature, change symbol or performance symbol
  • a file in a MIDI (Musical @ Instrument @ Digital @ Interface) format or a MusicXML (eXtensible @ Markup @ Language) format is suitable as the musical score data S1.
  • the information processing apparatus 100A of the first embodiment generates performance data Q2 from the musical score data S1 stored in the storage device 12.
  • the performance data Q2 is data representing the performance of the music represented by the musical score data S1.
  • the performance represented by the performance data Q2 is a performance in which a musical expression is added to the musical score represented by the musical score data S1.
  • the music expression is an expressional feature added to the performance due to the musical intention of the player or the habit of the performance operation. For example, various tendencies related to music performance, such as a tendency to play each note shorter than the time specified in the score, or a tendency to play each note ahead or behind the time specified in the score, are used in musical expression. Is generated as the performance data Q2.
  • the sound source device 15 generates the sound signal A according to the performance data Q2.
  • the sound signal A is a time signal representing a sound (for example, a performance sound of a musical instrument) generated by the performance represented by the performance data Q2.
  • the sound emitting device 16 reproduces the sound represented by the sound signal A generated by the sound source device 15.
  • speakers or headphones are suitably used as the sound emitting device 16.
  • the D / A converter for converting the sound signal A generated by the sound source device 15 from digital to analog and the amplifier for amplifying the sound signal A are not shown for convenience.
  • the sound source device 15 and the sound emitting device 16 may be installed outside the information processing device 100A.
  • a sound source device 15 or a sound emitting device 16 separate from the information processing device 100A may be connected to the information processing device 100A by wire or wirelessly.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing apparatus 100A.
  • the control device 11 executes a program stored in the storage device 12 to generate a plurality of functions (the preprocessing unit 21 and the variable control And a post-processing unit 24).
  • the functions of the control device 11 may be realized by a plurality of devices configured separately from each other, or some or all of the functions of the control device 11 may be realized by a dedicated electronic circuit.
  • the preprocessing unit 21 generates score data S2 from the score data S1 stored in the storage device 12.
  • the musical score data S2 is data representing the musical score of the music.
  • the musical score data S2 of the first embodiment is composed of a time series of musical note data N corresponding to a plurality of different musical notes of the music represented by the musical score data S1.
  • the note data N corresponding to any one note (hereinafter, referred to as a “first note”) specifies information relating to the performance of the first note.
  • the note data N of the first note includes at least one type of information among a plurality of types of information (n1 to n10) exemplified below.
  • n1 Time signature of the music (for example, 2/4 time)
  • n2 Key signature of music (for example, C major, A minor, etc.)
  • n3 pitch of the first note (eg MIDI note number)
  • n4 note value of first note (that is, duration)
  • n5 the position of the first note in the measure (eg, the first and second beats in the measure)
  • n6 time difference between the sounding point of the first note with respect to the immediately preceding note
  • n7 playing intensity of the first note (for example, MIDI velocity)
  • n8 performance symbol of the first note (for example, articulation such as staccato)
  • n9 performance speed of the first note (for example, tempo represented by BPM (Beats Per Minute))
  • n10 a feature vector representing the feature of the section including the first note
  • the feature vector n10 is a vector representing a feature of a note sequence of a format such as a piano roll in a section around the first note in a music piece, for example.
  • a feature vector n10 is generated by inputting musical score data S1 into a convolutional neural network (CNN: Convolutional Neural Network) that has been machine-learned.
  • the preprocessing unit 21 generates the score data S2 by specifying the information (n1 to n10) described above for each note by analyzing the score data S1.
  • Information included in the note data N may be expressed as a continuous value or may be expressed in a one-hot expression.
  • the 2 generates performance data Q1 from the musical score data S2 generated by the preprocessing unit 21.
  • the performance data Q1 is data representing the performance of a music piece to which a music expression has been added.
  • the performance data Q1 of the first embodiment is composed of a time series of unit data U corresponding to a plurality of different musical notes of the music represented by the musical score data S2.
  • the estimation processing unit 23 generates the unit data U of the single note from the note data N of each note of the musical score data S2. That is, the unit data U is generated for each musical note of the music.
  • the unit data U corresponding to one arbitrary note hereinafter, referred to as “second note” specifies information relating to the performance of the second note.
  • the second note unit data U includes at least one type of information among a plurality of types of information exemplified below.
  • u1 intensity of the second note (eg, MIDI velocity)
  • u2 The time difference between the sounding point specified by the musical score data S2 as the second note and the sounding point of the second note in the performance (ie, the error of the sounding point during the performance)
  • u3 The difference between the continuation length specified by the musical score data S2 as the second note and the continuation length of the second note due to the performance (that is, the error of the continuation length during the performance)
  • u4 the difference between the performance speed specified by the musical score data S2 as the second note and the performance speed of the second note in the performance (ie, an error in the performance speed during the performance)
  • Information included in the unit data U such as u1 to u4 may be expressed as a continuous value or may be expressed in a one-hot expression.
  • the performance data Q1 composed of the unit data U represents a sharp performance.
  • the sharpness means that a wide range of values can be taken.
  • the unit data U is expressed not by a one-hot expression but by a continuous value, the fluctuation of the unit data U becomes small, and there is a tendency that performance data Q1 which is slightly less sharp compared to a human performance is generated. .
  • the estimation processing unit 23 of the first embodiment generates the performance data Q1 by inputting the score data S2 and the variation data V to the learned model M1.
  • the variation data V is represented by a multidimensional vector representing a factor that varies the performance of the music.
  • the variation data V is also referred to as data representing a music expression added to the performance of the music.
  • the performance data Q1 generated by the estimation processing unit 23 represents the performance of a music piece in which the fluctuation represented by the fluctuation data V is reflected. That is, the performance data Q1 represents a performance to which a music expression corresponding to the variation data V is added.
  • the learned model M1 is a statistical prediction model that has learned the relationship between the input data including the musical score data S2 and the variation data V and the performance data Q1.
  • the learned model M1 is configured by a neural network.
  • the learned model M1 includes a plurality of long-term and short-term memories (LSTM: Long ⁇ Short ⁇ Term ⁇ Memory) connected in series with each other. Therefore, performance data Q1 is generated in which the time series of the note data N of a plurality of successive notes in the score data S2 is reflected.
  • LSTM Long ⁇ Short ⁇ Term ⁇ Memory
  • the learned model M1 includes a program (for example, a program module constituting artificial intelligence software) for causing the control device 11 to execute an operation for generating performance data Q1 from the musical score data S2 and the variation data V, and a plurality of programs applied to the operation. This is realized in combination with the coefficient K1.
  • the plurality of coefficients K1 that define the learned model M1 are set by machine learning (particularly deep learning) using a large amount of learning data and are stored in the storage device 12. The machine learning of the learned model M1 will be described later.
  • the learned model M1 of the first embodiment is configured to include a VAE (Variational @ AutoEncoder) decoder.
  • the trained model M1 is a CVAE (Conditional @ VAE) decoder including a known condition (condition) as an input.
  • the score data S2 corresponds to a known condition of the CVAE
  • the variation data V corresponds to a latent variable of the CVAE.
  • FIG. 2 sets the fluctuation data V variably.
  • the variable control unit 22 according to the first embodiment sets the variation data V according to an instruction from the user to the input device 13.
  • FIG. 3 is a schematic diagram of an operation screen G visually recognized by a user for setting the variation data V.
  • the variable control unit 22 causes the display device 14 to display the operation screen G.
  • the operation screen G is an image including a coordinate plane G1 and an indicator G2.
  • the coordinate plane G1 represents a two-dimensional plane in which the number of dimensions of the variation data V is reduced for convenience.
  • the variable control unit 22 sets the variation data V according to the position of the indicator G2 in the coordinate plane G1.
  • the post-processing unit 24 in FIG. 2 generates performance data Q2 from the performance data Q1 generated by the estimation processing unit 23 and the musical score data S1 stored in the storage device 12. Specifically, the post-processing unit 24 generates the performance data Q2 by changing information about each note specified by the musical score data S1 according to the performance data Q1. For example, the performance intensity of each note specified by the musical score data S1 is changed to the performance intensity u1 specified by the unit data U of the note. The sounding point of each note specified by the musical score data S1 is adjusted according to the time difference u2 specified by the unit data U of the note.
  • the duration of each note specified by the score data S1 is adjusted according to the difference u3 specified by the unit data U, and the performance speed of each note specified by the score data S1 is adjusted by the difference u4 specified by the unit data U. Will be adjusted accordingly.
  • the performance data Q2 generated by the post-processing unit 24 is, for example, a file in the MIDI format or MusicXML format, like the musical score data S1.
  • FIG. 4 is a flowchart illustrating a specific procedure of a process in which the control device 11 generates the performance data Q2 from the musical score data S1. For example, the process of FIG. 4 is started in response to an instruction from the user to the input device 13.
  • variable control unit 22 sets the variation data V in accordance with an instruction from the user to the input device 13 (Sa1).
  • the pre-processing unit 21 generates score data S2 from the score data S1 stored in the storage device 12 (Sa2).
  • the estimation processing unit 23 inputs the musical note data N of each musical note of the musical score data S2 generated by the preprocessing unit 21 and the fluctuation data V set by the variable control unit 22 to the learned model M1, thereby performing the performance data Q1.
  • the unit data U of each note is generated (Sa3).
  • the post-processing unit 24 generates performance data Q2 from the performance data Q1 and the musical score data S1 generated by the estimation processing unit 23 (Sa4).
  • the musical performance data Q1 is generated by inputting the musical score data S2 and the variable fluctuation data V to the learned model M1, so that the musical score data S2 of one music piece is generated.
  • the musical score data S2 of one music piece is generated.
  • the information processing apparatus 100A of the first embodiment generates performance data Q2 from the musical score data S1 and the variation data V.
  • the information processing apparatus 100B according to the second embodiment generates variation data V from musical score data S1 and performance data Q2.
  • FIG. 5 is a block diagram illustrating a configuration of an information processing apparatus 100B according to the second embodiment.
  • the information processing apparatus 100B according to the second embodiment includes a control device 11, a storage device 12, and an input device 13.
  • the storage device 12 of the second embodiment stores musical score data S1 and performance data Q2.
  • the performance data Q2 is stored in the storage device 12 in advance by recording the performance by the user.
  • the performance represented by the performance data Q2 is a performance in which the user arbitrarily adds a musical expression to the musical score represented by the musical score data S1.
  • performance data Q2 representing the performance is stored in the storage device 12.
  • the user can select any one of the performance data Q2 of the plurality of performances stored in the storage device 12 as a processing target. is there.
  • FIG. 6 is a block diagram illustrating a functional configuration of an information processing apparatus 100B according to the second embodiment.
  • the control device 11 executes a program stored in the storage device 12 to generate a plurality of functions (pre-processing unit) for generating variation data V from the musical score data S1 and the performance data Q2. 31, a preprocessing unit 32 and an estimation processing unit 33).
  • the pre-processing unit 31 generates the musical score data S2 from the musical score data S1, similarly to the pre-processing unit 21 of the first embodiment.
  • the score data S2 is composed of a time series of note data N corresponding to a plurality of different notes of the music represented by the score data S1.
  • the pre-processing unit 32 generates the performance data Q1 from the performance data Q2 of the performance selected by the user among the performance data Q2 of the plurality of performances stored in the storage device 12.
  • the performance data Q1 is composed of a time series of unit data U corresponding to a plurality of musical notes different from each other.
  • the preprocessing unit 32 generates performance data Q1 from the performance data Q2 and the musical score data S1. Specifically, the preprocessing unit 32 sequentially generates unit data U specifying a plurality of types of information (u1 to u4) for each note by comparing the performance data Q2 and the musical score data S1.
  • the estimation processing unit 33 generates variation data V from the musical score data S2 generated by the preprocessing unit 31 and the performance data Q1 generated by the preprocessing unit 32. Specifically, for each note, a set of the note data N of the musical score data S2 and the unit data U of the performance data Q1 is sequentially generated, and for each such set, the fluctuation data V is sequentially generated. You. As described above, the variation data V is a vector representing a factor that varies the performance of the music.
  • the variation data V of the second embodiment corresponds to data representing a musical expression added to the performance represented by the performance data Q1. Since the musical expression differs depending on the performance data Q1, the variation data V generated by the estimation processing unit 33 of the second embodiment differs depending on the performance data Q1.
  • the estimation processing unit 33 of the second embodiment generates variation data V by inputting the score data S2 and the performance data Q1 to the learned model M2.
  • the learned model M2 is a statistical prediction model that has learned the relationship between the input data including the musical score data S2 and the performance data Q1 and the variation data V.
  • the learned model M2 is configured by a neural network.
  • the learned model M2 includes a plurality of long-term and short-term memories (LSTM) connected in series with each other. Therefore, variation data V is generated which reflects the time series of the note data N of a plurality of successive notes in the musical score data S2 and the time series of the unit data U of a plurality of successive notes in the performance data Q1. .
  • LSTM long-term and short-term memories
  • the trained model M2 includes a program (for example, a program module configuring artificial intelligence software) for causing the control device 11 to execute an operation for generating variation data V from the musical score data S2 and the performance data Q1, and a plurality of programs applied to the operation. This is realized in combination with the coefficient K2.
  • a plurality of coefficients K2 that define the learned model M2 are set by machine learning (particularly deep learning) using a large amount of learning data and are stored in the storage device 12. The machine learning of the learned model M2 will be described later.
  • the learned model M2 of the second embodiment is configured to include a VAE encoder.
  • the trained model M2 is a CVAE encoder that includes a known condition as an input.
  • the score data S2 corresponds to a known condition of the CVAE
  • the variation data V corresponds to a latent variable of the CVAE. That is, the learned model M2 determines the average and variance of the probability distribution according to the note data N of the musical score data S2 and the unit data U of the performance data Q1, and extracts (samples) the fluctuation data V from the probability distribution. .
  • FIG. 7 is a flowchart illustrating a specific procedure of a process in which the control device 11 generates the variation data V from the musical score data S1 and the performance data Q2. For example, the processing of FIG. 7 is started in response to an instruction from the user to the input device 13.
  • the preprocessing unit 31 When the processing in FIG. 7 is started, the preprocessing unit 31 generates the score data S2 from the score data S1 (Sb1). Further, the preprocessing unit 32 generates performance data Q1 from the performance data Q2 selected by the user by operating the input device 13 (Sb2). Note that the order of generating the musical score data S2 (Sb1) and generating the performance data Q1 (Sb2) may be reversed.
  • the estimation processing unit 33 inputs the note data N of each note of the musical score data S2 generated by the preprocessing unit 31 and the unit data U of each note of the performance data Q1 generated by the preprocessing unit 32 to the learned model M2. Thus, the variation data V is generated for each note (Sb3).
  • the variation data V is generated by inputting the score data S2 and the performance data Q1 to the trained model M2, so that the performance data Q1 is used without using the score data S2.
  • the variation data V is generated using a learned model that has learned the relationship between the variation data V and the variation data V, it is possible to generate appropriate variation data V with reduced dependence on the score.
  • the time series of the fluctuation data V generated by the estimation processing unit 33 is used for various purposes.
  • the music data represented by the variation data V is added to the musical score data S1 of any music other than the music used to generate the variation data V by the configuration of the first embodiment, so that the variation data V represents It is possible to generate performance data Q2 representing a performance when a music expression is added to an arbitrary musical piece.
  • the performance data Q2 representing the performance by the player is supplied in real time to the preprocessing unit 32 in parallel with the performance, and the estimation processing unit 33 transmits the variation data V corresponding to the performance data Q2 in parallel with the performance. May be generated in real time.
  • Performance data Q2 is generated by adding the musical expression of the variation data V to the musical score data S1 of the music played by the player, and the performance data Q2 is supplied to the automatic musical instrument in parallel with the performance by the player.
  • the automatic performance instrument is, for example, a keyboard instrument capable of performing an automatic performance, and performs an automatic performance of a music piece according to the performance data Q2. According to the above configuration, it is possible to automatically play a music piece in parallel with the performance by the same music expression as the performance by the player.
  • FIG. 8 is a block diagram illustrating a configuration of an information processing device 100C according to the third embodiment.
  • the information processing apparatus 100C according to the third embodiment is a machine learning apparatus that generates the learned model M1 according to the first embodiment and the learned model M2 according to the second embodiment by machine learning, as illustrated in FIG. , A control device 11 and a storage device 12.
  • the storage device 12 of the third embodiment stores a plurality of sets of learning data T1 (exemplary first learning data) used for machine learning.
  • the learning data T1 of each set includes musical score data S2 representing the musical score of the musical composition and performance data Q1 representing the performance of the musical composition.
  • the musical score data S2 is composed of a time series of note data N corresponding to a plurality of different musical notes as illustrated in the first embodiment and the second embodiment.
  • the performance data Q1 is composed of a time series of unit data U corresponding to a plurality of different musical notes.
  • a plurality of sets of learning data T1 each including performance data Q1 of a plurality of performances having different musical expressions are stored in the storage device 12 for a plurality of music pieces.
  • FIG. 9 is a block diagram illustrating a functional configuration of an information processing device 100C according to the third embodiment.
  • the control device 11 of the third embodiment executes a program stored in the storage device 12, and thereby the learned model M 1 of the first embodiment and the learned model M 1 of the second embodiment. It functions as a learning processing unit 41 that executes machine learning for generating M2.
  • the learning processing unit 41 includes an update processing unit 42.
  • the update processing unit 42 repeatedly updates a plurality of coefficients K1 defining the learned model M1 and a plurality of coefficients K2 defining the learned model M2.
  • the learning processing unit 41 performs machine learning on the provisional model X and the provisional model Y.
  • the provisional model X (an example of the first provisional model) is a provisional model in the course of learning the learned model M2. That is, the provisional model X at the stage when the updating of the plurality of coefficients K2 is completed by machine learning is used as the learned model M2 of the second embodiment.
  • the provisional model Y (exemplification of the second provisional model) is a provisional model in the course of learning the learned model M1. That is, the provisional model Y at the stage when the updating of the plurality of coefficients K1 has been completed by machine learning is used as the learned model M1 of the first embodiment.
  • the provisional model X is a CVAE encoder that generates variation data V (latent variables) from the learning data T1.
  • the learning data T2 (exemplary second learning data) including the score data S2 of the learning data T1 and the fluctuation data V generated by the temporary model X is input to the temporary model Y.
  • the provisional model Y is a CVAE decoder that generates performance data Q1 (hereinafter referred to as “estimated data Qe”) from the learning data T2.
  • the update processing unit 42 determines that the performance data Q1 of the learning data T1 is close to the estimated data Qe generated by the provisional model Y, and the probability distribution of the fluctuation data V generated by the provisional model X is a specific probability distribution (hereinafter referred to as “target).
  • the plurality of coefficients K2 of the provisional model X and the plurality of coefficients K1 of the provisional model Y are iteratively updated so as to approach the distribution.
  • the target distribution is, for example, a normal distribution N (0,1) having a mean of 0 and a variance of 1.
  • the learning processing unit 41 uses the stochastic gradient descent method to reduce a plurality of coefficients K1 so that the evaluation function F expressed by the following equation (1) decreases (ideally minimizes).
  • a plurality of coefficients K2 are iteratively updated.
  • F La (Q1, Qe) + Lb ( ⁇ (V), N (0,1)) (1)
  • the first term (La (Q1, Qe)) on the right side of equation (1) corresponds to an error between the performance data Q1 and the estimated data Qe.
  • the error La (Q1, Qe) is calculated by summing the error E between the unit data U of the performance data Q1 and the unit data U of the estimation data Qe over a plurality of notes in the music.
  • the second term (Lb ( ⁇ (V), N (0,1)) on the right side of Expression (1) is the probability distribution ⁇ (V) of the fluctuation data V and the target distribution N (0,1). (For example, KL divergence).
  • the performance data Q1 and the estimation data Qe approach each other, and the probability distribution ⁇ (V) of the fluctuation data V changes to the target distribution N (0,1). ).
  • the error E between the unit data U (u1 to u4) of the performance data Q1 and the unit data U (u1 to u4) of the estimation data Qe is the error e1 of the performance intensity u1 and the error e2 of the time difference u2 between the sounding points. This is the sum of the error e3 of the difference u3 in length and the error e4 of the difference u4 in performance speed.
  • the performance intensity u1 corresponds to one of the Z-stage numerical values distributed in the range from the minimum value to the maximum value.
  • the performance intensity u1 is a Z-dimensional performance in which one of the Z elements corresponding to the numerical value of the performance intensity u1 is set to 1, and the remaining (Z-1) elements are set to 0.
  • the error e1 of the performance intensity u1 between the performance data Q1 and the estimation data Qe is, for example, the mutual entropy of the performance intensity vector of the performance data Q1 with respect to the performance intensity vector of the estimation data Qe.
  • the error e2 of the time difference u2 between the sounding points is the absolute value
  • the error e3 of the difference u3 of the continuation length is the difference u3 (Q1) of the continuation length specified by the unit data U of the performance data Q1 and the difference u3 (Qe) of the continuation length specified by the unit data U of the estimated data Qe.
  • the error e4 of the performance speed difference u4 is the difference between the performance speed difference u4 (Q1) specified by the unit data U of the performance data Q1 and the performance speed difference u4 (Qe) specified by the unit data U of the estimated data Qe. Is the absolute value of
  • FIG. 10 is a flowchart illustrating a specific procedure of processing (machine learning method) in which the control device 11 generates the learned model M1 and the learned model M2. For example, the process of FIG. 10 is started in response to an instruction from a user.
  • the learning processing unit 41 inputs the learning data T1 stored in the storage device 12 to the provisional model X (Sc1).
  • the provisional model X generates variation data V corresponding to the learning data T1 (Sc2).
  • the learning processing unit 41 inputs the learning data T2 including the score data S2 of the learning data T1 and the fluctuation data V generated by the temporary model X to the temporary model Y (Sc3).
  • the provisional model Y generates estimated data Qe corresponding to the learning data T2 (Sc4).
  • the update processing unit 42 calculates a plurality of coefficients of the tentative model X such that the performance data Q1 and the estimated data Qe approach and the probability distribution ⁇ (V) of the variation data V approaches the target distribution N (0,1).
  • the learned model M2 that can generate appropriate variation data V with reduced dependence on the score, and the variation data V for the score data S2 of one music piece. It is possible to collectively generate a learned model M1 capable of generating performance data Q1 representing various performances.
  • FIG. 8 illustrates the configuration of the information processing apparatus 100C according to the third embodiment, and also illustrates the configuration of the information processing apparatus 100D according to the fourth embodiment.
  • the information processing apparatuses 100C and 100D according to both embodiments have the same hardware configuration, and include a control device 11 and a storage device 12.
  • the information processing apparatus 100D according to the fourth embodiment also includes, in terms of software configuration, the various elements described above with respect to the first to third embodiments in common. Therefore, for simplicity, elements denoted by the same reference numerals have the same configuration and function unless otherwise specified.
  • the storage device 12 of the fourth embodiment also stores a plurality of sets of learning data T1, similarly to the information processing device 100C of the third embodiment.
  • the performance data Q1 included in the learning data T1 of each set is learning data for learning the provisional model X4, and the score data S2 included in the learning data T1 of each set is used for machine learning of the provisional model Y4. This is learning data.
  • the provisional model X4 is trained, it becomes a trained model M42, and when the provisional model Y4 is trained, it becomes a trained model M41.
  • FIG. 11 is a block diagram illustrating a functional configuration of an information processing apparatus 100D according to the fourth embodiment.
  • the control device 11 of the fourth embodiment executes a program stored in the storage device 12 to execute machine learning for generating two learned models M41 and M42. It functions as the unit 441.
  • the learning processing unit 441 includes an update processing unit 442.
  • the update processing unit 442 repeatedly updates the plurality of coefficients K41 defining the learned model M41 and the plurality of coefficients K42 defining the learned model M42.
  • the learning processing unit 441 performs machine learning on the provisional models X4 and Y4.
  • the provisional model X4 (an example of the first provisional model) is a provisional model in the course of learning the learned model M42. That is, the provisional model X4 at the stage when the updating of the plurality of coefficients K42 is completed by machine learning is used as the learned model M42.
  • the provisional model Y4 (exemplification of the second provisional model) is a provisional model in the course of learning the learned model M41. That is, the provisional model Y4 at the stage when the updating of the plurality of coefficients K41 is completed by machine learning is used as the learned model M41.
  • the learned model M41 is a statistical prediction model that learns the relationship between the input data including the musical score data S2 and the variation data V and the performance data Q1, similarly to the learned model M1 of the first embodiment.
  • the learned model M41 is configured by a neural network.
  • the trained model M41 includes a plurality of long-term and short-term memories (LSTM) connected in series with each other. Therefore, performance data Q1 is generated in which the time series of the note data N of a plurality of successive notes in the score data S2 is reflected.
  • LSTM long-term and short-term memories
  • the learned model M41 includes a program (for example, a program module configuring artificial intelligence software) for causing the control device 11 to execute an operation for generating performance data Q1 from the musical score data S2 and the variation data V, and a plurality of programs applied to the operation. This is realized in combination with the coefficient K41.
  • the plurality of coefficients K41 that define the learned model M41 are set by machine learning (particularly deep learning) using a large amount of learning data and are stored in the storage device 12.
  • the learned model M41 of the fourth embodiment includes a VRNN (Variational Recurrent Neural Network) decoder that is a variant of VAE (Variational AutoEncoder).
  • the trained model M41 is a CVRNN (Conditional @ VRNN) decoder including a known condition (condition) as an input.
  • the score data S2 corresponds to a known condition of the CVRNN
  • the variation data V corresponds to a latent variable (latent) of the CVRNN.
  • the learned model M42 is a statistical prediction model that has learned the relationship between the input data including the performance data Q1 and the variation data V, like the learned model M2 of the second embodiment.
  • the input data does not include the score data S2.
  • the trained model M42 is configured by a neural network.
  • the learned model M42 includes a plurality of long-term and short-term memories (LSTM) connected in series with each other. Therefore, the variation data V reflecting the time series of the unit data U of a plurality of successive notes in the performance data Q1 is generated.
  • LSTM long-term and short-term memories
  • the trained model M42 includes a program (for example, a program module configuring artificial intelligence software) for causing the control device 11 to execute an operation for generating variation data V from the performance data Q1, and a plurality of coefficients K42 applied to the operation. Implemented in combination.
  • the plurality of coefficients K42 that define the learned model M42 are set by machine learning (particularly deep learning) using a large amount of learning data and are stored in the storage device 12.
  • the learned model M42 of the fourth embodiment includes a CVRNN encoder.
  • the fluctuation data V corresponds to a latent variable (latent) of CVRNN. That is, the learned model M42 determines the average and the variance of the probability distribution according to the unit data U of the performance data Q1, and extracts (samples) the fluctuation data V from the probability distribution.
  • the performance data Q1 is input to the tentative model X4 as learning data T41 (an example of first learning data).
  • the provisional model X4 is a CVRNN encoder that generates variation data V (latent variables) from the learning data T41.
  • learning data T42 (example of second learning data) including the musical score data S2 of the learning data T1 and the fluctuation data V generated by the temporary model X4 is input to the temporary model Y4.
  • the provisional model Y4 is a CVRNN decoder that generates performance data Q1 (hereinafter referred to as “estimated data Qe”) from the learning data T42.
  • the update processing unit 442 determines that the performance data Q1 of the learning data T41 and the estimated data Qe generated by the provisional model Y4 are close to each other, and that the probability distribution ⁇ 4 (V) of the fluctuation data V generated by the provisional model X4 is a specific probability distribution.
  • the plurality of coefficients K42 of the provisional model X4 and the plurality of coefficients K41 of the provisional model Y4 are repetitively updated so as to approach (hereinafter, referred to as "target distribution").
  • the target distribution ⁇ 4 ′ (V) of the fourth embodiment is a normal distribution according to the average and the variance of the fluctuation data V output from a predetermined model X4 ′ that is a prior distribution (see FIG. 12).
  • the model X4 ' has a state variable h in common with the provisional model X4.
  • the state variable h is defined by a predetermined model R4 as shown in FIG. 13, and the model R4 of the present embodiment includes the current state variable h, performance data Q1 (may be estimated data Qe), and score data.
  • This is a model in which S2 and variation data V are input and a state variable h corresponding to the next note is output.
  • Both the models X4 'and R4 can be constituted by a neural network. Further, the model R4 can be constituted by an RNN (multi-layer LSTM or the like). Models X4 'and R4 are learned simultaneously with models M41 and M42.
  • the fourth embodiment differs from the third embodiment in that the target distribution ⁇ 4 ′ (V) is learned.
  • the learning processing unit 441 performs the coefficients K41 and K42 by the stochastic gradient descent method so that the evaluation function F4 expressed by the following equation (2) decreases (ideally minimizes).
  • the coefficients K43 and K44 are iteratively updated.
  • F4 La (Q1, Qe) + Lb ( ⁇ 4 (V), ⁇ 4 ′ (V)) (2)
  • the first term (La (Q1, Qe)) on the right side of equation (2) corresponds to an error between the performance data Q1 and the estimated data Qe.
  • the error La (Q1, Qe) is calculated by summing the error E between the unit data U of the performance data Q1 and the unit data U of the estimation data Qe over a plurality of notes in the music.
  • the error E can be calculated as in the third embodiment.
  • the second term (Lb ( ⁇ 4 (V), ⁇ 4 ′ (V))) on the right side of the equation (2) is an error between the probability distribution ⁇ 4 (V) of the fluctuation data V and the target distribution ⁇ 4 ′ (V). (For example, KL divergence).
  • the evaluation function F4 the performance data Q1 and the estimation data Qe approach each other, and the probability distribution ⁇ 4 (V) of the fluctuation data V changes to the target distribution ⁇ 4 ′ (V).
  • the probability distribution ⁇ 4 (V) of the fluctuation data V changes to the target distribution ⁇ 4
  • FIG. 14 is a flowchart illustrating a specific procedure of processing (machine learning method) in which the control device 11 generates the learned models M41 and M42. For example, the processing in FIG. 14 is started in response to an instruction from the user.
  • the learning processing unit 441 inputs the performance data Q1 stored in the storage device 12 as the learning data T41 to the tentative model X4 together with the state variable h (Sd1). Thereby, the probability distribution ⁇ 4 (mean and variance) is derived.
  • the temporary model X4 samples the variation data V from the probability distribution ⁇ 4 and generates variation data V corresponding to the performance data Q1 (Sd2).
  • the learning processing unit 441 inputs the learning data T42 including the musical score data S2 stored in the storage device 12 and the fluctuation data V generated by the temporary model X4 to the temporary model Y4 (Sd3).
  • the provisional model Y4 generates estimated data Qe corresponding to the learning data T42 (Sd4).
  • the learning processing unit 441 inputs the state variable h to the model X4 ', and derives a target distribution ⁇ 4' (mean and variance) (Sd5).
  • the update processing unit 442 includes the current state variable h, the fluctuation data V generated by the provisional model X4, the performance data Q1 stored in the storage device 12 (may be the estimation data Qe generated by the provisional model Y4), and The musical score data S2 stored in the storage device 12 is input to the model R4, and the state variable h is updated (Sd6).
  • the update processing unit 442 updates the provisional models X4 and Y4 and the models X4 'and R4 (Sd7).
  • a plurality of coefficients of the tentative model X4 are set so that the performance data Q1 and the estimated data Qe approach and the probability distribution ⁇ 4 (V) of the variation data V approaches the updated target distribution ⁇ 4 ′ (V).
  • K42, a plurality of coefficients K41 of the provisional model Y4, a plurality of coefficients K43 of the model X4 ', and a plurality of coefficients K44 of the model R4 are updated.
  • the learned model M42 capable of generating the variation data V and the performance data Q1 representing various performances corresponding to the variation data V with respect to the score data S2 of one music piece. Can be generated collectively with the trained model M41 capable of generating.
  • the fourth embodiment has the following advantages over the third embodiment.
  • the variation data V is sampled according to the state variable h in the provisional model X4, but the musical score data S2 is not used for generating the variation data V.
  • the variation data V is separated from the musical context represented by the musical score data S2, and it is possible to express the music expression more abstractly.
  • macro information such as “flow” of a musical piece is obtained instead of micro information (for example, strength or length of one note) in note units.
  • the performance data Q1 depends on the variation data V and the score data S2, but does not depend on the state variable h in the provisional model X4. More precisely, the performance data Q1 depends indirectly via the variation data V on the state variable h in the provisional model X4 behind the variation data V. As a result, the state variable h is prevented from directly participating in the generation of the performance data Q1, and the fluctuation data V is encoded with a rough expression of the performance. In other words, the performance data Q1 obtains micro information from the musical score data S2, and the variation data V and the state variable h in the provisional model X4 are guided to obtain macro information. As the state variable h, a transition that the expression of the performance can take is acquired.
  • the variation data V is more representative of a musical expression, and by simply operating the variation data V, the expression of a consistent performance (for example, overall strength, articulation, etc.) can be manipulated. . Further, the variation data V is expressed in a relatively low dimension and is easy to operate, so that the music expression can be easily changed.
  • the learned models M41 and M42 generated in the fourth embodiment are different from the learned model M1 of the first embodiment and the learned model M2 of the second embodiment, respectively, in that the estimation processing of the information processing apparatus 100A is performed. It can be implemented in the unit 23 and the estimation processing unit 33 of the information processing apparatus 100B.
  • the performance data Q1 representing various performances for one music can be generated by the learned model M41, and the appropriate variation data V with reduced dependence on the score is reduced by the learned model M42. Can be generated.
  • the variation data V is set before the generation of the performance data Q1, but the variable control unit 22 changes the variation data V stepwise or continuously in parallel with the generation of the performance data Q1. May be. That is, the variation data V reflected in the time series of the unit data U corresponding to a plurality of notes of the performance data Q1 changes with time.
  • the preprocessing unit 21 In the first embodiment (FIG. 2), the preprocessing unit 21 generates the musical score data S2 from the musical score data S1, but the musical score data S2 is stored in the storage device 12, and the musical score data S2 is estimated by the estimation processing unit 23. May be entered. In the configuration in which the musical score data S2 is stored in the storage device 12, the preprocessing unit 21 is omitted. Similarly, in the second embodiment (FIG. 6), the preprocessing unit 31 is omitted because the score data S2 stored in the storage device 12 is input to the estimation processing unit 33.
  • the post-processing unit 24 generates the performance data Q2 from the performance data Q1, but the generation of the performance data Q2 (that is, the post-processing unit 24) may be omitted.
  • the preprocessing unit 32 generates the performance data Q1 from the performance data Q2, but the performance data Q1 is stored in the storage device 12, and the performance data Q1 is transmitted to the estimation processing unit 33. You may enter it. In the configuration in which the performance data Q1 is stored in the storage device 12, the preprocessing unit 32 is omitted.
  • the feature vector n10 included in the note data N of each note in the musical score data S2 is generated by a learned model such as a convolutional neural network (CNN).
  • a statistical estimation model (hereinafter, referred to as “feature extraction model”) for generating the feature vector n10 may be generated together with the learned model M1 and the learned model M2 in the process of machine learning in the third embodiment.
  • FIG. 15 is a block diagram illustrating a functional configuration of an information processing device 100C according to a modification of the third embodiment.
  • the learning processing unit 41 includes a preprocessing unit 51 in addition to the same elements (the provisional model X, the provisional model Y, and the update processing unit 42) as in the third embodiment.
  • the preprocessing unit 51 generates musical score data S2 from the musical score data S1, similarly to the preprocessing unit 21 of the first embodiment and the preprocessing unit 31 of the second embodiment.
  • the preprocessing unit 51 is configured to include a provisional feature extraction model 52 that generates a feature vector n10 of the score data S2 from the score data S1.
  • the feature extraction model 52 is, for example, a convolutional neural network defined by a plurality of coefficients.
  • the update processing unit 42 in FIG. 15 performs the processing of the provisional model X such that the performance data Q1 and the estimation data Qe approach and the probability distribution ⁇ (V) of the variation data V approaches the target distribution N (0, 1).
  • the plurality of coefficients K2 and the plurality of coefficients K1 of the provisional model Y and the plurality of coefficients of the provisional feature extraction model 52 are repeatedly updated. By repeatedly updating each coefficient, a learned feature extraction model 52 is generated.
  • the learned feature extraction model 52 is mounted on the preprocessing unit 21 of the first embodiment or the preprocessing unit 31 of the second embodiment, and generates a feature vector n10 in the note data N of the score data S2 from the score data S1. . According to the above configuration, it is possible to generate the feature extraction model 52 that can appropriately extract the feature vector n10 in the note data N of the musical score data S2.
  • the musical score data S2 input to the provisional model Y4 of the fourth embodiment may be generated by the preprocessing unit 51 in which the above-described feature extraction model 52 is mounted. Further, in this case, the provisional model X4, the provisional model Y4, and the feature extraction model 52 may be simultaneously learned in the same manner as described above.
  • the variation data V representing a plurality of different music expressions is generated by the second embodiment, and the variation data V representing an arbitrary music expression can be generated by a combination of the variation data V representing a plurality of music expressions. It is.
  • the estimation processing unit 33 of the second embodiment generates four types of variation data V1 to V4 representing different music expressions.
  • the fluctuation data V1 and the fluctuation data V2 represent music expressions having different performance speeds, and the fluctuation data V3 and the fluctuation data V4 represent music expressions having different performance intensities.
  • the control device 11 generates the fluctuation data Vnew by the calculation of the following equation (2).
  • Vnew a (V1-V2) + b (V3-V4) (2)
  • Equation (2) Symbols a and b in Equation (2) are predetermined constants.
  • the difference (V1 ⁇ V2) in the first term on the right side of Expression (2) is a musical expression corresponding to the difference between the performance speed represented by the variation data V1 and the performance speed represented by the variation data V2.
  • the difference (V3 ⁇ V4) in the second term on the right side of Expression (2) is a musical expression corresponding to the difference between the performance intensity represented by the variation data V3 and the performance intensity represented by the variation data V4. According to the above configuration, it is possible to generate variation data Vnew representing various musical expressions.
  • the interpolation processing may be performed on the fluctuation data V generated by the estimation processing unit 33 of the second embodiment.
  • the estimation processing unit 33 generates variation data Va from the performance data Q2a representing the performance by the player A and the musical score data S1.
  • the estimation processing unit 33 generates variation data Vb from the performance data Q2b representing the performance by the player B and the musical score data S1.
  • the control device 11 performs interpolation processing between the variation data Va and the variation data Vb to convert the variation data V representing an intermediate music expression between the music expression unique to the player A and the music expression unique to the player B. Generate.
  • the functions of the information processing devices 100 are realized by cooperation between a computer (for example, the control device 11) and a program.
  • a program according to a preferred embodiment of the present invention is provided in a form stored in a computer-readable recording medium and installed in a computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disc) such as a CD-ROM is a good example, and a known arbitrary recording medium such as a semiconductor recording medium or a magnetic recording medium is used. In the form of a recording medium.
  • non-transitory recording medium includes any recording medium except for a transient propagation signal (transitory, ⁇ propagating ⁇ signal), and does not exclude a volatile recording medium.
  • the program may be provided to the computer in a form of distribution via a communication network.
  • the execution subject of the artificial intelligence software for realizing the learned model (M1, M2) and the feature extraction model 52 is not limited to the CPU.
  • a processing circuit dedicated to a neural network such as Tensor Processing Unit and Neural Engine, or a DSP (Digital Signal Processor) dedicated to artificial intelligence may execute the artificial intelligence software.
  • a plurality of types of processing circuits selected from the above examples may cooperate to execute the artificial intelligence software.
  • the feature extraction model 53 is a network (CNN-RNN: ⁇ Convolutional ⁇ Recurrent ⁇ Network) combining the CNN and a recurrent neural network (RNN: ⁇ Recurrent ⁇ Neural ⁇ Network).
  • CNN-RNN ⁇ Convolutional ⁇ Recurrent ⁇ Network
  • RNN ⁇ Recurrent ⁇ Neural ⁇ Network
  • connected data M is generated by connecting the above-described vectors n1 to n9 and the above-described feature vector n10 which is the output of the CNN (indicated by reference numeral 531).
  • the linked data M is sequentially generated in units of musical notes.
  • the concatenated data M is sequentially input to the multilayer perceptron 532, and the output of the multilayer perceptron 532 is sequentially embedded in a predetermined number of dimensions using a linear layer (not shown).
  • the embedded vectors are sequentially input to an RNN 533 composed of a gated recursive unit (GRU: ⁇ Gated ⁇ Recurrent ⁇ Unit) stacked in multiple stages. Each stage of the GRU has as many neurons as the dimensions of the embedded vector.
  • GRU gated recursive unit
  • the output of the RNN 533 sequentially acquired and the output of the multilayer perceptron 532 are connected to generate note data N.
  • the musical score data S2 is generated by connecting the musical note data N sequentially generated in the unit of musical note.
  • lower-dimensional musical score data S2 that summarizes the original musical score is generated.
  • the pre-processing unit 51 illustrated in FIG. 15 includes a temporary feature extraction model 53 instead of the temporary feature extraction model 52 that generates the feature vector n10.
  • a feature extraction model 53 can be used instead of the feature extraction model 52.
  • the information processing method includes the steps of: inputting score data representing a musical score of a musical piece and variation data representing a factor that fluctuates a performance to a trained model; And generating performance data representing the performance of the music piece in which the variation caused by the music is reflected.
  • the learned model in the first embodiment is, for example, a CVAE decoder or a CVRNN decoder.
  • the above-described first embodiment corresponds to a specific example of the first mode.
  • the musical score data includes note data corresponding to each of different notes of the musical piece, and the note data corresponding to the first musical note in the musical piece is the musical piece data of the musical piece.
  • the key of the music, the pitch of the first note, the note value of the first note, the position of the first note in a bar, and the pronunciation of the first note relative to the immediately preceding note A time difference between points, a playing intensity of the first note, a playing symbol of the first note, a playing speed of the first note, and a feature vector representing a feature of a section including the first note in the music. , At least one of the following. According to the above aspect, it is possible to generate performance data that appropriately reflects a factor that causes the performance to fluctuate in the music.
  • the performance data includes a plurality of unit data corresponding to each of different notes of the music, and corresponds to a second note in the music.
  • the unit data includes a performance intensity of the second note, a time difference between a sounding point designated by the musical score as the second note and a sounding point of the second note due to the performance, and a designation of the second note by the musical score.
  • the difference between the playing speed of the second note due to the performance and the playing speed of the second note due to the performance Including at least one. According to the above aspect, it is possible to generate performance data that appropriately reflects a factor that causes the performance to fluctuate in the music.
  • the first learning data including the performance data representing the performance of the music is input to the first provisional model, so that the variation representing the factor that causes the performance to vary is provided.
  • Generating second variation data that includes variable data according to a specific probability distribution, score data representing a score of the music, and variation data generated by the first temporary model;
  • a plurality of coefficients defining the first provisional model such that the probability distribution of the fluctuation data generated by the first provisional model approaches a specific target distribution.
  • a trained model capable of generating appropriate variation data with reduced dependency on a musical score, and performance data representing various performances according to the variation data are generated.
  • a possible learned model (a second provisional model after machine learning) can be generated.
  • the above-described third embodiment and fourth embodiment correspond to specific examples of the fourth mode.
  • the first learning data further includes the score data.
  • the above-described third embodiment corresponds to a specific example of the fifth mode.
  • the information processing method includes inputting a state variable of the first tentative model that determines the specific probability distribution to a prior distribution, so that the specific target distribution is determined.
  • the method further includes generating, wherein the coefficient defining the prior distribution is updated along with a plurality of coefficients defining the first provisional model and a plurality of coefficients defining the second provisional model.
  • the above-described fourth embodiment corresponds to a specific example of the sixth aspect.
  • An information processing method is to input a performance data representing a performance of a musical composition to a trained model, thereby obtaining a specific probability distribution Generates a latent variable according to.
  • the variation data is generated by inputting the performance data to the learned model.
  • the learned model in the seventh embodiment is, for example, a CVRNN encoder.
  • the case where the learned model M42 of the fourth embodiment described above is applied to the estimation processing unit 33 of the second embodiment corresponds to a specific example of the seventh aspect.
  • the performance is changed by inputting the musical score data representing the musical score of the musical composition and the performance data representing the musical performance of the musical composition to the learned model.
  • a latent variable according to a specific probability distribution which is a variable representing a factor to be caused to generate, is generated.
  • the variation data is generated by inputting the score data and the performance data to the learned model. Therefore, compared to a configuration in which the variation data is generated using a trained model in which the relationship between the performance data and the variation data is learned without using the score data, appropriate variation data with reduced dependence on the score is generated.
  • the learned model in the eighth embodiment is, for example, a CVAE encoder.
  • the above-described second embodiment corresponds to a specific example of the fifth mode.
  • the preferred embodiment of the present invention is also realized as an information processing apparatus that executes the information processing method of each of the above-described embodiments or a program that causes a computer to execute the information processing method of each of the above-described embodiments.
  • 100A, 100B, 100C, 100D Information processing device
  • 11 Control device
  • 12 Storage device
  • 13 Input device
  • 14 Display device
  • 15 Sound source device
  • 16 Sound emitting device
  • 21 Preprocessing unit
  • 22 ... variable control unit
  • 23 ... estimation processing unit
  • 24 ... post-processing unit
  • 41 ... learning processing unit, 42 ... update processing unit, 51 ... before Processing unit 52, feature extraction model 53, feature extraction model 441 learning processing unit 442 update processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

音楽表現が付加された多様な演奏を表す演奏データを生成するための情報処理方法が提供される。前記情報処理方法は、楽曲の楽譜を表す楽譜データの楽譜データと、演奏を変動させる要因を表す変動データとを、学習済モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す演奏データを生成することを含む。

Description

楽譜データの情報処理装置
　本発明は、楽曲の楽譜を表す楽譜データを処理する技術に関する。
　楽曲の楽譜を表す楽譜データから音楽的な表現（以下「音楽表現」という）が付加された演奏を表す演奏データを生成するための各種の技術が従来から提案されている。例えば非特許文献１には、特定の演奏者による演奏の傾向を反映したベイズモデルを利用して、当該傾向が付加された演奏データを生成する技術が開示されている。
Gerhard Widmer, Sebastian Flossmann, and Maarten Grachten, "YQX Plays Chopin," AI Magazine, Vol 30, No 3, p.35-48, 2009
　しかし、非特許文献１の構成では、１種類の楽譜データから１種類の演奏データしか生成できないという問題がある。すなわち、特定の演奏者が相異なる音楽表現で演奏した多様な演奏データを生成することができない。以上の事情を考慮して、本発明は、音楽表現が付加された多様な演奏を表す演奏データを生成することを目的とする。
　以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、以下のことを含む。また、以下のことを実行する情報処理装置、および、以下のことをコンピュータに実行させる情報処理プログラムを提供することができる。
・楽曲の楽譜を表す楽譜データと、演奏を変動させる要因を表す変動データとを、学習済モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す演奏データを生成すること
　本発明の他の態様に係る情報処理方法は、以下のことを含む。また、以下のことを実行する情報処理装置、および、以下のことをコンピュータに実行させる情報処理プログラムを提供することができる。
・楽曲の演奏を表す演奏データを含む第１学習データを第１暫定モデルに入力することで、演奏を変動させる要因を表す変動変数であって特定の確率分布に従う変動データを生成すること
・前記楽曲の楽譜を表す楽譜データと、前記第１暫定モデルが生成した変動データと、を含む第２学習データを第２暫定モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す推定データを生成すること
・前記第１学習データの前記演奏データと前記第２暫定モデルが生成する前記推定データとが近付き、かつ、前記第１暫定モデルが生成する変動データの確率分布が特定の目標分布に近付くように、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とを更新すること
本発明の第１実施形態に係る情報処理装置の構成を例示するブロック図である。 第１実施形態に係る情報処理装置の機能的な構成を例示するブロック図である。 操作画面の模式図である。 第１実施形態に係る情報処理装置の動作を例示するフローチャートである。 第２実施形態に係る情報処理装置の構成を例示するブロック図である。 第２実施形態に係る情報処理装置の機能的な構成を例示するブロック図である。 第２実施形態に係る情報処理装置の動作を例示するフローチャートである。 第３および第４実施形態に係る情報処理装置の構成を例示するブロック図である。 第３実施形態に係る情報処理装置の機能的な構成を例示するブロック図である。 第３実施形態に係る情報処理装置の動作を例示するフローチャートである。 第４実施形態に係る情報処理装置の機能的な構成を例示するブロック図である。 第４実施形態に係る目標分布を生成するモデルを例示する図である。 第４実施形態に係る状態変数を定義するモデルを例示する図である。 第４実施形態に係る情報処理装置の動作を例示するフローチャートである。 第３実施形態の変形例に係る情報処理装置の機能的な構成を例示するブロック図である。 第１および第２実施形態、並びに第３および第４実施形態の変形例に係る前処理部による楽譜データの変換を行うためのネットワークのモデル図である。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る情報処理装置１００Aの構成を例示するブロック図である。図１に例示される通り、第１実施形態の情報処理装置１００Aは、制御装置１１と記憶装置１２と入力装置１３と表示装置１４と音源装置１５と放音装置１６とを具備するコンピュータシステムである。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末が、情報処理装置１００Aとして好適に利用される。
　表示装置１４は、制御装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルが表示装置１４として好適に利用される。入力装置１３は、利用者による操作を受付ける。例えば、利用者が操作する操作子、または表示装置１４と一体に構成されたタッチパネルが入力装置１３として利用される。また、音声入力が可能な収音装置を入力装置１３として利用してもよい。
　制御装置１１は、例えばCPU（Central Processing Unit）等の処理回路であり、情報処理装置１００Aの各要素を統括的に制御する。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成されたメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、情報処理装置１００Aに対して着脱可能な可搬型の記録媒体、または情報処理装置１００Aが通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
　第１実施形態の記憶装置１２は、楽曲の楽譜を表す楽譜データＳ1を記憶する。楽譜データＳ1は、楽曲を構成する複数の音符の時系列と、当該楽曲の演奏に関する音楽記号（例えば音部記号、拍子記号，変化記号または演奏記号）とを指定する。例えば、MIDI（Musical Instrument Digital Interface）形式またはMusicXML（eXtensible Markup Language）形式のファイルが楽譜データＳ1として好適である。
　第１実施形態の情報処理装置１００Aは、記憶装置１２に記憶された楽譜データＳ1から演奏データＱ2を生成する。演奏データＱ2は、楽譜データＳ1が表す楽曲の演奏を表すデータである。演奏データＱ2が表す演奏は、楽譜データＳ1が表す楽譜に対して音楽表現を付加した演奏である。音楽表現は、演奏者の音楽的な意図または演奏動作の癖等の事情に起因して演奏に付加される表現上の特徴である。例えば、楽譜で指定された時間よりも各音符を短く演奏する傾向、または、楽譜で指定された時点よりも前方または後方で各音符を演奏する傾向など、楽曲の演奏に関する種々の傾向が音楽表現として付加された演奏データＱ2が生成される。
　音源装置１５は、演奏データＱ2に応じた音響信号Ａを生成する。音響信号Ａは、演奏データＱ2が表す演奏で発音される音響（例えば楽器の演奏音）を表す時間信号である。放音装置１６は、音源装置１５が生成した音響信号Ａが表す音響を再生する。例えばスピーカまたはヘッドホンが放音装置１６として好適に利用される。なお、音源装置１５が生成した音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器、および、音響信号Ａを増幅する増幅器の図示は便宜的に省略した。また、音源装置１５および放音装置１６を情報処理装置１００Aの外部に設置してもよい。例えば、情報処理装置１００Aとは別体の音源装置１５または放音装置１６を情報処理装置１００Aに有線または無線で接続してもよい。
　図２は、情報処理装置１００Aの機能的な構成を例示するブロック図である。図２に例示される通り、制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽譜データＳ1から演奏データＱ2を生成するための複数の機能（前処理部２１，変数制御部２２，推定処理部２３および後処理部２４）を実現する。なお、相互に別体で構成された複数の装置で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
　前処理部２１は、記憶装置１２に記憶された楽譜データＳ1から楽譜データＳ2を生成する。楽譜データＳ2は、楽曲の楽譜を表すデータである。第１実施形態の楽譜データＳ2は、楽譜データＳ1が表す楽曲の相異なる複数の音符に対応する音符データＮの時系列で構成される。任意の１個の音符（以下「第１音符」という）に対応する音符データＮは、当該第１音符の演奏に関する情報を指定する。具体的には、第１音符の音符データＮは、以下に例示する複数の種類の情報（ｎ1～ｎ10）のうちの少なくともひとつの種類の情報を含む。
ｎ1：楽曲の拍子（例えば４分の２拍子など）
ｎ2：楽曲の調号（例えばハ長調，イ短調など）
ｎ3：第１音符の音高（例えばMIDIノートナンバ）
ｎ4：第１音符の音価（すなわち継続長）
ｎ5：小節内における第１音符の位置（例えば小節内の第１拍目，第２拍目など）
ｎ6：直前の音符に対する第１音符の発音点の時間差
ｎ7：第１音符の演奏強度（例えばMIDIベロシティ）
ｎ8：第１音符の演奏記号（例えばスタッカート等のアーティキュレーション）
ｎ9：第１音符の演奏速度（例えばＢＰＭ（Beats Per Minute）で表されるテンポ）
ｎ10：第１音符を含む区間の特徴を表す特徴ベクトル
　特徴ベクトルｎ10は、例えば楽曲内で第１音符を中心とした区間内におけるピアノロールのような形式の音符列の特徴を表すベクトルである。例えば、機械学習済の畳込ニューラルネットワーク（CNN：Convolutional Neural Network）に楽譜データＳ1を入力することで特徴ベクトルｎ10が生成される。前処理部２１は、以上に説明した情報（ｎ1～ｎ10）を楽譜データＳ1の解析により音符毎に特定することで楽譜データＳ2を生成する。
　ｎ1～ｎ9のような音符データＮに含まれる情報は、連続値として表現してもよいし、one-hot表現で表現してもよい。
　図２の推定処理部２３は、前処理部２１が生成した楽譜データＳ2から演奏データＱ1を生成する。演奏データＱ1は、音楽表現が付加された楽曲の演奏を表すデータである。第１実施形態の演奏データＱ1は、楽譜データＳ2が表す楽曲の相異なる複数の音符に対応する単位データＵの時系列で構成される。推定処理部２３は、楽譜データＳ2の各音符の音符データＮから当該１個の音符の単位データＵを生成する。すなわち、楽曲の音符毎に単位データＵが生成される。任意の１個の音符（以下「第２音符」という）に対応する単位データＵは、当該第２音符の演奏に関する情報を指定する。具体的には、第２音符の単位データＵは、以下に例示する複数の種類の情報のうちの少なくともひとつの種類の情報を含む。
ｕ1：第２音符の演奏強度（例えばMIDIベロシティ）
ｕ2：楽譜データＳ2が第２音符に指定する発音点と演奏による第２音符の発音点との時間差（すなわち、演奏時における発音点の誤差）
ｕ3：楽譜データＳ2が第２音符に指定する継続長と演奏による第２音符の継続長との差分（すなわち、演奏時における継続長の誤差）
ｕ4：楽譜データＳ2が第２音符に指定する演奏速度と演奏による第２音符の演奏速度との差分（すなわち、演奏時における演奏速度の誤差）
　ｕ1～ｕ4のような単位データＵに含まれる情報は、連続値として表現してもよいし、one-hot表現で表現してもよい。one-hot表現を使用する場合には、単位データＵにより構成される演奏データＱ1は、メリハリのある演奏を表すようになる。なお、メリハリがあるとは、幅広い値をとることができることを意味する。単位データＵがone-hot表現ではなく、連続値で表現される場合には、単位データＵの変動が小さくなり、人間の演奏に比べるとややメリハリに欠ける演奏データＱ1が生成される傾向が生じる。
　図２に例示される通り、第１実施形態の推定処理部２３は、楽譜データＳ2と変動データＶとを学習済モデルＭ1に入力することで演奏データＱ1を生成する。変動データＶは、楽曲の演奏を変動させる要因を表す多次元のベクトルで表現される。変動データＶは、楽曲の演奏に付加される音楽表現を表すデータとも換言される。推定処理部２３が生成する演奏データＱ1は、変動データＶが表す変動が反映された楽曲の演奏を表す。すなわち、演奏データＱ1は、変動データＶに応じた音楽表現が付加された演奏を表す。
　学習済モデルＭ1は、楽譜データＳ2および変動データＶを含む入力データと演奏データＱ1との間の関係を学習した統計的予測モデルである。具体的には、学習済モデルＭ1はニューラルネットワークで構成される。例えば、学習済モデルＭ1は、相互に直列に接続された複数の長短期記憶（LSTM：Long Short Term Memory）を含んで構成される。したがって、楽譜データＳ2において相前後する複数の音符の音符データＮの時系列が反映された演奏データＱ1が生成される。
　学習済モデルＭ1は、楽譜データＳ2および変動データＶから演奏データＱ1を生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋ1との組合せで実現される。学習済モデルＭ1を規定する複数の係数Ｋ1は、多量の学習データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に保持される。学習済モデルＭ1の機械学習については後述する。
　第１実施形態の学習済モデルＭ1は、VAE（Variational AutoEncoder）のデコーダを含んで構成される。具体的には、学習済モデルＭ1は、既知の条件（condition）を入力に含むCVAE（Conditional VAE）のデコーダである。楽譜データＳ2はCVAEの既知の条件に相当し、変動データＶはCVAEの潜在変数（latent）に相当する。
　図２の変数制御部２２は、変動データＶを可変に設定する。第１実施形態の変数制御部２２は、入力装置１３に対する利用者からの指示に応じて変動データＶを設定する。図３は、変動データＶの設定のために利用者が視認する操作画面Ｇの模式図である。変数制御部２２は、表示装置１４に操作画面Ｇを表示させる。操作画面Ｇは、座標平面Ｇ1と指示子Ｇ2とを含む画像である。座標平面Ｇ1は、変動データＶの次元数を便宜的に削減した２次元平面を表す。利用者は、入力装置１３を操作することで、座標平面Ｇ1内における指示子Ｇ2の位置を変更可能である。変数制御部２２は、座標平面Ｇ1内における指示子Ｇ2の位置に応じて変動データＶを設定する。
　図２の後処理部２４は、推定処理部２３が生成した演奏データＱ1と記憶装置１２に記憶された楽譜データＳ1とから演奏データＱ2を生成する。具体的には、後処理部２４は、楽譜データＳ1が指定する各音符に関する情報を演奏データＱ1に応じて変更することで演奏データＱ2を生成する。例えば、楽譜データＳ1が指定する各音符の演奏強度は、当該音符の単位データＵが指定する演奏強度ｕ1に変更される。楽譜データＳ1が指定する各音符の発音点は、当該音符の単位データＵが指定する時間差ｕ2に応じて調整される。また、楽譜データＳ1が指定する各音符の継続長は、単位データＵが指定する差分ｕ3に応じて調整され、楽譜データＳ1が指定する各音符の演奏速度は、単位データＵが指定する差分ｕ4に応じて調整される。後処理部２４が生成する演奏データＱ2は、楽譜データＳ1と同様に、例えばMIDI形式またはMusicXML形式のファイルである。
　図４は、制御装置１１が楽譜データＳ1から演奏データＱ2を生成する処理の具体的な手順を例示するフローチャートである。例えば入力装置１３に対する利用者からの指示を契機として図４の処理が開始される。
　図４の処理を開始すると、変数制御部２２は、入力装置１３に対する利用者からの指示に応じて変動データＶを設定する（Ｓa1）。前処理部２１は、記憶装置１２に記憶された楽譜データＳ1から楽譜データＳ2を生成する（Ｓa2）。推定処理部２３は、前処理部２１が生成した楽譜データＳ2の各音符の音符データＮと変数制御部２２が設定した変動データＶとを、学習済モデルＭ1に入力することで、演奏データＱ1の各音符の単位データＵを生成する（Ｓa3）。後処理部２４は、推定処理部２３が生成した演奏データＱ1と楽譜データＳ1とから演奏データＱ2を生成する（Ｓa4）。
　以上に説明した通り、第１実施形態では、楽譜データＳ2と可変の変動データＶとを学習済モデルＭ1に入力することで演奏データＱ1が生成されるから、ひとつの楽曲の楽譜データＳ2に対して変動データＶに応じた多様な演奏を表す演奏データＱ1を生成することが可能である。
＜第２実施形態＞
　本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。第１実施形態の情報処理装置１００Aは、楽譜データＳ1と変動データＶとから演奏データＱ2を生成した。第２実施形態の情報処理装置１００Bは、楽譜データＳ1と演奏データＱ2とから変動データＶを生成する。
　図５は、第２実施形態における情報処理装置１００Bの構成を例示するブロック図である。図５に例示される通り、第２実施形態の情報処理装置１００Bは、制御装置１１と記憶装置１２と入力装置１３とを具備する。図５に例示される通り、第２実施形態の記憶装置１２は、楽譜データＳ1と演奏データＱ2とを記憶する。演奏データＱ2は、利用者による演奏を収録することで記憶装置１２に事前に記憶される。演奏データＱ2が表す演奏は、楽譜データＳ1が表す楽譜に対して利用者が任意に音楽表現を付加した演奏である。記憶装置１２には、相異なる音楽表現が付加された様々な演奏の各々に対し、当該演奏を表す演奏データＱ2が記憶される。利用者は、入力装置１３を適宜に操作することで、記憶装置１２に記憶された複数の演奏の演奏データＱ2のうち、何れかの演奏の演奏データＱ2を処理対象として選択することが可能である。
　図６は、第２実施形態における情報処理装置１００Bの機能的な構成を例示するブロック図である。図６に例示される通り、制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽譜データＳ1および演奏データＱ2から変動データＶを生成するための複数の機能（前処理部３１，前処理部３２および推定処理部３３）を実現する。
　前処理部３１は、第１実施形態の前処理部２１と同様に、楽譜データＳ1から楽譜データＳ2を生成する。楽譜データＳ2は、前述の通り、楽譜データＳ1が表す楽曲の相異なる複数の音符に対応する音符データＮの時系列で構成される。
　前処理部３２は、記憶装置１２に記憶された複数の演奏の演奏データＱ2のうち利用者が選択した演奏の演奏データＱ2から演奏データＱ1を生成する。演奏データＱ1は、前述の通り、楽曲の相異なる複数の音符に対応する単位データＵの時系列で構成される。前処理部３２は、演奏データＱ2と楽譜データＳ1とから演奏データＱ1を生成する。具体的には、前処理部３２は、演奏データＱ2と楽譜データＳ1とを対比することで、複数の種類の情報（ｕ1～ｕ4）を指定する単位データＵを音符毎に順次に生成する。
　推定処理部３３は、前処理部３１が生成した楽譜データＳ2と前処理部３２が生成した演奏データＱ1とから変動データＶを生成する。具体的には、各音符に対し、楽譜データＳ2の音符データＮと演奏データＱ1の単位データＵとの組が順次に生成され、このような各組に対し、変動データＶが順次に生成される。変動データＶは、前述の通り、楽曲の演奏を変動させる要因を表すベクトルである。第２実施形態の変動データＶは、演奏データＱ1が表す演奏に付加された音楽表現を表すデータに相当する。音楽表現は演奏データＱ1によって相違するから、第２実施形態の推定処理部３３が生成する変動データＶは、演奏データＱ1によって相違する。
　図６に例示される通り、第２実施形態の推定処理部３３は、楽譜データＳ2と演奏データＱ1とを学習済モデルＭ2に入力することで変動データＶを生成する。学習済モデルＭ2は、楽譜データＳ2と演奏データＱ1とを含む入力データと変動データＶとの関係を学習した統計的予測モデルである。具体的には、学習済モデルＭ2はニューラルネットワークで構成される。例えば、学習済モデルＭ2は、学習済モデルＭ1と同様に、相互に直列に接続された複数の長短期記憶（LSTM）を含んで構成される。したがって、楽譜データＳ2において相前後する複数の音符の音符データＮの時系列と、演奏データＱ1において相前後する複数の音符の単位データＵの時系列とが反映された変動データＶが生成される。
　学習済モデルＭ2は、楽譜データＳ2および演奏データＱ1から変動データＶを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋ2との組合せで実現される。学習済モデルＭ2を規定する複数の係数Ｋ2は、多量の学習データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に保持される。学習済モデルＭ2の機械学習については後述する。
　第２実施形態の学習済モデルＭ2は、VAEのエンコーダを含んで構成される。具体的には、学習済モデルＭ2は、既知の条件（condition）を入力に含むCVAEのエンコーダである。楽譜データＳ2はCVAEの既知の条件に相当し、変動データＶはCVAEの潜在変数（latent）に相当する。すなわち、学習済モデルＭ2は、楽譜データＳ2の音符データＮと演奏データＱ1の単位データＵとに応じた確率分布の平均および分散を決定し、当該確率分布から変動データＶを抽出（サンプリング）する。
　図７は、制御装置１１が楽譜データＳ1および演奏データＱ2から変動データＶを生成する処理の具体的な手順を例示するフローチャートである。例えば入力装置１３に対する利用者からの指示を契機として図７の処理が開始される。
　図７の処理を開始すると、前処理部３１は、楽譜データＳ1から楽譜データＳ2を生成する（Ｓb1）。また、前処理部３２は、入力装置１３に対する操作で利用者が選択した演奏データＱ2から演奏データＱ1を生成する（Ｓb2）。なお、楽譜データＳ2の生成（Ｓb1）と演奏データＱ1の生成（Ｓb2）との順序を逆転してもよい。推定処理部３３は、前処理部３１が生成した楽譜データＳ2の各音符の音符データＮと前処理部３２が生成した演奏データＱ1の各音符の単位データＵとを学習済モデルＭ2に入力することで、変動データＶを音符毎に生成する（Ｓb3）。
　以上に説明した通り、第２実施形態では、楽譜データＳ2と演奏データＱ1とを学習済モデルＭ2に入力することで変動データＶが生成されるから、楽譜データＳ2を利用せずに演奏データＱ1と変動データＶとの関係を学習した学習済モデルを利用して変動データＶを生成する構成と比較して、楽譜に対する依存を低減した適切な変動データＶを生成することが可能である。
　推定処理部３３が生成した変動データＶの時系列は種々の用途に利用される。例えば、変動データＶの生成に利用された楽曲以外の任意の楽曲の楽譜データＳ1に対して、変動データＶが表す音楽表現を第１実施形態の構成により付加することで、変動データＶが表す音楽表現を任意の楽曲に付加した場合の演奏を表す演奏データＱ2を生成することが可能である。
　また、演奏者による演奏を表す演奏データＱ2を演奏に並行して前処理部３２に実時間的に供給し、推定処理部３３が、当該演奏データＱ2に応じた変動データＶを演奏に並行して実時間的に生成してもよい。演奏者が演奏する楽曲の楽譜データＳ1に対して変動データＶの音楽表現を付加することで演奏データＱ2が生成され、演奏者による演奏に並行して当該演奏データＱ2が自動演奏楽器に供給される。自動演奏楽器は、例えば自動演奏が可能な鍵盤楽器であり、演奏データＱ2に応じて楽曲の自動演奏を実行する。以上の構成によれば、演奏者による演奏と同様の音楽表現により、当該演奏に並行して楽曲を自動演奏することが可能である。
＜第３実施形態＞
　図８は、第３実施形態における情報処理装置１００Cの構成を例示するブロック図である。第３実施形態の情報処理装置１００Cは、第１実施形態の学習済モデルＭ1と第２実施形態の学習済モデルＭ2とを機械学習により生成する機械学習装置であり、図８に例示される通り、制御装置１１と記憶装置１２とを具備する。
　図８に例示される通り、第３実施形態の記憶装置１２は、機械学習に利用される複数のセットの学習データＴ1（第１学習データの例示）を記憶する。各セットの学習データＴ1は、楽曲の楽譜を表す楽譜データＳ2と、当該楽曲の演奏を表す演奏データＱ1とを含んで構成される。楽譜データＳ2は、第１実施形態および第２実施形態の例示の通り、楽曲の相異なる複数の音符に対応する音符データＮの時系列で構成される。演奏データＱ1は、第１実施形態および第２実施形態の例示の通り、楽曲の相異なる複数の音符に対応する単位データＵの時系列で構成される。音楽表現を相違させた複数の演奏の演奏データＱ1をそれぞれ含む複数のセットの学習データＴ1が、複数の楽曲について記憶装置１２に記憶される。
　図９は、第３実施形態に係る情報処理装置１００Cの機能的な構成を例示するブロック図である。図９に例示される通り、第３実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、第１実施形態の学習済モデルＭ1と第２実施形態の学習済モデルＭ2とを生成する機械学習を実行する学習処理部４１として機能する。学習処理部４１は、更新処理部４２を含んで構成される。更新処理部４２は、学習済モデルＭ1を規定する複数の係数Ｋ1と学習済モデルＭ2を規定する複数の係数Ｋ2とを反復的に更新する。
　図９に例示される通り、学習処理部４１は、暫定モデルＸと暫定モデルＹとについて機械学習を実行する。暫定モデルＸ（第１暫定モデルの例示）は、学習済モデルＭ2の学習の過程にある暫定的なモデルである。すなわち、機械学習により複数の係数Ｋ2の更新が完了した段階の暫定モデルＸが、第２実施形態の学習済モデルＭ2として利用される。他方、暫定モデルＹ（第２暫定モデルの例示）は、学習済モデルＭ1の学習の過程にある暫定的なモデルである。すなわち、機械学習により複数の係数Ｋ1の更新が完了した段階の暫定モデルＹが、第１実施形態の学習済モデルＭ1として利用される。
　図９に例示される通り、楽譜データＳ2と演奏データＱ1とを含む学習データＴ1が暫定モデルＸに入力される。暫定モデルＸは、学習データＴ1から変動データＶ（潜在変数）を生成するCVAEのエンコーダである。他方、暫定モデルＹには、学習データＴ1の楽譜データＳ2と暫定モデルＸが生成した変動データＶとを含む学習データＴ2（第２学習データの例示）が入力される。暫定モデルＹは、学習データＴ2から演奏データＱ1（以下「推定データＱe」という）を生成するCVAEのデコーダである。
　更新処理部４２は、学習データＴ1の演奏データＱ1と暫定モデルＹが生成する推定データＱeとが近付き、かつ、暫定モデルＸが生成する変動データＶの確率分布が特定の確率分布（以下「目標分布」という）に近付くように、暫定モデルＸの複数の係数Ｋ2と暫定モデルＹの複数の係数Ｋ1とを反復的に更新する。目標分布は、例えば平均０および分散１の正規分布Ｎ(0,1)である。具体的には、学習処理部４１は、以下の数式(1)で表現される評価関数Ｆが減少する（理想的には最小化される）ように、確率的勾配降下法により複数の係数Ｋ1と複数の係数Ｋ2とを反復的に更新する。
　Ｆ＝Ｌa(Ｑ1,Ｑe)＋Ｌb(λ(Ｖ),Ｎ(0,1))　…(1)
　数式(1)の右辺の第１項（Ｌa(Ｑ1,Ｑe)）は、演奏データＱ1と推定データＱeとの誤差に相当する。なお、実際には、演奏データＱ1の単位データＵと推定データＱeの単位データＵとの誤差Ｅを楽曲内の複数の音符にわたり合計することで誤差Ｌa(Ｑ1,Ｑe)が算定される。他方、数式(1)の右辺の第２項（Ｌb(λ(Ｖ),Ｎ(0,1))）は、変動データＶの確率分布λ(Ｖ)と目標分布Ｎ(0,1)との誤差（例えばＫＬダイバージェンス）に相当する。以上の説明から理解される通り、評価関数Ｆを最小化することで、演奏データＱ1と推定データＱeとが近付き、かつ、変動データＶの確率分布λ(Ｖ)が目標分布Ｎ(0,1)に近付く。
　演奏データＱ1の単位データＵ（ｕ1～ｕ4）と推定データＱeの単位データＵ（ｕ1～ｕ4）との誤差Ｅは、演奏強度ｕ1の誤差ｅ1と、発音点の時間差ｕ2の誤差ｅ2と、継続長の差分ｕ3の誤差ｅ3と、演奏速度の差分ｕ4の誤差ｅ4との合計である。
　演奏強度ｕ1は、本実施形態では、最小値と最大値までの範囲内に分布するＺ段階の数値の何れかに該当する。演奏強度ｕ1は、Ｚ個の要素のうち当該演奏強度ｕ1の数値に対応する１個の要素が１に設定され、残余の(Ｚ－１)個の要素が０に設定されたＺ次元の演奏強度ベクトルで表現される（one-hot表現）。演奏データＱ1と推定データＱeとの間における演奏強度ｕ1の誤差ｅ1は、例えば、推定データＱeの演奏強度ベクトルに対する演奏データＱ1の演奏強度ベクトルの相互エントロピである。
　発音点の時間差ｕ2の誤差ｅ2は、演奏データＱ1の単位データＵが指定する時間差ｕ2（Ｑ1）と推定データＱeの単位データＵが指定する時間差ｕ2（Ｑe）との差分の絶対値|ｕ2(Ｑe)－ｕ2(Ｑ1)｜である。同様に、継続長の差分ｕ3の誤差ｅ3は、演奏データＱ1の単位データＵが指定する継続長の差分ｕ3（Ｑ1）と推定データＱeの単位データＵが指定する継続長の差分ｕ3（Ｑe）との差分の絶対値|ｕ3(Ｑe)－ｕ3(Ｑ1)｜である。演奏速度の差分ｕ4の誤差ｅ4は、演奏データＱ1の単位データＵが指定する演奏速度の差分ｕ4（Ｑ1）と推定データＱeの単位データＵが指定する演奏速度の差分ｕ4（Ｑe）との差分の絶対値|ｕ4(Ｑe)－ｕ4(Ｑ1)｜である。
　図１０は、制御装置１１が学習済モデルＭ1および学習済モデルＭ2を生成する処理（機械学習方法）の具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として図１０の処理が開始される。
　図１０の処理を開始すると、学習処理部４１は、記憶装置１２に記憶された学習データＴ1を暫定モデルＸに入力する（Ｓc1）。暫定モデルＸは、学習データＴ1に応じた変動データＶを生成する（Ｓc2）。学習処理部４１は、学習データＴ1の楽譜データＳ2と暫定モデルＸが生成した変動データＶとを含む学習データＴ2を暫定モデルＹに入力する（Ｓc3）。暫定モデルＹは、学習データＴ2に応じた推定データＱeを生成する（Ｓc4）。更新処理部４２は、演奏データＱ1と推定データＱeとが近付き、かつ、変動データＶの確率分布λ(Ｖ)が目標分布Ｎ(0,1)に近付くように、暫定モデルＸの複数の係数Ｋ2と暫定モデルＹの複数の係数Ｋ1とを更新する（Ｓc5）。以上に説明した処理（Ｓc1～Ｓc5）が複数のセットの学習データＴ1について反復されることで、学習済モデルＭ1および学習済モデルＭ2が生成される。
　以上に説明した通り、第３実施形態によれば、楽譜に対する依存を低減した適切な変動データＶを生成可能な学習済モデルＭ2と、ひとつの楽曲の楽譜データＳ2に対して変動データＶに応じた多様な演奏を表す演奏データＱ1を生成可能な学習済モデルＭ1とを一括的に生成することが可能である。
＜第４実施形態＞
　図８は、第３実施形態における情報処理装置１００Cの構成を例示するとともに、第４実施形態における情報処理装置１００Dの構成も例示する。両実施形態に係る情報処理装置１００Cおよび１００Dは、ハードウェア構成の面では同一であり、制御装置１１と記憶装置１２とを具備する。また、第４実施形態における情報処理装置１００Dは、ソフトウェア構成の面でも、第１実施形態から第３実施形態に関してこれまでに説明した様々な要素を共通して備える。よって、簡単のため、同じ参照符号を付した要素については、特に断らない限り、同じ構成および機能を有するものとする。
　図８に例示される通り、第４実施形態の記憶装置１２も、第３実施形態における情報処理装置１００Cと同様に、複数のセットの学習データＴ1を記憶する。各セットの学習データＴ1に含まれる演奏データＱ1は、暫定モデルＸ4を学習するための学習データであり、各セットの学習データＴ1に含まれる楽譜データＳ2は、暫定モデルＹ4を機械学習するための学習データである。暫定モデルＸ4が訓練されると、学習済モデルＭ42となり、暫定モデルＹ4が訓練されると、学習済モデルＭ41となる。
　図１１は、第４実施形態に係る情報処理装置１００Dの機能的な構成を例示するブロック図である。図１１に例示される通り、第４実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、２つの学習済モデルＭ41およびＭ42を生成する機械学習を実行する学習処理部４４１として機能する。学習処理部４４１は、更新処理部４４２を含む。更新処理部４４２は、学習済モデルＭ41を規定する複数の係数Ｋ41と学習済モデルＭ42を規定する複数の係数Ｋ42とを反復的に更新する。
　学習処理部４４１は、暫定モデルＸ4およびＹ4について機械学習を実行する。暫定モデルＸ4（第１暫定モデルの例示）は、学習済モデルＭ42の学習の過程にある暫定的なモデルである。すなわち、機械学習により複数の係数Ｋ42の更新が完了した段階の暫定モデルＸ4が、学習済モデルＭ42として利用される。他方、暫定モデルＹ4（第２暫定モデルの例示）は、学習済モデルＭ41の学習の過程にある暫定的なモデルである。すなわち、機械学習により複数の係数Ｋ41の更新が完了した段階の暫定モデルＹ4が、学習済モデルＭ41として利用される。
　学習済モデルＭ41は、第１実施形態の学習済モデルＭ1と同様に、楽譜データＳ2および変動データＶを含む入力データと演奏データＱ1との間の関係を学習した統計的予測モデルである。具体的には、学習済モデルＭ41はニューラルネットワークで構成される。例えば、学習済モデルＭ41は、相互に直列に接続された複数の長短期記憶（LSTM）を含む。したがって、楽譜データＳ2において相前後する複数の音符の音符データＮの時系列が反映された演奏データＱ1が生成される。
　学習済モデルＭ41は、楽譜データＳ2および変動データＶから演奏データＱ1を生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋ41との組合せで実現される。学習済モデルＭ41を規定する複数の係数Ｋ41は、多量の学習データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に保持される。
　第４実施形態の学習済モデルＭ41は、VAE（Variational AutoEncoder）の亜種であるVRNN(Variational Recurrent Neural Network)のデコーダを含む。具体的には、学習済モデルＭ41は、既知の条件（condition）を入力に含むCVRNN（Conditional VRNN）のデコーダである。楽譜データＳ2はCVRNNの既知の条件に相当し、変動データＶはCVRNNの潜在変数（latent）に相当する。
　一方、学習済モデルＭ42は、第２実施形態の学習済モデルＭ2と同様に、演奏データＱ1を含む入力データと変動データＶとの関係を学習した統計的予測モデルである。ただし、学習済モデルＭ2と異なり、入力データに、楽譜データＳ2は含まれない。具体的には、学習済モデルＭ42はニューラルネットワークで構成される。例えば、学習済モデルＭ42は、学習済モデルＭ41と同様に、相互に直列に接続された複数の長短期記憶（LSTM）を含む。したがって、演奏データＱ1において相前後する複数の音符の単位データＵの時系列が反映された変動データＶが生成される。
　学習済モデルＭ42は、演奏データＱ1から変動データＶを生成する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数Ｋ42との組合せで実現される。学習済モデルＭ42を規定する複数の係数Ｋ42は、多量の学習データを利用した機械学習（特に深層学習）により設定されて記憶装置１２に保持される。
　第４実施形態の学習済モデルＭ42は、CVRNNのエンコーダを含む。具体的には、変動データＶはCVRNNの潜在変数（latent）に相当する。すなわち、学習済モデルＭ42は、演奏データＱ1の単位データＵに応じた確率分布の平均および分散を決定し、当該確率分布から変動データＶを抽出（サンプリング）する。
　図１１に例示される通り、演奏データＱ1は、学習データＴ41（第１学習データの例示）として、暫定モデルＸ4に入力される。暫定モデルＸ4は、学習データＴ41から変動データＶ（潜在変数）を生成するCVRNNのエンコーダである。他方、暫定モデルＹ4には、学習データＴ1の楽譜データＳ2と暫定モデルＸ4が生成した変動データＶとを含む学習データＴ42（第２学習データの例示）が入力される。暫定モデルＹ4は、学習データＴ42から演奏データＱ1（以下「推定データＱe」という）を生成するCVRNNのデコーダである。
　更新処理部４４２は、学習データＴ41の演奏データＱ1と暫定モデルＹ4が生成する推定データＱeとが近付き、かつ、暫定モデルＸ4が生成する変動データＶの確率分布λ4（Ｖ）が特定の確率分布（以下「目標分布」という）に近付くように、暫定モデルＸ4の複数の係数Ｋ42と暫定モデルＹ4の複数の係数Ｋ41とを反復的に更新する。第４実施形態の目標分布λ4'（Ｖ）は、事前分布である所定のモデルＸ4'から出力される、変動データＶの平均および分散に従う正規分布である（図１２参照）。モデルＸ4'は、暫定モデルＸ4と共通する状態変数ｈを有する。状態変数ｈは、図１３に示されるような所定のモデルＲ4により定義され、本実施形態のモデルＲ4は、現在の状態変数ｈ、演奏データＱ1（推定データＱeであってもよい）、楽譜データＳ2および変動データＶを入力とし、次の音符に対応する状態変数ｈを出力するモデルである。モデルＸ4'およびＲ4は、いずれもニューラルネットワークにより構成することができる。また、モデルＲ4は、ＲＮＮ（多層ＬＳＴＭ等）により構成し得る。モデルＸ4'およびＲ4は、モデルＭ41およびＭ42と同時に学習される。すなわち、モデルＸ4'の複数の係数Ｋ43およびモデルＲ4の複数の係数Ｋ44は、モデルＭ41およびＭ42の学習過程において、暫定モデルＸ4およびＹ4とともに反復的に更新される。このように、第４実施形態は、目標分布λ4'（Ｖ）が学習される点で、第３実施形態と異なる。
　具体的には、学習処理部４４１は、以下の数式(2)で表現される評価関数Ｆ4が減少する（理想的には最小化される）ように、確率的勾配降下法により係数Ｋ41およびＫ42、並びに係数Ｋ43およびＫ44を反復的に更新する。
　Ｆ4＝Ｌa (Ｑ1,Ｑe)＋Ｌb (λ4(Ｖ), λ4'（Ｖ）)  …(2)
　数式(2)の右辺の第１項（Ｌa (Ｑ1,Ｑe)）は、演奏データＱ1と推定データＱeとの誤差に相当する。なお、実際には、演奏データＱ1の単位データＵと推定データＱeの単位データＵとの誤差Ｅを楽曲内の複数の音符にわたり合計することで誤差Ｌa (Ｑ1,Ｑe)が算定される。誤差Ｅは、第３実施形態と同様に算出可能である。他方、数式(2)の右辺の第２項（Ｌb (λ4 (Ｖ), λ4'（Ｖ）)）は、変動データＶの確率分布λ4(Ｖ)と目標分布λ4'（Ｖ）との誤差（例えばＫＬダイバージェンス）に相当する。以上の説明から理解される通り、評価関数Ｆ4を最小化することで、演奏データＱ1と推定データＱeとが近付き、かつ、変動データＶの確率分布λ4(Ｖ)が目標分布λ4'（Ｖ）に近付く。
　図１４は、制御装置１１が学習済モデルＭ41およびＭ42を生成する処理（機械学習方法）の具体的な手順を例示するフローチャートである。例えば利用者からの指示を契機として図１４の処理が開始される。
　図１４の処理を開始すると、学習処理部４４１は、記憶装置１２に記憶された演奏データＱ1を学習データＴ41として、状態変数ｈとともに、暫定モデルＸ4に入力する（Ｓd1）。これにより、確率分布λ4（平均および分散）が導出される。暫定モデルＸ4は、この確率分布λ4から変動データＶをサンプリングし、演奏データＱ1に応じた変動データＶを生成する（Ｓd2）。学習処理部４４１は、記憶装置１２に記憶された楽譜データＳ2と、暫定モデルＸ4が生成した変動データＶとを含む学習データＴ42を暫定モデルＹ4に入力する（Ｓd3）。暫定モデルＹ4は、学習データＴ42に応じた推定データＱeを生成する（Ｓd4）。学習処理部４４１は、状態変数ｈをモデルＸ4'に入力し、目標分布λ4'（平均および分散）を導出する（Ｓd5）。更新処理部４４２は、現在の状態変数ｈ、暫定モデルＸ4が生成した変動データＶ、記憶装置１２に記憶された演奏データＱ1（暫定モデルＹ4が生成した推定データＱeであってもよい）、および記憶装置１２に記憶された楽譜データＳ2をモデルＲ4に入力し、状態変数ｈを更新する（Ｓd6）。更新処理部４４２は、暫定モデルＸ4およびＹ4、並びにモデルＸ4'およびＲ4を更新する（Ｓd7）。Ｓd7では、演奏データＱ1と推定データＱeとが近付き、かつ、変動データＶの確率分布λ4(Ｖ)が、更新された目標分布λ4'（Ｖ）に近付くように、暫定モデルＸ4の複数の係数Ｋ42と、暫定モデルＹ4の複数の係数Ｋ41と、モデルＸ4'の複数の係数K43と、モデルＲ4の複数の係数K44とを更新する。以上に説明した処理（Ｓd1～Ｓd7）が複数のセットの学習データＴ1について反復されることで、学習済モデルＭ41および学習済モデルＭ42が生成される。なお、処理Ｓd1～Ｓd6は、１つの音符を単位として、繰り返し実行される。処理Ｓd7は、学習データＴ1に対して累積した誤差（評価関数Ｆ4）に対して、繰り返し実行される。
　以上説明した通り、第４実施形態によれば、変動データＶを生成可能な学習済モデルＭ42と、ひとつの楽曲の楽譜データＳ2に対して変動データＶに応じた多様な演奏を表す演奏データＱ1を生成可能な学習済モデルＭ41とを一括的に生成することが可能である。
　第４実施形態では、第３実施形態に対し以下の利点を有する。まず、以上の説明から理解される通り、変動データＶは、暫定モデルＸ4内の状態変数ｈに応じてサンプリングされるが、変動データＶの生成には、楽譜データＳ2は使用されない。変動データＶは、このように楽譜データＳ2から独立することで、楽譜データＳ2が表現する音楽的なコンテクストから切り離され、音楽表現をより抽象的に表現することが可能になる。その結果、変動データＶには、音符単位でのミクロな情報（例えば１つの音符の強弱や長さ等）ではなく、楽曲の「流れ」のようなマクロな情報が獲得されることになる。
　次に、演奏データＱ1は、変動データＶおよび楽譜データＳ2に依存するが、暫定モデルＸ4内の状態変数ｈには依存しない。より正確には、演奏データＱ1は、変動データＶの背後にある暫定モデルＸ4内の状態変数ｈには、変動データＶを介して間接的に依存する。その結果、状態変数ｈが、演奏データＱ1の生成に直接関与することが阻害され、変動データＶには、演奏のおおまかな表情が符号化される。言い換えると、演奏データＱ1は、楽譜データＳ2からミクロな情報を獲得し、変動データＶおよび暫定モデルＸ4内の状態変数ｈは、マクロな情報を獲得するように誘導される。状態変数ｈには、演奏の表情がとり得る遷移が獲得される。以上のことは、変動データＶが有意義な音楽表現を学習する上で重要となる。仮に、演奏データＱ1がモデル内の状態変数に直接依存する場合、変動データＶの存在はほぼ無視され、単に状態変数を用いた演奏データＱ1の自己回帰モデルのようなモデルが学習されることになる。そのようなモデルが生じるのは、モデルにとっては、音楽表現の差を説明できるよう学習するよりも、単に次の音符を予測できるように学習する方がはるかに容易だからである。以上の結果、変動データＶがより音楽表現を表すようになり、変動データＶを操作するだけで、一貫した演奏の表情(例えば全体的な強弱や、アーティキュレーション等)を操作できるようになる。また、変動データＶは、比較的低次元で表現され、操作が容易であるため、音楽表現を容易に変化させることが可能になる。
　なお、第４実施形態で生成された学習済モデルＭ41およびＭ42は、それぞれ、第１実施形態の学習済モデルＭ1および第２実施形態の学習済モデルＭ2に代えて、情報処理装置１００Aの推定処理部２３および情報処理装置１００Bの推定処理部３３に実装することができる。この場合、学習済モデルＭ41により、ひとつの楽曲に対して多様な演奏を表す演奏データＱ1を生成することができるようになり、学習済モデルＭ42により、楽譜に対する依存を低減した適切な変動データＶを生成することができる。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）第１実施形態では、演奏データＱ1の生成前に変動データＶを設定したが、変数制御部２２は、演奏データＱ1の生成に並行して変動データＶを段階的または連続的に変化させてもよい。すなわち、演奏データＱ1の複数の音符に対応する単位データＵの時系列に反映される変動データＶが時間的に変化する。
（２）第１実施形態（図２）では、前処理部２１が楽譜データＳ1から楽譜データＳ2を生成したが、記憶装置１２に楽譜データＳ2を記憶し、当該楽譜データＳ2を推定処理部２３に入力してもよい。楽譜データＳ2が記憶装置１２に記憶された構成では、前処理部２１が省略される。第２実施形態（図６）においても同様に、記憶装置１２に記憶された楽譜データＳ2を推定処理部３３に入力する構成により、前処理部３１が省略される。
（３）第１実施形態では、後処理部２４が演奏データＱ1から演奏データＱ2を生成したが、演奏データＱ2の生成（すなわち後処理部２４）を省略してもよい。また、第２実施形態（図６）では、前処理部３２が演奏データＱ2から演奏データＱ1を生成したが、記憶装置１２に演奏データＱ1を記憶し、当該演奏データＱ1を推定処理部３３に入力してもよい。演奏データＱ1が記憶装置１２に記憶された構成では、前処理部３２が省略される。
（４）前述の各形態で説明した通り、楽譜データＳ2の各音符の音符データＮに含まれる特徴ベクトルｎ10は、畳込ニューラルネットワーク（CNN）等の学習済モデルにより生成される。特徴ベクトルｎ10を生成するための統計的推定モデル（以下「特徴抽出モデル」という）を、第３実施形態における機械学習の過程で学習済モデルＭ1および学習済モデルＭ2とともに生成してもよい。
　図１５は、第３実施形態の変形例における情報処理装置１００Cの機能的な構成を例示するブロック図である。図１５に例示される通り、学習処理部４１は、第３実施形態と同様の要素（暫定モデルＸ、暫定モデルＹおよび更新処理部４２）に加えて前処理部５１を具備する。前処理部５１は、第１実施形態の前処理部２１および第２実施形態の前処理部３１と同様に、楽譜データＳ1から楽譜データＳ2を生成する。図１５に例示される通り、前処理部５１は、楽譜データＳ1から楽譜データＳ2の特徴ベクトルｎ10を生成する暫定的な特徴抽出モデル５２を含んで構成される。特徴抽出モデル５２は、例えば複数の係数で規定される畳込ニューラルネットワークである。
　図１５の更新処理部４２は、演奏データＱ1と推定データＱeとが近付き、かつ、変動データＶの確率分布λ(Ｖ)が目標分布Ｎ(0,1)に近付くように、暫定モデルＸの複数の係数Ｋ2および暫定モデルＹの複数の係数Ｋ1と、暫定的な特徴抽出モデル５２の複数の係数とを反復的に更新する。各係数の更新が反復されることで、学習済の特徴抽出モデル５２が生成される。学習済の特徴抽出モデル５２は、第１実施形態の前処理部２１または第２実施形態の前処理部３１に搭載され、楽譜データＳ1から楽譜データＳ2の音符データＮにおける特徴ベクトルｎ10を生成する。以上の構成によれば、楽譜データＳ2の音符データＮにおける特徴ベクトルｎ10を適切に抽出可能な特徴抽出モデル５２を生成することが可能である。
　同様に、第４実施形態の暫定モデルＹ4に入力される楽譜データＳ2についても、以上のような特徴抽出モデル５２が実装された前処理部５１が生成するようにしてもよい。さらに、この場合に、以上と同様に、暫定モデルＸ4、暫定モデルＹ4および特徴抽出モデル５２を同時に学習してもよい。
（５）相異なる複数の音楽表現を表す変動データＶを第２実施形態により生成し、複数の音楽表現を表す変動データＶの組合せにより任意の音楽表現を表す変動データＶを生成することも可能である。例えば、相異なる音楽表現を表す４種類の変動データＶ1～Ｖ4を第２実施形態の推定処理部３３が生成した場合を想定する。変動データＶ1と変動データＶ2とは、演奏速度が相違する音楽表現を表し、変動データＶ3と変動データＶ4とは、演奏強度が相違する音楽表現を表す。制御装置１１は、以下の数式(2)の演算により変動データＶnewを生成する。
Ｖnew＝ａ(Ｖ1－Ｖ2)＋ｂ(Ｖ3－Ｖ4)　…(2)
　数式(2)の記号ａおよび記号ｂは所定の定数である。数式(2)の右辺の第１項における差分(Ｖ1－Ｖ2)は、変動データＶ1が表す演奏速度と変動データＶ2が表す演奏速度との差分に相当する音楽表現である。他方、数式(2)の右辺の第２項における差分(Ｖ3－Ｖ4)は、変動データＶ3が表す演奏強度と変動データＶ4が表す演奏強度との差分に相当する音楽表現である。以上の構成によれば、多様な音楽表現を表す変動データＶnewを生成することが可能である。
（６）第２実施形態の推定処理部３３が生成する変動データＶに対して補間処理を実行してもよい。例えば、推定処理部３３は、演奏者Ａによる演奏を表す演奏データＱ2aと楽譜データＳ1とから変動データＶaを生成する。また、推定処理部３３は、演奏者Ｂによる演奏を表す演奏データＱ2bと楽譜データＳ1とから変動データＶbを生成する。制御装置１１は、変動データＶaと変動データＶbとの間の補間処理により、演奏者Ａに特有の音楽表現と演奏者Ｂに特有の音楽表現との中間的な音楽表現を表す変動データＶを生成する。
（７）前述の各形態に係る情報処理装置１００（１００A，１００B，１００C）の機能は、コンピュータ（例えば制御装置１１）とプログラムとの協働により実現される。本発明の好適な態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
（８）学習済モデル（Ｍ1，Ｍ2）および特徴抽出モデル５２を実現するための人工知能ソフトウェアの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitおよびNeural Engine等のニューラルネットワーク専用の処理回路、または、人工知能に専用されるＤＳＰ（Digital Signal Processor）が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
（９）第１実施形態、第２実施形態および変形例（４）における前処理部２１、３１および５１による楽譜データＳ2の生成には、図１６に示すような統計的推定モデル（以下「特徴抽出モデル」という）５３を使用してもよい。特徴抽出モデル５３は、CNNと再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）とを結合したネットワーク（CNN-RNN: Convolutional Recurrent Network）である。具体的には、まず、以上に説明したベクトルｎ1～ｎ9と、上以上に説明したCNN（符号５３１で示す）の出力である特徴ベクトルｎ10とを連結した連結データＭを生成する。連結データＭは、音符の単位で順次生成される。次に、連結データＭを、順次、多層パーセプトロン５３２に入力し、多層パーセプトロン５３２の出力を、順次、リニア層（図示略）を用いて所定の次元数にエンベディングする。エンベディングされたベクトルは、順次、多段に積み上げられたゲート付き再帰型ユニット（GRU: Gated Recurrent Unit）から構成されるRNN５３３に入力される。各段のGRUは、エンベディングされたベクトルの次元数と同じ数のニューロンを有する。次に、順次取得されるRNN５３３の出力と、多層パーセプトロン５３２の出力とを連結し、音符データＮとする。最後に、こうして音符の単位で順次生成された音符データＮを連結することで、楽譜データＳ2が生成される。これにより、元の楽譜を要約したより低次元の楽譜データＳ2が生成される。このような楽譜データＳ2が使用される場合には、楽曲に含まれるメロディーや和音が認識され易くなる。
　楽譜データＳ1から楽譜データＳ2を生成するための特徴抽出モデル５３が、変形例（４）に適用される場合、当該モデル５３は、機械学習の過程で学習済モデルＭ1および学習済モデルＭ2とともに生成される。この場合、図１５に示される前処理部５１は、特徴ベクトルｎ10を生成する暫定的な特徴抽出モデル５２に代えて、暫定的な特徴抽出モデル５３を含んで構成される。また、変形例（４）が第４実施形態に適用される場合にも、特徴抽出モデル５２に代えて、特徴抽出モデル５３を用いることができる。
＜付記＞
　以上に例示した形態から、例えば以下の構成が把握される。
　本発明の好適な態様（第１態様）に係る情報処理方法は、楽曲の楽譜を表す楽譜データと、演奏を変動させる要因を表す変動データとを、学習済モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す演奏データを生成することを含む。以上の態様によれば、楽譜データと可変の変動データとを入力することで演奏データが生成されるから、変動データに応じた多様な演奏を表す演奏データを生成することが可能である。なお、第１態様における学習済モデルは、例えばCVAEのデコーダやCVRNNのデコーダである。例えば前述の第１実施形態が第１態様の具体例に相当する。
　第１態様の好適例（第２態様）において、前記楽譜データは、前記楽曲の相異なる音符の各々に対応する音符データを含み、前記楽曲内の第１音符に対応する音符データは、前記楽曲の拍子と、前記楽曲の調号と、前記第１音符の音高と、前記第１音符の音価と、小節内における前記第１音符の位置と、直前の音符に対する前記第１音符の発音点の時間差と、前記第１音符の演奏強度と、前記第１音符の演奏記号と、前記第１音符の演奏速度と、前記楽曲内で前記第１音符を含む区間の特徴を表す特徴ベクトルと、のうちの少なくともひとつを含む。以上の態様によれば、楽曲において演奏を変動させる要因を適切に反映した演奏データを生成することが可能である。
　第１態様または第２態様の好適例（第３態様）において、前記演奏データは、前記楽曲の相異なる音符の各々に対応する複数の単位データを含み、前記楽曲内の第２音符に対応する単位データは、前記第２音符の演奏強度と、前記楽譜により前記第２音符に指定される発音点と演奏による前記第２音符の発音点との時間差と、前記楽譜により前記第２音符に指定される継続長と演奏による前記第２音符の継続長との差分と、前記楽譜により前記第２音符に指定される演奏速度と演奏による前記第２音符の演奏速度との差分と、のうちの少なくともひとつを含む。以上の態様によれば、楽曲において演奏を変動させる要因を適切に反映した演奏データを生成することが可能である。
　本発明の好適な態様（第４態様）に係る情報処理方法は、楽曲の演奏を表す演奏データを含む第１学習データを第１暫定モデルに入力することで、演奏を変動させる要因を表す変動変数であって特定の確率分布に従う変動データを生成することと、前記楽曲の楽譜を表す楽譜データと、前記第１暫定モデルが生成した変動データと、を含む第２学習データを第２暫定モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す推定データを生成することと、前記第１学習データの前記演奏データと前記第２暫定モデルが生成する前記推定データとが近付き、かつ、前記第１暫定モデルが生成する変動データの確率分布が特定の目標分布に近付くように、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とを更新する。以上の態様によれば、楽譜に対する依存を低減した適切な変動データを生成可能な学習済モデル（機械学習後の第１暫定モデル）と、変動データに応じた多様な演奏を表す演奏データを生成可能な学習済モデル（機械学習後の第２暫定モデル）と、を生成することが可能である。例えば前述の第３実施形態および第４実施形態が第４態様の具体例に相当する。
　第４態様の好適例（第５態様）において、前記第１学習データは、前記楽譜データをさらに含む。例えば前述の第３実施形態が第５態様の具体例に相当する。
　第４態様の好適例（第６態様）において、前記情報処理方法は、前記特定の確率分布を決定付ける前記第１暫定モデルの状態変数を事前分布に入力することで、前記特定の目標分布を生成することをさらに含み、前記事前分布を規定する係数は、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とともに更新される。例えば前述の第４実施形態が第６態様の具体例に相当する。
　本発明の好適な態様（第７態様）に係る情報処理方法は、楽曲の演奏を表す演奏データを学習済モデルに入力することで、演奏を変動させる要因を表す変数であって特定の確率分布に従う潜在変数を生成する。以上の態様によれば、演奏データを学習済モデルに入力することで変動データが生成される。この方法によれば、楽譜に対する依存を低減した適切な変動データを生成することが可能である。なお、第７態様における学習済モデルは、例えばCVRNNのエンコーダである。例えば前述の第４実施形態の学習済モデルＭ42を第２実施形態の推定処理部３３に適用した場合が、第７態様の具体例に相当する。
　本発明の好適な態様（第８態様）に係る情報処理方法は、楽曲の楽譜を表す楽譜データと、前記楽曲の演奏を表す演奏データとを、学習済モデルに入力することで、演奏を変動させる要因を表す変数であって特定の確率分布に従う潜在変数を生成する。以上の態様によれば、楽譜データと演奏データとを学習済モデルに入力することで変動データが生成される。したがって、楽譜データを利用せずに演奏データと変動データとの関係を学習した学習済モデルを利用して変動データを生成する構成と比較して、楽譜に対する依存を低減した適切な変動データを生成することが可能である。なお、第８態様における学習済モデルは、例えばCVAEのエンコーダである。例えば前述の第２実施形態が第５態様の具体例に相当する。
　以上に例示した各態様の情報処理方法を実行する情報処理装置、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。
１００A，１００B，１００C，１００D…情報処理装置、１１…制御装置、１２…記憶装置、１３…入力装置、１４…表示装置、１５…音源装置、１６…放音装置、２１…前処理部、２２…変数制御部、２３…推定処理部、２４…後処理部、３１…前処理部、３２…前処理部、３３…推定処理部、４１…学習処理部、４２…更新処理部、５１…前処理部、５２…特徴抽出モデル、５３…特徴抽出モデル４４１…学習処理部、４４２…更新処理部。

Claims (10)

  1. 　楽曲の楽譜を表す楽譜データと、演奏を変動させる要因を表す変動データとを、学習済モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す演奏データを生成すること
    を含む、コンピュータにより実現される情報処理方法。
  2. 　前記楽譜データは、前記楽曲の相異なる音符の各々に対応する音符データを含み、
    　前記楽曲内の第１音符に対応する音符データは、
    　前記楽曲の拍子と、前記楽曲の調号と、前記第１音符の音高と、前記第１音符の音価と、小節内における前記第１音符の位置と、直前の音符に対する前記第１音符の発音点の時間差と、前記第１音符の演奏強度と、前記第１音符の演奏記号と、前記第１音符の演奏速度と、前記楽曲内で前記第１音符を含む区間の特徴を表す特徴ベクトルと、のうちの少なくともひとつを含む
    請求項１の情報処理方法。
  3. 　前記演奏データは、前記楽曲の相異なる音符の各々に対応する単位データを含み、
    　前記楽曲内の第２音符に対応する単位データは、
    　前記第２音符の演奏強度と、前記楽譜により前記第２音符に指定される発音点と演奏による前記第２音符の発音点との時間差と、前記楽譜により前記第２音符に指定される継続長と演奏による前記第２音符の継続長との差分と、前記楽譜により前記第２音符に指定される演奏速度と演奏による前記第２音符の演奏速度との差分と、のうちの少なくともひとつを含む
    請求項１または請求項２の情報処理方法。
  4. 　楽曲の演奏を表す演奏データを含む第１学習データを第１暫定モデルに入力することで、演奏を変動させる要因を表す変動変数であって特定の確率分布に従う変動データを生成することと、
    　前記楽曲の楽譜を表す楽譜データと、前記第１暫定モデルが生成した変動データと、を含む第２学習データを第２暫定モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す推定データを生成することと、
    　前記第１学習データの前記演奏データと前記第２暫定モデルが生成する前記推定データとが近付き、かつ、前記第１暫定モデルが生成する変動データの確率分布が特定の目標分布に近付くように、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とを更新することと
    を含む、コンピュータにより実現される情報処理方法。
  5. 　前記第１学習データは、前記楽譜データをさらに含む、
    請求項４に記載のコンピュータにより実現される情報処理方法。
  6. 　前記特定の確率分布を決定付ける前記第１暫定モデルの状態変数を事前分布に入力することで、前記特定の目標分布を生成すること
    をさらに含み、
    　前記事前分布を規定する係数は、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とともに更新される、
    請求項４に記載のコンピュータにより実現される情報処理方法。
  7. 　楽曲の楽譜を表す楽譜データと、演奏を変動させる要因を表す変動データとを、学習済モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す演奏データを生成する制御部
    を具備する、情報処理装置。
  8. 　制御部を具備する情報処理装置であって、
    　前記制御部は、
    　楽曲の演奏を表す演奏データを含む第１学習データを第１暫定モデルに入力することで、演奏を変動させる要因を表す変動変数であって特定の確率分布に従う変動データを生成することと、
    　前記楽曲の楽譜を表す楽譜データと、前記第１暫定モデルが生成した変動データと、を含む第２学習データを第２暫定モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す推定データを生成することと、
    　前記第１学習データの前記演奏データと前記第２暫定モデルが生成する前記推定データとが近付き、かつ、前記第１暫定モデルが生成する変動データの確率分布が特定の目標分布に近付くように、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とを更新することと
    を実行する、情報処理装置。
  9. 　楽曲の楽譜を表す楽譜データと、演奏を変動させる要因を表す変動データとを、学習済モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す演奏データを生成すること
    をコンピュータに実行させるプログラム。
  10. 　楽曲の演奏を表す演奏データを含む第１学習データを第１暫定モデルに入力することで、演奏を変動させる要因を表す変動変数であって特定の確率分布に従う変動データを生成することと、
    　前記楽曲の楽譜を表す楽譜データと、前記第１暫定モデルが生成した変動データと、を含む第２学習データを第２暫定モデルに入力することで、前記要因による変動が反映された前記楽曲の演奏を表す推定データを生成することと、
    　前記第１学習データの前記演奏データと前記第２暫定モデルが生成する前記推定データとが近付き、かつ、前記第１暫定モデルが生成する変動データの確率分布が特定の目標分布に近付くように、前記第１暫定モデルを規定する複数の係数と、前記第２暫定モデルを規定する複数の係数とを更新することと
    をコンピュータに実行させるプログラム。
PCT/JP2019/025871 2018-08-10 2019-06-28 楽譜データの情報処理装置 WO2020031544A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980051783.7A CN112567450B (zh) 2018-08-10 2019-06-28 乐谱数据的信息处理装置
JP2020536379A JP7230919B2 (ja) 2018-08-10 2019-06-28 楽譜データの情報処理装置
US17/158,709 US11967302B2 (en) 2018-08-10 2021-01-26 Information processing device for musical score data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-151320 2018-08-10
JP2018151320 2018-08-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/158,709 Continuation US11967302B2 (en) 2018-08-10 2021-01-26 Information processing device for musical score data

Publications (1)

Publication Number Publication Date
WO2020031544A1 true WO2020031544A1 (ja) 2020-02-13

Family

ID=69414660

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025871 WO2020031544A1 (ja) 2018-08-10 2019-06-28 楽譜データの情報処理装置

Country Status (4)

Country Link
US (1) US11967302B2 (ja)
JP (1) JP7230919B2 (ja)
CN (1) CN112567450B (ja)
WO (1) WO2020031544A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251364A1 (ja) * 2020-06-09 2021-12-16 ヤマハ株式会社 音響処理方法、音響処理システムおよびプログラム
WO2024085175A1 (ja) * 2022-10-18 2024-04-25 ヤマハ株式会社 データ処理方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699677B2 (ja) * 2018-02-06 2020-05-27 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
CN113611265B (zh) * 2021-07-07 2022-09-23 湖南师范大学 一种人工智能作曲方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200086A (ja) * 1998-11-04 2000-07-18 Atr Ningen Joho Tsushin Kenkyusho:Kk 楽曲の自動表情付装置
JP2011164162A (ja) * 2010-02-05 2011-08-25 Kwansei Gakuin 演奏表情付け支援装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3640145B2 (ja) * 1999-03-02 2005-04-20 ヤマハ株式会社 電子楽器のデータ表示方法、および電子楽器
JP3776673B2 (ja) * 2000-04-06 2006-05-17 独立行政法人科学技術振興機構 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体
JP4111004B2 (ja) * 2003-02-28 2008-07-02 ヤマハ株式会社 演奏練習装置および演奏練習プログラム
JP4321518B2 (ja) * 2005-12-27 2009-08-26 三菱電機株式会社 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP5293460B2 (ja) * 2009-07-02 2013-09-18 ヤマハ株式会社 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
CN102682752B (zh) * 2011-03-07 2014-11-05 卡西欧计算机株式会社 乐谱信息生成装置及其方法、乐音生成控制装置及其方法
US9123353B2 (en) * 2012-12-21 2015-09-01 Harman International Industries, Inc. Dynamically adapted pitch correction based on audio input
CN105280170A (zh) * 2015-10-10 2016-01-27 北京百度网讯科技有限公司 一种乐谱演奏的方法和装置
US20190087734A1 (en) * 2016-03-28 2019-03-21 Sony Corporation Information processing apparatus and information processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200086A (ja) * 1998-11-04 2000-07-18 Atr Ningen Joho Tsushin Kenkyusho:Kk 楽曲の自動表情付装置
JP2011164162A (ja) * 2010-02-05 2011-08-25 Kwansei Gakuin 演奏表情付け支援装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FLOSSMANN, S. ET AL.: "Expressive performance rendering: introducing performance context", PROCEEDINGS OF THE SMC 2009 - 6TH SOUND AND MUSIC COMPUTING CONFERENCE, 23 July 2009 (2009-07-23) - 25 July 2009 (2009-07-25), pages 155 - 160, XP055685726 *
KIM, T. H. ET AL.: "Polyhymnia: An automatic piano performance system with statistical modeling of polyphonic expression and musical symbol interpretation", PROC. INTERNATIONAL CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION (NIME 2011), 30 May 2011 (2011-05-30) - 1 June 2011 (2011-06-01), pages 96 - 99, XP055685721 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251364A1 (ja) * 2020-06-09 2021-12-16 ヤマハ株式会社 音響処理方法、音響処理システムおよびプログラム
WO2024085175A1 (ja) * 2022-10-18 2024-04-25 ヤマハ株式会社 データ処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2020031544A1 (ja) 2021-08-02
CN112567450A (zh) 2021-03-26
US11967302B2 (en) 2024-04-23
JP7230919B2 (ja) 2023-03-01
CN112567450B (zh) 2024-03-29
US20210151014A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2020031544A1 (ja) 楽譜データの情報処理装置
US11568244B2 (en) Information processing method and apparatus
KR102367772B1 (ko) 딥러닝 기반 음악 생성장치 및 방법
US20220157329A1 (en) Method of converting voice feature of voice
JP7432124B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP2019152716A (ja) 情報処理方法および情報処理装置
JP7069819B2 (ja) コード特定方法、コード特定装置およびプログラム
JP7327497B2 (ja) 演奏解析方法、演奏解析装置およびプログラム
Brown et al. Techniques for generative melodies inspired by music cognition
JP2020076843A (ja) 情報処理方法および情報処理装置
JP7432127B2 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2019022117A1 (ja) 演奏解析方法およびプログラム
JP7147384B2 (ja) 情報処理方法および情報処理装置
JP7375302B2 (ja) 音響解析方法、音響解析装置およびプログラム
CN115004294A (zh) 编曲生成方法、编曲生成装置以及生成程序
JP6489261B2 (ja) 音響解析方法および音響解析装置
Ezers et al. Musical Instruments Recognition App
Su et al. Folk melody generation based on CNN-BiGRU and Self-Attention
KR102490769B1 (ko) 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
JP6323159B2 (ja) 音響解析装置
WO2021152792A1 (ja) 変換学習装置、変換学習方法、変換学習プログラム及び変換装置
CN117121089A (zh) 音响处理方法、音响处理系统、程序及生成模型的创建方法
Xu Making Music Composing Easier for Amateurs: A Hybrid Machine Learning Approach
Costalonga et al. Agent-based guitar performance simulation
JP2023039332A (ja) 旋律分析装置、旋律分析方法および旋律分析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846566

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020536379

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846566

Country of ref document: EP

Kind code of ref document: A1