WO2022190453A1 - 運指提示装置、訓練装置、運指提示方法および訓練方法 - Google Patents

運指提示装置、訓練装置、運指提示方法および訓練方法 Download PDF

Info

Publication number
WO2022190453A1
WO2022190453A1 PCT/JP2021/040273 JP2021040273W WO2022190453A1 WO 2022190453 A1 WO2022190453 A1 WO 2022190453A1 JP 2021040273 W JP2021040273 W JP 2021040273W WO 2022190453 A1 WO2022190453 A1 WO 2022190453A1
Authority
WO
WIPO (PCT)
Prior art keywords
note
fingering
notes
information
finger
Prior art date
Application number
PCT/JP2021/040273
Other languages
English (en)
French (fr)
Inventor
正博 鈴木
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to JP2023505094A priority Critical patent/JPWO2022190453A1/ja
Priority to CN202180095314.2A priority patent/CN116940978A/zh
Publication of WO2022190453A1 publication Critical patent/WO2022190453A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards

Definitions

  • the present invention relates to a fingering presentation device, a training device, a fingering presentation method, and a training method for presenting fingerings for playing a musical instrument.
  • Patent Document 2 describes a fingering determination method for determining the fingering for each note in a note sequence based on a probability model. JP 2013-083845 A JP 2007-241034 A
  • Patent Document 2 the player can recognize the fingering in playing the musical instrument based on the probability model.
  • the probability model there are countless combinations of fingerings, and there is more than one optimum fingering for playing a piece of music. Therefore, it is desirable to present more appropriate fingerings.
  • An object of the present invention is to provide a fingering presentation device, a training device, a fingering presentation method, and a training method capable of presenting appropriate fingerings for playing a musical instrument.
  • a fingering presentation device uses a receiving unit that receives time-series data including a string of notes made up of a plurality of notes, and a trained model to play at least some of the notes included in the string of notes with a musical instrument.
  • an estimating unit for estimating finger information indicating a finger to be used for playing or note information indicating a note to which fingering is to be applied from a string of notes;
  • a training apparatus comprises: a first acquisition unit that acquires input time-series data including a reference note string consisting of a plurality of notes; a second acquisition unit that acquires output finger information indicating a finger used when fingering is performed, or output note information indicating a note to which fingering is to be applied from a reference note string; a builder for building a trained model that has learned the input-output relationship between the output note information.
  • a fingering presentation method accepts time-series data including a string of notes, and uses a trained model to play at least a portion of the notes included in the string of notes with a musical instrument. Fingering information indicating a finger to be used when performing fingering or note information indicating a note to which fingering is to be applied is estimated from a string of notes, and executed by a computer.
  • a training method obtains input time-series data including a reference string of notes, and uses the musical instrument to play at least some of the notes included in the reference string. Acquire the output fingering information indicating the fingering or the output note information indicating the note to which fingering is applied from the reference note string, and determine the input/output relationship between the input time series data and the output fingering information or output note information.
  • a learned and trained model is built and executed by the computer.
  • FIG. 1 is a block diagram showing the configuration of a processing system including a fingering presentation device and a training device according to the first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of each training data.
  • FIG. 3 is a block diagram showing the configuration of the training device and the fingering presentation device.
  • FIG. 4 shows an example of an auxiliary musical score displayed on the display unit.
  • FIG. 5 is a flow chart showing an example of training processing by the training device of FIG.
  • FIG. 6 is a flowchart showing an example of fingering presentation processing by the fingering presentation device of FIG.
  • FIG. 7 is a diagram showing another example of input time-series data.
  • FIG. 8 is a diagram showing an example of input time-series data in the modified example.
  • FIG. 1 is a block diagram showing the configuration of a processing system including a fingering presentation device and a training device according to the first embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of each training data.
  • FIG. 9 is a diagram showing an example of output finger information in the modified example.
  • FIG. 10 is a diagram showing an example of input time-series data in the second embodiment.
  • FIG. 11 is a diagram showing an example of output finger information according to the third embodiment.
  • FIG. 12 is a flowchart showing an example of fingering presentation processing in the modified example.
  • FIG. 13 is a diagram showing an example of finger information estimated in step S24 of the fingering presentation process.
  • FIG. 1 is a block diagram showing the configuration of a processing system including a fingering presentation device and a training device according to the first embodiment of the present invention.
  • the processing system 100 includes a RAM (random access memory) 110, a ROM (read only memory) 120, a CPU (central processing unit) 130, a storage section 140, an operation section 150 and a display section 160. .
  • RAM random access memory
  • ROM read only memory
  • CPU central processing unit
  • the processing system 100 is implemented by a computer such as a personal computer, tablet terminal, or smart phone.
  • the processing system 100 may be realized by cooperative operation of a plurality of computers connected by a communication path such as Ethernet, or may be realized by an electronic musical instrument such as an electronic piano having performance functions.
  • the RAM 110 , ROM 120 , CPU 130 , storage section 140 , operation section 150 and display section 160 are connected to the bus 170 .
  • the training device 10 and the fingering presentation device 20 are configured by the RAM 110 , the ROM 120 and the CPU 130 .
  • training device 10 and fingering presentation device 20 are configured by common processing system 100, but may be configured by separate processing systems.
  • the RAM 110 consists of, for example, a volatile memory, and is used as a work area for the CPU 130.
  • the ROM 120 is, for example, a non-volatile memory and stores a training program and a fingering presentation program.
  • CPU 130 performs a training process by executing a training program stored in ROM 120 on RAM 110 . Further, the CPU 130 performs fingering presentation processing by executing a fingering presentation program stored in the ROM 120 on the RAM 110 . Details of the training process and the fingering presentation process will be described later.
  • the training program or the fingering presentation program may be stored in the storage unit 140 instead of the ROM 120.
  • the training program or fingering presentation program may be provided in a form stored in a computer-readable storage medium and installed in ROM 120 or storage unit 140 .
  • a training program or a fingering presentation program distributed from a server (including a cloud server) on the network is installed in the ROM 120 or the storage unit 140.
  • the storage unit 140 includes a storage medium such as a hard disk, an optical disk, a magnetic disk, or a memory card, and stores a trained model M and a plurality of training data D.
  • the trained model M or each piece of training data D may not be stored in the storage unit 140, but may be stored in a computer-readable storage medium.
  • the trained model M or respective training data D may be stored on a server on that network.
  • the trained model M is a machine learning model trained to present fingerings when a user of the fingering presentation device 20 (hereinafter referred to as a performer) plays a musical piece. and is constructed using a plurality of training data D.
  • a user of the training device 10 can generate the training data D by operating the operation unit 150 .
  • the training data D is data created based on the playing knowledge or playing style of the reference performer.
  • the reference performer has a relatively high level of skill in playing the piece of music.
  • a reference performer may be the performer's mentor or teacher in the performance of the musical composition.
  • the training data D indicates a set of input time-series data and output instruction information.
  • the input time-series data indicates a reference note string consisting of a plurality of notes.
  • the input time-series data may be image data representing images of musical scores.
  • the output fingering information indicates the fingers of the reference performer to be used when playing each note of the reference note string by the musical instrument, and can be used to present fingerings when playing the reference note string.
  • the output finger information may be a unique number assigned to each finger. In this example, numbers “1" to "5" are given to the thumb, index finger, middle finger, ring finger and little finger, respectively.
  • the input time-series data further includes a reference player identifier that indicates the classification (category) of the reference player who performs the reference note string.
  • the reference player identifier is determined differently for each of at least one of the physical characteristics of the reference player and the style of performance by the reference player.
  • the physical characteristics of the reference player include, for example, the reference player's hand size (finger length), age, gender, or whether the player is an adult or a child.
  • FIG. 2 is a diagram showing an example of each training data D.
  • FIG. 2 shows part of the input time-series data and the output finger information when the reference player plays the piano.
  • input time-series data A includes elements A0 to A16.
  • the element A0 corresponds to a reference performer identifier, and is represented by a different character string for at least one of the reference performer's physical characteristics and the reference performer's style of performance.
  • Elements A1 to A16 correspond to reference note strings.
  • the element A0 is placed at the beginning of the input time-series data A, that is, before the reference note string (elements A1 to A16), but it may be placed at any position in the input time-series data A.
  • the elements A1 to A4 mean that the key of number '66' is pressed and maintained for 13 units of time, and then the key of number '66' is released and maintained for 2 units of time.
  • the output finger information B includes elements B0 to B16 corresponding to the elements A0 to A16 of the input time-series data A, respectively.
  • Element B0 indicates a reference player identifier and is represented by the same character string as element A0.
  • the training data D in FIG. 2 is generated to indicate left hand fingering, the embodiment is not limited to this.
  • the training data D may be generated to indicate the fingerings of the right hand, or may be generated to indicate the fingerings of each of the left and right hands.
  • Elements of the input time-series data A and the output finger information B for indicating the fingering of the right hand may use, for example, "R" instead of the letter "L”.
  • FIG. 3 is a block diagram showing the configuration of the training device 10 and the fingering presentation device 20.
  • the training device 10 includes a first acquisition unit 11, a second acquisition unit 12, and a construction unit 13 as functional units.
  • the functional units of the training device 10 are implemented by the CPU 130 of FIG. 1 executing the training program. At least part of the functional units of the training device 10 may be realized by hardware such as an electronic circuit.
  • the first acquisition unit 11 acquires the input time-series data A from each training data D stored in the storage unit 140 or the like.
  • the second acquisition unit 12 acquires output finger information B from each piece of training data D.
  • the construction unit 13 uses the input time-series data A acquired by the first acquisition unit 11 as an input element and the output finger information B acquired by the second acquisition unit 12 as an output element. Do machine learning. By repeating machine learning for a plurality of pieces of training data D, the building section 13 builds a trained model M that indicates the input/output relationship between the input time-series data A and the output finger information B.
  • the building unit 13 builds the trained model M by training the Transformer, but the embodiment is not limited to this.
  • the construction unit 13 may construct the trained model M by training a machine learning model of another method that handles time series.
  • the trained model M constructed by the construction unit 13 is stored in the storage unit 140, for example.
  • the trained model M constructed by the construction unit 13 may be stored in a server or the like on the network.
  • the fingering presentation device 20 includes a reception unit 21, an estimation unit 22, and a generation unit 23 as functional units.
  • the functional units of the fingering presentation device 20 are implemented by the CPU 130 of FIG. 1 executing the fingering presentation program. At least part of the functional units of the fingering presentation device 20 may be realized by hardware such as an electronic circuit.
  • the reception unit 21 receives time-series data including a string of notes made up of a plurality of notes.
  • the performer can give image data representing an image of the musical score to the reception unit 21 as time-series data.
  • the performer can generate time-series data by operating the operation unit 150 and provide it to the reception unit 21 .
  • the time-series data has the same configuration as the input time-series data A in FIG. 2, and further includes a performer identifier that indicates the classification (category) of the performer who plays the string of notes.
  • the performer identifier is determined differently for each of at least one of the performer's physical characteristics and the performer's performance style.
  • the player's physical characteristics include, for example, the player's hand size, age, gender, or whether the player is an adult or a child.
  • the estimation unit 22 estimates finger information using the trained model M stored in the storage unit 140 or the like.
  • the finger information indicates the player's finger used when playing each note of the note string accepted by the accepting unit 21, and is estimated based on the note string and the player identifier.
  • the finger information may be a unique number given to each finger.
  • the generation unit 23 generates score information based on the musical note sequence of the time-series data received by the reception unit 21 and the finger information estimated by the estimation unit 22 .
  • the display unit 160 displays an auxiliary musical score based on the musical score information generated by the generating unit 23 .
  • FIG. 4 shows an example of an auxiliary musical score displayed on the display unit 160.
  • the supporting musical score indicates the finger information estimated by the estimation unit 22 so as to correspond to each note of the note string received by the reception unit 21 .
  • the finger numbers of one hand are shown as the finger information.
  • a predetermined letter such as "L” is attached near the finger numbers of the left hand, and another letter such as "R” is attached near the finger numbers of the right hand.
  • Predetermined characters may be attached.
  • the finger numbers of the left hand or the corresponding musical notes may be given a predetermined color such as red, and the finger numbers or the corresponding musical notes of the right hand may be given another predetermined color such as blue.
  • FIG. 5 is a flowchart showing an example of training processing by the training device 10 of FIG.
  • the training process in FIG. 5 is performed by CPU 130 in FIG. 1 executing a training program.
  • the first acquisition unit 11 acquires the input time-series data A from each training data D (step S1).
  • the second acquisition unit 12 acquires the output finger information B from each training data D (step S2). Either of steps S1 and S2 may be performed first, or may be performed simultaneously.
  • the constructing unit 13 performs machine learning on each piece of training data D using the input time-series data A obtained in step S1 as an input element and the output finger information B obtained in step S2 as an output element (step S3). Subsequently, the construction unit 13 determines whether or not sufficient machine learning has been performed (step S4). If the machine learning is insufficient, the construction unit 13 returns to step S3. Steps S3 and S4 are repeated while changing the parameters until sufficient machine learning is performed. The number of iterations of machine learning changes according to quality conditions that the trained model M to be constructed should satisfy.
  • the construction unit 13 saves the input/output relationship between the input time-series data A and the output finger information B learned by the machine learning in step S3 as a trained model M (step S5). This completes the training process.
  • FIG. 6 is a flowchart showing an example of fingering presentation processing by the fingering presentation device 20 of FIG.
  • the fingering presentation process of FIG. 6 is performed by the CPU 130 of FIG. 1 executing the fingering presentation program.
  • the receiving unit 21 receives time-series data (step S11).
  • the estimation unit 22 estimates finger information from the time-series data received in step S11 using the trained model M saved in step S5 of the training process (step S12).
  • the generation unit 23 After that, the generation unit 23 generates musical score information based on the note sequence of the time-series data received in step S11 and the finger information estimated in step S12 (step S13). An auxiliary musical score may be displayed on the display unit 160 based on the generated musical score information. This completes the fingering presentation process.
  • the fingering presentation device 20 includes the receiving unit 21 that receives time-series data including a string of notes composed of a plurality of notes, and the trained model M and an estimating unit 22 for estimating finger information indicating a finger to be used when each note in the string of notes is played by the musical instrument.
  • the trained model M is used to estimate appropriate finger information from the temporal flow of multiple notes in the time-series data. This makes it possible to present appropriate fingerings for playing a musical instrument.
  • the trained model M is input between input time-series data A including a reference note string consisting of a plurality of notes and output fingering information B indicating the finger used when playing each note of the reference note string with a musical instrument. It may be a machine learning model that has learned the output relationship. In this case, finger information can be easily estimated from time-series data.
  • the time-series data may further include a player identifier indicating the player who plays the string of notes, and the estimation unit 22 may estimate finger information based on the player identifier. In this case, appropriate finger information can be estimated according to the player.
  • the performer identifier may be determined to correspond to the physical characteristics of the performer. In this case, appropriate finger information can be estimated according to the player's physical characteristics.
  • the performer identifier may be determined so as to correspond to the performance style of the performer. In this case, appropriate finger information can be estimated according to the performance style of the player.
  • the fingering presentation device 20 may further include a generating unit that generates musical score information indicating an auxiliary musical score to which finger information is attached so as to correspond to each note of the note string.
  • a generating unit that generates musical score information indicating an auxiliary musical score to which finger information is attached so as to correspond to each note of the note string.
  • the performer can easily recognize the finger corresponding to each note of the note string by visually recognizing the supporting musical score.
  • the training apparatus 10 includes a first acquisition unit 11 that acquires input time-series data A including a reference note string consisting of a plurality of notes, and a A second acquisition unit 12 that acquires output finger information B indicating a finger to be used, and a construction unit 13 that constructs a trained model M that has learned the input/output relationship between the input time-series data A and the output finger information B. and According to this configuration, a trained model M that has learned the input/output relationship between the input time-series data A and the output finger information B can be easily constructed.
  • the input time-series data A includes reference player identifiers, and the time-series data includes player identifiers, but the embodiment is not limited to this.
  • the input time-series data A may include the reference note string, and may not include the reference player identifier.
  • the time-series data only needs to include a string of musical notes, and does not have to include a player identifier.
  • the input time-series data A and the output finger information B are described on a so-called motion basis, which indicates key depression or key release in the MIDI (Musical Instrument Digital Interface) standard. is not limited to this.
  • the input time-series data A and the output finger information B may be described in other methods.
  • the input time-series data A and the output finger information B may be described on a so-called note basis, which indicates the start position of a note or the length of a note in the MIDI standard. The same applies to time-series data and finger information.
  • FIG. 7 is a diagram showing another example of input time-series data A.
  • FIG. The upper part of FIG. 7 shows input time-series data A(Ax) described on a motion basis.
  • the middle part of FIG. 7 shows the input time-series data A (Ay) described on a note basis.
  • the input time-series data Ax and the input time-series data Ay include the same reference note string (the reference note string in the musical score shown at the bottom of FIG. 7).
  • "bar" and "beat" in the input time-series data Ax, Ay are elements indicating the metrical structure of the reference note string.
  • the length of the input time-series data A is shortened by describing the input time-series data A on a musical note basis. This makes it possible to process longer input time-series data A easily.
  • the output finger information B corresponding to the input time-series data A is obtained by inserting an element indicating the finger number immediately after the element indicating the pitch number in the input time-series data A ("note_ ⁇ "). can be described.
  • the input time-series data A and the output finger information B may be described by a system representing musical scores.
  • the details of the input time-series data A and the output finger information B described by the method of representing musical scores will be described in the following modifications.
  • FIG. 8 is a diagram showing an example of input time-series data A in a modification.
  • the upper part of FIG. 8 shows the input time-series data A (Az) described by the musical score representation method.
  • a musical score represented by the input time-series data A is shown in the lower part of FIG.
  • the input time-series data Az includes multiple elements A0 to A24. Some elements have attributes. Attributes of an element are written behind the element (after the underscore).
  • the element A0 indicates the ratio of notes to which fingering is applied among the notes included in the reference note string.
  • the element A0 is placed before the beginning of the input time-series data Az, but may be placed at any position in the input time-series data Az.
  • the ratio is specified by the "fingerrate" attribute of the element A0.
  • Attribute "5" in this example means a percentage of 100%. The percentage may have a range or be divided into multiple ranges, such as 20-40% or 40-60%.
  • Element A1 indicates a part.
  • the element A1 is arranged immediately after the element A0, but may be arranged at any position in the input time-series data Az.
  • element A1 "R” and “L” indicate right and left hand parts respectively.
  • the element corresponding to the right hand is placed after the "R”.
  • An “L” is placed after it, and an element corresponding to the left hand is placed after the "L”.
  • the "R” and the right-hand corresponding element may be placed after the left-hand corresponding element. If the parts are not distinguished, the input time-series data Az does not include the element A1.
  • Elements A2, A15, and A24 indicate bar lines of the musical score. Therefore, in the example of FIG. 8, the range delimited by “bar” in element A2 and “bar” in element A15 corresponds to the first measure. The range delimited by "bar” in element A15 and “bar” in element A24 corresponds to the second bar.
  • Element A3 indicates the clef of the score.
  • the clef type is specified by the attribute of "clef" in the element A3.
  • the treble clef is specified as the clef by the element A3.
  • the bass clef is specified as the clef by the element A3.
  • Element A4 indicates the time signature of the musical score.
  • the type of time signature is specified by the "time” attribute of the element A4.
  • the attribute is “4/4", so element A4 specifies "4/4" as the time signature.
  • the direction of the note stems in the score is specified by other attributes of "len” in the elements A6, A10, A12, A14, A17, A19, and A21. If the other attribute is “down”, the stem extends downward from the notehead. If the other attribute is “up”, the stem extends up from the note head.
  • the start position, intermediate position and end position of the beam are further attributes of "len” in elements A10, A12 and A14. Specified by “start”, “continue” and “stop” respectively.
  • a rest in the reference note string is specified by “rest” in elements A7 and A22.
  • the note value of the rest is described by the "len” attribute in the elements A8 and A23.
  • elements A5 and A6 indicate note N1
  • elements A7 and A8 indicate rest R1.
  • Elements A9 and A10 represent note N2
  • elements A11 and A12 represent note N3
  • elements A13 and A14 represent note N4.
  • Elements A16 and A17 indicate note N5, and elements A18 and A19 indicate note N6.
  • Elements A20 and A21 indicate note N7, and elements A22 and A23 indicate rest R2.
  • FIG. 9 is a diagram showing an example of output finger information B in a modified example.
  • the upper part of FIG. 9 shows the output finger information B (Bz) written in a musical score representation format.
  • the output finger information Bz corresponds to the input time-series data Az in FIG.
  • the lower part of FIG. 9 shows the musical score represented by the output finger information Bz.
  • the output finger information Bz includes a plurality of elements B0-B24.
  • the output finger information Bz further includes elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f arranged immediately after the elements B5, B9, B11, B13, B16, B18, and B20, respectively.
  • Elements B0 to B24 are the same as elements A0 to A24 of input time-series data Az in FIG. 8, respectively. Therefore, the first acquisition unit 11 in FIG. 3 can acquire the input time-series data Az by deleting the elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f from the output finger information Bz.
  • Elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f respectively indicate the finger numbers used when the notes corresponding to the immediately preceding elements B5, B9, B11, B13, B16, B18, and B20 are played by the musical instrument. show.
  • the "finger" attribute of the elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f designates the finger number. Therefore, the elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f, as shown in the lower part of FIG. 2”, “1”, “3”, “3” and “2” are written on the score respectively.
  • the generation unit 23 may generate a moving image file showing finger movements by animation or the like, based on the finger information estimated by the estimation unit 22 . This makes it possible to visualize finger movements. Generation of such a moving image file may be performed before or after step S13 in the fingering presentation process of FIG. 6, may be performed in parallel with step S13, or may be performed instead of step S13. may
  • the estimating unit 22 selects some of the notes included in the note string to which fingering is to be applied, and the fingering information for that part of the notes. presume. In this case, it is possible to present appropriate fingerings for a beginner-level or intermediate-level player who is higher than the introductory level to play the musical instrument. In this configuration, the output finger information Bz does not include some of the elements B5f, B9f, B11f, B13f, B16f, B18f and B20f.
  • the estimation unit 22 may estimate the note information indicating the note to which fingering is to be applied from the note sequence without estimating the finger information. Details will be described in a third embodiment, which will be described later.
  • Second Embodiment (1) Processing System Regarding a processing system 100 according to a second embodiment, differences from the processing system 100 according to the first embodiment will be described.
  • the first acquisition unit 11 and the second acquisition unit 12 acquire the input time-series data A and the output finger information B of the training data D, respectively.
  • FIG. 10 is a diagram showing an example of input time-series data A in the second embodiment.
  • the upper part of FIG. 10 shows the input time-series data Az described by the musical score representation method.
  • the lower part of FIG. 10 shows the musical score represented by the input time-series data Az.
  • the input time-series data Az includes multiple elements A0 to A24. Elements A0 to A24 in FIG. 10 are the same as elements A0 to A24 in the modification (FIG. 8) of the first embodiment, respectively. Also, the input time-series data Az includes additional elements arranged immediately after parts of the elements A5, A9, A11, A13, A16, A18, and A20 corresponding to musical notes. In the example of FIG. 10, the input time-series data Az further includes elements A5f, A11f, A16f, and A20f arranged immediately after elements A5, A11, A16, and A20, respectively.
  • Elements A5f, A11f, A16f, and A20f are fingering information (hereinafter referred to as basic fingering information) indicating the finger numbers used when playing the notes corresponding to the immediately preceding elements A5, A11, A16, and A20. ).
  • the "finger" attribute of the elements A5f, A11f, A16f, and A20f designates the finger number. Therefore, the elements A5f, A11f, A16f, and A20f, as shown in the lower part of FIG. "2" is written in each musical score.
  • the output finger information Bz in the present embodiment is the same as the output finger information Bz in the modified example (FIG. 9) of the first embodiment. Therefore, the first acquisition unit 11 can acquire the input time-series data Az by randomly deleting some of the elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f from the output finger information Bz. can.
  • the user of the training device 10 can specify the ratio of the elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f to be deleted by operating the operation unit 150 in FIG.
  • the input time-series data Az is obtained by deleting the elements B9f, B13f, and B18f from the output finger information Bz.
  • Elements B5f, B11f, B16f, and B20f that are not deleted remain as elements A5f, A11f, A16f, and A20f, which are basic finger information.
  • the construction unit 13 in FIG. 3 performs machine learning using the input time-series data Az as an input element and the output finger information Bz as an output element. By repeating machine learning for a plurality of training data D, a trained model M representing the input/output relationship between the input time-series data Az and the output finger information Bz is constructed.
  • the reception unit 21 receives the time-series data.
  • the time-series data further includes basic finger information indicating fingers used to play some of the notes included in the note string with the musical instrument.
  • the estimating unit 22 estimates finger information indicating fingers to be used when playing notes included in the note sequence with a musical instrument.
  • the generation unit 23 generates musical score information based on the note sequence and finger information of the time-series data.
  • the generation unit 23 may generate a moving image file showing finger movements by animation or the like. In this case, finger movements can be visualized.
  • the estimating section 22 estimates finger information for all notes included in the sequence of notes in the time-series data, but the embodiment is not limited to this.
  • the estimating unit 22 determines a second proportion of notes included in the note string, which is greater than the first proportion. Fingering information about notes may be estimated. In this case, appropriate fingerings for a beginner or intermediate player playing the instrument can be presented.
  • the output finger information B of the training data D may not include some of the elements B5f, B9f, B11f, B13f, B16f, B18f, and B20f.
  • the output finger information B when the input time-series data Az includes elements A5f, A11f, A16f, and A20f, the output finger information B includes elements B5f, B11f, B16f, and B20f.
  • the output finger information B may not include some of the elements B9f, B13f, and B18f.
  • training data D represents a set of input time-series data A and output note information.
  • the first acquisition unit 11 and the second acquisition unit 12 acquire the input time-series data A and the output note information of the training data D, respectively. Acquisition of output note information is executed instead of step S2 in the sound learning process of FIG.
  • the input time-series data Az in this embodiment is the same as the input time-series data Az in the modified example (FIG. 8) of the first embodiment.
  • the first acquisition unit 11 can acquire the input time-series data Az by deleting the elements C9f, C11f, and C16f from the output note information Cz in FIG. 11, which will be described later.
  • FIG. 11 is a diagram showing an example of output note information C in the third embodiment.
  • the upper part of FIG. 11 shows the output note information C (Cz) described by the musical score representation method.
  • the lower part of FIG. 11 shows the musical score represented by the output note information Cz.
  • the output note information Cz includes a plurality of elements C0-C24. Elements C0 to C24 in FIG. 11 are the same as elements B0 to B24 of the output finger information Bz of the modified example (FIG. 9) of the first embodiment.
  • the output note information Cz also includes additional elements placed immediately after portions of the elements C5, C9, C11, C13, C16, C18, and C20 corresponding to the notes.
  • the attribute of "fingerrate” in element C0 is “2"
  • attribute "2" means a rate of 40%. Therefore, the output note information Cz consists of elements C9f, C11f, C9f, C11f, Further includes C16f.
  • Elements C9f, C11f, and C16f respectively indicate notes corresponding to immediately preceding elements C9, C11, and C16 as notes to which fingering is to be applied from the reference note string.
  • the notes N2, N3 and N5 corresponding to the elements C9, C11 and C16 are identifiably written on the musical score by the elements C9f, C11f and C16f.
  • the construction unit 13 in FIG. 3 performs machine learning with the input time-series data Az as input elements and the output note information Cz as output elements.
  • a trained model M representing the input/output relationship between the input time-series data Az and the output note information Cz is constructed.
  • the reception unit 21 receives the time-series data. Based on the trained model M constructed by the training device 10 and the time-series data received by the receiving unit 21, the estimating unit 22 estimates note information indicating notes to which fingering is to be applied from the string of notes. do. Estimation of note information is executed instead of step S12 in the fingering presentation process of FIG.
  • the generation unit 23 generates musical score information indicating an auxiliary musical score in which the musical notes indicated by the musical note information are displayed in an identifiable manner.
  • the estimation unit 22 uses the first trained model M constructed in the first embodiment and the second trained model M constructed in the present embodiment to Finger information may be estimated that indicates which fingers are to be used to play some of the notes included in the string.
  • FIG. 12 is a flowchart showing an example of fingering presentation processing in the modified example.
  • the reception unit 21 receives time-series data (step S21).
  • the estimation unit 22 estimates intermediate finger information from the time-series data received in step S11 using the first trained model M constructed in the first embodiment (step S22).
  • the intermediate finger information indicates the finger used when playing each note included in the note string with the musical instrument.
  • the estimation unit 22 also uses the second trained model M constructed in the present embodiment to estimate note information from the time-series data received in step S11 (step S23). Either of steps S22 and S23 may be performed first, or may be performed simultaneously.
  • the estimating unit 22 estimates fingering information for notes included in the note string other than the note indicated by the note information estimated in step S23, based on the intermediate fingering information estimated in step S22. (step S24). After that, the generation unit 23 generates musical score information based on the note sequence of the time-series data received in step S21 and the finger information estimated in step S24 (step S25). This completes the fingering presentation process.
  • the intermediate finger information estimated in step S22 has, for example, the same configuration as the output finger information Bz of the modified example (FIG. 9) of the first embodiment.
  • the note information estimated in step S23 has the same structure as the output note information Cz in FIG.
  • FIG. 13 is a diagram showing an example of finger information estimated in step S24 of the fingering presentation process.
  • the upper part of FIG. 13 shows the finger information F (Fz) written in a musical score representation format.
  • the lower part of FIG. 13 shows an auxiliary musical score represented by finger information Fz.
  • the finger information Fz is composed of elements B9f, B11f, and B16f corresponding to the elements C9f, C11f, and C16f indicating the notes to which fingering is to be applied in the note information (see FIG. 11), from the intermediate finger information (see FIG. 9). is estimated by removing
  • finger information Fz includes a plurality of elements F1 to F24. Elements F1 to F24 in FIG. 13 are the same as elements B1 to B24 of the output finger information Bz of the modified example (FIG. 9) of the first embodiment. Also, the finger information Fz includes additional elements placed immediately after parts of the elements F5, F9, F11, F13, F16, F18, and F20 corresponding to the notes. In this example, the finger information Fz further includes elements F5f, F13f, F18f, and F20f arranged immediately after the elements F5, F13, F18, and F20, respectively.
  • Elements F5f, F13f, F18f, and F20f respectively indicate the finger numbers used when playing the notes corresponding to the immediately preceding elements F5, F13, F18, and F20.
  • the "finger" attribute of the elements F5f, F13f, F18f, and F20f designates the finger number. Therefore, the elements F5f, F13f, F18f, and F20f, as shown in the lower part of FIG. and "2" are respectively written on the supporting musical score.
  • the fingering information for some notes is thinned out from the fingering information for all notes included in the note string of the time-series data.
  • appropriate fingerings for a beginner or intermediate player playing the instrument can be presented.
  • fingering information about important notes is thinned out when playing a musical instrument, so beginner-level or intermediate-level players should cultivate appropriate fingering judgment when practicing a musical instrument. can be done.
  • the fingering presentation device 20 includes the generator 23, but the embodiment is not limited to this.
  • the player can create an auxiliary musical score by transcribing the finger information estimated by the estimating section 22 into a desired musical score. Therefore, the fingering presentation device 20 does not have to include the generator 23 .
  • the training data D is trained to estimate finger information when playing the piano, but the embodiment is not limited to this.
  • the training data D may be trained to estimate finger information when performing with other musical instruments such as drums.
  • the user of the fingering presentation device 20 is a performer has been described as an example, but the user of the fingering presentation device 20 may be, for example, a staff member of a music production company. . Also, the machine learning by the training device 10 may be performed in advance by the staff of the music production company.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

提示運指提示装置は、受付部および推定部を備える。受付部は、複数の音符からなる音符列を含む時系列データを受け付ける。推定部は、訓練済モデルを用いて、指情報を推定する。指情報は、受付部により受け付けられた音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す。あるいは、推定部は、訓練済モデルを用いて、音符情報を推定する。音符情報は、受付部により受け付けられた音符列のうち、運指を付与する対象となる音符を示す。

Description

運指提示装置、訓練装置、運指提示方法および訓練方法
　本発明は、楽器を演奏する際の運指を提示する運指提示装置、訓練装置、運指提示方法および訓練方法に関する。
　楽器の演奏の練習を補助するための装置が知られている。例えば、特許文献１に記載された情報処理装置においては、演奏者の演奏技術レベルが算出され、算出された演奏技術レベルに基づいて、演奏者に演奏可能な楽曲が提示される。しかしながら、演奏者が未熟である場合には、各音符を楽器により演奏する際の指使い（以下、運指と呼ぶ。）を適切に決めることは容易ではない。これに対し、特許文献２には、音符系列の各音符での運指を確率モデルに基づいて決定する運指決定方法が記載されている。
特開２０１３－０８３８４５号公報 特開２００７－２４１０３４号公報
　特許文献２によれば、演奏者は、確率モデルに基づいた楽器演奏における運指を認識することができる。しかしながら、現実的には運指の組み合わせは無数に存在し、楽曲を演奏するための最適な運指は１つではない。そのため、より適切な運指が提示されることが望まれる。
　本発明の目的は、楽器を演奏する際の適切な運指を提示することが可能な運指提示装置、訓練装置、運指提示方法および訓練方法を提供することである。
　本発明の一局面に従う運指提示装置は、複数の音符からなる音符列を含む時系列データを受け付ける受付部と、訓練済モデルを用いて、音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す指情報、または音符列から運指を付与する対象となる音符を示す音符情報を推定する推定部とを備える。
　本発明の他の局面に従う訓練装置は、複数の音符からなる参照音符列を含む入力時系列データを取得する第１の取得部と、参照音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す出力指情報、または参照音符列から運指を付与する対象となる音符を示す出力音符情報を取得する第２の取得部と、入力時系列データと出力指情報または出力音符情報との間の入出力関係を習得した訓練済モデルを構築する構築部とを備える。
　本発明のさらに他の局面に従う運指提示方法は、複数の音符からなる音符列を含む時系列データを受け付け、訓練済モデルを用いて、音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す指情報、または音符列から運指を付与する対象となる音符を示す音符情報を推定し、コンピュータにより実行される。
　本発明のさらに他の局面に従う訓練方法は、複数の音符からなる参照音符列を含む入力時系列データを取得し、参照音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す出力指情報、または参照音符列から運指を付与する対象となる音符を示す出力音符情報を取得し、入力時系列データと出力指情報または出力音符情報との間の入出力関係を習得した訓練済モデルを構築し、コンピュータにより実行される。
　本発明によれば、楽器を演奏する際の適切な運指を提示することができる。
図１は本発明の第１の実施の形態に係る運指提示装置および訓練装置を含む処理システムの構成を示すブロック図である。 図２は各訓練データの一例を示す図である。 図３は訓練装置および運指提示装置の構成を示すブロック図である。 図４は表示部に表示される補助用楽譜の一例を示す。 図５は図３の訓練装置による訓練処理の一例を示すフローチャートである。 図６は図３の運指提示装置による運指提示処理の一例を示すフローチャートである。 図７は入力時系列データの他の例を示す図である。 図８は変形例における入力時系列データの一例を示す図である。 図９は変形例における出力指情報の一例を示す図である。 図１０は第２の実施の形態における入力時系列データの一例を示す図である。 図１１は第３の実施の形態における出力指情報の一例を示す図である。 図１２は変形例における運指提示処理の一例を示すフローチャートである。 図１３は運指提示処理のステップＳ２４で推定される指情報の一例を示す図である。
　［１］第１の実施の形態
　（１）処理システムの構成
　以下、本発明の実施の形態に係る運指提示装置、訓練装置、運指提示方法および訓練方法について図面を用いて詳細に説明する。図１は、本発明の第１の実施の形態に係る運指提示装置および訓練装置を含む処理システムの構成を示すブロック図である。図１に示すように、処理システム１００は、ＲＡＭ（ランダムアクセスメモリ）１１０、ＲＯＭ（リードオンリメモリ）１２０、ＣＰＵ（中央演算処理装置）１３０、記憶部１４０、操作部１５０および表示部１６０を備える。
　処理システム１００は、パーソナルコンピュータ、タブレット端末またはスマートフォン等のコンピュータにより実現される。あるいは、処理システム１００は、イーサネット等の通信路により接続された複数のコンピュータの共同動作により実現されてもよいし、電子ピアノ等の演奏機能を備えた電子楽器により実現されてもよい。
　ＲＡＭ１１０、ＲＯＭ１２０、ＣＰＵ１３０、記憶部１４０、操作部１５０および表示部１６０は、バス１７０に接続される。ＲＡＭ１１０、ＲＯＭ１２０およびＣＰＵ１３０により訓練装置１０および運指提示装置２０が構成される。本実施の形態では、訓練装置１０と運指提示装置２０とは共通の処理システム１００により構成されるが、別個の処理システムにより構成されてもよい。
　ＲＡＭ１１０は、例えば揮発性メモリからなり、ＣＰＵ１３０の作業領域として用いられる。ＲＯＭ１２０は、例えば不揮発性メモリからなり、訓練プログラムおよび運指提示プログラムを記憶する。ＣＰＵ１３０は、ＲＯＭ１２０に記憶された訓練プログラムをＲＡＭ１１０上で実行することにより訓練処理を行う。また、ＣＰＵ１３０は、ＲＯＭ１２０に記憶された運指提示プログラムをＲＡＭ１１０上で実行することにより運指提示処理を行う。訓練処理および運指提示処理の詳細については後述する。
　訓練プログラムまたは運指提示プログラムは、ＲＯＭ１２０ではなく記憶部１４０に記憶されてもよい。あるいは、訓練プログラムまたは運指提示プログラムは、コンピュータが読み取り可能な記憶媒体に記憶された形態で提供され、ＲＯＭ１２０または記憶部１４０にインストールされてもよい。あるいは、処理システム１００がインターネット等のネットワークに接続されている場合には、当該ネットワーク上のサーバ（クラウドサーバを含む。）から配信された訓練プログラムまたは運指提示プログラムがＲＯＭ１２０または記憶部１４０にインストールされてもよい。
　記憶部１４０は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、訓練済モデルＭおよび複数の訓練データＤを記憶する。訓練済モデルＭまたは各訓練データＤは、記憶部１４０に記憶されず、コンピュータが読み取り可能な記憶媒体に記憶されていてもよい。あるいは、処理システム１００がネットワークに接続されている場合には、訓練済モデルＭまたは各訓練データＤは、当該ネットワーク上のサーバに記憶されていてもよい。
　（２）訓練データ
　訓練済モデルＭは、運指提示装置２０の使用者（以下、演奏者と呼ぶ。）が楽器により楽曲を演奏する際の運指を提示するために訓練された機械学習モデルであり、複数の訓練データＤを用いて構築される。訓練装置１０の使用者は、操作部１５０を操作することにより、訓練データＤを生成することができる。訓練データＤは、参照演奏者の演奏知識または演奏スタイル等に基づいて作成されたデータである。参照演奏者は、楽曲の演奏に関して比較的高い技量を有する。参照演奏者は、楽曲の演奏における演奏者の指導者または師であってもよい。
　訓練データＤは、入力時系列データと出力指情報との組を示す。入力時系列データは、複数の音符からなる参照音符列を示す。入力時系列データは楽譜の画像を示す画像データであってもよい。出力指情報は、参照音符列の各音符を楽器により演奏する際に使用する参照演奏者の指を示し、参照音符列を演奏する際の運指を提示するために用いることができる。出力指情報は、各指に付与された固有の番号であってもよい。本例では、親指、人指し指、中指、薬指および小指に番号「１」～「５」がそれぞれ付与される。
　ここで、楽曲を演奏するための最適な運指は、演奏者の身体的特徴または演奏者による演奏の流儀により異なる。そこで、本実施の形態においては、入力時系列データは、参照音符列を演奏する参照演奏者の分類（カテゴリ）を示す参照演奏者識別子をさらに含む。参照演奏者識別子は、参照演奏者の身体的特徴と参照演奏者による演奏の流儀との少なくとも一方ごとに異なるように決定される。参照演奏者の身体的特徴は、例えば参照演奏者の手の大きさ（指の長さ）、年齢、性別または大人か子供かの区別を含む。
　図２は、各訓練データＤの一例を示す図である。図２の例は、参照演奏者がピアノを演奏する際の入力時系列データおよび出力指情報の一部を示す。図２に示すように、入力時系列データＡは、要素Ａ０～Ａ１６を含む。要素Ａ０は、参照演奏者識別子に対応し、参照演奏者の身体的特徴と参照演奏者による演奏の流儀との少なくとも一方ごとに異なる文字列により表される。要素Ａ１～Ａ１６は、参照音符列に対応する。本例では、要素Ａ０は入力時系列データＡにおける先頭、すなわち参照音符列（要素Ａ１～Ａ１６）の前に配置されるが、入力時系列データＡにおける任意の位置に配置されてもよい。
　要素Ａ１，Ａ３，Ａ５，…，Ａ１５における“Ｌ”は左手を意味し、数字は鍵に付与された番号を意味し、“ｏｎ”および“ｏｆｆ”はそれぞれ押鍵および離鍵を意味する。要素Ａ２，Ａ４，Ａ６，…，Ａ１６における“ｗａｉｔ”は待機を意味し、数字は時間の長さを意味する。したがって、要素Ａ１～Ａ４は、番号「６６」の鍵を押して１３単位時間だけ維持した後、番号「６６」の鍵を離して２単位時間だけ維持することを意味する。
　出力指情報Ｂは、入力時系列データＡの要素Ａ０～Ａ１６にそれぞれ対応する要素Ｂ０～Ｂ１６を含む。要素Ｂ０は、参照演奏者識別子を示し、要素Ａ０と同一の文字列により表される。要素Ｂ１，Ｂ３，Ｂ５，…，Ｂ１５における“Ｌ”は左手を意味し、数字は指に付与された番号を意味し、“ｄｏｗｎ”および“ｕｐ”はそれぞれ押し上げおよび押し下げを意味する。要素Ｂ２，Ｂ４，Ｂ６，…，Ｂ１６における“ｗａｉｔ”は待機を意味し、数字は時間の長さを意味する。したがって、要素Ｂ１～Ｂ４は、左手の中指を押し下げて１３単位時間だけ待機した後、左手の中指を押し上げて２単位時間だけ維持することを意味する。
　図２の訓練データＤは、左手の運指を示すために生成されるが、実施の形態はこれに限定されない。訓練データＤは、右手の運指を示すために生成されてもよいし、左手および右手の各々の運指を示すために生成されてもよい。右手の運指を示すための入力時系列データＡおよび出力指情報Ｂの要素においては、文字「Ｌ」ではなく例えば「Ｒ」が使用されてもよい。
　（３）訓練装置および運指提示装置
　図３は、訓練装置１０および運指提示装置２０の構成を示すブロック図である。図３に示すように、訓練装置１０は、機能部として、第１の取得部１１、第２の取得部１２および構築部１３を含む。図１のＣＰＵ１３０が訓練プログラムを実行することにより、訓練装置１０の機能部が実現される。訓練装置１０の機能部の少なくとも一部は、電子回路等のハードウエアにより実現されてもよい。
　第１の取得部１１は、記憶部１４０等に記憶された各訓練データＤから入力時系列データＡを取得する。第２の取得部１２は、各訓練データＤから出力指情報Ｂを取得する。構築部１３は、各訓練データＤについて、第１の取得部１１により取得された入力時系列データＡを入力要素とし、第２の取得部１２により取得された出力指情報Ｂを出力要素とする機械学習を行う。複数の訓練データＤについて機械学習を繰り返すことにより、構築部１３は、入力時系列データＡと出力指情報Ｂとの間の入出力関係を示す訓練済モデルＭを構築する。
　本例では、構築部１３はＴｒａｎｓｆｏｒｍｅｒを訓練することにより訓練済モデルＭを構築するが、実施の形態はこれに限定されない。構築部１３は、時系列を扱う他の方式の機械学習モデルを訓練することにより訓練済モデルＭを構築してもよい。構築部１３により構築された訓練済モデルＭは、例えば記憶部１４０に記憶される。構築部１３により構築された訓練済モデルＭは、ネットワーク上のサーバ等に記憶されてもよい。
　運指提示装置２０は、機能部として、受付部２１、推定部２２および生成部２３を含む。図１のＣＰＵ１３０が運指提示プログラムを実行することにより、運指提示装置２０の機能部が実現される。運指提示装置２０の機能部の少なくとも一部は、電子回路等のハードウエアにより実現されてもよい。
　本実施の形態では、受付部２１は、複数の音符からなる音符列を含む時系列データを受け付ける。演奏者は、楽譜の画像を示す画像データを時系列データとして受付部２１に与えることができる。あるいは、演奏者は、操作部１５０を操作することにより時系列データを生成し、受付部２１に与えることができる。
　本例では、時系列データは、図２の入力時系列データＡと同様の構成を有し、音符列を演奏する演奏者の分類（カテゴリ）を示す演奏者識別子をさらに含む。演奏者識別子は、演奏者の身体的特徴と演奏者による演奏の流儀との少なくとも一方ごとに異なるように決定される。演奏者の身体的特徴は、例えば演奏者の手の大きさ、年齢、性別または大人か子供かの区別を含む。
　推定部２２は、記憶部１４０等に記憶された訓練済モデルＭを用いて指情報を推定する。指情報は、受付部２１により受け付けられた音符列の各音符を演奏する際に使用する演奏者の指を示し、音符列および演奏者識別子に基づいて推定される。指情報は、各指に付与された固有の番号であってもよい。生成部２３は、受付部２１により受け付けられた時系列データの音符列および推定部２２により推定された指情報に基づいて楽譜情報を生成する。
　表示部１６０には、生成部２３により生成された楽譜情報に基づいて補助用楽譜が表示される。図４は、表示部１６０に表示される補助用楽譜の一例を示す。図４に示すように、補助用楽譜には、推定部２２により推定された指情報が受付部２１により受け付けられた音符列の各音符に対応するように示される。図４の例では、指情報として一方の手の指の番号が示されている。
　左手または右手の指の番号の区別をする場合には、左手の指の番号の付近に「Ｌ」等の所定の文字が付され、右手の指の番号の付近に「Ｒ」等の他の所定の文字が付されてもよい。あるいは、左手の指の番号またはそれに対応する音符に赤色等の所定の色が付され、右手の指の番号またはそれに対応する音符に青色等の他の所定の色が付されてもよい。
　（４）訓練処理および運指提示処理
　図５は、図３の訓練装置１０による訓練処理の一例を示すフローチャートである。図５の訓練処理は、図１のＣＰＵ１３０が訓練プログラムを実行することにより行われる。まず、第１の取得部１１は、各訓練データＤから入力時系列データＡを取得する（ステップＳ１）。また、第２の取得部１２は、各訓練データＤから出力指情報Ｂを取得する（ステップＳ２）。ステップＳ１，Ｓ２は、いずれが先に実行されてもよいし、同時に実行されてもよい。
　次に、構築部１３は、各訓練データＤについて、ステップＳ１で取得された入力時系列データＡを入力要素とし、ステップＳ２で取得された出力指情報Ｂを出力要素として機械学習を行う（ステップＳ３）。続いて、構築部１３は、十分な機械学習が実行されたか否かを判定する（ステップＳ４）。機械学習が不十分な場合、構築部１３はステップＳ３に戻る。十分な機械学習が実行されるまで、パラメータが変化されつつステップＳ３，Ｓ４が繰り返される。機械学習の繰り返し回数は、構築される訓練済モデルＭが満たすべき品質条件に応じて変化する。
　十分な機械学習が実行された場合、構築部１３は、ステップＳ３の機械学習により習得した入力時系列データＡと出力指情報Ｂとの間の入出力関係を訓練済モデルＭとして保存する（ステップＳ５）。これにより、訓練処理が終了する。
　図６は、図３の運指提示装置２０による運指提示処理の一例を示すフローチャートである。図６の運指提示処理は、図１のＣＰＵ１３０が運指提示プログラムを実行することにより行われる。まず、受付部２１は、時系列データを受け付ける（ステップＳ１１）。次に、推定部２２は、訓練処理のステップＳ５で保存された訓練済モデルＭを用いて、ステップＳ１１で受け付けられた時系列データから指情報を推定する（ステップＳ１２）。
　その後、生成部２３は、ステップＳ１１で受け付けられた時系列データの音符列およびステップＳ１２で推定された指情報に基づいて楽譜情報を生成する（ステップＳ１３）。生成された楽譜情報に基づいて、補助用楽譜が表示部１６０に表示されてもよい。これにより、運指提示処理が終了する。
　（５）実施の形態の効果
　以上説明したように、本実施の形態に係る運指提示装置２０は、複数の音符からなる音符列を含む時系列データを受け付ける受付部２１と、訓練済モデルＭを用いて、音符列の各音符を楽器により演奏する際に使用する指を示す指情報を推定する推定部２２とを備える。この構成によれば、訓練済モデルＭを用いて、時系列データにおける複数の音符の時間的流れから適切な指情報が推定される。これにより、楽器を演奏する際の適切な運指を提示することができる。
　訓練済モデルＭは、複数の音符からなる参照音符列を含む入力時系列データＡと、参照音符列の各音符を楽器により演奏する際に使用する指を示す出力指情報Ｂとの間の入出力関係を習得した機械学習モデルであってもよい。この場合、時系列データから指情報を容易に推定することができる。
　時系列データは、音符列を演奏する演奏者を示す演奏者識別子をさらに含み、推定部２２は、演奏者識別子に基づいて指情報を推定してもよい。この場合、演奏者に応じて適切な指情報を推定することができる。
　演奏者識別子は、演奏者の身体的特徴に対応するように決定されてもよい。この場合、演奏者の身体的特徴に応じて適切な指情報を推定することができる。
　演奏者識別子は、演奏者による演奏の流儀に対応するように決定されてもよい。この場合、演奏者による演奏の流儀に応じて適切な指情報を推定することができる。
　運指提示装置２０は、音符列の各音符に対応するように指情報が付された補助用楽譜を示す楽譜情報を生成する生成部をさらに備えてもよい。この場合、演奏者は、補助用楽譜を視認することにより、音符列の各音符に対応する指を容易に認識することができる。
　本実施の形態に係る訓練装置１０は、複数の音符からなる参照音符列を含む入力時系列データＡを取得する第１の取得部１１と、参照音符列の各音符を楽器により演奏する際に使用する指を示す出力指情報Ｂを取得する第２の取得部１２と、入力時系列データＡと出力指情報Ｂとの間の入出力関係を習得した訓練済モデルＭを構築する構築部１３とを備える。この構成によれば、入力時系列データＡと出力指情報Ｂとの間の入出力関係を習得した訓練済モデルＭを容易に構築することができる。
　（６）訓練データの他の例
　本実施の形態において、入力時系列データＡは参照演奏者識別子を含み、時系列データは演奏者識別子を含むが、実施の形態はこれに限定されない。入力時系列データＡは、参照音符列を含めばよく、参照演奏者識別子を含まなくてもよい。同様に、時系列データは、音符列を含めばよく、演奏者識別子を含まなくてもよい。
　また、本実施の形態において、入力時系列データＡおよび出力指情報Ｂは、ＭＩＤＩ（Musical Instrument Digital Interface）規格における押鍵または離鍵等を示す、いわゆる動作ベースで記述されるが、実施の形態はこれに限定されない。入力時系列データＡおよび出力指情報Ｂは、他の方式で記述されてもよい。例えば、入力時系列データＡおよび出力指情報Ｂは、ＭＩＤＩ規格における音符の開始位置または音符の長さ等を示す、いわゆる音符ベースで記述されてもよい。時系列データおよび指情報についても同様である。
　図７は、入力時系列データＡの他の例を示す図である。図７の上段には、動作ベースで記述された入力時系列データＡ（Ａｘ）が示される。図７の中段には、音符ベースで記述された入力時系列データＡ（Ａｙ）が示される。入力時系列データＡｘと入力時系列データＡｙとは、同一の参照音符列（図７の下段に示される楽譜中の参照音符列）を含む。入力時系列データＡｘ，Ａｙにおける“ｂａｒ”および“ｂｅａｔ”は、参照音符列の拍節構造を示す要素である。
　図７に示すように、入力時系列データＡを音符ベースで記述することにより、入力時系列データＡの長さが短縮される。これにより、より長い入力時系列データＡを容易に処理することが可能になる。なお、入力時系列データＡに対応する出力指情報Ｂは、入力時系列データＡにおける音高の番号を示す要素（“ｎｏｔｅ＿○○”）の直後に指の番号を示す要素を挿入することにより記述することができる。
　あるいは、入力時系列データＡおよび出力指情報Ｂは、楽譜を表す方式により記述されてもよい。楽譜を表す方式により記述された入力時系列データＡおよび出力指情報Ｂの詳細については、以下の変形例において説明する。
　（７）変形例
　図８は、変形例における入力時系列データＡの一例を示す図である。図８の上段には、楽譜を表す方式により記述された入力時系列データＡ（Ａｚ）が示される。図８の下段には、入力時系列データＡにより表された楽譜が示される。図８の上段に示すように、入力時系列データＡｚは、複数の要素Ａ０～Ａ２４を含む。一部の要素は属性を有する。要素の属性は、当該要素の後部（アンダーバーの後）に記述される。
　要素Ａ０は、参照音符列に含まれる音符のうち運指を付与する音符の割合を示す。要素Ａ０は入力時系列データＡｚにおける先頭の前に配置されるが、入力時系列データＡｚにおける任意の位置に配置されてもよい。要素Ａ０における“ｆｉｎｇｅｒｒａｔｅ”の属性により、割合が指定される。本例における属性「５」は、１００％の割合を意味する。割合は、例えば２０～４０％または４０～６０％のように、範囲を有してもよいし、複数の範囲に分割されてもよい。
　要素Ａ１はパートを示す。要素Ａ１は要素Ａ０の直後に配置されるが、入力時系列データＡｚにおける任意の位置に配置されてもよい。要素Ａ１として、「Ｒ」および「Ｌ」は、それぞれ右手および左手のパートを示す。本例では、「Ｒ」の後に右手に対応する要素が配置される。その後に「Ｌ」が配置され、「Ｌ」の後に左手に対応する要素が配置される。「Ｒ」および右手に対応する要素は、左手に対応する要素の後に配置されてもよい。パートの区別がない場合、入力時系列データＡｚは要素Ａ１を含まない。
　要素Ａ２，Ａ１５，Ａ２４は、楽譜の小節線を示す。したがって、図８の例では、要素Ａ２における“ｂａｒ”と要素Ａ１５における“ｂａｒ”とにより区切られた範囲が第１小節に対応する。要素Ａ１５における“ｂａｒ”と要素Ａ２４における“ｂａｒ”とにより区切られた範囲が第２小節に対応する。
　要素Ａ３は、楽譜の音部記号を示す。要素Ａ３における“ｃｌｅｆ”の属性により、音部記号の種類が指定される。図８の例では、属性が“ｔｒｅｂｌｅ”であるため、要素Ａ３により音部記号としてト音記号が指定される。なお、属性が“ｂａｓｓ”である場合には、要素Ａ３により音部記号としてヘ音記号が指定される。
　要素Ａ４は、楽譜の拍子記号を示す。要素Ａ４における“ｔｉｍｅ”の属性により、拍子記号の種類が指定される。図８の例では、属性が“４／４”であるため、要素Ａ４により拍子記号として“４／４”が指定される。
　参照音符列における音符は、音高と音価との組により示される。音高は、要素Ａ５，Ａ９，Ａ１１，Ａ１３，Ａ１６，Ａ１８，Ａ２０における“ｎｏｔｅ”の属性により指定される。音価は、要素Ａ６，Ａ１０，Ａ１２，Ａ１４，Ａ１７，Ａ１９，Ａ２１における“ｌｅｎ”の属性により指定される。本例では、“ｌｅｎ＿１”が１拍に相当する。
　楽譜における音符の符幹の方向は、要素Ａ６，Ａ１０，Ａ１２，Ａ１４，Ａ１７，Ａ１９，Ａ２１における“ｌｅｎ”の他の属性により指定される。他の属性が“ｄｏｗｎ”の場合、符幹は符頭から下に延びる。他の属性が“ｕｐ”の場合、符幹は符頭から上に延びる。８分音符または１６分音符等の複数の音符が連桁によりつなげられる場合には、連桁の開始位置、中継位置および終了位置が、要素Ａ１０，Ａ１２，Ａ１４における“ｌｅｎ”のさらに他の属性“ｓｔａｒｔ”、“ｃｏｎｔｉｎｕｅ”および“ｓｔｏｐ”によりそれぞれ指定される。
　参照音符列における休符は、要素Ａ７，Ａ２２における“ｒｅｓｔ”により指定される。休符の音価は、要素Ａ８，Ａ２３における“ｌｅｎ”の属性により記述される。
　図８の例では、要素Ａ５，Ａ６は音符Ｎ１を示し、要素Ａ７，Ａ８は休符Ｒ１を示す。要素Ａ９，Ａ１０は音符Ｎ２を示し、要素Ａ１１，Ａ１２は音符Ｎ３を示し、要素Ａ１３，Ａ１４は音符Ｎ４を示す。要素Ａ１６，Ａ１７は音符Ｎ５を示し、要素Ａ１８，Ａ１９は音符Ｎ６を示す。要素Ａ２０，Ａ２１は音符Ｎ７を示し、要素Ａ２２，Ａ２３は休符Ｒ２を示す。
　図９は、変形例における出力指情報Ｂの一例を示す図である。図９の上段には、楽譜を表す方式により記述された出力指情報Ｂ（Ｂｚ）が示される。出力指情報Ｂｚは、図８の入力時系列データＡｚに対応する。図９の下段には、出力指情報Ｂｚにより表された楽譜が示される。
　図９の上段に示すように、出力指情報Ｂｚは、複数の要素Ｂ０～Ｂ２４を含む。また、出力指情報Ｂｚは、要素Ｂ５，Ｂ９，Ｂ１１，Ｂ１３，Ｂ１６，Ｂ１８，Ｂ２０の直後にそれぞれ配置された要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆをさらに含む。要素Ｂ０～Ｂ２４は、図８の入力時系列データＡｚの要素Ａ０～Ａ２４とそれぞれ同様である。そのため、図３の第１の取得部１１は、出力指情報Ｂｚから要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆを削除することにより、入力時系列データＡｚを取得することができる。
　要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆは、直前の要素Ｂ５，Ｂ９，Ｂ１１，Ｂ１３，Ｂ１６，Ｂ１８，Ｂ２０に対応する音符を楽器により演奏する際に使用する指の番号をそれぞれ示す。要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆにおける“ｆｉｎｇｅｒ”の属性により、指の番号が指定される。したがって、要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆにより、図９の下段に示すように、音符Ｎ１～Ｎ７を演奏する際に使用する指の番号「１」、「１」、「２」、「１」、「３」、「３」および「２」がそれぞれ楽譜に記載される。
　（８）変形例の効果
　第１の実施の形態の変形例においては、要素Ａ０の属性により、参照音符列に含まれる音符のうち運指を付与する音符の割合を任意に指定することができる。割合が１００％であるときには、推定部２２は、音符列に含まれる全部の音符についての指情報を推定する。この場合、入門レベルの演奏者が楽器を演奏する際の適切な運指を提示することができる。
　また、割合が１００％であるときには、生成部２３は、推定部２２により推定された指情報に基づいて、指の動きをアニメーション等により示す動画ファイルを生成してもよい。これにより、指の動きを可視化することができる。このような動画ファイルの生成は、図６の運指提示処理におけるステップＳ１３の前または後に実行されてもよいし、ステップＳ１３と並列的に実行されてもよいし、ステップＳ１３に代えて実行されてもよい。
　一方、割合が１００％未満であるときには、推定部２２は、音符列に含まれる音符のうち、運指を付与する対象となる一部の音符と、当該一部の音符についての指情報とを推定する。この場合、入門レベルよりも高い初級レベルまたは中級レベルの演奏者が楽器を演奏する際の適切な運指を提示することができる。この構成においては、出力指情報Ｂｚは、要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆの一部を含まない。
　また、割合が１００％未満であるときには、推定部２２は、指情報を推定せずに、音符列から運指を付与する対象となる音符を示す音符情報を推定してもよい。詳細は、後述する第３の実施の形態で説明する。
　［２］第２の実施の形態
　（１）処理システム
　第２の実施の形態における処理システム１００について、第１の実施の形態における処理システム１００と異なる点を説明する。図３の訓練装置１０において、第１の取得部１１および第２の取得部１２は、訓練データＤの入力時系列データＡおよび出力指情報Ｂをそれぞれ取得する。
　図１０は、第２の実施の形態における入力時系列データＡの一例を示す図である。図１０の上段には、楽譜を表す方式により記述された入力時系列データＡｚが示される。図１０の下段には、入力時系列データＡｚにより表された楽譜が示される。
　図１０の上段に示すように、入力時系列データＡｚは、複数の要素Ａ０～Ａ２４を含む。図１０の要素Ａ０～Ａ２４は、第１の実施の形態における変形例（図８）の要素Ａ０～Ａ２４とそれぞれ同様である。また、入力時系列データＡｚは、音符に対応する要素Ａ５，Ａ９，Ａ１１，Ａ１３，Ａ１６，Ａ１８，Ａ２０の一部の直後に配置された追加の要素を含む。図１０の例では、入力時系列データＡｚは、要素Ａ５，Ａ１１，Ａ１６，Ａ２０の直後にそれぞれ配置された要素Ａ５ｆ，Ａ１１ｆ，Ａ１６ｆ，Ａ２０ｆをさらに含む。
　要素Ａ５ｆ，Ａ１１ｆ，Ａ１６ｆ，Ａ２０ｆは、直前の要素Ａ５，Ａ１１，Ａ１６，Ａ２０に対応する音符を楽器により演奏する際に使用する指の番号をそれぞれ示す指情報（以下、基本指情報と呼ぶ。）である。要素Ａ５ｆ，Ａ１１ｆ，Ａ１６ｆ，Ａ２０ｆにおける“ｆｉｎｇｅｒ”の属性により、指の番号が指定される。したがって、要素Ａ５ｆ，Ａ１１ｆ，Ａ１６ｆ，Ａ２０ｆにより、図１０の下段に示すように、音符Ｎ１，Ｎ３，Ｎ５，Ｎ７を演奏する際に使用する指の番号「１」、「２」「３」および「２」がそれぞれ楽譜に記載される。
　本実施の形態における出力指情報Ｂｚは、第１の実施の形態における変形例（図９）の出力指情報Ｂｚと同様である。そのため、第１の取得部１１は、出力指情報Ｂｚから要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆの一部をランダムに削除することにより、入力時系列データＡｚを取得することができる。削除する要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆの割合は、訓練装置１０の使用者が図１の操作部１５０を操作することにより指定することができる。
　本例では、出力指情報Ｂｚから要素Ｂ９ｆ，Ｂ１３ｆ，Ｂ１８ｆが削除されることにより入力時系列データＡｚが取得される。削除されない要素Ｂ５ｆ，Ｂ１１ｆ，Ｂ１６ｆ，Ｂ２０ｆが、基本指情報である要素Ａ５ｆ，Ａ１１ｆ，Ａ１６ｆ，Ａ２０ｆとして残存する。
　図３の構築部１３は、上記の入力時系列データＡｚを入力要素とし、出力指情報Ｂｚを出力要素とする機械学習を行う。複数の訓練データＤについて機械学習が繰り返されることにより、入力時系列データＡｚと出力指情報Ｂｚとの間の入出力関係を示す訓練済モデルＭが構築される。
　運指提示装置２０においては、受付部２１が時系列データを受け付ける。時系列データは、音符列に含まれる音符のうち一部の音符を楽器により演奏する際に使用する指を示す基本指情報をさらに含む。推定部２２は、構築された訓練済モデルＭと、基本指情報とに基づいて、音符列に含まれる音符を楽器により演奏する際に使用する指を示す指情報を推定する。生成部２３は、時系列データの音符列および指情報に基づいて楽譜情報を生成する。
　（２）実施の形態の効果
　本実施の形態によれば、時系列データの音符列に含まれる音符のうち、一部の音符についての指情報（基本指情報）のみが既知であり、残りの音符についての指情報が与えられていない場合でも、残りの音符についての指情報が補完される。これにより、入門レベルの演奏者が楽器を演奏する際の適切な運指を提示することができる。生成部２３は、推定部２２により推定された指情報に基づいて、指の動きをアニメーション等により示す動画ファイルを生成してもよい。この場合、指の動きを可視化することができる。
　（３）変形例
　本実施の形態において、推定部２２は時系列データの音符列に含まれる全部の音符についての指情報を推定するが、実施の形態はこれに限定されない。音符列に含まれる音符のうち第１の割合の音符について指情報が与えられている場合において、推定部２２は、音符列に含まれる音符のうち第１の割合よりも大きい第２の割合の音符についての指情報を推定してもよい。この場合、初級レベルまたは中級レベルの演奏者が楽器を演奏する際の適切な運指を提示することができる。
　変形例においては、訓練データＤの出力指情報Ｂは、要素Ｂ５ｆ，Ｂ９ｆ，Ｂ１１ｆ，Ｂ１３ｆ，Ｂ１６ｆ，Ｂ１８ｆ，Ｂ２０ｆの一部を含まなくてもよい。例えば、入力時系列データＡｚが要素Ａ５ｆ，Ａ１１ｆ，Ａ１６ｆ，Ａ２０ｆを含む場合には、出力指情報Ｂは要素Ｂ５ｆ，Ｂ１１ｆ，Ｂ１６ｆ，Ｂ２０ｆを含む。一方、出力指情報Ｂは、要素Ｂ９ｆ，Ｂ１３ｆ，Ｂ１８ｆの一部を含まなくてもよい。
　［３］第３の実施の形態
　（１）処理システム
　第３の実施の形態における処理システム１００について、第１の実施の形態における処理システム１００と異なる点を説明する。本実施の形態においては、訓練データＤは、入力時系列データＡと出力音符情報との組を示す。図３の訓練装置１０において、第１の取得部１１および第２の取得部１２は、訓練データＤの入力時系列データＡおよび出力音符情報をそれぞれ取得する。出力音符情報の取得は、図５の音学習処理におけるステップＳ２に代えて実行される。
　本実施の形態における入力時系列データＡｚは、第１の実施の形態における変形例（図８）の入力時系列データＡｚと同様である。第１の取得部１１は、後述する図１１の出力音符情報Ｃｚから要素Ｃ９ｆ，Ｃ１１ｆ，Ｃ１６ｆを削除することにより、入力時系列データＡｚを取得することができる。
　図１１は、第３の実施の形態における出力音符情報Ｃの一例を示す図である。図１１の上段には、楽譜を表す方式により記述された出力音符情報Ｃ（Ｃｚ）が示される。図１１の下段には、出力音符情報Ｃｚにより表された楽譜が示される。
　図１１の上段に示すように、出力音符情報Ｃｚは、複数の要素Ｃ０～Ｃ２４を含む。図１１の要素Ｃ０～Ｃ２４は、第１の実施の形態における変形例（図９）の出力指情報Ｂｚの要素Ｂ０～Ｂ２４とそれぞれ同様である。また、出力音符情報Ｃｚは、音符に対応する要素Ｃ５，Ｃ９，Ｃ１１，Ｃ１３，Ｃ１６，Ｃ１８，Ｃ２０の一部の直後に配置された追加の要素を含む。
　本例では、要素Ｃ０における“ｆｉｎｇｅｒｒａｔｅ”の属性は「２」であり、属性「２」は４０％の割合を意味する。そのため、出力音符情報Ｃｚは、要素Ｃ５，Ｃ９，Ｃ１１，Ｃ１３，Ｃ１６，Ｃ１８，Ｃ２０のうち、約４０％の要素である要素Ｃ９，Ｃ１１，Ｃ１６の直後にそれぞれ配置された要素Ｃ９ｆ，Ｃ１１ｆ，Ｃ１６ｆをさらに含む。
　要素Ｃ９ｆ，Ｃ１１ｆ，Ｃ１６ｆは、直前の要素Ｃ９，Ｃ１１，Ｃ１６に対応する音符を、参照音符列から運指を付与する対象となる音符としてそれぞれ示す。図１１の下段に示すように、要素Ｃ９ｆ，Ｃ１１ｆ，Ｃ１６ｆにより、要素Ｃ９，Ｃ１１，Ｃ１６に対応する音符Ｎ２，Ｎ３，Ｎ５がそれぞれ識別可能に楽譜に記載される。
　図３の構築部１３は、上記の入力時系列データＡｚを入力要素とし、出力音符情報Ｃｚを出力要素とする機械学習を行う。複数の訓練データＤについて機械学習が繰り返されることにより、入力時系列データＡｚと出力音符情報Ｃｚとの間の入出力関係を示す訓練済モデルＭが構築される。
　運指提示装置２０においては、受付部２１が時系列データを受け付ける。推定部２２は、訓練装置１０により構築された訓練済モデルＭと、受付部２１により受け付けられた時系列データに基づいて、音符列から運指を付与する対象となる音符を示す音符情報を推定する。音符情報の推定は、図６の運指提示処理におけるステップＳ１２に代えて実行される。生成部２３は、音符情報が示す音符が識別可能に表示された補助用楽譜を示す楽譜情報を生成する。
　（２）実施の形態の効果
　本実施の形態によれば、音符列から運指を付与する対象となる音符を提示することができる。これにより、初級レベルまたは中級レベルの演奏者は、楽器を演奏する際に要所となる音符を認識することができる。
　（３）変形例
　推定部２２は、第１の実施の形態で構築された第１の訓練済モデルＭと、本実施の形態で構築された第２の訓練済モデルＭとを用いて、音符列に含まれる一部の音符を楽器により演奏する際に使用する指を示す指情報を推定してもよい。図１２は、変形例における運指提示処理の一例を示すフローチャートである。
　まず、受付部２１は、時系列データを受け付ける（ステップＳ２１）。次に、推定部２２は、第１の実施の形態で構築された第１の訓練済モデルＭを用いて、ステップＳ１１で受け付けられた時系列データから中間指情報を推定する（ステップＳ２２）。中間指情報は、音符列に含まれる各音符を楽器により演奏する際に使用する指を示す。
　また、推定部２２は、本実施の形態で構築された第２の訓練済モデルＭを用いて、ステップＳ１１で受け付けられた時系列データから音符情報を推定する（ステップＳ２３）。ステップＳ２２，Ｓ２３は、いずれが先に実行されてもよいし、同時に実行されてもよい。
　続いて、推定部２２は、ステップＳ２２で推定された中間指情報に基づいて、音符列に含まれる音符のうち、ステップＳ２３で推定された音符情報が示す音符以外の音符についての指情報を推定する（ステップＳ２４）。その後、生成部２３は、ステップＳ２１で受け付けられた時系列データの音符列およびステップＳ２４で推定された指情報に基づいて楽譜情報を生成する（ステップＳ２５）。これにより、運指提示処理が終了する。
　この運指提示処理においては、ステップＳ２２で推定される中間指情報は、例えば第１の実施の形態における変形例（図９）の出力指情報Ｂｚと同様の構成を有する。また、ステップＳ２３で推定される音符情報は、図１１の出力音符情報Ｃｚと同様の構成を有する。図１３は、運指提示処理のステップＳ２４で推定される指情報の一例を示す図である。
　図１３の上段には、楽譜を表す方式により記述された指情報Ｆ（Ｆｚ）が示される。図１３の下段には、指情報Ｆｚにより表された補助用楽譜が示される。指情報Ｆｚは、中間指情報（図９参照）から、音符情報（図１１参照）における運指を付与する対象となる音符を示す要素Ｃ９ｆ，Ｃ１１ｆ，Ｃ１６ｆにそれぞれ対応する要素Ｂ９ｆ，Ｂ１１ｆ，Ｂ１６ｆを削除することにより推定される。
　具体的には、図１３の上段に示すように、指情報Ｆｚは、複数の要素Ｆ１～Ｆ２４を含む。図１３の要素Ｆ１～Ｆ２４は、第１の実施の形態における変形例（図９）の出力指情報Ｂｚの要素Ｂ１～Ｂ２４とそれぞれ同様である。また、指情報Ｆｚは、音符に対応する要素Ｆ５，Ｆ９，Ｆ１１，Ｆ１３，Ｆ１６，Ｆ１８，Ｆ２０の一部の直後に配置された追加の要素を含む。本例では、指情報Ｆｚは、要素Ｆ５，Ｆ１３，Ｆ１８，Ｆ２０の直後にそれぞれ配置された要素Ｆ５ｆ，Ｆ１３ｆ，Ｆ１８ｆ，Ｆ２０ｆをさらに含む。
　要素Ｆ５ｆ，Ｆ１３ｆ，Ｆ１８ｆ，Ｆ２０ｆは、直前の要素Ｆ５，Ｆ１３，Ｆ１８，Ｆ２０に対応する音符を楽器により演奏する際に使用する指の番号をそれぞれ示す。要素Ｆ５ｆ，Ｆ１３ｆ，Ｆ１８ｆ，Ｆ２０ｆにおける“ｆｉｎｇｅｒ”の属性により、指の番号が指定される。したがって、要素Ｆ５ｆ，Ｆ１３ｆ，Ｆ１８ｆ，Ｆ２０ｆにより、図１３の下段に示すように、音符Ｎ１，Ｎ４，Ｎ６，Ｎ７を演奏する際に使用する指の番号「１」、「１」、「３」および「２」がそれぞれ補助用楽譜に記載される。
　変形例によれば、時系列データの音符列に含まれる全部の音符についての指情報から、一部の音符についての指情報が間引きされる。この場合、初級レベルまたは中級レベルの演奏者が楽器を演奏する際の適切な運指を提示することができる。例えば、楽器を演奏する際に要所となる音符についての指情報が間引かれるので、初級レベルまたは中級レベルの演奏者は、楽器を練習する際に、適切な運指の判断力を養うことができる。
　［４］他の実施の形態
　上記実施の形態において、運指提示装置２０は生成部２３を含むが、実施の形態はこれに限定されない。演奏者は、推定部２２により推定された指情報を所望の楽譜に転記することにより補助用楽譜を作成することができる。そのため、運指提示装置２０は、生成部２３を含まなくてもよい。
　上記実施の形態において、訓練データＤはピアノにより演奏を行う際の指情報を推定するように訓練されるが、実施の形態はこれに限定されない。訓練データＤは、ドラム等の他の楽器により演奏を行う際の指情報を推定するように訓練されてもよい。
　上記実施の形態において、運指提示装置２０の使用者が演奏者である場合を例に説明したが、運指提示装置２０の使用者は、例えば、楽譜の作成会社のスタッフであってもよい。また、訓練装置１０による機械学習は、楽譜の作成会社のスタッフにより事前に行われてもよい。

Claims (11)

  1. 複数の音符からなる音符列を含む時系列データを受け付ける受付部と、
    　訓練済モデルを用いて、前記音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す指情報、または前記音符列から運指を付与する対象となる音符を示す音符情報を推定する推定部とを備える、運指提示装置。
  2. 前記訓練済モデルは、複数の音符からなる参照音符列を含む入力時系列データと、前記参照音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す出力指情報、または前記参照音符列から運指を付与する対象となる音符を示す出力音符情報との間の入出力関係を習得した機械学習モデルである、請求項１記載の運指提示装置。
  3. 前記時系列データは、前記音符列を演奏する演奏者を示す演奏者識別子をさらに含み、
    　前記推定部は、前記演奏者識別子に基づいて前記指情報を推定する、請求項１または２記載の運指提示装置。
  4. 前記演奏者識別子は、前記演奏者の身体的特徴に対応するように決定される、請求項３記載の運指提示装置。
  5. 前記演奏者識別子は、前記演奏者による演奏の流儀に対応するように決定される、請求項３または４記載の運指提示装置。
  6. 前記時系列データは、前記音符列に含まれる音符のうち第１の割合の音符を楽器により演奏する際に使用する指を示す基本指情報をさらに含み、
    　前記推定部は、前記基本指情報に基づいて、前記音符列に含まれる音符のうち前記第１の割合よりも大きい第２の割合の音符を楽器により演奏する際に使用する指を示す前記指情報を推定する、請求項１または２記載の運指提示装置。
  7. 前記推定部は、前記音符列に含まれる各音符を楽器により演奏する際に使用する指を示す中間指情報と、前記音符情報とを推定し、前記中間指情報に基づいて、前記音符列に含まれる音符のうち前記音符情報が示す音符以外の音符を楽器により演奏する際に使用する指を示す前記指情報を推定する、請求項１または２記載の運指提示装置。
  8. 前記音符列に含まれる少なくとも一部の音符に対応するように前記指情報が付された第１の補助用楽譜、または前記音符情報が示す音符が識別可能に表示された第２の補助用楽譜を示す楽譜情報を生成する生成部をさらに備える、請求項１～７のいずれか一項に記載の運指提示装置。
  9. 複数の音符からなる参照音符列を含む入力時系列データを取得する第１の取得部と、
    　前記参照音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す出力指情報、または前記参照音符列から運指を付与する対象となる音符を示す出力音符情報を取得する第２の取得部と、
    　前記入力時系列データと前記出力指情報または前記出力音符情報との間の入出力関係を習得した訓練済モデルを構築する構築部とを備える、訓練装置。
  10. 複数の音符からなる音符列を含む時系列データを受け付け、
    　訓練済モデルを用いて、前記音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す指情報、または前記音符列から運指を付与する対象となる音符を示す音符情報を推定する、
    　コンピュータにより実行される、運指提示方法。
  11. 複数の音符からなる参照音符列を含む入力時系列データを取得し、
    　前記参照音符列に含まれる少なくとも一部の音符を楽器により演奏する際に使用する指を示す出力指情報、または前記参照音符列から運指を付与する対象となる音符を示す出力音符情報を取得し、
    　前記入力時系列データと前記出力指情報または前記出力音符情報との間の入出力関係を習得した訓練済モデルを構築する、
    　コンピュータにより実行される、訓練方法。
PCT/JP2021/040273 2021-03-09 2021-11-01 運指提示装置、訓練装置、運指提示方法および訓練方法 WO2022190453A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023505094A JPWO2022190453A1 (ja) 2021-03-09 2021-11-01
CN202180095314.2A CN116940978A (zh) 2021-03-09 2021-11-01 运指提示装置、训练装置、运指提示方法及训练方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021037170 2021-03-09
JP2021-037170 2021-03-09

Publications (1)

Publication Number Publication Date
WO2022190453A1 true WO2022190453A1 (ja) 2022-09-15

Family

ID=83226235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040273 WO2022190453A1 (ja) 2021-03-09 2021-11-01 運指提示装置、訓練装置、運指提示方法および訓練方法

Country Status (3)

Country Link
JP (1) JPWO2022190453A1 (ja)
CN (1) CN116940978A (ja)
WO (1) WO2022190453A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723938A (zh) * 2020-05-06 2020-09-29 华南理工大学 一种基于指法规则和强化学习的钢琴指法自动生成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723938A (zh) * 2020-05-06 2020-09-29 华南理工大学 一种基于指法规则和强化学习的钢琴指法自动生成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HOTTA, KEISUKE: "Study on the presentation of finger movement considering physical characteristics and musical interpretation", SPRING AND AUTUMN MEETING OF THE ACOUSTICAL SOCIETY OF JAPAN, ACOUSTICAL SOCIETY OF JAPAN, JP, 17 September 2010 (2010-09-17) - 17 September 2019 (2019-09-17), JP , pages 46 - 47, XP009540205, ISSN: 1880-7658 *
NAKAMURA, EITA ET AL.: "Fingering estimation by statistical learning method using fingering data and formulation of playing difficultly", IPSJ TECHNICAL REPORT, vol. 2019-MUS-124, no. 12, 20 August 2019 (2019-08-20), pages 1 - 16, XP009539748 *
SAKO, SHINJI ET AL.: "Automatic estimation of violin textbook fingering useful for beginners", IPSJ TECHNICAL REPORT, vol. 2019-MUS-123, no. 22, 15 June 2019 (2019-06-15), pages 1 - 6, XP009539747 *
SHINMURA, YUKA; SEKIZAWA, AKIRA; NAKAJIMA, KATSUTO: "E-011 Fingering Proposal from Music Note for Practicing String Instrument", PROCEEDINGS OF 18TH FORUM ON INFORMATION TECHNOLOGY (FIT2019); SEPTEMBER 3-5, 2019, vol. 18, no. 2, 20 August 2019 (2019-08-20) - 5 September 2019 (2019-09-05), pages 207 - 208, XP009539638 *
WATANABE, JURI ET AL.: "1T-01 Effective fingering estimation for beginner education of violin", PROCEEDINGS OF THE 81ST NATIONAL CONFERENCE OF IPSJ, INFORMATION PROCESSING SOCIETY OF JAPAN, JP, vol. 81, no. 2, 28 February 2019 (2019-02-28), JP, pages 2 - 2-336, XP009539640 *

Also Published As

Publication number Publication date
JPWO2022190453A1 (ja) 2022-09-15
CN116940978A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US8586849B1 (en) Media system and method of progressive instruction in the playing of a guitar based on user proficiency
US10748515B2 (en) Enhanced real-time audio generation via cloud-based virtualized orchestra
US10013963B1 (en) Method for providing a melody recording based on user humming melody and apparatus for the same
CN111602193B (zh) 用于处理乐曲的演奏的信息处理方法和装置
US8414369B2 (en) Music game system and method of providing same
US20110086704A1 (en) Music game system and method of providing same
US9734810B2 (en) Automatic harmony generation system
Syukur et al. Immersive and challenging experiences through a virtual reality musical instruments game: an approach to gamelan preservation
Krout Engaging iPad applications with young people with autism spectrum disorders
US10002598B2 (en) Selective pitch emulator for electrical stringed instruments
US8704067B2 (en) Musical score playing device and musical score playing program
CN110959172B (zh) 演奏解析方法、演奏解析装置以及存储介质
JP2013083845A (ja) 情報処理装置および方法、並びにプログラム
WO2022190453A1 (ja) 運指提示装置、訓練装置、運指提示方法および訓練方法
Fonteles et al. User experience in a kinect-based conducting system for visualization of musical structure
JP2019109357A (ja) 音楽情報の特徴解析方法及びその装置
CN111354327A (zh) 一种辅助弹奏方法、介质及智能钢琴
WO2022202199A1 (ja) コード推定装置、訓練装置、コード推定方法および訓練方法
WO2022244403A1 (ja) 楽譜作成装置、訓練装置、楽譜作成方法および訓練方法
JP5609520B2 (ja) 演奏評価装置および演奏評価プログラム
TWI696986B (zh) 智能鋼琴訓練系統
WO2023181570A1 (ja) 情報処理方法、情報処理システムおよびプログラム
WO2023139883A1 (ja) 信号処理装置、及び信号処理方法
Yang Modeling player performance in rhythm games
JP6632447B2 (ja) 運指決定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930299

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180095314.2

Country of ref document: CN

Ref document number: 2023505094

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21930299

Country of ref document: EP

Kind code of ref document: A1