WO2019181331A1 - 演奏解析方法および演奏解析装置 - Google Patents

演奏解析方法および演奏解析装置 Download PDF

Info

Publication number
WO2019181331A1
WO2019181331A1 PCT/JP2019/006049 JP2019006049W WO2019181331A1 WO 2019181331 A1 WO2019181331 A1 WO 2019181331A1 JP 2019006049 W JP2019006049 W JP 2019006049W WO 2019181331 A1 WO2019181331 A1 WO 2019181331A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
time point
performance position
time
music
Prior art date
Application number
PCT/JP2019/006049
Other languages
English (en)
French (fr)
Inventor
陽 前澤
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2019181331A1 publication Critical patent/WO2019181331A1/ja
Priority to US17/008,460 priority Critical patent/US11557270B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Definitions

  • the present invention relates to a technique for analyzing the performance of music.
  • Patent Document 1 and Patent Document 2 disclose a technique for estimating the performance position from the performance sound of a musical piece actually played by the performer and controlling the reproduction of the performance sound of the accompaniment part so as to synchronize with the progress of the performance position. It is disclosed.
  • An error may occur in the performance position estimated under the above technique.
  • the performance position is corrected according to an instruction from the user, for example.
  • the subsequent performance position is corrected with the performance position estimated at the time when the error occurs as a starting point, it may be difficult to quickly and easily correct the performance position to an appropriate position.
  • a preferred aspect of the present invention aims to correct the performance position to an appropriate position quickly and easily.
  • a performance analysis method sequentially estimates a performance position in the music by an analysis process for an acoustic signal representing a performance sound of the music, and the analysis process At the first time point on the time axis, the estimated performance position is changed to a performance position corresponding to the time series of the performance positions estimated in the analysis process for a selection period spaced forward from the first time point.
  • the performance position in the music is set at the first time point on the time axis according to the time series of the performance position estimated by the analysis processing for a selection period separated from the first time point. Set to the playing position.
  • a performance analysis apparatus includes an estimation unit that sequentially estimates a performance position in the music by an analysis process on an acoustic signal representing a performance sound of the music, and a performance position estimated by the analysis process. And a control unit that changes the performance period to a performance position according to a time series of performance positions estimated in the analysis process for a selection period spaced forward from the first time point at a first time point on the time axis.
  • the performance analysis apparatus may correspond to the time position of the performance position estimated in the analysis process for the selection period separated from the first time point at the first time point on the time axis.
  • a controller for setting the performance position is provided.
  • FIG. 1 is a block diagram illustrating the configuration of a performance system 100 according to the first embodiment of the present invention.
  • the performance system 100 is a computer system installed in an acoustic space such as an acoustic hall where the performer H1 is located.
  • the performer H1 is, for example, a performer who plays music using a musical instrument or a singer who sings music. “Performance” in the following description includes singing in addition to musical instrument performance.
  • the performance system 100 performs an automatic performance of the music in parallel with the performance of the music by the player H1.
  • the performance system 100 according to the first embodiment includes an information processing device 11 and a performance device 12.
  • the performance device 12 performs automatic performance of music under the control of the information processing device 11.
  • the performance device 12 is an automatic musical instrument (for example, an automatic performance piano) that includes a drive mechanism 121 and a sound generation mechanism 122.
  • the sound generation mechanism 122 includes, for example, a keyboard as well as a keyboard instrument of a natural musical instrument, and a string striking mechanism that generates a string (sounding body) for each key in conjunction with the displacement of each key on the keyboard.
  • the drive mechanism 121 executes the automatic performance of the target music piece by driving the sound generation mechanism 122.
  • An automatic performance is realized by the drive mechanism 121 driving the sound generation mechanism 122 in accordance with an instruction from the information processing apparatus 11. Note that the information processing apparatus 11 may be mounted on the performance apparatus 12.
  • FIG. 2 is a block diagram illustrating the configuration of the information processing apparatus 11.
  • the information processing apparatus 11 is, for example, a portable information terminal such as a smartphone or a tablet terminal, or a portable or stationary information terminal such as a personal computer. As illustrated in FIG. 2, the information processing apparatus 11 includes a control device 21, a storage device 22, a sound collection device 23, an input device 24, and a display 25.
  • the sound collection device 23 is a microphone that collects a performance sound M1 (for example, an instrument sound or a singing sound) generated by a performance by the player H1.
  • the sound collection device 23 generates an acoustic signal Z representing the waveform of the performance sound M1.
  • An A / D converter that converts the acoustic signal Z from analog to digital is not shown for convenience.
  • the configuration in which the information processing apparatus 11 includes the sound collection device 23 is illustrated in FIG. 2, the sound collection device 23 separate from the information processing apparatus 11 may be connected to the information processing apparatus 11 by wire or wirelessly. Good.
  • an acoustic signal Z output from an electric musical instrument such as an electric stringed musical instrument may be supplied to the information processing apparatus 11. That is, the sound collection device 23 may be omitted.
  • the input device 24 is an input device that receives an instruction from the user H2 who uses the information processing apparatus 11.
  • a plurality of operators operated by the user H2 or a touch panel for detecting contact by the user H2 is preferably used as the input device 24.
  • the operating elements here can be realized as buttons, keys, knobs, levers, and the like, for example.
  • the touch panel is typically disposed so as to overlap the display 25.
  • the user H2 is, for example, an administrator of the performance system 100 or a concert operator in which the performer H1 appears. As illustrated in FIG. 1, the user H2 listens to a performance sound M1 generated by the performance by the player H1 and a performance sound M2 generated by the automatic performance by the performance device 12.
  • the storage device 22 is a memory that stores a program executed by the control device 21 and various data used by the control device 21.
  • the storage device 22 includes a known recording medium such as a magnetic recording medium or a semiconductor recording medium, or a combination of a plurality of types of recording media.
  • a storage device 22 that is separate from the information processing device 11 may be prepared, and the control device 21 may execute writing and reading with respect to the storage device 22 via a communication network. That is, the storage device 22 may be omitted from the information processing device 11.
  • the display 25 is a device that displays various types of information toward the user H2, and is realized as, for example, a liquid crystal display.
  • the display 25 can be configured integrally with the information processing apparatus 11 or can be configured as a separate body.
  • the storage device 22 of the first embodiment stores music data.
  • the music data specifies a time series of notes constituting the music. Specifically, the music data specifies a pitch, a volume, and a sound generation period for each of a plurality of notes constituting the music.
  • a file (SMF: Standard MIDI File) conforming to the MIDI (Musical Instrument Digital Interface) standard is suitable as the music data.
  • FIG. 3 is a block diagram illustrating a functional configuration of the information processing apparatus 11.
  • the control device 21 executes a program stored in the storage device 22, thereby controlling a plurality of functions (for controlling automatic performance of the performance device 12 in accordance with the performance by the player H 1).
  • a performance analysis unit 31 and a performance control unit 32) are realized.
  • the function of the control device 21 may be realized by a set of processing circuits, or a part or all of the function of the control device 21 may be realized by a dedicated electronic circuit.
  • a computer such as a server device located at a position away from the acoustic space where the performance device 12 is installed may realize part or all of the functions of the control device 21.
  • the performance analysis unit 31 identifies the performance position P in the music piece by analyzing the acoustic signal Z supplied from the sound collection device 23.
  • the performance position P is a point in time when the performer H1 is actually performing the music. It can also be said that the performance position P is the position where the player H1 is actually performing on the score indicated by the music data.
  • the specification of the performance position P is repeatedly executed in parallel with the performance of the music by the player H1.
  • the performance position P specified by the performance analysis unit 31 moves backward in the music as time passes.
  • the information processing apparatus 11 of the first embodiment functions as a performance analysis apparatus that specifies the performance position P by analyzing the acoustic signal Z.
  • the performance controller 32 controls the automatic performance by the performance device 12 in parallel with the performance of the music by the player H1.
  • the performance controller 32 controls the automatic performance according to the performance position P specified by the performance analyzer 31.
  • the performance control unit 32 controls the progress of the automatic performance according to the performance position P so that the automatic performance by the performance device 12 follows the performance of the performer H1. That is, the performance control unit 32 instructs the performance device 12 to perform the performance specified by the music data for the performance position P (at the performance position P). For example, an instruction to pronounce or mute a note specified by music data (for example, MIDI event data) is output from the performance control unit 32 to the performance device 12.
  • the performance analysis unit 31 of the first embodiment includes an estimation unit 41, a calculation unit 42, and a control unit 43.
  • the estimation unit 41 sequentially estimates the performance position Px by a predetermined process (hereinafter referred to as “analysis process”) for analyzing the acoustic signal Z generated by the sound collection device 23. That is, the performance position Px is estimated by analysis processing at different time points on the time axis.
  • analysis process a predetermined process for analyzing the acoustic signal Z generated by the sound collection device 23. That is, the performance position Px is estimated by analysis processing at different time points on the time axis.
  • a known acoustic analysis technique a known acoustic analysis technique (score alignment) disclosed in, for example, Patent Document 1 or Patent Document 2 is arbitrarily employed.
  • the time series of performance positions Px sequentially estimated by the estimation unit 41 is stored in the storage device 22. That is, a history of estimation results by the estimation unit 41 is held in the storage device 22.
  • the control unit 43 specifies the performance position P.
  • a performance position P specified by the control unit 43 is instructed to the performance control unit 32.
  • the control unit 43 of the first embodiment basically specifies the performance position Px estimated by the estimation unit 41 as the performance position P.
  • an error may occur in the performance position Px estimated by the estimation unit 41 through analysis processing.
  • the control unit 43 according to the first embodiment changes the performance position Px estimated by the analysis processing to the performance position Py in which the error is reduced. That is, the performance position P instructed by the performance control unit 32 is corrected from the performance position Px to the performance position Py.
  • 3 specifies the performance position Py used for correcting the performance position P.
  • the change and correction of the performance position here means that the performance position P instructed to the performance control section 32 as the current performance position in the music is not the performance position Px estimated by the estimation section 41 but the calculation section.
  • the performance position Py specified by 42 is set.
  • FIG. 4 is a graph illustrating the change in the performance position P over time.
  • the error period E in FIG. 4 is a period during which the error of the performance position Px increases with time.
  • the user H2 perceives a temporal shift between the performance sound M1 of the musical instrument by the performer H1 and the performance sound M2 of the automatic performance by the performance device 12, thereby performing the performance. It can be determined that an error has occurred in the position Px. If it is determined that an error has occurred in the performance position Px, the user H2 gives a predetermined instruction (hereinafter referred to as “first instruction”) by operating the input device 24.
  • the time point t1 illustrated as the first time point in FIG.
  • the control unit 43 changes the performance position P from the performance position Px to the performance position Py at the time point t1 with the first instruction from the user H2.
  • the calculation unit 42 specifies the performance position Py from the time series of the performance positions Px estimated by the estimation unit 41 in the past analysis process (specifically, for the selection period Q located in front of the time point t1 (specifically, in the selection period Q). Extrapolate).
  • the selection period Q is a period from the start point q1 to the end point q2.
  • the start point q1 of the selection period Q is a time point ahead of the end point q2.
  • the end point q2 of the selection period Q is a time point that is spaced forward on the time axis by a predetermined time length ⁇ from the time point t1 according to the first instruction.
  • the time length ⁇ is set to a time length that is longer than the time length assumed until the user H2 gives the first instruction after an error starts to occur at the performance position Px.
  • the start point q1 of the selection period Q is set 5 seconds before the time point t1
  • the end point q2 is set 2 seconds before the time point t1. Therefore, there is a high possibility that no error has occurred in the performance position Px estimated by the analysis process within the selection period Q. That is, the selection period Q is a period ahead of the start point of the error period E.
  • the calculation unit 42 of the first embodiment is behind the selection period Q from the time series of the performance positions Px in the selection period Q described above (that is, the time series of the performance positions Px in which no error has occurred).
  • a performance position Py at time t1 is specified.
  • the control unit 43 changes the performance position P instructed to the performance control unit 32 from the performance position Px to the performance position Py at time t1.
  • the time lag between the performance sound M1 of the musical instrument by the performer H1 and the performance sound M2 of the automatic performance is reduced compared to the error period E. .
  • the user H2 gives a predetermined instruction (hereinafter referred to as “second instruction”) by operating the input device 24.
  • a time point t2 illustrated as a second time point located behind the time point t1 is a time point corresponding to the second instruction to the input device 24.
  • the time point when the user H2 gives the second instruction is set as the time point t2.
  • adjustment period A between time t1 and time t2
  • the user H2 can adjust the performance position P by operating the input device 24.
  • the control unit 43 controls the transition of the performance position P within the adjustment period A according to an instruction from the user H2 to the input device 24. For example, the control unit 43 advances the performance position P at a speed according to an instruction from the user H2.
  • the user H2 can input such an instruction by operating a speed adjustment knob or lever included in the input device 24, for example.
  • the control unit 43 stops the progress of the performance position P in response to an instruction from the user H2.
  • the user H2 can input such an instruction by operating a pause button included in the input device 24, for example.
  • control unit 43 sets a specific position on the score as the performance position P in accordance with an instruction from the user H2.
  • the user H2 can input such an instruction by selecting a specific position on the score displayed on the display 25 via the touch panel, for example.
  • FIG. 4 illustrates a case where the user H2 advances the performance position P within the adjustment period A.
  • the performance position P in the adjustment period A is set with the performance position Py after the change at the start point (time t1) of the adjustment period A as a starting point.
  • the estimation result (performance position Px) by the estimation unit 41 is not reflected in the performance position P within the adjustment period A.
  • the performance position Py specified by the calculation unit 42 is set as an initial value, and the performance position P is adjusted according to an instruction from the user H2.
  • the estimation unit 41 stops the estimation of the performance position Px by the analysis process within the adjustment period A. That is, the analysis process is stopped by the first instruction from the user H2. On the other hand, at the time t2 when the adjustment period A ends, the estimation unit 41 resumes the estimation of the performance position Px by the analysis process. Specifically, the estimation unit 41 resumes the estimation of the performance position Px after the time t2 with the performance position P specified for the time t2 (at the time t2) as the starting point (that is, the initial value). After the time point t2 (that is, after the adjustment period A has elapsed), the control unit 43 instructs the performance control unit 32 as the performance position Px that is sequentially estimated by the estimation unit 41 through the analysis process.
  • the time series of the performance position Px estimated by the analysis process is stored in the storage device 22 in the same manner as before time t1. It should be noted that adjustment of the performance position P by the user H2 is allowed even during periods other than the adjustment period A. However, the adjustment of the performance position P by the user H2 may be prohibited outside the adjustment period A.
  • FIG. 5 is a flowchart illustrating a specific procedure of processing executed by the control device 21.
  • the process of FIG. 5 is started when a predetermined operation is performed on the input device 24.
  • the estimation unit 41 estimates the performance position Px by analysis processing on the acoustic signal Z (S1).
  • the performance position Px estimated by the estimation unit 41 is instructed to the performance control unit 32 as the performance position P (S2) and stored in the storage device 22 (S3).
  • the control unit 43 determines whether or not the first instruction is given from the user H2 (S4).
  • the estimation (S1), instruction (S2), and storage (S3) of the performance position Px by the analysis process are repeated until the first instruction is given (S4: NO).
  • the analysis process by the estimation unit 41 is stopped (S5).
  • the calculation unit 42 calculates the performance position Py from the time series of the performance positions Px within the selection period Q with the end point q2 in front of the time point t1 of the first instruction (S6).
  • the control unit 43 changes the performance position P instructed to the performance control unit 32 from the latest performance position Px estimated by the estimation unit 41 to the performance position Py calculated by the calculation unit 42 (S7).
  • the control unit 43 determines whether or not an instruction to adjust the performance position P is given from the user H2 (S8).
  • the control unit 43 adjusts the performance position P according to the instruction from the user H2 (S9).
  • the adjustment instruction is not given from the user H2 (S8: NO)
  • the performance position P is not adjusted.
  • the control unit 43 determines whether or not the second instruction is given from the user H2 (S10).
  • the adjustment of the performance position P according to the instruction from the user H2 (S8, S9) is repeated until the second instruction is given (S10: NO).
  • the analysis process by the estimation unit 41 is resumed (S1).
  • the performance position Px estimated by the analysis process is estimated for the selection period Q that is spaced forward from the time point t1 (in the selection period Q).
  • the performance position Py is changed according to the time series of the performance position Px. Therefore, when an error occurs immediately before the time point t1 (for example, after the selection period Q has elapsed) with respect to the performance position Px estimated by the analysis process, the performance position P after the time point t1 is corrected to an appropriate position quickly and easily. can do.
  • the user H2 since an error has already occurred in the performance position Px at the time t1 when the user H2 gives the first instruction, the user H2 appropriately selects the performance position P from the performance position Px at the time t1. It may be difficult to adjust to a correct position.
  • the performance position P estimated by the analysis process is corrected to the performance position Py corresponding to the time series of the performance position Px before the occurrence of the error.
  • the performance position Py is likely to approximate the appropriate performance position P when it is assumed that no error has occurred. That is, the adjustment amount of the performance position P necessary for eliminating the error of the performance position P is reduced. Therefore, there is an advantage that the work for the user H2 to adjust the performance position P is simplified.
  • the performance position P is corrected in response to the first instruction to the input device 24, the performance position P is corrected to an appropriate position immediately after the user H2 recognizes the error of the performance position P. Is possible. That is, the user H2 can be involved in controlling the performance position P at a desired time. Further, since the transition of the performance position P after the time t1 is controlled in accordance with an instruction to the input device 24, the user H2 is in a period during which it is difficult to accurately estimate the performance position Px of the music. The performance position P can be appropriately shifted in accordance with the instruction from.
  • the analysis process is stopped in the adjustment period A between the time point t1 and the time point t2, so that the analysis process is continued in the adjustment period A as compared with the configuration in which the analysis process is continued even in the adjustment period A.
  • the processing load on the estimation unit 41 is reduced. Further, since the estimation of the performance position Px by the analysis process is resumed starting from the performance position P at the time t2, it is possible to appropriately change the performance position P also after the time t2 (even after the time t2). .
  • Second Embodiment A second embodiment of the present invention will be described.
  • elements having the same functions as those of the first embodiment are diverted using the same reference numerals used in the description of the first embodiment, and detailed descriptions thereof are appropriately omitted.
  • the content of the processing (S6) in which the calculation unit 42 specifies the performance position Py is different from the first embodiment.
  • the calculation unit 42 of the second embodiment calculates a performance position Py from a plurality of provisional performance positions (hereinafter referred to as “provisional positions”).
  • provisional positions Each of the plurality of provisional positions is calculated from a time series of performance positions Px within the selection period Q.
  • the conditions for specifying the provisional position are different for each of the plurality of provisional positions.
  • the provisional position for example, the following matters are exemplified. [1] A method for specifying a temporary position (linear prediction / polynomial prediction / Kalman filter).
  • the calculation unit 42 identifies the performance position Py from a plurality of provisional positions. For example, the calculation unit 42 specifies a representative value (for example, an average value or a median value) of a plurality of provisional positions as the performance position Py.
  • a method for specifying the performance position Py from a plurality of provisional positions is arbitrary. For example, one temporary position closest to the position designated by the user H2 among the plurality of temporary positions may be specified as the performance position Py.
  • the same effect as in the first embodiment is realized.
  • the performance position Py is specified from a plurality of provisional positions specified under different conditions, there is an advantage that the performance position Py at the time point t1 can be easily set to an appropriate position. For example, even when there is a high possibility that an error will occur in the performance position Px under specific conditions, an accurate performance position Py with reduced errors can be specified by adding a plurality of provisional positions corresponding to different conditions. it can.
  • a reliability index (hereinafter referred to as “reliability”) of the performance position Px.
  • the probability at the performance position Px is preferably used as the reliability.
  • the probability that each time point on the time axis corresponds to the performance position is a posterior probability that the time point is the performance position Px under the condition where the acoustic signal Z is observed.
  • the smaller the error of the performance position Px the greater the reliability of the performance position Px.
  • the reliability of each performance position Px described above may be used to specify the performance position Py.
  • the calculation unit 42 may specify the performance position Py with the selection period Q as a series of periods in which the reliability of the performance position Px exceeds a predetermined threshold. That is, the performance position Py is specified from a plurality of performance positions Px whose reliability exceeds the threshold value. Further, the performance position Py may be specified from two or more performance positions Px whose reliability exceeds a threshold among a plurality of performance positions Px within a predetermined selection period Q.
  • the time point of the first instruction by the user H2 is exemplified as the time point t1, but the setting method of the time point t1 is not limited to the above example.
  • the time point t1 may be set as the time point when the reliability of the performance position Px has decreased to a value that falls below a predetermined threshold. That is, the performance position Px is changed to the performance position Py when the reliability of the performance position Px falls below the threshold value.
  • reception of the first instruction from the user H2 may be omitted.
  • the analysis process is stopped within the adjustment period A, but the operation of stopping the analysis process may be omitted.
  • the estimation unit 41 may estimate the performance position Px by an analysis process starting from the performance position P after the change at the time point t1. That is, the adjustment of the performance position P (adjustment period A) by the user H2 may be omitted.
  • the estimation unit 41 estimates the performance position Px by analysis processing. However, the estimation unit 41 may estimate the performance speed (tempo) Tx together with the performance position Px. Similarly, in addition to the process of calculating the performance position Py from the time series of performance positions Px within the selection period Q, the calculation unit 42 performs the performance speed Ty at the time t1 from the time series of performance speeds Tx within the selection period Q. May be calculated. The controller 43 changes the performance position P at the performance speed Ty immediately after time t1.
  • the function of the information processing apparatus 11 according to the above-described embodiment is realized by the cooperation of a computer (for example, the control apparatus 21) and a program.
  • the program according to a preferred aspect of the present invention includes an analysis process (S1) for sequentially estimating the performance position Px in the music from the acoustic signal Z representing the performance sound M1 of the music, and the performance position Px estimated by the analysis process. Then, at time t1 on the time axis, the computer is caused to execute a control process (S7) for changing to the performance position Py corresponding to the time series of the performance positions Px estimated in the analysis process for the selection period Q.
  • the program according to the above form is provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but a known arbitrary one such as a semiconductor recording medium or a magnetic recording medium Including a recording medium of the form.
  • the non-transitory recording medium includes an arbitrary recording medium excluding a transient propagation signal (transitory, “propagating signal”) and does not exclude a volatile recording medium.
  • the program may be provided to the computer in the form of distribution via a communication network.
  • a performance position in the music is sequentially estimated by an analysis process on an acoustic signal representing a performance sound of the music, and the performance estimated by the analysis process is estimated.
  • the position is changed at a first time point on the time axis to a performance position corresponding to a time series of performance positions estimated in the analysis process for a selection period that is spaced forward from the first time point.
  • the performance position in the music is set at a first time point on the time axis to a performance position corresponding to a time series of the performance positions estimated in the analysis process for a selection period spaced forward from the first time point.
  • the performance position estimated by the analysis process is changed to the performance position corresponding to the time series of the performance positions estimated for the selection period spaced forward from the first time point. Be changed. Therefore, when an error occurs immediately before the first time point (for example, after the selection period elapses) with respect to the performance position estimated by the analysis process, the performance position after the first time point is corrected quickly and easily to an appropriate position. be able to.
  • the first time point is a time point according to an instruction from the user.
  • the time point according to the instruction from the user is the first time point, it is possible to correct the performance position to an appropriate position immediately after the user recognizes the error of the performance position, for example. .
  • the transition of the performance position behind the first time point is controlled in accordance with an instruction from the user.
  • the instruction from the user since the transition of the performance position after the first time point is controlled in accordance with the instruction from the user, the instruction from the user for a period during which accurate estimation of the performance position in the music is difficult. It is possible to change the performance position appropriately according to the situation.
  • the estimation of the performance position by the analysis process is stopped, At the second time point, the estimation of the performance position by the analysis process is resumed starting from the performance position at the second time point.
  • the processing load on the estimation unit during the adjustment period is reduced. Further, since the estimation of the performance position by the analysis process is resumed starting from the performance position at the second time point, the performance position can be appropriately shifted from the second time point onward.
  • the performance position after the change or the performance position at the first time point is determined from a plurality of provisional positions specified under different conditions. Identified.
  • the changed performance position is specified from a plurality of provisional positions specified under different conditions, there is an advantage that the performance position at the first time point can be easily set to an appropriate position.
  • the preferred embodiment of the present invention can also be realized as a performance analysis apparatus that executes the performance analysis method of each aspect exemplified above or a program that causes a computer to execute the performance analysis method of each aspect exemplified above.
  • DESCRIPTION OF SYMBOLS 100 ... Performance system, 11 ... Information processing apparatus, 12 ... Performance apparatus, 121 ... Drive mechanism, 122 ... Sound generation mechanism, 21 ... Control device, 22 ... Storage device, 23 ... Sound collecting device, 24 ... Input device, 31 ... Performance Analysis unit, 32 ... performance control unit, 41 ... estimation unit, 42 ... calculation unit, 43 ... control unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

演奏位置を迅速かつ簡便に適切な位置に補正することができる情報処理装置１１を提供する。情報処理装置１１は、楽曲の演奏音を表す音響信号Ｚに対する解析処理で楽曲内の演奏位置Ｐxを順次に推定する推定部４１と、楽曲内の演奏位置Ｐを、時間軸上の第１時点において、第１時点から前方に離間した選択期間について解析処理で推定された演奏位置Ｐxの時系列に応じた演奏位置Ｐyに設定する制御部４３とを具備する。

Description

演奏解析方法および演奏解析装置
　本発明は、楽曲の演奏を解析する技術に関する。
　楽曲のうち演奏者が演奏している位置を解析する技術が従来から提案されている。例えば特許文献１および特許文献２には、演奏者が実際に演奏した楽曲の演奏音から演奏位置を推定し、演奏位置の進行に同期するように伴奏パートの演奏音の再生を制御する技術が開示されている。
特開２０１６－０９９５１２号公報 国際公開第２０１８／０１６６３９号
　前述の技術のもとで推定される演奏位置には誤差が発生し得る。演奏位置に誤差が発生した場合、例えば利用者からの指示に応じて演奏位置を補正することが想定される。しかし、誤差が発生した時点で推定されている演奏位置を起点として以後の演奏位置を補正する構成では、演奏位置を迅速かつ簡便に適切な位置に補正することが難しい場合がある。以上の事情を考慮して、本発明の好適な態様は、演奏位置を迅速かつ簡便に適切な位置に補正することを目的とする。
　以上の課題を解決するために、本発明の好適な態様に係る演奏解析方法は、楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定し、前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する。あるいは、演奏解析方法は、前記楽曲内の演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に設定する。
　本発明の好適な態様に係る演奏解析装置は、楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定する推定部と、前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する制御部とを具備する。あるいは、演奏解析装置は、前記楽曲内の演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に設定する制御部を具備する。
本発明の第１実施形態に係る演奏システムの構成を例示するブロック図である。 情報処理装置の構成を例示するブロック図である。 情報処理装置の機能的な構成を例示するブロック図である。 演奏位置の時間的な変化を例示するグラフである。 情報処理装置の動作の手順を例示するフローチャートである。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、演奏者Ｈ1が所在する音響ホール等の音響空間に設置されたコンピュータシステムである。演奏者Ｈ1は、例えば楽器を利用して楽曲を演奏する演奏者、または楽曲を歌唱する歌唱者である。以下の説明における「演奏」には、楽器の演奏のほかに歌唱も包含される。演奏システム１００は、演奏者Ｈ1による楽曲の演奏に並行して当該楽曲の自動演奏を実行する。図１に例示される通り、第１実施形態の演奏システム１００は、情報処理装置１１と演奏装置１２とを具備する。
　演奏装置１２は、情報処理装置１１による制御のもとで楽曲の自動演奏を実行する。具体的には、演奏装置１２は、駆動機構１２１と発音機構１２２とを具備する自動演奏楽器（例えば自動演奏ピアノ）である。発音機構１２２は、例えば、自然楽器の鍵盤楽器と同様に、鍵盤を具備するとともに、鍵盤の各鍵の変位に連動して弦（発音体）を発音させる打弦機構を鍵毎に具備する。駆動機構１２１は、発音機構１２２を駆動することで対象楽曲の自動演奏を実行する。情報処理装置１１からの指示に応じて駆動機構１２１が発音機構１２２を駆動することで自動演奏が実現される。なお、情報処理装置１１を演奏装置１２に搭載してもよい。
　図２は、情報処理装置１１の構成を例示するブロック図である。情報処理装置１１は、例えばスマートフォンまたはタブレット端末等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末である。図２に例示される通り、情報処理装置１１は、制御装置２１と記憶装置２２と収音装置２３と入力装置２４とディスプレイ２５とを具備する。
　収音装置２３は、演奏者Ｈ1による演奏で発音された演奏音Ｍ1（例えば楽器音または歌唱音等の音響）を収音するマイクロホンである。収音装置２３は、演奏音Ｍ1の波形を表す音響信号Ｚを生成する。音響信号Ｚをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。なお、情報処理装置１１が収音装置２３を具備する構成を図２では例示したが、情報処理装置１１とは別体の収音装置２３を情報処理装置１１に有線または無線で接続してもよい。また、電気弦楽器等の電気楽器から出力される音響信号Ｚを情報処理装置１１に供給してもよい。すなわち、収音装置２３は省略されてもよい。
　入力装置２４は、情報処理装置１１を使用する利用者Ｈ2からの指示を受付ける入力機器である。例えば、利用者Ｈ2が操作する複数の操作子、または利用者Ｈ2による接触を検知するタッチパネルが、入力装置２４として好適に利用される。ここでいう操作子は、例えば、ボタン、キー、つまみ、レバー等として実現することができる。タッチパネルは、典型的には、ディスプレイ２５に重ねて配置される。利用者Ｈ2は、例えば演奏システム１００の管理者、または演奏者Ｈ1が出演する演奏会の運営者である。利用者Ｈ2は、図１に例示される通り、演奏者Ｈ1による演奏で発音された演奏音Ｍ1と、演奏装置１２による自動演奏で発音された演奏音Ｍ2とを聴取する。
　図２の制御装置２１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、情報処理装置１１の各要素を統括的に制御する。記憶装置２２は、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶するメモリである。例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せで記憶装置２２が構成される。なお、情報処理装置１１とは別体の記憶装置２２を用意し、制御装置２１が通信網を介して記憶装置２２に対する書込および読出を実行してもよい。すなわち、記憶装置２２を情報処理装置１１から省略してもよい。
　ディスプレイ２５は、利用者Ｈ2に向けて各種情報を表示する装置であり、例えば、液晶ディスプレイとして実現される。ディスプレイ２５は、情報処理装置１１と一体的に構成することもできるし、別体として構成することもできる。
　第１実施形態の記憶装置２２は楽曲データを記憶する。楽曲データは、楽曲を構成する音符の時系列を指定する。具体的には、楽曲データは、楽曲を構成する複数の音符の各々について音高と音量と発音期間とを指定する。例えば、ＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲データとして好適である。
　図３は、情報処理装置１１の機能的な構成を例示するブロック図である。図３に例示される通り、制御装置２１は、記憶装置２２に記憶されたプログラムを実行することで、演奏者Ｈ1による演奏に応じて演奏装置１２の自動演奏を制御するための複数の機能（演奏解析部３１および演奏制御部３２）を実現する。なお、複数の処理回路の集合で制御装置２１の機能を実現してもよいし、制御装置２１の機能の一部または全部を専用の電子回路で実現してもよい。また、演奏装置１２が設置された音響空間から離間した位置にあるサーバ装置のようなコンピュータが、制御装置２１の一部または全部の機能を実現してもよい。
　演奏解析部３１は、収音装置２３から供給される音響信号Ｚを解析することで楽曲内の演奏位置Ｐを特定する。演奏位置Ｐは、楽曲のうち演奏者Ｈ1が現に演奏している時点である。演奏位置Ｐは、楽曲データが示す楽譜上の、演奏者Ｈ1が現に演奏している位置であるということもできる。演奏位置Ｐの特定は、演奏者Ｈ1による楽曲の演奏に並行して反復的に実行される。演奏解析部３１が特定する演奏位置Ｐは、時間の経過とともに楽曲内の後方に移動する。以上の説明から理解される通り、第１実施形態の情報処理装置１１は、音響信号Ｚの解析により演奏位置Ｐを特定する演奏解析装置として機能する。
　演奏制御部３２は、演奏者Ｈ1による楽曲の演奏に並行して演奏装置１２による自動演奏を制御する。演奏制御部３２は、演奏解析部３１が特定した演奏位置Ｐに応じて自動演奏を制御する。具体的には、演奏制御部３２は、演奏装置１２による自動演奏が演奏者Ｈ1の演奏に追従するように演奏位置Ｐに応じて自動演奏の進行を制御する。すなわち、演奏制御部３２は、楽曲データが演奏位置Ｐについて（演奏位置Ｐにおいて）指定する演奏を演奏装置１２に対して指示する。例えば楽曲データで指定された音符の発音または消音の指示（例えばＭＩＤＩイベントデータ）が演奏制御部３２から演奏装置１２に出力される。
　図３に例示される通り、第１実施形態の演奏解析部３１は、推定部４１と演算部４２と制御部４３とを具備する。推定部４１は、収音装置２３が生成した音響信号Ｚを解析する所定の処理（以下「解析処理」という）で演奏位置Ｐxを順次に推定する。すなわち、時間軸上の相異なる時点について（時点において）解析処理により演奏位置Ｐxが推定される。演奏位置Ｐxの推定（すなわち解析処理）には、例えば特許文献１または特許文献２等に開示された公知の音響解析技術（スコアアライメント）が任意に採用される。図３に例示される通り、推定部４１が順次に推定する演奏位置Ｐxの時系列は記憶装置２２に記憶される。すなわち、推定部４１による推定結果の履歴が記憶装置２２に保持される。
　制御部４３は、演奏位置Ｐを特定する。制御部４３が特定した演奏位置Ｐが演奏制御部３２に指示される。第１実施形態の制御部４３は、基本的には、推定部４１が推定した演奏位置Ｐxを演奏位置Ｐとして特定する。ただし、推定部４１が解析処理により推定する演奏位置Ｐxには誤差が発生する可能性がある。第１実施形態の制御部４３は、演奏位置Ｐxに誤差が発生した場合に、解析処理で推定された演奏位置Ｐxを、誤差が低減された演奏位置Ｐyに変更する。すなわち、演奏制御部３２に指示される演奏位置Ｐが、演奏位置Ｐxから演奏位置Ｐyに補正される。図３の演算部４２は、演奏位置Ｐの補正に利用される演奏位置Ｐyを特定する。なお、ここでいう演奏位置の変更及び補正とは、楽曲内の現在の演奏位置として演奏制御部３２に指示される演奏位置Ｐを、推定部４１により推定される演奏位置Ｐxではなく、演算部４２により特定される演奏位置Ｐyに設定することである。
　図４は、演奏位置Ｐの時間的な変化を例示するグラフである。図４の誤差期間Ｅは、演奏位置Ｐxの誤差が経時的に増大する期間である。演奏位置Ｐxに誤差が発生した場合、利用者Ｈ2は、演奏者Ｈ1による楽器の演奏音Ｍ1と演奏装置１２による自動演奏の演奏音Ｍ2との間の時間的なズレを知覚することで、演奏位置Ｐxに誤差が発生したと判断することが可能である。演奏位置Ｐxに誤差が発生したと判断すると、利用者Ｈ2は、入力装置２４に対する操作で所定の指示（以下「第１指示」という）を付与する。図４の時点ｔ1（第１時点の例示）は、入力装置２４に対する第１指示に応じた時点である。例えば利用者Ｈ2が第１指示を付与した時点が時点ｔ1として設定される。以上の説明から理解される通り、時点ｔ1は、解析処理で推定された演奏位置Ｐxに誤差が発生している時点である。制御部４３は、利用者Ｈ2からの第１指示を契機として、時点ｔ1において、演奏位置Ｐを演奏位置Ｐxから演奏位置Ｐyに変更する。
　演算部４２は、時点ｔ1の前方に位置する選択期間Ｑについて（選択期間Ｑにおいて）推定部４１が過去の解析処理で推定した演奏位置Ｐxの時系列から演奏位置Ｐyを特定（具体的には外挿）する。選択期間Ｑは、始点ｑ1から終点ｑ2までの期間である。選択期間Ｑの始点ｑ1は終点ｑ2の前方の時点である。他方、選択期間Ｑの終点ｑ2は、第１指示に応じた時点ｔ1から所定の時間長δだけ時間軸上の前方に離間した時点である。時間長δは、演奏位置Ｐxに誤差が発生し始めてから利用者Ｈ2が第１指示を付与するまでに想定される時間長を上回る時間長に設定される。例えば選択期間Ｑの始点ｑ1は時点ｔ1の５秒前に設定され、終点ｑ2は時点ｔ1の２秒前に設定される。したがって、選択期間Ｑ内では、解析処理で推定された演奏位置Ｐxに誤差が発生していない可能性が高い。すなわち、選択期間Ｑは、誤差期間Ｅの始点よりも前方の期間である。第１実施形態の演算部４２は、以上に説明した選択期間Ｑ内の演奏位置Ｐxの時系列（すなわち誤差が発生していない演奏位置Ｐxの時系列）から、当該選択期間Ｑよりも後方の時点ｔ1での演奏位置Ｐyを特定する。
　演算部４２が選択期間Ｑ内の演奏位置Ｐxの時系列から時点ｔ1の演奏位置Ｐyを特定する処理（すなわち外挿）には、公知の時系列解析が任意に採用される。具体的には、線形予測、多項式予測またはカルマンフィルタ等の予測技術が演奏位置Ｐyの特定に好適に利用される。前述の通り、制御部４３は、演奏制御部３２に指示する演奏位置Ｐを、時点ｔ1において演奏位置Ｐxから演奏位置Ｐyに変更する。
　以上に例示した手順で演奏位置Ｐが補正されると、演奏者Ｈ1による楽器の演奏音Ｍ1と自動演奏の演奏音Ｍ2との間の時間的なズレが誤差期間Ｅと比較して低減される。演奏位置Ｐの誤差が解消したと判断すると、利用者Ｈ2は、入力装置２４に対する操作で所定の指示（以下「第２指示」という）を付与する。図４において時点ｔ1の後方に位置する時点ｔ2（第２時点の例示）は、入力装置２４に対する第２指示に応じた時点である。例えば利用者Ｈ2が第２指示を付与した時点が時点ｔ2として設定される。
　時点ｔ1と時点ｔ2との間の期間（以下「調整期間」という）Ａにおいて、利用者Ｈ2は、入力装置２４に対する操作で演奏位置Ｐを調整することが可能である。制御部４３は、調整期間Ａ内における演奏位置Ｐの推移を入力装置２４に対する利用者Ｈ2からの指示に応じて制御する。例えば、制御部４３は、利用者Ｈ2からの指示に応じた速度で演奏位置Ｐを進行させる。利用者Ｈ2はこのような指示を、例えば、入力装置２４に含まれる速度調整つまみ又はレバーを操作することにより入力することができる。また、制御部４３は、利用者Ｈ2からの指示に応じて演奏位置Ｐの進行を停止させる。利用者Ｈ2はこのような指示を、例えば、入力装置２４に含まれる一時停止ボタンを操作することにより入力することができる。また、制御部４３は、利用者Ｈ2からの指示に応じて楽譜上の特定の位置を演奏位置Ｐに設定する。利用者Ｈ2はこのような指示を、例えば、ディスプレイ２５上に表示される楽譜上の特定の位置を、タッチパネルを介して選択することにより入力することができる。図４では、調整期間Ａ内において利用者Ｈ2が演奏位置Ｐを進行させた場合が例示されている。調整期間Ａにおける演奏位置Ｐは、当該調整期間Ａの始点（時点ｔ1）における変更後の演奏位置Ｐyを起点として設定される。推定部４１による推定の結果（演奏位置Ｐx）は、調整期間Ａ内では演奏位置Ｐに反映されない。以上の説明から理解される通り、調整期間Ａでは、演算部４２が特定した演奏位置Ｐyを初期値として、利用者Ｈ2からの指示に応じて演奏位置Ｐが調整される。
　推定部４１は、調整期間Ａ内において解析処理による演奏位置Ｐxの推定を停止する。すなわち、利用者Ｈ2による第１指示を契機として解析処理が停止される。他方、調整期間Ａが終了する時点ｔ2において、推定部４１は、解析処理による演奏位置Ｐxの推定を再開する。具体的には、推定部４１は、時点ｔ2について（時点ｔ2において）特定された演奏位置Ｐを起点（すなわち初期値）として時点ｔ2以降の演奏位置Ｐxの推定を再開する。制御部４３は、時点ｔ2以降（すなわち調整期間Ａの経過後）においては、推定部４１が解析処理により順次に推定する演奏位置Ｐxを、演奏位置Ｐとして演奏制御部３２に指示する。解析処理により推定された演奏位置Ｐxの時系列は、時点ｔ1以前と同様に記憶装置２２に記憶される。なお、調整期間Ａ以外の期間でも利用者Ｈ2による演奏位置Ｐの調整は許容される。ただし、調整期間Ａ以外では利用者Ｈ2による演奏位置Ｐの調整を禁止してもよい。
　図５は、制御装置２１が実行する処理の具体的な手順を例示するフローチャートである。例えば入力装置２４に対する所定の操作を契機として図５の処理が開始される。図５の処理を開始すると、推定部４１は、音響信号Ｚに対する解析処理により演奏位置Ｐxを推定する（Ｓ1）。推定部４１が推定した演奏位置Ｐxは、演奏位置Ｐとして演奏制御部３２に指示されるとともに（Ｓ2）、記憶装置２２に記憶される（Ｓ3）。制御部４３は、利用者Ｈ2から第１指示が付与されたか否かを判定する（Ｓ4）。解析処理による演奏位置Ｐxの推定（Ｓ1）と指示（Ｓ2）と記憶（Ｓ3）とは、第１指示が付与されるまで反復される（Ｓ4：NO）。
　利用者Ｈ2から第１指示が付与されると（Ｓ4：YES）、推定部４１による解析処理が停止される（Ｓ5）。演算部４２は、第１指示の時点ｔ1の前方を終点ｑ2とする選択期間Ｑ内の演奏位置Ｐxの時系列から演奏位置Ｐyを算定する（Ｓ6）。制御部４３は、演奏制御部３２に指示する演奏位置Ｐを、推定部４１が推定した最新の演奏位置Ｐxから、演算部４２が算定した演奏位置Ｐyに変更する（Ｓ7）。
　以上の手順により演奏制御部３２に対する演奏位置Ｐyの指示が開始されると、制御部４３は、演奏位置Ｐを調整する指示が利用者Ｈ2から付与されたか否かを判定する（Ｓ8）。制御部４３は、利用者Ｈ2からの指示に応じて演奏位置Ｐを調整する（Ｓ9）。利用者Ｈ2から調整の指示が付与されない場合（Ｓ8：NO）、演奏位置Ｐの調整は実行されない。
　制御部４３は、利用者Ｈ2から第２指示が付与されたか否かを判定する（Ｓ10）。利用者Ｈ2からの指示に応じた演奏位置Ｐの調整（Ｓ8，Ｓ9）は、第２指示が付与されるまで反復される（Ｓ10：NO）。利用者Ｈ2から第２指示が付与されると（Ｓ10：YES）、推定部４１による解析処理が再開される（Ｓ1）。
　以上に説明した通り、第１実施形態では、時間軸上の時点ｔ1において、解析処理で推定された演奏位置Ｐxが、当該時点ｔ1から前方に離間した選択期間Ｑについて（選択期間Ｑにおいて）推定された演奏位置Ｐxの時系列に応じた演奏位置Ｐyに変更される。したがって、解析処理で推定される演奏位置Ｐxについて時点ｔ1の直前（例えば選択期間Ｑの経過後）に誤差が発生した場合に、時点ｔ1以降の演奏位置Ｐを迅速かつ簡便に適切な位置に補正することができる。
　例えば、利用者Ｈ2が第１指示を付与する時点ｔ1では演奏位置Ｐxに既に誤差が発生しているから、当該時点ｔ1での演奏位置Ｐxを起点として以降の演奏位置Ｐを利用者Ｈ2が適切な位置に調整することが難しい場合がある。第１実施形態では、解析処理で推定された演奏位置Ｐが、誤差の発生前における演奏位置Ｐxの時系列に応じた演奏位置Ｐyに補正される。演奏位置Ｐyは、誤差が発生していないと仮定した場合の適切な演奏位置Ｐに近似する可能性が高い。すなわち、演奏位置Ｐの誤差の解消のために必要な演奏位置Ｐの調整量が削減される。したがって、利用者Ｈ2が演奏位置Ｐを調整する作業が簡素化されるという利点がある。
　また、第１実施形態では、入力装置２４に対する第１指示を契機として演奏位置Ｐが補正されるから、利用者Ｈ2が演奏位置Ｐの誤差を認識した直後に演奏位置Ｐを適切な位置に補正することが可能である。すなわち、利用者Ｈ2は所望の時点で演奏位置Ｐの制御に関与できる。また、時点ｔ1の後方における演奏位置Ｐの推移が入力装置２４に対する指示に応じて制御されるから、楽曲のうち演奏位置Ｐxの正確な推定が困難である期間について（期間において）、利用者Ｈ2からの指示に応じて演奏位置Ｐを適切に推移させることができる。
　第１実施形態では、時点ｔ1と時点ｔ2との間の調整期間Ａ内において解析処理が停止されるから、調整期間Ａ内でも解析処理が継続される構成と比較して、調整期間Ａ内における推定部４１の処理負荷が軽減される。また、時点ｔ2における演奏位置Ｐを起点として解析処理による演奏位置Ｐxの推定が再開されるから、時点ｔ2以降についても（時点ｔ2以降においても）演奏位置Ｐを適切に推移させることが可能である。
＜第２実施形態＞
　本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　第２実施形態では、演算部４２が演奏位置Ｐyを特定する処理（Ｓ6）の内容が第１実施形態とは相違する。具体的には、第２実施形態の演算部４２は、複数の暫定的な演奏位置（以下「暫定位置」という）から演奏位置Ｐyを算定する。複数の暫定位置の各々は、選択期間Ｑ内の演奏位置Ｐxの時系列から算定される。ただし、暫定位置を特定する条件が複数の暫定位置の各々について相違する。暫定位置の特定の条件としては、例えば以下の事項が例示される。
［１］暫定位置を特定する方法（線形予測／多項式予測／カルマンフィルタ）。
［２］選択期間Ｑの時間軸上の位置（始点ｑ1または終点ｑ2の時刻）および時間長。
［３］暫定位置の特定に利用される演奏位置Ｐxの個数。
　以上に例示した条件を相違させた複数の場合の各々について演算部４２は暫定位置を特定する。したがって、複数の暫定位置の各々は相異なる位置となる。
　演算部４２は、複数の暫定位置から演奏位置Ｐyを特定する。例えば演算部４２は、複数の暫定位置の代表値（例えば平均値または中央値）を演奏位置Ｐyとして特定する。なお、複数の暫定位置から演奏位置Ｐyを特定する方法は任意である。例えば、複数の暫定位置のうち利用者Ｈ2が指定した位置に最も近い１個の暫定位置を演奏位置Ｐyとして特定してもよい。
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、相異なる条件で特定された複数の暫定位置から演奏位置Ｐyが特定されるから、時点ｔ1における演奏位置Ｐyを適切な位置に設定し易いという利点がある。例えば特定の条件のもとでは演奏位置Ｐxに誤差が発生する可能性が高い場合でも、相異なる条件に対応する複数の暫定位置を加味することで、誤差を低減した正確な演奏位置Ｐyを特定できる。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）演奏位置Ｐxを特定する解析処理では、当該演奏位置Ｐxの信頼性の指標（以下「信頼度」という）を算定することが可能である。例えば、時間軸上の各時点が演奏位置に該当する確率（尤度）から演奏位置Ｐxを特定する解析処理を想定すると、演奏位置Ｐxにおける確率が信頼度として好適に利用される。時間軸上の各時点が演奏位置に該当する確率は、音響信号Ｚが観測された条件のもとで当該時点が演奏位置Ｐxである事後確率である。演奏位置Ｐxの誤差が小さいほど、当該演奏位置Ｐxの信頼度は大きい数値となる。以上に説明した各演奏位置Ｐxの信頼度を演奏位置Ｐyの特定に利用してもよい。
　例えば、演奏位置Ｐxの信頼度が所定の閾値を上回る一連の期間を選択期間Ｑとして演算部４２が演奏位置Ｐyを特定してもよい。すなわち、信頼度が閾値を上回る複数の演奏位置Ｐxから演奏位置Ｐyが特定される。また、所定の選択期間Ｑ内の複数の演奏位置Ｐxのうち信頼度が閾値を上回る２個以上の演奏位置Ｐxから演奏位置Ｐyを特定してもよい。
（２）前述の各形態では、利用者Ｈ2による第１指示の時点を時点ｔ1として例示したが、時点ｔ1の設定方法は以上の例示に限定されない。例えば、演奏位置Ｐxの信頼度が所定の閾値を下回る数値まで低下した時点を時点ｔ1として設定してもよい。すなわち、演奏位置Ｐxの信頼度が閾値を下回ることを契機として演奏位置Ｐxが演奏位置Ｐyに変更される。以上の説明から理解される通り、利用者Ｈ2からの第１指示の受付を省略してもよい。
（３）前述の各形態では、調整期間Ａ内において解析処理を停止したが、解析処理を停止させる動作を省略してもよい。例えば、時点ｔ1の直後から、推定部４１が、当該時点ｔ1での変更後の演奏位置Ｐを起点とした解析処理により演奏位置Ｐxを推定してもよい。すなわち、利用者Ｈ2による演奏位置Ｐの調整（調整期間Ａ）を省略してもよい。
（４）前述の各形態では、推定部４１が解析処理により演奏位置Ｐxを推定したが、演奏位置Ｐxとともに演奏速度（テンポ）Ｔxを推定部４１が推定してもよい。同様に、演算部４２は、選択期間Ｑ内の演奏位置Ｐxの時系列から演奏位置Ｐyを算定する処理に加えて、選択期間Ｑ内の演奏速度Ｔxの時系列から時点ｔ1での演奏速度Ｔyを算定してもよい。制御部４３は、時点ｔ1の直後に演奏位置Ｐを演奏速度Ｔyで変化させる。
（５）前述の形態に係る情報処理装置１１の機能は、コンピュータ（例えば制御装置２１）とプログラムとの協働により実現される。本発明の好適な態様に係るプログラムは、楽曲の演奏音Ｍ1を表す音響信号Ｚから楽曲内の演奏位置Ｐxを順次に推定する解析処理（Ｓ1）と、解析処理で推定された演奏位置Ｐxを、時間軸上の時点ｔ1において、選択期間Ｑについて解析処理で推定された演奏位置Ｐxの時系列に応じた演奏位置Ｐyに変更する制御処理（Ｓ7）とをコンピュータに実行させる。以上の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
＜付記＞
　以上に例示した形態から、例えば以下の構成が把握される。
　本発明の好適な態様（第１態様）に係る演奏解析方法は、楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定し、前記解析処理で推定された演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に変更する。あるいは、前記楽曲内の演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に設定する。以上の態様では、時間軸上の第１時点において、解析処理で推定された演奏位置が、当該第１時点から前方に離間した選択期間について推定された演奏位置の時系列に応じた演奏位置に変更される。したがって、解析処理で推定される演奏位置について第１時点の直前（例えば選択期間の経過後）に誤差が発生した場合に、第１時点以降の演奏位置を迅速かつ簡便に適切な位置に補正することができる。
　第１態様の好適例（第２態様）において、前記第１時点は、利用者からの指示に応じた時点である。以上の態様では、利用者からの指示に応じた時点が第１時点とされるから、例えば利用者が演奏位置の誤差を認識した直後に演奏位置を適切な位置に補正することが可能である。
　第１態様または第２態様の好適例（第３態様）において、前記第１時点の後方における演奏位置の推移を利用者からの指示に応じて制御する。以上の態様では、第１時点の後方における演奏位置の推移が利用者からの指示に応じて制御されるから、楽曲内で演奏位置の正確な推定が困難である期間について、利用者からの指示に応じて演奏位置を適切に推移させることが可能である。
　第３態様の好適例（第４態様）において、前記第１時点と当該第１時点の後方の第２時点との間の調整期間では、前記解析処理による前記演奏位置の推定を停止し、前記第２時点において、当該第２時点における演奏位置を起点として前記解析処理による前記演奏位置の推定を再開する。以上の態様では、第１時点と第２時点との間の調整期間内において解析処理による演奏位置の推定が停止されるから、調整期間内における推定部の処理負荷が軽減される。また、第２時点における演奏位置を起点として解析処理による演奏位置の推定が再開されるから、第２時点以降についても演奏位置を適切に推移させることが可能である。
　第１態様から第４態様の何れかの好適例（第５態様）において、前記変更後の演奏位置、あるいは前記第１時点における前記演奏位置は、相異なる条件で特定された複数の暫定位置から特定される。以上の態様では、相異なる条件で特定された複数の暫定位置から変更後の演奏位置が特定されるから、第１時点における演奏位置を適切な位置に設定し易いという利点がある。
　以上に例示した各態様の演奏解析方法を実行する演奏解析装置、または、以上に例示した各態様の演奏解析方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。
１００…演奏システム、１１…情報処理装置、１２…演奏装置、１２１…駆動機構、１２２…発音機構、２１…制御装置、２２…記憶装置、２３…収音装置、２４…入力装置、３１…演奏解析部、３２…演奏制御部、４１…推定部、４２…演算部、４３…制御部。

Claims (11)

  1. 　楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定することと、
    　前記楽曲内の演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に設定することと
    を含む、
    　コンピュータにより実現される演奏解析方法。
  2. 　前記第１時点は、利用者からの指示に応じた時点である
    　請求項１の演奏解析方法。
  3. 　前記第１時点の後方における演奏位置の推移を利用者からの指示に応じて制御すること
    をさらに含む、
    　請求項１または請求項２の演奏解析方法。
  4. 　前記第１時点と当該第１時点の後方の第２時点との間の調整期間では、前記解析処理による前記演奏位置の推定を停止することと、
    　前記第２時点において、当該第２時点における演奏位置を起点として前記解析処理による前記演奏位置の推定を再開することと
    をさらに含む、
    　請求項３の演奏解析方法。
  5. 　前記第１時点における前記演奏位置を、相異なる条件で特定された複数の暫定位置から特定すること
    をさらに含む、
    　請求項１から請求項４の何れかの演奏解析方法。
  6. 　楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定する推定部と、
    　前記楽曲内の演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に設定する制御部と
    　を具備する演奏解析装置。
  7. 　前記第１時点は、利用者からの指示に応じた時点である
    　請求項６の演奏解析装置。
  8. 　前記制御部は、前記第１時点の後方における演奏位置の推移を利用者からの指示に応じて制御する
    　請求項６または請求項７の演奏解析装置。
  9. 　前記推定部は、前記第１時点と当該第１時点の後方の第２時点との間の調整期間では、前記解析処理による前記演奏位置の推定を停止し、前記第２時点において、当該第２時点における演奏位置を起点として前記解析処理による前記演奏位置の推定を再開する
    　請求項８の演奏解析装置。
  10. 　前記第１時点における前記演奏位置は、相異なる条件で特定された複数の暫定位置から特定される
    　請求項６から請求項９の何れかの演奏解析装置。
  11. 　楽曲の演奏音を表す音響信号に対する解析処理で前記楽曲内の演奏位置を順次に推定することと、
    　前記楽曲内の演奏位置を、時間軸上の第１時点において、前記第１時点から前方に離間した選択期間について前記解析処理で推定された演奏位置の時系列に応じた演奏位置に設定することと
    　をコンピュータに実行させる演奏解析プログラム。
PCT/JP2019/006049 2018-03-20 2019-02-19 演奏解析方法および演奏解析装置 WO2019181331A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/008,460 US11557270B2 (en) 2018-03-20 2020-08-31 Performance analysis method and performance analysis device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-052863 2018-03-20
JP2018052863A JP6737300B2 (ja) 2018-03-20 2018-03-20 演奏解析方法、演奏解析装置およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/008,460 Continuation US11557270B2 (en) 2018-03-20 2020-08-31 Performance analysis method and performance analysis device

Publications (1)

Publication Number Publication Date
WO2019181331A1 true WO2019181331A1 (ja) 2019-09-26

Family

ID=67986963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006049 WO2019181331A1 (ja) 2018-03-20 2019-02-19 演奏解析方法および演奏解析装置

Country Status (3)

Country Link
US (1) US11557270B2 (ja)
JP (1) JP6737300B2 (ja)
WO (1) WO2019181331A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6737300B2 (ja) * 2018-03-20 2020-08-05 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014978A (ja) * 2007-07-04 2009-01-22 Yamaha Corp 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP2011180590A (ja) * 2010-03-02 2011-09-15 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2713110B2 (ja) * 1993-07-23 1998-02-16 ヤマハ株式会社 自動演奏装置
US6166314A (en) * 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JP2001125568A (ja) * 1999-10-28 2001-05-11 Roland Corp 電子楽器
KR100412196B1 (ko) * 2001-05-21 2003-12-24 어뮤즈텍(주) 악보 추적 방법 및 그 장치
JP2005265903A (ja) * 2004-03-16 2005-09-29 Yamaha Corp 鍵盤楽器
US7164076B2 (en) * 2004-05-14 2007-01-16 Konami Digital Entertainment System and method for synchronizing a live musical performance with a reference performance
EP2239727A1 (en) * 2009-04-08 2010-10-13 Yamaha Corporation Musical performance apparatus and program
JP6435751B2 (ja) * 2014-09-29 2018-12-12 ヤマハ株式会社 演奏記録再生装置、プログラム
JP6481319B2 (ja) * 2014-10-01 2019-03-13 ヤマハ株式会社 楽譜表示装置および楽譜表示方法
JP6467887B2 (ja) 2014-11-21 2019-02-13 ヤマハ株式会社 情報提供装置および情報提供方法
JP6801225B2 (ja) * 2016-05-18 2020-12-16 ヤマハ株式会社 自動演奏システムおよび自動演奏方法
WO2018016581A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 楽曲データ処理方法およびプログラム
JP6631714B2 (ja) * 2016-07-22 2020-01-15 ヤマハ株式会社 タイミング制御方法、及び、タイミング制御装置
EP3489945B1 (en) * 2016-07-22 2021-04-14 Yamaha Corporation Musical performance analysis method, automatic music performance method, and automatic musical performance system
WO2018016636A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 タイミング予想方法、及び、タイミング予想装置
US10846519B2 (en) * 2016-07-22 2020-11-24 Yamaha Corporation Control system and control method
WO2018016638A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 制御方法、及び、制御装置
JP6720798B2 (ja) * 2016-09-21 2020-07-08 ヤマハ株式会社 演奏教習装置、演奏教習プログラム、および演奏教習方法
JP6776788B2 (ja) * 2016-10-11 2020-10-28 ヤマハ株式会社 演奏制御方法、演奏制御装置およびプログラム
JP6737300B2 (ja) * 2018-03-20 2020-08-05 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP7243026B2 (ja) * 2018-03-23 2023-03-22 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP7293653B2 (ja) * 2018-12-28 2023-06-20 ヤマハ株式会社 演奏補正方法、演奏補正装置およびプログラム
CN114067768A (zh) * 2020-07-31 2022-02-18 雅马哈株式会社 播放控制方法及播放控制系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014978A (ja) * 2007-07-04 2009-01-22 Yamaha Corp 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP2011180590A (ja) * 2010-03-02 2011-09-15 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム

Also Published As

Publication number Publication date
US11557270B2 (en) 2023-01-17
US20200394991A1 (en) 2020-12-17
JP2019164282A (ja) 2019-09-26
JP6737300B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
JP4711179B2 (ja) 電子鍵盤楽器およびプログラム
JP6776788B2 (ja) 演奏制御方法、演奏制御装置およびプログラム
JP6260191B2 (ja) 電子楽器、プログラム及び発音音高選択方法
WO2019181331A1 (ja) 演奏解析方法および演奏解析装置
JP4858504B2 (ja) カラオケ装置
WO2020137829A1 (ja) 演奏補正方法および演奏補正装置
JP2014206577A (ja) 鍵盤楽器
WO2018084316A1 (ja) 音響解析方法および音響解析装置
JP4265452B2 (ja) 演奏データ再生装置及びプログラム
US20240211201A1 (en) Acoustic device, acoustic device control method, and program
JP6357772B2 (ja) 電子楽器、プログラム及び発音音高選択方法
US20240201941A1 (en) Acoustic device, acoustic device control method, and program
JP2014206578A (ja) 鍵盤楽器
US20240119918A1 (en) Automatic performing apparatus and automatic performing program
JP5742592B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
US7897863B2 (en) Electronic keyboard instrument having key driver
JP6464853B2 (ja) オーディオ再生装置及びオーディオ再生プログラム
JP6399155B2 (ja) 電子楽器、プログラム及び発音音高選択方法
JP6102975B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
JP4687759B2 (ja) 演奏データ再生装置及びプログラム
JP5162887B2 (ja) 電子音楽装置およびその制御方法を実現するためのプログラム
JPH1097256A (ja) 楽音発生装置及びプログラムを記録した媒体
JP2001272974A (ja) 情報表示装置、方法及びプログラムを記録した媒体
JP2014235328A (ja) コード推定検出装置及びコード推定検出プログラム
JP4835433B2 (ja) 演奏パターン再生装置及びそのコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19772123

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19772123

Country of ref document: EP

Kind code of ref document: A1