WO2020137829A1 - 演奏補正方法および演奏補正装置 - Google Patents

演奏補正方法および演奏補正装置 Download PDF

Info

Publication number
WO2020137829A1
WO2020137829A1 PCT/JP2019/049914 JP2019049914W WO2020137829A1 WO 2020137829 A1 WO2020137829 A1 WO 2020137829A1 JP 2019049914 W JP2019049914 W JP 2019049914W WO 2020137829 A1 WO2020137829 A1 WO 2020137829A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
pitch
music
correction
predetermined value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/049914
Other languages
English (en)
French (fr)
Inventor
陽 前澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to CN201980086269.7A priority Critical patent/CN113228158B/zh
Publication of WO2020137829A1 publication Critical patent/WO2020137829A1/ja
Priority to US17/355,574 priority patent/US12451108B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • G10H2210/335—Chord correction, i.e. modifying one or several notes within a chord, e.g. to correct wrong fingering or to improve harmony

Definitions

  • the present disclosure relates to technology that supports performance by users.
  • Patent Document 1 discloses a technique for correcting a pitch played by an electronic musical instrument by a user to a pitch corresponding to a chord in a music piece. Specifically, the playback position in the song progresses in units of measures, and the pitch played by the user is corrected to the pitch corresponding to the chord specified for that bar (for example, the pitch of the constituent sound of the chord). To be done.
  • Patent Document 1 Under the technique of Patent Document 1, there is a possibility that the pitch played by the user cannot be corrected to an appropriate pitch when the playing position of the player deviates from the playing position in the music. Further, since the musical composition may include a pitch other than the chord constituent sound, the technique of Patent Document 1 for correcting the chord constituent sound may not correct the pitch played by the user to an appropriate pitch. There is also. In consideration of the above circumstances, the present disclosure aims to appropriately correct the pitch played by the user.
  • a performance correction method estimates a performance position in a song by analyzing performance data representing a performance pitch played by a user, and The performance pitch represented by the data is corrected to a reference pitch in which the difference from the performance pitch of the plurality of reference pitches corresponding to the performance position in the music piece is smaller than a predetermined value.
  • a performance correction device includes a performance analysis unit that estimates a performance position in a song by analyzing performance data representing a performance pitch played by a user, and a performance pitch represented by the performance data.
  • a pitch correction unit that corrects a reference pitch, of the plurality of reference pitches corresponding to the performance position in the music piece, whose difference from the performance pitch is less than a predetermined value.
  • FIG. 1 is a block diagram illustrating the configuration of a performance correction device 100 according to the first embodiment of the present disclosure.
  • the performance correction device 100 is a performance support system that corrects the performance of the music by the user U.
  • the performance correction device 100 is realized by a computer system including a control device 11, a storage device 12, an input device 13, a sound source device 14, and a sound emitting device 15.
  • the performance correction device 100 is an information terminal such as a mobile phone, a smartphone, or a personal computer.
  • a performance device 16 is connected to the performance correction device 100 of the first embodiment.
  • the playing device 16 is an input device used by the user U to play a musical piece.
  • the playing device 16 is, for example, a keyboard musical instrument type electronic musical instrument in which a plurality of keys operated by the user U are arranged.
  • the performance device 16 is, for example, a MIDI (Musical Instrument Digital Interface) musical instrument.
  • the performance device 16 supplies the performance correction device 100 with performance data E1 representing the performance of the music by the user U.
  • the performance correction device 100 and the performance device 16 may be integrated.
  • the system for connecting the performance correction device 100 and the performance device 16 may be wired or wireless.
  • FIG. 2 is an explanatory diagram of performance data E1, performance data E2 and music data D.
  • the performance data E1 is data representing a time series of pitches X (hereinafter referred to as "performance pitches") X played by the user U using the performance device 16.
  • the performance data E1 is, for example, MIDI data that specifies the performance pitch X and the performance intensity for each note.
  • the performance data E2 is data representing a time series of a pitch Z (hereinafter referred to as "corrected pitch”) Z in which the performance pitch X represented by the performance data E1 is corrected.
  • the performance data E2 is, for example, MIDI data that specifies the corrected pitch Z and the performance intensity for each note.
  • the musical piece data D designates a time series of pitches (hereinafter referred to as “reference pitches”) Y of each note constituting the music piece.
  • the song data D is also referred to as score data that represents a score that defines the performance content of the user U.
  • the music data D is, for example, MIDI data that specifies the reference pitch Y and the performance intensity for each note.
  • the control device 11 of FIG. 1 is configured by a single or a plurality of processing circuits such as a CPU (Central Processing Unit), and controls each element of the performance correction device 100.
  • the control device 11 of the first embodiment generates the performance data E2 by correcting the performance data E1 supplied from the performance device 16.
  • the storage device 12 is, for example, a single memory or a plurality of memories configured by a known recording medium such as a magnetic recording medium or a semiconductor recording medium.
  • the storage device 12 stores a program executed by the control device 11 and various data used by the control device 11.
  • the storage device 12 may be configured by combining a plurality of types of recording media.
  • the storage device 12 may be a portable recording medium that is attachable to and detachable from the performance correction device 100, or an external recording medium (for example, online storage) that the performance correction device 100 can communicate with via a communication network.
  • the storage device 12 stores the music data D of the music played by the user U.
  • the input device 13 receives an instruction from the user U.
  • the input device 13 is, for example, a plurality of operators operated by the user U, or a touch panel that detects contact by the user U. Further, the input device 13 may be a sound collecting device capable of voice input.
  • the user U can instruct a numerical value (hereinafter referred to as “adjustment value”) Q indicating the degree of correction for the performance pitch X by appropriately operating the input device 13. That is, the adjustment value Q is a variable value according to the instruction from the user U.
  • the sound source device 14 generates an acoustic signal A according to the performance data E2 generated by the control device 11.
  • the sound signal A is a time signal representing a sound waveform corresponding to the time series of the corrected pitch Z specified by the performance data E2.
  • the sound source device 14 may be realized by a software sound source realized by the control device 11 executing a program.
  • the sound emitting device 15 reproduces the sound represented by the sound signal A generated by the sound source device 14.
  • the sound emitting device 15 is, for example, a speaker or headphones.
  • the performance correction device 100 may include a D/A converter that converts the acoustic signal A generated by the sound source device 14 from digital to analog, and an amplifier that amplifies the acoustic signal A.
  • the sound source device 14 and the sound emitting device 15 may be installed outside the performance correction device 100 as separate devices. For example, the sound source device 14 and the sound emitting device 15 may be connected to the performance correction device 100 by wire or wirelessly.
  • FIG. 3 is a block diagram illustrating the function of the performance correction device 100.
  • the function of the performance correction device 100 is realized by the control device 11 executing a program stored in the storage device 12.
  • the performance correction device 100 includes a performance analysis unit 21 and a pitch correction unit 22.
  • the control device 11 may be realized by a plurality of devices that are configured separately from each other. Part or all of the functions of the performance correction device 100 may be realized by a dedicated electronic circuit.
  • the performance analysis unit 21 estimates the performance position P in the music by analyzing the performance data E1.
  • the playing position P is the point in time at which the user U is actually playing in the music.
  • the estimation of the performance position P is repeated in parallel with the performance of the music by the user U. Therefore, the performance position P estimated by the performance analysis unit 21 moves backward in the music over time.
  • the performance analysis unit 21 calculates the likelihood L(s) for each of a plurality of time points s on the time axis in the music.
  • the likelihood L(s) at any one time point s is an index of the probability that the user U is playing the time point s in the music.
  • the performance analysis unit 21 estimates, as a performance position P, a time point s at which the likelihood L(s) is high under the condition that the performance positions P are temporally continuous. For the estimation of the playing position P, for example, the technique described in JP-A-2015-79183 is used.
  • L(s) is expressed by the following mathematical expression (1), for example.
  • L(s) ⁇ n,n' ⁇ y(s,n')p(n',n)x(n) ⁇ (1)
  • Each of the symbol n and the symbol n′ in the mathematical expression (1) means any of the N pitches that can be played by the performance device 16.
  • the variable y(s,n') of the mathematical expression (1) is set to the numerical value 1 when the pitch n'is played at the time s in the music represented by the music data D, and the pitch n'is not played. Is set to 0. That is, the series of N variables y(s,1) to y(s,N) corresponding to different pitches is an N-dimensional vector representing the content of the performance specified by the music data D at the time point s.
  • variable x(n) of the mathematical expression (1) is set to the numerical value 1 when the user U is playing the pitch n at the present time, and is set to the numerical value 0 when the user U is not playing the pitch n. Is set to. That is, the series of N variables x(1) to x(N) corresponding to different pitches is an N-dimensional vector representing the content of the performance by the user U at the present time (specifically, the key depression state). is there.
  • the variable p(n',n) of the mathematical expression (1) is the pitch n (the first pitch) which the user U mistakenly plays in the music at a position where the pitch n'(exemplary first pitch) should be played. This is the probability of playing two pitches).
  • the probability p(n',n) is obtained by statistically processing the results of performances by a large number of performers for each of a plurality of combinations for selecting any two pitches n'and pitch n from N pitches. It is set by doing.
  • the probability p(n′,n) tends to be larger as the pitch n′ is actually played more frequently at a position where the pitch n′ in the music is to be played.
  • the likelihood L(s) of the mathematical expression (1) represents a series of N variables y(s,1) to y(s,N) corresponding to the music data D and N representing the actual performance by the user U.
  • the performance analysis unit 21 takes into account the probability p(n',n) of playing the pitch n instead of the pitch n'in the calculation of the likelihood L(s). Therefore, the performance analysis unit 21 can estimate the performance position P with high accuracy even when the user U makes a mistake in the performance.
  • FIG. 4 is an explanatory diagram of an operation (hereinafter, referred to as “pitch correction processing”) in which the pitch correction unit 22 corrects the performance pitch X.
  • the candidate period C is a period of a predetermined length including the performance position P estimated by the performance analysis unit 21.
  • the candidate period C is, for example, a period having a time length corresponding to a quarter note centering on the performance position P.
  • FIG. 5 is a flowchart illustrating a specific procedure of pitch correction processing.
  • the pitch correction process is executed in parallel with the performance of the performance device 16 by the user U.
  • the pitch correction processing is sequentially executed for each performance pitch X.
  • the pitch correction unit 22 calculates the pitch difference.
  • the pitch difference is a difference
  • the pitch correction unit 22 has a reference pitch Y(m) whose pitch difference is less than the adjustment value Q among M reference pitches Y(1) to Y(M) in the candidate period C. It is determined whether or not (Sa1).
  • the pitch correction unit 22 sets the performance pitch X to the reference pitch Y(m). ) Is corrected (Sa2). That is, as shown in FIG. 4, the performance pitch X is replaced with the reference pitch Y(2) existing within the range ⁇ over the width 2Q in the direction of the pitch axis with the performance pitch X as the center. ..
  • the pitch correction unit 22 outputs to the tone generator 14 the performance data E2 in which the reference pitch Y(m) is set as the corrected pitch Z instead of the performance pitch X.
  • the pitch correction unit 22 sets the reference pitch Y(m) that minimizes the pitch difference as the corrected pitch Z. Set.
  • the pitch correction unit 22 does not correct the performance pitch X (Sa3). That is, when all of the M reference pitches Y(1) to Y(M) in the candidate period C are located outside the range ⁇ , the performance pitch X is not corrected.
  • the pitch correction unit 22 outputs the performance data E2 in which the performance pitch X is set as the corrected pitch Z to the tone generator device 14.
  • the adjustment value Q corresponds to a coefficient for determining the degree of correction (for example, the frequency of correction) for the performance pitch X.
  • the degree of correction for the performance pitch X it is possible to adjust the degree of correction for the performance pitch X according to, for example, the user's performance proficiency level. For example, when the user U is unfamiliar with the performance, the adjustment value Q is set to a large numerical value so that the performance pitch X is easily corrected. On the other hand, when the user U is proficient in playing, the performance pitch X is set to be difficult to be corrected by setting the adjustment value Q to a small numerical value.
  • FIG. 6 is a flowchart illustrating a specific procedure of the operation performed by the performance correction apparatus 100.
  • the performance analysis unit 21 estimates the performance position P in the music by analyzing the performance data E1 supplied from the performance device 16 (Sb1).
  • the pitch correction unit 22 converts the performance pitch X played by the user U into M reference pitches Y(1) to Y(M ), the pitch difference from the performance pitch X is corrected to a reference pitch Y(m) below the adjustment value Q (Sb2). As described above, when the reference pitch Y(m) whose pitch difference is less than the adjustment value Q does not exist within the candidate period C, the pitch correction unit 22 does not correct the performance pitch X.
  • the pitch correction unit 22 outputs performance data E2 representing the corrected pitch Z after the pitch correction processing to the sound source device 14 (Sb3). Therefore, the performance pitch X close to any reference pitch Y(m) in the candidate period C is corrected to the reference pitch Y(m), and the performance pitch X deviated from the reference pitch Y(m). The performance sound maintained at the pitch is reproduced from the sound emitting device 15.
  • the process of FIG. 6 may be repeated at a predetermined cycle.
  • the performance pitch X played by the user U is the performance pitch among the M reference pitches Y(1) to Y(M) corresponding to the performance position P estimated from the performance.
  • the pitch difference from the pitch X is corrected to a reference pitch Y(m) that is less than the adjustment value Q. Therefore, the performance correction device 100 corresponds to the performance position P by the user U in the music and has an appropriate reference pitch Y(m) close to the performance pitch X in the music to the performance pitch X. Can be corrected.
  • FIG. 7 is a flowchart illustrating a specific procedure of pitch correction processing in the second embodiment.
  • the pitch correction processing is sequentially executed for each performance pitch X.
  • the symbol K is a variable value that means the number of reference pitches Y that are played in parallel at the time (P+d) in the music (for example, the total number of notes that form a chord).
  • the time d is an arbitrary numerical value (positive number, negative number, or zero).
  • the coefficient ⁇ of Expression (2) is set to a predetermined positive number (for example, a positive number of 1 or more).
  • the index W has a smaller numerical value as the reference pitch Y(P+d,k) has a smaller time d from the performance position P. Further, as understood from the second term on the right side of the equation (2), the reference pitch Y(P+d, which has a small pitch difference
  • the pitch correction unit 22 searches for a combination of the time d and the variable k that minimizes the index W described above (Sc2).
  • the pitch correction unit 22 is close to the performance position P on the time axis (that is, the time d is small) and is close to one performance pitch X (hereinafter referred to as “selected reference pitch”).
  • Select Y(P+d,k) Since the influence of the time d on the index W increases as the coefficient ⁇ increases, it becomes difficult to select the reference pitch Y(P+d,k) having the large time d. That is, the coefficient ⁇ is a weighted value with respect to time d.
  • the configuration in which the coefficient ⁇ is set to zero corresponds to the first embodiment.
  • the pitch correction unit 22 determines whether the pitch difference between the performance pitch X and the selected reference pitch Y(P+d,k) is less than the adjustment value Q (Sc3).
  • the pitch difference can be calculated by
  • the adjustment value Q is a variable value according to the instruction from the user U.
  • the pitch correction unit 22 corrects the performance pitch X to the selected reference pitch Y(P+d,k) (Sc4). That is, the pitch correction section 22 outputs the performance data E2 in which the selected reference pitch Y(P+d,k) is set as the corrected pitch Z instead of the performance pitch X to the tone generator device 14.
  • the pitch correction unit 22 does not correct the performance pitch X (Sc5). That is, the pitch correction unit 22 outputs the performance data E2 in which the performance pitch X is set as the corrected pitch Z to the tone generator device 14.
  • the selected reference pitch in the music is close to the performance position P on the time axis and the pitch difference from the performance pitch X is less than the adjustment value Q.
  • the performance pitch X is corrected to Y(P+d,k). That is, the performance correction device 100 makes the performance pitch X played by the user U close to the performance position P on the time axis and has an appropriate reference pitch Y with a small pitch difference from the performance pitch X. Can be corrected.
  • the reference pitch Y(m) that minimizes the pitch difference is corrected pitch Z.
  • the method of selecting the reference pitch Y(m) set as the corrected pitch Z from the plurality of reference pitches Y(m) is not limited to the above example.
  • the reference pitch Y(m), which is set as the corrected pitch Z among the plurality of reference pitches Y(m) is calculated according to the result of totaling the frequencies of occurrence of performance mistakes between two pitches. You may choose. Specifically, an index of the frequency of occurrence of performance mistakes between two different pitches (hereinafter referred to as "performance error index”) is aggregated in advance for each pitch combination.
  • the pitch correction unit 22 calculates one reference pitch Y(m) having the largest performance error index among the plurality of reference pitches Y(m) whose pitch difference is less than the adjustment value Q as the corrected pitch. Select as Z. According to the above configuration, it is possible to preferentially correct the performance pitch X related to the pitch combination in which a performance error is likely to occur.
  • the performance pitch X is corrected for the entire music piece, but the performance pitch X may be corrected only for a specific period within the music piece.
  • the keyboard musical instrument type performance device 16 is illustrated, but the specific configuration of the performance device 16 is arbitrary.
  • a wind instrument type or string instrument type performance device 16 may be used.
  • the performance correction device 100 may be realized by a server device that communicates with an information terminal such as a mobile phone or a smartphone. For example, the performance correction device 100 receives performance data E1 from an information terminal to which the performance device 16 is connected, generates performance data E2 from the performance data E1 and transmits it to the terminal device.
  • the performance correction device 100 according to each of the above-described modes is realized by the cooperation of a computer (specifically, the control device 11) and a program as illustrated in each mode.
  • the program according to each of the above-described modes may be provided in a form stored in a computer-readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disk) such as a CD-ROM is a good example, but a known arbitrary recording medium such as a semiconductor recording medium or a magnetic recording medium is used.
  • the recording medium of this type may be included.
  • the non-transitory recording medium includes any recording medium except a transitory propagation signal, and does not exclude a volatile recording medium. It is also possible to provide the program to the computer in the form of distribution via a communication network.
  • a performance correction method estimates a performance position in a musical composition by analyzing performance data representing a performance pitch played by a user, and determines a performance pitch represented by the performance data.
  • the difference between the reference pitch and the performance pitch is corrected to a reference pitch lower than a predetermined value.
  • the reference pitch at which the performance pitch played by the user is smaller than the predetermined value among the plurality of reference pitches corresponding to the performance position estimated from the performance. Is corrected to. Therefore, it is possible to correct the playing pitch to an appropriate reference pitch that corresponds to the playing position of the user in the music and is close to the playing pitch in the music.
  • the performance pitch in the correction of the performance pitch, is defined as a performance pitch among a plurality of reference pitches in a candidate period including the performance position in the music.
  • the reference pitch is corrected so that the difference from the pitch is less than the predetermined value. According to the above aspect, it is possible to correct the performance pitch played by the user to an appropriate reference pitch having a small pitch difference from the performance pitch within the candidate period including the performance position.
  • the playing pitch in the correction of the playing pitch, is close to the playing position on the time axis in the music, and the difference from the playing pitch is The reference pitch is corrected to be lower than the predetermined value.
  • the performance pitch played by the user can be corrected to an appropriate reference pitch that is close to the performance position on the time axis and has a small pitch difference from the performance pitch. Is.
  • the predetermined value is a variable value according to an instruction from the user.
  • the predetermined value that is compared with the difference between the reference pitch and the performance pitch is a variable value that corresponds to the instruction from the user. Therefore, for example, the performance according to the user's performance proficiency level. It is possible to adjust the degree of pitch correction (for example, frequency).
  • the first pitch is set to the first pitch for each of a plurality of combinations of the first pitch and the second pitch.
  • the performance position is estimated by using the probability of playing the two pitches by mistake.
  • the probability of playing the first pitch incorrectly with the second pitch is used for estimating the playing position. Therefore, even if the user makes a mistake in the playing position, the playing position in the music can be accurately determined. Can be estimated.
  • the difference between the performance pitch represented by the performance data and each of the plurality of reference pitches corresponding to the performance position in the music is When it exceeds the predetermined value, the performance pitch is not corrected.
  • the performance pitch since the performance pitch is not corrected when the difference between the performance pitch and each of the plurality of reference pitches exceeds a predetermined value, the performance pitch played by the user can be appropriately maintained. Is.
  • the preferable aspects of the present disclosure are realized also as an acoustic analysis device that executes the acoustic analysis method of each aspect exemplified above, or as a program that causes a computer to execute the acoustic analysis method of each aspect exemplified above.
  • Performance correction device 11... Control device, 12... Storage device, 13... Input device, 14... Sound source device, 15... Sound emitting device, 16... Performance device, 21... Performance analysis unit, 22... Pitch correction unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

利用者が演奏装置により演奏した音高を適切に補正する。演奏補正装置１００は、利用者が演奏した演奏音高を表す演奏データＥ1の解析により楽曲内の演奏位置Ｐを推定する演奏解析部２１と、演奏データＥ1が表す演奏音高を、楽曲内において演奏位置Ｐに対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部２２とを具備する。

Description

演奏補正方法および演奏補正装置
　本開示は、利用者による演奏を支援する技術に関する。
　電子鍵盤楽器等の電子楽器の演奏を支援する各種の技術が従来から提案されている。例えば特許文献１には、利用者が電子楽器により演奏した音高を、楽曲内のコードに対応する音高に補正する技術が開示されている。具体的には、楽曲内の再生位置が小節単位で進行し、利用者が演奏した音高が、当該小節について指定されたコードに対応する音高（例えばコードの構成音の音高）に補正される。
特開２００４－２０６０７３号公報
　しかし、特許文献１の技術のもとでは、演奏者による演奏位置が楽曲内の再生位置から乖離した場合に、利用者が演奏した音高を適切な音高に補正できない可能性がある。また、楽曲にはコードの構成音以外の音高も含まれ得るから、コードの構成音に補正する特許文献１の技術では、利用者が演奏した音高を適切な音高に補正できない可能性もある。以上の事情を考慮して、本開示は、利用者が演奏した音高を適切に補正することを目的とする。
　以上の課題を解決するために、本開示のひとつの態様に係る演奏補正方法は、利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定することと、前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正することとを含む。
　本開示のひとつの態様に係る演奏補正装置は、利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部と、前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部とを具備する。
第１実施形態に係る演奏補正装置の構成を例示するブロック図である。 演奏データおよび楽曲データの説明図である。 演奏補正装置の機能的な構成を例示するブロック図である。 音高補正処理の説明図である。 第１実施形態に係る音高補正処理の具体的な手順を例示するフローチャートである。 演奏補正装置の動作の具体的な手順を例示するフローチャートである。 第２実施形態に係る音高補正処理の具体的な手順を例示するフローチャートである。
＜第１実施形態＞
　図１は、本開示の第１実施形態に係る演奏補正装置１００の構成を例示するブロック図である。演奏補正装置１００は、利用者Ｕによる楽曲の演奏を補正する演奏支援システムである。演奏補正装置１００は、制御装置１１と記憶装置１２と入力装置１３と音源装置１４と放音装置１５とを具備するコンピュータシステムで実現される。演奏補正装置１００は、例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の情報端末である。
　第１実施形態の演奏補正装置１００には演奏装置１６が接続される。演奏装置１６は、利用者Ｕが楽曲の演奏に使用する入力機器である。演奏装置１６は、例えば利用者Ｕが操作する複数の鍵が配列された鍵盤楽器型の電子楽器である。演奏装置１６は、例えばＭＩＤＩ（Musical Instrument Digital Interface）楽器である。演奏装置１６は、利用者Ｕによる楽曲の演奏を表す演奏データＥ1を演奏補正装置１００に供給する。なお、演奏補正装置１００と演奏装置１６とを一体に構成してもよい。また、演奏補正装置１００と演奏装置１６との接続の方式は有線および無線の何れでもよい。
　図２は、演奏データＥ1、演奏データＥ2および楽曲データＤの説明図である。演奏データＥ1は、演奏装置１６を使用して利用者Ｕが演奏した音高（以下「演奏音高」という）Ｘの時系列を表すデータである。演奏データＥ1は、例えば演奏音高Ｘと演奏強度とを音符毎に指定するＭＩＤＩデータである。演奏データＥ2は、演奏データＥ1が表す演奏音高Ｘを補正した音高（以下「補正音高」という）Ｚの時系列を表すデータである。演奏データＥ2は、例えば補正音高Ｚと演奏強度とを音符毎に指定するＭＩＤＩデータである。楽曲データＤは、楽曲を構成する各音符の音高（以下「参照音高」という）Ｙの時系列を指定する。楽曲データＤは、利用者Ｕによる演奏内容を規定する楽譜を表す楽譜データとも換言される。楽曲データＤは、例えば参照音高Ｙと演奏強度とを音符毎に指定するＭＩＤＩデータである。
　図１の制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の単数または複数の処理回路で構成され、演奏補正装置１００の各要素を制御する。第１実施形態の制御装置１１は、演奏装置１６から供給される演奏データＥ1を補正することで演奏データＥ2を生成する。
　記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成された単数または複数のメモリである。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、記憶装置１２は、複数種の記録媒体の組合せにより構成されてもよい。また、記憶装置１２は、演奏補正装置１００に対して着脱可能な可搬型の記録媒体、または演奏補正装置１００が通信網を介して通信可能な外部記録媒体（例えばオンラインストレージ）としてもよい。記憶装置１２は、利用者Ｕが演奏する楽曲の楽曲データＤを記憶する。
　入力装置１３は、利用者Ｕからの指示を受付ける。入力装置１３は、例えば利用者Ｕが操作する複数の操作子、または利用者Ｕによる接触を検知するタッチパネルである。また、入力装置１３は、音声入力が可能な収音装置でもよい。利用者Ｕは、入力装置１３を適宜に操作することで、演奏音高Ｘに対する補正の度合を示す数値（以下「調整値」という）Ｑを指示することが可能である。すなわち、調整値Ｑは、利用者Ｕからの指示に応じた可変値である。
　音源装置１４は、制御装置１１が生成する演奏データＥ2に応じた音響信号Ａを生成する。音響信号Ａは、演奏データＥ2が指定する補正音高Ｚの時系列に対応した音響の波形を表す時間信号である。なお、音源装置１４は、制御装置１１がプログラムを実行することで実現されるソフトウェア音源で実現してもよい。放音装置１５は、音源装置１４が生成した音響信号Ａが表す音響を再生する。放音装置１５は、例えばスピーカまたはヘッドホンである。なお、演奏補正装置１００は、音源装置１４が生成した音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器、および、音響信号Ａを増幅する増幅器を備えてもよい。また、音源装置１４および放音装置１５は、演奏補正装置１００の外部に別装置として設置してもよい。例えば、音源装置１４および放音装置１５は、演奏補正装置１００に有線または無線で接続してもよい。
　図３は、演奏補正装置１００の機能を説明するブロック図である。演奏補正装置１００の機能は、制御装置１１が記憶装置１２に記憶されたプログラムを実行することで実現される。演奏補正装置１００は、演奏解析部２１と音高補正部２２と含む。なお、制御装置１１は、相互に別体で構成された複数の装置により実現してもよい。演奏補正装置１００の機能の一部または全部を専用の電子回路により実現してもよい。
＜演奏解析部２１＞
　演奏解析部２１は、演奏データＥ1を解析することで楽曲内の演奏位置Ｐを推定する。演奏位置Ｐは、楽曲内において利用者Ｕが現に演奏している時点である。演奏位置Ｐの推定は、利用者Ｕによる楽曲の演奏に並行して反復される。したがって、演奏解析部２１が推定する演奏位置Ｐは、時間の経過とともに楽曲内の後方に移動する。
　演奏解析部２１は、楽曲内における時間軸上の複数の時点ｓの各々について尤度Ｌ(s)を算定する。任意の１個の時点ｓにおける尤度Ｌ(s)は、利用者Ｕが楽曲内の時点ｓを演奏している確度の指標である。演奏解析部２１は、演奏位置Ｐが時間的に連続するという条件のもとで尤度Ｌ(s)が高い時点ｓを演奏位置Ｐとして推定する。演奏位置Ｐの推定には、例えば特開２０１５－７９１８３号公報に記載された技術が利用される。
　尤度Ｌ(s)は、例えば以下の数式(1)で表現される。
Ｌ(s)＝Σn,n'｛ｙ(s,n')ｐ(n',n)ｘ(n)｝　…(1)
　数式(1)の記号ｎおよび記号ｎ'の各々は、演奏装置１６により演奏可能なＮ個の音高の何れかを意味する。数式(1)の変数ｙ(s,n')は、楽曲データＤが表す楽曲内において時点ｓで音高ｎ'が演奏される場合に数値１に設定され、音高ｎ'が演奏されない場合に数値０に設定される。すなわち、相異なる音高に対応するＮ個の変数ｙ(s,1)～ｙ(s,N)の系列は、楽曲データＤが時点ｓについて指定する演奏の内容を表すＮ次元ベクトルである。
　数式(1)の変数ｘ(n)は、現時点において利用者Ｕが音高ｎを演奏している場合に数値１に設定され、利用者Ｕが音高ｎを演奏していない場合に数値０に設定される。すなわち、相異なる音高に対応するＮ個の変数ｘ(1)～ｘ(N)の系列は、現時点における利用者Ｕによる演奏の内容（具体的には押鍵状態）を表すＮ次元ベクトルである。
　数式(1)の変数ｐ(n',n)は、楽曲内において本来ならば音高ｎ'（第１音高の例示）を演奏すべき箇所において利用者Ｕが間違えて音高ｎ（第２音高の例示）を演奏する確率である。確率ｐ(n',n)は、Ｎ個の音高から任意の２個の音高ｎ'および音高ｎを選択する複数の組合せの各々について、多数の演奏者による演奏の結果を統計処理することで設定される。確率ｐ(n',n)は、楽曲内の音高ｎ'を演奏すべき箇所で実際には音高ｎが演奏される頻度が高いほど大きい、という傾向がある。
　数式(1)の尤度Ｌ(s)は、楽曲データＤに対応するＮ個の変数ｙ(s,1)～ｙ(s,N)の系列と、利用者Ｕによる実際の演奏を表すＮ個の変数ｘ(1)～ｘ(N)の系列とが類似するほど大きい数値となる。また、演奏解析部２１は、音高ｎ'の代わりに音高ｎが演奏される確率ｐ(n',n)を尤度Ｌ(s)の算定に加味する。したがって、演奏解析部２１は、利用者Ｕが演奏を間違えた場合でも、演奏位置Ｐを高精度に推定することが可能である。
＜音高補正部２２＞
　音高補正部２２は、演奏データＥ1が表す演奏音高Ｘを補正する。図４は、音高補正部２２が演奏音高Ｘを補正する動作（以下「音高補正処理」という）の説明図である。候補期間Ｃは、演奏解析部２１が推定した演奏位置Ｐを含む所定長の期間である。候補期間Ｃは、例えば、演奏位置Ｐを中心として４分音符に相当する時間長の期間である。楽曲データＤが指定するＭ個の参照音高Ｙ(1)～Ｙ(M)が候補期間Ｃ内には存在する（Ｍは自然数）。候補期間Ｃ内の参照音高Ｙ(m)（ｍ＝１～Ｍ）の個数Ｍは、楽曲データＤが表す楽曲の内容と演奏位置Ｐとに応じて変動する。
　図５は、音高補正処理の具体的な手順を例示するフローチャートである。利用者Ｕによる演奏装置１６の演奏に並行して音高補正処理が実行される。音高補正処理は、演奏音高Ｘ毎に順次に実行される。
　音高補正処理を開始すると、音高補正部２２は、音高差を算出する。音高差は、参照音高Ｙ(m)と演奏音高Ｘとの差分|Ｙ(m)－Ｘ|である。音高補正部２２は、候補期間Ｃ内のＭ個の参照音高Ｙ(1)～Ｙ(M)のなかに、音高差が調整値Ｑを下回る参照音高Ｙ(m)が存在するか否かを判定する（Ｓa1）。
　音高差が調整値Ｑを下回る参照音高Ｙ(m)が候補期間Ｃ内に存在する場合（Ｓa1：YES）、音高補正部２２は、演奏音高Ｘを当該参照音高Ｙ(m)に補正する（Ｓa2）。すなわち、演奏音高Ｘは、図４に例示される通り、当該演奏音高Ｘを中心として音高軸の方向に幅２Ｑにわたる範囲Δ内に存在する参照音高Ｙ(2)に置換される。音高補正部２２は、演奏音高Ｘの代わりに参照音高Ｙ(m)が補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。なお、複数の参照音高Ｙ(m)について音高差が調整値Ｑを下回る場合、音高補正部２２は、音高差が最小となる参照音高Ｙ(m)を補正音高Ｚとして設定する。
　他方、音高差が調整値Ｑを下回る参照音高Ｙ(m)が候補期間Ｃ内に存在しない場合（Ｓa1：NO）、音高補正部２２は演奏音高Ｘを補正しない（Ｓa3）。すなわち、候補期間Ｃ内のＭ個の参照音高Ｙ(1)～Ｙ(M)の全部が範囲Δの外側に位置する場合、演奏音高Ｘは補正されない。音高補正部２２は、演奏音高Ｘが補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。
　利用者Ｕからの指示に応じた調整値Ｑが大きいほど（すなわち範囲Δが広いほど）、演奏音高Ｘが参照音高Ｙ(m)に補正され易くなる。すなわち、調整値Ｑは、演奏音高Ｘに対する補正の度合（例えば補正の頻度）を決定するための係数に相当する。以上の構成によれば、例えば利用者Ｕによる演奏の習熟度に応じて演奏音高Ｘに対する補正の度合を調整することが可能である。例えば、利用者Ｕが演奏に不慣れな段階では、調整値Ｑを大きい数値に設定することで、演奏音高Ｘが補正され易い状態に設定される。他方、利用者Ｕが演奏に習熟した段階では、調整値Ｑを小さい数値に設定することで、演奏音高Ｘが補正され難い状態に設定される。
　図６は、演奏補正装置１００が実行する動作の具体的な手順を例示するフローチャートである。演奏解析部２１は、演奏装置１６から供給される演奏データＥ1を解析することで楽曲内の演奏位置Ｐを推定する（Ｓb1）。音高補正部２２は、図５に例示した音高補正処理により、利用者Ｕが演奏した演奏音高Ｘを、演奏位置Ｐに対応するＭ個の参照音高Ｙ(1)～Ｙ(M)のうち、演奏音高Ｘとの音高差が調整値Ｑを下回る参照音高Ｙ(m)に補正する（Ｓb2）。前述の通り、音高差が調整値Ｑを下回る参照音高Ｙ(m)が候補期間Ｃ内に存在しない場合、音高補正部２２は演奏音高Ｘを補正しない。音高補正部２２は、音高補正処理後の補正音高Ｚを表す演奏データＥ2を音源装置１４に出力する（Ｓb3）。したがって、候補期間Ｃ内の何れかの参照音高Ｙ(m)に近い演奏音高Ｘは当該参照音高Ｙ(m)に補正され、参照音高Ｙ(m)から乖離した演奏音高Ｘは当該音高に維持された演奏音が、放音装置１５から再生される。なお、図６の処理は所定の周期で反復されてもよい。
　以上の説明の通り、利用者Ｕが演奏した演奏音高Ｘが、当該演奏から推定された演奏位置Ｐに対応するＭ個の参照音高Ｙ(1)～Ｙ(M)のうち、演奏音高Ｘとの音高差が調整値Ｑを下回る参照音高Ｙ(m)に補正される。したがって、演奏補正装置１００は、楽曲内において利用者Ｕによる演奏位置Ｐに対応し、かつ、当該楽曲内において演奏音高Ｘに近い適切な参照音高Ｙ(m)に、当該演奏音高Ｘを補正することが可能である。
＜第２実施形態＞
　本開示の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。第２実施形態では、音高補正部２２が実行する音高補正処理の内容が第１実施形態とは相違する。演奏解析部２１による演奏位置Ｐの推定は第１実施形態と同様である。
　図７は、第２実施形態における音高補正処理の具体的な手順を例示するフローチャートである。音高補正処理は、演奏音高Ｘ毎に順次に実行される。音高補正処理を開始すると、音高補正部２２は、以下の数式(2)で表現される指標Ｗを算定する（Ｓc1）。
Ｗ＝α|ｄ|＋|Ｙ(P+d,k)－Ｘ|  …(2)
　数式(2)の記号Ｙ(P+d,k)は、演奏位置Ｐから時間ｄだけ離間した時点(Ｐ＋ｄ)について楽曲データＤが指定するＫ個の参照音高Ｙ(s,1)～Ｙ(s,K)の何れかを意味する（ｋ＝１～Ｋ）。記号Ｋは、楽曲内の時点(Ｐ＋ｄ)において並列に演奏される参照音高Ｙの個数（例えば和音を構成する音符の総数）を意味する可変値である。時間ｄは、任意の数値（正数、負数、またはゼロ）である。数式(2)の係数αは、所定の正数（例えば１以上の正数）に設定される。
　数式(2)における右辺の第１項から理解される通り、演奏位置Ｐからの時間ｄが小さい参照音高Ｙ(P+d,k)ほど指標Ｗは小さい数値となる。また、数式(2)における右辺の第２項から理解される通り、演奏音高Ｘとの音高差|Ｙ(P+d,k)－Ｘ|が小さい参照音高Ｙ(P+d,k)ほど指標Ｗは小さい数値となる。音高補正部２２は、以上に説明した指標Ｗを最小化させる時間ｄおよび変数ｋの組合せを探索する（Ｓc2）。すなわち、音高補正部２２は、演奏位置Ｐから時間軸上で近く（すなわち時間ｄが小さく）、かつ、演奏音高Ｘに近い１個の参照音高（以下「選択参照音高」という）Ｙ(P+d,k)を選択する。係数αが大きいほど、指標Ｗに対する時間ｄの影響が増大するから、時間ｄが大きい参照音高Ｙ(P+d,k)は選択され難くなる。すなわち、係数αは時間ｄに対する加重値である。なお、係数αをゼロに設定した構成が、第１実施形態に相当する。
　音高補正部２２は、演奏音高Ｘと選択参照音高Ｙ(P+d,k)との音高差が調整値Ｑを下回るか否かを判定する（Ｓc3）。音高差は|Ｙ(P+d,k)－Ｘ|で求めることができる。第１実施形態と同様に、調整値Ｑは利用者Ｕからの指示に応じた可変値である。音高差が調整値Ｑを下回る場合（Ｓc3：YES）、音高補正部２２は、演奏音高Ｘを選択参照音高Ｙ(P+d,k)に補正する（Ｓc4）。すなわち、音高補正部２２は、演奏音高Ｘの代わりに選択参照音高Ｙ(P+d,k)が補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。他方、音高差が調整値Ｑを上回る場合（Ｓc3：NO）、音高補正部２２は演奏音高Ｘを補正しない（Ｓc5）。すなわち、音高補正部２２は、演奏音高Ｘが補正音高Ｚとして設定された演奏データＥ2を音源装置１４に出力する。
　以上の説明から理解される通り、第２実施形態では、楽曲内において時間軸上で演奏位置Ｐに近く、かつ、当該演奏音高Ｘとの音高差が調整値Ｑを下回る選択参照音高Ｙ(P+d,k)に、当該演奏音高Ｘが補正される。すなわち、演奏補正装置１００は、利用者Ｕが演奏した演奏音高Ｘを、演奏位置Ｐに時間軸上で近く、かつ、当該演奏音高Ｘとの音高差が小さい適切な参照音高Ｙに、補正することが可能である。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）第１実施形態では、複数の参照音高Ｙ(m)について音高差が調整値Ｑを下回る場合に、音高差が最小となる参照音高Ｙ(m)を補正音高Ｚとして設定した。しかし、複数の参照音高Ｙ(m)のうち補正音高Ｚとして設定される参照音高Ｙ(m)を選択する方法は、以上の例示に限定されない。例えば、２個の音高間で演奏ミスが発生する頻度を集計した結果に応じて、複数の参照音高Ｙ(m)のうち補正音高Ｚとして設定される参照音高Ｙ(m)を選択してもよい。具体的には、相異なる２個の音高間で演奏ミスが発生する頻度の指標（以下「演奏ミス指標」という）を音高の組合せ毎に事前に集計する。音高補正部２２は、音高差が調整値Ｑを下回る複数の参照音高Ｙ(m)のうち、演奏ミス指標が最大である１個の参照音高Ｙ(m)を、補正音高Ｚとして選択する。以上の構成によれば、演奏ミスが発生し易い音高の組合せに係る演奏音高Ｘを優先的に補正することが可能である。
（２）前述の各形態では、楽曲の全体について演奏音高Ｘを補正したが、楽曲内の特定の期間について限定的に演奏音高Ｘを補正してもよい。
（３）前述の各形態では、鍵盤楽器型の演奏装置１６を例示したが、演奏装置１６の具体的な形態は任意である。例えば管楽器型または弦楽器型の演奏装置１６を利用してもよい。
（４）携帯電話機またはスマートフォン等の情報端末との間で通信するサーバ装置により演奏補正装置１００を実現してもよい。例えば、演奏補正装置１００は、演奏装置１６が接続された情報端末から演奏データＥ1を受信し、当該演奏データＥ1から演奏データＥ2を生成して端末装置に送信する。
（５）前述の各形態に係る演奏補正装置１００は、各形態での例示の通り、コンピュータ（具体的には制御装置１１）とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
（６）以上に例示した形態から、例えば以下の構成が把握される。
　本開示のひとつの態様（第１態様）に係る演奏補正方法は、利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定し、前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正する。以上の態様によれば、利用者が演奏した演奏音高が、当該演奏から推定された演奏位置に対応する複数の参照音高のうち当該演奏音高との差分が所定値を下回る参照音高に補正される。したがって、楽曲内において利用者による演奏位置に対応し、かつ、当該楽曲内において演奏音高に近い適切な参照音高に、演奏音高を補正することが可能である。
　第１態様の例（第２態様）において、前記演奏音高の補正では、前記演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち、当該演奏音高との差分が前記所定値を下回る参照音高に補正する。以上の態様によれば、利用者が演奏した演奏音高を、演奏位置を含む候補期間内において演奏音高との音高差が小さい適切な参照音高に補正することが可能である。
　第１態様の例（第３態様）において、前記演奏音高の補正では、前記演奏音高を、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高との差分が前記所定値を下回る参照音高に補正する。以上の態様によれば、利用者が演奏した演奏音高を、演奏位置に時間軸上で近く、かつ、演奏音高との音高差が小さい適切な参照音高に、補正することが可能である。
　第１態様から第３態様の何れかの例（第４態様）において、前記所定値は、利用者からの指示に応じた可変値である。以上の態様によれば、参照音高と演奏音高との差分と比較される所定値が利用者からの指示に応じた可変値であるから、例えば利用者の演奏の習熟度に応じて演奏音高の補正の度合（例えば頻度）を調整することが可能である。
　第１態様から第４態様の何れかの例（第５態様）において、前記演奏位置の推定では、第１音高と第２音高との複数の組合せの各々について前記第１音高を第２音高に間違えて演奏する確率を利用して、前記演奏位置を推定する。以上の態様では、第１音高を第２音高に間違えて演奏する確率が演奏位置の推定に利用されるから、利用者が演奏を間違えた場合でも、楽曲内の演奏位置を高精度に推定できる。
　第１態様から第５態様の何れかの例（第６態様）において、前記演奏データが表す演奏音高と、前記楽曲内において前記演奏位置に対応する複数の参照音高の各々との差分が前記所定値を上回る場合には、当該演奏音高を補正しない。以上の態様では、演奏音高と複数の参照音高の各々との差分が所定値を上回る場合に演奏音高が補正されないから、利用者が演奏した演奏音高を適度に維持することが可能である。
　以上に例示した各態様の音響解析方法を実行する音響解析装置、または、以上に例示した各態様の音響解析方法をコンピュータに実行させるプログラムとしても、本開示の好適な態様は実現される。
１００…演奏補正装置、１１…制御装置、１２…記憶装置、１３…入力装置、１４…音源装置、１５…放音装置、１６…演奏装置、２１…演奏解析部、２２…音高補正部。

Claims (15)

  1. 　利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定することと、
    　前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正することと
    を含む
    　コンピュータにより実現される演奏補正方法。
  2. 　前記演奏音高を補正することは、前記演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち、当該演奏音高との差分が前記所定値を下回る参照音高に補正することを含む
    　請求項１の演奏補正方法。
  3. 　前記演奏音高を補正することは、前記演奏音高を、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高との差分が前記所定値を下回る参照音高に補正することを含む
    　請求項１の演奏補正方法。
  4. 　前記所定値は、利用者からの指示に応じた可変値である
    　請求項１から請求項３の何れかの演奏補正方法。
  5. 　前記演奏位置を推定することは、第１音高と第２音高との複数の組合せの各々について前記第１音高を第２音高に間違えて演奏する確率を利用して、前記演奏位置を推定することを含む
    　請求項１から請求項４の何れかの演奏補正方法。
  6. 　前記演奏データが表す演奏音高と、前記楽曲内において前記演奏位置に対応する複数の参照音高の各々との差分が前記所定値を上回る場合には、当該演奏音高を補正しないこと
    をさらに含む、
    　請求項１から請求項５の何れかの演奏補正方法。
  7. 　利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定する演奏解析部と、
    　前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正する音高補正部と
    　を具備する演奏補正装置。
  8. 　前記音高補正部は、前記演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち、当該演奏音高との差分が前記所定値を下回る参照音高に補正する
    　請求項７の演奏補正装置。
  9. 　前記音高補正部は、前記演奏音高を、前記楽曲内において時間軸上で前記演奏位置に近く、かつ、当該演奏音高との差分が前記所定値を下回る参照音高に補正する
    　請求項７の演奏補正装置。
  10. 　前記所定値は、利用者からの指示に応じた可変値である
    　請求項７から請求項９の何れかの演奏補正装置。
  11. 　前記演奏解析部は、第１音高と第２音高との複数の組合せの各々について前記第１音高を第２音高に間違えて演奏する確率を利用して、前記演奏位置を推定する
    　請求項７から請求項１０の何れかの演奏補正装置。
  12. 　前記音高補正部は、前記演奏データが表す演奏音高と、前記楽曲内において前記演奏位置に対応する複数の参照音高の各々との差分が前記所定値を上回る場合には、当該演奏音高を補正しない、
    をさらに含む、
    　請求項７から請求項１１の何れかの演奏補正装置。
  13. 　利用者が演奏した演奏音高を表す演奏データの解析により楽曲内の演奏位置を推定することと、
    　前記演奏データが表す演奏音高を、前記楽曲内において前記演奏位置に対応する複数の参照音高のうち、当該演奏音高との差分が所定値を下回る参照音高に補正することと
    をコンピュータに実行させる演奏補正プログラム。
  14. 　前記演奏音高を補正することは、前記演奏音高を、前記楽曲内において前記演奏位置を含む候補期間内の複数の参照音高のうち、当該演奏音高との差分が前記所定値を下回る参照音高に補正することを含む
    　請求項１３の演奏補正プログラム。
  15. 　前記演奏データが表す演奏音高と、前記楽曲内において前記演奏位置に対応する複数の参照音高の各々との差分が前記所定値を上回る場合には、当該演奏音高を補正しないこと
    をさらに含む、
    　請求項１３または請求項１４の演奏補正プログラム。
PCT/JP2019/049914 2018-12-28 2019-12-19 演奏補正方法および演奏補正装置 Ceased WO2020137829A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980086269.7A CN113228158B (zh) 2018-12-28 2019-12-19 演奏校正方法及演奏校正装置
US17/355,574 US12451108B2 (en) 2018-12-28 2021-06-23 Musical performance correction method and musical performance correction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018248198A JP7293653B2 (ja) 2018-12-28 2018-12-28 演奏補正方法、演奏補正装置およびプログラム
JP2018-248198 2018-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/355,574 Continuation US12451108B2 (en) 2018-12-28 2021-06-23 Musical performance correction method and musical performance correction device

Publications (1)

Publication Number Publication Date
WO2020137829A1 true WO2020137829A1 (ja) 2020-07-02

Family

ID=71127825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049914 Ceased WO2020137829A1 (ja) 2018-12-28 2019-12-19 演奏補正方法および演奏補正装置

Country Status (4)

Country Link
US (1) US12451108B2 (ja)
JP (1) JP7293653B2 (ja)
CN (1) CN113228158B (ja)
WO (1) WO2020137829A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6737300B2 (ja) * 2018-03-20 2020-08-05 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
CN114141219B (zh) * 2021-12-29 2025-06-20 福州物联网开放实验室有限公司 一种基于无线通信的手戴式电子乐器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744184A (ja) * 1993-07-30 1995-02-14 Kanaasu Data Kk 音程矯正装置
JP2000187485A (ja) * 1998-12-22 2000-07-04 Yamaha Corp 楽音生成装置、楽音生成方法および記録媒体
JP2004206073A (ja) * 2002-09-04 2004-07-22 Yamaha Corp 演奏補助装置、入力音変換装置及びそれらのプログラム
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2014191331A (ja) * 2013-03-28 2014-10-06 Xing Inc 楽器音出力装置及び楽器音出力プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7297859B2 (en) 2002-09-04 2007-11-20 Yamaha Corporation Assistive apparatus, method and computer program for playing music
JP4882980B2 (ja) * 2007-11-27 2012-02-22 ブラザー工業株式会社 楽曲検索装置及びプログラム
WO2011002933A2 (en) * 2009-06-30 2011-01-06 Museami, Inc. Vocal and instrumental audio effects
JP5360510B2 (ja) 2011-09-22 2013-12-04 カシオ計算機株式会社 演奏評価装置およびプログラム
JP5807754B2 (ja) * 2013-06-14 2015-11-10 ブラザー工業株式会社 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP5704368B2 (ja) * 2013-06-14 2015-04-22 ブラザー工業株式会社 楽音演奏装置及び楽音演奏処理プログラム
JP6171711B2 (ja) * 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法
JP2015034923A (ja) * 2013-08-09 2015-02-19 ヤマハ株式会社 音高補正装置
JP6187132B2 (ja) 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
JP6561499B2 (ja) 2015-03-05 2019-08-21 ヤマハ株式会社 音声合成装置および音声合成方法
JP6701864B2 (ja) * 2016-03-25 2020-05-27 ヤマハ株式会社 音評価装置および音評価方法
CN108231048B (zh) * 2017-12-05 2021-09-28 北京小唱科技有限公司 修正音频节奏的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744184A (ja) * 1993-07-30 1995-02-14 Kanaasu Data Kk 音程矯正装置
JP2000187485A (ja) * 1998-12-22 2000-07-04 Yamaha Corp 楽音生成装置、楽音生成方法および記録媒体
JP2004206073A (ja) * 2002-09-04 2004-07-22 Yamaha Corp 演奏補助装置、入力音変換装置及びそれらのプログラム
JP2007241181A (ja) * 2006-03-13 2007-09-20 Univ Of Tokyo 自動伴奏システム及び楽譜追跡システム
JP2014191331A (ja) * 2013-03-28 2014-10-06 Xing Inc 楽器音出力装置及び楽器音出力プログラム

Also Published As

Publication number Publication date
JP7293653B2 (ja) 2023-06-20
US12451108B2 (en) 2025-10-21
CN113228158B (zh) 2023-12-26
US20210319775A1 (en) 2021-10-14
JP2020106766A (ja) 2020-07-09
CN113228158A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
JP4672613B2 (ja) テンポ検出装置及びテンポ検出用コンピュータプログラム
US20220383842A1 (en) Estimation model construction method, performance analysis method, estimation model construction device, and performance analysis device
CN108369800B (zh) 声处理装置
CN111656434B (zh) 音响参数调整装置、音响参数调整方法及记录介质
JP7293653B2 (ja) 演奏補正方法、演奏補正装置およびプログラム
WO2019180830A1 (ja) 歌唱評価方法及び装置、プログラム
JP6281211B2 (ja) 音響信号のアライメント装置、アライメント方法及びコンピュータプログラム
US9818388B2 (en) Method for adjusting the complexity of a chord in an electronic device
JP6597048B2 (ja) アライメント装置およびプログラム
JP7147384B2 (ja) 情報処理方法および情報処理装置
JP7375302B2 (ja) 音響解析方法、音響解析装置およびプログラム
US20230306944A1 (en) Sound processing device and method of outputting parameter of sound processing device
JP2017173655A (ja) 音評価装置および音評価方法
JP5807754B2 (ja) 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP7635819B2 (ja) 情報処理システム、電子楽器、情報処理方法、および学習済モデルの生成方法
JP2019164282A (ja) 演奏解析方法および演奏解析装置
JP5776205B2 (ja) 音信号生成装置及びプログラム
JP2017078829A (ja) 演奏解析装置
JP4760348B2 (ja) 楽曲選択装置および楽曲選択用コンピュータプログラム
JP6036800B2 (ja) 音信号生成装置及びプログラム
JP2024077977A (ja) プログラム
JP3646673B2 (ja) 演奏データ加工処理装置及び記録媒体
CN113744760A (zh) 一种音高识别方法、装置、电子设备及存储介质
WO2019092783A1 (ja) 評価装置、評価方法および評価プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903554

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19903554

Country of ref document: EP

Kind code of ref document: A1