WO2019026260A1 - 評価装置、評価方法および評価プログラム - Google Patents

評価装置、評価方法および評価プログラム Download PDF

Info

Publication number
WO2019026260A1
WO2019026260A1 PCT/JP2017/028317 JP2017028317W WO2019026260A1 WO 2019026260 A1 WO2019026260 A1 WO 2019026260A1 JP 2017028317 W JP2017028317 W JP 2017028317W WO 2019026260 A1 WO2019026260 A1 WO 2019026260A1
Authority
WO
WIPO (PCT)
Prior art keywords
pitch
time
user
reference pitch
unit
Prior art date
Application number
PCT/JP2017/028317
Other languages
English (en)
French (fr)
Inventor
辰弥 寺島
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2017/028317 priority Critical patent/WO2019026260A1/ja
Publication of WO2019026260A1 publication Critical patent/WO2019026260A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to an evaluation device, an evaluation method and an evaluation program for evaluating a user's performance.
  • Patent Document 1 describes a karaoke apparatus for scoring singing voices.
  • reference data representing singing melody is subjected to low-pass filter processing, and the reference frequency extracted from the reference data after processing is compared with the singing frequency detected from the input singing voice signal The singing voice is scored.
  • JP 2005-107328 A JP 2005-107328 A
  • An object of the present invention is to provide an evaluation device, an evaluation method and an evaluation program capable of appropriately evaluating the skill of a performance.
  • An evaluation apparatus includes a pitch acquisition unit that sequentially acquires, as a user pitch, a pitch generated by a user according to the progress of a reference song including a change in reference pitch, and an acquired user sound
  • the time when the high reaches the allowable pitch range defined for each reference pitch is acquired as the arrival time, and the time from the start of the note of the reference pitch to the arrival time is detected as the delay time for each reference pitch.
  • a delay time detection unit, and a determination unit that determines the presence or absence of the user's performance for each reference pitch based on the detected delay time.
  • the determination unit does not determine whether or not the user's performance is in doubt about the reference sound pitch. It is also good.
  • the determination reference time is determined for each reference pitch, and the determination unit may determine that the user's performance is lost when the delay time is longer than the determination reference time.
  • the determination unit may adjust the determination reference time based on the time from the note start time of each reference pitch to the note end time.
  • the determination unit may adjust the determination reference time based on the level of each reference pitch.
  • the evaluation device may further include a calculation unit that calculates a degree of strayness that indicates the degree of strayness of the user's performance based on the delay time.
  • the evaluation device may further include a sound output unit that outputs an accompaniment sound of the reference song.
  • the evaluation device may further include a range adjustment unit which adjusts the allowable pitch range based on the height of each reference pitch.
  • the evaluation device may further include a performance evaluation unit that calculates a performance evaluation value representing a performance evaluation for each reference pitch based on the acquired difference between the user pitch and the reference pitch and the delay time.
  • the evaluation device may further include a presentation unit that presents the determination result by the determination unit. The presentation unit may display the change in the reference pitch and display the determination result for each reference pitch.
  • the evaluation method comprises the steps of sequentially acquiring, as the user's pitch, the pitch generated by the user in accordance with the progress of the reference song including the change of the reference pitch, The time to reach the allowable pitch range defined for each reference pitch is acquired as the arrival time, and the time from the note start time to the arrival time is detected as the delay time for each reference pitch, and acquired And determining, based on the delay time, whether or not the user's performance has been lost for each reference pitch.
  • the evaluation program sequentially acquires, as the user's pitch, the pitch generated by the user according to the progress of the reference song including the change of the reference pitch, the acquired user's pitch Obtaining as the arrival time a point at which the user reaches the allowable pitch range defined for each reference pitch, and detecting the time from the note start time to the arrival time as the delay time for each reference pitch, and And determining whether or not the user's performance is lost for each reference pitch based on the delay time.
  • the skill of the performance can be appropriately evaluated.
  • FIG. 1 is a block diagram showing the configuration of an evaluation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the evaluation device of FIG.
  • FIG. 3 is a diagram for explaining an example of the determination of the lost.
  • FIG. 4 is a diagram for explaining another example of the determination of stray.
  • FIG. 5A is a diagram for explaining an adjustment example of the allowable pitch range.
  • FIG. 5B is a diagram for describing an adjustment example of the allowable pitch range.
  • FIG. 5C is a diagram for describing an adjustment example of the allowable pitch range.
  • FIG. 6 is a diagram for explaining an example of calculation of the degree of confusion.
  • FIG. 7 is a diagram showing an example of presentation by the presentation unit of FIG.
  • FIG. 8 is a flowchart showing an example of evaluation processing by each functional unit in FIG.
  • FIG. 9 is a flow chart showing an example of the processing for determination of lost.
  • FIG. 1 is a block diagram showing the configuration of the evaluation device according to the embodiment of the present invention.
  • the evaluation device 100 of FIG. 1 includes a sound input unit 1, an operation unit 4 and a display unit 6.
  • the sound input unit 1, the operation unit 4 and the display unit 6 are connected to the bus 19.
  • the sound input unit 1 includes a microphone, an amplifier, an analog digital (A / D) conversion circuit, and the like, and inputs a sound generated by the user (hereinafter, user sound) to the CPU 11 described later as user sound data.
  • the user sound is, for example, a sound generated by the user playing an instrument.
  • the operation unit 4 includes a switch that is turned on and off, a rotary encoder that is rotated, and a linear encoder that is slide-operated.
  • the operation unit 4 is used to adjust the volume, turn the power on and off, and set various settings.
  • the display unit 6 includes, for example, a liquid crystal display, and displays various information related to performance or setting. At least a part of the operation unit 4 and the display unit 6 may be configured by a touch panel display.
  • the evaluation device 100 further includes a RAM (random access memory) 9, a ROM (read only memory) 10, a CPU (central processing unit) 11, a timer 12, and a storage device 13.
  • the RAM 9, the ROM 10, the CPU 11 and the storage device 13 are connected to the bus 19, and the timer 12 is connected to the CPU 11.
  • An external device such as the external storage device 15 may be connected to the bus 19 via the communication I / F (interface) 14.
  • the RAM 9, the ROM 10, the CPU 11, and the timer 12 constitute a computer.
  • the RAM 9 is, for example, a volatile memory, is used as a work area of the CPU 11, and temporarily stores various data.
  • the ROM 10 is, for example, a non-volatile memory, and stores computer programs such as a control program and an evaluation program.
  • the CPU 11 executes an evaluation program stored in the ROM 10 on the RAM 9 to perform an evaluation process described later.
  • the timer 12 provides time information such as the current time to the CPU 11.
  • the storage device 13 includes a storage medium such as a hard disk, an optical disk, a magnetic disk, or a memory card, and stores one or more reference song data corresponding to one or more reference songs.
  • the reference song data includes performance data and accompaniment data.
  • the performance data is, for example, MIDI (Musical Instrument Digital Interface) data, and indicates a change in pitch of the performance part (hereinafter referred to as a reference pitch) which is a part to be played by the user.
  • the performance data includes the note start time and note end time of each reference pitch.
  • the note start time represents the time position at which the performance of the reference pitch should be started in the reference music
  • the note end time represents the time position at which the performance of the reference sound should be ended in the reference music.
  • the accompaniment data is data representing the sound of an accompaniment part (hereinafter referred to as an accompaniment sound) which is a part other than the performance part, and may be audio data or MIDI data.
  • the external storage device 15 may include a storage medium such as a hard disk, an optical disk, a magnetic disk, or a memory card, and may store at least one of reference music data and an evaluation program.
  • the evaluation program in the present embodiment may be provided in a form stored in a computer readable recording medium, and may be installed in the ROM 10 or the storage device 13. Further, when the communication I / F 14 is connected to the communication network, an evaluation program distributed from a server connected to the communication network may be installed in the ROM 10 or the storage device 13. Similarly, reference music data may be obtained from a storage medium or may be obtained from a server connected to a communication network.
  • the evaluation device 100 further includes a sound output unit 8.
  • the sound output unit 8 includes a sound source 16 and a sound system 18.
  • the sound source 16 is connected to the bus 19 and the sound system 18 is connected to the sound source 16.
  • the sound source 16 generates a tone signal representing an accompaniment sound.
  • Sound system 18 includes digital to analog (D / A) conversion circuitry, amplifiers and speakers.
  • the sound system 18 converts tone signals supplied from the sound source 16 into analog sound signals and generates sounds based on the analog sound signals. Thereby, an accompaniment sound is output.
  • FIG. 2 is a block diagram showing a functional configuration of the evaluation device 100 of FIG.
  • the evaluation device 100 includes a pitch acquisition unit 51, a reference pitch acquisition unit 52, a delay time detection unit 54, a determination unit 56, a range adjustment unit 57, a degree of strays calculation unit 58, a presentation unit 60, A performance evaluation unit 62 and an accompaniment control unit 63 are included.
  • the functions of the pitch acquisition unit 51, the reference pitch acquisition unit 52, the delay time detection unit 54, the determination unit 56, the range adjustment unit 57, the stray degree calculation unit 58, the presentation unit 60, the performance evaluation unit 62 and the accompaniment control unit 63 This is realized by the CPU 11 of FIG. 1 executing the evaluation program.
  • the pitch acquiring unit 51 sequentially acquires the pitches generated by the user as the user's pitches in accordance with the progress of the reference music. Specifically, the pitch acquiring unit 51 detects the frequency of the user sound from the user sound data input by the sound input unit 1 of FIG. 1 at a constant sampling period, and the user corresponds to the pitch corresponding to the detected frequency. Acquire as a pitch.
  • the user pitch is represented by, for example, cent.
  • the reference pitch acquiring unit 52 sequentially acquires reference pitches from reference music data stored in the storage device 13. For example, when the user designates reference music data and gives a music start instruction, the reference tone pitch acquiring unit 52 receives specification of reference music data and starts timing of the reference music. The current position in the reference music is identified based on the clocking by the reference pitch acquisition unit 52. The current position refers to the portion of the reference song to be played or played at this point. When the current position of the reference song in progress (playing) reaches the note start time indicated by the performance data, the reference sound pitch acquisition unit 52 acquires a reference sound pitch corresponding to the note start time.
  • the allowable pitch range is defined for each reference pitch.
  • the allowable pitch range is a range of pitches that includes the corresponding reference pitch.
  • the delay time detection unit 54 acquires a point in time when the user's pitch reaches the allowable pitch range of each reference pitch based on the time information from the timer 12 of FIG. The time from the start point to the arrival point of the reference pitch is detected as a delay time. When the user's pitch reaches the allowable pitch range of the reference pitch, it is considered that the user has generated the sound of the reference pitch.
  • the delay time detection unit 54 or the delay time detection unit 54 of the sample of the fixed number of user pitches acquired most recently are within the allowable pitch range. If the median is within the allowable pitch range, it is determined that the user's pitch has reached the allowable pitch range. Alternatively, the delay time detection unit 54 determines that the user pitch has reached the allowable pitch range when all the values of the sample of the predetermined number of user pitches acquired most recently are within the allowable pitch range. You may
  • the determination unit 56 determines whether or not the user's performance is lost for each reference pitch based on the detected delay time. Specifically, when the detected delay time is longer than a predetermined determination reference time, the determination unit 56 determines that the user's performance is lost for the corresponding reference pitch.
  • the judgment reference time may be expressed in real time, and may be expressed in number of beats or ticks.
  • stray determination the determination of the presence or absence of stray by the determination unit 56 will be referred to as stray determination. Details of the determination of lost will be described later.
  • the range adjustment unit 57 adjusts the allowable pitch range based on the height of each reference pitch.
  • the degree-of-stray calculating unit 58 calculates the degree of straying representing the degree of the user's performance lost based on the delay time. The adjustment of the allowable pitch range and the method of calculating the degree of stray will be described later.
  • the presentation unit 60 presents the determination result by the determination unit 56. For example, the presentation unit 60 displays, on the screen of the display unit 6 in FIG. In addition, the presentation unit 60 may present the degree of strayness calculated by the degree of strayness calculation unit 58. A specific presentation example will be described later.
  • the performance evaluation unit 62 calculates, based on the difference between the acquired user pitch and the reference pitch and the delay time, a performance evaluation value representing a performance evaluation for each reference pitch.
  • the presentation unit 60 may present the performance evaluation value calculated by the performance evaluation unit 62.
  • the accompaniment control unit 63 controls the output of the accompaniment sound of the reference music based on the reference music data stored in the storage device 13. Specifically, the accompaniment data is acquired from the designated reference music data, and the accompaniment sound is output by controlling the sound output unit 8 of FIG. 1 based on the accompaniment data.
  • FIG. 3 is a diagram for describing an example of the stray judgment.
  • the horizontal axis represents the time during the song, and the vertical axis represents the pitch.
  • reference pitches C1, C2, C3 are shown, and allowable pitch ranges R1, R2, R3 of reference pitches C1, C2, C3 are shown.
  • the change of the user's pitch PU is indicated by an alternate long and short dash line.
  • a time t1 is a note start time of the reference pitch C1.
  • Time t2 is the end time of the note of the reference pitch C1 and the start time of the note of the reference pitch C2.
  • Time t3 is the end time of the note of the reference pitch C2 and the start time of the note of the reference pitch C3.
  • the user pitch PU at time 1a is within the allowable pitch range R1.
  • the arrival time at the reference pitch C1 is time t1a
  • the delay time at the reference pitch C1 is time T1 from time t1 to time t1a.
  • the user's pitch PU reaches the allowable pitch range R2.
  • the arrival time at the reference pitch C2 is time t2a
  • the delay time at the reference pitch C2 is time T2 from time t2 to time t2a.
  • the user's pitch PU reaches the allowable pitch range R3.
  • the arrival time at the reference pitch C3 is time t3a
  • the delay time at the reference pitch C3 is time T3 from time t3 to time t3a.
  • a fixed judgment reference time TA (for example, 200 msec) is set for each reference pitch. If the delay time is longer than the determination reference time TA, it is determined that the user's performance is lost for the corresponding reference pitch. Specifically, the delay time T1 at the reference pitch C1 and the delay time T3 at the reference pitch C3 are longer than the determination reference time TA. Therefore, it is determined that the user's performance is lost for the reference pitches C1 and C3. On the other hand, the delay time T2 at the reference pitch C2 is less than the determination reference time TA. Therefore, for the reference pitch C2, it is determined that the user's performance is not lost.
  • the delay time T1 at the reference pitch C1 and the delay time T3 at the reference pitch C3 are longer than the determination reference time TA. Therefore, it is determined that the user's performance is lost for the reference pitches C1 and C3.
  • the delay time T2 at the reference pitch C2 is less than the determination reference time TA. Therefore, for the reference pitch C2, it is determined that the
  • FIG. 4 is a diagram for describing another example of the determination of strayness. Regarding the example of FIG. 4, points different from the example of FIG. 3 will be described.
  • reference pitches C4, C5, C6 are shown, and allowable pitch ranges R4, R5, R6 of reference pitches C4, C5, C6 are shown.
  • Time t4 is the note start time of the reference pitch C4.
  • Time t5 is the end time of the note of the reference pitch C4 and the start time of the note of the reference pitch C5.
  • Time t6 is the end time of the note of the reference pitch C5 and the start time of the note of the reference pitch C6.
  • Time t7 is the end time of the note of the reference pitch C6.
  • the determination of the reference pitch is not made stray.
  • the note time N4 of the reference pitch C4 and the note time N6 of the reference pitch C6 are equal to or more than the lower limit time LT.
  • the note time N5 of the reference pitch C5 is shorter than the lower limit time LT. For this reason, the determination as to the reference pitch C5 is not made.
  • the note duration of the reference pitch When the note duration of the reference pitch is short, the arrival time is likely to deviate from the note start time even if the user's performance is not lost. Therefore, there is a possibility that the delay time does not indicate the presence or absence of the actual confusion. Therefore, when the note duration of the reference pitch is short, the determination of stray is not performed, so that it is possible to prevent the determination that there is stray even though there is actually no stray. As a result, the reliability of the lost judgment is enhanced.
  • the user's pitch reaches the allowable pitch range of the reference pitch before the note start time of the reference pitch, it is not necessary to make a stray judgment on the reference pitch.
  • the time from the arrival time to the note start time of the reference pitch is within a certain range, it may be determined that the reference pitch is not lost.
  • the start time and the arrival time of the note are easily shifted regarding the other reference pitches. Therefore, it is not necessary to make a determination on the other reference pitches.
  • a constant determination reference time TA is set for each reference pitch, but the determination unit 56 of FIG. 2 determines the determination reference time based on the note time of each reference pitch. You may adjust. As described above, when the note time of the reference pitch is short, even if the performance is not lost, the performance tends to be delayed. Depending on the user, there is a case where it is desired to accurately grasp a place where such a delay occurs and to practice the place intensively.
  • the determination reference time may be adjusted so that the determination reference time is shorter as the note time is shorter. For example, a first value and a second value shorter than the first value are prepared as the determination reference time, and the first value is selected if the note time is equal to or greater than a predetermined threshold value, A second value may be selected if the note time is less than a predetermined threshold.
  • the delay time is the same, when the note time is short, it is more likely to be determined that the performance is lost as compared to when the note time is long. Therefore, the user can easily grasp a portion where a note time is short and delay in performance is likely to occur, and can intensively practice the portion. Thereby, the user's performance technology can be effectively enhanced.
  • the timing of sound generation may be delayed depending on the pitch. For example, in a wind instrument, since it is difficult to generate bass, the timing of generation of the bass is likely to be delayed. Therefore, when the reference pitch is low, the delay time tends to be long even if the user is not lost in performance, and it may be determined that there is a loss in performance. Therefore, the determination unit 56 of FIG. 2 may adjust the determination reference time based on the height of each reference pitch. Specifically, the determination reference time may be adjusted such that the determination reference time becomes longer as the reference pitch is lower. For example, a third value and a fourth value longer than the third value are prepared as the determination reference time, and the third value is greater than or equal to a predetermined threshold value. A fourth value may be selected if it is selected and the reference pitch is below the threshold. In this case, even if the user's performance is not lost, it is prevented that the performance is determined to be lost due to the characteristics of the instrument.
  • the judgment reference time may be adjusted by the musical instrument. For example, when a plurality of determination reference times respectively corresponding to a plurality of musical instruments are prepared and the user operates the operation unit 4 of FIG. 1 to specify an instrument, the determination unit 56 determines the determination reference time corresponding to the specified musical instrument May be set. Furthermore, the judgment reference time may be adjusted based on the pitch of the reference pitch for each musical instrument.
  • a range adjustment table representing the relationship between the reference pitch and the allowable pitch range is prepared for a plurality of musical instruments.
  • the range adjustment unit 57 adjusts the allowable pitch range of each reference pitch based on the designated range adjustment table of the musical instrument.
  • 5A to 5C are diagrams for explaining adjustment examples of the allowable pitch range.
  • 5A to 5C show examples of the allowable pitch range R10 set for the reference pitch C10.
  • the upper limit (upper limit pitch) of the allowable pitch range R10 is H10
  • the lower limit (lower limit pitch) of the allowable pitch range R10 is L10.
  • the difference between the upper limit H10 and the reference pitch C10 (hereinafter referred to as upper difference) HC is the difference between the reference pitch C10 and the lower limit L10 (hereinafter referred to as lower difference) LC.
  • upper difference and the lower difference are adjusted to be equal to each other for the reference pitch, as in the example of FIG. 5A.
  • the upper difference HC is larger than the lower difference LC.
  • the upper difference is adjusted larger than the lower difference for the reference pitch, as in the example of FIG. 5B.
  • the lower difference LC is larger than the upper difference HC.
  • the lower difference is adjusted to be larger than the upper difference for the reference pitch, as in the example of FIG. 5B.
  • the user's fingering can be performed even if the user's pitch deviates from the reference pitch of the reference pitch due to the characteristics of the instrument played by the user. Is correct, the user's pitch does not easily fall out of the allowable pitch range. Thereby, the arrival time point for each reference pitch can be appropriately acquired, and the delay time can be appropriately detected. As a result, the reliability of the lost judgment is enhanced.
  • FIG. 6 is a diagram for explaining an example of calculation of the degree of confusion.
  • the horizontal axis represents the delay time for one reference pitch
  • the vertical axis represents the degree of strayness.
  • the degree of strayness reference times TBa and TBb are set.
  • the degree of confusion reference time TBa is shorter than the degree of confusion reference time TBb.
  • One of the degree of reference time TBa and the degree of reference time TBb may be equal to the determination reference time.
  • the longer the delay time the greater the degree of confusion.
  • the stray degree is "0".
  • the delay time is greater than or equal to the stray level reference time TBa and less than or equal to the stray level reference time TBb, the stray level is calculated such that the stray level linearly increases as the delay time increases.
  • the delay time is longer than the stray level reference time TBb, the stray level is "100".
  • the stray degree reference times TBa and TBb may be different depending on the note time. For example, as the note time is shorter, the stray degree reference times TBa and TBb may be shorter. In this case, even if the delay time is the same, the shorter the note time, the higher the degree of strayiness.
  • the delay time may tend to be long in a predetermined pitch range. Therefore, the stray degree reference times TBa and TBb may be different depending on the reference pitch. For example, the lower the reference pitch, the longer the stray level reference times TBa and TBb may be. Furthermore, different reference times TBa and TBb may be set for each musical instrument.
  • the overall degree of strayness representing the degree of strayness of the performance in the entire reference music may be calculated using the following equation (1) or the following equation (2).
  • D1 is the number of all reference pitches in the reference song.
  • D2 is the number of reference pitches that are determined to be lost in performance among all reference pitches in the reference music.
  • D3 is the cumulative value of the degree of strayiness calculated for all reference pitches.
  • the degree of strayness for each reference pitch is determined, for example, as in the example of FIG. If the degree of strayness is 100 for all reference pitches, the total degree of strayness is 100.
  • the performance evaluation unit 62 of FIG. 1 may calculate a performance evaluation value representing the evaluation of the performance for each reference pitch based on the obtained difference between the user pitch and the reference pitch and the delay time. .
  • a pitch evaluation value representing the degree of coincidence between the user's pitch and the reference pitch is calculated for each reference pitch, and a performance evaluation value is calculated by multiplying the pitch evaluation value by a coefficient according to the delay time. It may be calculated.
  • the coefficient is, for example, 0 or more and 1 or less, and is set smaller as the delay time is longer. Thus, the longer the delay time, the lower the performance evaluation value.
  • the performance evaluation value calculated in this manner is a value that depends on both the play and the pitch accuracy. Therefore, the performance evaluation value can more accurately evaluate the skill of the user's performance.
  • FIG. 7 is a view showing a presentation example by the presentation unit 60 of FIG.
  • FIG. 7 shows a reference pitch display screen RD representing a change in reference pitch during reference music.
  • the reference pitch display screen RD is displayed, for example, by the display unit 6 of FIG.
  • the reference pitch display screen RD may be displayed by a display device provided as an external device.
  • the reference pitch display screen RD is a so-called piano roll screen, and the horizontal axis represents time during music, and the vertical axis represents pitch.
  • the reference pitch display screen RD includes a plurality of pitch indicators PD and a current position line PL.
  • the plurality of pitch indicators PD respectively correspond to the reference pitches in the reference music.
  • the position and length of each pitch indicator PD in the horizontal direction indicate the position and note time of the corresponding reference pitch, and the position of each pitch indicator PD in the vertical direction indicates the height of the corresponding reference pitch Represents
  • the current position line PL represents the current position in the reference song.
  • the plurality of pitch music indicators PD sequentially pass the current position line PL.
  • the note start time of the reference pitch corresponding to the pitch indicator PD comes, and the right end of each pitch indicator PD
  • the note end point of the reference pitch corresponding to the pitch indicator PD comes.
  • Each pitch indicator PD is colored differently before and after the user's pitch reaches the allowable pitch range of the corresponding reference pitch.
  • the portion of the pitch indicator PD after the user's pitch has reached the allowable pitch range is hatched. This allows the user to visually recognize the delay time for each reference pitch.
  • the stray mark DM is displayed at a position adjacent to the pitch indicator PD corresponding to the target reference pitch.
  • Ru In the example of FIG. 7, “?” Is displayed as the stray mark DM on the pitch indicator PD corresponding to the reference pitch determined to be straying in the performance.
  • the display timing is, for example, a point in time when the user's pitch reaches the allowable pitch range of the target reference pitch (reaching point) or a note end time of the target reference pitch.
  • a string representing the determination result may be displayed.
  • a character string such as “OK” may be displayed at a position adjacent to the pitch indicator PD corresponding to the target reference pitch.
  • the degree of strayiness calculated for each reference pitch may be displayed on the reference pitch display screen RD.
  • the degree of strayiness calculated for the corresponding reference pitch may be displayed at a position adjacent to each pitch indicator PD.
  • the accumulated value of the degree of confusion at the present time may be displayed on the reference pitch display screen RD, and the accumulated value of the degree of confusion or the total degree of confusion is displayed on the reference pitch display screen RD when the reference song ends. It is also good.
  • FIG. 8 is a flowchart showing an example of evaluation processing by each functional unit in FIG.
  • the evaluation process of FIG. 8 is performed by the CPU 11 of FIG. 1 executing an evaluation program stored in the ROM 10 or the storage device 13.
  • the reference tone pitch acquisition unit 52 receives specification of reference music data (step S1).
  • the reference pitch acquiring unit 52 determines whether or not the start of the reference music is instructed (step S2). For example, when the operation unit 4 includes a start button and the user operates the start button, the start of the reference music is instructed.
  • the reference pitch acquiring unit 52 repeats step S2 until the start of the reference song is instructed.
  • the reference tone pitch acquiring unit 52 starts counting by the timer 12 of FIG. 1 (step S3). As a result, the current position in the reference music advances at a preset tempo.
  • the accompaniment control unit 63 starts output of the accompaniment sound from the sound output unit 8 based on the accompaniment data included in the designated reference music data (step S4).
  • the reference pitch acquiring unit 52 starts acquiring reference pitches from the performance data included in the designated reference music data (step S5).
  • the pitch acquiring unit 51 starts acquiring the user's pitch from the input user sound data (step S6).
  • step S7 the delay time detection unit 54 and the determination unit 56 shown in FIG. 2 perform a strays determination process.
  • the wandering determination process the presence or absence of wandering of the performance is determined for each reference pitch, and the wandering degree is calculated. The details of the misplacement determination process will be described later.
  • the presenting unit 60 determines whether or not it is determined that the performance is lost for the reference pitch corresponding to the current position in the reference music in the stray determination processing in step S7 (step S8). If it is determined that there is a loss, the presentation unit 60 presents that the performance is lost (step S9). For example, as in the example of FIG.
  • the presentation unit 60 displays the stray mark DM on the reference pitch display screen RD. Also, in addition to or instead of the stray mark DM, the degree of strayiness calculated in the strayness determination process may be displayed. If it is determined that there is no doubt, step S9 is skipped.
  • the reference pitch acquiring unit 52 determines whether to stop the progression of the reference music (step S10). For example, when the operation unit 4 includes a stop button, and the user operates the stop button, the reference pitch acquiring unit 52 determines that the progress of the reference music should be stopped. Alternatively, when the current position in the reference music reaches the end position of the reference music, the reference pitch acquiring unit 52 determines that the progression of the reference music should be stopped.
  • the reference pitch acquiring unit 52 stops acquiring the reference pitch (step S11), and the accompaniment control unit 63 performs the mute processing so that the output of the accompaniment sound is stopped. (Step S12).
  • the degree-of-stray calculating unit 58 calculates the cumulative value of the degree of straying obtained in the process of determining the degree of straying in step S7, and displays the calculated cumulative value on the screen of the display unit 6 of FIG. 1 (step S13). Instead of the accumulated value of the degree of strayness, the overall degree of strayness represented by the above equation (1) or the above equation (2) may be displayed. Thus, the evaluation process ends.
  • FIG. 9 is a flow chart showing an example of the process of determination of lost in step S7.
  • the processes of steps S7 to S10 in FIG. 8 are repeated at a predetermined constant cycle (hereinafter, referred to as a stray judgment cycle). Therefore, the stray judgment process of FIG. 9 is performed at a stray judgment cycle.
  • the stray judgment period matches, for example, the sampling period of the user's pitch.
  • the note state value represents the state of the reference pitch at the current position in the reference song.
  • the note state is set when the note state value is set to "1" when any reference pitch is located at the current position in the reference music, and when any reference pitch is not located at the current position in the reference music.
  • the value is set to "0".
  • the stray state value indicates whether or not the user's pitch has reached the allowable pitch range, and represents the count value corresponding to the delay time when the user's pitch has reached the allowable pitch range. .
  • the stray state value is set to “ ⁇ 1”, and if the user's pitch has reached the allowable pitch range, the stray state value is the delay time It is set to the corresponding count value.
  • the delay count value and the note count value represent count values corresponding to the elapsed time from the note start time of the reference pitch.
  • the delay time is calculated based on the delay count value, and the note time is calculated based on the note count value.
  • the latest delay time represents the delay time for the preceding reference pitch.
  • the delay time detection unit 54 determines whether or not the current position in the reference music is the note end time of any reference pitch (step S21). If the current position in the reference music is not the note end time, the delay time detection unit 54 determines whether the note state value is "1" (step S22). When the current position is between the note start position and the note end position of any reference pitch, the note state value is "1". When no reference pitch is located at the current position, the note state value is "0".
  • the delay time detection unit 54 determines whether the current position in the reference music is the note start time of any reference pitch. It is determined (step S23).
  • the delay time detection unit 24 performs the note start setting (step S24). Specifically, the delay time detection unit 24 rewrites the note state value from “0” to “1”, resets the stray state value to “ ⁇ 1”, and the delay count value, the note count value, and the latest delay time Reset each to "0".
  • step S23 when the current position in the reference music is not the note start time, the delay time detection unit 24 maintains the note state value at "0", and ends the process.
  • step S22 when the note state value is "1", the delay time detection unit 54 determines whether the stray state value is "0 or more" (step S25). If the user's pitch has already reached the allowable pitch range of the reference pitch corresponding to the current position, the stray state value is “0 or more”. On the other hand, when the user's pitch has not reached the allowable pitch range of the reference pitch corresponding to the current position, the stray state value is "-1".
  • the delay time detection unit 54 determines whether the user's pitch has reached the allowable pitch range (step S26). If the user's pitch has not reached the allowable pitch range, the delay time detection unit 54 adds 1 to the delay count value (step S27). In this case, 1 is added to the delay count value in the process of determining whether or not the user's pitch has reached the allowable pitch range. In other words, the delay count value is increased by one at the time of the determination of the lost state. Subsequently, the delay time detection unit 54 adds 1 to the note count value (step S28), and ends the process.
  • 1 is added to the note count value in the process of determining whether or not the current position has reached the end point of the note of the reference pitch in step S21.
  • the note count value is increased by one at the time of the determination of the stray.
  • step S26 when the user's pitch reaches the allowable pitch range, the delay time detection unit 54 sets the stray state value to the delay count value at that time (step S29). Subsequently, the delay time detection unit 54 calculates the delay time based on the stray state value set in step S29, and updates the latest delay time to the calculated value (step S30). Specifically, the delay time can be calculated by multiplying the stray judgment period by the stray state value. Thereafter, the delay time detection unit 54 proceeds to step S28 and adds 1 to the note count value.
  • step S25 when the stray state value is “0 or more”, the delay time has already been calculated. In that case, the delay time detection unit 54 proceeds to step S28 and adds 1 to the note count value.
  • step S21 when the current position in the reference music is the note end time, the delay time detection unit 54 rewrites the note state value from "1" to "0" (step S31).
  • step S32 determines whether the stray state value is “0 or more” (step S32). The stray state value is “0 or more” when the user's pitch reaches the allowable pitch range for the reference pitch immediately before. On the other hand, when the user's pitch does not reach the allowable pitch range or when the user's pitch is not acquired (when the user's sound is not input), the stray state value is “ ⁇ 1”.
  • step S33 If the stray state value is not “0 or more”, that is, if the stray state value is “ ⁇ 1”, the determination unit 56 determines that the performance of the immediately preceding reference pitch is not lost (step S33), and the process is performed. Finish.
  • step S32 if the stray state value is “0 or more”, the determination unit 56 determines whether the latest delay time (the delay time calculated in step S30 for the immediately preceding reference pitch) is longer than the determination reference time Is determined (step S34). If the latest delay time is longer than the determination reference time, the determination unit 56 determines that the performance is lost for the immediately preceding reference pitch (step S35).
  • step S36 the degree of strays calculating unit 58 calculates the degree of strays based on the latest delay time with respect to the immediately preceding reference pitch (step S36), and the process is ended.
  • step S34 if the latest delay time is equal to or less than the determination reference time, the determination unit 56 determines that the performance of the reference pitch immediately before is not lost (step S37), and the process proceeds to step S36.
  • the user's pitch is sequentially acquired as the reference music progresses, and the point in time when the user's pitch reaches the allowable pitch range for each reference pitch. Is obtained as the arrival time.
  • the time from the note start time to the arrival time is detected as a delay time for each reference pitch, and the presence or absence of the user's performance is determined for each reference pitch based on the detected delay time.
  • the accompaniment sound of the reference song is output from the sound output unit 8 as the reference song progresses, but the sound output device provided as an external device outputs the reference song An accompaniment sound may be output. Alternatively, the user may be able to switch the presence or absence of the accompaniment sound output.
  • the display unit 6 displays the result of the stray judgment
  • the result of the stray judgment may be presented in other manners.
  • a presentation lamp may be provided that presents the result of the determination of lost.
  • the determination result can be presented by controlling the color of the light emitted by the presentation lamp or the blink rate of the light.
  • a determination robot including a motor and a compressor may be used. In that case, the determination result can be presented by controlling the operation of the determination robot.
  • the determination result may be printed on a sheet, and the determination result may be transmitted to an external device such as a server via a local area network or a communication network.
  • the determination result may be presented by voice output from the sound output unit 8 or an external device.
  • at least one of the degree of strayness, the degree of total strayness and the performance evaluation value may be presented by light, voice, operation of a robot, transmission to an external device, printing, or the like.
  • each functional unit in FIG. 2 is realized by hardware such as the CPU 11 and software such as an evaluation program, but these functional units may be realized by hardware such as an electronic circuit.
  • the evaluation device 100 may be applied to an electronic musical instrument such as an electronic keyboard instrument, and may be applied to another electronic device such as a personal computer, a smartphone or a tablet terminal.
  • an electronic musical instrument such as an electronic keyboard instrument
  • another electronic device such as a personal computer, a smartphone or a tablet terminal.

Abstract

音高取得部は、参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得する。遅延時間検出部は、取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、ノート開始時点から到達時点までの時間を遅延時間として検出する。判定部は、検出された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定する。

Description

評価装置、評価方法および評価プログラム
　本発明は、ユーザの演奏を評価する評価装置、評価方法および評価プログラムに関する。
　ユーザによる歌唱または楽器演奏の巧拙を評価する評価装置がある。特許文献１には、歌唱音声の採点を行うカラオケ装置が記載される。このカラオケ装置では、歌唱旋律を表すリファレンスデータにローパスフィルタ処理が施され、処理後のリファレンスデータから抽出されるリファレンス周波数と、入力された歌唱音声信号から検出される歌唱周波数とが比較されることにより、歌唱音声が採点される。
特開２００５－１０７３２８号公報
　楽器演奏においては、曲の進行に合わせて運指を行う必要がある。ユーザの演奏技術が未熟である場合、あるいは熟練者であっても不慣れな曲を演奏する場合には、運指に迷いが生じることにより、所望の音高を適切なタイミングで発生することができないことがある。上記特許文献１のカラオケ装置では、音高の比較によって採点が行われるので、このような演奏の迷いが採点に反映されにくい。演奏の巧拙を適切に評価するためには、このような演奏の迷いについて適切に評価することが求められる。
　本発明の目的は、演奏の巧拙を適切に評価することが可能な評価装置、評価方法および評価プログラムを提供することである。
　本発明の一局面に従う評価装置は、参照音高の変化を含む参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得する音高取得部と、取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、参照音高のノート開始時点から到達時点までの時間を遅延時間として検出する遅延時間検出部と、検出された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定する判定部とを備える。
　判定部は、いずれかの参照音高のノート開始時点からノート終了時点までの時間が予め定められた下限時間よりも短い場合、当該参照音高についてユーザの演奏の迷いの有無を判定しなくてもよい。参照音高毎に判定基準時間が定められ、判定部は、遅延時間が判定基準時間よりも長い場合、ユーザの演奏に迷いがあると判定してもよい。判定部は、各参照音高のノート開始時点からノート終了時点までの時間に基づいて判定基準時間を調整してもよい。判定部は、各参照音高の高低に基づいて判定基準時間を調整してもよい。
　評価装置は、遅延時間に基づいて、ユーザの演奏の迷いの程度を表す迷い度を算出する算出部をさらに備えてもよい。評価装置は、参照曲の伴奏音を出力する音出力部をさらに備えてもよい。
　評価装置は、各参照音高の高低に基づいて許容音高範囲を調整する範囲調整部をさらに備えてもよい。評価装置は、取得されたユーザ音高と参照音高との差および遅延時間に基づいて、参照音高毎に演奏の評価を表す演奏評価値を算出する演奏評価部をさらに備えてもよい。評価装置は、判定部による判定結果を提示する提示部をさらに備えてもよい。提示部は、参照音高の変化を表示するとともに参照音高毎に判定結果を表示してもよい。
　本発明の他の局面に従う評価方法は、参照音高の変化を含む参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得するステップと、取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、ノート開始時点から到達時点までの時間を遅延時間として検出するステップと、取得された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定するステップとを含む。
　本発明のさらに他の局面に従う評価プログラムは、参照音高の変化を含む参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得するステップと、取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、ノート開始時点から到達時点までの時間を遅延時間として検出するステップと、取得された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定するステップとを、コンピュータに実行させるためのものである。
　本発明によれば、演奏の巧拙を適切に評価することができる。
図１は本発明の実施の形態に係る評価装置の構成を示すブロック図である。 図２は図１の評価装置の機能的な構成を示すブロック図である。 図３は迷い判定の一例について説明するための図である。 図４は迷い判定の他の例について説明するための図である。 図５Ａは許容音高範囲の調整例について説明するための図である。 図５Ｂは許容音高範囲の調整例について説明するための図である。 図５Ｃは許容音高範囲の調整例について説明するための図である。 図６は迷い度の算出例について説明するための図である。 図７は図６の提示部による提示例を示す図である。 図８は図２の各機能部による評価処理の一例を示すフローチャートである。 図９は迷い判定処理の一例を示すフローチャートである。
　以下、本発明の実施の形態に係る評価装置、評価方法および評価プログラムについて図面を用いて詳細に説明する。
　［１］評価装置の構成
　図１は本発明の実施の形態に係る評価装置の構成を示すブロック図である。図１の評価装置１００は、音入力部１、操作部４および表示部６を備える。音入力部１、操作部４および表示部６は、バス１９に接続される。音入力部１は、マイクロフォン、増幅器およびアナログデジタル（Ａ／Ｄ）変換回路等を含み、ユーザにより発生される音（以下、ユーザ音）をユーザ音データとして後述のＣＰＵ１１に入力する。ユーザ音は、例えば、ユーザが楽器を奏することによって発生される音である。
　操作部４は、オンオフ操作されるスイッチ、回転操作されるロータリエンコーダ、またはスライド操作されるリニアエンコーダ等を含み、音量の調整、電源のオンオフおよび各種設定を行うために用いられる。表示部６は、例えば液晶ディスプレイを含み、演奏または設定等に関する各種情報を表示する。操作部４および表示部６の少なくとも一部がタッチパネルディスプレイにより構成されてもよい。
　評価装置１００は、ＲＡＭ（ランダムアクセスメモリ）９、ＲＯＭ（リードオンリメモリ）１０、ＣＰＵ（中央演算処理装置）１１、タイマ１２および記憶装置１３をさらに備える。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１および記憶装置１３はバス１９に接続され、タイマ１２はＣＰＵ１１に接続される。外部記憶装置１５等の外部機器が通信Ｉ／Ｆ（インタフェース）１４を介してバス１９に接続されてもよい。ＲＡＭ９、ＲＯＭ１０、ＣＰＵ１１およびタイマ１２がコンピュータを構成する。
　ＲＡＭ９は、例えば揮発性メモリからなり、ＣＰＵ１１の作業領域として用いられるとともに、各種データを一時的に記憶する。ＲＯＭ１０は、例えば不揮発性メモリからなり、制御プログラム、評価プログラム等のコンピュータプログラムを記憶する。ＣＰＵ１１は、ＲＯＭ１０に記憶された評価プログラムをＲＡＭ９上で実行することにより後述する評価処理を行う。タイマ１２は、現在時刻等の時間情報をＣＰＵ１１に与える。
　記憶装置１３は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、１または複数の参照曲に対応する１または複数の参照曲データを記憶する。参照曲データは、演奏データおよび伴奏データを含む。演奏データは、例えばＭＩＤＩ（Musical Instrument Digital Interface）データからなり、ユーザが演奏すべきパートである演奏パートの音高（以下、参照音高と呼ぶ。）の変化を示す。演奏データは、各参照音高のノート開始時点およびノート終了時点を含む。ノート開始時点は、参照曲中においてその参照音高の演奏が開始されるべき時間位置を表し、ノート終了時点は参照曲中においてその参照音高の演奏が終了されるべき時間位置を表す。以下、各参照音高のノート開始時点からノート終了時点までの時間をノート時間と呼ぶ。伴奏データは、演奏パート以外のパートである伴奏パートの音（以下、伴奏音と呼ぶ。）を表すデータであり、オーディオデータであってもよく、またはＭＩＤＩデータであってもよい。
　外部記憶装置１５は、記憶装置１３と同様に、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、参照曲データおよび評価プログラムうち少なくとも一方を記憶してもよい。
　本実施の形態における評価プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ＲＯＭ１０または記憶装置１３にインストールされてもよい。また、通信Ｉ／Ｆ１４が通信網に接続されている場合、通信網に接続されたサーバから配信された評価プログラムがＲＯＭ１０または記憶装置１３にインストールされてもよい。同様に、参照曲データが、記憶媒体から取得されてもよく、通信網に接続されたサーバから取得されてもよい。
　評価装置１００は、音出力部８をさらに備える。音出力部８は、音源１６およびサウンドシステム１８を含む。音源１６はバス１９に接続され、サウンドシステム１８は音源１６に接続される。音源１６は、伴奏音を表す楽音信号を生成する。サウンドシステム１８は、デジタルアナログ（Ｄ／Ａ）変換回路、増幅器およびスピーカを含む。サウンドシステム１８は、音源１６から与えられる楽音信号をアナログ音信号に変換し、アナログ音信号に基づく音を発生する。それにより、伴奏音が出力される。
　［２］評価装置の機能的な構成
　図２は図１の評価装置１００の機能的な構成を示すブロック図である。図２に示すように、評価装置１００は、音高取得部５１、参照音高取得部５２、遅延時間検出部５４、判定部５６、範囲調整部５７、迷い度算出部５８、提示部６０、演奏評価部６２および伴奏制御部６３を含む。音高取得部５１、参照音高取得部５２、遅延時間検出部５４、判定部５６、範囲調整部５７、迷い度算出部５８、提示部６０、演奏評価部６２および伴奏制御部６３の機能は、図１のＣＰＵ１１が評価プログラムを実行することにより実現される。
　音高取得部５１は、参照曲の進行に合わせてユーザにより発生された音高をユーザ音高として順次取得する。具体的には、音高取得部５１は、図１の音入力部１により入力されるユーザ音データからユーザ音の周波数を一定のサンプリング周期で検出し、検出した周波数に対応する音高をユーザ音高として取得する。ユーザ音高は、例えばセント（ｃｅｎｔ）で表される。
　参照音高取得部５２は、記憶装置１３に記憶される参照曲データから参照音高を順次取得する。例えば、ユーザが、参照曲データを指定し、曲の開始指示を与えると、参照音高取得部５２は、参照曲データの指定を受け付け、参照曲に対する計時を開始する。参照音高取得部５２による計時に基づいて、参照曲中の現在位置が特定される。現在位置とは、現時点で演奏または再生されるべき参照曲の部分をいう。参照音高取得部５２は、進行中（再生中）の参照曲における現在位置が、演奏データにより示されるノート開始時点に到達すると、そのノート開始時点に対応する参照音高を取得する。
　本例においては、参照音高毎に許容音高範囲が定められる。許容音高範囲は、対応する参照音高を含む音高の範囲である。遅延時間検出部５４は、図１のタイマ１２からの時間情報に基づいて、ユーザ音高が各参照音高の許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、参照音高のノート開始時点から到達時点までの時間を遅延時間として検出する。ユーザ音高が、参照音高の許容音高範囲に到達すると、ユーザによってその参照音高の音が発生されたとみなされる。
　遅延時間検出部５４は、例えば、直近に取得された一定数のユーザ音高のサンプルの平均値が許容音高範囲内である場合、または直近に取得された一定数のユーザ音高のサンプルの中央値が許容音高範囲内である場合に、ユーザ音高が許容音高範囲に到達したと判定する。あるいは、遅延時間検出部５４は、直近に取得された一定数のユーザ音高のサンプルの全ての値が許容音高範囲内である場合に、ユーザ音高が許容音高範囲に到達したと判定してもよい。
　判定部５６は、検出された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定する。具体的には、判定部５６は、検出された遅延時間が予め定められた判定基準時間よりも長い場合、該当の参照音高について、ユーザの演奏に迷いがあると判定する。判定基準時間は、実時間で表されてもよく、拍数またはティックで表されてよい。以下、判定部５６による迷いの有無の判定を迷い判定と呼ぶ。迷い判定の詳細については後述する。
　範囲調整部５７は、各参照音高の高低に基づいて許容音高範囲を調整する。迷い度算出部５８は、遅延時間に基づいて、ユーザの演奏の迷いの程度を表す迷い度を算出する。許容音高範囲の調整および迷い度の算出方法については後述する。
　提示部６０は、判定部５６による判定結果を提示する。例えば、提示部６０は、図１の表示部６の画面上にユーザの演奏の迷いの有無を表示する。また、提示部６０は、迷い度算出部５８により算出された迷い度を提示してもよい。具体的な提示例については後述する。
　演奏評価部６２は、取得されたユーザ音高と参照音高との差および遅延時間に基づいて、参照音高毎に演奏の評価を表す演奏評価値を算出する。提示部６０が、演奏評価部６２により算出された演奏評価値を提示してもよい。伴奏制御部６３は、記憶装置１３に記憶される参照曲データに基づいて、参照曲の伴奏音の出力を制御する。具体的には、指定された参照曲データから伴奏データを取得し、その伴奏データに基づいて図１の音出力部８を制御することにより、伴奏音を出力する。
　［３］迷い判定
　図３は、迷い判定の一例について説明するための図である。図３において、横軸は曲中の時間を表し、縦軸は音高を表す。図３には、参照音高Ｃ１，Ｃ２，Ｃ３がそれぞれ示されるとともに、参照音高Ｃ１，Ｃ２，Ｃ３の許容音高範囲Ｒ１，Ｒ２，Ｒ３がそれぞれ示される。また、ユーザ音高ＰＵの変化が一点鎖線で示される。
　時点ｔ１が、参照音高Ｃ１のノート開始時点である。時点ｔ２が、参照音高Ｃ１のノート終了時点でありかつ参照音高Ｃ２のノート開始時点である。時点ｔ３が、参照音高Ｃ２のノート終了時点でありかつ参照音高Ｃ３のノート開始時点である。
　本例では、時点ｔ１より後の時点ｔ１ａにおいて、ユーザ音の発生が開始され、ユーザ音高ＰＵが取得される。時点１ａでのユーザ音高ＰＵは、許容音高範囲Ｒ１内にある。この場合、参照音高Ｃ１における到達時点は、時点ｔ１ａであり、参照音高Ｃ１における遅延時間は、時点ｔ１から時点ｔ１ａまでの時間Ｔ１である。
　次に、時点ｔ２より後の時点ｔ２ａにおいて、ユーザ音高ＰＵが許容音高範囲Ｒ２に到達する。この場合、参照音高Ｃ２における到達時点は、時点ｔ２ａであり、参照音高Ｃ２における遅延時間は、時点ｔ２から時点ｔ２ａまでの時間Ｔ２である。続いて、時点ｔ３より後の時点ｔ３ａにおいて、ユーザ音高ＰＵが許容音高範囲Ｒ３に到達する。この場合、参照音高Ｃ３における到達時点は、時点ｔ３ａであり、参照音高Ｃ３における遅延時間は、時点ｔ３から時点ｔ３ａまでの時間Ｔ３である。
　本例では、各参照音高に対して、一定の判定基準時間ＴＡ（例えば、２００ｍｓｅｃ）が設定される。遅延時間が判定基準時間ＴＡよりも長い場合、該当の参照音高について、ユーザの演奏に迷いがあると判定される。具体的には、参照音高Ｃ１における遅延時間Ｔ１および参照音高Ｃ３における遅延時間Ｔ３は、判定基準時間ＴＡよりも長い。そのため、参照音高Ｃ１，Ｃ３については、ユーザの演奏に迷いがあると判定される。一方、参照音高Ｃ２における遅延時間Ｔ２は、判定基準時間ＴＡ以下である。そのため、参照音高Ｃ２については、ユーザの演奏に迷いがないと判定される。
　図４は、迷い判定の他の例について説明するための図である。図４の例について、図３の例と異なる点を説明する。図４には、参照音高Ｃ４，Ｃ５，Ｃ６がそれぞれ示されるとともに、参照音高Ｃ４，Ｃ５，Ｃ６の許容音高範囲Ｒ４，Ｒ５，Ｒ６がそれぞれ示される。
　時点ｔ４が、参照音高Ｃ４のノート開始時点である。時点ｔ５が、参照音高Ｃ４のノート終了時点でありかつ参照音高Ｃ５のノート開始時点である。時点ｔ６が、参照音高Ｃ５のノート終了時点でありかつ参照音高Ｃ６のノート開始時点である。時点ｔ７が、参照音高Ｃ６のノート終了時点である。
　本例では、参照音高のノート開始時点からノート終了時点までの時間（ノート時間）が予め定められた下限時間ＬＴよりも短い場合、その参照音高について、迷い判定が行われない。具体的には、参照音高Ｃ４のノート時間Ｎ４および参照音高Ｃ６のノート時間Ｎ６は、下限時間ＬＴ以上である。それにより、参照音高Ｃ４，Ｃ６については、図３の例と同様に、迷い判定が行われる。この場合、参照音高Ｃ４，Ｃ６における遅延時間Ｔ４，Ｔ６は、判定基準時間ＴＡより長いので、参照音高Ｃ４，Ｃ６については、ユーザの演奏に迷いがあると判定される。一方、参照音高Ｃ５のノート時間Ｎ５は、下限時間ＬＴよりも短い。そのため、参照音高Ｃ５については、迷い判定が行われない。
　参照音高のノート時間が短い場合には、ユーザの演奏に迷いがない場合でも、到達時点がノート開始時点からずれやすい。そのため、遅延時間が、実際の迷いの有無を表していない可能性がある。そこで、参照音高のノート時間が短い場合には迷い判定を行わないことにより、実際には迷いがないにも関わらず迷いがあると判定されることが防止される。それにより、迷い判定の信頼性が高まる。
　参照音高のノート開始時点よりも前にユーザ音高がその参照音高の許容音高範囲に到達した場合には、その参照音高について迷い判定が行われなくてもよい。あるいは、到達時点からその参照音高のノート開始時点までの時間が一定の範囲内であれば、その参照音高について迷いがないと判定されてもよい。また、一の参照音高が他の参照音高の装飾音符に対応する場合、他の参照音高については、ノート開始時点と到達時点とがずれやすい。そのため、当該他の参照音高については、迷い判定が行われなくてもよい。
　図３および図４の例では、各参照音高に対して一定の判定基準時間ＴＡが設定されるが、図２の判定部５６が、各参照音高のノート時間に基づいて判定基準時間を調整してもよい。上記のように、参照音高のノート時間が短い場合には、演奏に迷いがない場合でも、演奏に遅延が生じやすい。ユーザによっては、このような遅延が生じた箇所を正確に把握し、その箇所を集中的に練習したい場合がある。
　そこで、ノート時間が短いほど判定基準時間が短くなるように、判定基準時間が調整されてもよい。例えば、判定基準時間として第１の値とその第１の値よりも短い第２の値とが用意され、ノート時間が一定のしきい値以上である場合には第１の値が選択され、ノート時間が予め定められたしきい値よりも小さい場合には第２の値が選択されてもよい。この場合、遅延時間が同じであっても、ノート時間が短い場合にはノート時間が長い場合に比べて、演奏に迷いがあると判定されやすい。そのため、ユーザは、ノート時間が短く、演奏に遅延が生じやすい箇所を容易に把握することができ、その箇所を集中的に練習することができる。それにより、ユーザの演奏技術を効果的に高めることができる。
　また、楽器の特性により、音高によって音の発生タイミングが遅くなる場合がある。例えば、管楽器では、低音を発生しにくいため、低音の発生タイミングが遅くなりやすい。そのため、参照音高が低い場合、ユーザの演奏に迷いがなくても、遅延時間が長くなりやすく、演奏に迷いがあると判定される可能性がある。そこで、図２の判定部５６は、各参照音高の高低に基づいて、判定基準時間を調整してもよい。具体的には、参照音高が低いほど判定基準時間が長くなるように、判定基準時間が調整されてもよい。例えば、判定基準時間として第３の値とその第３の値よりも長い第４の値とが用意され、参照音高が予め定められたしきい値以上である場合には第３の値が選択され、参照音高がしきい値より低い場合には第４の値が選択されてもよい。この場合、ユーザの演奏に迷いがないにも関わらず、楽器の特性に起因して演奏に迷いがあると判定されることが防止される。
　また、楽器によって音の発生しやすさは異なるので、楽器によって判定基準時間が調整されてもよい。例えば、複数の楽器にそれぞれ対応する複数の判定基準時間が用意され、ユーザが図１の操作部４を操作して楽器を指定すると、判定部５６が、指定された楽器に対応する判定基準時間を設定してもよい。さらには、楽器毎に、参照音高の高低に基づいて判定基準時間が調整されてもよい。
　［４］許容音高範囲の調整
　ユーザが奏する楽器の特性によって、ユーザ音高に一定の傾向が現れることがある。例えば、Ｂ♭管のクラリネットでは、低音側の“Ｆ”および“Ｇ”が、基準の音高（例えば平均律の音高）よりも低くなりやすい。この場合、ユーザの運指が“Ｆ”または“Ｇ”に対応している場合でも、ユーザ音高が“Ｆ”または“Ｇ”の許容音高範囲の下限値よりも低くなり、到達時点を適切に取得することができない可能性がある。そこで、図２の範囲調整部５７は、ユーザが奏する楽器の特性に応じて、各参照音高の許容音高範囲を調整してもよい。例えば、複数の楽器について、参照音高と許容音高範囲との関係を表す範囲調整テーブルが用意される。ユーザが図１の操作部４を操作して楽器を指定すると、範囲調整部５７が、指定された楽器の範囲調整テーブルに基づいて、各参照音高の許容音高範囲を調整する。
　図５Ａ～図５Ｃは、許容音高範囲の調整例について説明するための図である。図５Ａ～図５Ｃには、参照音高Ｃ１０について設定された許容音高範囲Ｒ１０の例が示される。図５Ａ～図５Ｃの例において、許容音高範囲Ｒ１０の上限値（上限の音高）はＨ１０であり、許容音高範囲Ｒ１０の下限値（下限の音高）はＬ１０である。
　図５Ａの例では、上限値Ｈ１０と参照音高Ｃ１０との差分（以下、上差分と呼ぶ。）ＨＣが、参照音高Ｃ１０と下限値Ｌ１０との差分（以下、下差分と呼ぶ。）ＬＣと等しい。例えば、ユーザ音高が参照音高の基準の音高からずれにくい場合、その参照音高については、図５Ａの例のように、上差分と下差分とが互いに等しく調整される。
　図５Ｂの例では、上差分ＨＣが下差分ＬＣよりも大きい。例えば、ユーザ音高が参照音高の基準の音高よりも高くなりやすい場合、その参照音高について、図５Ｂの例のように、上差分が下差分より大きく調整される。図５Ｃの例では、下差分ＬＣが上差分ＨＣよりも大きい。例えば、ユーザ音高が参照音高の基準の音高よりも低くなりやすい場合、その参照音高について、図５Ｂの例のように、下差分が上差分より大きく調整される。
　このようにして、参照音高毎に許容音高範囲が調整されることにより、ユーザが奏する楽器の特性によってユーザ音高が参照音高の基準の音高からずれていても、ユーザの運指が正しい場合には、ユーザ音高が許容音高範囲から外れにくい。それにより、各参照音高についての到達時点を適切に取得することができ、遅延時間を適切に検出することができる。その結果、迷い判定の信頼性が高まる。
　［５］迷い度の算出
　図６は、迷い度の算出例について説明するための図である。図６において、横軸は一の参照音高についての遅延時間を表し、縦軸は迷い度を表す。図６の例では、迷い度基準時間ＴＢａ，ＴＢｂが設定される。迷い度基準時間ＴＢａは、迷い度基準時間ＴＢｂよりも短い。迷い度基準時間ＴＢａおよび迷い度基準時間ＴＢｂの一方が、判定基準時間と等しくてもよい。
　本例では、遅延時間が長いほど、迷い度が大きくなる。具体的には、遅延時間が迷い度基準時間ＴＢａより短い場合、迷い度が“０”となる。遅延時間が迷い度基準時間ＴＢａ以上であって迷い度基準時間ＴＢｂ以下である場合、遅延時間が長くなるにつれて迷い度が線形的に増加するように、迷い度が算出される。遅延時間が迷い度基準時間ＴＢｂより長いと、迷い度が“１００”となる。このようにして迷い度が算出されることにより、ユーザは、参照音高毎の迷いの程度を認識することができる。それにより、ユーザは、演奏技術を効率良く高めることができる。また、参照曲中の全ての参照音高について算出された迷い度を累積することにより、参照曲全体における迷いの程度を評価することができる。
　ノート時間によって迷い度基準時間ＴＢａ，ＴＢｂが異なってもよい。例えば、ノート時間が短いほど迷い度基準時間ＴＢａ，ＴＢｂがそれぞれ短くてもよい。この場合、遅延時間が同じであっても、ノート時間が短いほど迷い度が高くなりやすい。
　また、上記のように、楽器の特性によって、所定の音高範囲で遅延時間が長くなりやすい場合がある。そこで、参照音高によって迷い度基準時間ＴＢａ，ＴＢｂが異なってもよい。例えば、参照音高が低いほど迷い度基準時間ＴＢａ，ＴＢｂがそれぞれ長くてもよい。さらには、楽器毎に異なる基準時間ＴＢａ，ＴＢｂが設定されてもよい。
　また、下式（１）または下式（２）を用いて、参照曲全体における演奏の迷いの程度を表す全体迷い度が算出されてもよい。
　全体迷い度＝（Ｄ２／Ｄ１）×１００　・・・（１）
　全体迷い度＝（Ｄ３／Ｄ１）×１００　・・・（２）
　式（１）において、Ｄ１は、参照曲中の全ての参照音高の数である。Ｄ２は、参照曲中の全ての参照音高のうち、演奏に迷いがあると判定された参照音高の数である。式（１）が用いられる場合、演奏に迷いがあると判定された参照音高の数が多いほど、全体迷い度が高くなる。全ての参照音高について迷いがあると判定された場合、全体迷い度が１００となる。式（２）において、Ｄ３は、全ての参照音高について算出された迷い度の累積値である。式（２）が用いられる場合、全ての参照音高における迷い度の平均値が高いほど、全体迷い度が高くなる。各参照音高についての迷い度は、例えば図６の例のように求められる。全ての参照音高について迷い度が１００である場合、全体迷い度が１００となる。
　さらに、図１の演奏評価部６２が、取得されたユーザ音高と参照音高との差および遅延時間に基づいて、参照音高毎に演奏の評価を表す演奏評価値を算出してもよい。例えば、参照音高毎にユーザ音高と参照音高との一致度を表す音高評価値が算出され、遅延時間に応じた係数が音高評価値に乗算されることにより、演奏評価値が算出されてもよい。係数は、例えば、０以上１以下であり、遅延時間が長いほど小さく設定される。それにより、遅延時間が長いほど演奏評価値が低くなる。
　このようにして算出される演奏評価値は、演奏の迷いおよび音高の正確性の両方に依存する値となる。そのため、演奏評価値により、ユーザの演奏の巧拙をより正確に評価することができる。
　［６］提示例
　図７は、図６の提示部６０による提示例を示す図である。図７には、参照曲中における参照音高の変化を表す参照音高表示画面ＲＤが示される。参照音高表示画面ＲＤは、例えば図１の表示部６により表示される。外部装置として設けられた表示装置により参照音高表示画面ＲＤが表示されてもよい。
　参照音高表示画面ＲＤはいわゆるピアノロール画面であり、横軸が曲中の時間を表し、縦軸が音高を表す。参照音高表示画面ＲＤは、複数の音高表示子ＰＤおよび現在位置ラインＰＬを含む。複数の音高表示子ＰＤは、参照曲中の参照音高にそれぞれ対応する。横方向における各音高表示子ＰＤの位置および長さが、対応する参照音高の位置およびノート時間をそれぞれ表し、縦方向における各音高表示子ＰＤの位置が、対応する参照音高の高低を表す。
　現在位置ラインＰＬは、参照曲中の現在位置を表す。参照曲の進行に伴い、参照音高表示画面ＲＤが左方にスクロールすることにより、複数の音高表示子ＰＤが順次現在位置ラインＰＬを通過する。各音高表示子ＰＤの左端部が現在位置ラインＰＬを通過するときに、その音高表示子ＰＤに対応する参照音高のノート開始時点が到来し、各音高表示子ＰＤの右端部が現在位置ラインＰＬを通過するときに、その音高表示子ＰＤに対応する参照音高のノート終了時点が到来する。
　各音高表示子ＰＤには、対応する参照音高の許容音高範囲にユーザ音高が到達する前と後とで、異なる色が付される。図７においては、ユーザ音高が許容音高範囲に到達した後の音高表示子ＰＤの部分にハッチングが付される。これにより、ユーザは、各参照音高についての遅延時間を視覚的に認識することができる。
　また、遅延時間が判定基準時間より長い場合、すなわち、演奏に迷いがあると判定された場合、対象の参照音高に対応する音高表示子ＰＤと隣り合う位置に、迷いマークＤＭが表示される。図７の例では、演奏に迷いがあると判定された参照音高に対応する音高表示子ＰＤの上に迷いマークＤＭとして“？”が表示される。表示のタイミングは、例えば、ユーザ音高が対象の参照音高の許容音高範囲に到達した時点（到達時点）、あるいは対象の参照音高のノート終了時点である。これにより、ユーザは、参照曲の進行とともにリアルタイムで参照音高毎に演奏に迷いがあったか否かを視覚的に認識することができる。
　迷いマークＤＭの代わりに、または迷いマークＤＭに加えて、判定結果を表す文字列が表示されてもよい。また、演奏に迷いがあることだけでなく、演奏に迷いがないことが提示されてもよい。例えば、演奏に迷いがない場合には、対象の参照音高に対応する音高表示子ＰＤと隣り合う位置に、“ＯＫ”等の文字列が表示されてもよい。また、参照音高毎に算出される迷い度が、参照音高表示画面ＲＤ上に表示されてもよい。例えば、各音高表示子ＰＤと隣り合う位置に、対応する参照音高について算出された迷い度が表示されてもよい。また、現時点での迷い度の累積値が参照音高表示画面ＲＤに表示されてもよく、参照曲の終了時に、迷い度の累積値または全体迷い度が参照音高表示画面ＲＤに表示されてもよい。
　［７］評価処理
　次に、本実施の形態に係る評価方法による評価処理について説明する。図８は、図２の各機能部による評価処理の一例を示すフローチャートである。図８の評価処理は、図１のＣＰＵ１１がＲＯＭ１０または記憶装置１３に記憶された評価プログラムを実行することにより行われる。
　まず、ユーザが、図１の操作部４を操作して参照曲データを指定すると、参照音高取得部５２が、参照曲データの指定を受け付ける（ステップＳ１）。次に、参照音高取得部５２は、参照曲の開始が指示されたか否かを判定する（ステップＳ２）。例えば、操作部４が開始ボタンを含み、ユーザが開始ボタンを操作すると、参照曲の開始が指示される。参照曲の開始が指示されるまで参照音高取得部５２は、ステップＳ２を繰り返す。参照曲の開始が指示されると、参照音高取得部５２は、図１のタイマ１２による計時を開始する（ステップＳ３）。これにより、予め設定されたテンポで参照曲中の現在位置が進行する。
　続いて、伴奏制御部６３が、指定された参照曲データに含まれる伴奏データに基づいて、音出力部８からの伴奏音の出力を開始する（ステップＳ４）。また、参照音高取得部５２が、指定された参照曲データに含まれる演奏データから参照音高の取得を開始する（ステップＳ５）。さらに、音高取得部５１が、入力されるユーザ音データからユーザ音高の取得を開始する（ステップＳ６）。
　続いて、図２の遅延時間検出部５４および判定部５６が、迷い判定処理を行う（ステップＳ７）。迷い判定処理では、各参照音高について、演奏の迷いの有無が判定されるとともに、迷い度が算出される。迷い判定処理の詳細については後述する。続いて、提示部６０が、ステップＳ７の迷い判定処理において、参照曲中の現在位置に対応する参照音高について演奏に迷いがあると判定されたか否かを判定する（ステップＳ８）。迷いがあると判定された場合、提示部６０は、演奏に迷いがあることを提示する（ステップＳ９）。例えば、図７の例のように、提示部６０は、参照音高表示画面ＲＤ上に迷いマークＤＭを表示する。また、迷いマークＤＭに加えて、または迷いマークＤＭの代わりに、迷い判定処理で算出された迷い度が表示されてもよい。迷いがないと判定された場合、ステップＳ９がスキップされる。
　次に、参照音高取得部５２は、参照曲の進行を停止すべきか否かを判定する（ステップＳ１０）。例えば、操作部４が停止ボタンを含み、ユーザが停止ボタンを操作した場合に、参照音高取得部５２は、参照曲の進行を停止すべきであると判定する。あるいは、参照曲中の現在位置が、参照曲の終了位置に達すると、参照音高取得部５２は、参照曲の進行を停止すべきであると判定する。
　参照曲の進行を停止すべき場合、参照音高取得部５２が、参照音高の取得を停止するとともに（ステップＳ１１）、伴奏制御部６３が、伴奏音の出力が停止されるように消音処理を行う（ステップＳ１２）。また、迷い度算出部５８が、ステップＳ７の迷い判定処理において得られる迷い度の累積値を算出し、算出した累積値を図１の表示部６の画面上に表示する（ステップＳ１３）。迷い度の累積値の代わりに、上式（１）または上式（２）で表される全体迷い度が表示されてもよい。これにより、評価処理が終了する。
　図９は、ステップＳ７の迷い判定処理の一例を示すフローチャートである。図８のステップＳ７～Ｓ１０の処理は、予め定められた一定の周期（以下、迷い判定周期と呼ぶ。）で繰り返される。そのため、図９の迷い判定処理は、迷い判定周期で行われる。迷い判定周期は、例えば、ユーザ音高のサンプリング周期と一致する。
　本例では、ノート状態値、迷い状態値、遅延カウント値、ノートカウント値および最新遅延時間が図１のＲＡＭ９に記憶される。ノート状態値は、参照曲中の現在位置における参照音高の状態を表す。参照曲中の現在位置に、いずれかの参照音高が位置するとき、ノート状態値が“１”に設定され、参照曲中の現在位置に、いずれの参照音高も位置しないとき、ノート状態値が“０”に設定される。迷い状態値は、ユーザ音高が許容音高範囲に到達しているか否かを表すとともに、ユーザ音高が許容音高範囲に到達している場合には、遅延時間に対応するカウント値を表す。ユーザ音高が許容音高範囲に到達していない場合、迷い状態値が“－１”に設定され、ユーザ音高が許容音高範囲に到達している場合、迷い状態値は、遅延時間に対応するカウント値に設定される。遅延カウント値およびノートカウント値は、参照音高のノート開始時点からの経過時間に対応するカウント値を表す。遅延カウント値に基づいて遅延時間が算出され、ノートカウント値に基づいてノート時間が算出される。最新遅延時間は、直前の参照音高についての遅延時間を表す。
　図９の例において、遅延時間検出部５４は、参照曲中の現在位置が、いずれかの参照音高のノート終了時点であるか否かを判定する（ステップＳ２１）。参照曲中の現在位置がノート終了時点でない場合、遅延時間検出部５４は、ノート状態値が“１”であるか否かを判定する（ステップＳ２２）。現在位置がいずれかの参照音高のノート開始位置とノート終了位置との間にあるとき、ノート状態値は“１”である。現在位置にいずれの参照音高も位置しないとき、ノート状態値は、“０”である。
　ノート状態値が“１”でない場合、すなわちノート状態値が“０”である場合、遅延時間検出部５４は、参照曲中の現在位置がいずれかの参照音高のノート開始時点であるか否かを判定する（ステップＳ２３）。参照曲中の現在位置がノート開始時点である場合、遅延時間検出部２４は、ノート開始設定を行う（ステップＳ２４）。具体的には、遅延時間検出部２４は、ノート状態値を“０”から“１”に書き換え、迷い状態値を“－１”にリセットし、遅延カウント値、ノートカウント値および最新遅延時間をそれぞれ“０”にリセットする。ステップＳ２３において、参照曲中の現在位置がノート開始時点でない場合、遅延時間検出部２４は、ノート状態値を“０”に維持し、処理を終了する。
　ステップＳ２２において、ノート状態値が“１”である場合、遅延時間検出部５４は、迷い状態値が“０以上”であるか否かを判定する（ステップＳ２５）。ユーザ音高が、現在位置に対応する参照音高の許容音高範囲に既に到達している場合、迷い状態値は“０以上”である。一方、ユーザ音高が、現在位置に対応する参照音高の許容音高範囲に到達していない場合、迷い状態値は“－１”である。
　迷い状態値が“０以上”でない場合、すなわち迷い状態値が“－１”である場合、遅延時間検出部５４は、ユーザ音高が許容音高範囲に到達したか否かを判定する（ステップＳ２６）。ユーザ音高が許容音高範囲に到達していない場合、遅延時間検出部５４は、遅延カウント値に１を加算する（ステップＳ２７）。この場合、ユーザ音高が許容音高範囲に到達するまで、毎回の迷い判定処理で遅延カウント値に１が加算される。すなわち、迷い判定周期で遅延カウント値が１ずつ上昇する。続いて、遅延時間検出部５４は、ノートカウント値に１を加算し（ステップＳ２８）し、処理を終了する。この場合、ステップＳ２１で現在位置が参照音高のノート終了時点に到達するまで、毎回の迷い判定処理でノートカウント値に１が加算される。すなわち、迷い判定周期でノートカウント値が１ずつ上昇する。
　ステップＳ２６において、ユーザ音高が許容音高範囲に到達すると、遅延時間検出部５４は、迷い状態値をその時点での遅延カウント値に設定する（ステップＳ２９）。続いて、遅延時間検出部５４は、ステップＳ２９で設定した迷い状態値に基づいて遅延時間を算出し、最新遅延時間を算出された値に更新する（ステップＳ３０）。具体的には、迷い判定周期に迷い状態値を乗ずることにより遅延時間を算出することができる。その後、遅延時間検出部５４は、ステップＳ２８に進み、ノートカウント値に１を加算する。
　ステップＳ２５において、迷い状態値が“０以上”である場合、遅延時間は既に算出済みである。その場合、遅延時間検出部５４は、ステップＳ２８に進み、ノートカウント値に１を加算する。
　ステップＳ２１において、参照曲中の現在位置がノート終了時点である場合、遅延時間検出部５４は、ノート状態値を“１”から“０”に書き換える（ステップＳ３１）。次に、判定部５６は、迷い状態値が“０以上”であるか否かを判定する（ステップＳ３２）。直前の参照音高について、ユーザ音高が許容音高範囲に到達した場合、迷い状態値は“０以上”である。一方、ユーザ音高が許容音高範囲に到達しなかった場合、あるいはユーザ音高が取得されなかった場合（ユーザ音が入力されなかった場合）、迷い状態値は“－１”である。
　迷い状態値が“０以上”でない場合、すなわち迷い状態値が“－１”である場合、判定部５６は、直前の参照音高について、演奏に迷いがないと判定し（ステップＳ３３）、処理を終了する。ステップＳ３２において、迷い状態値が“０以上”である場合、判定部５６は、最新遅延時間（直前の参照音高についてステップＳ３０で算出された遅延時間）が判定基準時間よりも長いか否かを判定する（ステップＳ３４）。最新遅延時間が判定基準時間よりも長い場合、判定部５６は、直前の参照音高について、演奏に迷いがあると判定する（ステップＳ３５）。次に、迷い度算出部５８が、直前の参照音高について、最新遅延時間に基づいて、迷い度を算出し（ステップＳ３６）、処理を終了する。ステップＳ３４において、最新遅延時間が判定基準時間以下である場合、判定部５６は、直前の参照音高について、演奏に迷いがないと判定し（ステップＳ３７）、ステップＳ３６に進む。
　［６］実施の形態の効果
　本実施の形態に係る評価装置１００においては、参照曲の進行とともにユーザ音高が順次取得され、参照音高毎にユーザ音高が許容音高範囲に到達する時点が到達時点として取得される。また、参照音高毎にノート開始時点から到達時点までの時間が遅延時間として検出され、検出された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無が判定される。これにより、参照曲の進行とともに、リアルタイムで参照音毎に演奏の迷いの有無を判定することができる。それにより、ユーザの演奏の巧拙を適切に評価することができる。また、ユーザは、演奏を行いつつリアルタイムで演奏の迷いの有無を認識することができる。それにより、ユーザは、演奏技術を効率よく高めることができる。
　［７］他の実施の形態
　上記実施の形態では、参照曲の進行に合わせて音出力部８から参照曲の伴奏音が出力されるが、外部装置として設けられた音出力装置により参照曲の伴奏音が出力されてもよい。あるいは、伴奏音の出力の有無をユーザが切替可能であってもよい。
　上記実施の形態では、迷い判定の結果が表示部６により表示されるが、他の態様で迷い判定の結果が提示されてもよい。例えば、迷い判定の結果を提示する提示ランプが設けられてもよい。その場合、提示ランプにより発せられる光の色または光の点滅速度等を制御することにより、判定結果を提示することができる。また、モータおよびコンプレッサー等から構成される判定ロボットが用いられてもよい。その場合、判定ロボットの動作を制御することにより、判定結果を提示することができる。あるいは、判定結果が用紙に印刷されてもよく、判定結果がローカルエリアネットワークまたは通信網を介してサーバ等の外部装置に送信されてもよい。さらに、音出力部８または外部装置から出力される音声によって判定結果が提示されてもよい。同様にして、迷い度、全体迷い度および演奏評価値の少なくとも一つが、光、音声、ロボットの動作、外部装置への送信、印刷等によって提示されてもよい。
　上記実施の形態では、図２の各機能部がＣＰＵ１１等のハードウェアおよび評価プログラム等のソフトウェアにより実現されるが、これらの機能部が電子回路等のハードウェアにより実現されてもよい。
　評価装置１００は、電子鍵盤楽器等の電子楽器に適用されてもよく、パーソナルコンピュータ、スマートフォンまたはタブレット端末等の他の電子機器に適用されてもよい。

Claims (13)

  1. 参照音高の変化を含む参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得する音高取得部と、
    　取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、参照音高のノート開始時点から前記到達時点までの時間を遅延時間として検出する遅延時間検出部と、
    　検出された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定する判定部とを備える、評価装置。
  2. 前記判定部は、いずれかの参照音高のノート開始時点からノート終了時点までの時間が予め定められた下限時間よりも短い場合、当該参照音高についてユーザの演奏の迷いの有無を判定しない、請求項１記載の評価装置。
  3. 参照音高毎に判定基準時間が定められ、
    　前記判定部は、前記遅延時間が前記判定基準時間よりも長い場合、ユーザの演奏に迷いがあると判定する、請求項１または２記載の評価装置。
  4. 前記判定部は、各参照音高のノート開始時点からノート終了時点までの時間に基づいて前記判定基準時間を調整する、請求項３記載の評価装置。
  5. 前記判定部は、各参照音高の高低に基づいて前記判定基準時間を調整する、請求項３または４記載の評価装置。
  6. 前記遅延時間に基づいて、ユーザの演奏の迷いの程度を表す迷い度を算出する算出部をさらに備える、請求項１～５のいずれか一項に記載の評価装置。
  7. 前記参照曲の伴奏音を出力する音出力部をさらに備える、請求項１～６のいずれか一項に記載の評価装置。
  8. 各参照音高の高低に基づいて許容音高範囲を調整する範囲調整部をさらに備える、請求項１～７のいずれか一項に記載の評価装置。
  9. 取得されたユーザ音高と参照音高との差および前記遅延時間に基づいて、参照音高毎に演奏の評価を表す演奏評価値を算出する演奏評価部をさらに備える、請求項１～８のいずれか一項に記載の評価装置。
  10. 前記判定部による判定結果を提示する提示部をさらに備える、請求項１～９のいずれか一項に記載の評価装置。
  11. 前記提示部は、前記参照音高の変化を表示するとともに参照音高毎に前記判定結果を表示する、請求項１０記載の評価装置。
  12. 参照音高の変化を含む参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得するステップと、
    　取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、ノート開始時点から前記到達時点までの時間を遅延時間として検出するステップと、
    　取得された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定するステップとを含む、評価方法。
  13. 参照音高の変化を含む参照曲の進行に合わせてユーザにより発生される音高をユーザ音高として順次取得するステップと、
    　取得されたユーザ音高が参照音高毎に定められた許容音高範囲に到達する時点を到達時点として取得し、参照音高毎に、ノート開始時点から前記到達時点までの時間を遅延時間として検出するステップと、
    　取得された遅延時間に基づいて、参照音高毎にユーザの演奏の迷いの有無を判定するステップとを、
    　コンピュータに実行させるための評価プログラム。
PCT/JP2017/028317 2017-08-03 2017-08-03 評価装置、評価方法および評価プログラム WO2019026260A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/028317 WO2019026260A1 (ja) 2017-08-03 2017-08-03 評価装置、評価方法および評価プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/028317 WO2019026260A1 (ja) 2017-08-03 2017-08-03 評価装置、評価方法および評価プログラム

Publications (1)

Publication Number Publication Date
WO2019026260A1 true WO2019026260A1 (ja) 2019-02-07

Family

ID=65233368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/028317 WO2019026260A1 (ja) 2017-08-03 2017-08-03 評価装置、評価方法および評価プログラム

Country Status (1)

Country Link
WO (1) WO2019026260A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225114A (ja) * 2007-03-13 2008-09-25 Yamaha Corp カラオケ装置、歌唱評価方法およびプログラム
JP2013186215A (ja) * 2012-03-07 2013-09-19 Casio Comput Co Ltd 習熟度判定装置、習熟度判定方法及びプログラム
JP2017049538A (ja) * 2015-09-04 2017-03-09 ブラザー工業株式会社 カラオケ装置、及びカラオケシステム
JP2017090671A (ja) * 2015-11-10 2017-05-25 ヤマハ株式会社 調律推定装置、評価装置およびデータ処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225114A (ja) * 2007-03-13 2008-09-25 Yamaha Corp カラオケ装置、歌唱評価方法およびプログラム
JP2013186215A (ja) * 2012-03-07 2013-09-19 Casio Comput Co Ltd 習熟度判定装置、習熟度判定方法及びプログラム
JP2017049538A (ja) * 2015-09-04 2017-03-09 ブラザー工業株式会社 カラオケ装置、及びカラオケシステム
JP2017090671A (ja) * 2015-11-10 2017-05-25 ヤマハ株式会社 調律推定装置、評価装置およびデータ処理装置

Similar Documents

Publication Publication Date Title
US10283099B2 (en) Vocal processing with accompaniment music input
JP4672613B2 (ja) テンポ検出装置及びテンポ検出用コンピュータプログラム
US8290769B2 (en) Vocal and instrumental audio effects
JP4767691B2 (ja) テンポ検出装置、コード名検出装置及びプログラム
US8723011B2 (en) Musical sound generation instrument and computer readable medium
JP4916947B2 (ja) リズム検出装置及びリズム検出用コンピュータ・プログラム
US8859872B2 (en) Method for giving feedback on a musical performance
JP5229998B2 (ja) コード名検出装置及びコード名検出用プログラム
GB2422755A (en) Audio signal processing
WO2017090720A1 (ja) 技法判定装置及び記録媒体
CN111656434B (zh) 音响参数调整装置、音响参数调整方法及记录介质
JP2005107328A (ja) カラオケ装置
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP6583320B2 (ja) 自動伴奏装置、自動伴奏プログラムおよび伴奏データ生成方法
JP6701864B2 (ja) 音評価装置および音評価方法
WO2019026260A1 (ja) 評価装置、評価方法および評価プログラム
JP2007334202A (ja) カラオケ装置
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP2003015672A (ja) 声域告知機能付きカラオケ装置
JP2014164131A (ja) 音響合成装置
JP2001155031A (ja) 曲検索システムの入力データ処理方法及びデータ入力装置
JP4240099B2 (ja) 電子楽器および電子楽器制御用プログラム
JP5807754B2 (ja) 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP2019028407A (ja) ハーモニー教習装置、ハーモニー教習方法およびハーモニー教習プログラム
JP2010032809A (ja) 自動演奏装置及び自動演奏用コンピュータ・プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17919687

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17919687

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP