WO2019180830A1 - 歌唱評価方法及び装置、プログラム - Google Patents

歌唱評価方法及び装置、プログラム Download PDF

Info

Publication number
WO2019180830A1
WO2019180830A1 PCT/JP2018/011109 JP2018011109W WO2019180830A1 WO 2019180830 A1 WO2019180830 A1 WO 2019180830A1 JP 2018011109 W JP2018011109 W JP 2018011109W WO 2019180830 A1 WO2019180830 A1 WO 2019180830A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
pitch
singing
correction value
performance
Prior art date
Application number
PCT/JP2018/011109
Other languages
English (en)
French (fr)
Inventor
松本　秀一
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to PCT/JP2018/011109 priority Critical patent/WO2019180830A1/ja
Publication of WO2019180830A1 publication Critical patent/WO2019180830A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Definitions

  • the present invention relates to a singing evaluation method, apparatus, and program for evaluating singing by guidance using a musical instrument.
  • Patent Document 1 determines the tuning state of a guitar string when playing an open string performance part in an instrument karaoke with TAB score data.
  • Patent Document 2 determines a pitch error between a tuning target sound input with a microphone and a reference sound, and displays a determination result.
  • an instrument such as a piano is used for singing guidance such as accompaniment to perform chorus.
  • an instrument such as a piano
  • the frequency of the center C in a general tuning is set to 440 Hz, but is not limited to 440 Hz.
  • the desired tuning pitch may be shifted up and down in the high and low ranges (see FIG. 7).
  • a song may be evaluated (scoring etc.) by determining the pitch of a song.
  • the singer when singing in parallel with the accompaniment, the singer usually sings at a pitch that matches the accompaniment. Therefore, if the tuning state of the musical instrument is not a desired state, there is a problem that accurate evaluation of the singing sound cannot be performed.
  • An object of the present invention is to provide a song evaluation method, apparatus, and program capable of accurately evaluating a song according to the tuning state of an instrument used for song guidance.
  • a pitch of a sound produced by performing a performance operation of at least one performance operator of a musical instrument is acquired, and a difference between the acquired pitch and a pitch of a reference sound is acquired.
  • Set a correction value based on the amount compare the pitch of the reference melody with the pitch of the singing sound by the singer, correct the comparison result with the set correction value, and output the corrected result.
  • singing can be accurately evaluated according to the tuning state of the musical instrument used for singing guidance.
  • 1 is an overall configuration diagram of a song evaluation system including a song evaluation device. It is a block diagram of a song evaluation apparatus. It is a block diagram of a functional structure of a song evaluation apparatus. It is a figure which shows the example of a part of score data read. It is a flowchart of a correction value setting process. It is a figure which shows the example of a screen displayed at the time of a correction value setting process. It is a figure which shows a range and the target pitch of each key. It is a flowchart of a song evaluation process.
  • FIG. 1 is an overall configuration diagram of a singing evaluation system including a singing evaluation apparatus according to an embodiment of the present invention.
  • the singing evaluation device 100 and the musical instrument 200 are communicably connected.
  • the singing evaluation device 100 is not particularly limited, but is an electronic device such as a smartphone, a tablet terminal, or a PC (personal computer).
  • An example of the musical instrument 200 is a keyboard musical instrument having a plurality of keys 201. However, it is not limited to a keyboard instrument, but may be another instrument whose tuning state can change, such as a stringed instrument.
  • FIG. 2 is a block diagram of the singing evaluation apparatus 100.
  • the singing evaluation apparatus 100 includes a CPU 11, a ROM 12, a RAM 13, a storage unit 14, an external interface 15, an input operator 16, a display unit 17, and a sound system 18. These are connected to each other via a bus BS.
  • the input operator 16 includes a switch, a rotary operator, a slide operator, a touch panel, and the like, and is used by the user to input various information. Operation information representing the operation content of the input operator 16 is supplied to the CPU 11 via the bus BS.
  • the CPU 11 controls the entire song evaluation apparatus 100.
  • the CPU 11 has a timer.
  • the ROM 12 stores various data such as initial setting parameters and display data.
  • the RAM 13 temporarily stores data necessary for the CPU 11 to execute the program.
  • the display unit 17 includes a liquid crystal display (LCD) or the like.
  • the display unit 17 displays an image based on the display data supplied from the CPU 11.
  • the storage unit 14 includes a nonvolatile recording medium, and stores musical score data (standard MIDI file) representing musical scores and performance data.
  • the musical score data may be stored in the storage unit 14 in advance, or may be imported from the outside via the external interface 15.
  • the storage unit 14 may include a drive unit corresponding to a portable nonvolatile recording medium.
  • the external interface 15 can be connected to a communication network such as a wired or wireless LAN (Local Area Network) or the Internet.
  • the external interface 15 may include a MIDI interface.
  • the musical instrument 200 also includes an external interface, and the external interface 15 connects the singing evaluation apparatus 100 so as to be communicable with the musical instrument 200.
  • the communication connection between the singing evaluation apparatus 100 and the musical instrument 200 is not limited to wired / wireless communication, and is not limited to any communication standard. In the present embodiment, it is not essential that the song evaluation apparatus 100 and the musical instrument 200 can communicate with each other.
  • the sound system 18 includes a microphone 19 for collecting sound, a speaker 20 for outputting sound, a sound source circuit, a D / A converter, an A / D converter, an amplifier, and a buffer (all not shown).
  • the sound system 18 can sample the acquired sound at a predetermined sampling period and store sample data obtained by the sampling in a buffer.
  • FIG. 3 is a block diagram of the functional configuration of the singing evaluation apparatus 100.
  • the singing evaluation apparatus 100 mainly includes an acquisition unit 31, a setting unit 32, a correction unit 33, a comparison unit 34, and an output unit 36 as functional units. These functional units are realized mainly by the cooperation of the CPU 11, the ROM 12, the RAM 13, the storage unit 14, and the like.
  • the comparison unit 34 includes a score alignment unit 35. Details of the correction value setting process and the singing evaluation process will be described with reference to FIGS. 5 and 8, but the outline will be described with reference to FIG.
  • the acquisition unit 31 acquires a pitch (pitch) of a sound generated when the key 201 of the musical instrument 200 is operated.
  • the setting unit 32 determines a deviation amount between the pitch of the sound acquired by the acquisition unit 31 and the pitch of the reference sound, and sets a correction value based on the determined deviation amount (calibration).
  • the reference sound is a design pitch of the key 201 (instruction key) instructed to be pressed. It is assumed that the design pitch of the instruction key corresponds to the instruction key among the pitches of the scale in the equal temperament. Therefore, depending on the tuning state of the musical instrument 200, the pitch of the sound produced by the actual key pressing may be slightly different from the designed pitch of the instruction key.
  • the singer sings in parallel with the teacher accompaniment with the musical instrument 200.
  • the singing sound of the singer's chorus is picked up by the microphone 19 and stored in the buffer or RAM 13.
  • musical score data corresponding to the musical piece is read from the storage unit 14.
  • a note string defined by the musical score data becomes a reference melody (hereinafter referred to as a reference melody) to be compared with the singing sound.
  • FIG. 4 shows an example of part of the score data to be read.
  • the score alignment unit 35 is a functional unit that estimates a musical score position and a tempo representing a currently played portion of a musical score in real time using a known technique (Japanese Patent No. 6187132, etc.).
  • the score alignment unit 35 analyzes the captured acoustic signal while capturing the acoustic signal that is the performance sound of the musical instrument 200 via the microphone 19. Then, the score alignment unit 35 calculates the probability density of the position on the score of the reference melody and the probability density of the current tempo corresponding to the currently played accompaniment. Then, the score alignment unit 35 determines the optimal score position and tempo using the calculated probability density.
  • the current score position corresponds to the singing sound to be pronounced among the notes of the reference melody.
  • the comparison unit 34 determines the pitch of a series of sounds in the singing sound one by one.
  • the comparison unit 34 synchronizes the notes on the score data to be compared with the notes of the singing sound based on the score position and tempo determined by the score alignment unit 35.
  • the comparison unit 34 compares the note indicated by the score position on the score data progressing according to the performance and the note of the corresponding singing sound, and compares the pitch deviation between them. Then, the comparison unit 34 calculates a deviation (pitch deviation amount) between them as a result of the pitch comparison.
  • the correction unit 33 corrects the pitch deviation amount calculated by the comparison unit 34 with the correction value.
  • the following can be considered as a mode of output by the output unit 36.
  • the output unit 36 for example, the number of deviation sounds, the ratio of the number of sounds with deviation to the total number of sounds, and the average of each deviation amount of the sounds with deviation Inform the value, etc.
  • a notification mode for example, screen display on the display unit 17 or pronunciation of a voice message may be considered, and the evaluation may be converted into a numerical value for notification.
  • the tuning of the musical instrument 200 is not re-tuned, but the singing pitch can be evaluated in consideration of the rhythm deviation.
  • FIG. 5 is a flowchart of the correction value setting process. This process is realized by the CPU 11 reading the control program stored in the ROM 12 into the RAM 13 and executing it. This control program may be stored in advance in the song evaluation apparatus 100, or may be installed after being downloaded as an application program after product shipment.
  • This correction value setting process is a calibration process for setting a correction value from the sound emitted by the musical instrument 200.
  • the user sets the installation position or the holding position of the singing evaluation apparatus 100 with respect to the musical instrument 200 so that the sound (instrument sound) emitted by the performance of the musical instrument 200 can be collected by the microphone 19.
  • the song evaluation apparatus 100 has a microphone terminal, you may use it in the state which connected the external microphone to the microphone terminal.
  • This correction value setting process is started when a predetermined instruction is received from the user.
  • step S101 the CPU 11 executes various setting processes.
  • the CPU 11 sets a “target range” indicating a range to be corrected by the correction value in a singing evaluation process (FIG. 8) described later.
  • the CPU 11 may cause the user to select one of several predetermined ranges as the target range, or may arbitrarily specify the user.
  • the target sound range may be determined in advance. It is not essential to set the target range, and the entire pitch of the singing sound may be the correction target.
  • the CPU 11 also sets an instruction key that is the key 201 to be pressed for setting the correction value.
  • the CPU 11 sets a key of three sounds of the center sound, the highest sound, and the lowest sound in the target sound range. For example, the CPU 11 sets C4 and C2 keys 101 which are one octave different from the central C (C3).
  • step S101 the CPU 11 also sets an additional instruction key to be operated in step S106 described later.
  • the CPU 11 sets a key 101 corresponding to the middle of adjacent instruction keys as an additional instruction key.
  • two keys are the additional instruction keys.
  • the user may arbitrarily determine the instruction key and the additional instruction key.
  • the instruction key may be at least one key.
  • step S101 the CPU 11 sets a determination threshold value for determining the pitch deviation amount in order to make the determination accuracy desired.
  • the CPU 11 sets a first determination threshold value (for example, 5 cents) used in step S105 described later and a second determination threshold value (for example, 20 cents) used in step S108 described later based on a user instruction. Note that these determination thresholds may be fixed values. Further, the values of 5 cents and 20 cents are examples, and the determination threshold value may be other values.
  • step S102 the CPU 11 causes the display unit 17 to display the set instruction key.
  • FIG. 6 is a diagram illustrating an example of a screen displayed on the display unit 17 during the correction value setting process. On this screen, a keyboard composed of a plurality of keys is displayed, and a key corresponding to the instruction key is displayed so as to be distinguishable from other keys. For example, only the instruction keys K1, K2, and K3 corresponding to the C2, C3, and C4 keys are displayed in a different color from the other keys. This display allows the user to recognize the key 201 to be pressed.
  • step S103 the CPU 11 executes instrument sound acquisition processing. That is, the user refers to the screen shown in FIG. 6 and presses the keys 201 of the musical instrument 200 corresponding to the instruction key one by one. The order of pressing does not matter. Sounds generated by pressing the key 201 are collected by the microphone 19 and stored sequentially.
  • the CPU 11 causes the user to recognize the pressed instruction key by displaying a check mark or the like indicating that it has been pressed in the key portion.
  • the CPU 11 determines the pitch of the sound of the issued instruction keys in step S104. Further, the acquisition unit 31 acquires a reference sound corresponding to the instruction key. Then, the CPU 11 (setting unit 32) compares the determined pitch of the sound of the instruction key and the pitch of the reference sound, and determines the shift between the two as the shift amount.
  • step S105 the CPU 11 determines whether or not there is a sound whose deviation from the reference sound (absolute value) is equal to or more than the first determination threshold value (5 cents) among the sounds of the instruction key. To do. Then, when there is no sound whose deviation amount is equal to or greater than the first determination threshold, the CPU 11 determines that a highly accurate correction value can be set and advances the process to step S110. On the other hand, if there is a sound whose deviation amount is equal to or greater than the first determination threshold, the CPU 11 executes an acquisition process related to the additional sound in step S106. First, the CPU 11 displays a key corresponding to the additional instruction key on the screen of FIG. 6 so that it can be distinguished from other keys.
  • the first determination threshold value 5 cents
  • the instruction keys K4 and K5 are displayed in a different color from the other keys. With this display, the user can recognize the key 201 to be pressed.
  • the user refers to the screen shown in FIG. 6 and presses the keys 201 of the musical instrument 200 corresponding to the addition instruction key one by one. Sounds generated by pressing the key 201 are collected by the microphone 19 and stored sequentially.
  • the CPU 11 causes the user to recognize the pressed additional instruction key by displaying a check mark or the like indicating that the key has been pressed on the key portion.
  • step S107 as in step S104, the CPU 11 compares the pitch of the generated additional instruction key and the reference sound corresponding to the additional instruction key with respect to the additional instruction key, and uses the difference between the two as the amount of deviation. decide.
  • step S108 the CPU 11 determines whether or not there is a sound whose deviation amount (absolute value) determined in step S107 is greater than or equal to the second determination threshold (20 cents) among the sounds of the additional instruction key. Determine.
  • step S110 when there is no sound whose deviation amount is equal to or greater than the second determination threshold, the CPU 11 determines that the accurate correction value is within an allowable range and advances the process to step S110. On the other hand, if there is a sound whose deviation amount is equal to or larger than the second determination threshold, the CPU 11 determines that the allowable range is exceeded when setting an accurate correction value, and executes a warning process in step S109. Then, the process proceeds to step S110. In this warning process, for example, the CPU 11 displays on the display unit 17 that an accurate correction value cannot be set (correction value accuracy decreases). In addition, CPU11 may implement a warning with an audio
  • the amount of deviation is determined in cents.
  • the pitch of the sound of the instruction key or the additional instruction key
  • the sign of the shift amount becomes +.
  • the deviation amounts for the C2, C3, and C4 keys are “ ⁇ 3”, “0”, and “+6” cents, respectively.
  • Yes is determined in step S105.
  • the deviation amounts related to the C2, C3, C4, G2, and G3 keys are “+1” and “+1” cents, respectively.
  • the deviation amounts regarding the G2 key and the G3 key are not equal to or greater than the second determination threshold value, it is determined No in step S108. Therefore, the process proceeds to step S110 without executing the warning process.
  • step S110 the CPU 11 (setting unit 32) sets a correction value based on the determined shift amount.
  • the shift amount used here is the shift amount related to the three sounds determined in step S104 when not passing through step S108, and the shift amount related to the five sounds determined in steps S104 and S107 when passing through step S108. It is.
  • Various methods for calculating the correction value are conceivable, but as a simple method, a method in which a simple average of the target deviation amounts is used as the correction value may be employed. However, for the reason described in FIG. 7, the CPU 11 calculates a correction value by weighting (weighted average) according to the sound range. It is not essential to weight.
  • FIG. 7 is a diagram showing a range and a target pitch of each key in a general acoustic piano.
  • the pitch of the actual sound generated by the key pressing operation does not necessarily match the pitch that the user actually hears and feels. In particular, it is said that humans tend to sound higher than the actual sound in the low sound range and lower than the actual sound in the high sound range. Therefore, in the piano tuning, as shown by the curve L1, there is a case where the tuning is intentionally low in the low range and high in the high range.
  • the range between the curve L2 and the curve L4 is set as an allowable range, and tuning is performed so that the pitch of each key is within this range.
  • the weighting in calculating the correction value, is varied depending on the sound range.
  • a value of the weight of each key in the weighted average is set along the curve L4.
  • a predetermined weighting that makes the weighting of the predetermined sound range stronger than the other sound ranges is adopted.
  • the range below the C1 key is -1
  • the range above the C1 key and below the C2 key is 0
  • the range above the C2 key and below the C4 key is 8
  • the range above the C4 key and below the C5 key Is
  • the range above the C5 key is +1.
  • the weight values are all 8, so the sum of “ ⁇ 3”, “0”, “+6”, “+1”, “+1” is calculated.
  • step S110 the correction value setting process in FIG.
  • the correction value set in step S110 is stored in the storage unit 14 in a state associated with each pitch of the target range, and is used in the subsequent singing evaluation process (FIG. 8).
  • the CPU 11 may associate the correction value with information for specifying the used instrument.
  • step S101 of the correction value setting process it is not essential to set an additional instruction key, and only the instruction key may be set. In this case, it is not necessary to set the first determination threshold value, and steps S105 to S107 may be abolished and the second determination threshold value may be set appropriately.
  • step S103 the acquisition of the instrument sound is not limited to the sound collection by the microphone 19.
  • vibration may be detected like a piezo sensor, and the detection information may be supplied to the song evaluation apparatus 100 via communication.
  • step S101 the CPU 11 may execute the subsequent processing using the key that the user first pressed as the instruction key without particularly setting the instruction key. In that case, the CPU 11 may display a message prompting the user to press an arbitrary key in step S102.
  • step S103 when the user presses any key 201, the instrument sound acquisition process is started. After one or more key presses, an acquisition end instruction is received from the user, and the process proceeds to step S104. move on.
  • step S104 the CPU 11 acquires, as a reference sound, a sound closest to the pitch determined for the sound of the key 201 pressed by the user among the sounds of the scale in the equal temperament.
  • FIG. 8 is a flowchart of the song evaluation process.
  • This process is realized by the CPU 11 reading the control program stored in the ROM 12 into the RAM 13 and executing it.
  • This control program may be stored in advance in the song evaluation apparatus 100, or may be installed after being downloaded as an application program after product shipment.
  • the user sets an installation position or a holding position of the singing evaluation apparatus 100 for the singer so that the singing sound of the singer can be collected by the microphone 19.
  • An external microphone may be used.
  • This singing evaluation process is started when a predetermined instruction is received from the user.
  • the said control program may be comprised so that it may transfer to a song evaluation process (FIG. 8) automatically after a correction value setting process (FIG. 5) is complete
  • step S201 the CPU 11 executes a setting process. That is, the CPU 11 selects a song to be accompanied for choral from now on. For example, the CPU 11 causes the display unit 17 to display a list of music titles and the like that are held, and allows the user (teacher) to select from the list.
  • score data (FIG. 4) is acquired from the storage unit 14 as reference melody data corresponding to the selected song.
  • step S202 the CPU 11 waits for an accompaniment start instruction from the user. If there is an accompaniment start instruction, the CPU 11 advances the process to step S203. In the present embodiment, it is assumed that a plurality of keys can be pressed simultaneously in the accompaniment, and the note string that the singer should sing along with the accompaniment is a single melody.
  • step S203 the CPU 11 executes a process for acquiring a performance sound (accompaniment) of the musical instrument 200 by the user and a singing sound in parallel therewith.
  • Accompaniment sounds and singing sounds are picked up by the microphone 19 and stored sequentially. This process continues until the accompaniment ends.
  • CPU11 internally performs the well-known process which isolate
  • two microphones may be provided for accompaniment sounds and singing sounds, and the respective sounds may be acquired.
  • step S204 the CPU 11 (score alignment unit 35) specifies the musical score position on the musical score data corresponding to the current accompaniment position and determines the performance tempo by the method described above.
  • step S205 the CPU 11 (comparison unit 34) calculates a pitch shift amount that is a shift between the pitch of the note of the reference melody indicated by the score position and the determination pitch of the note of the corresponding singing sound. The sign of the pitch shift amount is + when the determination pitch of the singing sound is higher than the pitch of the reference melody.
  • step S206 the CPU 11 (correction unit 33) reads the correction value stored in the storage unit 14, and also reads the pitch deviation amount calculated in step S205 for the sound in the target area among the singing sounds. Correct with the correction value.
  • pitch shift amount after correction (pitch shift amount before correction) ⁇ (correction value).
  • the corrected pitch deviation is +0.5 cents.
  • it is determined that the singing sound is higher by 0.5 cents than by 1.5 cents with respect to the sound that should be emitted. Note that sounds that are not included in the target range are not corrected.
  • step S207 CPU11 (output part 36) alert
  • step S208 the CPU 11 determines whether or not the user has instructed the singing evaluation to be performed again. If there is a redo instruction, the process returns to step S202 to wait for a start instruction again. At this time, each value once calculated is cleared. If there is no instruction to redo, the singing evaluation process in FIG. 8 ends. Note that a step of accepting a song change instruction may be provided after step S208, and if a song change instruction is accepted, the process may be returned to step S201.
  • the CPU 11 acquires the pitch of the sound that is emitted when the musical instrument 200 is operated and sets a correction value based on the amount of deviation between the acquired pitch and the pitch of the reference sound. . Thereafter, the CPU 11 compares the pitch of the singing sound with the pitch of the reference melody, corrects the comparison result with the correction value, and outputs the corrected result. With this output, the singing can be accurately evaluated according to the tuning state of the musical instrument used for singing guidance such as accompaniment. In particular, since the sound sung in parallel with the performance of the musical instrument is acquired as the singing sound, the singing sound parallel to the accompaniment can be evaluated. When outputting the corrected result, the user can be informed of the degree of pitch deviation by notifying the corrected result.
  • the correction value is set by giving a predetermined weight to each of the plurality of deviations obtained, so that the correction matching the sound range can be performed in consideration of the tuning curve by the instrument.
  • the pitch of the sound that is emitted when the performance operator is performed within the set target sound range is acquired, thereby simplifying the process and improving the evaluation accuracy in a specific sound range. Can be increased.
  • the CPU 11 may set a plurality of target sound ranges and set a correction value for each target sound range.
  • a correction value corresponding to the target range including the correction target sound may be used for the correction.
  • step S203 of FIG. 8 when acquiring the song sound of chorus, you may make it provide a microphone separately for every singer and acquire a several song sound. In that case, CPU11 may determine the average of the pitch of a some song sound as a pitch of the whole song sound.
  • the accompaniment is assumed to be a heavy note method, but accompaniment (guidance) may be performed with a single note.
  • the performer may perform the same melody as the single melody that the singer should sing on the instrument 200.
  • the musical instrument 200 may have a function of outputting performance information as MIDI, and the song evaluation apparatus 100 may have a function of receiving the MIDI output. Then, as a single melody is played with the musical instrument 200, the singer can use the MIDI output sound as the reference melody sound when singing the same single melody. In this case, since the synchronization between the sound of the reference melody to be compared and the singing sound is ensured, it is not necessary to use the score data.
  • the form of singing in parallel with the accompaniment was considered.
  • the present invention is not limited to this, and the singing may be performed without accompaniment.
  • the teacher recognizes the key by playing the first chord or only one note and letting the singer hear it. Thereafter, the teacher recognizes the tempo and the singing start timing by conducting, signaling, etc. when performing the musical score progression start operation. Then, the teacher starts the progression of the score and starts singing at the same time.
  • the same effect may be obtained by reading a storage medium storing a control program represented by software for achieving the present invention into the present instrument.
  • the program code itself read from the storage medium realizes the novel function of the present invention
  • the non-transitory computer-readable recording medium storing the program code constitutes the present invention.
  • the program code may be supplied via a transmission medium or the like.
  • the program code itself constitutes the present invention.
  • a storage medium in these cases a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, and the like can be used in addition to the ROM.
  • non-transitory computer-readable recording medium is a volatile memory (for example, a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line). Also included are those that hold a program for a certain period of time, such as DRAM (Dynamic Random Access Memory).
  • DRAM Dynamic Random Access Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

歌唱案内に用いる楽器の調律状態に応じて歌唱を正確に評価することができる歌唱評価方法及び装置、プログラムを提供する。歌唱評価装置（１００）は、楽器（２００）の少なくとも１つの演奏操作子（２０１）が演奏操作されることにより発せられる音のピッチを取得し、取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定し、基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較し、比較した結果を補正値で補正し、補正した結果を出力する。

Description

歌唱評価方法及び装置、プログラム
　本発明は、楽器を用いた案内による歌唱を評価する歌唱評価方法及び装置、プログラムに関する。
　従来、楽器の調律状態を判定する方法が知られている。例えば、特許文献１は、ＴＡＢ譜データ付きの楽器カラオケにおいて、開放弦演奏部位を再生しているとき、ギターの弦のチューニング状態を判定する。特許文献２は、マイクで入力した調律対象音と基準音とのピッチ誤差を判定し、判定結果を表示する。
特許第５６４８８７７号公報 特開２００７－１９３１５６号公報
　ところで、ピアノ等の楽器を伴奏等の歌唱案内に用いて合唱する場合がある。例えば、ピアノにおいて、基準の（所望の）調律状態より少し高めあるいは低めの音高に調律されている状態で演奏する場合や、調律が簡単でないため再調律せずその時の調律状態のまま演奏することが想定される。ちなみに、一般的な調律における中央のＣの周波数は４４０Ｈｚに設定されるが、４４０Ｈｚに限られているわけではない。しかも、音域に応じた人間の聴覚特性を考慮して、高音域や低音域においては所望する調律音高が上下にシフトされる場合もある（図７参照）。また、歌唱の音程を判定することで歌唱を評価（採点等）する場合がある。ここで、伴奏に並行して歌唱する際、歌唱者は通常、伴奏に合わせた音程で歌唱する。従って、楽器の調律状態が所望の状態でないと、歌唱音の正確な評価ができなくなるという問題があった。
　本発明の目的は、歌唱案内に用いる楽器の調律状態に応じて歌唱を正確に評価することができる歌唱評価方法及び装置、プログラムを提供することである。
　上記目的を達成するために本発明によれば、楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得し、前記取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定し、基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較し、前記比較した結果を前記設定された補正値で補正し、前記補正した結果を出力する、歌唱評価方法が提供される。
　本発明によれば、歌唱案内に用いる楽器の調律状態に応じて歌唱を正確に評価することができる。
歌唱評価装置を含む歌唱評価システムの全体構成図である。 歌唱評価装置のブロック図である。 歌唱評価装置の機能構成のブロック図である。 読み出される楽譜データの一部の例を示す図である。 補正値設定処理のフローチャートである。 補正値設定処理時に表示される画面例を示す図である。 音域と各鍵の目標音高を示す図である。 歌唱評価処理のフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。
　図１は、本発明の一実施の形態に係る歌唱評価装置を含む歌唱評価システムの全体構成図である。この歌唱システムは、歌唱評価装置１００と楽器２００とが、通信可能に接続されて成る。歌唱評価装置１００は、特に限定されないが、例えばスマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）等の電子機器である。楽器２００として、複数の鍵２０１を有する鍵盤楽器が例示される。しかし、鍵盤楽器に限らず、弦楽器等、調律状態が変化し得る他の楽器でもよい。
　図２は、歌唱評価装置１００のブロック図である。歌唱評価装置１００は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、外部インターフェース１５、入力操作子１６、表示部１７、サウンドシステム１８を備える。これらがバスＢＳを介して互いに接続されている。入力操作子１６は、スイッチ、回転操作子、スライド操作子、タッチパネルなどを含み、ユーザが各種情報を入力するのに用いられる。入力操作子１６の操作内容を表す操作情報は、バスＢＳを介してＣＰＵ１１に供給される。ＣＰＵ１１は、歌唱評価装置１００全体の制御を司る。ＣＰＵ１１はタイマを有する。ＲＯＭ１２には、ＣＰＵ１１が実行する制御プログラムのほか、初期設定パラメータ、表示用データ等の各種データが記憶されている。ＲＡＭ１３には、ＣＰＵ１１が上記プログラムを実行する際に必要なデータが一時的に記憶される。
　表示部１７は、液晶ディスプレイ（ＬＣＤ）等で構成される。表示部１７は、ＣＰＵ１１から供給された表示データに基づいて画像を表示する。記憶部１４は、不揮発性記録媒体を有し、楽譜を表わす楽譜データ（標準ＭＩＤＩファイル）や、演奏データを記憶している。楽譜データは予め記憶部１４に記憶されていてもよいし、外部インターフェース１５を介して外部から取り込まれてもよい。なお、記憶部１４は、可搬型の不揮発性記録媒体に対応するドライブユニットを含んでも良い。
　外部インターフェース１５は、有線または無線のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどの通信ネットワークに接続可能である。外部インターフェース１５は、ＭＩＤＩインターフェースを含んでも良い。なお、楽器２００も外部インターフェースを備えており、外部インターフェース１５は、歌唱評価装置１００を楽器２００と通信可能に接続する。なお、歌唱評価装置１００と楽器２００との通信接続は、有線・無線を問わず、通信規格も問わない。なお、本実施の形態では、歌唱評価装置１００と楽器２００とが通信可能であることは必須でない。
　サウンドシステム１８は、収音用のマイク１９、音響を出力するスピーカ２０のほか、音源回路、Ｄ／Ａ変換器、Ａ／Ｄ変換器、アンプ、バッファ（いずれも不図示）を備えている。サウンドシステム１８は、取得した音を所定のサンプリング周期でサンプリングし、サンプリングによって得られたサンプルデータをバッファに記憶することが可能である。
　図３は、歌唱評価装置１００の機能構成のブロック図である。歌唱評価装置１００は、機能部として主に、取得部３１、設定部３２、補正部３３、比較部３４、出力部３６を有する。これらの機能部は、主にＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び記憶部１４等の協働により実現される。比較部３４は、スコアアライメント部３５を有する。補正値設定処理及び歌唱評価処理の詳細は図５、図８でも説明するが、図３では概略を説明する。
　取得部３１は、楽器２００の鍵２０１が演奏操作されることにより発せられる音のピッチ（音高）を取得する。設定部３２は、取得部３１により取得された音のピッチと基準音のピッチとのずれ量を決定し、決定したずれ量に基づいて補正値を設定する（キャリブレーション）。ここで、基準音は、押下すべきと指示された鍵２０１（指示鍵）の設計上のピッチである。指示鍵の設計上のピッチは、平均律における音階の音高のうち指示鍵に対応するものであるとする。従って、楽器２００の調律状態によっては、指示鍵の設計上のピッチに対して、実際の押鍵による発音のピッチは微妙にずれている可能性がある。
　設定部３２により補正値が設定された後において、先生が楽器２００で伴奏するのに並行して、歌唱者が合唱する。歌唱者の合唱による歌唱音がマイク１９により収音され、バッファまたはＲＡＭ１３に記憶される。楽器伴奏及び歌唱にあたって、演奏曲が選択されると、それに対応する楽譜データが記憶部１４から読み出される。この楽譜データで規定される音符列が、歌唱音と比較される基準となるメロディ（以下、基準メロディと称する）となる。図４に、読み出される楽譜データの一部の例を示す。
　スコアアライメント部３５は、公知の技術（特許第６１８７１３２号公報等）を用いて、楽曲の楽譜のうち現在演奏されている部分を表す楽譜位置及びテンポを実時間で推定する機能部である。スコアアライメント部３５は、楽器２００の演奏音である音響信号を、マイク１９を介して取り込みつつ、取り込んだ音響信号を分析する。そして、スコアアライメント部３５は、現在演奏されている伴奏に対応する位置であって基準メロディの楽譜上の位置の確率密度、及び、現在のテンポの確率密度を計算する。そしてスコアアライメント部３５は、これら計算された確率密度を用いて、最適な楽譜位置及びテンポを決定する。現在の楽譜位置は、基準メロディの音符のうち、現在発音すべき歌唱音に該当する。
　比較部３４は、歌唱音における一連の音のピッチを逐一判定する。比較部３４は、スコアアライメント部３５により決定される楽譜位置及びテンポに基づいて、比較対象となる楽譜データ上の音符と歌唱音の音符との同期をとる。比較部３４は、演奏に従って進行する楽譜データ上の楽譜位置が示す音符と、それに対応する歌唱音の音符とを比較対象とし、両者のピッチずれを比較する。そして比較部３４は、ピッチ比較の結果として、両者のずれ（ピッチずれ量）を算出する。
　補正部３３は、比較部３４により算出されたピッチずれ量を、上記補正値で補正する。そして、出力部３６が、補正部３３による補正結果を歌唱評価として報知する。出力部３６による出力の態様としては例えば次のようなものが考えられる。出力部３６は、ピッチずれ量が所定ピッチ以上である音を「ずれ有り音」としたとき、例えば、ずれ音数、全音数に対するずれ有り音数の比率、ずれ有り音の各ずれ量の平均値、等を報知する。報知の態様は、例えば、表示部１７への画面表示、または音声メッセージの発音が考えられ、評価を数値化して報知してもよい。本実施の形態では、楽器２００の調律をし直すのではなく、調律の狂いを考慮して、歌唱音程を評価できるようにする。
　図５は、補正値設定処理のフローチャートである。この処理は、ＣＰＵ１１が、ＲＯＭ１２に格納された制御プログラムをＲＡＭ１３に読み出して実行することにより実現される。なお、この制御プログラムは、歌唱評価装置１００に予め記憶されていてもよいし、製品出荷後にアプリケーションプログラムとしてダウンロードされた後、インストールされてもよい。
　この補正値設定処理は、楽器２００が発した音から補正値を設定するキャリブレーション処理である。補正値設定処理にあたって、ユーザは、楽器２００の演奏により放音される音（楽器音）がマイク１９で収音できるように、楽器２００に対する歌唱評価装置１００の設置位置または保持位置を設定する。なお、歌唱評価装置１００がマイク端子を有する場合は、外付けマイクをマイク端子に接続した状態で用いてもよい。この補正値設定処理は、ユーザから所定の指示が受け付けられると開始される。
　まず、ステップＳ１０１では、ＣＰＵ１１は、各種設定処理を実行する。ここでは例えば、ＣＰＵ１１は、後述する歌唱評価処理（図８）で補正値による補正の対象となる音域を示す「対象音域」を設定する。なお、ＣＰＵ１１は、対象音域として予め定めたいくつかの音域のうち１つをユーザに選択させてもよいし、あるいはユーザに任意に指定させてもよい。なお、対象音域は予め定められてもよい。なお、対象音域を設定することは必須でなく、歌唱音の全音高を補正対象としてもよい。ステップＳ１０１ではまた、ＣＰＵ１１は、補正値設定のために押下すべき鍵２０１である指示鍵を設定する。例えば、対象音域が２オクターブ分であるとき、ＣＰＵ１１は、対象音域のうちの中央の音と最高音と最低音の３音の鍵を設定する。例示すれば、ＣＰＵ１１は中央のＣ（Ｃ３）とそれより１オクターブ異なるＣ４とＣ２の鍵１０１を設定する。
　ステップＳ１０１ではさらに、ＣＰＵ１１は、後述するステップＳ１０６で操作されるべき追加指示鍵も設定する。ＣＰＵ１１は、例えば、隣接する指示鍵の中間に該当する鍵１０１を追加指示鍵として設定する。上記の例では、２鍵（Ｇ３とＧ２の鍵１０１）が追加指示鍵となる。なお、指示鍵及び追加指示鍵をユーザが任意に定めてもよい。指示鍵は少なくとも１鍵でよい。ステップＳ１０１ではさらに、ＣＰＵ１１は、判定精度を所望とするために、ピッチずれ量を判定するための判定閾値を設定する。ＣＰＵ１１は、後述するステップＳ１０５で用いる第１の判定閾値（例えば、５セント）、及び、後述するステップＳ１０８で用いる第２の判定閾値（例えば、２０セント）を、ユーザの指示に基づき設定する。なお、これらの判定閾値は固定値でもよい。また、５セント、２０セントの値は例示であり、判定閾値はこれら以外の値であってもよい。
　ステップＳ１０２では、ＣＰＵ１１は、上記設定された指示鍵を表示部１７に表示させる。図６は、補正値設定処理時に表示部１７に表示される画面例を示す図である。この画面では、複数の鍵から成る鍵盤が表示されると共に、指示鍵に相当する鍵が他の鍵とは識別可能に表示される。例えば、Ｃ２鍵、Ｃ３鍵、Ｃ４鍵に対応する指示鍵Ｋ１、Ｋ２、Ｋ３だけ、他の鍵とは異なる色で表示される。この表示により、押下すべき鍵２０１をユーザに認識させることができる。
　ステップＳ１０３では、ＣＰＵ１１は、楽器音の取得処理を実行する。すなわち、ユーザが、図６に示す画面を参照し、指示鍵に該当する楽器２００の鍵２０１を１つずつ押下する。押下の順は問わない。鍵２０１の押下により発せられた音はマイク１９で収音され、逐次記憶される。なお、指示鍵が押下されると、図６に例示するように、ＣＰＵ１１は、押下済みを示すチェックマーク等を鍵部分に表示させることで、押下済みの指示鍵をユーザに認識させる。
　ＣＰＵ１１は、全ての指示鍵の押下が完了すると、ステップＳ１０４で、発せられた指示鍵の音のピッチを判定する。また、取得部３１が、指示鍵に対応する基準音を取得する。そしてＣＰＵ１１（設定部３２）は、判定した指示鍵の音のピッチと基準音のピッチとを比較し、両者のずれをずれ量として決定する。
　次に、ステップＳ１０５では、ＣＰＵ１１は、指示鍵の音のうち、基準音とのずれ量（の絶対値）が第１の判定閾値（５セント）以上である音が存在するか否かを判別する。そしてＣＰＵ１１は、ずれ量が第１の判定閾値以上である音が存在しない場合は、精度の高い補正値設定が可能と判断して処理をステップＳ１１０に進める。一方、ずれ量が第１の判定閾値以上である音が存在する場合は、ＣＰＵ１１は、ステップＳ１０６で、追加音に関する取得処理を実行する。まず、ＣＰＵ１１は、図６の画面に、追加指示鍵に相当する鍵を他の鍵とは識別可能に表示させる。例えば、指示鍵Ｋ４、Ｋ５だけ、他の鍵とは異なる色で表示される。この表示により、ユーザは、押下すべき鍵２０１を認識できる。ユーザが、図６に示す画面を参照し、追加指示鍵に該当する楽器２００の鍵２０１を１つずつ押下する。鍵２０１の押下により発せられた音はマイク１９で収音され、逐次記憶される。ＣＰＵ１１は、押下済みを示すチェックマーク等を鍵部分に表示させることで、押下済みの追加指示鍵をユーザに認識させる。
　ステップＳ１０７では、ＣＰＵ１１は、ステップＳ１０４と同様に、追加指示鍵に関して、発せられた追加指示鍵の音と追加指示鍵に対応する基準音とのピッチ同士を比較し、両者のずれをずれ量として決定する。次に、ステップＳ１０８では、ＣＰＵ１１は、追加指示鍵の音のうち、ステップＳ１０７で決定したずれ量（絶対値）が第２の判定閾値（２０セント）以上である音が存在するか否かを判別する。
　そしてＣＰＵ１１は、ずれ量が第２の判定閾値以上である音が存在しない場合は、正確な補正値を設定する上で許容範囲内であると判断して、処理をステップＳ１１０に進める。一方、ずれ量が第２の判定閾値以上である音が存在する場合は、ＣＰＵ１１は、正確な補正値を設定する上で許容範囲を超えると判断して、ステップＳ１０９で警告処理を実行してから処理をステップＳ１１０に進める。この警告処理では例えば、ＣＰＵ１１は、正確な補正値を設定できない（補正値の精度が低くなる）旨等を表示部１７に表示する。なお、ＣＰＵ１１は、警告を音声により実施してもよい。
　ずれ量はセントを単位として決定される。指示鍵（または追加指示鍵）の音のピッチが基準音のピッチより高いとき、ずれ量の符号が＋となる。具体例で説明する。Ｃ２鍵、Ｃ３鍵、Ｃ４鍵に関するずれ量がそれぞれ「－３」、「０」、「＋６」セントであったとする。すると、Ｃ４鍵に関するずれ量が第１の判定閾値以上であるので、ステップＳ１０５では、Ｙｅｓと判別される。そして、Ｃ２鍵、Ｃ３鍵、Ｃ４鍵、Ｇ２鍵、Ｇ３鍵に関するずれ量がそれぞれ「＋１」、「＋１」セントであったとする。すると、Ｇ２鍵、Ｇ３鍵に関するずれ量はいずれも第２の判定閾値以上でないので、ステップＳ１０８でＮｏと判別される。従って、警告処理が実施されることなく処理はステップＳ１１０に進む。
　ステップＳ１１０では、ＣＰＵ１１（設定部３２）は、決定されたずれ量に基づき補正値を設定する。ここで用いるずれ量は、ステップＳ１０８を経由しない場合はステップＳ１０４で決定された３つの音に関するずれ量であり、ステップＳ１０８を経由した場合はステップＳ１０４及びＳ１０７で決定された５つの音に関するずれ量である。補正値の算出方法は各種考えられるが、簡素な方法として、対象となるずれ量の単純平均を補正値とする手法を採用してもよい。しかし、図７で説明する理由により、ＣＰＵ１１は、音域に応じて重み付け（加重平均）をして補正値を算出する。重み付けすることは必須でない。
　図７は、一般のアコースティックピアノにおいて、音域と各鍵の目標音高を示す図である。押鍵操作で発音される実際の音の音高とユーザが実際に聞いて感じる音高とは必ずしも一致しない。特に、人間にとっては、低音域では実音より高めに聞こえ、高音域では実音より低めに聞こえる傾向があると言われる。そこで、ピアノ調律においては、曲線Ｌ１で示すように、意図的に低音域で低めに調律され、高音域では高めに調律される場合がある。曲線Ｌ２と曲線Ｌ４との間を許容範囲とし、この範囲に各鍵のピッチが収まるように調律される。
　本実施の形態では、補正値の算出において、音域によって重み付けを異ならせる。曲線Ｌ４に沿うように、加重平均における各鍵の重みの値が設定される。なお、ここでは説明を簡単にするため、所定の音域の重み付けを他の音域よりも強くする所定の重み付けを採用する。例えば、重みの値については、Ｃ１鍵未満の音域を－１、Ｃ１鍵以上でＣ２鍵未満の音域を０、Ｃ２鍵以上でＣ４鍵以下の音域を８、Ｃ４鍵を超えＣ５鍵以下の音域を０、Ｃ５鍵を超える音域を＋１とする。この場合において、５つのずれ量が上記の例だったとすると、重みの値はいずれも８であるので、「－３」、「０」、「＋６」、「＋１」、「＋１」の合計を５で除算することで、補正値は＋１．０セントとなる。この例では単純平均と同じとなる。なお、対象音域がＧ１～Ｇ４であるとし、指示鍵がＧ１、Ｇ３、Ｇ５で、それぞれのずれ量が「１」、「３」、「－２」であったとする。追加指示鍵は無いとする。この場合、補正値＝｛（１×０）＋（３×８）＋（－２×（＋１））｝／３＝＋７．３セントとなる。
　ステップＳ１１０の後、図５の補正値設定処理は終了する。ところで、ステップＳ１１０で設定された補正値は、対象音域の各音高に対して対応付けられた状態で記憶部１４に記憶され、以降の歌唱評価処理（図８）で用いられる。なお、ＣＰＵ１１は、補正値を記憶部１４に記憶させる際、使用した楽器を特定する情報と補正値とを対応付けてもよい。
　なお、補正値設定処理（図５）のステップＳ１０１において、追加指示鍵を設定することは必須でなく、指示鍵のみ設定してもよい。その場合、第１の判定閾値を設定する必要はなく、ステップＳ１０５～Ｓ１０７を廃止し、第２の判定閾値を適切に定めてもよい。
　なお、ステップＳ１０３において、楽器音の取得はマイク１９での収音に限定されることに限定されない。例えば、ピエゾセンサ等のように振動を検知し、その検知情報が通信を介して歌唱評価装置１００に供給されるようにしてもよい。
　なお、ステップＳ１０１において、ＣＰＵ１１は、指示鍵を特に設定することなく、ユーザが最初に押下した鍵を指示鍵として、その後の処理を実行するようにしてもよい。その場合、ＣＰＵ１１は、ステップＳ１０２においては、任意の鍵の押下を促すメッセージを表示させてもよい。そしてステップＳ１０３においては、ユーザが任意の鍵２０１を押下することで楽器音の取得処理が開始され、１回以上の押鍵の後、取得終了の指示をユーザから受けると、処理はステップＳ１０４に進む。そしてステップＳ１０４においては、ＣＰＵ１１は、平均律における音階の音のうち、ユーザが押下した鍵２０１の音について判定したピッチに最も近い音を基準音として取得する。
　図８は、歌唱評価処理のフローチャートである。この処理は、ＣＰＵ１１が、ＲＯＭ１２に格納された制御プログラムをＲＡＭ１３に読み出して実行することにより実現される。なお、この制御プログラムは、歌唱評価装置１００に予め記憶されていてもよいし、製品出荷後にアプリケーションプログラムとしてダウンロードされた後、インストールされてもよい。この歌唱評価処理にあたって、ユーザは、歌唱者の歌唱音をマイク１９で収音できるように、歌唱者に対する歌唱評価装置１００の設置位置または保持位置を設定する。なお、外付けマイクを使用してもよい。この歌唱評価処理は、ユーザから所定の指示が受け付けられると開始される。なお、上記制御プログラムは、補正値設定処理（図５）が終了した後、歌唱評価処理（図８）に自動的に移行するように構成されていてもよい。
　まず、ステップＳ２０１では、ＣＰＵ１１は、設定処理を実行する。すなわち、ＣＰＵ１１は、これから合唱用に伴奏する曲を選択する。例えば、ＣＰＵ１１は、保持されている曲のタイトル等を表示部１７にリスト表示させ、その中からユーザ（先生）に選択させる。そして曲が選択されると、選択曲に対応する基準メロディのデータとして、楽譜データ（図４）を記憶部１４から取得する。次に、ステップＳ２０２では、ＣＰＵ１１は、ユーザからの伴奏開始の指示を待ち、伴奏開始の指示があると処理をステップＳ２０３に進める。なお、本実施の形態では、伴奏では同時に複数鍵が押下され得るとし、伴奏に合わせて歌唱者が歌唱すべき音符列は単旋律であるとする。
　ステップＳ２０３では、ＣＰＵ１１は、ユーザによる楽器２００の演奏音（伴奏）と、それと並行する歌唱音の取得処理を実行する。伴奏音と歌唱音とはマイク１９で収音され、それらが逐次記憶される。この処理は伴奏終了まで継続される。なお、ＣＰＵ１１は、伴奏音と歌唱音とを取得する際、ピアノ音である伴奏音と人声である歌唱音とを分離する公知の処理を内部的に行って、両者を別々に記憶する。あるいは、伴奏音用と歌唱音用とにマイクを２つ設け、それぞれの音が取得されるようにしてもよい。
　次に、ステップＳ２０４では、ＣＰＵ１１（スコアアライメント部３５）は、上述したような手法により、現在の伴奏位置に対応する楽譜データ上の楽譜位置を特定すると共に演奏のテンポを決定する。ステップＳ２０５では、ＣＰＵ１１（比較部３４）は、楽譜位置が示す基準メロディの音符のピッチと、それに対応する歌唱音の音符の判定ピッチとのずれであるピッチずれ量を算出する。ピッチずれ量は、歌唱音の判定ピッチが基準メロディのピッチより高い場合は、符号が＋とされる。ステップＳ２０６では、ＣＰＵ１１（補正部３３）は、記憶部１４に記憶されている補正値を読み出すと共に、歌唱音のうち対象領域内の音に関して、ステップＳ２０５で算出されたピッチずれ量を、読み出した補正値で補正する。具体的には、ＣＰＵ１１は、（補正後のピッチずれ量）＝（補正前のピッチずれ量）－（補正値）という算出式により補正後のピッチずれ量を算出することで、ピッチずれ量を補正する。例えば、補正値が＋１．０セントで、補正前のピッチずれ量が＋１．５セントである場合、補正後のピッチずれ量は＋０．５セントとなる。この例では、歌唱音は、本来発するべき音に対して、１．５セントではなく０．５セント高かったと判断される。なお、対象音域に含まれない音については補正されない。
　そして、ステップＳ２０７では、ＣＰＵ１１（出力部３６）は、補正部３３による補正結果である補正後のピッチずれ量を、上述した態様にて歌唱評価として報知する。その後、ステップＳ２０８で、ＣＰＵ１１は、歌唱評価のやり直しの指示がユーザからあったか否かを判別する。そして、やり直しの指示があれば処理をステップＳ２０２に戻して、改めて開始指示を待つ。その際、一旦算出された各値はクリアされる。やり直しの指示がない場合は、図８の歌唱評価処理を終了する。なお、ステップＳ２０８の後に、曲の変更指示を受け付けるステップを設け、曲の変更指示を受け付けた場合は、処理をステップＳ２０１に戻すようにしてもよい。
　本実施の形態によれば、ＣＰＵ１１は、楽器２００が演奏操作されることにより発せられる音のピッチを取得し、取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定する。その後、ＣＰＵ１１は、歌唱音のピッチと基準メロディのピッチとを比較し、比較結果を補正値で補正し、補正した結果を出力する。この出力により、伴奏等の歌唱案内に用いる楽器の調律状態に応じて歌唱を正確に評価することができる。特に、歌唱音として、楽器の演奏と並行して歌唱される音が取得されるので、伴奏に並行する歌唱音を評価することができる。補正した結果を出力する際、補正した結果を報知することで、音程のずれの程度をユーザに知らせることができる。
　また、補正値を設定する際、複数得られるずれ量のそれぞれに所定の重み付けをすることを経て補正値を設定するので、楽器による調律カーブを考慮して音域に合致した補正を行える。
　また、補正値設定処理において、設定した対象音域内で演奏操作子が演奏操作されることにより発せられる音のピッチが取得されるので、処理を簡素化すると共に、特定の音域での評価精度を高めることができる。
　なお、補正値設定処理（図５）において、設定される補正値は１つとしたが、ＣＰＵ１１は、対象音域を複数設定し、対象音域ごとに補正値を設定してもよい。この場合、歌唱評価処理（図８）での歌唱音の各音の補正においては、補正対象の音が含まれる対象音域に対応する補正値を補正に用いればよい。
　なお、図８のステップＳ２０３において、合唱の歌唱音を取得する際、歌唱者ごとにマイクを個別に設け、複数の歌唱音を取得するようにしてもよい。その場合、ＣＰＵ１１は、複数の歌唱音のピッチの平均を歌唱音全体のピッチとして判定してもよい。
　なお、図８のステップＳ２０３において、伴奏には重音奏法が想定されるが、単音で伴奏（案内）してもよい。その場合、演奏者は、歌唱者が歌唱すべき単旋律と同じ旋律を楽器２００で演奏してもよい。単音で伴奏する場合において、楽器２００が演奏情報をＭＩＤＩ出力する機能を有すると共に歌唱評価装置１００がそのＭＩＤＩ出力を受信する機能を有するように構成してもよい。そうすれば、楽器２００で単旋律を演奏するのに従って、歌唱者も同じ単旋律を歌唱する際に、ＭＩＤＩ出力の音を基準メロディの音として用いることができる。この場合、比較対象となる基準メロディの音と歌唱音との同期が確保されるので、楽譜データを用いる必要はなくなる。
　なお、歌唱評価処理（図８）においては、伴奏に並行して歌唱する形態を念頭においた。しかしこれに限られず、伴奏無しで歌唱を進行させてもよい。例えば、先生が最初のコードまたは１音だけを演奏して歌唱者に聞かせることでキーを認識させる。その後、先生が、楽譜の進行開始操作をするにあたって、指揮及び合図等によってテンポと歌唱開始タイミングを認識させる。そして先生が、楽譜の進行開始と歌唱開始とを同時に行う。
　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
　なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本楽器に読み出すことによって同様の効果を奏するようにしてもよい。その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよい。その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。「非一過性のコンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
１１　ＣＰＵ
３１　取得部
３２　設定部
３３　補正部
３４　比較部
３６　出力部
１００　歌唱評価装置
２００　楽器
２０１　鍵（演奏操作子）

Claims (15)

  1. 　楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得し、
    　前記取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定し、
    　基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較し、
    　前記比較した結果を前記設定された補正値で補正し、
    　前記補正した結果を出力する、歌唱評価方法。
  2. 　前記補正した結果を出力する際に、前記補正した結果を報知する、請求項１に記載の歌唱評価方法。
  3. 　前記楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得する際には、複数の演奏操作子が演奏操作されることによりそれぞれ発せられる音のピッチを取得し、
    　前記取得されたピッチと基準音のピッチとのずれ量に基づいて前記補正値を設定する際には、複数得られる前記ずれ量のそれぞれに所定の重み付けをすることを経て前記補正値を設定する、請求項１または２に記載の歌唱評価方法。
  4. 　前記所定の重み付けは、所定の音域の重み付けを他の音域よりも強くすることである、請求項３に記載の歌唱評価方法。
  5. 　前記基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較する際には、前記楽器の演奏と並行して歌唱される音を前記歌唱音として取得する、請求項１～４のいずれか１項に記載の歌唱評価方法。
  6. 　前記楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得するにあたって、前記少なくとも１つの演奏操作子を指定し、指定した演奏操作子の操作を演奏者に促す、請求項１～５のいずれか１項に記載の歌唱評価方法。
  7. 　前記取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定する際の対象音域を設定し、設定した対象音域内で、前記楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得する、請求項１～６のいずれか１項に記載の歌唱評価方法。
  8. 　楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得する取得部と、
    　前記取得部により取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定する設定部と、
    　基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較する比較部と、
    　前記比較部による比較の結果を前記設定部により設定された補正値で補正する補正部と、
    　前記補正部により補正された結果を出力する出力部と、を有する歌唱評価装置。
  9. 　前記出力部は、前記補正された結果を報知する請求項８に記載の歌唱評価装置。
  10. 　前記取得部は、複数の演奏操作子が演奏操作されることによりそれぞれ発せられる音のピッチを取得し、
    　前記設定部は、複数得られるずれ量のそれぞれに所定の重み付けをすることを経て前記補正値を設定する請求項８または９に記載の歌唱評価装置。
  11. 　前記所定の重み付けは、所定の音域の重み付けを他の音域よりも強くすることである請求項１０に記載の歌唱評価装置。
  12. 　前記比較部は、前記基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較する際には、前記楽器の演奏と並行して歌唱される音を前記歌唱音として取得する請求項８～１１のいずれか１項に記載の歌唱評価装置。
  13. 　前記取得部は、前記楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得するにあたって、前記少なくとも１つの演奏操作子を指定し、指定した演奏操作子の操作を演奏者に促す請求項８～１２のいずれか１項に記載の歌唱評価装置。
  14. 　前記取得部は、前記設定部が前記補正値を設定する際の対象音域を設定し、設定した対象音域内で、前記楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得する請求項８～１３のいずれか１項に記載の歌唱評価装置。
  15. 　歌唱評価方法をコンピュータに実行させるプログラムであって、
    　前記歌唱評価方法は、
    　楽器の少なくとも１つの演奏操作子が演奏操作されることにより発せられる音のピッチを取得し、
    　前記取得されたピッチと基準音のピッチとのずれ量に基づいて補正値を設定し、
    　基準となるメロディのピッチと歌唱者による歌唱音のピッチとを比較し、
    　前記比較した結果を前記設定された補正値で補正し、
    　前記補正した結果を出力する、プログラム。
PCT/JP2018/011109 2018-03-20 2018-03-20 歌唱評価方法及び装置、プログラム WO2019180830A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011109 WO2019180830A1 (ja) 2018-03-20 2018-03-20 歌唱評価方法及び装置、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011109 WO2019180830A1 (ja) 2018-03-20 2018-03-20 歌唱評価方法及び装置、プログラム

Publications (1)

Publication Number Publication Date
WO2019180830A1 true WO2019180830A1 (ja) 2019-09-26

Family

ID=67986065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011109 WO2019180830A1 (ja) 2018-03-20 2018-03-20 歌唱評価方法及び装置、プログラム

Country Status (1)

Country Link
WO (1) WO2019180830A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660283A (zh) * 2019-10-12 2020-01-07 南阳师范学院 一种教学钢琴及钢琴教学方法
CN111785238A (zh) * 2020-06-24 2020-10-16 腾讯音乐娱乐科技（深圳）有限公司 音频校准方法、装置及存储介质
CN113889127A (zh) * 2021-09-27 2022-01-04 李子晋 一种基于音频特征的最适歌唱音域检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015211A (ja) * 2006-07-06 2008-01-24 Dds:Kk ピッチ抽出方法、歌唱力評価方法、歌唱訓練プログラム及びカラオケ装置
JP2015069053A (ja) * 2013-09-30 2015-04-13 株式会社第一興商 ストレッチチューニングを考慮して歌唱採点を行うカラオケ装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015211A (ja) * 2006-07-06 2008-01-24 Dds:Kk ピッチ抽出方法、歌唱力評価方法、歌唱訓練プログラム及びカラオケ装置
JP2015069053A (ja) * 2013-09-30 2015-04-13 株式会社第一興商 ストレッチチューニングを考慮して歌唱採点を行うカラオケ装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660283A (zh) * 2019-10-12 2020-01-07 南阳师范学院 一种教学钢琴及钢琴教学方法
CN111785238A (zh) * 2020-06-24 2020-10-16 腾讯音乐娱乐科技（深圳）有限公司 音频校准方法、装置及存储介质
CN111785238B (zh) * 2020-06-24 2024-02-27 腾讯音乐娱乐科技（深圳）有限公司 音频校准方法、装置及存储介质
CN113889127A (zh) * 2021-09-27 2022-01-04 李子晋 一种基于音频特征的最适歌唱音域检测方法

Similar Documents

Publication Publication Date Title
US6856923B2 (en) Method for analyzing music using sounds instruments
US9607593B2 (en) Automatic composition apparatus, automatic composition method and storage medium
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
US9460694B2 (en) Automatic composition apparatus, automatic composition method and storage medium
JP4934180B2 (ja) 撥弦楽器演奏評価装置
US8859872B2 (en) Method for giving feedback on a musical performance
CN109979483B (zh) 音频信号的旋律检测方法、装置以及电子设备
CN108257588B (zh) 一种谱曲方法及装置
JP4479701B2 (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
WO2023040332A1 (zh) 一种曲谱生成方法、电子设备及可读存储介质
WO2019180830A1 (ja) 歌唱評価方法及び装置、プログラム
JP6539887B2 (ja) 楽音評価装置及びプログラム
JP5782972B2 (ja) 情報処理システム，プログラム
JP2009014802A (ja) コード名検出装置及びコード名検出用プログラム
JP5807754B2 (ja) 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP6604307B2 (ja) コード検出装置、コード検出プログラムおよびコード検出方法
US7385130B2 (en) Music selecting apparatus and method
KR20190140420A (ko) 색소폰 연주 평가 시스템 및 이를 이용한 단계별 색소폰 연주 평가 방법
JP2008040258A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP4367156B2 (ja) 調律装置及びそのプログラム
JP2015001586A (ja) 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP2005234304A (ja) 演奏音判定装置および演奏音判定プログラム
CN113744760B (zh) 一种音高识别方法、装置、电子设备及存储介质
JP6315469B2 (ja) カラオケ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18910676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18910676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP