WO2005081222A1 - 演奏指示に従って演奏された自然楽器の楽音判定装置、楽音判定プログラムおよび該プログラムを記録した媒体 - Google Patents

演奏指示に従って演奏された自然楽器の楽音判定装置、楽音判定プログラムおよび該プログラムを記録した媒体 Download PDF

Info

Publication number
WO2005081222A1
WO2005081222A1 PCT/JP2005/002244 JP2005002244W WO2005081222A1 WO 2005081222 A1 WO2005081222 A1 WO 2005081222A1 JP 2005002244 W JP2005002244 W JP 2005002244W WO 2005081222 A1 WO2005081222 A1 WO 2005081222A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
sound
model
power spectrum
musical instrument
Prior art date
Application number
PCT/JP2005/002244
Other languages
English (en)
French (fr)
Inventor
Ren Sumita
Naoyuki Tanaka
Original Assignee
Kabushiki Kaisha Kawai Gakki Seisakusho
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004044587A external-priority patent/JP4492932B2/ja
Priority claimed from JP2004044588A external-priority patent/JP2005234304A/ja
Priority claimed from JP2004047809A external-priority patent/JP4530199B2/ja
Priority claimed from JP2004047808A external-priority patent/JP4609921B2/ja
Priority claimed from JP2004056234A external-priority patent/JP2005249844A/ja
Application filed by Kabushiki Kaisha Kawai Gakki Seisakusho filed Critical Kabushiki Kaisha Kawai Gakki Seisakusho
Publication of WO2005081222A1 publication Critical patent/WO2005081222A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10F—AUTOMATIC MUSICAL INSTRUMENTS
    • G10F1/00—Automatic musical instruments
    • G10F1/02—Pianofortes with keyboard
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music

Definitions

  • the present invention relates to a determination device for determining a musical tone of a natural musical instrument played in accordance with a performance instruction, and more particularly, to a power spectrum for determining whether or not a force played as instructed by performance instructing means such as key pressing instructing means.
  • the present invention relates to an apparatus for determining a musical tone of a natural musical instrument, which is performed by collating a musical instrument. Background art
  • This device has waveform data of musical performances and a means for extracting waveform data of a frequency component corresponding to a fundamental tone and detecting the envelope data thereof.
  • a storage means for storing fundamental sound envelope data is provided, and the detected envelope data is compared with the stored fundamental sound envelope data by cross-correlation to determine a musical instrument sound.
  • the configuration of this device is very complicated, and it is particularly difficult for software to process envelope data comparison and musical instrument sound judgment in real time.
  • the determination as to whether or not the player has performed as directed is influenced by external noise.
  • the purpose is to exclude receiving.
  • the spectrum storage means may store a power spectrum of a natural musical instrument sound performed prior to the performance instruction as a single-tone model.
  • the performance instruction when the performance instruction is a chord performance instruction, a single tone model corresponding to a pitch of a component sound of the chord read out from the spectrum storage means is synthesized. It has a vector synthesizing means for outputting to the spectrum comparing means for comparison with the power spectrum of the performance sound.
  • the present invention provides a high-speed section detecting means for previously detecting a predetermined phrase having a high performance speed based on the performance information, and a technique for detecting the attack sound for a performance instruction corresponding to the phrase. Means for omitting the processing by the means and executing the judgment by the comparing means on the input sound after the performance instruction, regardless of the presence or absence of the attack.
  • the apparatus further includes means for increasing an allowable range for the match determination by the determination means as expected reverberation increases as the reverberation increases.
  • the power spectrum characteristic of the performance sound for each pitch of the natural musical instrument is set in advance, and the match determination result of the determination means is provisionally determined, and the power spectrum of the performance sound is added to the power spectrum.
  • the provisional determination is made to be the final determination.
  • the frequency resolution of the FFT means is made fine in the bass range.
  • the present invention provides a musical score including a plurality of measures, display means for displaying a musical instruction symbol indicating a musical note to be played next on the musical score, and a timing symbol indicating a musical timing, and an instruction using the timing symbol.
  • the performance sound determining means for determining whether or not the note indicated by the performance instruction symbol has been played correctly, and when the performance sound determination means determines that the performance has been correctly performed, the performance instruction symbol is replaced with the next.
  • a display control means for advancing to the position of a note to be played; and a score following the currently displayed score when at least one of the performance timing symbol and the performance instruction symbol is advanced to a predetermined time. Means for rewriting the currently displayed musical score.
  • the rewriting of the musical score is performed while maintaining the display position of at least one of the performance timing symbol and the performance instruction symbol and the rewriting progress position at a predetermined interval.
  • the predetermined interval is determined such that the display coordinates in the horizontal direction of the display position of at least one of the performance timing symbol and the performance instruction symbol coincide with the rewriting progress position.
  • the musical score is displayed on one screen with a plurality of bars including a plurality of bars arranged vertically, and the predetermined time is at least one of the bars displayed on the second and subsequent bars.
  • the performance timing is set.
  • the musical score is displayed in one line on one screen, and the predetermined time is when display of at least one of the performance timing symbol and the performance instruction symbol has progressed to half of one paragraph.
  • the present invention provides an accompaniment means for automatically accompaniment according to scheduled performance information, and a performance sound judging means capable of correctly performing even when a note indicated by the performance instruction symbol is played for a predetermined time. Means for temporarily stopping the automatic accompaniment when the judgment result of the judgment is not obtained.
  • the performance sound determining means performs FFT processing on digital data of a natural musical instrument performance sound performed according to a performance instruction and calculates a power spectrum of the digital data. Power spectrum power calculated in the above-described manner whether or not the distance from the pitch included in the performance instruction in the power spectrum for each pitch of the natural instrument sound stored in advance is within a predetermined threshold value And comparing means for judging that the performance has been performed correctly when the distance is within a predetermined threshold value.
  • the present invention takes a performance sound generated by actually playing a natural musical instrument at the time of model creation, and performs a model creation process of creating a power spectrum of the performance sound as a model for sounds of the same pitch. If the created model matches at least twice, the model is stored.
  • the range of model creation can be automatically set in accordance with the selection of a song to be lesson or the level of the performer at the time of model creation.
  • the sound of the pitch instructed by the performance can be generated as the sound source power.
  • the volume of the performance sound generated by actually playing the natural musical instrument at the time of model creation is compared with a threshold, and when the volume of the performance sound continuously falls below the threshold for a certain period of time, it is determined that there is no sound. You can move on to the next model creation.
  • the performance sound generated by actually playing the natural musical instrument is level-adjusted and captured, and the captured performance sound is adjusted for the volume of the level-adjusted performance sound and the noise captured in the level-adjusted state. Attack is detected by comparing with threshold set based on volume Then, the power spectrum of the performance sound when an attack is detected is calculated and stored as a model.
  • the volume of the performance sound generated by actually playing the natural instrument at the time of model creation is compared with a threshold, and when the volume of the performance sound continuously falls below the threshold for a certain period of time, it is determined that there is no sound, and the next state is determined. Move on to model creation.
  • a performance sound generated by actually playing a natural musical instrument at the time of model creation is captured, a power spectrum of the captured performance sound is obtained, and a frequency component lower than a fundamental frequency of a pitch for which a model is to be created. Is stored as a model.
  • the single-tone model is created and stored from the performance sounds of the natural musical instrument currently used for the performance, even if the natural musical instrument is insufficiently tuned, if the natural musical instrument is played correctly, the single spectrum is obtained. And the accuracy of the performance can be determined.
  • the process of comparing the synthesized power spectrum of the single-tone model with the power spectrum of the performance sound Since the process only needs to be performed once, the calculation time can be reduced.
  • the present invention it is determined that an attack has occurred when the amount of increase in the power spectrum of a musical instrument sound played according to a performance instruction is greater than expected. Then, the power spectrum of the musical instrument performance sound is stored in advance, and when the power spectrum of each pitch of the natural musical instrument sound matches the pitch included in the performance instruction, it is determined that the performance has been performed as instructed. Then, the performance instruction proceeds.
  • the calculation for the next FFT window following the calculation for the previous FFT window requires that the input data be equal to the length of the FFT window. Even if the data is not newly input, it can be executed if the data for the time shifted to partially overlap the FFT window is input after the previous calculation. Therefore, an attack that appears immediately after the preceding FFT window is executed within a short period of time following the calculation for the previous FFT window, without waiting for the next data for the length of the FFT window to be input. Is detected in the calculation for the next FFT window.
  • the performance instruction is displayed on a display device of the computer, and the performance instruction is advanced when the power spectrum of the performance sound substantially matches the power spectrum of the natural instrument sound stored in advance.
  • the shift time for determining the overlap time of the FFT window can be adjusted according to the computer's ability, the presence or absence of an attack can be determined as fast as possible within the ability of the computer.
  • the power spectrum below the fundamental frequency of the model is removed, the power spectrum having a power lower than the maximum power of the medium noise of the power spectrum to be modeled is removed, or the performance sound is removed.
  • FIG. 3 is a diagram showing an example of a key press instruction display.
  • FIG. 4 is a block diagram showing main functions of a spectrum creation unit.
  • FIG. 8 is a functional block diagram of a main part of a lesson system according to a second embodiment.
  • FIG. 11 is a diagram showing the relationship between input data and the position of an FFT window.
  • FIG. 13 is a diagram (part 2) illustrating a relationship between input timing of input data and processing timing that can eliminate a delay in attack detection.
  • FIG. 14 is a diagram showing the relationship between the input timing of input data and the position of an FFT window according to an example in which a delay in attack detection can be eliminated.
  • FIG. 16 is a diagram showing an example of a screen displayed so as to be a reference for input when setting a range.
  • FIG. 17 is a diagram showing a display example of a model key pressing instruction.
  • FIG. 20 is a diagram showing an example of a power spectrum at the time of an attack when the key is strongly pressed.
  • FIG. 23 is a diagram showing a power spectrum with an FFT value that does not take a log of a weakly played sound.
  • FIG. 24 A diagram showing main functions of a CPU for determining a performance sound when an FFT value without a log is used as a model.
  • FIG. 25 is a diagram showing an example of a musical score accompanied by a key press instruction drawn on a display screen.
  • FIG. 27 is a diagram showing an example of key press display after a musical score has been rewritten.
  • FIG. 28 is a diagram illustrating an example of a key press instruction displaying a musical score in one row.
  • FIG. 29 is a flowchart showing a key pressing instruction process.
  • FIG. 30 is a flowchart showing a process of displaying a musical score on a single screen in a plurality of rows.
  • FIG. 31 is a flowchart showing a process of displaying musical scores one by one on one screen.
  • FIG. 32 is a flowchart showing a process in a model creation phase.
  • FIG. 34 is a block diagram showing a detailed configuration of a microphone and an AZD variable part.
  • FIG. 35 is a diagram showing an example of volume display.
  • FIG. 36 is a characteristic diagram of pitch versus volume maximum value.
  • FIG. 37 is a diagram showing an example of a key press instruction at the time of model creation.
  • FIG. 38 is a diagram showing a change in volume after the key of the lowest tone (note number 21) is released.
  • FIG. 39 is a diagram showing a change in volume after releasing the key of the lowest tone (note numberer 48).
  • FIG. 40 is a partially enlarged view of FIG. 39.
  • FIG. 41 is a diagram showing a power spectrum immediately after an attack.
  • FIG. 42 is a diagram showing a power spectrum approximately 1.4 seconds after an attack.
  • FIG. 43 is a diagram showing a power spectrum approximately 4.1 seconds after an attack.
  • FIG. 44 is a diagram showing a power spectrum approximately 5.8 seconds after an attack.
  • FIG.45 shows the power spectrum obtained when the model creation sound (note number 50) was pressed.
  • FIG. 46 is a diagram showing a volume change obtained when the highest note (note number 108) is pressed.
  • FIG. 47 is a flowchart showing a process in a lesson phase.
  • FIG. 48 is a flowchart showing an example of a comparison process.
  • FIG. 49 is a diagram illustrating an example of a spectrum of a sound captured from a microphone.
  • FIG. 50 is a diagram showing examples of power spectra before and after noise removal.
  • FIG. 51 is a diagram showing examples of waveforms before DC removal and after DC removal.
  • FIG. 1 is a block diagram showing a system configuration of a musical tone judging device, which is a piano key pressing judging device.
  • the key press determination device 1 advances the key press instruction to the next step when the musical tone according to the key press instruction is played on the acoustic piano P.
  • the key press determination device 1 includes a microphone 10, an A / D converter 6, a spectrum creation unit 12, a spectrum storage unit 3A, a spectrum comparison unit 14, a performance information storage unit 3B, a key press instruction unit 15, a mode switching unit 19, and a display device. Consists of eight.
  • each component of the key press determination device 1 except for the microphone 10 includes a CPU, a ROM, a RAM, software on a personal computer including an interface for receiving an audio signal input from the microphone 10, and the like.
  • This can be realized by hardware.
  • the display device 8 a well-known display means for displaying the processing result of the personal computer, such as a liquid crystal display or a cathode ray tube, can be used.
  • the performance information storage unit 3B may be an external storage device.
  • the performance information storage unit 3B stores performance information of music.
  • FIG. 2 is a diagram showing a format example of performance information.
  • the performance information stores at least event data and timing data indicating the timing of reading out the event data.
  • the event data also includes note-on data and note-off data including note pick-up.
  • the timing data is set as, for example, information on the end of one event and the time until the next event occurs.
  • the event data and the timing data are stored according to the address progress as shown in the figure.
  • a model creation instruction can be input using an input key of a personal computer.
  • the mode switching unit 19 is switched to the spectrum storage unit 3A.
  • the performance sound of each key of piano P is captured one by one by microphone 10 to create a single-tone model.
  • the performance sound of the piano P is collected by the microphone 10 and input from the microphone 10 to the AZD converter 6.
  • AZD Transformer 6 converts an analog tone signal, which also has microphone input, into a digital tone signal.
  • the scale creating unit 12 has a fast Fourier transform function, and performs a Fourier transform on the digital musical tone signal input from the AZD converter 6 to calculate a power vector.
  • the mode switching unit 19 is The calculated power spectrum is input to the spectrum storage unit 3A and stored as a single tone model for each key, that is, for each note number.
  • An external storage device 9 such as a flexible disk can be provided to store the single-tone model stored in the spectrum storage unit 3A. This is in order to save the trouble of creating a single-tone model for each performance.
  • the performance information is read from the performance information storage unit 3B to the key pressing instruction unit 15 in response to the key pressing instruction start instruction, and a table for displaying the key pressing instruction on the display device 8 is displayed. Indication data is created.
  • the key press instruction start instruction can be input using a force input key on a personal computer.
  • the display device 8 displays a key press instruction according to the display data supplied from the key press instruction unit 15. An example of the key press instruction display will be described later with reference to FIG.
  • the pitch to be depressed that is, the note number
  • the spectrum storage section 3A outputs a single tone model corresponding to the input note number, and the single tone model is input to the statutory comparison unit 14.
  • the performance sound of each key of the piano P played according to the key press instruction display on the display device 8 is captured by the microphone 10.
  • the performance sound of the piano P is input from the microphone 10 to the AZD converter 6, and the AZD converter 6 converts the input analog tone signal into a digital tone signal.
  • the scaler creating unit 12 has a fast Fourier transforming capability, and calculates the power spectrum by Fourier transforming the input digital musical tone signal.
  • the mode switching unit 19 is switched to the spectrum comparing unit 14 in response to the key pressing instruction start instruction, so that the calculated power spectrum corresponding to the performance sound is input to the spectrum comparing unit 14. You.
  • the spectrum comparing section 6 compares the spectrum of the performance sound of the piano P created by the spectrum creating section 12 with the single-tone model input from the spectrum storage section 3A. The comparison of the Noworth vectors will be described later.
  • the spectrum comparing unit 14 inputs a matching signal to the key press instructing unit 15.
  • the key press instructing section 15 advances the read address of the performance information storage section 3B and reads the next performance information.
  • the display of the display device 8 advances the key press instruction in accordance with the display data updated according to the read performance information.
  • the match signal is not output from the statutory comparing unit 14, so that the next performance information is not read. If the player performs again and the power spectrum of the performance sound matches the single-tone model, the key press instruction proceeds. If the power spectra do not match, it is preferable that the display device 8 can display an error message prompting the user to press the key again.
  • FIG. 3 is a diagram showing an example of a display screen of the display device 8, in which a key is pressed by a piano roll, that is, a scroll display method.
  • a keyboard figure K is displayed at the bottom of the display screen 81, and a key press instruction mark M is displayed above it.
  • the upper and lower parts are the time axis, and the key press instruction mark M is closer to the keyboard figure K, which means that the musical tone should be played earlier.
  • the key press instruction mark M is displayed at a position corresponding to the key to be pressed, with a length corresponding to the note length, and when the power spectrums match, scroll down.
  • the key currently to be pressed is indicated by the mark m.
  • the key pressing instruction of two measures is simultaneously displayed on one screen
  • the size of the screen to be displayed simultaneously that is, the range of the displayed performance information is arbitrary.
  • a performance instructing device that simultaneously displays a key-pressing instruction mark and a keyboard figure based on performance information and scroll-displays the key-pressing instruction mark is disclosed in, for example, Japanese Patent Application Laid-Open No. 9-305171.
  • the display format of the key press instruction is not limited to the method of scrolling the mark with respect to the keyboard figure, but may be the musical score format, that is, the system of scrolling the notes displayed on the staff notation.
  • an indicator with LEDs is installed at the position corresponding to each key along the keyboard of Piano P, and the key corresponding to the key to be pressed is lit to display the key press instruction. It may be something.
  • FIG. 4 is a block diagram showing main functions of the spectrum creating section 12.
  • the spectrum creating section 12 can include a Fourier transform section 121, an attack detecting section 122, and a buffer 123.
  • the attack detector 122 detects the level It has a section 124, a buffer 125, a level increase calculating section 126, and a level increase determining section 127.
  • the Fourier transform unit 121 extracts the input digital musical tone signal at predetermined time intervals, converts the digital musical tone into a spectrum, and outputs it to the buffer 123.
  • the level detector 124 detects the level of each frequency component of the power spectrum output to the buffer 123 and stores the level in the buffer 125.
  • the level increase calculating section 126 sums up the difference between the level of each frequency component of the current power spectrum input from the level detecting section 124 and the previously detected powers vector held in the buffer 125, and calculates the difference from the previous calculation. Calculate the level increase of.
  • the level increase determination unit 127 determines that an attack has been detected, and reads the power spectrum from the buffer 123 to the spectrum storage unit 3A.
  • the detection of the attack of the input digital musical tone signal and the extraction of the power stutter are performed as early as possible to detect whether the correct key is pressed. Is desirable. It is preferable to detect an attack based on the level increase of the power spectrum in such a manner as to detect an attack in a performance with reverberation of the sound played earlier.
  • attack detection when creating a single sound model does not depend on such a method, but simply determines that the attack has been detected when the volume or amplitude exceeds a threshold value that is equal to or higher than the expected noise volume or amplitude. You can also do that. This is because it is necessary to input the performance sound to create a model for each single note, so that reverberation and the like need not be considered.
  • FIG. 5 is a block diagram showing main functions of the spectrum comparison unit 14.
  • the spectrum comparing section 14 includes a distance calculating section 141, a distance totaling section 142, and a distance determining section 143.
  • Distance calculating section 141 calculates, for each frequency component, a Brookfield distance between the power spectrum input from spectrum storage section 3A and the power spectrum input from spectrum creating section 12. According to the Euclidean distance, the difference between two values is squared, and as a result, the difference is emphasized, so that it is easy to determine whether the two values match.
  • Distance totaling section 142 totals the Euclidean distances for each frequency component.
  • the distance judging unit 143 determines whether the total of the Euclidean distances is equal to or less than a predetermined threshold value. It is determined whether or not one spectrum matches, and if so, a match signal is output.
  • the distance calculation unit 141 determines how much the power spectrum level input from the spectrum creation unit 12 is insufficient, and the spectrum storage unit 3A is insufficient for the level of the input power spectrum. May be calculated for each frequency component, and the distance totaling unit 142 may calculate the total of the shortfall. This is more convenient for instruments with a lot of reverberation, such as pianos.
  • the threshold value used in distance determination section 143 is not a fixed value, but the force at the time of the previous attack detection can also be changed according to the time until the current attack detection. That is, if the time is short, the threshold value is increased to loosen the criterion for determining the match of the power spectrum. If the time is long, the threshold value is reduced and the criterion for determining the match of the power spectrum is strict.
  • FIG. 6 is a block diagram showing a function for comparing key presses of chords.
  • spectrum storage section 3A When a key press instruction of a chord is input from key press instructing section 15, spectrum storage section 3A outputs a power spectrum of each sound constituting the chord to spectrum synthesizing section 20.
  • the synthesis of chords is performed by adding the power spectrum of each sound, that is, the single-tone model.
  • a single sound model may be weighted according to the volume to be played of each sound, and then its power spectrum may be added. The magnitude of the volume to be played can be determined, for example, by velocity data that can be included in the performance information.
  • the chord performance sound played on the piano P is captured by the microphone 10 according to the key press instruction display on the display device 8.
  • the playing chord of the piano P is input from the microphone 10 to the AZD transformer 6, converted into a chord digital signal, and supplied to the spectrum comparing unit 14.
  • a single sound model was created based on the performance sound of the piano P, and the single sound model was compared with the performance sound of the piano P.
  • the judgment is made by comparing the performance sounds of the same piano P, so that it is possible to reliably determine whether or not the piano P can be played according to the key press instruction. It is.
  • the present invention is not limited to this, and can also be applied to a case where a single-tone model separately created from performance sounds of another piano is read from the external storage device 19 into the spectrum storage unit 3A and used.
  • the present invention is not limited to using the single-tone model of the power spectrum.
  • the waveform of the performance sound may be stored and used as a single-tone model, or the peak position of the power spectrum, that is, the frequency of the fundamental wave may be used as the single-tone model. Good.
  • the spectrum comparing section 14 naturally compares the waveform of the performance sound of the piano P and the frequency of the fundamental wave with the single-tone model.
  • the present invention can be applied not only to the determination of key depression of a piano, but also to the determination of performance sounds of various natural musical instruments such as an organ, an accordion, a harmonica, a recorder, and a guitar.
  • an attack is detected as follows. First, fast Fourier transform (FFT) is performed on the input sound from the microphone. Then, the detected power spectrum power is calculated as to how much the power is increased with respect to the power spectrum detected last time. Then, when the degree of increase is equal to or greater than the threshold value, it is determined that an attack has occurred.
  • FFT fast Fourier transform
  • the FFT is performed for each predetermined FFT window length, and if no attack is detected during the window time, the FFT is performed again within the next window time.
  • the window time of the FFT is long V, so processing must be performed for each window length in this way! /, Otherwise, the detection of an attack will be delayed.
  • the processing cannot be performed in time and an attack cannot be detected.
  • the highest sound of an acoustic piano has a sound duration of only about 40 ms! /, But if a 1024-point FFT is performed at 11025 Hz, the window time becomes about 93 ms, and the moment of attack is captured. I can't.
  • FIG. 7 is a block diagram of a piano lesson system according to a second embodiment of the musical sound determination device of the present invention.
  • a key press instruction including an instruction of a key or pitch of a piano and an instruction of a key press timing is displayed, and a player sequentially performs in accordance with the key press instruction. I will proceed.
  • the specific processing consists of a model creation phase and a lesson phase.
  • the model creation phase prior to the lesson, the power spectrum of the sound generated from each key of the piano used in the lesson is stored as a single-tone model.
  • the display for the key press instruction is performed (an example of the key press instruction is described with reference to FIG. 3), and the power vector of the performance sound performed according to the key press instruction and the single-tone model are displayed. Are compared, and if the power spectra of both are within the predetermined distance, the key press instruction is advanced.
  • the main part of the lesson system shown in Fig. 7 is a personal computer including a CPU1, ROM2, RAM3, sound source device 4, speaker 5, AZD translator 6, input device (keyboard and mouse) 7, and display device 8.
  • a well-known display means for displaying a processing result of a personal computer such as a liquid crystal display cathode ray tube, can be used.
  • An external storage device 9 is connected to the personal computer, and a microphone 10 is connected via an A / D converter 6.
  • the microphone 10 is provided to collect the generated sound of the piano P, and is preferably disposed in the piano P.
  • FIG. 8 is a block diagram showing the function of CPU 1, that is, the configuration of the determination device.
  • the CPU 1 includes a sound volume measuring unit 11, a spectrum creating unit 12, an attack detecting unit 13, a spectrum comparing unit 14, a key press instructing unit 15, and a face switching unit 19 as main functions. That is, these main functions are realized as software executed by the CPU 1. Of course, these main functions may be configured by hardware.
  • Volume measuring section 11 detects the level (volume) of the sound input from microphone 10 through AZD transformer 6.
  • the spectrum creating section 12 has an FFT function for obtaining a power spectrum from a digital tone signal input through the microphone 10 and the AZD converter 6. To do.
  • the phase switching unit 19 is switched to the spectrum storage unit 3A, and the power spectrum obtained by the FFT is stored in the spectrum storage unit 3A in the RAM 3.
  • the power spectrum may be stored in the external storage device 9.
  • the phase switching unit 19 is switched to the spectrum comparison unit 14 side.
  • the attack detection unit 13 detects an attack based on the detected power spectrum.
  • the spectrum comparison unit 14 compares the distances of the power spectra created by the spectrum creation unit 12 to determine whether the performance has been performed according to the key press instruction.
  • the key press instructing section 15 creates display data for key press instruction display on the display device 8 according to the performance information stored in the performance information storage section 3B. The display data is created by the key press instructing unit 15 in response to the performance start instruction input from the input device 7 in the lesson phase, and is input to the display device 8.
  • FIG. 9 is a flowchart showing processing of the CPU 1 regarding the model creation phase.
  • step S1 a screen for prompting selection of a song is displayed on the display device 8. If a song is selected using the input device 7 (Yes at step S2), the process proceeds to step S3, where the performance information of the selected song is read from the performance information storage unit 3B, and the performance information is scanned and Detect the range of the song. This is for creating a single-tone model in this range. The range in which the single-tone model is created does not have to be determined according to the music selection.
  • the performer may directly input the musical range, or a screen may be displayed so that the skill level can be selected instead of the music selection, and the skill level power may be determined according to the screen display (described later with reference to FIG. 15).
  • the range of the selected song may be displayed so that the player can directly input the range (see below with reference to FIG. 16).
  • step S4 the pitch of the single-tone model to be recorded is determined. Initially, the lowest pitch in the above range is determined as the recording pitch.
  • step S5 the recorded pitch is displayed on the display device 8 as a key-pressing instruction for recording a single-tone model (in distinction from the key-pressing instruction in the lesson phase, such as “model key-pressing instruction”) (described later with reference to FIG. 17). Do).
  • the model key depression instruction may be such that tone data corresponding to the pitch is created using the sound source device 4 irrespective of the display device 8, and sound is generated by the speaker 5. Further, the instruction by sound generation may be performed together with the display by the display device 8. [0108]
  • step S6 the sound volume measurement by the sound volume measurement unit 11 is started.
  • step S7 it is determined whether or not the volume exceeds a threshold value for detecting an attack. If the determination is affirmative, the process proceeds to step S8 assuming that an attack has been detected.
  • step S8 a power spectrum is calculated by the FFT, and the power spectrum and the volume at the time of the power spectrum calculation are temporarily stored in the RAM3.
  • step S9 the display device 8 is instructed to prompt key release.
  • the key release instruction may be a display on the display device 11 or a sound or voice instruction from the speaker 5.
  • step S10 it is determined whether or not the volume has become equal to or less than a threshold for detecting silence. If the volume falls below this value, it is determined that the sound is substantially silent, and the process proceeds to step S11.
  • step S11 it is determined whether or not the maximum value of the volume from the model key press instruction to the key release instruction is within the allowable range. If the maximum volume is not within the allowable range, it is determined that the note has been played extremely strongly or extremely weakly, and it is not appropriate as a single tone model. Therefore, the process proceeds to step S5 to request a key press again.
  • the determination of whether the keystroke strength is appropriate based on the maximum value of the measured volume, not the volume level at which an attack is detected as detected does not necessarily mean that the volume is maximized at the time of the attack. This is because the volume usually reaches the maximum value after an attack is detected. Note that the key press strength may be determined based on the maximum value of the amplitude instead of determining based on the volume.
  • step S12 the power spectrum and the volume temporarily stored in step S8 are correlated as a single tone model of the pitch, and the statue storage unit 3A or It is stored in the external storage device 9.
  • step S11 If step S11 is negative, a message may be displayed so as to play with different keystroke strengths before proceeding to step S5. For example, if the volume is too high for the allowable range, “play more softly” is displayed, and if the volume is too low for the allowable range, “play more strongly” is displayed.
  • step S13 it is determined whether or not a single-tone model of the final tone (highest tone) of the range determined in step S3 has been created.
  • the process proceeds to step S5.
  • step S14 the pitch is raised to the pitch immediately above the pitch according to the scale, that is, a white key and a pitch that are not raised once. It is a good idea to raise the pitch of the black and black keys so that they can be individually and continuously pressed. If the pitch is raised once in order according to the scale, the white key and the black key may be alternately played, which does not correspond to the model key press instruction! The operation error of the key is likely to occur.
  • step S13 If a single phone model has been created up to the final note, step S13 is affirmative and the process of this model creation phase ends.
  • FIG. 10 is a flowchart showing processing of the CPU 1 regarding the lesson phase.
  • step S21 the single-tone model stored in step S12 is read.
  • step S22 a screen for prompting selection of a song to be lesson is displayed on the display device 8. This screen is created as a music list based on the lesson music data stored in the RAM 3 or the external storage device 9 in advance. It is also possible to display only the songs according to the skill level of the performer among the stored songs.
  • step S23 it is determined whether a lesson song has been selected. If a song to be used for the lesson has been selected (step S23: YES), the process proceeds to step S24 to play the performance information of the selected song. Read from the information storage unit 3B.
  • step S25 it is determined whether or not all pitches in the performance information of the selected music piece are included in the range of the selected single-tone model. If this determination is affirmative, the power to proceed to step S26 is negative, and if not, the process returns to step S22 to prompt the music selection again. If step S25 is negative, the process may return to the music selection, or the single-tone model may be selected again.
  • step S26 the pitch of the first musical tone of the selected lesson song is set as a variable in RAM3. Then, in step S27, a key press instruction is issued so that a key corresponding to this pitch can be played. In step S28, a model corresponding to the pitch of the key press instruction is read from the single tone models.
  • step S29 the power spectrum of the input sound from the microphone 10 is calculated by the function of the spectrum creating unit 12.
  • step S30 it is determined whether an attack has already been detected. Normally, an attack is detected only at the moment when the sound rises. However, even if an attack is detected again, the power spectrum at that time does not always match the single-tone model. Therefore, after the attack is detected once, while the same tone is being generated, the detection of the second and subsequent attacks is avoided by the determination in step S30. Initially, the determination in step S30 is negative, and the process proceeds to step S31 to perform attack detection. After the second time, the determination in step S30 becomes affirmative, and the process proceeds to step S34. Attack detection is determined based on whether or not the power increase in the power spectrum exceeds a predetermined amount. If an attack is detected, step S32 becomes affirmative, and an attack detection flag is set in step S33, and the process proceeds to step S34.
  • step S34 the function of the spectrum comparison unit 14 determines whether the power vector calculated in step S29 matches the single-tone model. This determination is made based on the sum of the distance between the power spectrum of the single-tone model and the power spectrum calculated in step S29. That is, the mutual distance is calculated for each frequency component, and it is determined whether or not the two spectra match, depending on whether or not the sum exceeds the threshold. It may be a simple comparison of the two power spectra, or a comparison of the power spectra weighted in accordance with the difference in volume between the power spectra. It is better to use the Euclidean distance. According to the Euclidean distance, the difference between two values is squared, and as a result, the difference is emphasized, and it is easy to determine whether the two values match.
  • a chord model is created, and in step S34, the chord model is compared with the power spectrum of the performance sound.
  • step S29 If the two power vectors match, the process returns to step S29. If the two power vectors match, the process proceeds to step S35 to reset the attack detection flag.
  • step S36 it is determined whether or not the power of the last musical tone of the performance information has been determined to be coincident between the power spectrum and the single-tone model. If the comparison processing with the single tone model for the last tone has not been completed, in step S37, the next Is set in RAM3 as a variable, and the flow advances to step S27.
  • step S38 the player is prompted to select whether or not to perform the lesson once again for the same song, or the process proceeds to step S39 to select another lesson. Or let the performer choose whether or not to perform a lesson for the current song.
  • step S38 When step S38 is affirmative, the process proceeds to step S26, and when step S39 is affirmative, the process proceeds to step S22. If step S36 and step S39 are negative, the lesson phase ends.
  • FIG. 11 is a diagram showing the relationship between input data and the position of the FFT window. Attack detection is performed on the sound data input from the microphone 10 for each of the FFT windows thus partitioned.
  • FIG. 12 is a diagram showing a relationship between input timing of input data and processing timing. For example, when input data starts to be accumulated at timing tO and the required amount of FFT is accumulated at timing tl, calculation starts for that input data. Judgment is made. If no attack is detected, the calculation is started again at timing t3 after waiting for data to be collected between timing tl and t3, and the calculation is completed at timing t4 to determine whether or not an attack force is present. You. According to this calculation timing, for example, an attack occurring between timings tl and t2 is detected at timing t4. In other words, it is detected when it is almost delayed by the length of the FFT window from the time of the actual attack.
  • FIG. 13 is a diagram showing the relationship between the input timing of input data and the processing timing which can eliminate the delay of the attack detection.
  • the FFT processing is started for the data input between the timing tO and the timing tl, and at the time t20 which is shifted from the timing tl by the time AL, the FFT window time immediately before the time t20 is changed.
  • Time AL is a preset value, for example, set to the length of 1Z4 of the FFT window.
  • the presence or absence of an attack based on the FFT processing is detected at a timing t21 after a lapse of the processing time ⁇ T from the start of the calculation. That is, the attack that occurred immediately after timing tl Is detected at timing t21.
  • the FFT processing is performed on the input data at the time when the FFT window is shifted by the predetermined shift time AL, such as the time tO force and the time 2AL, 3AL "-, and so on.
  • the attack can be detected in a shorter time than the process of detecting the attack at timing t4.
  • FIG. 14 is a diagram showing the relationship between the input data and the position of the FFT window according to the process of FIG. 13, which shifts the FFT window and performs the FFT process to eliminate the attack detection delay.
  • the FFT processing takes a long time depending on the processing capacity of the CPU 1, that is, the processing time ⁇ started from the timing tl, the shift time (shift time) is longer than the AL, the shift AL time is changed to the processing time ⁇ And the processing time is extended so as to be longer than ⁇ .
  • the shift A L time can be shortened in accordance with the processing time ⁇ .
  • the threshold of the increase in the power spectrum used to determine the presence or absence of an attack may be linked in accordance with the volume stored together with the power spectrum in the model creation phase. If an attack is not detected even after repeating the attack detection processing (steps S31 and S32), a value setting screen is displayed on the display device 8 to prompt the player to adjust the value.
  • FIG. 15 is a diagram showing a display example on the display device 8 for setting a range corresponding to a skill level on a display screen.
  • Fig. 15 shows the keyboard figure K.
  • the characters "Introduction”, “Beginner”, “Intermediate” and “Advanced” indicating the skill level, and each of the skill levels are shown.
  • the range corresponding to this is indicated by an arrow.
  • the range of the illustrated range corresponding to each level is set. For example, if the cursor is put on each character indicating the skill level on this screen and an instruction is input, the illustrated range corresponding to each level is set as the lesson range.
  • FIG. 16 is a diagram showing an example of a screen displayed as a reference for input when setting a sound range.
  • a key 16 shown in a color different from the white key and the black key is a key corresponding to the pitch included in the selected lesson tune.
  • the key 16 has a coarse dot pattern to distinguish it from other black keys and white keys because it cannot be colored in the figure.
  • the player can set the range so as to include all of these keys 16 with reference to the display of the pitch. For example, two arbitrary keys may be specified on the display screen, and the range of pitches in which these keys are the lowest note and the highest note may be set as the lesson range.
  • FIG. 17 is a diagram showing a display example of a model key pressing instruction.
  • a keyboard figure K displayed on the display device 8 shows a key position to be depressed for creating a single-tone model by a key 17 colored or patterned so as to be distinguishable from other keys. I have. The player can press the actual piano key according to the key 17 on the displayed keyboard figure K.
  • the mark 18 shown on the white key in the figure is for making it easy to recognize the key pressing position. By attaching a sticker etc. to the actual piano key corresponding to the same pitch as the key indicated by this mark 18 before creating the single tone model, the displayed keyboard figure K and the actual piano keyboard It becomes easier to respond to.
  • FIGS. 9 and 10 are programmed so as to be executable by the CPU 1, and can be provided by being recorded on a known recording medium such as a CD or a ROM.
  • a chord model is created by synthesizing the monophonic models of the constituent sounds at the time of comparison, and the power spectrum of the chord model and the power spectrum of the performance sound are similar to each other in the case of the monophonic. It is determined whether or not they are meeting.
  • chords have the following problems. If normalization is performed by volume for each sound model of each component sound, and then synthesis is performed, a chord model in which the power spectrum is excessively emphasized on the treble side where no loud sound is produced even when played strongly. As a result, the power spectrum of the treble side does not match the chord model unless it is played extremely strongly.
  • chords In the performance of chords, it is conceivable that as the number of chords increases, the characteristics of each constituent sound are buried, and it is determined that the power spectra match even if some of the constituent sounds are different. You.
  • the amount of the power spectrum differs depending on the pitch, and the total amount of the power sta- tles in the treble is smaller than that in the bass. Therefore, the power spectra are more likely to match than the bass. In other words, there is a possibility that the accuracy of determining whether or not the force has been correctly played is reduced.
  • the power spectrum match is determined by comparing the shortage of the power spectrum of the performance sound to the model with a threshold value, the difference in the octave or the difference in a part of the constituent sound of the chord is determined.
  • the power spectra are similar, it is conceivable that the power spectra are erroneously determined to match.
  • the bass part has a low frequency resolution, it is conceivable that the power spectra are erroneously determined to be identical because it is difficult to determine the difference between adjacent sounds by a semitone difference.
  • the power spectrum for determining whether or not the player can perform as instructed is We propose a method that can further improve the matching accuracy of.
  • a chord model is created by a method described later, and in step S34, the chord model is compared with the power spectrum of the performance sound.
  • the volume to be played is determined from the velocity value of the performance information, and the power spectrum is weighted such that the volume of the model and the performance sound is equal to this volume.
  • normalization is performed based on the sum of the volume of each constituent sound. If the performance sound is not a chord, the process skips steps S41 to S42 and proceeds to step S43.
  • step S47 the threshold value determined in step S45 is compared with the distance calculated in step S45. If the distance is equal to or less than the threshold value, it is determined that the power spectrum of the performance sound matches the model. If the distance is equal to or larger than the threshold value, it is determined that the power stat of the performance sound and the model do not match.
  • step S47 when it is determined that the distance is equal to or less than the threshold value, the performance sound and the key press instruction are further matched according to the presence or absence of a characteristic that should be present in the performance sound in the power spectrum of the performance sound. After determining whether or not the force is present, the final determination may be made (step S48). The characteristics that should be present in the performance sound will be described later.
  • FIG. 19 is a block diagram showing functions of CPU 1 for comparing power spectra when an input sound is a chord in a lesson phase.
  • the comparison of chords is performed by synthesizing a single-tone model and then using the chord model created and the power spectrum of the played chord.
  • the single tone model in the spectrum storage unit 3A is read out by the synthesizing unit 20 and synthesized according to the key pressing instruction from the key pressing instruction unit 15.
  • the synthesized single-tone model that is, the chord model, is normalized by the volume in the normalizing section 21 and input to the spectrum comparing section 14.
  • the performance sound input from the microphone 10 and converted into digital data by the AZD conversion ⁇ 6 is input to the spectrum creation unit 12, and the power spectrum is calculated.
  • the calculated power spectrum is input to the spectrum comparing section 14 and compared with the chord model. If the power spectra match as a result of the comparison, the result is notified to the key pressing instruction section 15 and the key pressing instruction is advanced.
  • regular shading is performed after the synthesis of the single-tone models, it is desirable that the single-tone models are created by tapping with substantially the same strength.
  • FIG. 20 shows an example of the power spectrum during attack when the key of the note numberer "60" is stronger
  • Fig. 21 shows the power vector during the attack when the key of the note numberer "60" is played lighter. This is an example.
  • the examples in FIGS. 20 and 21 are values normalized by sound volume, and are log values after FFT processing. As you can see, even if the same key is played, there is a difference in how harmonics are emitted depending on the strength of the keystroke. When the two are compared, the two may be judged to be inconsistent because the distance between the two is large.
  • FIG. 24 is a diagram showing the functions of the main part of the CPU 1 for determining the performance sound when a model that does not take a log is used as a model.
  • the phase switching unit 19 is switched to the spectrum storage unit 3A.
  • the spectrum creating section 12 calculates the power spectrum of the digital data of the musical tone input from the microphone 10 and AZD-converted by the AZD transformer 6. The result of the calculation, together with the pitch, is directly input to the spectrum storage unit 3 ⁇ as a value that does not take a log, and stored as a power spectrum model of the input data.
  • the phase switching unit 19 is switched to the spectrum comparison unit 14 side.
  • the input data that has been subjected to the FFT processing in the vector creating unit 12 is directly input to the spectrum comparing unit 14 as a power spectrum as a value that does not take a log together with the pitch.
  • the power spectrum stored in the spectrum storage unit 3A as a value that does not take a log is read out to the star comparison unit 14, and both power spectra are compared.
  • a value obtained by taking the log of the value after the FFT processing is used, and the high value of the power spectrum that is the value obtained by taking this log is used. It may be used by cutting the area side. Further, the performance sound waveform may be taken in through a lonos filter.
  • a method of determining the threshold value of the distance used in spectrum comparing section 14 will be described.
  • chords As the number of chords increases, the characteristics of each constituent sound are buried, and even if some of the constituent sounds are different from the key press instruction, the distance of the whole chord may match. Therefore, instead of fixing the threshold value, the threshold value is changed according to the number of chords. In other words, the larger the number of chords, the smaller the! / ⁇ ! / value (smaller! /, Distance value), and the stricter the criteria for matching power spectra.
  • the value may be automatically determined by judging the number of chords from the performance information, and the value may be selected. Alternatively, the player may select the value in advance according to the music.
  • the threshold value can be further changed depending on the pitch. This is because the total amount of power of the power spectrum is smaller on the treble side than on the bass side, so that the distance between the compared power spectra is small, and it is easy to determine that they match.
  • the threshold corresponding to the above chord number Assuming that a lower value is used for the note picker 60, for example, a threshold value for each pitch is obtained by the following equation.
  • N is the number of points in the FFT.
  • the threshold value T for the sum of the power spectrum amounts of the chord model when the threshold value for the sum of the power spectrum amounts of the note pickers 60 is Ts is obtained.
  • the threshold value T may be loosened in consideration of reverberation.
  • the reverberation can be estimated by the time difference between the previous attack and the current attack.
  • the threshold value T can be set to the threshold value modified by the following equation (2) and the value Ta.
  • Ta (1 + (FA-Fa) X e / FA) XT ...
  • e is a coefficient. According to the experiments of the present inventors, good comparison results were obtained when the time FA was set to 200 ms and e was set to “3”. When the time Fa exceeds the time FA, there is no effect due to reverberation. Therefore, the value T is used without modification.
  • the degree of reverberation is not limited to being estimated based on the time difference between attacks.
  • the timing difference of each musical tone may be detected based on the performance information, and the time difference between each musical tone may be detected, and this time difference may be applied to Expression 2 instead of the attack time difference.
  • You may judge the level of reverberation from the volume just before the attack. When it is determined that the damper pedal is depressed, the reverberation is determined to be large.
  • the threshold value of the distance is set. If the power spectrum is matched, the criterion for determining whether the power matches should be stricter.If the reverberation is determined to be large, the distance threshold value should be increased to loosen the criterion for determining whether the power spectrum matches. it can.
  • the threshold value determined according to the number of chords may be corrected, or either of them may be corrected. You can fix it.
  • a characteristic that should be present in a performance sound is, for example, the position (frequency) of a power spectrum.
  • a single note is characterized by the position of the largest powers vector.
  • the chord is characterized by comparing the single-tone models of the constituent sounds with each other, and finding the position of the largest peak among the peaks that exist only in the single tone.
  • the features are not limited to peaks, and each sound may have a plurality of features. In this case, even if all the features are not found, if some of the plurality of features are found, it may be determined that the performance sound matches the key press instruction.
  • the accompaniment by the automatic accompaniment device is advanced according to the performance information together with the key press instruction.
  • FFT fast Fourier transform
  • the performance sound is correct.
  • Judgment is delayed from real time.
  • the automatic accompaniment is stopped at the exact timing when the musical tone is present, and the judgment of the performance is waited. Since the accompaniment is not restarted, the accompaniment is interrupted and the performance cannot be performed smoothly.
  • the scrolling or switching is automatically performed. For example, the ability to scroll slowly at a speed in time for the performance, the last bar being displayed or the V being displayed, the next note switching at the same time when the last note was played, or Is adopted.
  • the performer since the score itself is moved in any of these scrolling methods, the performer may not be able to know where he or she was playing once he takes his eyes off the screen. Even if you do not keep your eyes away from the screen, you will find it difficult to pay attention to the key press instruction, and if you look at the music score, you will feel extra care.
  • the player can wait for a key-depression instruction with a margin by seeing a note a certain distance ahead of the score rather than displaying the note to be depressed immediately before! Desired ⁇
  • a performance instruction system for a natural musical instrument capable of easily following an accompaniment and a key press instruction and performing a smooth performance.
  • FIG. 25 is a diagram showing an example of a musical score accompanied by a key press instruction drawn on the display screen of the display device 8 according to the fourth embodiment, and is used in the lesson phase.
  • the score G is displayed in two rows on the display screen 81 of the display device 8.
  • the number of display stages is not limited to two as long as it is a plurality of stages, and the present invention can be applied to a case where a musical score is displayed one by one on one screen as described later.
  • the number of measures displayed in one row is not limited to four measures, and the measure width can be arbitrarily determined according to the width of the display screen 81. When displaying music in multiple columns The number of measures to be displayed may be different for each row.
  • a scroll bar 82 is displayed as an operation unit for displaying a musical score that is not currently displayed on the display screen 81.
  • the score G corresponding to the position of the scroll bar 82 is displayed.
  • the first part of the entire score (eight measures) is displayed, and when the scroll bar 82 is moved downward, the currently displayed music score of the selected lesson song is displayed. The part after the 9th bar following the bar appears.
  • the scroll bar 82 is used when operating before the start of the performance or the like to view the entire score. However, the function is stopped in the lesson mode, that is, when the performance is actually being performed. Therefore, in the lesson mode, the display position of the scroll bar 82 is fixed to the initial position or the current position and erased.
  • a key press instruction NP performance instruction symbol
  • an accompaniment instruction SP indicated by a dotted vertical line indicating the current position of the automatic accompaniment. (Timing symbol) is displayed.
  • the accompaniment instruction SP has an initial position on the left side of the screen 81, and gradually moves to the right when the key pressing instruction operation is started.
  • the accompaniment instruction SP approaches the key depression instruction NP until the first key depression timing of the first measure, for example, along with the prelude played by the metronome sound.
  • the key press timing is when the accompaniment instruction SP approaches the key depression instruction NP and the accompaniment instruction SP overlaps the key depression instruction NP.
  • the keypress instruction NP is Move to the position of the note to be pressed.
  • the accompaniment instruction SP moves at a predetermined playing speed and is separated by the key depression instruction NP, and the accompaniment instruction SP follows the key depression instruction NP at the next key depression timing. By repeating this operation, the key pressing instruction proceeds.
  • the score at the position where the performance has ended is displayed by rewriting the score following the currently displayed score.
  • the following score rewriting method is employed to minimize the movement of the player's eyes.
  • the next score that is, as shown in FIG. 25, is drawn on the display screen 81 as shown in FIG.
  • This third line is displayed at the position where the first line is currently displayed. In other words, the score in the upper row is switched to the score in the next row following the score currently displayed in the lower row.
  • the rewriting of the music score also starts at the top partial power of the upper row. Rewriting is performed gradually following the movement of the key press instruction NP. In other words, if the performance of the lower stage starts, the rewriting of the upper score starts, and the rewriting of the upper score ends when the performance of the lower stage ends. In other words, the rewriting of the musical score progresses so that the current position of the key press instruction NP and the rewriting position coincide on the screen 81 with their horizontal coordinates (X coordinates).
  • the rewriting of the upper row is not limited to starting when the performance of the lower row is started, and at least the score of the ninth bar is not changed during the performance of the lower row, that is, until the performance of the eighth bar is completed. It only needs to be displayed on the screen 81. However, it is preferable that the next score is displayed at least until the performance of the last bar in the lower row is started so that the player can view the score in advance.
  • the rewriting position and the display position of the key press instruction NP are not limited to being coincident in the X coordinate.
  • the rewriting position is set so that the two maintain a predetermined interval (number of measures). You may make it follow the display position of the key press instruction NP. Even after the lower performance is completed and the performance is shifted to the newly displayed upper performance, the rewriting position and the key press instruction NP display position are maintained at the scheduled intervals, and the score continues to the end of the song It is rewritten.
  • the rewriting of the musical score may be progressed gradually as described above, or the musical score of one step may be switched at a time. For example, when the performance of the upper stage is completed and the performance of the lower stage is started, the upper score can be quickly rewritten to a new score.
  • FIG. 26 and FIG. 27 are diagrams showing examples of key press display while the score is being rewritten.
  • the performance is currently progressing to the seventh measure, and the key press instruction NP is located at the position of the second note in the seventh measure.
  • An “eraser mark” 83 indicating the musical score rewriting position is displayed on the upper musical score so that the display position of the key press instruction NP matches the X coordinate.
  • the first bar of the upper score is the 10th bar It is rewritten in the score of the milestone.
  • the score may be rewritten every time one performance ends according to the movement of the key press instruction NP as described above, or the music may be rewritten one measure at a time when one performance ends. May be rewritten at any time. When rewriting is performed gradually, all the upper music is rewritten when the performance of the lower music is finished.
  • the player may follow the display on the screen 81 in the same manner as when performing according to the musical score described on ordinary paper. That is, the eyes move from the upper left to the right and from the top to the lower of the display screen 81, and after following the score to the right end of the lowermost row, the eyes are moved to the uppermost left again.
  • Fig. 28 is an example in which a score is displayed in one row. This method is used when the vertical width of the display screen is too small to make multi-level display suitable. In this example, when the performance of the second measure starts, the original first measure is replaced with the score of the fifth measure. Thus, when the performance of one measure is completed, that measure is immediately rewritten to the corresponding part of the next row.
  • the rewriting start timing of the musical score is not limited to the example of FIG.
  • rewriting of the music starts when the key press instruction NP advances to half of the column, and the rewrite is proceeding while maintaining the interval between the rewrite position and the key press instruction NP position. You may.
  • FIG. 29 is a flowchart showing a key pressing instruction process.
  • step S51 the total playing time is cleared. The total playing time is the time until the actual performance.
  • step S52 a key press instruction display position of the first note of the music is set.
  • step S53 the performance is started and the total performance time is updated (incremented).
  • step S54 a key press instruction NP is drawn at the position set in step S52.
  • step S55 the performance position, that is, the display position of the accompaniment instruction SP is calculated based on the current total performance time, and the accompaniment instruction SP is displayed at that position.
  • step S56 the performance sound is compared with the model. The details of this comparison have been described above.
  • step S57 it is determined whether or not the power spectrum of the performance sound matches the model. If the power total of the performance sound matches the model, go to step S58. If the power does not match, go to step S62.
  • step S62 it is determined whether or not the total playing time exceeds the time corresponding to the position where the key press instruction NP is present for a predetermined time or more. If step S62 is negative, the process proceeds to step S55. If it is determined in step S62 that the total playing time exceeds the time corresponding to the position where the key press instruction NP is longer than the scheduled time, the updating of the total playing time is stopped in step S63, and the process proceeds to step S55. move on.
  • step S57 determines whether or not the updating of the total performance time has stopped. If the updating of the total playing time has stopped, the process proceeds to step S59, and the updating of the total playing time is restarted. If the update of the total playing time has not been completed, the process proceeds from step S58 to step S60, and it is determined whether or not the key pressing instruction has been completed for all the notes. This determination is initially negative, and the process proceeds to step S61 to move the display position of the key press instruction NP to the position of the next note, and then proceeds to step S54. If step S60 is affirmative, the processing of this flowchart ends.
  • FIG. 30 is a flowchart showing a process for displaying a musical score on a single screen at a plurality of levels.
  • the musical score is rewritten at intervals so that the horizontal display coordinates (X coordinates) of the key press instruction NP and the rewriting progress position match.
  • step S71 a score of one screen is displayed. For example, an image of a musical note or symbol is superimposed on an image of a staff notation and displayed.
  • step S72 the variable Xp is cleared. This variable Xp is used for pre-reading the performance information and for storing the extent of drawing, that is, for storing the position of the eraser mark 83.
  • step S73 the variable Bp is cleared. The variable Bp is used to store the key pressing instruction stage at the time of the previous drawing in order to correct the value of the variable Xp according to which stage the key pressing instruction NP was last. [0201]
  • step S74 it is determined whether or not the key press instruction NP is at the last row of the music piece. If the key press instruction NP is at the last stage, the processing of this flowchart ends. The process proceeds to step S75 until the key press instruction NP proceeds to the final stage.
  • step S75 it is determined whether or not the variable Bp indicates the current key pressing instruction stage, that is, whether or not the key pressing instruction NP is displayed, and the current stage is changed from the previous one. If the variable Bp is not the current key-depression instruction stage, that is, the key-depression instruction stage proceeds! /, The process proceeds to step S76 to clear the variable Xp. As a result, the drawing start position for prefetching the performance information is returned to the left end of the screen. If the variable Bp indicates the current key press instruction stage, step S76 is skipped and the process proceeds to step S77.
  • step S77 it is determined whether or not the key press instruction NP is located at the lowest level. If this determination is negative, the process proceeds to step S78.
  • step S78 a note up to the same X coordinate value as the key press instruction NP is drawn in a row immediately below the row where the key press instruction NP is present.
  • step S79 If the key press instruction NP is located at the bottom row, the process proceeds to step S79, and a note up to the same X coordinate value as the coordinate Xp force key press instruction NP is displayed in the top row of the display screen. draw.
  • step S80 the X coordinate of the current key press instruction NP is stored in a variable Xp.
  • step S81 the stage in which the key press instruction NP is drawn is stored in the variable Bp.
  • FIG. 31 is a flowchart for displaying a musical score one by one on one screen.
  • the musical score is rewritten at intervals corresponding to half the steps of the key press instruction NP. That is, when the key press instruction reaches the center of the column, rewriting of the currently displayed musical score starts from the beginning.
  • the key press instruction NP returns to the top of the column, the rewriting position, that is, the position of the eraser mark 83 is processed as if it has advanced to half of the column.
  • step S91 a musical score for one step is displayed.
  • step S92 the variable Xp is cleared. This variable Xp is used for pre-reading the performance information and for storing the drawing amount.
  • step S93 the flag F is cleared (set to zero). The flag F indicates whether the key-pressing instruction NP at the time of the previous drawing is shifted from the center of the column, and corrects the variable Xp when the key-pressing instruction NP is to the right of the center of the column. Used for.
  • step S94 it is determined whether or not the X coordinate of the current key press instruction NP is rightward from the center of the column. It is.
  • step S95 it is determined whether the key pressing instruction NP is the first level of the music. If there is a key press instruction NP in the first row, the score for that row has already been drawn in step S91, and in this case, the process returns to step S94.
  • step S94 If the X coordinate of the key press instruction NP is to the right of the center of the step, the flow advances to step S94 to step S97, and it is determined whether or not the flag F is zero.
  • step S94 is affirmative and step S97 is affirmative, it is determined that the key pressing instruction NP has shifted to the center left position right of the step.
  • step S98 If the flag F is not zero, it is determined that the key pressing instruction NP has not shifted to the center force of the step, the right force, and the left, and the flow proceeds to step S101.
  • step S98 it is determined whether the key press instruction NP is the first level of the music. If the key press instruction NP is not the first step of the song, the process proceeds to step S99, and the coordinate Xp force draws a note up to the right end.
  • the position of the eraser mark 83 that is, the rewrite position moves from the right side of the step to the left side, so the position of the previous eraser mark 83 (coordinate Xp )
  • step S100 the variable Xp is cleared and the position of the eraser mark 83 is positioned at the top of the column. In the first row of the song, when the key press instruction NP shifts to the right of the row, the position of the eraser mark 83 is the initial position, so the process jumps from step S98 to step S100.
  • step S101 "1" is set to a flag F indicating that the key press instruction NP is on the right side of the row.
  • step S102 it is determined whether or not the key press instruction NP has reached the last stage of the music. When the key press instruction NP is at the last stage of the song, the process ends because there is no score to be drawn next.
  • step S103 the note from the coordinate Xp to the X coordinate value obtained by adding half the value of the step to the X coordinate of the key press instruction NP is currently displayed.
  • step S104 the half value of the column is added to the X coordinate of the current key press instruction NP to the variable Xp and stored.
  • step S96 If it is determined in step S96 that the key press instruction NP is not at the first row, that is, it indicates that it is above the score of the second row and thereafter, the process proceeds to step S103.
  • step S103 Accompaniment is performed at the same timing as the accompaniment instruction described above.
  • the performance information for the accompaniment is supplied from the ROM 2 or the external storage device 9 together with the performance information of the practice music. Performance information for accompaniment is read out according to the accompaniment counter.
  • the accompaniment is stopped when the performance is performed according to the key press instruction, that is, when Step S57 is negative.
  • Determining whether the performance has been performed correctly takes time to detect and compare the power spectrum by FFT. Therefore, if the accompaniment is interrupted when the accompaniment instruction SP overlaps the key press instruction NP, the accompaniment is interrupted for the time of the FFT processing. In the present embodiment, the accompaniment counter is not stopped until it is determined that the accompaniment is not performed properly, and the accompaniment is not interrupted when the performance is performed correctly in accordance with the key press instruction. No.
  • Whether to stop the accompaniment is not limited to being determined only by whether or not the performance is performed correctly. After the accompaniment has reached the key depressing timing, a counting process routine is provided to count the scheduled time, and the accompaniment can be stopped when there is no judgment that the performance has been performed correctly within the scheduled time. . If the performance is performed correctly within this scheduled time, and the result of the judgment is obtained, the accompaniment will not be interrupted.
  • this scheduled time is less than the minimum note length of the lesson or less than the time to the next note to be played (that is, the step time)
  • the next note is played along with ⁇ ,,,.
  • the scheduled time can be arbitrarily specified by the player.
  • the tone determining apparatus has a feature that it is possible to determine whether or not the performance sound is correct irrespective of the degree of deviation of the tuning by a simple calculation! /.
  • Japanese Patent Publication No. 1-51200 discloses a technique for determining the pitch of an audio signal based on the result of frequency analysis of the audio signal, and it is also possible to create a model using this technique. Possible force The processing load of pitch detection in the power sta- tol is large.
  • a model of a single tone at each pitch can be created without error when a model is created, and even a beginner can make a mistake.
  • a model can be easily created and stored.
  • FIG. 32 is a flowchart showing the processing of CPU 1 in the model creation phase according to the fifth embodiment.
  • model creation is instructed, first, a song or lesson (skill)
  • a screen prompting the user to select a level is displayed on the display device 8, and the player is asked to select a song or a lesson level (S111). According to this selection, the range for model creation is set (S112).
  • a sound range including at least a pitch included in the music piece is automatically set as a sound range for model creation.
  • the range of model creation may be automatically set according to the level of the selected music, or the pitches appearing in the selected music may be indicated to the performer, and the range including at least those pitches May be instructed by the player to set the range for model creation.
  • the range included in the music of the selected lesson level is set as the range for model creation.
  • the range is set broadly for beginners, beginners, intermediate players, and advanced players.
  • a sound at the first pitch of model creation for example, the lowest note included in the range for model creation is set (S113).
  • a key corresponding to the pitch of the model is displayed on the keyboard displayed on the display device 8, and the player is instructed to depress the key (S114).
  • the sound source 4 may be instructed to sound the sound of the pitch indicated by the key press.
  • the model-making performance sound emitted from the piano P is captured by the microphone 10.
  • the sound of the pitch instructed by the key press is generated from the speaker 5, and the performance sound emitted from the piano P (the performance sound generated in the model creation phase is hereinafter referred to as "model creation performance sound"). Call) and listen to it to make the player aware of the wrong key press.
  • the analog signal input through the microphone 10 is And the volume is measured by the volume measuring unit 11. The volume measurement is continued until the key release instruction. If the volume measured by the volume measurement unit 11 exceeds the threshold, it is regarded as an attack (S115). This attack detection processing will be described later in detail.
  • the spectrum creating unit 12 creates a power spectrum by FFT of the digital signal, and the volume measuring unit 11 calculates the volume (S116). The power spectrum and volume when an attack is detected are temporarily stored in RAM3 as a buffer for later use.
  • an instruction to prompt key release is displayed on the display device 8 (S117).
  • the key release instruction may be a sound or voice instruction from the speaker 5.
  • the power to move to the next process Piano P must be in a silence state before that so that the next process will not be affected by the reverberation sound of the previous pitch. It waits until the volume calculated by the volume measurement unit 11 becomes equal to or less than the silence detection threshold (S118). If the volume falls below this threshold, it is determined that the sound is substantially silent. Silence detection is important in order to create a model without error, because there is a strong reverberation in the piano.
  • step S119 If it can be determined that a silent state has been reached, it is determined whether the maximum value of the volume or the maximum value of the amplitude in the period up to this point is within the allowable range (S119). If the volume or amplitude is not within the allowable range and it is determined that it is too loud, for example, a message “Please play smaller” is issued, and conversely, it is determined that it is too small. If so, the player returns to step S114 by issuing a message such as "Please play larger” and instructs the player to press the key again. This is because the power spectrum when the key is pressed extremely strongly or weakly is not suitable as a model.
  • the keystroke depressing force is not the volume or amplitude at the time of the attack detection.Checking the maximum value or amplitude of the volume during the period up to now is usually performed at a volume or amplitude that does not correspond to the peak value at the time of the attack detection. This is because the peak value is obtained after the detection of the attack.
  • the volume is detected by the volume measuring unit 11 (S123).
  • the spectrum creation unit 12 creates a power spectrum by FFT of the digital signal, and uses this as a second model (S124).
  • attack detection is for detecting the onset of sound, and can be executed by, for example, a method of detecting a change in volume or a method of detecting a power increase component of each power spectrum.
  • step S126 In the event that an attempt is made to detect an attack in step S126, the process returns to step S123 and starts again from the detection of the sound volume. If an attack is detected, the process proceeds to a comparison process (S127) between the model read in step S122 (first model) and the model created in step S124 (second model). Attack detection (S126) does not have to be detected once during the same musical tone once it has been detected. Usually, an attack is detected only at the moment when the sound rises, and the power spectrum of the musical sound at the time of the attack does not always match the first model. At the time of the comparison process, it is preferable to perform normalization so that the volume of the two keys becomes the same in order to eliminate the difference in volume caused by the first and second key presses. That's right.
  • the comparison process (S127) calculates, for example, the sum of the power levels outside the number of shortfalls in the second model compared to the first model as a distance, compares this with a predetermined threshold, When the distance exceeds the threshold value, it is determined that there is no match, and when the distance is equal to or less than the threshold value, the match is determined.
  • This method is effective for instruments with a large amount of reverberation such as pianos. At this time, even if the distance is equal to or less than the threshold, if no feature of each constituent sound is found in the no spectrum of the musical sound of the depressed key, it is determined that they do not match.
  • step S127 If it is determined in step S127 that they do not match, the process returns to S4 and starts again from the first model creation.
  • the model created by this re-processing overwrites the previously stored model.
  • step S127 If it is determined in step S127 that they match, the model stored in RAM3 in S10 is left as a correct model.
  • step S128 it is determined whether the sound of the created model is the final sound of the model creation (S128). If the final note (highest note) in the range set in step S112 is judged to be! / ⁇ , the model-making performance sound is advanced by one, for example, the pitch of a semitone! (Set) and returns to step S114 (S129), and repeats the same processing for the sound. If it is determined in S128 that the sound is the final one, the created sound models of all pitches are stored in the RAM 3 or the external storage device 9 (S130), and the model creation ends.
  • attack detection is performed based on a threshold value corresponding to noise or an input signal level. It is desirable that the power sturtle of the model and the performance sound at the lesson be detected as soon as possible at the same stage. ⁇ fe .
  • the volume of the noise (background noise) is measured by the volume measurement unit 11 so that no extra sound is produced without playing the piano P. Although this measurement time is not particularly problematic, for example, it is about 5 seconds, and if it is too long, the possibility of noise is increased.
  • the sound volume measurement unit 11 measures the sound volume by the following formula every time N output samples from the AZD converter 6 are accumulated. In addition, Si represents the output (amplitude) of Banme.
  • a value obtained by adding the volume P WATTACK regarded as an attack to the noise volume is set as a volume threshold P for attack detection. In other words, the higher the noise volume
  • FIG. 34 is a block diagram showing a detailed configuration of the microphone 10 and the AZD converter 6 (FIG. 1).
  • the output of the microphone 10 is input to the microphone volume 101 and then to the A / D converter 6 via the microphone amplifier 102.
  • the input signal level of the AZD converter 6 can be changed according to the sensitivity of the microphone and the volume of the input sound.
  • the mixer control of the recording device corresponds to this.
  • the display device 8 When the performance sound of the piano ⁇ is captured by the microphone 10 and input to the AZD converter 6, the display device 8 is used during model creation so that the digital signal after AZD conversion is not buried in noise or clipped. The peak meter is displayed at.
  • the peak meter displays the maximum value of the amplitude of the AZD-converted digital signal at certain time intervals by changing the degree of fluctuation of the number of lights (color change), and displaying the maximum value.
  • the display shows no light.
  • the maximum value becomes the maximum value of the amplitude determined by the number of quantization bits of the digital signal or about half thereof The display turns on all.
  • the peak meter displays the average value of the amplitude of the digital waveform after AZD conversion as the volume P
  • the volume P which is considered to be an attack, should be reduced to half of the 50th.
  • Figure 36 shows the characteristics of pitch vs. volume when a piano is played with 88 keys from the lowest pitch (note picker) 21 to the highest note note picker 108 at almost the same strength.
  • the maximum volume value is the maximum value of the volume P calculated by the above equation when each key is played.
  • the range sound It can be seen that there is a large difference in the sound volume value depending on (high). Especially in the range close to the highest note, it is very small, and the maximum volume cannot be obtained.
  • simply guiding the maximum volume value to the same level cannot achieve the same strength.
  • the allowable range of the maximum volume value may be changed according to this characteristic, but this characteristic differs depending on the individual piano. However, since the volume of each sound range also differs depending on the characteristics of the microphone, it is not possible to set in advance the maximum allowable value of the volume common to all devices.
  • a range in which the two maximum volume values have a certain width is defined as a maximum volume allowable range. That is, the maximum volume of the highest tone is P
  • R may be the same value or a different value.
  • the highest note and midrange 1 Have the user play the sound imaginatively and strongly, and measure the maximum value of the volume.
  • the maximum value allowable range may be set. Due to the structure of the piano, there is a limit even to a strong sound, so this method can be used to input data without individual differences.
  • the sound of several places in the sound range to be modeled is played, and a characteristic of the pitch-to-volume maximum value is created from the obtained maximum volume value, and the maximum volume value is allowed from this characteristic. You can also determine the range. Also in this case, if it is difficult to play at the standard strength, have each player play the key strongly and measure the maximum volume, and reduce the volume to a fraction of the maximum allowable volume. Can be used as the reference value.
  • the quantity used to determine the keypressing strength of each key may not necessarily be the maximum volume value, but may be the maximum value of the amplitude of the digital waveform after AZD conversion. You can also use the average instead of the maximum.
  • FIG. 37 shows an example of a key press instruction in which the keyboard is displayed on the display device 8 at the time of model creation, and only the key to be pressed is changed in color to indicate the key press. Instruct the sound source 4 to emit sound from the speaker 5 simultaneously with the key press instruction.
  • Fig. 38 shows a change in volume obtained when the lowest note (note number 21) is depressed and immediately released on an acoustic piano, and is obtained by actual measurement. As shown in the figure, the volume of the reverberation sound after key release decreases remarkably immediately after the attack, but then gradually decreases as it rises and falls, so that the volume simply falls below the threshold P once. In silence
  • the volume falls below, the volume is tracked and the elapsed time is counted.
  • the threshold value P used here can be determined as follows. Prior to model creation,
  • the sound volume P considered to be silence can be determined to be closer to silence as the volume P decreases.
  • the volume of the decay decreases as the time elapses. If the decay is too low, the time until the volume falls below the threshold value P becomes extremely long.
  • volume P regarded as silence is changed according to the amplitude of the digital signal after AZD conversion.
  • the volume P which is regarded as silence when the peak meter swings only half of that, is set to the 25th of that half.
  • FIG. 39 shows a change in volume obtained when a note is pressed at a normal intensity on a note Nanno 48 (a sound of an octave lower than the center C) on an acoustic piano. It is something.
  • FIG. 40 is a partially enlarged view of FIG. 39. As shown in the figure, the volume drops significantly immediately after the attack, but then gradually declines while going up and down, decaying to about 10 seconds until it is indistinguishable from noise. The lower the pitch, the longer the time required for this decay.Force the volume to decay to the extent that it can be determined that there is no sound, so that the key can be depressed as quickly as possible when pressing the next key or the next key. It is better to detect early and guide you to that effect.
  • FIG. 41 and FIG. 44 show power spectra obtained by actual measurement immediately after an attack, an attack force is also about 1.4 seconds, about 4.1 seconds after an attack, and about 5.8 seconds after an attack.
  • FIG. 16 shows a power spectrum obtained when the next model generation sound (note number 50) is pressed slightly weakly.
  • Fig. 46 shows the volume change obtained when the highest note (note numberer 108) is pressed with normal strength, and it can be seen that only about 300 volumes are output at the maximum. In this case, it is too large to set the volume P, which is regarded as silence, at about 250-750.
  • Fig. 39 and Fig. 45 shows the volume change obtained when the highest note (note numberer 108) is pressed with normal strength, and it can be seen that only about 300 volumes are output at the maximum. In this case, it is too large to set the volume P, which is regarded as silence, at about 250-750.
  • volume P to be made is the same in the whole range, it is clear that about 10-75 is appropriate.
  • the mark display S is always displayed on the key such as the center “do” of the keyboard displayed on the display device 8 when the model is created, and the actual piano By sticking a sticker S with the same mark on the key in the center of the keyboard, "C", the correspondence between both keys can be easily understood.
  • a logo 102 such as a manufacturer name is attached to the upper part of the keyboard of the actual piano.
  • a mark corresponding to a predetermined position of the logo 102 (the position “B” in FIG. 37) is displayed on the display device. 8 may be displayed. This can reduce the burden when creating a model.
  • FIG. 47 is a flowchart showing the processing of the CPU 1 in the lesson phase.
  • the model is read from the RAM 3 or the external storage device 9 into the work area (S131).
  • the model to be read is a model of sounds of all pitches included in the range set in the model creation phase.
  • the model created last time or the model used last time may be automatically loaded, or the performer may select one of the models created so far and load it.
  • the performer selects a music piece for the lesson (S132).
  • the lesson music data stored in the RAM 3 or the external storage device 9 may be searched to create a music list, and the player may select the music to be used for the lesson by himself. Then, the music that matches the level of the performer may be automatically selected and presented on the device side.
  • the performance information of this song is stored in RAM3 or an external storage device.
  • step S134 it is checked whether or not the single-tone models of all pitches included in the selected music piece are included in the model read in S131 (S134). If it is determined that the single-tone models of all the pitches of the selected song are not included, the process returns to step S132 to select another song, or returns to step S131 to select another song. To read the model of.
  • step S134 If it is determined in step S134 that the single-tone models of all the pitches of the selected tune are included, the pitch of the first musical tone of this tune is set as a variable on the RAM3 (S135). . At the same time, a key press instruction for causing the player to press the key of the pitch at this pitch is displayed on the display device 8 (S136), and the model corresponding to the pitch at the pitch read from the model read in step S131. A single-tone model to be read is read (S137).
  • the performer presses the key of the piano P by watching the key press instruction displayed on the display device 8, and the performance sound generated at that time is captured by the microphone 10.
  • the volume is detected by the volume measuring unit 11 (S28).
  • the processing in steps S139 to S142 is the same as the processing in steps S124 to S127 in FIG. 32, and a detailed description thereof will be omitted. If it is determined in step S142 that they do not match, the process returns to step S139 and starts again from the detection of the volume.
  • step S142 If it is determined in step S142 that they match, the attack detection is first reset (S143), and it is determined whether or not the last musical tone of the selected music piece is present (S144). If it is determined that the tone is not the last tone of the music, the pitch of the next tone is set in the RAM 3 (S145), and the process returns to step S136.
  • the above process is repeatedly executed until the last musical tone of the music, and when the end of the music is reached, it is asked whether to give a lesson again (S146), or as to whether another lesson is to be given (S147). The process moves to a process corresponding to the response.
  • Fig. 48 is a flowchart showing an example of a comparison process between the first model and the second model (S127) or a comparison process between the model and the power spectrum of the performance sound during the lesson (S142). It is.
  • a model to be compared with the current performance sound is created with the model power read out in step S122 or step S137 (S151).
  • a single-tone performance sound a single-tone model is synthesized in the case of a chord performance sound that is played with the single-tone model as it is.
  • the power spectrum of the model and the current performance sound is adjusted according to the volume so that the volume at the time of model creation and the current performance sound are the same. Dagger.
  • a chord performance sound it is normalized by the sum of the volume when the model of the sound constituting the chord was created. Note that the normalization may be performed based on the peak value of the waveform instead of the volume.
  • the total of the insufficient power spectrum that is insufficient for the current performance sound compared to the model is calculated as the distance (S152). This method is effective for instruments that have a large amount of reverberation, such as pianos.
  • a threshold for determining that the model and the current performance sound match is set (S153), and the distance calculated in step S152 is compared with the threshold (S154). If the distance is equal to or greater than the threshold, it is determined that they do not match, and if the distance is smaller than the threshold, it is determined that they match. At this time, even if the distance is smaller than the threshold value, if the characteristic of each constituent sound is not found in the power spectrum of the performance sound this time, it may be determined that they do not match (S155). If it is determined in step S155 that there is no match in step S154, the process returns to step S114 and starts again from the key press instruction (volume detection). If it is determined in step S155 that they match, the process proceeds to step S128.
  • step S142 when it is determined that the distance between the power spectrum calculated for the model of the musical tone and the performance sound power of the piano P to be depressed next is less than or equal to the threshold, the piano roll is activated. It is scrolled downward, and stops when the key press indication mark M of the next musical tone to be pressed is the closest to the keyboard figure K and reaches the position. Since the scroll of the piano roll is stopped until the key-pressed key is pressed, the player can press the next key at his own pace.
  • the performance information read out in step S133 includes the performer Can also include performance information of accompaniment using only musical tones for key depression. In this case, the accompaniment sound up to the timing of the sound to be pressed next is output from the speaker 5 through the sound source device 4.
  • step S129 (Fig. 32)
  • the pitch is raised so that the white key and the black key are not separately raised and the keys are individually and continuously pressed, instead of being raised to the immediately higher pitch in accordance with the scale. Is good. If the pitch is raised sequentially according to the scale, a white key and a black key may be alternately played, and an error may occur in playing a key that does not correspond to the key instructed to be pressed.
  • attack detection is affected by the volume or amplitude of the input digital signal
  • the level of the input performance sound needs to be set appropriately. Furthermore, with the same strength Even if you play it, there is a large difference in the volume generated by the range (pitch), so if you simply guide the maximum volume to the same level, you will not be able to play with the same strength. Also, if the key is pressed too strongly during model creation, the components of higher harmonics will come out strongly, which will make it difficult to detect the match between the model created and the power spectrum of the performance sound during the lesson. Therefore, it is desirable to have the user press the keys with normal strength and slightly weaker when creating the model.
  • the input sound from the microphone mouth phone includes not only the piano sound but also the piano action sound.
  • the power spectrum of this action sound falls into the bass part of the power spectrum of the model and the performance sound at the lesson obtained by the FFT.
  • the action sound may be removed.
  • the action sound is a kind of noise that also emits the action partial force, and its power vector is different each time, so it is difficult to select and remove only the action sound.
  • a model for determining whether or not a force has been performed according to the instruction of the performance instructing means in the performance of a natural musical instrument can be created without error.
  • FIG. 49 is a diagram illustrating an example of a spectrum of a sound captured from the microphone 10.
  • the action sound has a different power spectrum each time, and is like noise.
  • the function sound is a key that appears mainly as a power spectrum with a strong component in the bass. Other than that, even if an action sound is input, the power spectrum of the original sound of the piano (string vibration sound) is much larger and has little effect on the comparison between the performance sound of the depressed key and the model!
  • the frequency actually cut is slightly lower than the fundamental frequency f.
  • the fundamental frequency is lower than the frequency component included in the action sound, the power spectrum of the action sound cannot be removed. Since the power spectrum of the action sound is relatively small, there is no problem in comparing the performance sound of the key pressed during the lesson with the model.
  • noise component included in a model
  • noise is usually mixed.
  • the noise includes ambient sound, noise entering the microphone 10 cable, and noise entering the analog circuit of the microphone amplifier and AZD transformer 6.
  • noise of piano P is too loud compared to that.
  • the noise component will be greatly increased.
  • the performance sound of a key depressed during the lesson also includes noise. If the volume of the performance sound is large, the power spectrum of the noise component is relatively low, and the volume is normalized by the volume. However, the spectrum of the noise component remains small. Therefore, at the time of the lesson with the model The match of the performance sound of the depressed key cannot be obtained.
  • the player should take a few seconds from the microphone 10 while holding down the piano P, and perform an FFT on the input sound so that the input sound does not overlap at regular time intervals. Then, measure the maximum power value in the power spectrum obtained in this way and save it.
  • This maximum power value is used as a reference value for determining noise. That is, by removing the power spectrum of the power lower than the power of the power of the power spectrum to be modeled, a component considered to be noise is removed.
  • Figure 50 shows examples of power spectra before (a) and after (b) noise removal. The volume value of the model is left as it is, and normalization is performed based on this volume value when comparing the power spectrum of the model and the performance sound during the lesson.
  • the DC component When the performance sound of a depressed key is converted to a power spectrum by FFT, the DC component appears as a power vector with the lowest frequency. In some cases, the power spectrum of the DC component is stronger than the power spectrum of the performance sound of the key that is actually pressed. In such a case, the DC component is greatly evaluated when comparing the performance sound of the key pressed during the lesson with the model, which causes inconvenience. Therefore, considering the side lobe of the FFT, the lowest frequency in the obtained power spectrum and the power spectrum adjacent thereto are forcibly set to zero to remove a portion considered as a DC component.
  • step S19 instead of raising the pitch to the pitch directly above the pitch in accordance with the scale, the white and black keys should be separately and continuously pressed separately. It is good to raise the pitch. If the pitch is raised in order according to the scale, a white key and a black key may be alternately played, and the force of playing a key that does not correspond to the key instructed to be pressed may occur.

Abstract

　マイクロフォンから入力されたピアノの演奏音が押鍵指示装置の指示通りであるかどうかを判定する。 　モデル作成時はスペクトル作成部１２で音高毎のパワースペクトルを作成し、スペクトル記憶部５に単音モデルとして記憶する。押鍵指示に従って単音モデルを記憶部５から比較部６に読み出し、演奏音のパワースペクトルとの距離によって押鍵の正しさを判定する。和音の演奏では、単音モデルの合成分と演奏音のパワースペクトルとを比較する。演奏が押鍵指示通りであれば押鍵指示装置の進行を進めて次の指示を表示装置８に出力する。

Description

明 細 書
演奏指示に従って演奏された自然楽器の楽音判定装置、楽音判定プロ グラムおよび該プログラムを記録した媒体
技術分野
[0001] 本発明は、演奏指示に従って演奏された自然楽器の楽音を判定する判定装置に 関し、特に、押鍵指示手段等、演奏指示手段によって指示されたとおりに演奏された 力どうかをパワースペクトルの照合によって行う自然楽器の楽音判定装置に関する。 背景技術
[0002] 例えば、特公平 2— 705号公報に開示されているように、鍵盤楽器の演奏を独習す るための押鍵指示手段を有する電子楽器が知られている。この電子楽器では、予め 記憶装置に記憶された演奏情報が表示回路に順次読み出され、鍵盤の各鍵に対応 して設けられた表示ランプがこの演奏情報に従って点灯される。演奏者が操作した 鍵はキースキャン回路で検出され、この操作鍵の音高が、表示ランプで指示された 演奏情報の音高と一致した場合に次の演奏情報が記憶装置から表示回路に読み出 される。
[0003] しかし、このような押鍵指示手段は、キースキャン回路を備えた電子楽器では容易 に実現できる力 キースキャン回路を持たないアコースティックピアノのような自然楽 器では実現が困難である。キースキャン回路に必要なキースィッチや表示ランプを鍵 毎に製品に後付けする作業が繁雑であり、手軽に行えないからである。
[0004] キースキャン回路を用いる代わりに、演奏による楽音の周波数分析により操作鍵を 検出することが考えられる。例えば、特公平 1—51200公報に記載された表示装置で は、音声信号の周波数分析結果に基づいて判定された音声信号の音高を、ディスプ レイ上の五線譜に音符として表示する。
[0005] しかし、ピアノ音のような倍音成分を多く含む楽音の音高検出では、押鍵の倍音成 分つまり高調波成分によって音高を誤判断してしまったり、オクターブ間隔の二つの 和音と該和音の下の単音との判別（例えば、 C3と C4の和音と C3単音との判別）がで きな力つたりすることがある。これらは互いに倍音構成が似ている力 である。 [0006] また、同時に複数の基音とその倍音を発生する楽器の演奏に対応した MIDIコード を生成する装置が提案されている（特許第 2890831号公報)。この装置では、演奏 楽音の波形データ力 基音に対応した周波数成分の波形データを抽出し、かつその エンベロープデータを検出する手段を備える一方、楽器が発生する各基音毎にその エンベロープ波形に対応して基音エンベロープデータを記憶している記憶手段を備 え、検出されたエンベロープデータと記憶されている基音エンベロープデータとを相 互相関によって比較し、楽器音を判定する。この装置では、構成が非常に複雑であ つて、特に、ソフトウェアでエンベロープデータの比較や楽器音の判定をリアルタイム で処理するのが困難である。
[0007] 特許第 2806047号公報には、シンセサイザで種々の楽器音を種々の音程で順次 組合わせて作成した信号と入力信号とを比較して楽音から採譜する装置が提案され ている。しかし、この装置では、和音も含めたすべての組み合わせの音と比較する必 要があるので、計算時間が膨大になるという問題がある。
発明の開示
発明が解決しょうとする課題
[0008] 上述のように、キースキャン手段を有して 、な 、アコースティックピアノでは、指示通 りに押鍵できた力どうかの判定が困難であるし、マイクロフォン力も入力された楽音か ら押鍵の正確さをリアルタイムで判定するのは容易ではないという問題点があった。
[0009] 本発明は、上記課題に鑑み、ピアノ等、自然楽器が指示通りに演奏できた力どうか を和音演奏も含めて容易に判定することができる自然楽器の楽音判定装置を提供す ることを目的とする。
[0010] また、本発明は、指示通りに演奏できた力否かを判断するために、演奏楽音の判断 要素としてのアタックを確実に検出できるようにすることを目的とする。
[0011] また、本発明は、演奏の仕方 (特に、強弱）によって、指示通り演奏できた力どうか の判定にばらつきが生じな 、ようにすることを目的とする。
[0012] また、本発明は、演奏情報に従って押鍵指示と自動伴奏とを行う場合に、演奏と自 動伴奏とのタイミングがずれにくくすることを目的とする。
[0013] また、本発明は、指示通りに演奏できた力どうかの判定が、外部ノイズによって影響 を受けるのを排除することを目的とする。
課題を解決するための手段
[0014] 上記の課題を解決し、目的を達成するための本発明は、演奏指示通りの演奏が行 われたときに、演奏指示の進行を次に進めることができる演奏指示装置のための自 然楽器の楽音判定装置にぉ 、て、自然楽器演奏音のパワースペクトルを計算するス ベクトル計算手段と、自然楽器音の音高毎のパワースペクトルを単音モデルとして記 憶するスペクトル記憶手段と、前記演奏指示装置による演奏指示に応答して前記ス ベクトル記憶手段から読み出された単音モデルと前記スペクトル計算手段で計算さ れた前記演奏指示に基づく演奏音のパワースペクトルとの距離を判定し、該距離が しきい値以内に近接しているときに前記演奏指示手段の進行を次に進める一致信号 を出力するスペクトル比較手段とを具備する。
[0015] 前記スペクトル記憶手段には、前記演奏指示に先立って演奏された自然楽器音の パワースペクトルを単音モデルとして記憶することができるようにする。
[0016] 本発明は、前記演奏指示が和音の演奏指示であるときに、前記スペクトル記憶手 段カゝら読み出された該和音の構成音の音高に対応する単音モデルを合成して前記 演奏音のパワースペクトルとの比較のために前記スペクトル比較手段に出力するス ベクトル合成手段を具備する。
[0017] 前記スペクトル比較手段は、単音モデルまたは単音モデルの合成に対する演奏音 のパワースペクトル不足分を、前記距離として計算するように構成する。
[0018] 前記自然楽器がピアノである場合に、前記スペクトル作成手段では、ピアノ演奏音 のアタック部分のパワースペクトルを計算するように構成する。
[0019] 本発明は、演奏指示に従って演奏された自然楽器演奏音のデジタルデータに対し て FFT窓毎に FFT処理をして該デジタルデータのパワースペクトルを計算する FFT 手段と、前記各 FFT処理毎に計算されたパワースペクトルのパワーが前回計算時よ り予定以上増大したか否かによって該自然楽器演奏音のアタックがあった力否かを 判断するアタック検出手段と、前記アタックがあつたと判定された以降に算出された パワースペクトルと予め記憶されて 、る自然楽器音の音高毎のパワースペクトルのう ち前記演奏指示に含まれる音高のものとの距離が予定のしきい値以内であるか否か を判断する比較手段と、前記 FFT手段の FFT窓を、前後の FFT窓同士が部分的に 重複するように設定する手段とを具備する。
[0020] 本発明は、前記演奏指示を、予め選択された曲の演奏情報に従ってコンピュータ の表示装置に表示するとともに、前記距離が予定のしきい値以内であるときに、前記 演奏情報に従って次の演奏指示を表示する押鍵指示手段を具備する。
[0021] 本発明は、前記 FFT窓同士の重複期間を決定するシフト時間を予め設定しておき 、後続の前記 FFT手段および前記アタック検出手段の処理が開始される時間までに 、先行する前記 FFT手段および前記アタック検出手段の処理が終了しな 、場合に 前記シフト時間を拡大する手段をさらに備える。
[0022] 本発明は、前記演奏情報に基づいて、演奏速度が速い所定のフレーズを予め検 出する高速部検出手段と、前記フレーズに対応する演奏指示の演奏音に対しては、 前記アタック検出手段による処理を省略するとともに、前記比較手段による判断を、 アタックの有無に拘わらず、演奏指示後の入力音について実行する手段を備える。
[0023] 本発明は、入力音のデジタル信号をフーリエ変換する FFT手段と、押鍵指示に従 つて演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパヮ 一スペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予 定の許容範囲内で一致して 、るかどうかを判定する判定手段とを備え、前記 FFT手 段による算出値をそのまま前記パワースペクトルとして使用するように構成される。
[0024] 本発明は、前記 FFT手段による算出値の高域側をカットして前記パワースペクトル として使用するように構成される。前記入力音がローパスフィルタを通じて入力される ように構成される。
[0025] 本発明は、前記パワースペクトルを所定の音量で正規化する正規化手段と、和音 の各構成音に対応する単音モデルを合成する合成手段とを備え、前記押鍵指示が 和音であった場合に、前記判定手段では、前記正規化手段で正規化された演奏音 のパワースペクトルと、前記第 2合成手段で合成され、その後に前記正規化手段で正 規化された単音モデルとの一致を判定するように構成される。
[0026] 本発明は、前記押鍵指示が和音であった場合、前記判定手段での一致判断のた めの許容範囲を和音の構成音数に応じて狭くさせる手段を備える。前記判定手段で の一致判断のための許容範囲をパワースペクトルの総量が多いほど広くさせるように する。
[0027] 前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残 響が多いほど広くさせる手段を備える。
[0028] 本発明は、前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し 、前記判定手段での一致判定結果を仮の判定とし、演奏音のパワースペクトルに前 記パワースペクトル特徴が含まれて ヽる場合に前記仮の判定を本判定とするようにす る。前記 FFT手段の周波数分解能は、低音域で細かくする。
[0029] 本発明は、複数の小節を含む楽譜、該楽譜上で次に演奏すべき音符を指示する 演奏指示記号および演奏タイミングを指示するタイミング記号を表示する表示手段と 、前記タイミング記号で指示されたタイミングで、前記演奏指示記号が示す音符を正 しく演奏できたかどうかを判定する演奏音判定手段と、前記演奏音判定手段によって 正しく演奏できたと判断されたときに前記演奏指示記号を次に演奏すべき音符の位 置に進める表示制御手段と、前記演奏タイミング記号および前記演奏指示記号の少 なくとも一方の表示が予め定めた時期まで進んだときに、現在表示されている楽譜に 続く楽譜によって、現在表示されている楽譜を先頭力 書き替えていく手段とを備え る。
[0030] 本発明は、前記楽譜の書き替えが、前記演奏タイミング記号および前記演奏指示 記号の少なくとも一方の表示位置と書き替え進行位置とを予定間隔に維持して進行 されるようにする。この予定間隔は、前記演奏タイミング記号および前記演奏指示記 号の少なくとも一方の表示位置と書き替え進行位置との水平方向での表示座標が一 致するように決定されて 、る。
[0031] 前記楽譜は、複数小節を含む段を上下に複数段配して 1画面に表示されていて、 前記予め定めた時期は、少なくとも 2段目以降の段に表示された各小節のいずれか の演奏タイミングに設定される。
[0032] 前記楽譜が 1画面に 1段表示されていて、前記予め定めた時期は、 1段落の半分ま で前記演奏タイミング記号および前記演奏指示記号の少なくとも一方の表示が進ん だときである。 [0033] 本発明は、予定の演奏情報に従って自動伴奏する伴奏手段と、前記演奏指示記 号が指示する音符が演奏されるタイミングを予定時間超過しても、前記演奏音判定 手段によって正しく演奏できたとの判定結果が得られないときに、自動伴奏を一旦停 止する手段とを備える。
[0034] 前記演奏音判定手段は、演奏指示に従って演奏された自然楽器演奏音のデジタ ルデータに対して FFT処理をして該デジタルデータのパワースペクトルを計算する F FT手段と、前記各 FFT処理毎に計算されたパワースペクトル力 予め記憶されてい る自然楽器音の音高毎のパワースペクトルのうち前記演奏指示に含まれる音高のも のとの距離が予定のしきい値以内であるか否かを判断する比較手段とからなり、前記 距離が予定のしきい値以内であるときに、正しく演奏できたと判定する。
[0035] 本発明は、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取 り込み、該演奏音のパワースペクトルをモデルとして作成するモデル作成処理を同一 音高の音に対して複数回実行し、作成されたモデルが少なくとも 2回一致した場合に 当該モデルを記憶させる。
[0036] モデル作成に際しては、モデル作成時に、レッスンする楽曲の選択あるいは演奏 者のレベルに応じてモデル作成の音域を自動的に設定することができ、また、モデ ル作成時に自然楽器を実際に弾くことにより発生された演奏音とともに、演奏指示し た音高の音を音源力も発生させることができる。
[0037] また、まず、白鍵の全てについてのモデル作成を指示し、続いて黒鍵の全てにつ いてのモデル作成を指示することもでき、また、表示装置に鍵盤を表示させてモデル 作成時の押鍵位置を指示するとともに、前記表示装置に表示された鍵盤の所定位置 に目印表示を常時行うこともできる。
[0038] さらに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量 を閾値と比較し、演奏音の音量が閾値を一定時間継続的に下回ったとき無音状態と 判断して次のモデル作成に移ようにすることができる。
[0039] モデル作成時に自然楽器を実際に弾くことにより発生された演奏音をレベル調整し て取り込み、取り込んだ演奏音をレベル調整された演奏音の音量および該レベル調 整状態で取り込んだノイズの音量に基づいて設定した閾値と比較してアタックを検出 し、アタックを検出したときの演奏音のパワースペクトルを算出してモデルとして記憶 する。
[0040] モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を閾値 と比較し、演奏音の音量が閾値を一定時間継続的に下回ったとき無音状態と判断し て次のモデル作成に移る。
[0041] モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込み、取 り込んだ演奏音のパワースペクトルを求め、モデルを作成しょうとする音高の基本周 波数より低い周波数成分をカットしたパワースペクトルをモデルとして記憶する。
[0042] モデル作成時に自然楽器を演奏しな!、状態で取り込んだ音のパワースペクトルを 求め、そのパワースペクトル中でパワー最大のスペクトルのパワー値をノイズ基準値と し、このノイズ基準値以下をカットした演奏音のパワースペクトルをモデルとして記憶 する。
[0043] モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込み、該 演奏音のパワースペクトルを求め、該パワースペクトル中の最も低 、周波数付近の成 分をカットしたパワースペクトルをモデルとして記憶する。
[0044] 上記アタック検出、無音検出、アクション音やノイズや DC成分除去の技術は適宜 組み合わせて採用することができ、また、本発明は装置あるいはプログラムとして構 成することができる。
発明の効果
[0045] 本発明によれば、演奏指示に応答して読み出された単音モデルのパワースぺタト ルと、演奏指示に従って演奏された楽器のパワースペクトルとが比較される。両者が しきい値の距離以内であれば演奏が指示通りに行えたと判定され、演奏指示が進行 される。特に、演奏指示に従って読み出された単音モデルが存在するので、演奏音 のパワースペクトルとの一致を判定するための比較が容易である。
[0046] 単音モデルが、現に演奏に使用する自然楽器の演奏音から作成されて記憶されて いるので、該自然楽器が調律が不十分な場合であっても、正しく演奏されればパヮ 一スペクトルが確実に一致して演奏の正確さを判定可能である。和音の判定にぉ 、 ても、単音モデルの合成パワースペクトルと演奏音のパワースペクトルと比較する処 理を 1度行うだけでょ 、ので、計算時間の短縮が可能である。
[0047] ピアノ等、残響音が多!、楽器にぉ 、て、パワースペクトルの不足分のみを距離とし て計算することにより、残響音の影響を抑制して現演奏音の正確さを判定することが できる。アタックが検出された時点力も判定の手順を実行できる、早期に判定が可能 であるので、演奏に合わせて円滑に演奏指示を進行させていくことができる。また、ピ ァノの演奏においては、アタックを検出することにより、同じ演奏音 (和音も含む）が連 続する場合であっても、個々の演奏音を確実に検出することができる。
[0048] 本発明によれば、演奏指示に従って演奏された楽器音のパワースペクトルの増大 量が予定以上であったときにアタックがあつたと判断される。そして、この楽器演奏音 のパワースペクトルが予め記憶されて 、る自然楽器音の音高毎のパワースペクトルの うち前記演奏指示に含まれる音高のものと一致したときに指示どおりに演奏されたと 判定されて演奏指示が進行される。
[0049] 特に、アタックの判断では FFT窓が部分的に重複するように設定されるので、先の FFT窓に関する計算に続く次の FFT窓に関する計算は、入力データが FFT窓の長 さの分だけ新たに入力されなくても、 FFT窓を部分的に重複させるためにシフトさせ た時間分のデータが先の計算後に入力されていれば実行できる。したがって、先行 する FFT窓の直後に現れているアタックは、次に FFT窓の長さ分のデータが入力さ れるまで待たなくても、先の FFT窓に関する計算に続けて短時間内に実行される次 の FFT窓に関する計算で検出される。
[0050] 前記演奏指示は、コンピュータの表示装置に表示され、演奏音のパワースペクトル と予め記憶されている自然楽器音のパワースペクトルとが略一致したときに演奏指示 が進行される。
[0051] コンピュータの能力に応じて、 FFT窓の重複時間を決定するシフト時間を調節する ことができるので、コンピュータの能力内でできるだけ高速でアタックの有無を判断す ることがでさる。
[0052] アルペジオ等、演奏速度が速い演奏ではアタックの有無を判断してからパワースぺ タトルの比較を行ったのでは、演奏者の速い演奏に判定が追いつかない。本発明に よれば、このような速い演奏においては、アタックの有無を判断することなくパワース ベクトルの一致を判断することができる。
[0053] 本発明によれば、 FFT手段の出力であるパワースペクトルがそのまま演奏音一致 判定に使用される。例えば、アコースティックピアノは強く弾いたときと、弱く弹いたと きとで倍音の出方が変わるが、 FFTの出力値をそのまま使用すると、この倍音の出方 の変化が少ない。したがって、弾き方の強弱によって判定が異なるのを防止できる。 本発明によれば、高周波数側のパワースペクトルが除去されるので、弾き方の強弱 による判定のばらつきを回避できる。
[0054] 合成されたパワースペクトルに関して正規ィ匕をすることにより、強く弾いても大きい 音量が得られない高音側のパワースペクトルが正規ィ匕によって極端に修正されるの を防止することができる。
[0055] 和音の演奏にぉ 、て、構成音数が多 、場合に一致判定基準を厳しくして単音モデ ルの特徴が埋もれるのを回避する。
[0056] 高音側で低音側よりパワースペクトルの総量が少ないために異なる音高でも同音高 と判断されるおそれがある力 パワースペクトルの総量によって一致判断のためのし きい値が設定されるので、音高による影響を改善することができる。
[0057] 残響がある場合に入力音の音量と残響音の音量とが加算され、その値が正規化さ れるので、演奏音とモデルとがー致しにくいが、残響に応じてしきい値を設定できる ので、残響の影響を排除することができる。
[0058] オクターブ違 、など、似た音であると判断されるおそれがある音であっても、予め設 定してあるパワースペクトルに特徴がない場合に、誤って同一音高であると判断され るのを回避することができる。
[0059] 低音部で周波数分解能を細力べすることにより、半音の違いのパワースペクトルの 違 、をより確実に判別することができる。
[0060] 本発明によれば、表示された楽譜の途中まで演奏指示が進行したときに、現在表 示されている楽譜に続く未表示の楽譜によって、現在表示されている楽譜が、その最 初の部分から徐々に書き替えられていく。演奏者は、楽譜を最後まで読んだならば、 視線を楽譜の最初の部分に移すという定型の目の動きを行えばよいので、演奏すベ き部分を探して楽譜上を追うという必要がない。そのために演奏指示に従って演奏す る練習を楽に行うことができる。
[0061] 次の音符を演奏すべきタイミングで自動伴奏が停止されて演奏音の判定の処理を 待つということはなぐ演奏が正しく行われた場合には自動伴奏は継続して行われ、 スムーズな伴奏に従って演奏の練習を行うことができる。
[0062] 演奏指示に従って行われる演奏音のパワースペクトル増大量が予定以上のときに アタックがあつたと判断される。そして、この楽器演奏音のパワースペクトルが予め記 憶されて 、る自然楽器音の音高毎のパワースペクトルのうち前記演奏指示に含まれ る音高のものと一致したときに指示どおりに演奏されたと判定されて演奏指示が進行 される。
[0063] 本発明によれば、作成されたモデルが少なくとも 2回一致した場合に当該モデルを 記憶するので、モデルを作成するときに外部環境によるノイズなどが発せられたとし ても誤りなぐその楽器カゝら発生される演奏音に対応するモデルを誤りなく作成できる
[0064] また、レッスンする楽曲の選択あるいは演奏者のレベルに応じてモデル作成の音域 を自動的に設定することにより、必要な単音のモデルを作成するだけでよいので、モ デル作成を効率的に誤りなく行うことができる。また、モデル作成に際して、モデル作 成時に楽器を実際に弾くことにより発生された演奏音とともに、演奏指示した音高の 音を音源力 発生させることにより、楽器力 発せられるモデル作成演奏音と聴き比 ベて押鍵の間違いを演奏者に気付力せることができる。
[0065] また、まず、白鍵の全てについてのモデル作成を指示し、続いて黒鍵の全てにつ V、てのモデル作成を指示するようにしたり、表示装置に鍵盤を表示させてモデル作 成時の押鍵位置を指示するとともに、前記表示装置に表示された鍵盤の所定位置に 目印表示を常時行うようにしたりすれば、誤ったモデルが作成される可能性をさらに 少なくし、初心者でも間違 ヽなく容易にモデルを作成できるようになる。
[0066] さらに、無音状態を検出して次のモデル作成に進ませることにより、先のモデル作 成での演奏音の残響の影響をなくすことができるととみに、安心して次々とモデルを 作成することができる。
[0067] 本発明によれば、モデル作成時に演奏音の音量を適当に調整できるとともに、レべ ル調整されて入力された演奏音のアタックを良好に検出でき、演奏音の音量が適当 でなければその旨のメッセージを送出してほぼ一定の強さで弹くように促すことがで きるので、誤りのな 、モデルを作成することができる。
[0068] また、無音状態を検出して次のモデル作成に進ませることにより、先のモデル作成 での演奏音の残響の影響をなくすことができるとともに、安心して次々とモデルを作 成することができる。
[0069] さらに、モデル作成時にモデルの基本周波数以下のパワースペクトルを取り除いた り、モデルとするパワースペクトルの中力 ノイズのパワー最大値よりも低いパワーの パワースペクトルを取り除 、たり、演奏音のパワースペクトルにお 、て最も低 、周波数 付近の成分や DC成分を取り除くことにより、アクション音やノイズや DC成分の影響 がモデルに出な 、ようにすることができる。
図面の簡単な説明
[0070] [図 1]本発明の一実施形態に係るピアノの押鍵判定装置のシステム構成を示すプロ ック図である。
[図 2]演奏情報の一例を示す図である。
[図 3]押鍵指示表示の一例を示す図である。
[図 4]スペクトル作成部の要部機能を示すブロック図である。
[図 5]スペクトル比較部の要部機能を示すブロック図である。
[図 6]和音用モデル作成のための要部機能を示すブロック図である。
[図 7]本発明の第 2実施形態に係るピアノのレッスンシステムの構成を示すブロック図 である。
[図 8]第 2実施形態に係るレッスンシステムの要部機能ブロック図である。
[図 9]モデル作成フェーズに関する CPUの処理を示すフローチャートである。
[図 10]レッスンフェーズに関する CPU1の処理を示すフローチャートである。
[図 11]入力データと FFT窓の位置との関連を示す図である。
[図 12]入力データと処理タイミングとの関係を示す図である。
[図 13]アタック検出の遅れを解消できる入力データの入力タイミングと処理タイミング との関係を示す図 (その 2)である。 [図 14]アタック検出の遅れを解消できる例に係る入力データの入力タイミングと FFT 窓の位置との関連を示す図である。
[図 15]技量レベルに応じた音域を表示画面上で設定するための表示装置上の表示 例を示す図である。
[図 16]音域設定の際の入力の参考になるように表示される画面の例を示す図である [図 17]モデル押鍵指示の表示例を示す図である。
[図 18]第 3実施形態に係るスペクトル比較部の要部処理を示すフローチャートである
[図 19]レッスンフェーズで入力音が和音であるときのパワースペクトル比較のための C PUの機能を示すブロック図である。
[図 20]鍵を強めに弹 、たときのアタック時のパワースペクトルの例を示す図である。
[図 21]鍵を弱めに弾いたときのアタック時のパワースペクトルの例である。
[図 22]強めに弾いた音の logをとらない FFT値でパワースペクトルを示した図である。
[図 23]弱めに弾いた音の logをとらない FFT値でパワースペクトルを示した図である。
[図 24]logをとらない FFT値をモデルとした場合の演奏音判定のための CPUの要部 機能を示す図である。
圆 25]表示画面上に描かれた押鍵指示を伴う楽譜例を示す図である。
圆 26]楽譜が書き替えられている途中の押鍵表示の例を示す図である。
圆 27]楽譜が書き替えられた後の押鍵表示の例を示す図である。
圆 28] 1段で楽譜を表示した押鍵指示の例を示す図である。
[図 29]押鍵指示の処理を示すフローチャートである。
[図 30]楽譜を一画面に複数段ずつ表示する処理を示すフローチャートである。
[図 31]楽譜を一画面に一段ずつ表示する処理を示すフローチャートである。
[図 32]モデル作成フェーズの処理を示すフローチャートである。
[図 33]アタック検出処理の説明図である。
[図 34]マイクロフォンと AZD変^^の部分の詳細構成を示すブロック図である。
[図 35]音量表示の例を示す図である。 [図 36]音高対音量最大値の特性図である。
[図 37]モデル作成時の押鍵指示の例を示す図である。
[図 38]最低音 (ノートナンパ 21)の鍵の離鍵後の音量変化を示す図である。
[図 39]最低音 (ノートナンパ 48)の鍵の離鍵後の音量変化を示す図である。
[図 40]図 39の部分拡大図である。
[図 41]アタック直後のパワースペクトルを示す図である。
[図 42]アタックから約 1.4秒後のパワースペクトルを示す図である。
[図 43]アタックから約 4.1秒後のパワースペクトルを示す図である。
[図 44]アタックから約 5.8秒後のパワースペクトルを示す図である。
[図 45]モデル作成音（ノートナンパ 50)を押鍵したときに得られたパワースペクトルを 示す
[図 46]最高音 (ノートナンパ 108)を押鍵したときに得られた音量変化を示す図である
[図 47]レッスンフェーズの処理を示すフローチャートである。
[図 48]比較処理の例を示すフローチャートである。
[図 49]マイクロフォンから取り込まれた音のスペクトルの例を示す図である。
[図 50]ノイズ除去前とノイズ除去後のパワースペクトルの例を示す図である。
[図 51]DC除去前と DC除去後の波形の例を示す図である。
符号の説明
[0071] 3Α· ··スペクトル記憶部、 3Β· ··演奏情報記憶部、 8…表示装置、 10…マイクロ フォン、 12· ··スペクトル作成部、 14· ··スペクトル比較部、
15· ··押鍵指示部、 19· ··モード切り換え部、 81· ··表示画面、 83· ··消しゴムマー ク、 101· ··マイクボリューム、 102· ··マイクアンプ、 121· ··フーリエ変換部、 122 · · ·アタック 出 §、 123· ··ノ ッフ: τ、 124"'レべノレ 出§^、 125· ··ノ ッフ: τ、 12 6…レベル増加分算出部、 127· ··レベル増加判定部
発明を実施するための最良の形態
[0072] [第 1実施形態]
以下、図面を参照して本発明を詳細に説明する。図 1は本発明の一実施形態に係 る楽音判定装置であって、ピアノの押鍵判定装置のシステム構成を示すブロック図で ある。押鍵判定装置 1は、押鍵指示通りの楽音がアコースティックピアノ Pで弾かれた ときに押鍵指示を次のステップに進める。押鍵判定装置 1は、マイクロフォン 10、 A/ D変 6、スペクトル作成部 12、スペクトル記憶部 3A、スペクトル比較部 14、演奏 情報記憶部 3B、押鍵指示部 15、モード切り換え部 19および表示装置 8からなる。こ れら構成要素のうちマイクロフォン 10を除く押鍵判定装置 1の各構成要素は、 CPU, ROM, RAM,およびマイクロフォン 10から入力される音声信号を受け入れるインタ フェース等を備えるパーソナルコンピュータ上のソフトウェアおよびハードウェアによつ て実現することができる。表示装置 8としては液晶ディスプレイやブラウン管等、パー ソナルコンピュータの処理結果を表示するための周知の表示手段を使用することが できる。演奏情報記憶部 3Bは、外部記憶装置としてもよい。
[0073] 演奏情報記憶部 3Bには、楽曲の演奏情報が記憶されている。図 2は、演奏情報の フォーマット例を示す図である。演奏情報には、少なくともイベントデータ、およびィべ ントデータの読み出しタイミングを指示するタイミングデータとが記憶されて 、る。ィべ ントデータはノートナンパを含むノートオンデータおよびノートオフデータ力もなる。タ イミングデータは、例えば、一つのイベント終了力 次のイベント発生までの時間情報 として設定される。イベントデータとタイミングデータは、図示のように、アドレス進行に 従って記憶される。
[0074] 図 1に戻り、押鍵検出のために演奏音と比較される単音モデルの作成について説 明する。単音モデルの作成時には、パーソナルコンピュータの入力キーを使用して モデル作成指示を入力することができる。このモデル作成指示に応答してモード切り 換え部 19がスペクトル記憶部 3A側に切り換えられる。ピアノ Pの各鍵の演奏音を 1音 ずつマイクロフォン 10で取り込み、単音モデルを作成する。
[0075] まず、ピアノ Pの演奏音はマイクロフォン 10で採取され、マイクロフォン 10から AZD 変 6に入力される。 AZD変 6は、マイクロフォン力も入力されたアナログ楽 音信号をデジタル楽音信号に変換する。スぺ外ル作成部 12は、高速フーリエ変換 機能を備え、 AZD変換器 6から入力されたデジタル楽音信号をフーリエ変換してパ ワースベクトルを計算する。単音モデル作成時には、モード切り換え部 19はスぺタト ル記憶部 3Aに切り換えられて 、るので、計算されたパワースペクトルは該スペクトル 記憶部 3Aに入力され、各鍵毎つまりノートナンパ毎に単音モデルとして記憶される。 スペクトル記憶部 3Aに記憶された単音モデルを保存しておくため、フレキシブルディ スク等の外部記憶装置 9を有することができる。単音モデルを、演奏のつど作成する 手間を省くためである。
[0076] ピアノ Pの練習時には、押鍵指示開始指示に応答して演奏情報記憶部 3Bから押 鍵指示部 15に演奏情報が読み出され、表示装置 8に押鍵指示を表示するための表 示データが作成される。押鍵指示開始指示はパーソナルコンピュータ上力 入力キ 一を使用して入力することができる。表示装置 8は押鍵指示部 15から供給される表 示データに従って押鍵指示表示をする。押鍵指示表示の例は、図 3に関して後述す る。
[0077] さらに、押鍵指示部 15では、押鍵すべき音高つまりノートナンパが演奏情報のノー トオンデータ中力 抽出され、スペクトル記憶部 3Aに入力される。スペクトル記憶部 3 Aは、入力されたノートナンパに対応する単音モデルを出力し、該単音モデルはスぺ タトル比較部 14に入力される。
[0078] 一方、表示装置 8上の押鍵指示表示に従って演奏されたピアノ Pの各鍵の演奏音 がマイクロフォン 10で取り込まれる。ピアノ Pの演奏音はマイクロフォン 10から AZD 変換器 6に入力され、 AZD変換器 6は、入力されたアナログ楽音信号をデジタル楽 音信号に変換する。スぺ外ル作成部 12は、高速フーリエ変擁能を備え、入力さ れたデジタル楽音信号をフーリエ変換してパワースペクトルを計算する。練習時には 、モード切り換え部 19は押鍵指示開始指示に応答してスペクトル比較部 14側に切り 換えられて 、るので、計算された演奏音に対応するパワースペクトルはスペクトル比 較部 14に入力される。
[0079] スペクトル比較部 6では、スペクトル作成部 12で作成されたピアノ Pの演奏音のパヮ 一スペクトルと、スペクトル記憶部 3Aから入力された単音モデルとが比較される。ノ ワースベクトルの比較についてはさらに後述する。
[0080] パワースペクトルの比較の結果、両者が一致していると判断された場合 (一致の判 断基準は後述する）、スペクトル比較部 14は一致信号を押鍵指示部 15に入力する。 押鍵指示部 15は、一致信号に応答して、演奏情報記憶部 3Bの読み出しアドレスを 進めて次の演奏情報を読み出す。表示装置 8の表示は読み出された演奏情報に従 つて更新された表示データに従って押鍵指示を進行させる。
[0081] パワースペクトルの比較の結果、両者が一致して 、な 、と判断された場合は、スぺ タトル比較部 14から一致信号が出力されないので、次の演奏情報は読み出されない 。演奏者が演奏しなおし、その演奏音のパワースペクトルが単音モデルと一致すれ ば、押鍵指示は進行する。パワースペクトルが一致しない場合に、表示装置 8に再度 の押鍵を促すエラー表示を行えるようにするのが好まし 、。
[0082] 図 3は、表示装置 8の表示画面の一例を示す図であり、同図ではピアノロールつま りスクロール表示方式で押鍵指示をして 、る。表示画面 81の下部に鍵盤図形 Kが表 示されていて、その上方に押鍵指示マーク Mが表示される。表示画面 81は上下が時 間軸であり、押鍵指示マーク Mは鍵盤図形 Kに近いほど、早い時期に弾くべき楽音 であることを意味する。押鍵指示マーク Mは、押鍵すべき鍵に対応する位置に、音符 長さに対応した長さで表示され、前記パワースペクトルが一致すると、下方にスクロー ルされる。現在押鍵されているべき鍵はマーク mで示される。小節線 BLで示すように 、この例では 2小節分の押鍵指示が同時に一画面上に表示されている力 同時に表 示する画面の大きさつまり表示される演奏情報の範囲は任意である。このように演奏 情報に基づく押鍵指示マークと鍵盤図形とを同時に表示し、押鍵指示マークをスクロ ール表示する演奏指示装置は、例えば、特開平 9- 305171号公報に開示されてい る。
[0083] 押鍵指示の表示形式は、鍵盤図形に対してマークをスクロールする方式に限らず、 楽譜形式、つまり五線譜上に表示された音符をスクロールする方式であってもよい。 また、ピアノ Pの鍵盤に沿って各鍵毎に対応する位置に LED (発光ダイオード)を配 した表示器を設置し、押鍵すべき鍵に対応する LEDを点灯させて押鍵指示を表示 するものであってもよい。
[0084] 次に、スペクトル作成部 12を詳述する。図 4は、スペクトル作成部 12の要部機能を 示すブロック図である。スペクトル作成部 12は、フーリエ変換部 121、アタック検出部 122、およびバッファ 123を備えることができる。アタック検出部 122は、レベル検出 部 124、バッファ 125、レベル増加分算出部 126、およびレベル増加判定部 127を 有する。
[0085] フーリエ変換部 121は、入力されるデジタル楽音信号を所定時間毎に抽出し、その デジタル楽音をスペクトル変換してバッファ 123に出力する。レベル検出部 124は、 バッファ 123に出力されたパワースペクトルの各周波数成分のレベルを検出してバッ ファ 125に格納する。レベル増加分算出部 126は、レベル検出部 124から入力され る今回のパワースペクトルとバッファ 125に保持されている前回検出されたパワース ベクトルの各周波数成分のレベルの差を合計し、前回算出時からのレベル増加分を 算出する。レベル増加判定部 127は、レベル増加分が予定のしきい値を超えたとき に、アタック検出と判断してバッファ 123からパワースペクトルを前記スペクトル記憶部 3Aに読み出す。
[0086] このように、入力されたデジタル楽音信号のアタックを検出してそのパワースぺタト ルを抽出するようにするのは、なるべく早い時期に、正しい押鍵がされたかどうかを検 出するのが望ましいからである。先に弾いた音の残響がある演奏時のアタック検出で は、このようにパワースペクトルのレベル増加分に基づ!/、てアタック検出するのが好ま しい。しかし、単音モデル作成時のアタック検出では、このような方法によらず、単に 音量または振幅が、予想されるノイズの音量または振幅以上に設定したしきい値を超 過したときにアタック検出と判断する方法でもよ 、。単音ずつモデル作成のために演 奏音を入力すればょ 、ので、残響等を考慮しなくてょ 、からである。
[0087] 次に、スペクトル比較部 14を詳述する。図 5は、スペクトル比較部 14の要部機能を 示すブロック図である。スペクトル比較部 14は、距離算出部 141、距離合計部 142、 および距離判定部 143を備える。距離算出部 141は、スペクトル記憶部 3Aから入力 されるパワースペクトルとスペクトル作成部 12から入力されるパワースペクトルとのュ ークリツド距離を各周波数成分毎に算出する。ユークリッド距離によれば、二つの値 の差が 2乗されて、その結果、該差が強調されるので、二つの値の一致の判別が容 易である。
[0088] 距離合計部 142は、各周波数成分毎のユークリッド距離を合計する。距離判定部 1 43は、ユークリッド距離の合計が予定のしきい値以下であるかどうかによって、両パヮ 一スペクトルが一致しているかどうかを判定し、一致していれば、一致信号を出力す る。
[0089] ノ ヮ一スペクトルの比較に際して、距離算出部 141では、スペクトル作成部 12から 入力されるパワースペクトルのレベル力 スペクトル記憶部 3A力 入力されるパワー スペクトルのレベルに対してどれだけ不足しているかを各周波数成分毎に算出し、距 離合計部 142では、その不足分の合計を算出するようにしてもよい。ピアノ等、残響 が多く残る楽器には、この方が好都合である。
[0090] 距離判定部 143で使用されるしきい値は、固定値にするのではなぐ前回のァタツ ク検出時力も今回のアタック検出時までの時間に応じて変えることができる。すなわち 、該時間が短い場合にはしきい値を大きくしてパワースペクトルの一致判定基準を緩 ぐ該時間が長い場合はしきい値を小さくしてパワースペクトルの一致判定基準を厳 しくする。
[0091] 単音モデル作成時と演奏時とでは音量が異なるので、このような音のパワースぺク トルを互いに比較すると正しい判定ができない。そこで、 AZD変 6から入力され るデジタル楽音信号を正規化する手段が設けられる。正規化は、該デジタル楽音信 号の振幅を測定し、その測定値が所定値になるようにレベル補正することである。
[0092] 練習時の入力音が和音であるときには、あら力じめスペクトル合成を行って比較を 行う。図 6は、和音の押鍵比較をするための機能を示すブロック図である。スペクトル 記憶部 3Aは、押鍵指示部 15から和音の押鍵指示が入力されたときに、該和音を構 成する各音のパワースペクトルをスペクトル合成部 20に出力する。和音の合成は各 音のパワースペクトルつまり単音モデルを加算して行う。単に単音モデルを加算する のではなぐ各音の弾くべき音量に従って単音モデルに重み付けをした後、そのパヮ 一スペクトルを加算してもよい。弾くべき音量の大きさは、例えば、演奏情報に含める ことができるベロシティデータによって判断することができる。
[0093] 和音演奏時は、表示装置 8上の押鍵指示表示に従ってピアノ Pで演奏された和音 演奏音がマイクロフォン 10で取り込まれる。ピアノ Pの演奏和音はマイクロフォン 10か ら AZD変 6に入力されて和音のデジタル信号に変換されてスペクトル比較部 1 4に供給される。 [0094] 上記実施形態では、単音モデルをピアノ Pの演奏音に基づいて作成し、この単音 モデルとピアノ Pの演奏音との比較を行った。これによつて、ピアノ Pが仮に調律が正 しく行われていない場合であっても、同じピアノ Pの演奏音同士の比較で判断するの で、押鍵指示通りに弾けたかどうかの判断が確実である。
[0095] しかし、本発明は、これに限らず、他のピアノの演奏音から別途作成した単音モデ ルを外部記憶装置 19からスペクトル記憶部 3Aに読み込んで使用する場合にも適用 できる。
[0096] また、パワースペクトルの単音モデルを使用するのに限らず、例えば、演奏音の波 形を記憶して単音モデルとしてもよいしパワースペクトルのピーク位置つまり基本波 の周波数を単音モデルとしてもよい。これらの場合は、スペクトル比較部 14では、ピ ァノ Pの演奏音の波形や基本波の周波数を単音モデルと比較するのはもちろんであ る。
[0097] さらに、本発明は、ピアノの押鍵判定に限らず、オルガン、アコーディオン、ハーモ ユカ、リコーダ、ギター等、各種自然楽器の演奏音判定に適用することができる。
[0098] [第 2実施形態]
次に、本発明の第 2実施形態を説明する。アタックのパワースペクトル同士を比較し て演奏音が正しいかどうかを判断する場合、アタックは次のようにして検出される。ま ず、マイクロフォンからの入力音に対する高速フーリエ変換 (FFT)を行う。そして、検 出されたパワースペクトル力 前回検出されたパワースペクトルに対してどの程度増 カロしているかを算出する。そして、この増加程度がしきい値以上のときにアタックと判 断する。
[0099] FFTは所定の FFT窓の長さ毎に区切って実施され、当該窓時間でアタックが検出 されない場合は、次の窓時間内で再度 FFTを実施する。しかし、 FFTの窓時間は長 V、ので、このように窓の長さ毎に区切って処理を行って!/、たのではアタックの検出が 遅れてしまう。特に、アルペジオのように複数音を素速く演奏する場合には処理が間 に合わず、アタックを検出できない。例えば、アコースティックピアノの最高音の場合、 音の持続時間が約 40m秒程度しかな!/、が、 11025Hzで 1024ポイントの FFTを行 つた場合、窓時間が約 93m秒となり、アタックの瞬間を捉えることができない。 [0100] 第 2実施形態では、指示通りに演奏できた力どうかを判定する際に必要なアタック の検出を確実に行うことができるようにする。
[0101] 図 7は、本発明の楽音判定装置の第 2実施形態に係るピアノのレッスンシステムの ブロック構成図である。このレッスンシステムでは、予め準備された演奏情報に基づ いてピアノの鍵もしくは音高の指示、および押鍵タイミングの指示を含む押鍵指示を 表示し、演奏者はこの押鍵指示に従って順次演奏を進めていく。具体的処理は、モ デル作成フェーズとレッスンフェーズとからなる。モデル作成フェーズでは、レッスン に先立ち、レッスンに使用するピアノの各鍵の発生音のパワースペクトルを単音モデ ルとして記憶する。そして、レッスンフェーズでは、押鍵指示のための表示を行うととも に（押鍵指示の例は、図 3に関して述べた）、押鍵指示に従って行われる演奏音のパ ワースベクトルと前記単音モデルとを比較し、両者のパワースペクトルが予定の距離 内にあれば押鍵指示を先に進める。
[0102] 図 7に示すレッスンシステムは、 CPU1、 ROM2、 RAM3、音源装置 4、スピーカ 5、 AZD変翻 6、入力装置 (キーボードやマウス） 7、および表示装置 8を含むパーソ ナルコンピュータで要部を構成することができる。表示装置 8としては液晶ディスプレ ィゃブラウン管等、パーソナルコンピュータの処理結果を表示するための周知の表示 手段を使用することができる。パーソナルコンピュータには外部記憶装置 9が接続さ れ、かつ A/D変翻 6を介してマイクロフォン 10が接続される。マイクロフォン 10は ピアノ Pの発生音を採取するために設けられるものであり、ピアノ P内に配置されるの が望ましい。
[0103] 図 8は、 CPU1の機能つまり判定装置の構成を示すブロック図である。 CPU1は、 音量測定部 11、スペクトル作成部 12、アタック検出部 13、スペクトル比較部 14、押 鍵指示部 15、およびフェース切り換え部 19を要部機能として備える。すなわち、これ ら要部機能は、 CPU1で実行されるソフトウェアとして実現される。もちろん、これらの 要部機能はハードウェアで構成してもよ 、。
[0104] 音量測定部 11は、マイクロフォン 10から AZD変 6を通じて入力された音のレ ベル (音量）を検出する。スペクトル作成部 12は、マイクロフォン 10および AZD変換 器 6を通じて入力されたデジタル楽音信号からパワースペクトルを得る FFT機能を有 する。モデル作成フェーズでは、フェーズ切り換え部 19がスペクトル記憶部 3A側に 切り替えられ、 FFTによって得られたパワースペクトルは RAM3内のスペクトル記憶 部 3Aに記憶される。パワースペクトルは外部記憶装置 9に記憶してもよい。
[0105] レッスンフェーズでは、フェーズ切り換え部 19がスペクトル比較部 14側に切り替えら れる。アタック検出部 13は、検出されたパワースペクトルに基づいてアタックを検出す る。スペクトル比較部 14はモデル作成フェーズおよびレッスンフェーズにおいて、そ れぞれスペクトル作成部 12で作成されたパワースペクトルの距離を比較して演奏が 押鍵指示通り行われたかどうかを判断する。押鍵指示部 15は、演奏情報記憶部 3B に格納されている演奏情報に従って表示装置 8への押鍵指示表示のための表示デ ータを作成する。表示データはレッスンフェーズで入力装置 7から入力される演奏開 始指示に応答して押鍵指示部 15で作成され、表示装置 8に入力される。
[0106] 図 9は、モデル作成フェーズに関する CPU1の処理を示すフローチャートである。ス テツプ S1では、曲の選択を促す画面を表示装置 8に表示する。入力装置 7を使用し て選曲がなされたならば (ステップ S2肯定）、ステップ S3に進んで、選ばれた曲の演 奏情報を演奏情報記憶部 3Bから読み出し、その演奏情報を走査してその曲の音域 を検出する。この音域で単音モデルを作成するためである。単音モデル作成する音 域は、選曲に従って決定するのでなくてもよい。例えば、演奏者が直接音域を入力し てもよいし、選曲に代えて技量のレベルを選択できるように画面表示し、この画面表 示に従って技量レベル力も決定してもよい（図 15に関して後述)。また、演奏者が直 接音域を入力する際の参考となるように選曲された曲の音域を表示してもよい（図 16 に関して後述)。
[0107] ステップ S4では、収録する単音モデルの音高を決定する。最初は上記音域中の最 低音を収録音高として決定する。ステップ S5では、単音モデル収録用の押鍵指示（ レッスンフェーズでの押鍵指示と区別して、「モデル押鍵指示」と 、う）として表示装置 8に収録音高を表示する（図 17に関して後述する）。モデル押鍵指示は、表示装置 8 によらず音源装置 4を使って音高に対応した楽音データを作成し、スピーカ 5で発音 させるようにしてもよい。また、発音による指示は表示装置 8による表示と併せて行つ てもよい。 [0108] ステップ S6では、音量測定部 11での音量測定を開始する。音量測定は離鍵指示 まで継続される。ステップ S7で音量がアタック検出のためのしきい値を超えているか 否かが判断され、この判断が肯定ならばアタックを検出したとしてステップ S8に進む 。ステップ S8では、 FFTによりパワースペクトルを計算し、このパワースペクトルおよ びパワースペクトル計算時の音量を RAM3に一時的に保存する。
[0109] ステップ S9では、表示装置 8に離鍵を促す指示をする。離鍵指示は表示装置 11で の表示またはスピーカ 5による音もしくは音声の指示であってもよい。ステップ S10で は、音量が無音検出のためのしきい値以下になったかどうかを判断する。音量がこの しき 、値以下になれば実質的に無音と判断され、ステップ S 11に進む。
[0110] ステップ S 11では、モデル押鍵指示から離鍵指示までの音量の最大値が許容範囲 に入っているかどうかが判断される。最大音量が許容範囲にない場合は、極端に強く または極端に弱く弾かれたためと判断され、単音モデルとして適当でないので、再度 押鍵を要求するためにステップ S 5に進む。アタックを検出したとみなしたときの音量 力も判断するのではなぐ測定した音量の最大値によって押鍵強さが適当であるかど うかを判断するのは、アタック時点で音量が最大になるとは限らず、通常はアタック検 出後に音量は最大値となるからである。なお、押鍵強さは、音量によって判断するの に代えて振幅の最大値によって判断してもよ 、。
[0111] 正しく押鍵されたと判断されたならば、ステップ S 12に進み、ステップ S8で一時的に 保存したパワースペクトルおよび音量をこの音高の単音モデルとして対応づけてスぺ タトル記憶部 3Aもしくは外部記憶装置 9に記憶する。
[0112] ステップ S11が否定の場合は、押鍵強さを変えて弾くようにメッセージを表示してか らステップ S5に進むようにしてもよい。例えば、許容範囲に対して音量が大きいときは 「もっと弱く弾いてください」と表示し、許容範囲に対して音量が小さいときは「もっと強 く弾いてください」と表示する。
[0113] ステップ S 13では、ステップ S3で決定された音域の最終音 (最高音）の単音モデル を作成したかどうかを判断し、最終音の単音モデルを作成していたのでなければ、ス テツプ S14で、音高を 1段階高くした後、ステップ S5に進む。ステップ S14では、音高 を音階に従って直上の音高に上げる、つまり音程を 1度上げるのではなぐ白鍵およ び黒鍵について、それぞれ個別に連続して押鍵できるように音高を上げていくのがよ い。音階に従って順に音程を 1度ずつ上げていくと白鍵と黒鍵を交互に弾く場合が 生じ、モデル押鍵指示と対応しな!ヽ鍵を弾く操作エラーが起こりやす ヽからである。
[0114] 最終音まで単音モデルを作成したならば、ステップ S13は肯定となって、このモデ ル作成フェーズの処理を終了する。
[0115] 図 10は、レッスンフェーズに関する CPU1の処理を示すフローチャートである。ステ ップ S21では、ステップ S 12で記憶した単音モデルを読み込む。ここでは最新に記憶 された単音モデル、もしくは前回のレッスンで使用した単音モデルを自動的に読み込 んでもよ!/、し、記憶されて!、る単音モデルを表示装置 8に表示して演奏者が選択した ものを読み込んでもよい。ステップ S22では、レッスンする曲の選択を促す画面を表 示装置 8に表示する。この画面は、 RAM3もしくは外部記憶装置 9に予め記憶されて V、るレッスン曲データに基づ 、て曲の一覧表として作成される。記憶されて 、るレツス ン曲のうち演奏者の技量レベルに応じた曲のみを表示するようにしてもよい。
[0116] ステップ S23では、レッスン曲が選ばれたかどうかが判断され、レッスンする曲が選 曲されたならば (ステップ S23肯定）、ステップ S24に進んで、選ばれた曲の演奏情 報を演奏情報記憶部 3Bから読み出す。
[0117] ステップ S25では、選ばれた曲の演奏情報中のすべての音の高さが、選択された 単音モデルの音域内に含まれているかどうかを判断する。この判断が肯定ならば、ス テツプ S26に進む力 否定であれば、改めて選曲を促すためにステップ S22に戻る。 なお、ステップ S25が否定の場合に、選曲に戻ってもよいし、単音モデルの選択をや り直すようにしてもよい。
[0118] ステップ S26では、選ばれたレッスン曲の最初の楽音の音高を、変数として RAM3 にセットする。そして、ステップ S27ではこの音高に対応する鍵を弾くことができるよう に押鍵指示を行う。ステップ S28では、単音モデルのうちから押鍵指示の音高に対 応するものを読み出す。
[0119] ステップ S29では、スペクトル作成部 12の機能により、マイクロフォン 10からの入力 音のパワースペクトルを算出する。ステップ S30では、アタックが既に検出されている か否かを判断する。通常アタックが検出されるのは、音が立ち上がる瞬間のみであり 、再びアタックが検出されたとしても、その時のパワースペクトルと単音モデルとがー 致するとは限らない。したがって、アタックが一度検出された後、同じ楽音が発生され ている間は、このステップ S30の判断によって 2度目以降のアタック検出を回避する。 最初はこのステップ S30の判断は否定であり、ステップ S31に進んでアタック検出を 行う。 2度目以降にステップ S30の判断は肯定となり、ステップ S34に進む。アタック 検出はパワースペクトルのパワー増加分が予定量を超えた力否かによって判断する 。アタックが検出されたならばステップ S32が肯定となり、ステップ S33でアタック検出 フラグをセットしてステップ S34に進む。
[0120] ステップ S34では、スペクトル比較部 14の機能により、ステップ S29で計算されたパ ワースベクトルと単音モデルとがー致しているかどうかを判断する。この判断は、単音 モデルのパワースペクトルとステップ S29で計算されたパワースペクトルとの距離の合 計によって行う。つまり各周波数成分毎に互いの距離を算出し、その合計がしきい値 を超えて 、るか否かによって両スペクトルが一致して 、るか否かを判断する。両パヮ 一スペクトルの単純比較でもよ 、し、互 、の音量の違いに応じて正規ィ匕つまり重み付 けしたパワースペクトル同士の比較であってもよい。また、ユークリッド距離を使用す るのがよい。ユークリッド距離によれば、二つの値の差が 2乗されて、その結果、該差 が強調され、二つの値の一致の判別が容易だからである。
[0121] 演奏音が和音の場合は、和音モデルを作成し、ステップ S34では、この和音モデル と演奏音のパワースペクトルとを比較する。
[0122] パワースペクトルの比較に際して、スペクトル作成部 12から入力されるパワースぺク トルのレベルが、単音モデルのパワースペクトルのレベルに対してどれだけ不足して いる力を各周波数成分毎に算出し、その不足分の合計を算出するようにしてもよい。 ピアノ等、残響が多く残る楽器には、この方が好都合である。
[0123] 両パワースペクトルが一致していない場合は、ステップ S29に戻る。両パワースぺク トルが一致していた場合はステップ S35に進んでアタック検出フラグをリセットする。
[0124] ステップ S36では、演奏情報の最後の楽音についてそのパワースペクトルと単音モ デルとの一致の判断が終了した力否かが判断される。最後の楽音についての単音モ デルとの比較処理が終了していない場合は、ステップ S37において、演奏情報の次 の楽音データの音高を、変数として RAM3にセットし、ステップ S27に進む。
[0125] 最後の楽音についての前記比較処理が終了した場合は、ステップ S38に進んでも う一度同じ曲についてレッスンを行うかどうかを演奏者に選択させる表示をしたり、ス テツプ S39に進んで別の曲のレッスンを行うかどうかを演奏者に選択させる表示をし たりする。
[0126] ステップ S38が肯定の場合はステップ S26に進むし、ステップ S39が肯定ならばス テツプ S22に進む。ステップ S36およびステップ S39が否定ならば、レッスンフェーズ を終了する。
[0127] 次に、アタック検出をより確実に行うことができる処理について説明する。図 11は、 入力データと FFT窓の位置との関連を示す図である。アタック検出は、マイクロフォン 10から入力された音のデータに対して、このように区切られた FFT窓毎に行われる。
[0128] 図 12は、入力データの入力タイミングと処理タイミングとの関係を示す図である。例 えば、入力データがタイミング tOから蓄積開始されて、タイミング tlで FFTに必要な 分が蓄積されると、その入力データに関して計算が開始され、タイミング t2で計算が 終了してアタックか否かの判断がなされる。そして、アタックが検出されなければ、タイ ミング tl一 t3間のデータが採取されるのを待ってタイミング t3で再び計算が開始され 、タイミング t4で計算が終了してアタック力否かの判断がなされる。この計算タイミング によれば、例えば、タイミング tlと t2との間で生じたアタックは、タイミング t4において 検出される。つまり実際のアタック時から、ほぼ FFT窓の長さ分遅れた時点で検出さ れる。
[0129] そこで、次のようにして、このようなアタック検出の遅れを解消する。図 13は、ァタツ ク検出の遅れを解消できる入力データの入力タイミングと処理タイミングとの関係を示 す図である。図 13において、タイミングので、タイミング tOからタイミング tlの間に入 力されたデータに対して FFT処理を開始し、さらにタイミング tlから時間 A Lずらした 時点 t20で、その時点 t20直前の FFT窓時間に相当する時間 Tの入力データに対し て FFT処理を開始する。時間 A Lは予め設定される値で、例えば、 FFT窓の 1Z4の 長さに設定しておく。この FFT処理に基づくアタック有無は計算開始から処理時間 Δ T経過後のタイミング t21で検出される。つまり、タイミング tlの直後に生じたアタック がタイミング t21で検出される。同様にタイミング tO力ら時間 2 A L、 3 A L"-、のように 、順次、 FFT窓を予定のシフト時間 A Lずつずらした時間の入力データについて FF T処理を行う。したがって、図 12に関して説明した例のようにタイミング t4でアタック検 出される処理よりも短時間でアタック検出することができる。
[0130] 図 14は、 FFT窓をずらして FFT処理を行ってアタック検出遅れを解消する図 13の 処理に係る入力データと FFT窓の位置との関連を示す図である。
[0131] CPU1の処理能力によって、 FFT処理に時間が力かる場合、つまりタイミング tlか ら開始される処理時間 ΔΤ力 ずらした時間（シフト時間） A Lより長い場合は、シフト A L時間を処理時間 ΔΤと同じ力、処理時間 ΔΤより長くなるように延長する。一方、 処理時間 ΔΤが、シフト時間 A Lより長い場合は、シフト A L時間を処理時間 ΔΤに合 わせて短縮することもできる。こうして、 FFT処理の時間に応じてできるだけ素速くァ タック検出することができる。
[0132] また、 1回の FFT処理で 1度しかアタック検出できないので、一つの FFT窓内で 2回 アタックがあるような場合、例えば、アルペジオのように速いフレーズでは、後の音の アタックを検出することができない。この場合、押鍵指示が進行しないことになる。そこ で、このような速いフレーズのときはアタック検出をスキップして処理を先に進めること ができる。アルペジオ等である力否かは予め演奏情報を先読みして判断する処理ル 一チンを設けておくことによって検出することができる。つまり演奏情報を予め読み取 つて、アルペジオなど演奏速度が速 、フレーズの位置 (発生タイミング)を予め記憶し ておく。そして、このフレーズの発生タイミングでの楽音に対する処理では、図 10のス テツプ S29でパワースペクトルを算出したならば、アタックの検出如何にかかわらず、 直ちに単音モデルとの比較 (ステップ S34)に移行する。
[0133] アタックの有無を判断するのに使用されるパワースペクトルの増加分のしきい値は、 モデル作成フェーズにパワースペクトルと併せて記憶した音量に応じて連動させても よい。また、アタック検出処理 (ステップ S31, S32)を繰り返してもアタックが検出され な 、場合は、しき 、値設定画面を表示装置 8に表示して演奏者にしき 、値の調節を 促してちょい。
[0134] アタックを検出した後に、パワースペクトル中に次に弾くべき音のピークが立ってい るかチェックして、余分な音ではアタックを検出しないようにすることもできる。
[0135] 図 15は、技量レベルに応じた音域を表示画面上で設定するための表示装置 8上の 表示例を示す図である。図 15には、鍵盤図形 Kを表示し、この鍵盤図形 K上に、技 量レベルを示す「入門」、「初級」、「中級」および「上級」の文字と、各技量レベルのそ れぞれに対応した音域を矢印で表示する。この各技量レベルの!/ヽずれかを選択す れば、各レベルに対応した図示の範囲の音域が設定される。例えば、この画面の技 量レベルを示す各文字上にカーソルを合わせて指示を入力すれば、各レベルに対 応した図示の範囲がレッスン音域として設定されるようにする。
[0136] 図 16は、音域設定の際の入力の参考になるように表示される画面の例を示す図で ある。図 16において、表示された鍵盤図形 Kの鍵のうち、白鍵および黒鍵とは異なる 色で示した鍵 16が、選曲されたレッスン曲に含まれる音高に対応する鍵である。図で は着色できないので、鍵 16には、他の黒鍵および白鍵と区別するため粗いドット模 様を付した。演奏者はこの音高の表示を参考に、これらの鍵 16のすベてを含むよう に音域を設定することができる。例えば、任意の二つの鍵を表示画面上で指示し、こ れらの鍵をそれぞれ最低音および最高音とする音高の範囲をレッスン音域として設 定するとよい。
[0137] 図 17は、モデル押鍵指示の表示例を示す図である。図 17において、表示装置 8に 表示された鍵盤図形 Kには、他の鍵と区別できるように色もしくは模様を付けた鍵 17 によって、単音モデル作成のための押鍵すべき鍵盤位置を示している。演奏者はこ の表示された鍵盤図形 K上の鍵 17に従って実際のピアノの鍵を押すことができる。 なお、図中の白鍵上に示したマーク 18は押鍵位置を認識しやすくするためのもので ある。このマーク 18で示された鍵と同じ音高に対応する実際のピアノの鍵に、単音モ デル作成に先だってシール等を付しておくことにより、表示された鍵盤図形 Kと実際 のピアノの鍵盤との対応がつきやすくなる。
[0138] 図 9および図 10に示したフローチャートや変形例に係る処理は CPU1で実行可能 なようにプログラムされ、 CDや ROM等、周知の記録媒体に記録して提供されること ができる。
[0139] [第 3実施形態] 次に、本発明の第 3実施形態を説明する。既述のように、演奏音のパワースぺタト ルと単音モデルとの比較にぉ 、て、単音モデル作成時および演奏時のそれぞれの 音量に応じて演奏音のパワースペクトルと単音モデルを音量で正規ィヒしたあと、両パ ワースベクトルの距離を周波数成分毎に算出し、その合計値がしきい値以下である か否かによって、両パワースペクトルが一致して!/、るかどうかを判定する。
[0140] 和音の場合は、比較時に各構成音の単音モデルを合成して和音モデルを作成し、 この和音モデルと演奏音のパワースペクトルとに関して、単音の場合と同様に両パヮ 一スペクトルが一致しているかどうかの判定を行う。
[0141] しかし、和音に関しては以下の課題がある。各構成音の単音モデル毎に音量で正 規化し、その後に合成を行うようにすると、強く弾いても大きい音量が出ない高音側 でパワースペクトルが強調されすぎた和音モデルになってしまう。その結果、高音側 の音は極端に強く弾かないとパワースペクトルが和音モデルと一致しない。
[0142] アコースティックピアノでは、強く弾いた場合と、弱く弾いた場合とで倍音の出方が 違ってくる。したがって、モデル作成時と演奏時との音量の違いだけでなぐ打鍵の 強さの違いによっても、パワースペクトルがー致しに《なることが考えられる。
[0143] 和音の演奏では、和音数が多くなるほど、各構成音の特徴が埋もれ、一部の構成 音が違って 、てもパワースペクトルが一致して 、ると判定されてしまうことが考えられ る。
[0144] 音高によってパワースペクトルの量が異なり、高音の方が低音に比べてパワースぺ タトルの総量が少ない。したがって、低音に比べてパワースペクトルが一致しやすい。 つまり正しく弾かれた力どうかの判定精度が低下するおそれがある。
[0145] パワースペクトルの一致を、モデルに対する演奏音のパワースペクトルの不足分の 総和をしきい値と比較して判断する場合、オクターブの違いや、和音の構成音の一 部の違 、などによってパワースペクトルが似通って 、る場合に、誤ってパワースぺタト ルが一致して 、ると判断されることが考えられる。
[0146] 低音部は周波数分解能が低いので、半音差で隣り合つている音同士の違いを判定 しにくぐ誤ってパワースペクトルが一致していると判断されることが考えられる。
[0147] 第 3実施形態では、指示通りに演奏できた力どうかを判定する際のパワースペクトル の照合精度をより向上させることができる方法を提案する。
[0148] 演奏音が和音の場合は、後述する方法によって和音モデルを作成し、ステップ S3 4では、この和音モデルと演奏音のパワースペクトルとの比較を行う。
[0149] 図 18は、第 3実施形態に係る前記スペクトル比較部 14の処理 (ステップ S34)の詳 細なフローチャートである。図 18において、ステップ S41では、演奏情報に基づいて 演奏音が和音カゝ否かを判断する。和音の場合は和音モデルを作成する。まず、ステ ップ S42で単音モデルを合成して和音モデルを作成する。ステップ S43では、モデ ルを音量で正規ィ匕する。和音の場合は和音モデルを正規ィ匕する。正規ィ匕は、モデル と演奏音との音量の違いによる影響を排除するためモデル作成時の音量と演奏音の 音量とを同じにするものである。例えば、演奏情報のベロシティ値から弾くべき音量を 決定し、この音量にモデルおよび演奏音の音量が揃うようにパワースペクトルを重み 付けする。和音の場合は各構成音の音量の総和によって正規ィ匕する。演奏音が和 音でな 、場合は、ステップ S41からステップ S42をスキップしてステップ S43に進む。
[0150] ステップ S44では、演奏音のパワースペクトルを正規化する。ステップ S45では、モ デルと演奏音のパワースペクトルとの距離を算出する。ステップ S46では、パワース ベクトルの一致を判断するためのしき ヽ値を決定する。しき 、値の決定方法は後述 する。
[0151] ステップ S47では、ステップ S45で決定したしきい値とステップ S45で算出された距 離とを比較する。距離がしきい値以下であれば、演奏音のパワースペクトルとモデル とが一致したと判断される。また、距離がしきい値以上の場合は演奏音のパワースぺ タトルとモデルとが不一致と判断される。
[0152] ステップ S47で、距離がしきい値以下であると判断された場合に、さらに演奏音の パワースペクトルにその演奏音にあるべき特徴の有無によって演奏音と押鍵指示とが 一致している力否かを判断した後、最終的に決定してもよい (ステップ S48)。演奏音 にあるべき特徴に関してはさらに後述する。
[0153] 和音の比較において、単音モデルを合成して作成された和音モデルを正規化する ことによって、次の効果が期待できる。各構成音の単音モデルをそれぞれ音量で正 規化してから合成すると、高音側の、強く弾いても大きい音量が得られない音域では 、パワースペクトルが強調されすぎた和音モデルになるおそれがある。しかし、合成さ れたパワースペクトルに対して正規ィ匕するとこの不具合が解消される。
[0154] 図 19は、レッスンフェーズで入力音が和音であるときのパワースペクトル比較のた めの CPU1の機能を示すブロック図である。和音の比較は、単音モデルを合成して その後作成された和音モデルと演奏和音のパワースペクトルとで行う。押鍵指示部 1 5からの押鍵指示に従ってスペクトル記憶部 3Aの単音モデルが合成部 20に読み出 されて合成される。合成された単音モデルつまり和音モデルは、正規化部 21で音量 によって正規ィ匕され、スペクトル比較部 14に入力される。
[0155] 一方、マイクロフォン 10から入力され AZD変^ ^6でデジタルデータに変換され た演奏音はスペクトル作成部 12に入力されてパワースペクトルが算出される。算出さ れたパワースペクトルは、スペクトル比較部 14に入力されて前記和音モデルと比較さ れる。比較により、パワースペクトルが一致した場合は、押鍵指示部 15にその結果が 通知され、押鍵指示が進められる。なお、単音モデルの合成後に正規ィ匕を行うように している場合、単音モデルは、ほぼ同一の強さで打鍵されて作成されているのが望ま しい。
[0156] 次に、ピアノ Pを強く弾いた場合と弱く弾いた場合のパワースペクトルの違いの影響 を排除する手法を説明する。ピアノ Pを強く弾いた場合と弱く弾いた場合の倍音の違 いの影響を低減してパワースペクトルの一致の判断を確実にする手法を説明する。 図 20はノートナンパ「60」の鍵を強めに弹 、たときのアタック時のパワースペクトルの 例を示し、図 21はノートナンパ「60」の鍵を弱めに弾いたときのアタック時のパワース ベクトルの例である。この図 20,図 21の例は音量で正規化した値であり、 FFT処理 後の log値である。このように、同じ鍵を弾いても打鍵の強さによって倍音の出方に違 いがあるのがわかる。この両者を比較した場合、互いの距離が大きいので両者は不 一致と判断されるおそれがある。
[0157] このパワースペクトルは、上述のように log値である。一方、 FFT処理後の値をその まま (logをとらない値で)パワースペクトルとして示すと、図 22,図 23のようになる。図 22,図 23に示すように、音域毎のパワーの違いが強調され、高音側つまり倍音側の パワースペクトルがカットされて 、るのが分力る。 [0158] したがって、モデル作成フェーズおよびレッスンフェーズにおいて、パワースぺタト ルを作成する際に FFT処理で算出された値を、 logをとらずにそのままパワースぺタト ルのモデルとして採用する。
[0159] 図 24は、 logをとらない値をモデルとした場合の演奏音判定のための CPU1の要部 機能を示す図である。モデル作成フェーズでは、フェーズ切替部 19がスペクトル記 憶部 3A側に切り替えられる。スペクトル作成部 12は、マイクロフォン 10から入力され て AZD変 6で AZD変換された楽音のデジタルデータのパワースペクトルを算 出する。その計算結果は音高とともに、 logをとらない値のままスペクトル記憶部 3Αに 直接入力されて入力データのパワースペクトルモデルとして保存される。レッスンフエ ーズでは、フェーズ切替部 19がスペクトル比較部 14側に切り替えられる。そして、ス ベクトル作成部 12で FFT処理された入力データは、音高とともに、 logをとらない値 のままパワースペクトルとしてスペクトル比較部 14に直接入力される。そして、スぺタト ル比較部 14には、同様に、 logをとらない値としてスペクトル記憶部 3Aに保存されて いるパワースペクトルが読み出されて両パワースペクトルが比較される。
[0160] FFT処理後の値を logをとらずに直接使用するのに代えて、 FFT処理後の値の log をとつたものを使用して、この logをとつた値であるパワースペクトルの高域側をカット して使用するようにしてもよい。また、演奏音波形を、ローノ スフィルタを通して取り込 むようにしてもよい。
[0161] スペクトル比較部 14で使用される距離のしきい値の決定方法を説明する。和音の 場合、和音数が多いほど各構成音の特徴が埋もれてしまい、一部の構成音が押鍵 指示と違っていても和音全体としては距離が一致することがある。そこで、しきい値を 固定するのではなぐ和音数に応じてしきい値を変化させる。つまり、和音数が多い ほど小さ!/ヽしき!/、値 (小さ!/、距離値)を使用してパワースペクトルの一致判断基準を 厳しくする。しき 、値は演奏情報から和音数を判断して自動的にしき 、値を選択して もよいが、演奏者が予め曲に応じて選択してもよい。
[0162] 音高によってさらにしきい値を変化させることができる。高音側では低音側に比べて パワースペクトルのパワーの総量が少な 、ので、比較されるパワースペクトル同士の 距離が小さくなり、一致と判断されやすくなるためである。上記和音数に対応するしき い値が、例えば、ノートナンパ 60に対して使用されるのを前提にすると、音高毎のし き ヽ値は次式で求められる。
[0163] T=Ts X∑Pi (i= l— N)Z∑ (Ps) i(i= 1— N)…式 1。この式 1において、符号 T は和音モデルの音高に対応するしきい値、 Tsは和音数に対応するしきい値、 Pは和 音モデルのパワースペクトル、 Psはノートナンパ 60の単音モデルのパワースペクトル
、 Nは FFTのポイントの数である。
[0164] この式 1を使用して、ノートナンパ 60のパワースペクトル量の総和に対するしきい値 が Tsのときの、和音モデルのパワースペクトル量の総和に対するしきい値 Tが求めら れる。
[0165] 残響を考慮して前記しきい値 Tを甘くしてもよい。残響は前回のアタックと今回のァ タックとの時間差によって推測することができる。アタックの時間差 Faがしき 、値を修 正するかどうかの判断の基準時間 FA以下のときには、しきい値 Tは次式 2によって修 正されたしき!/、値 Taとすることができる。
[0166] Ta= (1 + (FA— Fa) X e/FA) XT…式 2。この式 2において、 eは係数である。本 発明者等の実験によれば、時間 FAを 200m秒、 eを「3」にすると、良好な比較結果 が得られた。前記時間 Faが時間 FAを超えたときは、残響による影響はないので、し き!、値 Tはそのまま修正しな 、で使用する。
[0167] この式 2から理解できるように、アタックの時間差が小さ 、ほどしき 、値 Taは大きくな る。つまりパワースペクトルが一致したかどうかの判断基準が甘くなる。
[0168] なお、アタックは一度し力検出しないということを先に説明している力 アタックの時 間差でしき 、値を修正する手法をとる場合には、発生したアタックをそのつど検出す るようにする。
[0169] 残響の程度は、アタックの時間差によって推測するのに限らない。例えば、演奏情 報に基づいて各楽音の発生タイミング力 各楽音の時間差を検出し、この時間差を アタックの時間差に代えて式 2にあてはめればよい。アタック直前の音量から残響の 大きさを判断するようにしてもょ ヽ。演奏情報カゝらダンパーペダルが踏まれて ヽると判 断されたときは残響は大き 、と判断できるので、しき!/、値は大きくしてもょ 、。
[0170] 上述のような各手法によって、残響が小さいと判断された場合に距離のしきい値を 小さくしてパワースペクトルが一致した力どうかの判断基準を厳しくし、残響が大きい と判断された場合は距離のしきい値を大きくしてパワースペクトルが一致したかどうか の判断基準を甘くすることができる。
[0171] パワースペクトルの総量によるしきい値の修正と、残響によるしきい値の修正の双方 で、和音数に対応して決定されたしきい値を修正してもよいし、いずれか一方で修正 してちよい。
[0172] 次に、演奏音にあるべき特徴に関して説明する。オクターブの違いや和音の一部 の構成音の違いだけでは、互いに異なる楽音のパワースペクトル力 楽音を判断で きないことがある。そこで、パワースペクトルの比較にカ卩えて演奏音にあるべき特徴の 有無を判断するようにした（図 5ステップ S48)。演奏音にあるべき特徴の例としては、 例えば、パワースペクトルの位置 (周波数)である。単音ならば、最も大きいパワース ベクトルの位置が特徴となる。和音では、構成音同士の単音モデルを互いに比較し て、その単音にしかないピークの中で最大のピークの位置が特徴である。特徴はピ ークに限らないし、各単音の特徴は複数であってもよい。この場合、すべての特徴が 見つからなくても、複数の特徴のいくつかが見つかれば、演奏音が押鍵指示と一致 していると判断してもよい。
[0173] 次に、低音部での半音違い (音程 1度)を判断する方法を説明する。低音部は周波 数分解能が粗いので、半音違いの音は判別しにくいし、パワースペクトルも似ている ため、誤って一致と判断するおそれがある。この誤判断を回避するために、音域によ つて低音部では FFTポイント数を増やす力、ポイントの数は維持してサンプリング周 波数を下げる。これによつて低音部の周波数分解能を細力べする。この方法は FFT ポイント数やサンプリング周波数の異なるパワースペクトル同士を比較することはでき な!、ので、モデル作成時に FFTポイント数またはサンプリング周波数を変えて複数の モデルを作成しておく。
[0174] [第 4実施形態]
次に、本発明の第 4実施形態を説明する。押鍵指示とともに、演奏情報に従って自 動伴奏装置による伴奏を進めることが考えられる。しかし、パワースペクトルの比較を するための高速フーリエ変換 (FFT)の計算に時間が力かるので、演奏音が正しいか どうかの判定が実時間から遅れる。押鍵指示と同様に楽音の存在する丁度のタイミン グで自動伴奏を止めて演奏の判定を待って 、ると、演奏者が正 、タイミングで演奏 しても、正しく演奏できたと判断されるまでは伴奏が再開されないので、伴奏が途切 れてスムーズな演奏ができな 、。
[0175] また、押鍵指示を画面に表示した楽譜上で行う場合、一画面に全ての楽譜を表示 することができないときは、画面をスクロールまたは画面表示切り替えを行って楽譜を 見ることになる。楽譜を一段で表示して順次左力 右に画面をスクロールもしくは切り 替えていく方法と、多段に表示した楽譜を上方から下方にスクロールもしくは切り替え ていく方法等が考えられる。
[0176] 押鍵指示通りに演奏がされたときに次の押鍵タイミングまで押鍵指示を進める方法 では、上記スクロールもしくは切り替えは自動的に行われる。例えば、演奏に間に合 う速度で徐々にスクロールさせる力、表示されている最後の小節もしくは表示されて V、る最後の音符が演奏されたタイミングで一度に画面を次に切り替えるかの 、ずれ かが採用される。しかし、これらいずれのスクロール方法においても楽譜自体が動か されることになるので、演奏者は画面から一度目を離すと、どこを演奏していたかが 分からなくなることがある。目を画面カゝら離さないとしても、押鍵指示に注目するのに カロえて、動 、て 、る楽譜を見ると 、う余分な気遣 、を演奏者にさせることになる。
[0177] また、演奏者にとっては、直前に押鍵すべき音符を表示されるよりも、楽譜からある 程度先の音符を見て、余裕をもって押鍵指示を待てるようになって!/、るのが望ま ヽ
[0178] 第 4実施形態では、伴奏および押鍵指示への追従を容易にして円滑な演奏をする ことができる自然楽器の演奏指示システムを提供する。
[0179] 図 25は、第 4実施形態に係る表示装置 8の表示画面上に描かれた押鍵指示を伴う 楽譜例を示す図であり、レッスンフェーズで使用される。この例では、表示装置 8の表 示画面 81には楽譜 Gが 2段で表示されている。表示段数は複数段であればよぐ 2 段に限定されないし、後述するように、楽譜を 1画面に 1段ずつ表示する場合にも本 発明は適用することができる。 1段に表示する小節数は 4小節に限らないし、表示画 面 81の幅に合わせて小節の幅は任意に決定できる。複数段に楽譜を表示する場合 、表示する小節数は各段毎に異なっていてもよい。
[0180] 図 25において、表示画面 81の右側には、表示画面 81に現在表示されていない楽 譜を表示させるための操作部としてのスクロールバー 82が表示される。表示画面 81 にはスクロールバー 82の位置に対応する楽譜 Gが表示されている。すなわち、図 25 では、全体の楽譜の最初の部分 (8小節分）が表示されており、スクロールバー 82を 下に移動させると、選択されたレッスン曲の楽譜のうち、現在表示されている 8小節に 続く 9小節目以降の部分が現れる。このスクロールバー 82は、演奏開始前などに操 作して楽譜全体を通して見るときに使用されるが、レッスンモードつまり実際に演奏を 行っているときには、機能を停止させておく。したがって、レッスンモードではスクロー ルバ一 82の表示位置は初期位置又は現在位置に固定する力、消去する。
[0181] 表示画面 81では、次に演奏すべき音符の場所を実線の縦線で示す押鍵指示 NP ( 演奏指示記号)、および自動伴奏の現在位置を示す点線の縦線で示す伴奏指示 S P (タイミング記号）が表示される。伴奏指示 SPは、初期位置が画面 81の左側にあり 、押鍵指示動作が開始されると徐々に右側に移動する。伴奏指示 SPは、第 1小節の 最初の押鍵タイミングまでは、例えば、メトロノーム音で演奏される前奏とともに押鍵 指示 NPに近付く。所定の演奏速度で押鍵指示 NPに伴奏指示 SPが近づき、押鍵指 示 NPに伴奏指示 SPが重なったときが押鍵タイミングである。そこで、演奏者はこの 指示を見てピアノ Pで第 1音を弹くと演奏音のパワースペクトルがモデルと比較され、 演奏音のパワースペクトルがモデルと一致したならば、押鍵指示 NPは次に押鍵すベ き音符の位置に移動する。一方、伴奏指示 SPは所定の演奏速度で移動するので押 鍵指示 NPに引き離され、やがて次の押鍵タイミングで伴奏指示 SPが押鍵指示 NP に追 、つく。この動作を繰り返して押鍵指示は進行する。
[0182] 演奏音のパワースペクトルがモデルと一致しな 、ときは自動伴奏および伴奏指示は 移動せずに待機する。自動伴奏の待機処理につ!、ては後述する。
[0183] 1画面に楽譜を表示しきれな!/ヽ場合は、演奏が終わった位置の楽譜を、現在表示 されている楽譜に続く楽譜で書き替えることによって表示させる。特に本実施形態で は演奏者の目の移動を最小限度に抑えるための、次の楽譜書き替え方法を採る。表 示画面 81に表示されて 、る楽譜の最後の段、つまり図 25の例では第 2段目の演奏 を行って!/、る最中に、その次の段つまり図 25に示されて 、な 、第 3段目の楽譜を表 示画面 81に描く。この第 3段目の楽譜は現在 1段目の楽譜が表示されて!、る位置に 表示される。つまり、上段の楽譜が、現在下段に表示されている楽譜に続く次の段の 楽譜に切り替えられる。
[0184] 例えば、下段の演奏が開始された時点で楽譜の書き替えを上段の先頭部分力も開 始する。書き替えは押鍵指示 NPの移動に追従するかたちで徐々に行われていく。 つまり、下段の演奏が開始されたならば、上段の楽譜の書き替えが開始され、下段の 演奏が終了した時点で上段の楽譜書き替えが終わっているようにする。換言すれば 、現在の押鍵指示 NPの位置と書き替え位置とが画面 81上でその水平方向座標 (X 座標）がー致するように楽譜の書き替えが進行される。
[0185] 下段の演奏が開始した時点で上段の書き替えを開始するのに限らず、下段の演奏 行われている間、つまり第 8小節目の演奏が終わるまでに少なくとも 9小節目の楽譜 が画面 81上に表示されていればよい。但し、演奏者が楽譜を予め見ることができるよ うに、少なくとも、下段の最後の小節の演奏が開始されるまでに次の楽譜が表示され ているのが好ましい。
[0186] 書き替え位置と押鍵指示 NPの表示位置とが X座標で一致しているのに限らず、例 えば、両者が予定の間隔 (小節数)を維持するように、書き替え位置を押鍵指示 NP の表示位置に追従させるのであてもよい。下段の演奏が終了して、新たに表示され た上段の演奏に移ったあとも、書き替え位置と押鍵指示 NPの表示位置とが予定間 隔に維持され、楽譜は曲の終了部分まで継続して書き替えられる。
[0187] 楽譜の書き替えは、上述のように徐々に進行させていってもよいし、一挙に 1段分 の楽譜を切り替えるのあってもよい。例えば、上段の演奏が終わって下段の演奏が開 始されたら、上段の楽譜を新たな楽譜に素速く書き替えることもできる。
[0188] 図 26、図 27は、楽譜が書き替えられている途中の押鍵表示の例を示す図である。
図 26において、伴奏指示 SPで示されるように、現在、演奏は第 7小節目まで進んで いて、押鍵指示 NPは第 7小節目の第 2番目の音符の位置にある。この押鍵指示 NP の表示位置と X座標が一致するように、楽譜書き替え位置を示す「消しゴムマーク」 8 3が上段の楽譜上に表示されている。ここでは、上段の楽譜の第 1小節目が第 10小 節目の楽譜で書き替えられて 、る。
[0189] 書き替えは、上述のように押鍵指示 NPの移動に従って演奏が 1音終了する毎に楽 譜を書き替えていってもよいし、演奏が 1小節終了する毎に 1小節ずつ楽譜を書き替 えていつてもよい。徐々に書き替えを行う場合には、下段の楽譜の演奏が終了した時 点で、上段の楽譜がすべて書き替えられる。
[0190] そして、第 10小節目が含まれる段の演奏が終了するまでに、下段の楽譜はすべて 新たな楽譜に切り替えられる。楽譜が書き替えられた上段の演奏に移ると、図 27〖こ 示すように、下段の楽譜の書き替えが、上段の楽譜の場合と同様に行われる。
[0191] こうして、演奏者は、通常の紙に記述された楽譜にしたがって演奏するときと同様に 、画面 81の表示を追っていけばよい。つまり表示画面 81の上段の左から右、上から 下へと目を移し、最下段の右端まで楽譜を追った後は、再び最上段左に目を移すと いう具合である。
[0192] 図 28は、 1段で楽譜を表示した例である。表示画面の上下方向幅が狭くて多段表 示が適さないときに採用される。この例では、第 2小節目の演奏が開始されると、元の 第 1小節目は第 5小節目の楽譜に書き替えられる。このように、一つの小節について 演奏が終了すると、その小節は直ちに次の段の対応部分に書き替えられる。
[0193] 楽譜の書き替え開始タイミングは、図 28の例に限らない。 1段表示において、押鍵 指示 NPが段の半分まで進んだ時点で楽譜の書き替えを開始するようにし、書き替え 位置と押鍵指示 NPの位置との間隔を維持しつつ書き替えを進めていってもよい。
[0194] 図 26—図 28では、楽譜の書き替え位置を押鍵指示 NPの位置を基準にした力 こ の押鍵指示 NPに代えて、伴奏指示 SPの位置を基準にして楽譜の書き替えを開始 · 進行させていってもよい。
[0195] 図 29は、押鍵指示の処理を示すフローチャートである。ステップ S51では、トータル 演奏時間をクリアする。トータル演奏時間は、実際に演奏を行ったところまでの時間 をいう。ステップ S52では、曲の最初の音符の押鍵指示表示位置を設定する。ステツ プ S53では、演奏を開始すするとともに、トータル演奏時間の更新 (インクリメント）を 開始する。ステップ S54では、ステップ S52で設定された位置に押鍵指示 NPを描画 する。 [0196] ステップ S55では、現在のトータル演奏時間に基づいて演奏位置つまり伴奏指示 S Pの表示位置を計算し、その位置に伴奏指示 SPを表示する。ステップ S56では、演 奏音をモデルと比較する。この比較の詳細は上述した。ステップ S57では、演奏音の パワースペクトルがモデルと一致したか否かが判断される。演奏音のパワースぺタト ルがモデルと一致したならばステップ S58に進む力 一致して ヽな 、場合はステップ S62に進む。
[0197] ステップ S62では、トータル演奏時間が押鍵指示 NPのある位置に対応する時間を 予定時間以上超えている力否かが判断される。ステップ S62が否定ならばステップ S 55に進む。ステップ S62でトータル演奏時間が押鍵指示 NPのある位置に対応する 時間を予定時間以上超えて 、ると判断されたときは、ステップ S63でトータル演奏時 間の更新を停止してステップ S 55に進む。
[0198] スペクトルが一致している場合は、ステップ S57からステップ S58に進んでトータル 演奏時間の更新が停止している力否かを判断する。トータル演奏時間の更新が停止 している場合はステップ S59に進んで、トータル演奏時間の更新を再開する。トータ ル演奏時間の更新が停止して ヽな 、場合はステップ S58からステップ S60に進んで 、すべての音符について押鍵指示を終えたか否かが判断される。この判断は最初は 否定であり、ステップ S61に進んで押鍵指示 NPの表示位置を次の音符の位置に進 めた後、ステップ S54に進む。ステップ S60が肯定ならばこのフローチャートの処理を 終了する。
[0199] 図 30は、 1画面に楽譜を複数段ずつ表示する処理を示すフローチャートである。こ の例では、押鍵指示 NPと書き替え進行位置との水平方向での表示座標 (X座標）が 一致するように間隔をおいて楽譜が書き替えられる。
[0200] ステップ S71では、一画面分の楽譜を表示する。例えば、五線譜の画像に音符や 記号の画像を重ね合わせて表示させる。ステップ S72では、変数 Xpをクリアする。こ の変数 Xpは、演奏情報を先読みするため、どこまで描画をしたかを記憶するため、 つまり消しゴムマーク 83の位置を記憶するために使用される。ステップ S73では、変 数 Bpをクリアする。変数 Bpは前回どの段に押鍵指示 NPがあったかによつて変数 Xp の値を修正するため、前回の描画時の押鍵指示段を記憶するために使用される。 [0201] ステップ S74では、押鍵指示 NPが曲の最終段にあるかどうかを判断する。押鍵指 示 NPが最終段にあればこのフローチャートの処理は終了する。押鍵指示 NPが最終 段に進むまではステップ S75に進む。
[0202] ステップ S75では、変数 Bpが現在の押鍵指示段を示しているか否力、つまり押鍵 指示 NPが表示されて 、る段が前回から変わって 、な 、かどうかが判断される。変数 Bpが現在の押鍵指示段でなければ、つまり押鍵指示段が進んで!/、ればステップ S7 6に進み変数 Xpをクリアする。これによつて、演奏情報の先読みのための描画開始 位置が画面左端に戻される。変数 Bpが現在の押鍵指示段を示していれば、ステップ S76はスキップされてステップ S 77に進む。
[0203] ステップ S77では、押鍵指示 NPが最下段に位置しているかどうかが判断され、この 判断が否定ならば、ステップ S78に進む。ステップ S78では、現在押鍵指示 NPがあ る段の 1つ下の段に、座標 Xp力ゝら押鍵指示 NPと同じ X座標値までの音符を描画する
[0204] 押鍵指示 NPが最下段に位置していたときはステップ S79に進み、表示画面の一 番上の段に、座標 Xp力ゝら押鍵指示 NPと同じ X座標値までの音符を描画する。
[0205] ステップ S80では、変数 Xpに現在の押鍵指示 NPの X座標を保存する。ステップ S8 1では、変数 Bpに押鍵指示 NPが描画されている段を保存する。
[0206] 図 31は、一画面に一段ずつ楽譜を表示するためのフローチャートである。この処理 では、押鍵指示 NPの表示力も段の半分に相当する間隔をおいて楽譜を書き替えて いる。つまり、押鍵指示が段の中央まで進んだら現在表示されている楽譜を先頭から 書き替え始める。そして、押鍵指示 NPが段の先頭に戻った時点では書き替え位置 つまり消しゴムマーク 83の位置は、段の半分まで進んでいるように処理される。
[0207] ステップ S91では、一段分の楽譜を表示する。ステップ S92では、変数 Xpをクリア する。この変数 Xpは、演奏情報を先読みするため、どこまで描画をしたかを記憶する ために使用される。ステップ S93では、フラグ Fをクリア（ゼロをセット)する。フラグ Fは 前回の描画時の押鍵指示 NPが段の中央に対して 、ずれにあるかを示すものであり 、押鍵指示 NPが段の中央より右にある場合に変数 Xpを修正するために使用される 。ステップ S94では、現在の押鍵指示 NPの X座標が段の中央より右カゝ否かが判断さ れる。押鍵指示 NPの x座標が段の中央より右でなければステップ S95でフラグ Fにゼ 口をセットする。ステップ S96では押鍵指示 NPは曲の第一段目力どうかが判断される 。一段目に押鍵指示 NPがあれば、その一段分の楽譜はすでにステップ S91で描画 されているので、この場合はステップ S94に戻る。
[0208] 押鍵指示 NPの X座標が段の中央より右であればステップ S94力 ステップ S97に 進み、フラグ Fがゼロ力否かが判別される。ステップ S94が肯定でステップ S97が肯 定のときは、押鍵指示 NPが段の中央左力 右に移ったと判断される。押鍵指示 NP が段の中央左から右に移ったときはステップ S98に進む。フラグ Fがゼロでない場合 は、押鍵指示 NPは段の中央力 右力 左に移っていないと判断され、ステップ S 10 1に進む。
[0209] ステップ S98では、押鍵指示 NPは曲の第一段目力どうかが判断される。押鍵指示 NPが曲の一段目でなければ、ステップ S99に進んで、座標 Xp力も右端までの音符 を描画する。押鍵指示 NPが段の左側力 右側に移ったときに消しゴムマーク 83の位 置、つまり書き替え位置を段の右側から左側に先頭に移すため、前回の消しゴムマ ーク 83の位置 (座標 Xp)力も右端までの描画を確実に終了させる処理である。ステツ プ S 100では、変数 Xpをクリアして消しゴムマーク 83の位置を段の先頭に位置させる 。曲の第 1段目では押鍵指示 NPが段の右に移行したときに消しゴムマーク 83の位 置は初期位置であるので、ステップ S98からステップ S100にジャンプする。
[0210] ステップ S101では、押鍵指示 NPが段の右側にあることを示すフラグ Fに「1」をセッ トする。ステップ S102では、押鍵指示 NPは曲の最終段になったか否かが判断され る。押鍵指示 NPが曲の最終段になれば、次に描画する楽譜はないので処理を終了 する。
[0211] 押鍵指示 NPは曲の最終段でなければ、ステップ S103に進んで、座標 Xpから押 鍵指示 NPの X座標に段の半分の値を加算した X座標値までの音符を現在表示され ている段に描画する。ステップ S104では、変数 Xpに現在の押鍵指示 NPの X座標に 段の半分の値を加算して保存する。
[0212] 前記ステップ S96で、押鍵指示 NPがー段目でない、つまり二段目以降の楽譜の上 を示していると判断されたときは、ステップ S103に進む。 [0213] 上述の伴奏指示と同じタイミングで、伴奏が行われる。伴奏のための演奏情報は、 練習曲の演奏情報とともに ROM2または外部記憶装置 9から供給される。伴奏のた めの演奏情報は伴奏カウンタに従って読み出される。伴奏は、演奏が押鍵指示通り に行われたとき、つまりステップ S57が否定のときには中断させる。
演奏が正しく行われたかどうかの判断は FFTによるパワースペクトルの検出および比 較のための時間がかかる。したがって、押鍵指示 NPに伴奏指示 SPが重なったとき に伴奏を中断すると、 FFT処理の時間だけ伴奏がとぎれる。本実施形態では、伴奏 は演奏が正しく行われな力つたと判断されるまで伴奏カウンタは停止させな 、ようにし たので、演奏が押鍵指示に従って正しく行われたときには、伴奏が途切れることはな い。
[0214] 伴奏を停止させるかどうかを演奏が正しく行われた力どうかによってのみ決定させる のに限らない。伴奏が押鍵すべきタイミングまで進んだ後、予定時間を計数する計数 処理ルーチンを設け、この予定時間内に演奏が正しく行われたという判断結果がで ないときに、伴奏を停止させることもできる。この予定時間内に演奏が正しく行われた t 、う判断結果がでれば、伴奏は中断されな 、。
[0215] この予定時間はレッスンする最小音符の長さ未満、またはその次に弾くべき音符ま での時間（つまりステップ時間）未満にすれば、次の音を弹 、て 、な 、のに伴奏がそ の音のタイミングより先に伴奏が進んでいるという不都合を防止でき、演奏者に違和 感を感じさせない。この予定時間は演奏者が任意に指定できるようにするとよい。
[0216] 上記各フローチャートや変形例に係る処理は CPU1で実行可能なようにプログラム され、 CDや ROM等、周知の記録媒体に記録して提供されることができる。
[0217] [第 5実施形態]
上記各実施形態に係る楽音判定装置は、簡単な計算で、しかも調律のずれ具合に かかわらず演奏音が正 、かどうかを判定することができると!/、う特徴を持つ。
[0218] しかしながら、自然楽器を実際に弾いて各音高の単音のモデルを作成して記憶さ せるので、そのときに外部環境によるノイズなどが発せられると、そのノイズなどがマイ クロフオン力 入力されて、入力音にはピアノ音以外にノイズなどが含まれてしまう。こ のようにノイズなどを含む入力音のパワースペクトルに基づいてモデルを作成すると、 各音高の単音のモデルが正しく作成されない。し力も、外部環境により発せられるノ ィズなどのパワースペクトルは一定ではないためそれを取り除くことは困難であり、レ ッスン時の演奏とモデルとの一致の判断がノイズなどにより影響されるという問題があ る。
[0219] パワースペクトルにおけるピッチ検出などを行って各音高の単音のモデルが正しく 記憶されたカゝ否かを判断することも考えられる。例えば、特公平 1—51200公報には 、音声信号の周波数分析結果に基づ 、て音声信号の音高を判定する技術が記載さ れており、この技術を利用してモデルを作成することも考えられる力 パワースぺタト ルにおけるピッチ検出の処理負担が大きい。
[0220] また、各音高の単音のモデルを作成するときに演奏者が自然楽器を実際に弾く必 要があるが、ピアノのような音域が非常に広い楽器ではその全ての音高の単音を弹 いて全音高についてのモデルを作成すると、間違えて違う鍵を押鍵してしまう可能性 が高くなる。実際のレッスン演奏に使用する音域は楽曲やレベルによって比較的狭 い音域内に限られることが多ぐ使用しない音域のモデルを作成する必要はない。か えって、使用しない音域までの全てのモデルを作成しておいても、調律や経年変化 によって各鍵の音高がモデル作成時と変わった場合にはそれに合わせて再度モデ ルを作成しなければならないので無駄になる。
[0221] また、モデル作成時に表示装置に鍵盤を表示し、作成しょうとするモデルの音高の 音を押鍵指示したとしても、ピアノのような鍵盤楽器では、特に初心者にとって押鍵指 示表示と実際の鍵盤の位置を対応付けることが困難である。
[0222] さらに、モデル作成時には、モデルを作成する音域の鍵を次々と押鍵してそれぞれ の単音のモデルを作成して記憶していくが、余り早く次の鍵を押鍵すると前の演奏音 の残響がまだ残って 、るため余分な周波数成分が含まれてしま ヽ、押鍵した鍵に対 応する本来のモデルが作成されないという問題がある。そうすると、レッスン時に正し Vヽ鍵を押鍵してもモデルとの一致が得られなくなってしまう。十分に残響がなくなるま で待って次の鍵のモデル作成を開始させることによりこの不都合をなくすことができる 1S 単音ごとに必要以上に十分な時間を費やすことは無駄であり、広い音域のモデ ルを作成する場合には多大に時間を要することになる。また、どの時点で次の鍵を押 鍵してモデル作成に入って 、 、かはっきりしな！/、。
[0223] 次に説明する第 5実施形態では、モデルを作成するときに、外部環境によるノイズ などが発せられたとしても各音高の単音のモデルを誤りなく作成でき、初心者でも間 違 、なく容易にモデルを作成して記憶することができるようにする。
[0224] 図 32は、第 5実施形態に係るモデル作成フェーズにおける CPU1の処理を示すフ ローチャートである。モデル作成が指示されたとき、まず、楽曲あるいはレッスン（技量
)レベルの選択を促す画面を表示装置 8に表示し、演奏者に楽曲を選択してもらうか 、レッスンレベルを選択してもらうかする（S 111)。この選択に従ってモデル作成の音 域を設定する（S 112)。
[0225] 楽曲が選択された場合には、その楽曲の演奏情報を走査し、例えば図 16に示すよ うに、それに含まれる音高を少なくとも含む音域をモデル作成の音域として自動的に 設定する。選択された楽曲のレベルに応じてモデル作成の音域を自動的に設定する ようにしてもよいし、選択された楽曲に出てくる音高を演奏者に示し、それらの音高を 少なくとも含む音域を演奏者に指示させてモデル作成の音域を設定するようにしても よい。
[0226] レッスンレベルが選択された場合には、選択されたレッスンレベルの楽曲に含まれ る音域をモデル作成の音域として設定する。例えば図 15に示すように、入門、初級、 中級、上級に従って音域を広く設定する。モデル作成の音域を設定したら、モデル 作成の最初の音高の音、例えばモデル作成の音域に含まれる最低音をセットする（S 113)。
[0227] 次に、モデル作成の音高の音に対応する鍵を表示装置 8に表示した鍵盤に表示し 、演奏者に押鍵を指示する（S114)。この際、押鍵指示した音高の音を音源 4に発音 するよう〖こ指示してもよい。演奏者が指示された鍵を押鍵すると、ピアノ Pから発せら れたモデル作成演奏音はマイクロフォン 10により取り込まれる。ステップ S 114で押鍵 指示した音高の音をスピーカ 5から発音させれば、ここでピアノ Pから発せられる演奏 音 (モデル作成フェーズで発生される演奏音を、以下「モデル作成演奏音」と呼ぶ）と 聴き比べて押鍵の間違いを演奏者に気付力せることができる。
[0228] マイクロフォン 10を通して入力されたアナログ信号を AZD変 6でデジタル信 号に変換し、その音量を音量測定部 11で測定する。音量測定は離鍵指示まで継続 して行う。音量測定部 11で測定した音量が閾値を超えたらアタックとみなす (S115) 。このアタック検出処理については後で詳細に説明する。スペクトル作成部 12はデジ タル信号を FFTしてパワースペクトルを作成し、音量測定部 11はその音量を算出す る（S116)。アタックが検出されたときのパワースペクトルと音量は、後で使用するの でバッファとしての RAM3に一時的に保存する。
[0229] ノワースぺ外ルが作成され、音量が算出されたら表示装置 8に離鍵を促す指示を 表示する（S117)。離鍵指示はスピーカ 5による音もしくは音声の指示であってもよい 。続いて、次の処理に移る力 次の処理が先の音高の音の残響音で影響されないよ うに、その前にピアノ Pが無音状態になっている必要あるので、離鍵指示後、音量測 定部 11で算出される音量が無音検出の閾値以下になるまで待つ（S118)。音量がこ の閾値以下になれば実質的に無音状態と判断する。ピアノの場合には力なりの残響 音があるので、無音検出は、誤りなくモデルを作成するために重要である。
[0230] 無音状態になったと判断できたら、押鍵指示力 これまでの期間の音量の最大値ま たは振幅の最大値が許容範囲内に入っているかどうかを判断する（S119)。ここで音 量や振幅が許容範囲内に入っておらず、それが大きすぎると判断した場合には、例 えば「もっと小さく弾いて下さい。」とメッセージを出し、逆にそれが小さすぎると判断さ れた場合には「もっと大きく弾いて下さい。」とメッセージを出すなどして力もステップ S 114に戻り、演奏者に再度の押鍵を指示する。これは極端に強くまたは弱く押鍵され た場合のパワースペクトルはモデルとしてふさわしくないからである。アタック検出時 点の音量や振幅ではなぐ押鍵指示力 これまでの期間の音量の最大値または振幅 をチェックするのは、アタック検出時点の音量や振幅はピーク値ではなぐ音量や振 幅は通常、アタック検出後にピーク値となるからである。
[0231] 押鍵指示力 これまでの期間の音量の最大値または振幅の最大値が許容範囲内 に入っていると判断できたら、一時的に保存しておいたパワースペクトルと音量を押 鍵された音高の音のモデルとして RAM 11に記憶する（S 120)。
[0232] 以上のステップ S111— S120により単音のモデルが記憶される力 本実施形態で は、このモデル記憶の際に、外部環境によるノイズなどが発せられたとしても各音高 の単音のモデルが正しく記憶されるように、同じ鍵を再度押鍵するように指示し、これ により得られたモデルが先に記憶したモデルと一致すればそれを正規のモデルとし て残すようにしている。
[0233] 以下に説明するステップ S121— S127がこの処理である。 1回目の押鍵によるモデ ルを RAM3に記憶した後、演奏者にもう一度同じ鍵を押鍵するように指示する（S12 D oこの押鍵指示は、 1回目と同様、表示装置 8による表示あるいは音源 4による発 音、あるいは両者によって行ってもよい。次に、ステップ S 120で記憶したモデルを読 み出す (S122)。
[0234] 演奏者の押鍵によるモデル作成演奏音はマイクロフォン 10によって取り込まれる。
マイクロフォン 10を通して入力されたアナログ信号を AZD変 6でデジタル信号 に変換した後、その音量を音量測定部 11で検出する (S123)。ある程度以上の音量 が検出されたら、スペクトル作成部 12でデジタル信号を FFTしてパワースペクトルを 作成し、これを 2回目のモデルとする（S 124)。ある程度以上の音量が検出されて始 めてパワースペクトルを作成することにより、無駄な処理をなくし、本装置がパーソナ ルコンピュータなどで構成された場合の CPUの負荷を減らすことができる。
[0235] 2回目のモデルを作成したら、すでにアタックが検出されているかどうかをチェックす る（S125)。最初はアタックは検出されていないので次のステップに進み、アタックを 検出する（S126)。アタック検出は、音の立ち上がりを検出するものであり、例えば音 量変化で検出する方法やパワースペクトルの各スペクトルのパワー増加分力 検出 する方法などで実行できる。
[0236] ステップ S126でアタックを検出できな力つた場合、ステップ S 123に戻って再度音 量の検出からやり直す。また、アタックを検出できた場合には、ステップ S122で読み 出したモデル（1回目のモデル）とステップ S 124で作成したモデル（2回目のモデル） との比較処理 (S127)に移る。アタック検出（S126)は、同じ楽音の間は一度検出し たら 2度目以降は検出する必要はない。通常、アタックが検出されるのは音が立ち上 がる瞬間のみであり、必ずしもアタック時の楽音のパワースペクトルと 1回目のモデル とが一致するとは限らないからである。比較処理に際しては、 1回目と 2回目の押鍵に よる音量の違 、をなくすために両者の音量が同じになるように正規ィ匕することが好ま しい。
[0237] 比較処理（S127)は、例えば 1回目のモデルと比べて 2回目のモデルに足りない不 足分のパワースぺ外ルの合計を距離として算出し、これを所定の閾値と比較し、距 離が閾値を超える場合には不一致と判断し、距離が閾値以下の場合には一致と判 断する方法により実行できる。この方法は、ピアノなどのような残響が多く残る楽器に は有効な方法である。このとき、距離が閾値以下の場合でも押鍵された鍵の楽音の ノ ヮ一スペクトルに構成音ごとの特徴が見つからない場合には不一致と判断するよう にすることちでさる。
[0238] ステップ S 127で不一致と判断した場合、 S4に戻って再度 1回目のモデル作成から やり直す。この再度の処理で作成されたモデルは、先に記憶されたモデルに上書き される。
[0239] ステップ S 127で一致と判断すれば、 S 10で RAM3に記憶したモデルを正しいモ デルとして残したままにしておく。次に、作成されたモデルの音がモデル作成の最終 音かどうかを判断する（S 128)。ステップ S 112で設定された音域の最終音 (最高音） ではな!/ヽと判断すれば、例えば半音高!ヽ次の音高の音にするなどモデル作成演奏 音を 1つ進め（RAM3にセット）てステップ S114に戻り（S129)、その音について同 様の処理を繰り返す。また、 S 128で最終音と判断すれば、作成された全ての音高の 音のモデルを RAM3または外部記憶装置 9に保存し（S 130)、モデル作成を終了す る。
[0240] 次に、アタック検出処理 (S115)について説明する。アタック検出は、ノイズや入力 信号レベルに応じた閾値に基づ 、て行う。モデルとレッスン時の演奏音のパワースぺ タトルはできるだけ早 、段階で一致検出することが望ま 、ので、モデル作成時に押 鍵後の演奏音のアタックを検出し、アタック検出時点のパワースペクトルをモデルとし 飞 feす。。
[0241] アタック検出に際しては、まず最初に、ピアノ Pを弾いていない状態で余分な音を立 てないようにして、音量測定部 11で騒音 (暗騒音)の音量を測定する。この測定時間 は特に問題にならないが、例えば 5秒程度でよぐ余り長いと騒音が入り込む可能性 が大きくなるので 1秒程度でもよ 、。 [0242] 音量測定部 11は、 AZD変換器 6からの出力サンプルが N個たまるごとに下記式で 音量を測定する。なお、 Siは潘目の出力（振幅)を表す。
[0243] [数 1]
1 N
X≥. I s i ( 1 )
N i = l
[0244] サンプリング周波数が 11025Hzの場合、 Nの値は 128程度が好ましぐこの場合には 約 12msecごとに繰り返し音量が計算されることになる。上記式で求めた音量 P の例
W
えば 5秒間の最大値をノイズ音量の最大値 P として保存する。
WNOISE
[0245] ノイズ音量の最大値 P WNOISEが保存されたら、これにアタックとみなす音量 P WATTACK を加算した値をアタック検出の音量閾値 P とする。つまり、ノイズ音量以上にある程
WTH
度の音量が入力されたらピアノ Pが演奏されたと判断する。図 33に P 、 P
WNOISE WATTAC
および P の関係を示す。
K WTH
[0246] 以上で説明したアタック検出は、入力されるデジタル信号の音量または振幅の影響 を受けるため、マイクロフォン 1の入力レベルが適正に設定される必要がある。
[0247] 図 34は、マイクロフォン 10と AZD変換器 6の部分（図 1)の詳細構成を示すブロッ ク図である。マイクロフォン 10の出力はマイクボリューム 101に入力され、次にマイク アンプ 102を経由して A/D変翻 6に入力される。マイクボリューム 102を調節する ことによってマイクの感度や入力音の音量に応じて AZD変 6の入力信号レベル を変更することができる。楽音判定装置がパーソナルコンピュータに実装される場合 などでは録音デバイスのミキサコントロールがこれに相当する。
[0248] ピアノ Ρの演奏音をマイクロフォン 10で取り込んで AZD変 6に入力するとき、 AZD変換後のデジタル信号がノイズに埋もれたり、クリップされな ヽようにするため に、モデル作成時に表示装置 8にピークメータを表示する。
[0249] ピークメータは、例えば図 35に示すように、点灯個数の振れ具合を変化 (色変化） させて AZD変換後のデジタル信号の一定時間ごとの振幅の最大値を表示し、その 最大値が 0のときには 1つも点灯しない表示になる。また、その最大値がデジタル信 号の量子化ビット数によって決まる振幅の最大値もしくはその半分程度になったとき 全てが点灯する表示になる。
[0250] ピアノ Pを強めに弹 、たときに、上記のように設定されたピークメータの 7— 8割程度 が点灯するようにマイクボリューム 101を調節すれば、ノイズに埋もれたり、クリップさ れたりしない適切な入力信号レベルにすることができる。なお、この調節の際に弾く 鍵は高音域より中音域や低音域の方が適して 、る。中音域や低音域の方が適正な 音量が得られるからである。また、振幅の最大値を更新つする一定時間間隔は、 10— 50msec程度が適当である。余り速すぎるとピークメータの動きに目が追いつかないし 、余り遅すぎると瞬間的な音量の変化が表示されなくなってしまうからである。
[0251] アタックとみなす音量 P は、マイク入力レベルを適正に設定するために表示
WATTACK
したピークメータの振れ具合に応じて変える。マイクボリューム 101の調節によってピ ークメータの 7— 8割程度が振れるようにできれば問題はないが、マイクロフォン 10の 感度が低いため、マイクボリューム 101を最大限にしてもピークメータが余り振れない ような場合には、 7— 8割程度が振れるようにした場合と同じ閾値では、思いつきり強く 弾いてもアタックが検出されな力つたり、力なり強く弾かないとアタックが検出されなか つたりする。また、ピアノのような楽器では余り強く弾くと高い倍音が強く出るため、強 く弹 、てモデルを作成すると、レッスン時にも同じように強く弾かな 、と一致が得られ なくなってしまう。
[0252] ピークメータは、音量 P として AZD変換後のデジタル波形の振幅の平均値を表示
W
して 、るので、ピークメータが半分しか振れな 、場合にはアタックとみなす音量 P
WATT
も半分程度にすればよい。つまり、通常（強めに弾いたときにピークメータが 7— 8
ACK
割程度振れる）時のアタックとみなす音量 P が 100位で丁度よいことが実験的
WATTACK
に分力つているとき、ピークメータがその半分位しか振れないときにはアタックとみな す音量 P も半分の 50位にすればよい。
WATTACK
[0253] 次に、音量 (振幅)チェック処理 (S9)で用いられる音量最大値許容範囲の設定に ついて説明する。図 36は、あるピアノを最低音の音高 (ノートナンパ) 21から最高音の ノートナンパ 108までの 88鍵を、ほぼ同じ強さで弾いたときの音高対音量最大値の特 性を示す。なお、音量最大値とは各鍵を弾いたときに上記式により算出される音量 P の最大値のことである。同図にみられるように、同じ強さで弾いた場合でも音域 (音 高）によって音量値に大きな差があることが分かる。特に最高音に近い音域では非常 に小さ 、音量最大値し力得られな 、。このように音域によって音量最大値に大きな差 があるため、単純に音量最大値が同じ位になるようにガイドしたのでは同じ強さで弹 いてもらうことはできない。
[0254] 図 36の音高対音量最大値の特性が予め分力つている場合にはこの特性に従って 音量最大値の許容範囲を変化させればよいが、この特性は個々のピアノによって異 なるし、マイクロフォンの特'性によっても音域ごとの音量が異なってくるので、全ての 装置に共通的な音量最大値許容範囲を予め設定しておくことはできない。
[0255] これは、以下のような方法で個々の装置において音量最大値許容範囲を設定する ことにより解決できる。ピアノによって個体差があり、マイクロフォンによって周波数特 性が異なるが、アコースティックピアノで一般的なマイクロフォンを使う限り最高音あた りの音量が最も小さぐ中音域あたりの音量は力なり大きいことに間違いない。そこで 、予め最高音と中音域の 1音（中央のドなど)をモデル作成にふさわしい普通の強さ、 またはやや弱 、タツチで弹 、てもら!/、、そのときの音量最大値を保存しておく。
[0256] この 2つの音量最大値にある程度の幅を持たせた範囲を音量最大値許容範囲とす る。つまり、最高音の音量最大値を P
WH、中音域の音量最大値を P
WMとすると、入力 された音の音量最大値が P XR力 P /Rf (R, R' は 1.5程度の数値)の範囲
WH WM
に入って 、るかどうかをチェックし、入って ヽな 、場合には「もっと小さく弹 、て下さ!ヽ 」や「もっと大きく弾いて下さい。」とメッセージを出すなどして、再度押鍵してもらうよう にする。なお、 Rと は同じ値でも異なる値でもよい。
[0257] また、モデル作成にふさわしい普通の強さで弾くということが演奏者の主観が入つ て難しぐまた同じ位の強さで弾くということが難しい場合には、最高音と中音域の 1 音を思いつきり強く弾いてもらって音量最大値を測定し、それを何分の一かにした音 量を普通の強さで弹 、たときの音量と類推し、この音量を基準値として音量最大値許 容範囲を設定するようにしてもよい。ピアノの構造上、強い音といっても限界があるの で、この方法により個人差のないデータを入力することができる。
[0258] また、モデル作成する音域の中の数力所の音を弾いてもらい、それにより得られる 音量最大値から音高対音量最大値の特性を作成し、この特性から音量最大値の許 容範囲を決めることもできる。この場合も、標準の強さで弾いてもらうことが難しい場合 には各鍵を思いつきり強く弾いてもらって音量最大値を測定し、それを何分の一かに した音量を音量最大値許容範囲の基準値とすることができる。
[0259] なお、各鍵の押鍵強さを判断するのに使う数量は、必ずしも音量最大値である必要 はなぐ AZD変換後のデジタル波形の振幅の最大値などでもよい。また、最大値で はなく平均値を使うこともできる。
[0260] 次に、離鍵指示（S117)と無音検出処理 (S118)について説明する。図 37は、モ デル作成時に表示装置 8に鍵盤を表示し、押鍵する鍵のみの色を変えて押鍵を指 示する押鍵指示の例を示す。押鍵指示と同時に音源 4に指示してスピーカ 5から発 音させるようにしてちょい。
[0261] 押鍵指示に従って押鍵され、パワースペクトルを作成し、音量を算出したら、離鍵を 指示する（S117)。離鍵指示は、押鍵指示の反対であり、表示装置 8に表示した鍵の 色を元に戻すか、または押鍵指示のときとは異なる色で表示し、以下に説明するよう に無音になったと判断したときに鍵の色を元に戻すことにより行う。なお、スピーカ 5か ら発音させている場合にはその停止を音源 4に指示する。
[0262] 離鍵後も残響音が残って 、るので、次の音のモデル作成のための押鍵ある 、は 2 回目の押鍵の前に残響音が消えるのを待つ（S118)。残響音の音量は、音量 P を
W
求める上記式によって求めることができる。
[0263] 図 38は、アコースティックピアノにおいて最低音（ノートナンパ 21)を押鍵してすぐに 離鍵したときに得られた音量変化を示し、実測により得られたものである。同図のよう に、離鍵後の残響音は音量はアタック直後に著しく低下するが、その後は上下しなが ら徐々に減衰していくので、音量が単純に閾値 P を一度下回ったということで無音
WTH
と判断すると、その後にまた音量が上がってしまう可能性がある。そこで、閾値 P
WTH
以下になっても音量を追跡するとともに経過時間をカウントし、再び音量が閾値 P
WTH
を上回ったら経過時間をクリアする。そして、閾値 P 以下の経過時間が連続して例
WTH
えば 1秒になって初めて無音と判断する。
[0264] ここで用いる閾値 P は以下のようにして決定できる。モデル作成に先立ち、ノィ
WTH
ズの音量を測定する。これは、演奏者に音を立てないように静かにしてもらってマイク 口フォン 10から 1一 5秒程度の間の音を取り込み、上記式により音量を算出すればよ い。これにより測定された音量の最大値をノイズ音量の最大値 P とする。閾値 P
WNOISE
はノイズ音量の最大値 p に無音とみなす音量 P を加えたものとする。
WTH WNOISE WSILENT
[0265] 無音とみなす音量 P は小さいほど無音に近い状態で判断できるが、音の減
WSILENT
衰は時間が経過するほど減衰する音量の程度が減っていくので、余り小さくすると音 量が閾値 P 以下になるまでの時間が著しく長くなつてしまうので、パワースペクトル
WTH
に現れな ヽくら!ヽの音量まで低下したら無音と判断されるように設定するのがよ ヽ。
[0266] また、無音とみなす音量 P を AZD変換後のデジタル信号の振幅に応じて変
WSILENT
えるようにしてもょ 、。例えば AZD変換後のデジタル信号の一定時間ごとの振幅の ピークを図 35に示すようなピークメータで表示するとき、通常（強めに弾いたときにピ ークメータが 7— 8割振れる）時の無音とみなす音量 P 力 0位の値で丁度よ ヽ
WSILENT
ことが実験的に分力つているとき、ピークメータがその半分位しか振れないときには無 音とみなす音量 P もその半分の 25位にする。
WSILENT
[0267] 図 39は、アコースティックピアノにおいてノートナンノ 48 (中央のドよりも 1オクターブ 低いドの音)を普通の強さで押鍵したときに得られた音量変化を示し、実測により得ら れたものである。図 40は、図 39の部分拡大図である。同図のように、音量はアタック 直後に著しく低下するが、その後は上下しながら徐々に減衰し、 10秒前後でノイズと 区別が付かない程度まで減衰する。低音になるほどこの減衰に力かる時間は長くな る力 次の音のモデル作成のための押鍵あるいは 2回目の押鍵に早く入れるように、 無音と判断できる程度に音量が減衰するのをできるだけ早く検知してその旨をガイド するのがよい。
[0268] 図 41一図 44はそれぞれ、実測により得られたアタック直後、アタック力も約 1.4秒後 、アタックから約 4.1秒後、アタックから約 5.8秒後のパワースペクトルを示す。また、図 16は、次のモデル作成音 (ノートナンパ 50)をやや弱く押鍵したときに得られたパワー スぺクトノレを示す。
[0269] 図 41一図 44と図 45とを比較すれば、図 39, 40においてどの程度に音量が減衰す れば次のモデル作成が影響されないかが判断できる。この例の音域の場合、弱めに 弾いても比較的大きなパワースペクトルが得られているので、アタックから 1.4秒後や 4.1秒後程度でも次のモデル作成への影響は殆どな!/、。つまり無音とみなす音量 P
WS
は 250— 750程度でも構わないことになる力 もっと小さくしてできるだけ無音に近
ILENT
V、状態で次のモデル作成に移る方が望まし 、。
[0270] 図 46は、最高音 (ノートナンパ 108)を普通の強さで押鍵したときに得られた音量変 化を示し、最高でも 300程度の音量しか出ないのが分かる。この場合の無音とみなす 音量 P を 250— 750程度としたのでは大きすぎる。図 39と図 45力 、無音とみ
WSILENTを
なす音量 P を全音域で同じとするならば、 10— 75程度がふさわしいことが分か
WSILENT
る。それより大きくては、最高音 (ノートナンパ 108)のように音量が出ない音域で少し 弱めに押鍵してしまうと最大音量が P +P を下回ってしまうことがあり、そ
WNOISE WSILENT
れより小さくては、少し大きめのノイズが入ると無音と判断できない状況が生じるから である。
[0271] なお、図 37の押鍵指示において黒丸印で示すように、モデル作成時に表示装置 8 に表示する鍵盤の中央「ド」などの鍵に目印表示 Sを常時表示し、実際のピアノの鍵 盤の中央「ド」の鍵にも同じ目印表示のシール Sを貼っておくことなどにより両鍵盤の 対応を分かりやすくできる。また、通常、実際のピアノの鍵盤上側部にはメーカ名など のロゴ 102が付されている力 このロゴ 102の所定位置（図 37では「B」の位置）に対 応させた目印を表示装置 8に表示させるなどしてもよい。これによりモデル作成時の 負担を軽減することができる。
[0272] 図 47は、レッスンフェーズの CPU1の処理を示すフローチャートである。レッスン開 始が指示されたとき、まず、 RAM3または外部記憶装置 9からモデルをワーク領域に 読み込む（S 131)。読み込まれるモデルは、モデル作成フェーズで設定された音域 に含まれる全ての音高の音のモデルである。ここでは、前回作成したモデルまたは前 回使用したモデルを自動的に読み込むようにしてもょ ヽし、これまで作成したモデル の中から演奏者に選択させて読み込むようにしてもょ 、。
[0273] 次に、演奏者がレッスンする楽曲を選択する（S132)。この際、 RAM3または外部 記憶装置 9に予め記憶されているレッスン曲データを検索して楽曲の一覧を作成し、 この一覧の中力も演奏者がレッスンする楽曲を自分で選択するようにしてもょ 、し、演 奏者のレベルにあった楽曲を装置側で自動的に選択して提示するようにしてもょ 、。 レッスンする楽曲が決まったら、この楽曲の演奏情報を RAM3または外部記憶装置
9から読み出す (S133)。
[0274] レッスンで表示装置 8に押鍵指示を表示したり伴奏をしたりするのに使用される演 奏情報のフォーマット例は、図 2に関して説明した。
[0275] 次に、選択された楽曲に含まれる全ての音高の単音のモデルが S131で読み込ん だモデルに含まれているかどうかをチェックする（S 134)。ここで、選曲した楽曲の全 ての音高の音の単音モデルが含まれていないと判断すれば、ステップ S132に戻つ て別の楽曲の選択を指示するか、ステップ S 131に戻って別のモデルの読み込みを 指示する。
[0276] ステップ S134で、選曲した楽曲の全ての音高の音の単音モデルが含まれている判 断すれば、この楽曲の最初の楽音の音高を RAM3上の変数にセットする（S135)。 同時に、この音高の音の鍵を演奏者に押鍵してもらうための押鍵指示を表示装置 8 に表示し（S136)、さらに、ステップ S131で読み込んだモデルからこの音高の音に 対応する単音モデルを読み出す (S137)。
[0277] 演奏者は表示装置 8に表示された押鍵指示を見てピアノ Pの鍵を押鍵するが、その ときに発生される演奏音はマイクロフォン 10によって取り込まれる。マイクロフォン 10 を通して入力されたアナログ信号を AZD変換器 6でデジタル信号に変換した後、そ の音量を音量測定部 11で検出する（S28)。ステップ S139— S142の処理は、図 32 の S 124— S 127の処理と同様であるので、詳細な説明は省略する。ステップ S 142 で不一致と判断した場合、ステップ S139に戻って再度音量の検出からやり直す。
[0278] ステップ S142で一致と判断した場合には、まず、アタック検出をリセットし (S143)、 選曲した楽曲の最後の楽音力否かを判断する（S144)。ここで楽曲の最後の楽音で ないと判断すれば、次の楽音の音高を RAM3にセットし（S 145)、ステップ S 136に 戻る。以上の処理を楽曲の最後の楽音まで繰り返し実行し、楽曲の終わりに達したな らばもう一度レッスンをするかを尋ねたり（S146)、別の楽曲をレッスンするかを尋ね たりして（S147)その応答に対応する処理に移る。
[0279] 図 48は、 1回目のモデルと 2回目のモデルとの比較処理（S 127)あるいはモデルと レッスン時の演奏音のパワースペクトルとの比較処理（S 142)の例を示すフローチヤ ートである。
[0280] まず、今回の演奏音と比較するためのモデルを、ステップ S122あるいはステップ S 137で読み出したモデル力も作成する（S151)。単音の演奏音の場合は単音のモデ ルそのままでよぐ和音の演奏音の場合には単音のモデルを合成する。また、モデル と今回の演奏音の音量の違!、をなくすためにモデル作成時の音量と今回の演奏音 の音量が同じになるようにモデルと今回の演奏音のパワースペクトルを音量によって 正規ィ匕する。和音の演奏音の場合には和音を構成する音のモデル作成時の音量の 総和によって正規化する。なお、音量ではなく波形のピーク値によって正規ィ匕しても よい。
[0281] モデルが作成できたら、モデルと比べて今回の演奏音に足りない不足分のパワー スペクトルの合計を距離として算出する（S 152)。この方法は、ピアノなどのような残 響が多く残る楽器には有効な方法である。
[0282] 次に、モデルと今回の演奏音が一致すると判断するための閾値を設定し (S153)、 ステップ S152で算出した距離をこの閾値と比較する（S154)。距離が閾値以上であ る場合には不一致と判断し、距離が閾値より小さい場合には一致と判断する。このと き、距離が閾値より小さい場合でも今回の演奏音のパワースペクトルに構成音ごとの 特徴が見つからな 、場合には不一致と判断するようにしてもょ 、（S 155)。ステップ S 154ある 、はステップ S 155で不一致と判断した場合、ステップ S 114に戻って再度 押鍵指示 (音量検出）からやり直す。また、ステップ S155で一致と判断した場合には ステップ S 128に進む。
[0283] レッスン時のピアノロールつまりスクロール方式による押鍵指示の表示の例は、図 3 に関して説明した。
[0284] ステップ S142 (図 47)で、次に押鍵すべく楽音のモデルとピアノ Pの演奏音力も計 算されたパワースペクトルの距離が閾値以下であることが判断されると、ピアノロール は下方向にスクロールされ、次の押鍵すべき楽音の押鍵指示マーク Mが鍵盤図形 K に最も近 、位置まで下がってきた時点で止まる。押鍵指示された楽音が押鍵される までピアノロールのスクロールが停止しているので、演奏者は自分のペースで次の楽 音を押鍵することができる。ステップ S133 (図 47)で読み出す演奏情報には、演奏者 に押鍵を促す楽音だけでなぐ伴奏の演奏情報も含ませることができる。この場合に は次に押鍵すべき音のタイミングまでの伴奏音が音源装置 4を通してスピーカ 5から 出力される。
[0285] 現在押鍵されて!、る!/、るべき鍵はマーク mで示される。このマーク mの長さはこの鍵 をあとどれだけ長く押鍵していなくてはならないかを示しており、これにより演奏者は 離鍵するタイミングを前もって知ることができる。小節線 BLで示すように、この例では 2小節分の押鍵指示を同時に 1画面に表示しているが、同時に表示する小節数、表 示する演奏情報の範囲は任意である。
[0286] 第 5実施形態は、さらに種々に変形して実施可能である。例えば、ステップ S129 ( 図 32)では、音高を音階に従って直上の音高に上げるのではなぐ白鍵と黒鍵を別 にしてそれぞれ個別に連続して押鍵させるように音高を上げていくのがよい。音階に 従って順に音高を上げていくと白鍵と黒鍵を交互に弾く場合が生じ、押鍵指示された 鍵に対応しない鍵を弾く誤りが起こることがあるからである。
[0287] また、設定されたモデル作成音域の全ての鍵をある色で表示し、その色を変えるな どして押鍵指示を行えば、あとどれだけの単音モデルを作成しなければならな ヽかが 容易に分力る。
[0288] [第 6実施形態]
ところで、モデル作成時に、演奏者は鍵によっていろいろな強さで押鍵する可能性 があり、このように押鍵強さが各鍵で異なって発生された演奏音を基にモデルを作成 することは好ましくない。また、レッスン時、次に弾くべき音が和音の場合には和音を 構成する単音のモデルを合成してモデルとする力 ピアノの場合には同じ強さで押 鍵しても音域によって音量が大きく異なるため、モデル合成時に各単音の音量を正 規ィ匕して合成することは適当でない。以上のことから、モデル作成時には演奏者に各 鍵を同じ強さで弾いてもらうようにする。それにより発生された演奏音を基にモデルを 作成し、和音の場合には各単音のモデルをそのまま合成し、合成後に全体として正 規ィ匕して使用できるようにする工夫が必要である。
[0289] また、アタック検出は入力されるデジタル信号の音量または振幅の影響を受けるた め、入力される演奏音のレベルが適正に設定される必要がある。さらに、同じ強さで 弾いた場合でも音域 (音高）によって発生される音量に大きな差があるので、単純に 音量最大値が同じ位になるようにガイドしたのでは同じ強さで弾いてもらうことはでき ない。また、モデル作成時に余り強く押鍵すると、高次倍音の成分が強く出てしまい、 これにより作成されたモデルとレッスン時の演奏音のパワースペクトルの一致検出が 難しくなつてしまう。そのため、モデル作成時には普通の強さ力、やや弱めに押鍵し てもらうことが望ましい。
[0290] また、モデル作成時には、モデルを作成する音域の鍵を次々と押鍵してそれぞれ の単音のモデルを作成して記憶していくが、余り早く次の鍵を押鍵すると前の演奏音 の残響がまだ残って 、るため余分な周波数成分が含まれてしま ヽ、押鍵した鍵に対 応する本来のモデルが作成されないという問題がある。そうすると、レッスン時に正し Vヽ鍵を押鍵してもモデルとの一致が得られなくなってしまう。十分に残響がなくなるま で待って次の鍵のモデル作成を開始させることによりこの不都合をなくすことができる 1S 単音ごとに必要以上に十分な時間を費やすことは無駄であり、広い音域のモデ ルを作成する場合には多大に時間を要することになる。また、どの時点で次の鍵を押 鍵してモデル作成に入って 、 、かはっきりしな！/、。
[0291] また、上述の各音高の単音のパワースペクトルをモデルとして作成するとき、マイク 口フォンからの入力音にはピアノの音以外にピアノのアクション音も含まれてしまう。こ のアクション音のパワースペクトルは、 FFTで得られたモデルおよびレッスン時の演 奏音のパワースペクトルの低音部に入って 、る。
[0292] 高音の鍵の場合には本来のピアノ音である弦の振動音よりもアクション音のパワー スペクトルの方が強く出るため、モデルとレッスン時の演奏音とを比較すると、ァクショ ン音のパワースペクトルの一致が比較的大きく評価されてしまう。このアクション音が モデルとレッスン時の演奏音の含まれることにより両者の正しい一致が得られず不都 合であるため、何らかの工夫が必要である。
[0293] アクション音が評価されないようにするには、アクション音を取り除けばよい。し力し、 アクション音はアクション部分力も発せられるノイズのようなものであり、そのパワース ベクトルは毎回異なるためアクション音のみを選択して取り除くことは困難である。
[0294] また、モデルとレッスン時の演奏音のパワースペクトルの比較の前処理としてパワー スペクトルの正規ィ匕を行うが、単純にパワースペクトルを音量で正規ィ匕すると外部環 境によるノイズなども正規化されてしまい、特に弱く弾いた音を正規ィ匕した場合、ノィ ズ成分を大きく持ち上げてしまう結果になる。従って、このようなノイズがモデルやレツ スン時の演奏音に含まれて 、ても両者の正し 、一致が得られな 、。
[0295] また、パワースペクトルを作成するために FFTを行うと、パワースペクトルに DC (直 流）成分が現れる。そのような DC成分がモデルやレッスン時の演奏音のパワースぺ タトルに含まれて 、ても、モデルとレッスン時の演奏音のパワースペクトルの正し、一 致が得られない。
[0296] さらに、モデルとレッスン時の演奏音のパワースペクトルの比較に当たってパワース ベクトルの正規ィヒのために音量を測定する場合、 DC成分の影響で音量を正しく測 定できない。 AZD変換前のアナログ信号にのっている DCのオフセットは、 AZD変 換後のデジタル信号にものってしまうため、波形の振幅力 音量を求めようとすると D Cのオフセットによって音量を正しく測定できない。
[0297] 従って、モデルとレッスン時の演奏音のパワースペクトルの比較を正しく行うにはノ ィズ成分や DC成分の影響も受けな 、ようにする工夫も必要である。
[0298] 次に説明する第 6実施形態では、 自然楽器の演奏において演奏指示手段の指示 どおりの操作がなされた力どうかを判定するためのモデルを誤りなく作成できるように する。
[0299] 第 6実施形態として、モデル作成にお 、てモデルに含まれるアクション音、ノイズ成 分および DC成分を低減する方法を説明する。以下では、自然楽器をピアノ (アコ一 スティックピアノ）として説明する力 その他の自然楽器でも同様に考えることができる
[0300] まず、モデルに含まれるアクション音を低減する方法ついて説明する。マイクロフォ ン 10から音を取り込むときにピアノ Pを弹くと、どうしてもピアノ Pのアクション音まで取 り込んでしまう。図 49はマイクロフォン 10から取り込まれた音のスペクトルの例を示す 図である。
[0301] アクション音は毎回違ったパワースペクトルを有し、ノイズのようなものである。ァクシ ヨン音は主に低音部に強い成分を持つパワースペクトルとして現れる力 高音部の鍵 以外ではアクション音が入ってもピアノ本来の音（弦の振動音）のパワースペクトルの 方がかなり大きぐ押鍵された鍵の演奏音とモデルの比較に殆ど影響しな!、。
[0302] しかし、高音部の鍵の場合、弦の振動音のパワースペクトルが小さ!/、ため、ァクショ ン音のパワースペクトルの影響が大きぐ押鍵された鍵の演奏音とモデルを比較する ときにアクション音のパワースペクトルが大きく評価される結果となってしまう。したがつ て、押鍵された鍵の演奏音とモデルの正しい比較結果が得られなくなる。アクション 音のパワースペクトルが毎回同じであればそれを減算して取り除くことは可能である 力 アクション音のパワースペクトルはノイズのようなもので毎回異なるので単純に減 算して取り除くことは不可能である。
[0303] そこで、モデルを作成するときに、モデルを作成しょうとする音高の音の基本周波 数 f 以下のパワースペクトルをカットする。ただし、ピアノ Pの調律がずれていることも
0
考えられるので、実際にカットする周波数は基本周波数 f よりも若干低い周波数、例
0
えば半音低 、周波数にすることが好ま 、。アクション音に含まれる周波数成分より 基本周波数が低い音高ではアクション音のパワースペクトルを取り除くことができない ことになるが、上述のように高音部の鍵以外では弦の振動音のパワースペクトルに比 ベてアクション音のパワースペクトルは比較的小さ 、ので、レッスン時に押鍵された鍵 の演奏音とモデルとを比較する上での問題は生じない。
[0304] 次に、モデルに含まれるノイズ成分を低減する方法について説明する。モデルを作 成するときにマイクロフォン 10から音を取り込むと、ノイズが混入されるのが普通であ る。ノイズには、周囲の環境音やマイクロフォン 10のケーブルに入り込むノイズ、マイ クアンプや AZD変 6のアナログ回路部分に入り込むノイズなどがある。ピアノ P の音の音量が大きぐそれに比較してノイズが目立たないほど小さければ問題はない 力 弱い押鍵での演奏音をそのままモデルにした場合、モデルの音量は小さいので 、モデルとレッスン時に押鍵された鍵の演奏音を比較する際に音量で正規ィ匕を行うと 、ノイズ成分も大きく持ち上げられてしまうことになる。
[0305] 一方、レッスン時に押鍵された鍵の演奏音にもノイズが含まれている力 その演奏 音の音量が大きければ相対的にノイズ成分のパワースペクトルが低くなり、音量で正 規化してもノイズ成分のスペクトルは小さいままである。そのため、モデルとレッスン時 の押鍵された鍵の演奏音の一致は得られなくなってしまう。
[0306] この不都合をなくすために、演奏者がピアノ Pを弹 ヽて ヽな 、状態でマイクロフォン 10から音を数秒取り込み、取り込んだ入力音を一定時間間隔でオーバラップさせな 力 Sら FFTし、これにより求められたパワースペクトル中でのパワー最大値を測定して 保存しておく。このパワー最大値をノイズと判断する基準値とする。すなわち、モデル とするパワースペクトルの中力 このパワー最大値よりも低 、パワーのパワースぺタト ルをカットすることによりノイズと思われる成分を取り除く。図 50はノイズ除去前 (a)とノ ィズ除去後（b)のパワースペクトルの例を示す。なお、モデルの音量の値はそのまま とし、レッスン時にモデルと演奏音のパワースペクトルの比較に際し、この音量の値に 基づいて正規化を行う。
[0307] 次に、モデルに含まれる DC成分を低減する方法について説明する。押鍵された鍵 の演奏音を FFTしてパワースペクトルに変換すると、 DC成分は最も低 、周波数のパ ワースベクトルとして現れる。 DC成分のパワースペクトルが実際に押鍵された鍵自体 の演奏音のパワースペクトルよりも強く出てしまう場合もある。このような場合には、モ デルとレッスン時に押鍵された鍵の演奏音を比較する際に DC成分が大きく評価され てしまい不都合が生じる。そこで、 FFTのサイドローブも考慮し、得られたパワースぺ タトルにおいて最も低い周波数とその隣のパワースペクトルを強制的にゼロにして D C成分と考えられる部分を取り除く。
[0308] 次に、音量を測定するときの DCを取り除く方法について説明する。モデルとレツス ン時に押鍵された鍵の演奏音を比較する際にパワースペクトルを音量で正規ィ匕する 力 AZD変換前のアナログ信号に DCのオフセットがのっていると AZD変換後のデ ジタル信号にも DCのオフセットがのってしまい、音量の測定では単位時間当たりの 波形の振幅の絶対値の平均を音量として 、るため正 、音量を求めることができな い。そこで、音量を測定する瞬間の例えば 1秒前までの波形力 音の振幅の平均値 を求める。この平均値は波形の DCを表すのでこの平均値を音量測定の波形力 減 算することにより DCを取り除くことができる。図 51は DC除去前 (a)と DC除去後 (b) の波形の例を示し、波形振幅の中心の 0レベルからのずれがなくなる様子を示してい る。 [0309] 本発明は種々の実施形態で実施可能である。例えば、作成されたモデルはその後 のレッスンで継続して使用されるものであるので、特に注意深ぐ間違いなく作成され る必要があるのでモデル作成者の負担が大きい。この負担を軽減するために、ステツ プ S19 (図 32)で音高を音階に従って直上の音高に上げるのではなぐ白鍵と黒鍵を 別にしてそれぞれ個別に連続して押鍵させるように音高を上げていくのがよい。音階 に従って順に音高を上げていくと白鍵と黒鍵を交互に弾く場合が生じ、押鍵指示さ れた鍵に対応しな 、鍵を弾く誤り力起こることがある力らである。
[0310] また、設定されたモデル作成音域の全ての鍵をある色で表示し、その色を変えるな どして押鍵指示を行えば、あとどれだけの単音モデルを作成しなければならな ヽかが 容易に分力る。
[0311] なお、図 32のフローチャートによれば、 1回目と 2回目のモデルとがー致しないとき 、再度 1回目のモデル作成力 行うようにしており、これによれば 1回目のモデルを記 憶しておくだけでよいが、同一音高の単音に対して 1回目、 2回目、 3回目、…という ように順次作成されたモデルを記憶していき、複数回、例えば 2回の一致が得られた 時点でその音高の単音のモデル作成を終了して、一致したモデルを正規のモデルと して採用するようにすることもできる。
[0312] また、上記したアタック検出、無音検出、アクション音やノイズや DC成分除去の技 術は適宜組み合わせて採用することができる。

Claims

請求の範囲
[1] 演奏指示通りの演奏が行われたときに、演奏指示の進行を次に進めることができる演 奏指示装置のための自然楽器の楽音判定装置において、
自然楽器演奏音のパワースぺ外ルを計算するスペクトル計算手段と、 自然楽器音の音高毎のパワースペクトルを単音モデルとして記憶するスペクトル記 憶手段と、
前記演奏指示装置による演奏指示に応答して前記スペクトル記憶手段から読み出 された単音モデルと前記スペクトル計算手段で計算された前記演奏指示に基づく演 奏音のパワースペクトルとの距離を判定し、該距離がしきい値以内に近接したときに 前記演奏指示手段の進行を次に進める一致信号を出力するスペクトル比較手段とを 具備したことを特徴とする自然楽器の楽音判定装置。
[2] 前記スペクトル記憶手段が、前記演奏指示に先立って演奏された自然楽器音のパヮ 一スペクトルを単音モデルとして記憶するように構成されて ヽることを特徴とする請求 項 1記載の自然楽器の楽音判定装置。
[3] 前記演奏指示が和音の演奏指示であるときに、前記スペクトル記憶手段から読み出 された該和音の構成音の音高に対応する単音モデルを合成して前記演奏音のパヮ 一スペクトルとの比較のために前記スペクトル比較手段に出力するスペクトル合成手 段を具備したことを特徴とする請求項 1または 2記載の自然楽器の楽音判定装置。
[4] 前記スペクトル比較手段が、単音モデルに対する演奏音のパワースペクトル不足分 を、前記距離として計算するように構成されて ヽることを特徴とする請求項 1または 2 記載の自然楽器の楽音判定装置。
[5] 前記スペクトル比較手段が、単音モデルの合成パワースペクトルに対する演奏音の ノ ヮ一スペクトル不足分を、前記距離として計算するように構成されて 、ることを特徴 とする請求項 3記載の自然楽器の楽音判定装置。
[6] 前記自然楽器がピアノであり、前記スペクトル作成手段が、ピアノ演奏音のアタック部 分のパワースペクトルを計算するように構成されたことを特徴とする請求項 1一 5のい ずれかに記載の自然楽器の楽音判定装置。
[7] 演奏指示に従って演奏された自然楽器演奏音のデジタルデータに対して FFT窓毎 に FFT処理をして該デジタルデータのパワースペクトルを計算する FFT手段と、 前記各 FFT処理毎に計算されたパワースペクトルのパワーが前回計算時より予定 以上増大したカゝ否かによって該自然楽器演奏音のアタックがあつたか否かを判断す るアタック検出手段と、
前記アタックがあつたと判定された以降に算出されたパワースペクトルが予め記憶さ れて 、る自然楽器音の音高毎のパワースペクトルのうち前記演奏指示に含まれる音 高のものとの距離が予定のしきい値以内である力否かを判断する比較手段と、 前記 FFT手段の FFT窓を、前後の FFT窓同士が部分的に重複するように互いに シフトさせる手段とを具備したことを特徴とする自然楽器の楽音判定装置。
[8] 前記演奏指示を、予め選択された曲の演奏情報に従ってコンピュータの表示装置に 表示するとともに、前記距離が予定のしきい値以内であるときに、前記演奏情報に従 つて次の演奏指示を表示する押鍵指示手段をさらに備えたことを特徴とする請求項 7 記載の自然楽器の楽音判定装置。
[9] 前記 FFT窓同士の重複期間を決定するシフト時間を予め設定しておき、後続の前記
FFT手段および前記アタック検出手段の処理が開始される時間までに、先行する前 記 FFT手段および前記アタック検出手段の処理が終了しない場合に前記シフト時間 を拡大する手段をさらに備えたことを特徴とする請求項 7または 8記載の自然楽器の 楽音判定装置。
[10] 前記演奏情報に基づいて、演奏速度が速い所定のフレーズを予め検出する高速部 検出手段手段と、
前記フレーズに対応する演奏指示の演奏音に対しては、前記アタック検出手段に よる処理を省略するとともに、
前記比較手段による判断を、アタックの有無に拘わらず、演奏指示後の入力音に ついて実行する手段とを備えたことを特徴とする請求項 7— 9のいずれかに記載の自 然楽器の楽音判定装置。
[11] 演奏指示に従って演奏された自然楽器演奏音のデジタルデータに対して FFT窓毎 に FFT処理をして該デジタルデータのパワースペクトルを計算する FFT手段と、 前記各 FFT処理毎に計算されたパワースペクトルのパワーが前回計算時より予定 以上増大したカゝ否かによって該自然楽器演奏音のアタックがあつたか否かを判断す るアタック検出手段と、
前記アタックがあつたと判定された以降に算出されたパワースペクトルが予め記憶さ れて 、る自然楽器音の音高毎のパワースペクトルのうち前記演奏指示に含まれる音 高のものとの距離が予定のしきい値以内である力否かを判断する比較手段と、 前記 FFT手段の FFT窓を、前後の FFT窓同士が部分的に重複するように互いに シフトさせる手段としてコンピュータを機能させるための自然楽器の楽音判定プロダラ ム。
[12] 前記演奏指示を、予め選択された曲の演奏情報に従ってコンピュータの表示装置に 表示するとともに、前記距離が予定のしきい値以内であるときに、前記演奏情報に従 つて次の演奏指示を表示する押鍵指示手段としてコンピュータを機能させるプロダラ ムを備えた請求項 11記載の自然楽器の楽音判定プログラム。
[13] 前記 FFT窓同士の重複期間を決定するシフト時間を予め設定しておき、後続の前記 FFT手段および前記アタック検出手段の処理が開始される時間までに、先行する前 記 FFT手段および前記アタック検出手段の処理が終了しない場合に前記シフト時間 を拡大する手段としてコンピュータを機能させるためのプログラムをさらに備えた請求 項 11または 12記載の自然楽器の楽音判定プログラム。
[14] 前記演奏情報に基づいて、演奏速度が速い所定のフレーズを予め検出する高速部 検出手段手段と、
前記フレーズに対応する演奏指示の演奏音に対しては、前記アタック検出手段に よる処理を省略するとともに、
前記比較手段による判断を、アタックの有無に拘わらず、演奏指示後の入力音に ついて実行する手段としてコンピュータを機能させるためのプログラムを備えた請求 項 11一 13のいずれかに記載の自然楽器の楽音判定プログラム。
[15] 請求項 11一 14のいずれかに記載の自然楽器の楽音判定プログラムを記録したコン ピュータ読み取り可能な記録媒体。
[16] 入力音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備 え、
前記 FFT手段による算出値をそのまま前記パワースペクトルとして使用することを 特徴とする自然楽器の楽音判定装置。
[17] 入力音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備 え、
前記 FFT手段による算出値の高域側をカットして前記パワースペクトルとして使用 することを特徴とする自然楽器の楽音判定装置。
[18] 入力音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備 え、
前記入力音がローパスフィルタを通じて入力されたものであることを特徴とする自然 楽器の楽音判定装置。
[19] 入力音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段と、 前記パワースペクトルを所定の音量で正規化する正規化手段と、
和音の各構成音に対応する単音モデルを合成する合成手段とを備え、 前記押鍵指示が和音であった場合に、
前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、 前記合成手段で合成され、その後に前記正規化手段で正規化された単音モデルと の一致を判定するように構成されていることを特徴とする自然楽器の楽音判定装置。
[20] 前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲 を和音の構成音数に応じて狭くさせる手段を備えたことを特徴とする請求項 16— 19 の!、ずれかに記載の自然楽器の楽音判定装置。
[21] 前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多いほ ど広くさせる手段を具備したことを特徴とする請求項 16— 19のいずれかに記載の自 然楽器の楽音判定装置。
[22] 前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響 が多いほど広くさせる手段を具備したことを特徴とする請求項 16— 19のいずれかに 記載の自然楽器の楽音判定装置。
[23] 前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、
前記判定手段での一致判定結果を仮の判定とし、
演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記 仮の判定を本判定とすることを特徴とする請求項 16— 22のいずれかに記載の自然 楽器の楽音判定装置。
[24] 前記 FFT手段の周波数分解能を、低音域で細力べすることを特徴とする請求項 16—
23の 、ずれかに記載の自然楽器の楽音判定装置。
[25] 入力音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段として コンピュータを機能させる演奏音判定プログラムであって、
前記 FFT手段による算出値をそのまま前記パワースペクトルとして使用するプログ ラムを含む自然楽器の楽音判定プログラム。
[26] 入力された音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段として コンピュータを機能させる演奏音判定プログラムであって、
前記 FFT手段による算出値の高域側をカットして前記パワースペクトルとして使用 するプログラムを含む自然楽器の楽音判定プログラム。
[27] 入力された音のデジタル信号をフーリエ変換する FFT手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自 然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単 音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段と、 前記パワースペクトルを所定の音量で正規化する正規化手段と、
和音の各構成音に対応する単音モデルを合成する合成手段としてコンピュータを 機能させる演奏音判定プログラムであって、
前記押鍵指示が和音であった場合に、
前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、 前記合成手段で合成され、その後に前記正規化手段で正規化された単音モデルと の一致を判定するプログラムを含む自然楽器の楽音判定プログラム。
[28] 前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲 を和音の構成音数に応じて狭くさせる手段としてのプログラムを含む請求項 25— 27 の！、ずれかに記載の自然楽器の楽音判定プログラム。
[29] 前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多！、ほ ど広くさせる手段としてのプログラムを含む請求項 25— 27のいずれかに記載の自然 楽器の楽音判定プログラム。
[30] 前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響 が多いほど広くさせる手段としてのプログラムを含む請求項 25— 27のいずれかに記 載の自然楽器の楽音判定装置。
[31] 前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、
前記判定手段での一致判定結果を仮の判定とし、
演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記 仮の判定を本判定とするプログラムを含む請求項 25— 30のいずれかに記載の自然 楽器の楽音判定プログラム。
[32] 前記 FFT手段の周波数分解能を、低音域で細力べするプログラムを含む請求項 25 一 31の 、ずれかに記載の自然楽器の楽音判定装置。
[33] 請求項 25— 32の 、ずれかに記載の自然楽器の楽音判定プログラムを記録したコン ピュータ読み取り可能な記録媒体。
[34] 複数の小節を含む楽譜、該楽譜上で次に演奏すべき音符を指示する演奏指示記号 および演奏タイミングを指示するタイミング記号を表示する表示手段と、
前記タイミング記号で指示されたタイミングで、前記演奏指示記号が示す音符を正 しく演奏できたかどうかを判定する演奏音判定手段と、
前記演奏音判定手段によって正しく演奏できたと判断されたときに前記演奏指示 記号を次に演奏すべき音符の位置に進める表示制御手段と、
前記演奏タイミング記号および前記演奏指示記号の少なくとも一方の表示が予め 定めた時期まで進んだときに、現在表示されている楽譜に続く楽譜によって、現在表 示されている楽譜を先頭力 書き替えていく手段とを備えたことを特徴とする演奏指 示装置。
[35] 前記楽譜の書き替えが、前記演奏タイミング記号および前記演奏指示記号の少なく とも一方の表示位置と書き替え進行位置とを予定間隔に維持して進行されることを特 徴とする請求項 34記載の演奏指示装置。
[36] 前記予定間隔が、前記演奏タイミング記号および前記演奏指示記号の少なくとも一 方の表示位置と書き替え進行位置との水平方向での表示座標が一致するように決 定されていることを特徴とする請求項 35記載の演奏指示装置。
[37] 前記楽譜が複数小節を含む段を上下に複数段配して 1画面に表示されていて、 前記予め定めた時期が、少なくとも 2段目以降の段に表示された各小節のいずれ かの演奏タイミングに設定されることを特徴とする請求項 34記載の演奏指示装置。
[38] 前記楽譜が 1画面に 1段表示されていて、
前記予め定めた時期が、前記演奏タイミング記号および前記演奏指示記号の少な くとも一方の表示が段の半分まで進んだときであることを特徴とする請求項 34または
35記載の演奏指示装置。
[39] 予定の演奏情報に従って自動伴奏する伴奏手段と、 前記演奏指示記号が指示する音符が演奏されるタイミングを予定時間超過しても、 前記演奏音判定手段によって正しく演奏できたとの判定結果が得られないときに、自 動伴奏を一旦停止する手段とを具備したことを特徴とする請求項 34または 35記載の 演奏指示装置。
[40] 前記予定時間が、前記楽譜に含まれる音符のうち最小音符の長さ未満に設定されて
Vヽることを特徴とする請求項 39記載の演奏指示装置。
[41] 前記予定時間が、次に演奏すべき音符までのステップ時間未満に設定されているこ とを特徴とする請求項 39記載の演奏指示装置。
[42] 前記演奏音判定手段が、
演奏指示に従って演奏された自然楽器演奏音のデジタルデータに対して FFT処 理をして該デジタルデータのパワースペクトルを計算する FFT手段と、
前記各 FFT処理毎に計算されたパワースペクトル力 予め記憶されている自然楽 器音の音高毎のパワースペクトルのうち前記演奏指示に含まれる音高のものとの距 離が予定のしきい値以内であるか否かを判断する比較手段とからなり、
前記距離が予定のしきい値以内であるときに、正しく演奏できたと判定することを特 徴とする請求項 34— 41のいずれかに記載の演奏指示装置。
[43] 複数の小節を含む楽譜、該楽譜上で次に演奏すべき音符を指示する演奏指示記号 および演奏タイミングを指示するタイミング記号を表示する表示手段と、
前記タイミング記号で指示されたタイミングで、前記演奏指示記号が示す音符を正 しく演奏できたかどうかを判定する演奏音判定手段と、
前記演奏音判定手段によって正しく演奏できたと判断されたときに前記演奏指示 記号を次に演奏すべき音符の位置に進める表示制御手段と、
前記演奏タイミング記号および前記演奏指示記号の少なくとも一方の表示が予め 定めた時期まで進んだときに、現在表示されている楽譜に続く楽譜によって、現在表 示されている楽譜を先頭力 書き替えていく手段としてコンピュータを機能させる演 奏指示プログラム。
[44] 前記楽譜の書き替えを、前記演奏タイミング記号および前記演奏指示記号の少なく とも一方の表示位置と書き替え進行位置とを予定間隔に維持して進行するプロダラ ムを含む請求項 43記載の演奏指示プログラム。
[45] 前記予定間隔を、前記前記演奏タイミング記号および前記演奏指示記号の少なくと も一方の表示位置と書き替え進行位置との水平方向での表示座標が一致するプロ グラムを含む請求項 44記載の演奏指示プログラム。
[46] 前記楽譜が複数小節を含む段を上下に複数段配して 1画面に表示されていて、 前記予め定めた時期を、少なくとも 2段目以降の段に表示された各小節のいずれ かの演奏タイミングに設定するプログラムを含む請求項 43記載の演奏指示プロダラ ム。
[47] 前記楽譜が 1画面に 1段表示されていて、
前記予め定めた時期が、前記演奏タイミング記号および前記演奏指示記号の少な くとも一方の表示が段の半分まで進んだときに設定されるプログラムを含む請求項 43 または 44記載の演奏指示プログラム。
[48] 予定の演奏情報に従って自動伴奏する伴奏手段と、
前記演奏指示記号が指示する音符が演奏されるタイミングを予定時間超過しても、 前記演奏音判定手段によって正しく演奏できたとの判定結果が得られないときに、自 動伴奏を一旦停止する手段としてコンピュータを機能させる請求項 43— 47のいずれ かに記載の演奏指示プログラム。
[49] 前記予定時間を、前記楽譜に含まれる音符のうち最小音符の長さ未満に設定するプ ログラムを含む請求項 48記載の演奏指示プログラム。
[50] 前記予定時間を、次に演奏すべき音符までのステップ時間未満に設定するプロダラ ムを含む請求項 48記載の演奏指示プログラム。
[51] 前記演奏音判定手段が、
演奏指示に従って演奏された自然楽器演奏音のデジタルデータに対して FFT処 理をして該デジタルデータのパワースペクトルを計算する FFT手段と、
前記各 FFT処理毎に計算されたパワースペクトル力 予め記憶されている自然楽 器音の音高毎のパワースペクトルのうち前記演奏指示に含まれる音高のものとの距 離が予定のしきい値以内であるか否かを判断する比較手段としてコンピュータを機能 させるプログラム力もなり、 前記距離が予定のしきい値以内であるときに、正しく演奏できたと判定するよう構成 された請求項 43— 50のいずれかに記載の演奏指示プログラム。
[52] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生される演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づ V、た場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置に おいて、
モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込む演奏 音取込手段と、前記演奏音取込手段により取り込まれた演奏音のパワースペクトルを モデルとして作成するモデル作成手段と、前記モデル作成手段によるモデル作成処 理を同一音高の音に対して複数回実行させる手段と、前記モデル作成手段で作成さ れた複数のモデルの一致を判定する判定手段と、前記判定手段により少なくとも 2回 一致したモデルを記憶させる手段とを備える特徴とする自然楽器の楽音判定装置に おけるモデル作成装置。
[53] さらに、モデル作成時に、レッスンする楽曲の選択あるいは演奏者のレベルに応じて モデル作成の音域を自動的に設定する手段を備えることを特徴とする請求項 52に 記載の自然楽器の楽音判定装置におけるモデル作成装置。
[54] さらに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を 閾値と比較する比較手段と、演奏音の音量が閾値を一定時間継続的に下回ったとき 無音状態と判断する無音状態判断手段とを備え、前記無音状態判断手段が無音状 態と判断したとき次のモデル作成に移ることを特徴とする請求項 52または 53に記載 の自然楽器の楽音判定装置におけるモデル作成装置。
[55] さらに、モデル作成時に、自然楽器を実際に弾くことにより発生された演奏音とともに 、演奏指示した音高の音を音源力 発生させる手段を備えることを特徴とする請求項 52— 54のいずれかに記載の自然楽器の楽音判定装置におけるモデル作成装置。
[56] さらに、まず、白鍵の全てについてのモデル作成を指示し、続いて黒鍵の全てにつ いてのモデル作成を指示する手段を備えることを特徴とする請求項 52— 55のいず れかに記載の自然楽器の楽音判定装置におけるモデル作成装置。
[57] さら〖こ、表示装置に鍵盤を表示させてモデル作成時の押鍵位置を指示するとともに、 前記表示装置に表示された鍵盤の所定位置に目印表示を常時行わせる手段を備え ることを特徴とする請求項 52— 56のいずれかに記載の自然楽器の楽音判定装置に おけるモデル作成装置。
[58] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生される演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づ いた場合に演奏指示を進める自然楽器の楽音判定装置のモデル作成に使用される プログラムであって、
コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏 音を取り込む手順と、該演奏音のパワースペクトルをモデルとして作成するモデル作 成手順と、前記モデル作成手順を同一音高の音に対して複数回実行させる手順と、 前記モデル作成手順で作成されたモデルが少なくとも 2回一致した場合に当該モデ ルを記憶させる手順を実行させるためのモデル作成用プログラム。
[59] さらに、モデル作成時に、レッスンする楽曲の選択あるいは演奏者のレベルに応じて モデル作成の音域を自動的に設定する手順を含むことを特徴とする請求項 58に記 載のモデル作成用プログラム。
[60] さらに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を 閾値と比較する手順と、演奏音の音量が閾値を一定時間継続的に下回ったとき無音 状態と判断する手順と、無音状態と判断されたとき次のモデル作成に移る手順を含 むことを特徴とする請求項 58または 59に記載のモデル作成用プログラム。
[61] さらに、モデル作成に際し、自然楽器を実際に弾くことにより発生された演奏音ととも に、演奏指示した音高の音を音源力 発生させる手順を含むことを特徴とする請求 項 58— 60のいずれかに記載のモデル作成用プログラム。
[62] さらに、まず、白鍵の全てについてのモデル作成を指示し、続いて黒鍵の全てにつ V、てのモデル作成を指示する手順を含むことを特徴とする請求項 58— 61の 、ずれ かに記載のモデル作成用プログラム。
[63] さら〖こ、表示装置に鍵盤を表示させてモデル作成時の押鍵位置を指示するとともに、 前記表示装置に表示された鍵盤の所定位置に目印表示を常時行わせる手順を含む ことを特徴とする請求項 58— 62のいずれかに記載のモデル作成用プログラム。
[64] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ 、た場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置 において、
モデル作成時に自然楽器を実際に弾くことにより発生された演奏音をレベル調整し て取り込む演奏音取込手段と、前記演奏音取込手段により取り込まれた演奏音をレ ベル調整された演奏音の音量および該レベル調整状態で取り込まれたノイズの音量 に基づいて設定した閾値と比較してアタックを検出するアタック検出手段と、アタック を検出したときの演奏音のパワースペクトルを算出するパワースペクトル算出手段と を備え、前記パワースペクトル算出手段により算出したパワースペクトルをモデルとし て記憶することを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
[65] モデル作成時のレベル調整された演奏音の音量を表示する表示手段を備えることを 特徴とする請求項 64に記載の自然楽器の楽音判定装置におけるモデル作成装置。
[66] モデル作成時の演奏音の音量が許容範囲内に入っている力否かをレベル調整され た演奏音の音量および楽器の音高対音量最大値の特性に従って判断する判断手 段を備え、演奏音の音量が許容範囲内に入って 、な 、ときにはその旨のメッセージ を送出することを特徴とする請求項 64または 65に記載の自然楽器の楽音判定装置 におけるモデル作成装置。
[67] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ 、た場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置 において、
モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を閾値 と比較する比較手段と、演奏音の音量が閾値を一定時間継続的に下回ったとき無音 状態と判断する無音状態判断手段とを備え、前記無音状態判断手段が無音状態と 判断したとき次のモデル作成に移ることを特徴とする自然楽器の楽音判定装置にお けるモデル作成装置。
[68] モデル作成時の演奏音をレベル調整して取り込む演奏音取込手段を備え、前記比 較手段は、前記演奏音取込手段によりレベル調整されて取り込まれたノイズの音量 に応じて閾値を設定する閾値設定手段を備えることを特徴とする請求項 4に記載の 自然楽器の楽音判定装置におけるモデル作成装置。
[69] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ 、た場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置 において、
モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込む演奏 音取込手段と、前記演奏音取込手段により取り込まれた演奏音のパワースペクトルを 求めるパワースペクトル算出手段と、前記パワースペクトル算出手段により算出された パワースペクトルの中でモデルを作成しょうとする音高の基本周波数より低い低周波 数成分をカットする低周波数成分除去手段とを備え、前記低周波数成分除去手段に より低周波数成分がカットしたパワースペクトルをモデルとして記憶することを特徴と する自然楽器の楽音判定装置におけるモデル作成装置。
[70] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ 、た場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置 において、
モデル作成時に自然楽器を演奏しな 、状態で取り込んだ音のパワースペクトルを 求めるパワースペクトル算出手段と、前記パワースペクトル算出手段により算出した パワースペクトルの中でパワー最大のスペクトルのパワー値をノイズ基準値とし、この ノイズ基準値以下のパワースペクトルをカットするノイズ成分除去手段とを備え、前記 ノイズ成分除去手段によりカットしたパワースペクトルをモデルとして記憶することを特 徴とする自然楽器の楽音判定装置におけるモデル作成装置。
[71] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ 、た場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置 において、
モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込む演奏 音取込手段と、前記演奏音取込手段により取り込まれた演奏音のパワースペクトルを 算出するパワースぺ外ル算出手段と、前記パワースペクトル算出手段により算出し たパワースペクトルの中で最も低 、周波数付近の成分をカットする DC成分除去手段 とを備え、前記 DC成分除去手段によりカットしたパワースペクトルをモデルとして記 憶することを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
[72] モデル作成時の演奏音波形の一定期間の振幅平均値を求め、該振幅平均値を減 算した演奏音に基づいて音量を算出する音量算出手段と、モデルと演奏音のパワー スペクトルの比較に際し、算出した演奏音の音量でモデルのパワースペクトルを正規 化する正規ィ匕手段とを備えることを特徴とする請求項 64— 71のいずれかに記載の 自然楽器の楽音判定装置におけるモデル作成装置。
[73] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ ヽた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プ ログラムにおいて、
コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏 音をレベル調整して取り込む手順と、取り込んだ演奏音をレベル調整された演奏音 の音量および該レベル調整状態で取り込んだノイズの音量に応じた閾値と比較して アタックを検出する手順と、アタックを検出したときの演奏音のパワースペクトルを算 出してモデルとして記憶する手順を実行させるための自然楽器の楽音判定装置にお けるモデル作成用プログラム。
[74] モデル作成時のレベル調整された演奏音の音量を表示する手順を含むことを特徴と する請求項 73に記載の自然楽器の楽音判定装置におけるモデル作成用プログラム
[75] モデル作成時の演奏音の音量が許容範囲内に入っている力否かをレベル調整され た演奏音の音量および楽器の音高対音量最大値の特性に従って判断する手順と、 演奏音の音量が許容範囲内に入って 、な 、ときにはその旨のメッセージを送出する 手順を含むことを特徴とする請求項 73または 74に記載の自然楽器の楽音判定装置 におけるモデル作成用プログラム。
[76] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ ヽた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プ ログラムにおいて、
コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏 音の音量を閾値と比較する手順と、演奏音の音量が閾値を一定時間継続的に下回 つたとき無音状態と判断する手順と、無音状態と判断されたときに次のモデル作成に 移る手順を実行させるための自然楽器の楽音判定装置におけるモデル作成用プロ グラム。
[77] 演奏音をレベル調整して取り込む手順と、レベル調整状態で取り込んだノイズの音 量に応じて閾値を設定する手順を含むことを特徴とする請求項 76に記載の自然楽 器の楽音判定装置におけるモデル作成用プログラム。
[78] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ ヽた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プ ログラムにおいて、
コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏 音を取り込む手順と、該演奏音のパワースペクトルを求める手順と、モデルを作成し ようとする音高の基本周波数より低い低周波数成分のパワースペクトルをカットする手 順と、低周波数成分をカットしたパワースペクトルをモデルとして記憶する手順を実行 させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
[79] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ ヽた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プ ログラムにおいて、
コンピュータに、モデル作成時に自然楽器を演奏しない状態で取り込んだ音のパヮ 一スペクトルを求める手順と、そのスペクトル中でパワー最大のスペクトルのパワー値 をノイズ基準値とし、このノイズ基準値以下の演奏音をノイズと判断してカットする手 順と、ノイズをカットした演奏音のパワースペクトルをモデルとして記憶する手順を実 行させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
[80] 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏 指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くこと により発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近 づ ヽた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プ ログラムにおいて、
コンピュータに、自然楽器を実際に弾くことにより発生された演奏音を取り込む手順 と、取り込まれた演奏音のパワースペクトルを求める手順と、該パワースペクトルの中 で最も低!ヽ周波数付近の成分をカットする手順と、最も低 ヽ周波数付近の成分をカツ トしたパワースペクトルをモデルとして記憶する手順を実行させるための自然楽器の 楽音判定装置におけるモデル作成用プログラム。
[81] モデル作成時の演奏音波形の一定期間の振幅平均値を求め、該振幅平均値を減 算した演奏音に基づいて演奏音の音量を算出する手順と、モデルのと演奏音のパヮ 一スペクトルの比較に際し、算出した演奏音の音量でモデルのパワースペクトルを正 規ィ匕する手順とを含む 73— 80のいずれかに記載の自然楽器の楽音判定装置にお けるモデル作成用プログラム。
PCT/JP2005/002244 2004-02-20 2005-02-15 演奏指示に従って演奏された自然楽器の楽音判定装置、楽音判定プログラムおよび該プログラムを記録した媒体 WO2005081222A1 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2004044587A JP4492932B2 (ja) 2004-02-20 2004-02-20 演奏音判定装置および演奏音判定プログラムおよび該プログラムを記録した媒体
JP2004044588A JP2005234304A (ja) 2004-02-20 2004-02-20 演奏音判定装置および演奏音判定プログラム
JP2004-044588 2004-02-20
JP2004-044587 2004-02-20
JP2004-047809 2004-02-24
JP2004-047808 2004-02-24
JP2004047809A JP4530199B2 (ja) 2004-02-24 2004-02-24 自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラム
JP2004047808A JP4609921B2 (ja) 2004-02-24 2004-02-24 自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラム
JP2004056234A JP2005249844A (ja) 2004-03-01 2004-03-01 演奏指示装置および演奏指示プログラム
JP2004-056234 2004-03-01

Publications (1)

Publication Number Publication Date
WO2005081222A1 true WO2005081222A1 (ja) 2005-09-01

Family

ID=34891372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/002244 WO2005081222A1 (ja) 2004-02-20 2005-02-15 演奏指示に従って演奏された自然楽器の楽音判定装置、楽音判定プログラムおよび該プログラムを記録した媒体

Country Status (1)

Country Link
WO (1) WO2005081222A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001587A (ja) * 2013-06-14 2015-01-05 ブラザー工業株式会社 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP2015001586A (ja) * 2013-06-14 2015-01-05 ブラザー工業株式会社 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
US9732112B2 (en) 2010-05-28 2017-08-15 Life Technologies Corporation Synthesis of 2′,3′-dideoxynucleosides for automated DNA synthesis and pyrophosphorolysis activated polymerization
CN108877747A (zh) * 2018-05-24 2018-11-23 吴若鹏 一种乐器弹奏按键的引导提示方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63106781A (ja) * 1986-10-24 1988-05-11 松下電器産業株式会社 電子楽器の楽譜表示装置
JPH05127668A (ja) * 1991-11-07 1993-05-25 Brother Ind Ltd 自動採譜装置
JPH05273964A (ja) * 1992-03-30 1993-10-22 Brother Ind Ltd 自動採譜装置等に用いられるアタック時刻検出装置
JPH0736455A (ja) * 1993-07-22 1995-02-07 Nec Corp 音楽イベントインデックス作成装置
JPH07199951A (ja) * 1993-12-28 1995-08-04 Yamaha Corp 音源装置
JPH08190336A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 演奏指示装置および電子楽器
JPH11259065A (ja) * 1998-03-10 1999-09-24 Yamaha Corp 表示変更装置、表示変更方法および記憶媒体
JPH11288281A (ja) * 1998-04-03 1999-10-19 Yamaha Corp 演奏練習装置、演奏練習方法及び記録媒体
JP2000112470A (ja) * 1998-10-02 2000-04-21 Casio Comput Co Ltd 運指表示装置
JP2001142463A (ja) * 1999-11-17 2001-05-25 Yamaha Corp 楽音波形分析方法及び楽音波形分析装置並びに楽音波形分析プログラムを記録した記録媒体
JP2004341026A (ja) * 2003-05-13 2004-12-02 Kawai Musical Instr Mfg Co Ltd 自然楽器の楽音判定装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63106781A (ja) * 1986-10-24 1988-05-11 松下電器産業株式会社 電子楽器の楽譜表示装置
JPH05127668A (ja) * 1991-11-07 1993-05-25 Brother Ind Ltd 自動採譜装置
JPH05273964A (ja) * 1992-03-30 1993-10-22 Brother Ind Ltd 自動採譜装置等に用いられるアタック時刻検出装置
JPH0736455A (ja) * 1993-07-22 1995-02-07 Nec Corp 音楽イベントインデックス作成装置
JPH07199951A (ja) * 1993-12-28 1995-08-04 Yamaha Corp 音源装置
JPH08190336A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 演奏指示装置および電子楽器
JPH11259065A (ja) * 1998-03-10 1999-09-24 Yamaha Corp 表示変更装置、表示変更方法および記憶媒体
JPH11288281A (ja) * 1998-04-03 1999-10-19 Yamaha Corp 演奏練習装置、演奏練習方法及び記録媒体
JP2000112470A (ja) * 1998-10-02 2000-04-21 Casio Comput Co Ltd 運指表示装置
JP2001142463A (ja) * 1999-11-17 2001-05-25 Yamaha Corp 楽音波形分析方法及び楽音波形分析装置並びに楽音波形分析プログラムを記録した記録媒体
JP2004341026A (ja) * 2003-05-13 2004-12-02 Kawai Musical Instr Mfg Co Ltd 自然楽器の楽音判定装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9732112B2 (en) 2010-05-28 2017-08-15 Life Technologies Corporation Synthesis of 2′,3′-dideoxynucleosides for automated DNA synthesis and pyrophosphorolysis activated polymerization
JP2015001587A (ja) * 2013-06-14 2015-01-05 ブラザー工業株式会社 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
JP2015001586A (ja) * 2013-06-14 2015-01-05 ブラザー工業株式会社 弦楽器演奏評価装置及び弦楽器演奏評価プログラム
CN108877747A (zh) * 2018-05-24 2018-11-23 吴若鹏 一种乐器弹奏按键的引导提示方法及装置

Similar Documents

Publication Publication Date Title
US10832645B2 (en) Transducer apparatus for a labrosone and a labrosone having the transducer apparatus
US6376759B1 (en) Electronic keyboard instrument
US8314320B2 (en) Automatic accompanying apparatus and computer readable storing medium
JP5040927B2 (ja) 演奏教習装置及びプログラム
WO2005081222A1 (ja) 演奏指示に従って演奏された自然楽器の楽音判定装置、楽音判定プログラムおよび該プログラムを記録した媒体
US7838754B2 (en) Performance system, controller used therefor, and program
JP2005249844A (ja) 演奏指示装置および演奏指示プログラム
JP4070120B2 (ja) 自然楽器の楽音判定装置
JP2008089975A (ja) 電子楽器
JP2007078724A (ja) 電子楽器
JP4207226B2 (ja) 楽音制御装置、楽音制御方法及び楽音制御のためのコンピュータプログラム
JP3551014B2 (ja) 演奏練習装置、演奏練習方法及び記録媒体
JP4609921B2 (ja) 自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラム
JP2005234304A (ja) 演奏音判定装置および演奏音判定プログラム
JP4530199B2 (ja) 自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラム
JP3613062B2 (ja) 楽音データ作成方法および記憶媒体
JP2020144346A (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP4492932B2 (ja) 演奏音判定装置および演奏音判定プログラムおよび該プログラムを記録した媒体
JP6410345B2 (ja) サウンドプレビュー装置及びプログラム
JP5742592B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
JP4624879B2 (ja) 楽音情報発生プログラムおよび楽音情報発生装置
JP5056078B2 (ja) 電子鍵盤楽器およびその制御方法を実現するためのプログラム
JP3870948B2 (ja) 表情付け処理装置および表情付け用コンピュータプログラム
JP6102975B2 (ja) 楽音生成装置、楽音生成プログラム及び電子楽器
JP5034471B2 (ja) 楽音信号発生装置及びカラオケ装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase
WWE Wipo information: entry into national phase

Ref document number: 555619

Country of ref document: NZ