WO2020261497A1 - 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置 - Google Patents

楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置 Download PDF

Info

Publication number
WO2020261497A1
WO2020261497A1 PCT/JP2019/025669 JP2019025669W WO2020261497A1 WO 2020261497 A1 WO2020261497 A1 WO 2020261497A1 JP 2019025669 W JP2019025669 W JP 2019025669W WO 2020261497 A1 WO2020261497 A1 WO 2020261497A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
current value
beat
values
power
Prior art date
Application number
PCT/JP2019/025669
Other languages
English (en)
French (fr)
Inventor
智 日下部
Original Assignee
ローランド株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ローランド株式会社 filed Critical ローランド株式会社
Priority to US17/622,236 priority Critical patent/US20220351707A1/en
Priority to PCT/JP2019/025669 priority patent/WO2020261497A1/ja
Priority to JP2021528794A priority patent/JP7158583B2/ja
Publication of WO2020261497A1 publication Critical patent/WO2020261497A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/081—Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/251—Wavelet transform, i.e. transform with both frequency and temporal resolution, e.g. for compression of percussion sounds; Discrete Wavelet Transform [DWT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/365—Gensound applause, e.g. handclapping; Cheering; Booing

Definitions

  • the present invention relates to a method and device for flattening the power of a musical tone signal, and a method and device for detecting the beat timing of a musical piece.
  • the compression difference data string obtained by multiplying the difference column of the waveform data normalized by the envelope by the compression rate inversely proportional to the magnitude of the fluctuation of the waveform data string, the decompression rate data related to the compression rate, and the predetermined envelope.
  • a waveform recording / reproducing method and a waveform reproducing device that reproduces a waveform data string based on the above (see, for example, Patent Document 1).
  • a waveform signal processing device that normalizes the waveform signal and removes the envelope of the waveform signal based on the maximum value for each block of the waveform signal and its address (see, for example, Patent Document 2).
  • a beat is a basic unit of time that is carved at regular intervals.
  • the beat is generally performed by identifying the time position (where the signal level / power is large) of the peak of the musical tone signal that appears regularly. Therefore, the past signal condition affects the detection (prediction) of the beat timing after the present time.
  • Some songs have a part where the volume suddenly decreases after a certain point and the state continues for a while, and the beat changes.
  • the beat timing detection method used for music signals past a certain point cannot be applied as it is after a certain point (for example, the peak is properly detected due to a decrease in volume). I can't do that).
  • the feedback value before the volume is reduced has a great influence on the beat timing detection processing after the volume is reduced, and the beat timing detection accuracy. There was a risk of affecting.
  • An object of the present invention is to provide a music signal normalization method, an information processing device, a beat timing detection method, and a beat timing detection device that can reduce the influence of changes in power (volume).
  • the information processing apparatus sets a second value corresponding to each of the first values indicating the power of the musical tone signal at a plurality of time points as the current value of the first value and the second value.
  • the determination is based on the result of comparison with the current value of the above, and the plurality of first values are flattened by using the second value corresponding to each of the plurality of first values.
  • the second value is characterized in that, in the result of the comparison, when the current value of the second value is continuously larger than the current value of the first value, it changes in a predetermined locus. This is a method for flattening the power of a musical tone signal.
  • a second value corresponding to each of the plurality of first values indicating the power of the musical tone signal at a plurality of time points is set as the current value of the first value and the present value of the second value.
  • the second value changes in a predetermined trajectory when the current value of the second value is continuously larger than the current value of the first value in the result of the comparison. It is a characteristic information processing device.
  • the information processing apparatus sets a second value corresponding to each of the plurality of first values indicating the power of the musical music signal at a plurality of time points as the current value of the first value.
  • the determination is made based on the result of comparison of the second value with the current value, and the plurality of first values are determined using the plurality of second values corresponding to the plurality of first values, respectively.
  • the second value includes flattening and detecting the beat timing using the plurality of flattened first values, and the second value is the same as that of the second value in the comparison result.
  • a second value corresponding to each of the plurality of first values indicating the power of the musical music signal at a plurality of time points is set as the current value of the first value and the second value.
  • the second value includes a control unit that performs a process of detecting a beat timing using the plurality of flattened first values, and the second value is the current value of the second value in the comparison result.
  • the beat timing detection device for a musical piece is characterized in that when a state in which a value is larger than the current value of the first value is continuous, the value changes by drawing a predetermined locus.
  • FIG. 1 shows a configuration example of an information processing device (computer) that can operate as a beat timing detection device.
  • FIG. 2 shows a configuration example of a control unit (beat timing detection unit).
  • FIG. 3 is a flowchart showing a reference example of the processing of the generation unit.
  • FIG. 4A shows an example of a digital signal (also referred to as a music signal) for 12 seconds of music input to the generation unit, and
  • FIG. 4B shows an example of Spx data generated from the music signal of FIG. 4A by a reference example. Shown.
  • FIG. 5 is a flowchart showing a processing example of the generation unit in the embodiment.
  • FIG. 6 schematically shows a configuration for normalizing power data (Qx).
  • FIG. 7 shows the processing of the enveloper.
  • FIG. 8 is a flowchart showing a processing example of the enveloper.
  • FIG. 9A shows Qx and Spx before normalization
  • FIG. 9B shows Qx and Spx after normalization.
  • FIG. 10 is a flowchart showing a processing example of the calculation unit.
  • FIG. 11 is a diagram showing an example of a sine wave of BPM used for Spx data and Fourier transform.
  • FIG. 12 illustrates the relationship between the cosine wave indicating BPM and the beat generation timing.
  • FIG. 13 is a flowchart showing an example of beat generation timing detection processing by the detection unit.
  • FIG. 14 is a flowchart showing an example of the calculation process of the second period data and the phase data in the beat timing detection method.
  • FIG. 15 is a circuit diagram of Equation 3.
  • FIG. 16 shows an example of an attenuated sine wave having Spx data and a BPM frequency used for the Fourier transform of Equation 3.
  • FIG. 17 schematically shows a circuit for calculating the wavelet transform value w n . 18A, B, and C show the relationship between the Spx data and the periodic Han window sequence.
  • FIG. 19 is a flowchart showing an example of the phase data calculation process.
  • FIG. 20 is an explanatory diagram of the wavelet transform value.
  • the information processing apparatus sets a second value corresponding to each of the first values indicating the power of the musical tone signal at multiple time points as the current value of the first value and the current value of the second value.
  • the second value includes determining based on the results of the comparison and flattening the plurality of first values with a second value corresponding to each of the plurality of first values. In the result of comparison, when the current value of the second value is continuously larger than the current value of the first value, the current value changes by drawing a predetermined locus.
  • the power at multiple time points of the musical tone signal may be, for example, the power of each of a plurality of samples of the musical tone signal, or a plurality of peaks extracted from the plurality of samples. It may be the power of.
  • the following configuration may be adopted, that is, in comparison, the first value larger than the current value of the second value is set to the current value of the new second value. If the current value of the first value, which is larger than the current value of the new second value, does not appear in the first period after setting to, the predetermined trajectory is the new second value in the first period. Draws a first straight line that maintains the current value of, and when the current value of the first value larger than the current value of the new second value does not appear in the second period that is continuous with the first period. The predetermined locus draws a second straight line in which the current value of the second value at the start point of the second period becomes 0 at the end point of the second period.
  • the information processing apparatus determines the first value as the corresponding second value, and the current value of the first value is present. If the value is less than the current value of the second value, the corresponding second value is determined according to the first straight line and the second straight line, and the flattening of the plurality of first values is performed by the plurality of first values. This is done by dividing each value by the corresponding second value, or by multiplying each of the plurality of first values by the reciprocal of the corresponding second value.
  • a beat timing detection method and a beat timing detection device for detecting the beat timing by using a plurality of flattened powers obtained by the above-mentioned method for flattening the power of the musical tone signal will be described. To do.
  • the beat timing detection method for each of the powers (intensity data) of the plurality of samples of the musical tone signal, for example, a frame composed of a predetermined number of continuous sound samples is acquired from the music data, and the samples in the frame are thinned out. Then, a fast Fourier transform may be performed on the thinned sample, and the total power for each frequency bandwidth obtained by the fast Fourier transform may be shown.
  • the powers of the plurality of samples are not limited to the above.
  • each of the powers of the plurality of peaks extracted from the plurality of samples is the case where the power showing a value larger than itself does not appear among the powers of the plurality of samples for a predetermined time. It may be an indicator of the power of (called intensity data). Further, the information processing device flattens the powers of the plurality of peaks, calculates the beat period and phase of the music using the flattened powers of the plurality of peaks, and based on the beat period and phase, the beat of the music. A configuration may be adopted that detects the timing.
  • the information processing apparatus performs a Fourier transform on the powers (plurality of intensity data) of a plurality of flattened peaks for a predetermined time, and the BPM when the absolute value of the Fourier transform value becomes the maximum value. (Beats Per Minute) may be calculated as the beat cycle of the music, and the relative position of the beat sound generation timing in the sine wave indicating BPM may be calculated as the beat phase.
  • the information processing apparatus performs a Fourier transform having an attenuation term for a plurality of BPMs on the powers of a plurality of flattened peaks, and when the absolute value of the Fourier transform value becomes maximum.
  • BPM may be calculated as the beat cycle of the music.
  • the information processing device receives a plurality of values obtained by multiplying the powers of the plurality of peaks obtained by flattening each of the window functions shifted by 1 / n period of the BPM corresponding to the beat period of the music.
  • a plurality of wavelet transform values may be obtained by performing the Fourier transform, and the phase when the absolute value of the plurality of wavelet transforms is maximized may be calculated as the phase of the beat of the music.
  • the information processing apparatus obtains a count value indicating the beat cycle and the beat phase, and measures the count value using a counter that increments each sample of the sampling rate, and the counter value is calculated.
  • the timing when the count value is reached may be detected as the beat timing.
  • the configuration of the embodiment is an example and is not limited to the configuration of the embodiment.
  • FIG. 1 shows a configuration example of an information processing device that can operate as a beat timing detection device.
  • the information processing device 1 may be a general-purpose computer such as a personal computer (PC) or a smart device (smartphone, tablet terminal), or a dedicated computer. Further, the information processing device may be a mobile terminal or a fixed terminal having portability.
  • the information processing device 1 includes a CPU 10, a ROM (Read Only Memory) 11, a RAM (Random Access Memory) 12, a hard disk drive (HDD) 13, and an input device 14 connected to the bus 3. ,
  • the display device 15 and the communication interface (communication I / F) 16 are included.
  • the information processing device 1 further includes a digital-to-analog converter (D / A) 17 and an analog-to-digital converter (A / D) 20 connected to the bus 3.
  • An amplifier (AMP) 18 is connected to the D / A 17, and a speaker 19 is connected to the AMP 18.
  • a microphone (MIC) 21 is connected to the A / D20.
  • the ROM 11 stores various programs executed by the CPU 10 and data used when executing the programs.
  • the RAM 12 is used as a program expansion area, a work area of the CPU 10, a data storage area, and the like.
  • the HDD 13 stores a program, data used when executing the program, music data, and the like.
  • the music data is sound data having a predetermined audio file format such as MP3 or WAVE format.
  • the format of the audio file may be other than MP3 or WAVE format.
  • the ROM 11 and the RAM 12 are examples of the main storage device, and the HDD 13 is an example of the auxiliary storage device.
  • the main storage device and the auxiliary storage device are examples of a storage device or a storage medium.
  • the input device 14 is a key, a button, a touch panel, or the like, and is used for inputting information (including instructions and commands).
  • the display device 15 is used for displaying information.
  • the communication I / F 16 is connected to the network 2 and controls the processing related to the communication. For example, the CPU 10 can download desired music data (music signal) from the network 2 and store it in the HDD 13 in response to an instruction input from the input device 14.
  • the CPU 10 performs various processes by executing the program.
  • the processing includes processing related to music playback, processing to generate the beat sound generation timing of the music, and beat sound (for example, clap sound, particularly hand clap sound) according to the beat sound generation timing. Etc.) is included in the output process.
  • the CPU 10 is an example of a "control unit".
  • the CPU 10 when the music data is reproduced, the CPU 10 generates digital data (digital signal) representing the sound of the music from the music data read from the HDD 13 to the RAM 12 by executing the program, and supplies the digital data (digital signal) to the D / A17.
  • the D / A17 converts digital data representing sound into an analog signal by digital-to-analog conversion, and outputs the digital data to the AMP 18.
  • the analog signal whose amplitude is adjusted by the AMP 18 is output from the speaker 19.
  • the MIC 21 collects, for example, singing sounds accompanied by (karaoke) the sounds of music output from the speaker 19.
  • the analog audio signal collected by the MIC 21 is amplified in amplitude by the AMP 18 and output from the speaker 19. At this time, the singing sound may be mixed with the music sound or may be output from separate speakers.
  • the MIC 21 is also used when collecting sound from a performance using a musical instrument (so-called live performance) or playback sound of a musical piece from an external device to expand the sound (output from the speaker 19) or record the sound.
  • a performance sound signal collected by the MIC 21 is converted into a digital signal by the A / D 20 and passed to the CPU 10.
  • the CPU 10 converts the performance sound signal into a format according to the audio file format to generate an audio file, and stores the audio file in the HDD 13.
  • Beat timing detection (generation of beat sound generation timing) processing may be performed on the sound signal of the music collected by the MIC 21.
  • the information processing device 1 may include a drive device (not shown) for a disc-type recording medium such as a compact disc (CD).
  • a digital signal representing the sound of the music read from the disc-type recording medium using the drive device may be supplied to the D / A17, and the music sound may be reproduced.
  • the beat timing detection process may be performed on the sound signal of the music read from the disc type recording medium.
  • the information processing device 1 shown in FIG. 1 can operate as a beat timing detection device.
  • the CPU 10 By executing the program stored in the ROM 11 or the HDD 13, the CPU 10 operates as a control unit that performs a normalization process described later and a process of detecting the beat timing of the music (generating the beat sound generation timing).
  • FIG. 2 is a diagram showing a configuration example of a control unit (beat timing detection) unit.
  • the CPU 10 operates as the control unit (beat timing detection unit) 100 shown in FIG.
  • the control unit 100 calculates time sparse data (denoted as “Spx data”: peak power extracted from a plurality of samples, corresponding to “intensity data”) generation unit 101, buffer 102, periodic data, and phase data. It operates as a unit 103 and a beat timing detection unit 104.
  • the buffer 102 is provided, for example, in a predetermined storage area of the RAM 12 or the HDD 13.
  • the Spx data generation unit 101 generates and outputs Spx data using digital data (musical data) representing the sound of a musical piece.
  • the buffer 102 accumulates Spx data (corresponding to a plurality of intensity data) for at least a predetermined time. In the present embodiment, 6 seconds is exemplified as the predetermined time, but the predetermined time may be longer or shorter than 6 seconds.
  • the calculation unit 103 calculates beat cycle data and phase data using a set of Spx data for a predetermined time stored in the buffer 102.
  • the generation timing detection unit 104 detects the beat timing using the periodic data and the phase data.
  • the beat timing is input to the beat sound reproduction processing unit 105 as the beat sound generation timing (output instruction).
  • the reproduction processing unit 105 performs reproduction processing of the beat sound according to the generation timing.
  • the operation as the reproduction processing unit 105 is performed by, for example, the CPU 10.
  • the buffer 102 is provided, for example, in a predetermined storage area of the RAM 12 or the HDD 13.
  • the Spx data generation unit 101 generates and outputs Spx data using digital data representing the sound of a musical piece.
  • the buffer 102 accumulates Spx data (corresponding to a plurality of intensity data) for at least a predetermined time. In the present embodiment, 6 seconds is exemplified as the predetermined time, but the predetermined time may be longer or shorter than 6 seconds.
  • the calculation unit 103 calculates beat cycle data and phase data using a set of Spx data for a predetermined time stored in the buffer 102.
  • the generation timing detection unit 104 detects the beat timing using the periodic data and the phase data.
  • a digital signal representing the sound of the music (data sent to the D / A 17 for audio output) to be reproduced is input to the generation unit 101 as "music data".
  • the digital signal representing the sound may be obtained by the reproduction processing of the music data stored in the HDD 13 or by the A / D conversion of the audio signal collected by the MIC 21.
  • the digital data representing the sound is stored in the RAM 12 and used for the processing of the generation unit 101.
  • Digital data representing sound is, for example, a set of sample data (usually a voltage value of an analog signal) collected from an analog signal according to a predetermined sampling rate.
  • the sampling rate is assumed to be 44100 Hz. However, the sampling rate can be appropriately changed as long as the desired FFT resolution can be obtained.
  • FIG. 3 is a flowchart showing a reference example of the processing of the generation unit 101.
  • Digital data digital signal
  • the generation unit 101 acquires a predetermined number of samples (referred to as “frames”) from the input digital data (S01).
  • the predetermined number is 1024 in this embodiment, but may be more or less than this.
  • Samples are obtained at predetermined intervals.
  • the predetermined interval is, for example, 5 ms, but may be larger or smaller than this.
  • the generation unit 101 performs a thinning process. That is, the generation unit 101 thins out 1/4 of the 1024 samples to obtain 256 samples. The thinning may be other than 1/4 thinning.
  • the generation unit 101 performs a fast Fourier transform (FFT) on 256 samples, and based on the FFT result (power for each frequency bandwidth), data (power) indicating the magnitude of power in frame units. Data) is obtained (S04). Since power is expressed by the square of amplitude, the concept of "power" includes amplitude.
  • FFT fast Fourier transform
  • the value of the power data is, for example, the sum of the powers obtained by performing the FFT on 256 samples. However, the power of the corresponding bandwidth in the previous frame is subtracted from the power of each frequency bandwidth of this frame, and if the value is positive (power is increasing), the value of that power is summed. You can leave it for calculation and ignore values that are not (the subtracted value is negative (power is reduced)). This is because there is a high possibility that the beat is where the increase in power is large.
  • the value used to calculate the sum is the sum of the powers of the current frame, but the power of the previous frame is subtracted from the power of the previous frame.
  • the value may be the sum of the powers of positive values or the difference obtained by subtracting the power of the previous frame from the power of the current frame.
  • the above-mentioned difference calculation may be performed only for frequencies lower than a predetermined frequency. Frequencies above a predetermined frequency may be cut using a low-pass filter.
  • the power data is stored in the RAM 12 and the HDD 13 in frame units. Each time the power data for each frame is created, the generation unit 101 compares the magnitude of the total power (peak value) and leaves the larger one, and discards the smaller one (S05). The generation unit 101 determines whether or not a total sum larger than the total sum left in S05 has appeared for a predetermined time (S06).
  • the predetermined time is, for example, 100 ms, but may be larger or smaller than 100 ms.
  • the generation unit 101 extracts the data indicating the sum of the powers as Spx data and stores (saves) it in the buffer 102 (S07). ..
  • the Spx data is data obtained by extracting the peak value of digital data indicating a musical tone at intervals of 100 ms, and is data indicating the timing (timing information) that controls the beat of the music and the power at that timing. is there.
  • a plurality of Spx data are stored in the buffer 102.
  • the generation unit 101 repeats the processes from S01 to S06.
  • FIG. 4A shows a digital signal of a musical piece for 12 seconds input to the generation unit 101
  • FIG. 4B shows an example of Spx data generated by processing a reference example from the digital signal of the musical piece shown in FIG. 4A. ..
  • the horizontal axis of the graph shown in FIG. 4B is time, and the vertical axis is power.
  • the vertical line with a black circle at the top indicates the individual Spx data obtained from the digital signal of the music shown in FIG. 4A, and the position on the horizontal axis (time axis) indicates the timing of the vertical line.
  • Length indicates power.
  • Spx data is generated at a predetermined interval (for example, 100 ms or more), and usually about 6 pieces are generated per second.
  • FIG. 5 is a flowchart showing a processing example of the generation unit 101 according to the embodiment.
  • the process of FIG. 5 differs from the reference example in that a normalization process (S04A) is provided between S04 and S05 in the reference example.
  • FIG. 6 schematically shows a configuration related to the normalization process performed by the generation unit 101.
  • the normalization process has an enveloper 101A and a normalizer 101B.
  • the data (power data) indicating the magnitude (total) of power in frame units described in the reference example is defined as "Qx".
  • a set of Qx arranged in chronological order on the time axis corresponds to "plurality of musical tone signals”.
  • Each of the plurality of Qx is input to the enveloper 101A and the normalizer 101B.
  • Qx corresponds to the "first value” and the "power of each of the plurality of samples”.
  • the enveloper 101A uses the value of Qx to obtain and calculate the dynamics value (Dv) corresponding to Qx.
  • the dynamics value Dv is a value indicating a change in the strength of the sound with respect to Qx, and is an example of a “normalization signal (second value)”.
  • the normalizer 101B obtains the normalized value of Qx by dividing the value of Qx by the value of Dv (Qx / Dv).
  • FIG. 7 is an explanatory diagram of the processing of the enveloper 101A.
  • the enveloper 101A maintains a constant value as long as the state in which the value of the musical tone signal is attenuated continues for a predetermined time (monitoring section: first period (first interval) Itv1) (value of Dv in the first period). Trajectories draw a straight line (first straight line) with a constant Dv value). Then, when a predetermined time elapses, the value of Dv becomes one point (0) for a certain period of time (second period (second interval) Itv2 continuous with the first period) regardless of the magnitude of Dv at that time. ) Is terminated (converged) so that the value of Dv is calculated.
  • first period first interval
  • Itv1 value of Dv in the first period
  • the locus of the Dv value in the second period draws a straight line (second straight line) having a slope in which the Dv value at the start point of the second period becomes 0 at the end point of the second period.
  • the locus composed of the first and second straight lines is an example of the "predetermined locus", but the shape of the "predetermined locus” is not limited to the above example.
  • the "predetermined time” is determined as follows. Beat detection is performed by identifying the time position of the peak of a musical tone that appears periodically. Therefore, if the normalization signal changes in a time shorter than the peak period of the musical tone (following the musical tone signal), there is a high possibility that a peak shorter than the original beat period will be detected. Therefore, the "predetermined time” needs to be longer than the beat cycle. On the other hand, if the "predetermined time” is set too long, the effect will not disappear easily when the volume changes from a loud state to a low volume state. In consideration of these, the "predetermined time” is determined.
  • FIG. 8 is a flowchart showing a processing example of the enveloper 101A.
  • S001 the following processing is performed as an initial setting.
  • -Set the value of the value (dynamics value: Dyna-value: Dv) indicating the change in the strength of the sound to 0.
  • Dc indicates the position on the time axis of the graph shown in FIG. -Set the values of Itv1 and Itv2 shown in FIG. 7 to predetermined values.
  • the value of Qx obtained in S04 (FIG. 5) is acquired, and the value of Dc is incremented.
  • the value of Qx and the value of Dv are compared to determine whether the value of Dv is larger than the value of Qx. If it is determined that the value of Dv is larger than the value of Qx, the process proceeds to S004, and if it is determined that the value is not, the process proceeds to S007.
  • the value of Dc is determined to be larger than the value of Itv1 in S004, it means that the position of Qx on the time axis is within the second section Itv2.
  • the step value is subtracted from the Dv value.
  • a process of reducing the value of Dv is performed according to a straight line (slope obtained in S008) where the current value of Dv becomes 0 at the end point of Itv2. That is, the value of Dv is set to a value corresponding to the current value of Dc on the above-mentioned straight line.
  • FIG. 9A shows the relationship between Qx and Dv.
  • the gray part shows the temporal change of Qx (plural Qx), and the bar graph with a black circle at the upper end shows Spx. And the broken line shows the change of Dv.
  • the value of Qx drops sharply around 9.8 [sec] and continues to be small.
  • Dv is increased. If Qx is smaller than Dv, Dc is counted up until Dc exceeds Itv1. During this time, the value of Dv does not change (maintain the value of Dv: see around 9.4 to 10.1 on the horizontal axis).
  • Dc exceeds Itv1 (the position of Qx on the time axis is within Itv2)
  • the value of Dv is reduced according to the slope of “Dv / Itv2”. Since the slope is constant, Dv decreases in a straight line until Qx exceeds Dv again (see around 10.1 to 10.5 on the horizontal axis).
  • FIG. 9B shows Qx and Spx normalized by the normalizer 101B.
  • the value of Qx normalized by the calculation (Qx / Dv) of the normalizer 101B is 1.0.
  • the processing of S05 to S07 in FIG. 5, that is, the processing for obtaining Spx is performed using the normalized Qx.
  • the Spx shown in FIG. 9B is obtained by the treatment of S05 to S07 using the normalized Qx obtained in S04A. After calculating Spx, the above-mentioned normalization process may be performed on Spx.
  • the information processing apparatus 1 sets Dv (corresponding to the second value) corresponding to each of Qx (corresponding to the first value indicating the power at a plurality of time points of the musical tone signal) as the current value of Qx. It is determined based on the result of comparison with the current value of the Dv value.
  • Qx is normalized by "Qx / Dv (calculation of dividing the first value by the corresponding second value)".
  • the operation may be an operation (Qx * 1 / Dv) in which the reciprocal of the second value corresponding to the first value is multiplied.
  • the value of Dv used for normalization changes in a predetermined trajectory when the current value of Dv is larger than the current value of Qx in succession in the comparison result.
  • the predetermined locus comprises, for example, a first straight line in the first period (Itv1) and a second straight line in the second period (Itv2) as shown in FIG.
  • FIG. 10 is a flowchart showing a processing example of the calculation unit 103.
  • the new Spx data generated by the generation unit 101 arrives at the buffer 102 and is accumulated.
  • Spx data (corresponding to a plurality of intensity data) for a predetermined time is acquired from the buffer 102.
  • the predetermined time is, for example, 6 seconds, but may be longer or shorter than 6 seconds as long as the beat period and phase can be obtained.
  • the subsequent processes S12 to S16 are processes performed using the 6 seconds worth of Spx data acquired in S11.
  • FIG. 11 is a diagram showing an example of a sine wave having a BPM frequency used for Spx data and Fourier transform.
  • a sine wave of BPM72 shown by a solid line
  • a sine wave of BPM88 shown by a broken line
  • a sine wave of BPM104 shown by a chain line
  • the value of the Fourier transform data c (i) is obtained by the following equation 1.
  • the BPM value and the number thereof can be changed as appropriate.
  • t (k) in Equation 1 is the time position in the past 6 seconds in which the Spx data exists, and the unit is seconds.
  • x (t (k)) indicates the value (the magnitude of the peak value) of the Spx data at that moment.
  • f (i) is the BPM frequency, for example BPM 120 is 2.0 Hz.
  • phase value ⁇ By calculating the phase value ⁇ , it is possible to know the relative position of the beat generation timing with respect to the BPM sine wave, that is, how much the beat generation timing is delayed with respect to one cycle of the BPM.
  • FIG. 12 illustrates the relationship between the cosine wave indicating BPM (the real part of EXP (2 ⁇ jft)) and the beat generation timing.
  • the number of Spx data is 4, and the BPM is 72.
  • Each of the Spx data shown in FIG. 12 is a value (phase) of c (i) obtained by using Equation 2, and indicates a beat generation timing.
  • the beat generation timing interval is between the Spx data.
  • the beat generation timing is the timing delayed by ⁇ / 2 from the cosine wave having the BPM frequency obtained by the calculation of the phase value ⁇ .
  • the calculation unit 103 uses the number of samples in one cycle of BPM as cycle data (S15).
  • the calculation unit 103 outputs the periodic data and the phase data (S16).
  • the calculation unit 103 repeats the processes S11 to S16 every time 6 seconds of Spx data is accumulated. As a result, it is possible to follow changes in the rhythm of the music.
  • FIG. 13 is a flowchart showing an example of beat timing detection processing by the detection unit 104.
  • the detection unit 104 determines whether the new periodic data and the phase data are provided by the calculation unit 103. If new periodic data and phase data are provided, processing proceeds to S22, otherwise processing proceeds to S23.
  • the detection unit 104 adopts the new periodic data and the phase data for detecting the beat generation timing, and discards the old periodic data and the phase data.
  • the sample of the frame forming the Spx data is in a state where a delay of 100 ms is given. Therefore, here, the music and rhythm being played or played, and the hand clap sound described later Time adjustment (phase adjustment) is performed so that After that, the process proceeds to S23.
  • the counter is set using the number of samples of periodic data and the number of samples of phase data.
  • the detection unit 104 has a counter that counts up (increments) each sample of the sampling rate (interval of voltage check of the analog signal according to the sampling rate), and counts the count value of the counter for each sample. Increment. As a result, it waits for the count value to change from zero to a predetermined value (a value indicating the sum of the number of samples of phase data (count value) and the number of samples of periodic data (count value)) (S24).
  • the detection unit 104 detects the beat sound generation timing (beat timing) based on the prediction (S25).
  • the detection unit 104 notifies the control unit 53 of the occurrence of the beat timing, and outputs a beat sound output instruction (S25).
  • the control unit 53 performs the operation (change of display mode) described in the first embodiment based on the beat timing.
  • the reproduction processing unit 105 sends digital data of a beat sound (for example, a hand clap sound) stored in advance in the ROM 11 or the HDD 13 to the D / A 17 in response to an output instruction.
  • the digital data is converted into an analog signal by the D / A 17, the amplitude is amplified by the AMP 18, and then output from the speaker 19.
  • the hand clap sound is output over the music being played or played.
  • the (past) music that has been played or played is input to the generation unit 101, and the generation unit 101 generates Spx data.
  • Such Spx data is accumulated in the buffer 102, and the calculation unit 103 calculates the beat cycle and phase from the plurality of Spx data for a predetermined time (6 seconds), and matches the beat period and phase with the music (voice) being played or played.
  • the detection unit 104 detects and outputs the beat timing.
  • the reproduction processing unit 105 can output a hand clap sound that matches the rhythm of the music being reproduced or played.
  • the automatic output of this hand clap sound is performed by a simple algorithm with a small amount of calculation, such as the above-mentioned generation of Spx data, calculation of beat period and phase based on Fourier transform data, and counting of counter values. be able to. As a result, it is possible to avoid an increase in the load on the processing execution subject (CPU 10) and an increase in memory resources. Further, since the amount of processing is small, it is possible to output a clap sound without delay for the reproduced sound or the playing sound (even if there is a delay, the person cannot recognize it).
  • the beat timing can be detected by using the Spx value which is less affected even when the power drops sharply. ..
  • Spx normalization is performed by storing the Dv corresponding to Qx, and when Spx is calculated from Qx, dividing the Spx value by the corresponding Dv value (Spx / Dv). You may. Further, the normalization may be performed on beat timing detection data other than Spx.
  • the process performed by the beat timing detection unit 100 may be performed by a plurality of CPUs (processors) or by a CPU having a multi-core configuration. Further, the processing performed by the beat timing detection unit 100 is performed by a processor other than the CPU 10 (DSP, GPU, etc.), an integrated circuit other than the processor (ASIC, FPGA, etc.), or a combination of the processor and the integrated circuit (MPU, SoC, etc.). It may be executed.
  • the second embodiment a method different from the first method described in the first embodiment is used as a method for calculating the beat period and phase.
  • the Spx data normalized by the method described in the first embodiment is used.
  • the second method differs from the first method in the calculation of periodic data and phase data as follows.
  • FIG. 14 is a flowchart showing an example of calculation processing of periodic data and phase data in the second beat timing detection method.
  • the new Spx data generated by the generation unit 101 arrives at the buffer 102.
  • the calculation unit 103 obtains Fourier transform data corresponding to a predetermined number of BPMs.
  • a predetermined number for example, 20 to 40
  • BPM Beats Per Minute: tempo (speed of rhythm)
  • the corresponding Fourier transform was applied (FIGS. 9, S12).
  • Equation 3 U indicates the amount of attenuation per sample and is a number close to 1. U indicates the rate at which past data is forgotten. The section is up to the infinity of the past.
  • FIG. 15 is a circuit diagram of Equation 3. The past signal f n-1 (m) delayed by the current delay block (Z- 1 ) 61 is multiplied by the attenuation term Ue -j ⁇ m in the multiplier 62 and the current signal f in the adder 63. Is added to (n). In this way, the Fourier transform value per sample is obtained.
  • Equation 3 The Fourier transform value of Equation 3 can be expressed by Equations 4 and 5 below.
  • Equation 3 the circuit shown in FIG. 15
  • Equations 6 and 7 Can be used to obtain the Fourier transform value for the L sample.
  • the value of q m L in formula 6 can be determined conveniently by using Equation 7. Note that f (n) is the value of Spx data, L is the arrival interval of Spx data, U is the attenuation coefficient, and ⁇ m is the angular frequency per sample corresponding to BPM.
  • FIG. 16 shows an example of an attenuated sine wave having Spx data and a BPM frequency used for the Fourier transform of Equation 3.
  • the wave having the longest period is the wave of BPM72
  • the next wave is the wave of BPM88
  • the wave having the shortest period is the wave of BPM104.
  • a predetermined number of BPMs for example, 20
  • the number of BPMs may be greater than or less than 20.
  • the second method does not require the accumulation of Spx data for a predetermined period (6 seconds). Therefore, the storage area of the memory (storage device 57) for accumulating Spx data can be effectively utilized. Further, in the first method, the product-sum calculation of a plurality of BPM ⁇ Spx data numbers is performed, whereas in the second method, the calculation of Equation 3 is performed for each BPM, so that the amount of calculation is significantly increased. Can be reduced.
  • the calculation unit 103 obtains a predetermined number (for example, 5) of wavelet transform values corresponding to a predetermined number (for example, 20) of BPM.
  • FIG. 17 schematically shows a circuit for calculating the wavelet transform value w n .
  • the circuit has a configuration in which a multiplier 64 is added to the circuit for calculating the Fourier transform value shown in FIG.
  • the multiplier 64 multiplies the Spx data by a periodic Han window sequence whose period is the number of samples corresponding to the BPM value.
  • the Fourier transform of Equation 3 described above is performed on the output of the multiplier 64, and the output is output as a wavelet transform value w n .
  • the Han window is an example of a window function, and in addition to the Han window, a triangular window or a humming window can be applied.
  • the wavelet transform value w n is obtained for each BPM at a timing shifted by 1/5 cycle of each BPM. That is, a periodic Han window sequence deviated by 1/5 cycle of BPM is prepared, and the wavelet transform value ⁇ w n ⁇ 0 ⁇ n ⁇ 5 corresponding to each periodic Han window sequence is obtained.
  • FIG. 18A, 18B and 18C show the relationship between the Spx data and the periodic Han window sequence.
  • FIG. 18A an attenuated sine wave indicating a periodic Han window train at timing 0 is shown by a thick line, and an attenuated sine wave indicating a periodic Han window train other than timing 0 is shown by a thin line.
  • FIG. 18B shows a thick line showing an attenuated sine wave indicating a periodic sine wave of timing 1 (advancing by 1/5 cycle from timing 0) related to a certain BPM, and a periodic han window sequence other than timing 1.
  • the attenuated sine wave indicating is shown by a thin line.
  • 18C shows an attenuated sine wave indicating a periodic han window sequence of timing 2 (1/5 cycle ahead of timing 1) related to a certain BPM with a thick line, and a periodic han window sequence other than timing 1 is shown.
  • the attenuated sine wave shown is shown by a thin line.
  • the calculation unit 103 determines the BPM corresponding to the Fourier transform value having the maximum absolute value among the Fourier transform values corresponding to the plurality of BPMs as the BPM of the Spx data (beat). To do. Further, the calculation unit 103 determines the number of samples in one cycle of the determined BPM beat as the beat cycle data (S54).
  • the calculation unit 103 calculates the phase value from a predetermined number of wavelet transform values corresponding to the BPM, and converts the phase value into a sample value for the periodic data. That is, the calculation unit 103 obtains n when the absolute value of the wavelet transform value w n becomes maximum (S551 in FIG. 19), and obtains the phase value Arg (w n ) corresponding to n (S552 in FIG. 19). .. The calculation unit 103 converts the phase value into a sample value (phase data) for the periodic data (S55), and outputs the periodic data and the phase data (S56).
  • FIG. 20 is an explanatory diagram of the wavelet transform value.
  • the wavelet transform values are unevenly distributed over time and have complex phase information. That is, the wavelet transform value has a curve related to the product of the Han window, a curve related to the product of the Han window and the real part (cosine), and a curve related to the product of the Han window and the imaginary part (sine).
  • the storage capacity and the amount of calculation required for processing can be reduced as compared with the first method, and the phase (beat timing) can be reduced.
  • Detection accuracy increases.
  • the delay block holds the Fourier transform value of the previous Spx
  • the value before normalization is the previous value held by the delay block 61 when the power drops sharply. Is dominant in the calculation of the value this time, and does not reflect the sharp decline. Since the normalization of Spx does not cause a large difference in the values of Spx before and after the change, it is possible to obtain an appropriate Fourier transform value or wavelet transform value (improve the accuracy of these values).
  • a plurality of Qx (power of each of the plurality of samples) of the musical tone signal is flattened by the normalization process, and a plurality of Spx (plurality) flattened using the flattened Qx values. Peak power) was calculated.
  • Spx may be obtained using Qx before normalization, and a plurality of flattened Spx may be obtained by performing normalization processing on the Spx.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

楽音信号のパワーの平坦化方法は、楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を第１の値の現在値と第２の値の現在値との比較の結果に基づいて決定することと、複数の第１の値の夫々に対応する第２の値を用いて複数の第１の値を平坦化することとを含み、第２の値は、比較の結果において、第２の値の現在値が第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする。

Description

楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置
　本発明は、楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置に関する。
　従来、エンベロープによって正規化した波形データの差分の列に波形データ列の変動の大きさに反比例する圧縮率を乗算した圧縮差分データ列と、圧縮率に関連する伸長率データと、所定のエンベロープとに基づいて波形データ列を再生する波形記録・再生法及び波形再生装置がある（例えば、特許文献１参照）。また、波形信号のブロックごとの最大値とそのアドレスに基づいて、波形信号を正規化して、波形信号のエンベロープを除去する波形信号処理装置がある（例えば、特許文献２参照）。
特許第２９０００７７号公報 特開昭６２－０７５６００号公報
　楽曲信号の解析により楽曲のビートを検出することが試みられている。ビートは、一定の間隔で刻まれる基本的な時間の単位のことである。ビートは、一般に、定期的に現れる楽音信号のピークの時間位置（信号のレベル／パワーの大きなところ）を特定することによって行われる。このため、過去の信号の状況は、現時点より後のビートタイミングの検出（予測）に影響を与える。
　楽曲の中には、或る時点を境に音量が急激に小さくなってその状態がしばらく続くとともに、ビートの変化が生じる部分を有するものがある。このような楽曲については、或る時点より過去の楽曲信号について実施していたビートタイミングの検出方法を或る時点より後にそのまま適用できないケースが起こりうる（例えば、音量の低下によりピークを適正に検出できないなど）。特に、ビートタイミングの検出に再帰的処理が用いられていると、音量が小さくなった後のビートタイミングの検出処理において、音量が小さくなる前のフィードバック値が大きな影響を与え、ビートタイミングの検出精度に影響を及ぼす虞があった。
　本発明は、パワー（音量）の変化による影響を低減し得る楽音信号の正規化方法、情報処理装置、ビートタイミングの検出方法、およびビートタイミング検出装置を提供することを目的とする。
　本発明の一態様は、情報処理装置が、楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化することとを含み、前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする楽音信号のパワーの平坦化方法である。
　本発明の他の態様は、楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化する処理と、を行う制御部を含み、前記第２の値は、前記比較の結果において、第２の値の現在値が第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする情報処理装置である。
　本発明の他の態様は、情報処理装置が、楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化することと、前記平坦化された前記複数の第１の値を用いてビートタイミングを検出することとを含み、前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする楽曲のビートタイミング検出方法である。
　本発明の他の態様は、楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化する処理と、前記平坦化された前記複数の第１の値を用いてビートタイミングを検出する処理とを行う制御部を含み、前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする楽曲のビートタイミング検出装置である。
図１はビートタイミング検出装置として動作可能な情報処理装置（コンピュータ）の構成例を示す。 図２は、制御部（ビートタイミング検出部）の構成例を示す。 図３は、生成部の処理の参考例を示すフローチャートである。 図４Ａは、生成部に入力される１２秒分の楽曲のディジタル信号（楽曲信号ともいう）の例を示し、図４Ｂは、参考例によって図４Ａの楽曲信号から生成されるＳｐｘデータの例を示す。 図５は、実施形態における生成部の処理例を示すフローチャートである。 図６は、パワーデータ（Ｑｘ）を正規化する構成を模式的に示す。 図７は、エンベローパの処理を示す。 図８は、エンベローパの処理例を示すフローチャートである。 図９Ａは、正規化前のＱｘ及びＳｐｘを示し、図９Ｂは、正規化後のＱｘ及びＳｐｘを示す。 図１０は、算出部の処理例を示すフローチャートである。 図１１は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭの正弦波の例を示す図である。 図１２は、ＢＰＭを示す余弦波とビートの発生タイミングとの関係を図示する。 図１３は、検出部によるビート発生タイミングの検出処理の例を示すフローチャートである。 図１４は、ビートタイミング検出方法における、第２の周期データ及び位相データの算出処理の例を示すフローチャートである。 図１５は、式３の回路図である。 図１６は、Ｓｐｘデータと、式３のフーリエ変換に用いるＢＰＭ周波数を有する減衰正弦波の例を示す。 図１７は、ウェーブレット変換値ｗｎを算出する回路を模式的に示す。 図１８Ａ、Ｂ、Ｃは、Ｓｐｘデータと周期的ハン窓列との関係を示す。 図１９は、位相データの算出処理の例を示すフローチャートである。 図２０は、ウェーブレット変換値の説明図である。
　以下の実施形態において、以下を含む楽音信号のパワーの平坦化方法、及びこの平坦化方法と同様の特徴を有する情報処理装置について説明する。平坦化方法は、情報処理装置が、楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を第１の値の現在値と第２の値の現在値との比較の結果に基づいて決定することと、複数の第１の値の夫々に対応する第２の値を用いて複数の第１の値を平坦化することとを含み、第２の値は、比較の結果において、第２の値の現在値が第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化することを特徴とする。
　楽音信号のパワーの平坦化方法において、楽音信号の複数の時点におけるパワーは、例えば、楽音信号の複数のサンプルの夫々のパワーであってもよく、又は、複数のサンプルから抽出された複数のピークのパワーであってもよい。
　また、楽音信号のパワーの平坦化方法において、以下の構成が採用されてもよい、すなわち、比較において、第２の値の現在値より大きい第１の値を新たな第２の値の現在値に設定してから第１の期間に新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、所定の軌跡は、第１の期間、新たな第２の値の現在値を維持する第１の直線を描き、さらに、第１の期間に連続する第２の期間に新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、所定の軌跡は、第２の期間の始点における第２の値の現在値が第２の期間の終点において０となる第２の直線を描くようにする。この場合、情報処理装置は、第１の値の現在値が第２の値の現在値より大きい場合は、その第１の値を対応する第２の値に決定し、第１の値の現在値が第２の値の現在値より小さい場合は、第１の直線及び第２の直線に従って対応する第２の値を決定し、複数の第１の値の平坦化を、複数の第１の値の夫々を対応する第２の値で割ること、又は、複数の第１の値の夫々に対応する第２の値の逆数をかけることによって行う。
　また、実施形態では、上記した楽音信号のパワーの平坦化方法によって得られた、平坦化された複数のパワーを用いて、ビートタイミングを検出する、ビートタイミング検出方法、及びビートタイミング検出装置について説明する。
　ビートタイミング検出方法において、楽音信号の複数のサンプルのパワーの夫々（強度データ）は、例えば、楽曲のデータから所定数の連続する音のサンプルからなるフレームを取得し、前記フレーム中のサンプルを間引きし、間引きしたサンプルについて高速フーリエ変換を行い、高速フーリエ変換によって得られた周波数バンド幅毎のパワーの総和を示すものであってもよい。但し、複数のサンプルのパワーの夫々は、上記に限定されない。
　ビートタイミング検出方法において、複数のサンプルから抽出された複数のピークのパワーの夫々は、前記複数のサンプルの夫々のパワーのうち、自身より大きい値を示すパワーが出現しない状態が所定時間継続した場合のパワーを示すもの（強度データと呼ぶ）であってよい。また、情報処理装置は、複数のピークのパワーを平坦化し、平坦化した複数のピークのパワーを用いて楽曲のビートの周期及び位相を算出し、ビートの周期及び位相に基づいて、楽曲のビートタイミングを検出する、構成を採用してもよい。
　ビートタイミング検出方法において、情報処理装置は、所定時間分の平坦化した複数のピークのパワー（複数の強度データ）に対するフーリエ変換を行い、フーリエ変換の値の絶対値が最大値となるときのＢＰＭ（Beats Per Minute）を、楽曲のビートの周期として算出し、ＢＰＭを示す正弦波におけるビート音の発生タイミングの相対位置をビートの位相として算出する、構成を採用してもよい。
　ビートタイミング検出方法において、情報処理装置は、複数個のＢＰＭに関して、減衰項を有するフーリエ変換を、平坦化した複数のピークのパワーに対して行い、フーリエ変換の値の絶対値が最大となるときのＢＰＭを、楽曲のビートの周期として算出する、ようにしてもよい。この場合、情報処理装置は、楽曲のビートの周期に対応するＢＰＭの１／ｎ周期ずつずれた窓関数のそれぞれを平坦化した複数のピークのパワーに乗じて得られた複数の値に対し、フーリエ変換を行うことで、複数のウェーブレット変換値を求め、複数のウェーブレット変換の絶対値が最大になるときの位相を、前記楽曲のビートの位相として算出する、ようにしてもよい。
　ビートタイミング検出方法において、情報処理装置は、ビートの周期及びビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いてカウント値の計時を行い、カウンタの値がカウント値に達したタイミングをビートタイミングとして検出する、ようにしてもよい。
　以下、図面を参照して、実施形態に係るビートタイミング検出装置及びビートタイミング検出方法について説明する。実施形態の構成は例示であり、実施形態の構成に限定されない。
〔第１実施形態〕
　＜ビートタイミング検出装置の構成＞
　図１は、ビートタイミング検出装置として動作可能な情報処理装置の構成例を示す。情報処理装置１は、パーソナルコンピュータ（ＰＣ）、スマートデバイス（スマートフォン、タブレット端末）などの汎用のコンピュータであっても、専用のコンピュータであってもよい。また、情報処理装置は、可搬性を有する移動端末でも固定端末でもよい。
　図１において、情報処理装置１は、バス３に接続された、ＣＰＵ１０と、ＲＯＭ（Read Only Memory）１１と、ＲＡＭ（Random Access Memory）１２と、ハードディスクドライブ（ＨＤＤ）１３と、入力装置１４と、表示装置１５と、通信インタフェース（通信Ｉ／Ｆ）１６とを含む。情報処理装置１は、さらに、バス３に接続された、ディジタルアナログ変換器（Ｄ／Ａ）１７と、アナログディジタル変換器（Ａ／Ｄ）２０とを含む。Ｄ／Ａ１７にはアンプ（ＡＭＰ）１８が接続され、ＡＭＰ１８にはスピーカ１９が接続されている。Ａ／Ｄ２０には、マイクロフォン（ＭＩＣ）２１が接続されている。
　ＲＯＭ１１は、ＣＰＵ１０によって実行される様々なプログラムやプログラムの実行に際して使用されるデータを記憶している。ＲＡＭ１２は、プログラムの展開領域、ＣＰＵ１０の作業領域、データの記憶領域などとして使用される。ＨＤＤ１３は、プログラムやプログラムの実行に際して使用されるデータ、楽曲データなどを記憶する。楽曲データは、例えばＭＰ３やＷＡＶＥ形式などの所定の音声ファイルのフォーマットを有する音データである。音声ファイルのフォーマット形式は、ＭＰ３やＷＡＶＥ形式以外でもよい。ＲＯＭ１１及びＲＡＭ１２は、主記憶装置の一例であり、ＨＤＤ１３は補助記憶装置の一例である。主記憶装置及び補助記憶装置は、記憶装置又は記憶媒体の一例である。
　入力装置１４は、キー、ボタン、タッチパネルなどであり、情報（指示や命令を含む）の入力に使用される。表示装置１５は、情報の表示に使用される。通信Ｉ／Ｆ１６は、ネットワーク２に接続されており、通信に係る処理を司る。ＣＰＵ１０は、例えば入力装置１４から入力された指示に応じて、ネットワーク２から所望の楽曲データ（楽曲信号）をダウンロードし、ＨＤＤ１３に記憶することができる。
　ＣＰＵ１０は、プログラムの実行によって、様々な処理を行う。処理は、上記した楽曲ダウンロードに係る処理の他、楽曲の再生に係る処理、楽曲のビート音発生タイミングを生成する処理、ビート音発生タイミングに合わせてビート音（例えば、クラップ音、特にハンドクラップ音など）を出力する処理などを含む。ＣＰＵ１０は、「制御部」の一例である。
　例えば、ＣＰＵ１０は、楽曲データを再生する場合、プログラムの実行によって、ＨＤＤ１３からＲＡＭ１２に読み出した楽曲データから楽曲の音を表すディジタルデータ（ディジタル信号）を生成し、Ｄ／Ａ１７に供給する。Ｄ／Ａ１７は、音を表すディジタルデータをディジタルアナログ変換によってアナログ信号に変換し、ＡＭＰ１８に出力する。ＡＭＰ１８によって振幅が調整されたアナログ信号はスピーカ１９から出力される。
　ＭＩＣ２１は、例えば、スピーカ１９から出力される楽曲の音を伴奏（カラオケ）とする歌唱音などを集音する。ＭＩＣ２１で集音されたアナログの音声信号は、ＡＭＰ１８で振幅を増幅され、スピーカ１９から出力される。このとき、歌唱音は楽曲音とミキシングされても、それぞれ別個のスピーカから出力されてもよい。
　また、ＭＩＣ２１は、楽器を用いた演奏（いわゆる生演奏）による音声や外部機器からの楽曲の再生音声を集音して音を拡大（スピーカ１９から出力）したり、録音したりする場合にも使用される。例えば、ＭＩＣ２１で集音された演奏音の信号は、Ａ／Ｄ２０によってディジタル信号に変換され、ＣＰＵ１０に渡される。ＣＰＵ１０は、演奏音の信号を音声ファイルのフォーマットに従った形式に変換して音声ファイルを生成し、ＨＤＤ１３に記憶する。ＭＩＣ２１で集音される楽曲の音信号について、ビートタイミングの検出（ビート音発生タイミングの生成）処理が行われてもよい。
　なお、情報処理装置１がコンパクトディスク（ＣＤ）などのディスク型記録媒体のドライブ装置（図示せず）を含んでもよい。この場合、ドライブ装置を用いてディスク型記録媒体から読み出された楽曲の音を表すディジタル信号がＤ／Ａ１７に供給され、楽曲音が再生されてもよい。この場合、ディスク型記録媒体から読み出された楽曲の音信号について、ビートタイミングの検出処理が行われてもよい。
　図１に示した情報処理装置１は、ビートタイミング検出装置として動作可能である。ＣＰＵ１０は、ＲＯＭ１１やＨＤＤ１３に記憶されたプログラムを実行することによって、後述する正規化処理や、楽曲のビートタイミングを検出する（ビート音発生タイミングを生成する）処理を行う制御部として動作する。
　図２は、制御部（ビートタイミング検出）部の構成例を示す図である。プログラムの実行によって、ＣＰＵ１０は、図２に示す制御部（ビートタイミング検出部）１００として動作する。制御部１００は、時間スパースデータ（「Ｓｐｘデータ」と表記：複数のサンプルから抽出されたピークのパワー」、「強度データ」に相当）の生成部１０１、バッファ１０２、周期データ及び位相データの算出部１０３、及びビートタイミングの検出部１０４として動作する。バッファ１０２は、例えば、ＲＡＭ１２やＨＤＤ１３の所定の記憶領域に設けられる。
　Ｓｐｘデータの生成部１０１は、楽曲の音を表すディジタルデータ（楽曲のデータ）を用いて、Ｓｐｘデータを生成して出力する。バッファ１０２は、少なくとも所定時間分のＳｐｘデータ（複数の強度データに相当）を蓄積する。本実施形態では、所定時間として６秒を例示するが、所定時間は６秒より長くても短くてもよい。算出部１０３は、バッファ１０２に蓄積された所定時間分のＳｐｘデータの集合を用いて、ビートの周期データ及び位相データを算出する。発生タイミングの検出部１０４は、周期データ及び位相データを用いてビートタイミングを検出する。
　ビートタイミングは、ビート音発生タイミング（出力指示）として、ビート音の再生処理部１０５に入力される。再生処理部１０５は、発生タイミングに合わせたビート音の再生処理を行う。再生処理部１０５としての動作は、例えばＣＰＵ１０によって行われる。バッファ１０２は、例えば、ＲＡＭ１２やＨＤＤ１３の所定の記憶領域に設けられる。
　Ｓｐｘデータの生成部１０１は、楽曲の音を表すディジタルデータを用いて、Ｓｐｘデータを生成して出力する。バッファ１０２は、少なくとも所定時間分のＳｐｘデータ（複数の強度データに相当）を蓄積する。本実施形態では、所定時間として６秒を例示するが、所定時間は６秒より長くても短くてもよい。算出部１０３は、バッファ１０２に蓄積された所定時間分のＳｐｘデータの集合を用いて、ビートの周期データ及び位相データを算出する。発生タイミングの検出部１０４は、周期データ及び位相データを用いてビートタイミングを検出する。
　＜＜Ｓｐｘデータの生成＞＞
　生成部１０１によるＳｐｘデータの生成について説明する。生成部１０１には、再生に係る楽曲（音声出力のためにＤ／Ａ１７に送られたデータ）の音を表すディジタル信号が「楽曲のデータ」として入力される。音を表すディジタル信号は、ＨＤＤ１３に記憶された楽曲データの再生処理によるものでも、ＭＩＣ２１で収音された音声信号のＡ／Ｄ変換によって得られたものでもよい。
　音を表すディジタルデータは、ＲＡＭ１２に記憶され、生成部１０１の処理に使用される。音を表すディジタルデータは、例えばアナログ信号から所定のサンプリングレートに従って採取されたサンプル（標本）データ（通常、アナログ信号の電圧値）の集合である。本実施形態では、一例として、サンプリングレートは４４１００Ｈｚであるとする。但し、サンプリングレートは、所望のＦＦＴ解像度が得られる限りにおいて適宜変更可能である。
　（参考例）
　図３は、生成部１０１の処理の参考例を示すフローチャートである。生成部１０１には、楽音出力（再生）のためにＤ／Ａ１７へ送られた、楽曲の音を表すディジタルデータ（ディジタル信号）が入力される。生成部１０１は、入力されたディジタルデータから、所定個数のサンプル（「フレーム」と呼ぶ）を取得する（Ｓ０１）。所定個数は、本実施形態では１０２４であるがこれより多くても少なくてもよい。サンプルの取得は、所定間隔で行われる。所定間隔は、例えば５ｍｓであるが、これより多くても少なくてもよい。
　Ｓ０２では、生成部１０１は、間引き処理を行う。すなわち、生成部１０１は、１０２４個のサンプルに対する１／４間引きを行って、２５６個のサンプルを得る。間引きは１／４間引き以外でもよい。Ｓ０３では、生成部１０１は、２５６個のサンプルに対して高速フーリエ変換（ＦＦＴ）を施し、ＦＦＴの結果（周波数バンド幅毎のパワー）から、フレーム単位でのパワーの大きさを示すデータ（パワーデータという）を得る（Ｓ０４）。なお、パワーは振幅の２乗で表されることから、「パワー」との概念には振幅も含まれる。
　パワーデータの値は、例えば、２５６個のサンプルに対するＦＦＴの実施によって得られるパワーの総和である。但し、今回のフレームの各周波数バンド幅のパワーから前回のフレームにおける、対応するバンド幅のパワーを差し引き、その値が正である（パワーが増加している）場合にはそのパワーの値を総和計算のために残し、そうでない（差し引いた値が負である（パワーが減少している））値は無視してもよい。パワーの増加分が大きいところがビートである可能性が高いからである。
　また、他のフレームとの比較対象が同じである限りにおいて、総和の算出に用いる値は、今回のフレームのパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを引いた値が正の値のパワーの総和であっても、今回のフレームのパワーから前回のフレームのパワーを差し引いた差分であってもよい。また、ＦＦＴの実施によって得られるパワースペクトルにおいて、所定の周波数より低い周波数についてのみ、上記した差分の算出が行われてもよい。所定の周波数以上の周波数については、ローパスフィルタを用いてカットしてもよい。
　パワーデータは、フレーム単位で、ＲＡＭ１２やＨＤＤ１３に記憶される。生成部１０１は、フレーム単位のパワーデータが作成される毎に、パワーの総和（ピーク値）の大きさを比較して大きい方を残し、小さい方は破棄する（Ｓ０５）。生成部１０１は、Ｓ０５で残した総和より大きい総和が所定時間出現していないか否かを判定する（Ｓ０６）。所定時間は例えば１００ｍｓであるが、１００ｍｓより大きくても小さくてもよい。より大きい総和を示すデータが出現していない状態が所定時間続いた場合に、生成部１０１は、そのパワーの総和を示すデータをＳｐｘデータとして抽出し、バッファ１０２に記憶（保存）する（Ｓ０７）。このように、Ｓｐｘデータは、楽音を示すディジタルデータのピーク値を１００ｍｓ間隔で抽出したデータであり、楽曲のビートを司るタイミングを示す情報（タイミング情報）と、そのタイミングにおけるパワーとを示すデータである。Ｓｐｘデータは、バッファ１０２に複数個蓄積される。生成部１０１は、Ｓ０１からＳ０６までの処理を繰り返し行う。
　図４Ａは、生成部１０１に入力される１２秒分の楽曲のディジタル信号であり、図４Ｂは、図４Ａに示した楽曲のディジタル信号から参考例の処理により生成されたＳｐｘデータの例を示す。図４Ｂに示すグラフの横軸は時間で、縦軸はパワーである。このグラフにおいて、上端に黒丸のついた縦線が、図４Ａに示した楽曲のディジタル信号から得られた個々のＳｐｘデータを示し、横軸（時間軸）の位置がタイミングを示し、縦線の長さがパワーを示す。Ｓｐｘデータは、定められた間隔（例えば１００ｍｓ以上）で生成され、通常、１秒間に６個程度生成される。
　（正規化処理）
　上述した参考例では、図４Ｂに示すような複数のＳｐｘデータの値が得られる。しかし、図４Ｂの中央部分のように、或るタイミングを境にＳｐｘデータ（強度データ）の値が急激に小さい値に減少する場合がある。このような場合では、後述するビートの周期及び位相の算出において、適正な値を得られない場合があった。後述するが、例えば、ビートの周期及び位相の算出において再帰的処理（図１５、図１７）を行う場合、変化前の大きなＳｐｘデータの値が、変化直後のＳｐｘデータに係る処理において支配的となり、Ｓｐｘデータの変化に適正に追従できない場合があった。
　本実施形態では、上述した問題を解決するため、Ｓｐｘデータの正規化処理（Ｓｐｘデータの大きさを平坦化する処理、或いは差を縮める処理）を行う。図５は、実施形態に係る生成部１０１の処理例を示すフローチャートである。図５の処理は、参考例におけるＳ０４とＳ０５との間に、正規化処理（Ｓ０４Ａ）が設けられている点で、参考例と異なる。
　図６は、生成部１０１にて行われる正規化処理に係る構成を模式的に示す。正規化処理は、エンベローパ（enveloper）１０１Ａと、ノーマライザ（normalizer）１０１Ｂとを有する。参考例において説明した、フレーム単位のパワーの大きさ（総和）を示すデータ（パワーデータ）を“Ｑｘ”とする。時間軸上に時系列で並んだＱｘの集合が、「複数の楽音信号」に該当する。エンベローパ１０１Ａ及びノーマライザ１０１Ｂには、複数のＱｘのそれぞれが入力される。Ｑｘは、「第１の値」、「複数のサンプルの夫々のパワー」に相当する。
　エンベローパ１０１Ａは、Ｑｘの値を用いて、Ｑｘ対応のダイナミクス値（Dynamics value：Ｄｖ）を求めて算出する。ダイナミクス値Ｄｖは、Ｑｘに対する音の強弱の変化を示す値であり、「正規化用信号（第２の値）」の一例である。ノーマライザ１０１Ｂは、Ｑｘの値をＤｖの値で除する（Ｑｘ／Ｄｖ）ことによって、正規化されたＱｘの値を求める。
　図７は、エンベローパ１０１Ａの処理の説明図である。エンベローパ１０１Ａは、楽音信号の値が減衰する状態が所定の時間（監視区間：第１の期間（第１インターバル）Ｉｔｖ１）継続する間は一定の値を保持する（第１の期間におけるＤｖの値の軌跡は、Ｄｖの値が一定の直線（第１の直線）を描く）。そして、所定の時間が経過すると、その時点でのＤｖの大きさに関係なく、一定時間（第１の期間に連続する第２の期間（第２インターバル）Ｉｔｖ２）でＤｖの値が一点（０）に終結（収束）するように、Ｄｖの値を算出する。すなわち、第２の期間におけるＤｖの値の軌跡は、第２の期間の始点におけるＤｖの値が第２の期間の終点において０となる傾きを持つ直線（第２の直線）を描く。第１及び第２の直線からなる軌跡が「所定の軌跡」の一例であるが、「所定の軌跡」の形状は、上記一例に制限されない。
　「所定の時間」は、以下のようにして決定する。ビート検出は、周期的に現れる楽音のピークの時間位置を特定することによって行う。したがって、正規化用信号が楽音のピークの周期よりも短い時間で変化する（楽音信号に追従する）と、本来のビートの周期よりも短いピークを検出してしまう可能性が高くなる。このため、「所定の時間」は、ビートの周期よりも長くする必要がある。一方、「所定の時間」を長くしすぎると、音量が大きな状態から音量が小さな状態になったときに、なかなか影響が消えないこととなる。これらを考慮して、「所定の時間」は決定される。
　図８は、エンベローパ１０１Ａの処理例を示すフローチャートである。Ｓ００１では、初期設定として、以下のような処理が行われる。
・音の強弱の変化を示す値（ダイナミクス値：Dyna-value：Ｄｖ）の値を０に設定する。
・デュレーションカウンタ（Duration Counter：Ｄｃ）の値を０に設定する。Ｄｃは、図７に示したグラフの時間軸上の位置を示す。
・図７に示したＩｔｖ１及びＩｔｖ２の値を所定値に設定する。
　Ｓ００２では、Ｓ０４（図５）で得られたＱｘの値を取得し、Ｄｃの値をインクリメントする。Ｓ００３では、Ｑｘの値とＤｖの値とを比較して、Ｄｖの値がＱｘの値より大きいかを判定する。Ｄｖの値がＱｘの値より大きいと判定される場合には、処理がＳ００４に進み、そうでないと判定される場合には、処理がＳ００７に進む。
　Ｓ００７に処理が進んだ場合には、Ｄｖの値をＱｘの値と等しくする（Ｄｖの値を上げる）とともに、Ｄｃの値を０にする（リセットする）。その後、処理がＳ０１０に進む。Ｓ０１０では、現在のＤｖの値を出力し、処理をＳ００２に戻す。
　Ｓ００４に処理が進んだ場合には、Ｄｃの値がＩｔｖ１の値より大きいか否かを判定する。Ｄｃの値がＩｔｖ１の値より大きいと判定される場合には、処理がＳ００５に進む。これに対し、Ｄｃの値がＩｔｖ１の値より小さいと判定される場合には、処理がＳ００８に進む。Ｄｃの値がＩｔｖ１の値より大きいことは、Ｄｃの値が監視時間（楽音信号の値が減少に転じてからの所定時間）Ｉｔｖ１に達したことを意味する。
　Ｓ００８では、Ｄｖの値をＩｔｖ２の値で割った値を“ステップ（Ｓｔｅｐ）”の値に設定する。ステップの値は、区間２におけるＤｖの傾きを示す。その後、処理がＳ０１０に戻る。
　Ｓ００４においてＤｃの値がＩｔｖ１の値より大きいと判定されることは、Ｑｘの時間軸上の位置が、第２区間Ｉｔｖ２内にあることを意味する。Ｓ００５では、ステップの値をＤｖの値から減じる。Ｓ００５の処理では、Ｄｖの現在の値がＩｔｖ２の終点で０となる直線（Ｓ００８で求めた傾き）に従って、Ｄｖの値を減少させる処理が行われる。すなわち、Ｄｖの値を、上記した直線上において、現在のＤｃの値に対応する値にする。
　Ｓ００６では、Ｄｖの値がＱｘの値より大きいかを判定する。ＤｖがＱｘより大きいと判定される場合には、処理がＳ０１０に進み、そうでないと判定される場合には、処理がＳ００９に進む。Ｓ００９では、Ｑｘの値をＤｖの値に設定するとともに、Ｄｃの値を０にする（リセットする）。その後、処理がＳ０１０に進む。
　図９Ａは、ＱｘとＤｖとの関係を示す。図９Ａにおける、灰色の部分はＱｘの時間的変化（複数のＱｘ）を示し、上端に黒丸がついた棒グラフはＳｐｘを示す。そして、破線は、Ｄｖの変化を示す。図９Ａに示すように、Ｑｘの値は、９．８[sec]あたりを境に急激に低下し、小さい値が続く。図８の処理では、ＱｘがＤｖより大きい場合はＤｖを上昇させる。また、ＱｘがＤｖより小さい場合は、ＤｃがＩｔｖ１を超えるまで、Ｄｃのカウントアップを行う。この間、Ｄｖの値は変化しない（Ｄｖの値を維持する：横軸の９．４～１０．１付近を参照）。ＤｃがＩｔｖ１を超える（時間軸上のＱｘの位置がＩｔｖ２内となる）と、“Ｄｖ／Ｉｔｖ２”の傾きに従ったＤｖの値の減少が行われる。傾き一定のため、ＤｖはＱｘが再びＤｖを上回るまで一直線に減少する（横軸の１０．１～１０．５付近を参照）。
　図９Ｂは、ノーマライザ１０１Ｂによって正規化されたＱｘ及びＳｐｘを示す。例えば、図９Ａにおいて、Ｑｘ＝０．０８に対し、Ｄｖ＝０．０８である場合、ノーマライザ１０１Ｂの計算（Ｑｘ／Ｄｖ）によって、正規化されたＱｘの値は１．０となる。一方、Ｑｘ＝０．００５のときにＤｖ＝０．００５であれば、正規化されたＱｘの値は１．０となる。このように、Ｑｘの正規化によって、パワーが急激に減少した場合でも、音の強弱の変化でみた場合は同程度の値となる。
　図５のＳ０５～Ｓ０７の処理、すなわち、Ｓｐｘを求める処理は、正規化されたＱｘを用いて行われる。図９Ｂに示すＳｐｘは、Ｓ０４Ａにて得られた正規化されたＱｘを用いたＳ０５～Ｓ０７の処理によって得られる。なお、Ｓｐｘを算出した後、Ｓｐｘについて上述した正規化処理を行ってもよい。
　＜＜正規化（平坦化）処理の作用効果＞＞
　上述したように、情報処理装置１は、Ｑｘ（楽音信号の複数の時点におけるパワーを示す第１の値に相当）の夫々に対応するＤｖ（第２の値に相当）をＱｘの現在値とＤｖの値の現在値との比較の結果に基づいて決定する。本実施形態では、“Ｑｘ／Ｄｖ（第１の値を対応する第２の値で割る演算）”によって、Ｑｘの正規化を行う。但し、演算は第１の値に対応する第２の値の逆数をかける演算（Ｑｘ＊１／Ｄｖ）でもよい。正規化に用いるＤｖの値は、比較の結果において、Ｄｖの現在値がＱｘの現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する。所定の軌跡は、例えば、図７に示したような第１の期間（Ｉｔｖ１）における第１の直線と第２の期間（Ｉｔｖ２）における第２の直線からなる。このようなＤｖを用いて、複数のＱｘの夫々に対応するＤｖの値を求め、Ｑｘ／Ｄｖの演算を行って、Ｑｘの値を平坦化する。このような、Ｑｘ（Ｑｘを用いて求めるＳｐｘ）の平坦化によって、楽曲の音量の変化がビートの検出精度に影響を与えるのを抑えることができる。特に、後述する、再帰的処理（図１５、図１７）が行われる場合に、フィードバック信号が大きな影響を与えるのを抑えることができる。
＜＜周期データ及び位相データの算出＞＞
　次に、ビートの周期及び位相を算出する方法（第１の方法）について説明する。図１０は、算出部１０３の処理例を示すフローチャートである。Ｓ１０において、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来し、蓄積される。Ｓ１１において、バッファ１０２に蓄積されたＳｐｘデータのうち所定時間分のＳｐｘデータ（複数の強度データに相当）がバッファ１０２から取得される。所定時間は、例えば６秒間であるが、ビートの周期及び位相を得られる限りにおいて６秒より長くても短くてもよい。以降のＳ１２～Ｓ１６の処理は、Ｓ１１で取得した６秒分のＳｐｘデータを用いて行われる処理である。Ｓ１２では、６秒分のＳｐｘデータについて、所定個数（例えば２０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施し、ビートの周期（ＢＰＭの一周期）とビートの位相（ビート音の発生タイミング）とを算出する。
　具体的に説明すると、６秒分のＳｐｘデータについて所定個数、例えばＢＰＭ８６～１６８に対応する２０個、のＢＰＭに対応する周波数（ＢＰＭ周波数）f = {86,90,94,…,168}/60 について、Ｅｘｐ（２πｊｆｔ）（ＢＰＭ周波数で振動する正弦波、振動数に関係無く振幅は同じ）に対する積和をとる。すなわちフーリエ変換を行う。フーリエ変換の結果をフーリエ変換データc(i) (i=0,1, 2, 3,…,19)とする。
　図１１は、Ｓｐｘデータとフーリエ変換に用いるＢＰＭ周波数を有する正弦波の例を示す図である。図１０の例では、ＢＰＭ７２の正弦波（実線で示す）と、ＢＰＭ８８の正弦波（破線で示す）と、ＢＰＭ１０４の正弦波（一点鎖線で示す）とが例示されている。フーリエ変換データc(i)の値は以下の式１により求められる。なお、ＢＰＭの値及びその個数は適宜変更することができる。
Figure JPOXMLDOC01-appb-M000001
　ここに、式１におけるt(k)は、Ｓｐｘデータの存在する過去６秒のうちの時間位置であり、単位は秒である。ｋはそのＳｐｘデータのインデックスであり、k=1,...,Mである（ＭはＳｐｘデータの個数）。また、x(t(k))は、その瞬間のＳｐｘデータの値（ピーク値の大きさ）を示す。ｊは虚数単位（ｊ２＝－１）である。ｆ(i)はＢＰＭ周波数であり、例えばＢＰＭ１２０は２．０Ｈｚである。
　算出部１０３は、c(i)＝(c0, 1, c2, c3, ... ,c19)のうち、その絶対値が最大値に対応するＢＰＭをＳｐｘデータ（ビート）のＢＰＭに決定する（Ｓ１３）。また、その位相値（Phase)φ= Arg(c(i))[rad] を、６秒間分のＳｐｘデータについてのビートタイミングとする。 ビートタイミングは、周期的に到来するビートの発生タイミングに対する相対的な位置を示す。
　位相値φは複素数の偏角であり、ｃ＝ｃｒｅ＋ｊｃｉｍ（ｃｒｅは実部でｃｉｍは虚部）とした場合に、以下の式２により得られる。
Figure JPOXMLDOC01-appb-M000002
　位相値φの算出によって、ＢＰＭの正弦波に対するビートの発生タイミングの相対位置、すなわち、ＢＰＭの一周期に対してビート発生タイミングがどのくらい遅れているかがわかる。
　図１２は、ＢＰＭを示す余弦波（EXP(2πjｆt)の実部）と、ビートの発生タイミングとの関係を図示する。図１２に示す例では、Ｓｐｘデータの個数が４であり、そのＢＰＭが７２である。図１２に示すＳｐｘデータの夫々は、式２を用いて求められるｃ(i)の値（位相）であり、ビートの発生タイミングを示す。Ｓｐｘデータ間がビート発生タイミングの間隔をなす。図１２に示す例では、位相値φの計算によって得られる、ＢＰＭ周波数を有する余弦波からπ／２遅れたタイミングがビートの発生タイミングとなる。算出部１０３は、ＢＰＭの一周期のサンプル数を周期データとする（Ｓ１５）。
　例えば、ＢＰＭが１０４であり、サンプリングレートが４４１００Ｈｚの場合では、周期データ（サンプル数）は、４４１００[個]／（１０４／６０）＝２５４４２[個]となる。また、周期データが２５４４２[個]の場合において、位相値φが０．３４[rad]であった場合、位相データ（サンプル数）は、２５４４２[個]×０．３４[rad]／２π[rad]＝１３７７[個]となる。そして、算出部１０３は、周期データ及び位相データを出力する（Ｓ１６）。なお、算出部１０３は、６秒分のＳｐｘデータが蓄積されるごとに、Ｓ１１～Ｓ１６の処理を繰り返し行う。これにより、楽曲のリズムの変更に追従することができる。
　＜＜ビートタイミングの検出＞＞
　図１３は、検出部１０４によるビートタイミングの検出処理の例を示すフローチャートである。Ｓ２１において、検出部１０４は、新しい周期データ及び位相データが算出部１０３から提供されたかを判定する。新しい周期データ及び位相データが提供された場合には、処理がＳ２２に進み、そうでない場合には、処理がＳ２３に進む。
　Ｓ２２では、検出部１０４は、新しい周期データ及び位相データをビート発生タイミングの検出に採用し、古い周期データ及び位相データは破棄する。このとき、Ｓｐｘデータの作成時に、Ｓｐｘデータをなすフレームのサンプルは、１００ｍｓ遅延が与えられた状態となっているため、ここで、演奏又は再生中の楽曲とリズムと、後述するハンドクラップ音とが一致するように時間調整（位相調整）が行われる。その後、処理がＳ２３に進む。
　Ｓ２３では、周期データのサンプル数及び位相データのサンプル数を用いたカウンタの設定を行う。例えば、検出部１０４は、サンプリングレートの１サンプル（サンプリングレートに従ったアナログ信号の電圧チェックの間隔）毎にカウントアップ（インクリメント）を行うカウンタを有し、当該カウンタのカウント値を１サンプル毎にインクリメントする。これによってカウント値が零から所定値（位相データのサンプル数（カウント値）及び周期データのサンプル数（カウント値）の和を示す値）以上になるのを待つ（Ｓ２４）。
　カウンタのカウント値が所定値以上になると、検出部１０４は、予測に基づく、ビート音の発生タイミング（ビートタイミング）を検出する（Ｓ２５）。検出部１０４は、制御部５３にビートタイミングの発生を通知するとともに、ビート音の出力指示を出力する（Ｓ２５）。制御部５３は、ビートタイミングに基づき、第１実施形態で説明した動作（表示態様の変更）を行う。再生処理部１０５は、出力指示に応じて、ＲＯＭ１１又はＨＤＤ１３に予め記憶していたビート音（例えば、ハンドクラップ音）のディジタルデータをＤ／Ａ１７へ送る。ディジタルデータはＤ／Ａ１７でアナログ信号に変換され、ＡＭＰ１８で振幅増幅された後、スピーカ１９から出力される。これによって、再生又は演奏中の楽曲に重ねてハンドクラップ音が出力される。
　以上説明したビートタイミング検出方法によれば、再生又は演奏済みの（過去の）楽曲が生成部１０１に入力され、生成部１０１がＳｐｘデータを生成する。このようなＳｐｘデータがバッファ１０２に蓄積され、算出部１０３が所定時間（６秒）分の複数のＳｐｘデータから、ビートの周期及び位相を算出し、再生または演奏中の楽曲（音声）に合わせたビートタイミングを検出部１０４が検出して出力する。また、再生処理部１０５が再生又は演奏中の楽曲のリズムに合致したハンドクラップ音を出力させることができる。このハンドクラップ音の自動的な出力は、上述したＳｐｘデータの生成や、フーリエ変換データに基づくビートの周期及び位相の算出、並びにカウンタ値のカウントのような、計算量の少ない簡易なアルゴリズムにより行うことができる。これにより、処理の実行主体（ＣＰＵ１０）に対する負荷増大や、メモリリソースの増大を回避することができる。また、処理量が少ないが故に、再生音や演奏音に対する遅延のない（遅延があっても人がそれを認識できない）クラップ音出力が可能となる。
　さらに、正規化処理によって、Ｑｘ及びＳｐｘデータの値が正規化されるため、パワーが急激に低下する場合であっても、その影響の少ないＳｐｘの値を用いてビートタイミングを検出することができる。なお、Ｓｐｘの正規化は、Ｑｘに対応するＤｖを記憶しておき、ＱｘからＳｐｘが算出された場合に、対応するＤｖの値でＳｐｘの値を除すること（Ｓｐｘ／Ｄｖ）によって行われてもよい。また、正規化は、Ｓｐｘ以外の、ビートタイミングの検出用データについて行われてもよい。
　なお、ビートタイミング検出部１００が行う処理は、複数のＣＰＵ（プロセッサ）によって行うのでも、マルチコア構成のＣＰＵによって行うのでもよい。また、ビートタイミング検出部１００が行う処理は、ＣＰＵ１０以外のプロセッサ（ＤＳＰやＧＰＵなど）、プロセッサ以外の集積回路（ＡＳＩＣやＦＰＧＡなど）、或いはプロセッサと集積回路との組み合わせ（ＭＰＵ、ＳｏＣなど）によって実行されてもよい。
〔第２実施形態〕
　次に第２実施形態について説明する。第２実施形態は、ビートの周期及び位相の算出方法として、第１実施形態で説明した第１の方法と異なる方法を用いる。但し、第２の方法法においても、第１実施形態で説明した方法によって正規化されたＳｐｘデータが使用される。第２の方法は、、周期データ及び位相データの算出に関して、第１の方法と以下のように異なる。
　図１４は、第２のビートタイミング検出方法における、周期データ及び位相データの算出処理の例を示すフローチャートである。Ｓ５０では、生成部１０１にて生成された新たなＳｐｘデータがバッファ１０２に到来する。
　Ｓ５１では、算出部１０３は、所定個数のＢＰＭに対応したフーリエ変換データを得る。第１の方法では、周期データ及び位相データの算出に関して、６秒分のＳｐｘデータについて、所定個数（例えば２０～４０個）のＢＰＭ（Beats Per Minute：テンポ（リズムの速さ）を示す）に対応したフーリエ変換を施していた（図９、Ｓ１２）。
　これに対し、第２の方法（Ｓ５１）では、第１の方法で用いたフーリエ変換の代わりに、減衰項Ｕkをもつフーリエ変換を用いる。フーリエ変換の式（式３）を以下に示す。
Figure JPOXMLDOC01-appb-M000003
　式３において、Ｕは１サンプルあたりの減衰量を示し、１に近い数である。Ｕは過去データを忘却していく割合を示す。区間は過去の無限大までである。図１５は、式３の回路図である。現在の遅延ブロック（Ｚ-１）６１により遅延が与えられた過去の信号ｆｎ-１（ｍ）に対し、乗算器６２で減衰項Ｕｅ-ｊωmが乗じられ、加算器６３で現在の信号ｆ（ｎ）と加算される。このようにして、１サンプル当たりのフーリエ変換値が得られる。
　式３のフーリエ変換値は、以下の式４及び式５で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　Ｓｐｘデータの値が到来することなくＬ（Ｌは正の整数）サンプルが経過する区間（空区間）については、式３（図１５に示した回路）を用いず、以下の式６及び式７を用いて、Ｌサンプル分のフーリエ変換値を得ることができる。式６におけるｑｍ Ｌの値は、式７を用いて簡便に求めることができる。なお、ｆ（ｎ）は、Ｓｐｘデータの値、ＬはＳｐｘデータの到来間隔であり、Ｕは減衰係数、ωm はＢＰＭに対応する一サンプル当たりの角周波数である。
Figure JPOXMLDOC01-appb-M000005
　図１６は、Ｓｐｘデータと、式３のフーリエ変換に用いるＢＰＭ周波数を有する減衰正弦波の例を示す。図１６の例において、周期が最も長い波がＢＰＭ７２の波であり、次の波がＢＰＭ８８の波であり、周期が最も短い波がＢＰＭ１０４の波である。第２の方法においても、所定個数の複数個のＢＰＭ（例えば２０個）が用意され、各ＢＰＭについて上記した式３を用いたフーリエ変換値が求められる。ＢＰＭの数は、２０より多くても少なくてもよい。
　第２の方法では、第１の方法と異なり、所定期間（６秒）のＳｐｘデータを蓄積することを要しない。このため、Ｓｐｘデータを蓄積するためのメモリ（記憶装置５７）の記憶領域を有効に活用することができる。また、第１の方法では、複数個のＢＰＭ×Ｓｐｘデータ数の積和計算を行っていたのに対し、第２の方法では、各ＢＰＭについて式３の演算を行うため、大幅に演算量を減らすことができる。
　Ｓ５２では、算出部１０３は、所定個数（例えば２０個）のＢＰＭに対応した所定個数（例えば５個）のウェーブレット変換値を得る。図１７は、ウェーブレット変換値ｗｎを算出する回路を模式的に示す。回路は、図１４に示したフーリエ変換値の算出用の回路に、乗算器６４が追加された構成となっている。乗算器６４は、ＢＰＭ値に相当するサンプル数を周期とする周期的ハン窓列をＳｐｘデータに乗じる。乗算器６４の出力に対し、上述した式３のフーリエ変換が行われ、ウェーブレット変換値ｗｎとして出力される。ハン窓は窓関数の一例であり、ハン窓以外に、三角窓やハミング窓などを適用可能である。
　ウェーブレット変換値ｗｎは、各ＢＰＭについて、各ＢＰＭの１／５周期だけずれたタイミングについて求められる。すなわち、ＢＰＭの１／５周期ずつずれた周期的ハン窓列が用意され、各周期的ハン窓列に対応するウェーブレット変換値{ｗｎ}０≦ｎ＜５が求められる。
　図１８Ａ、図１８Ｂ及び図１８Ｃは、Ｓｐｘデータと周期的ハン窓列との関係を示す。図１８Ａは、或るＢＰＭに係る、タイミング０の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング０以外の周期的ハン窓列を示す減衰正弦波を細線で示す。図１８Ｂは、或るＢＰＭに係る、タイミング１（タイミング０より１／５周期分進んでいる）の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング１以外の周期的ハン窓列を示す減衰正弦波を細線で示す。図１８Ｃは、或るＢＰＭに係る、タイミング２（タイミング１より１／５周期進んでいる）の周期的ハン窓列を示す減衰正弦波を太線で示し、タイミング１以外の周期的ハン窓列を示す減衰正弦波を細線で示す。
　Ｓ５３では、算出部１０３は、Ｓ１３と同様に、複数のＢＰＭに対応するフーリエ変換値のうち、その絶対値が最大となるフーリエ変換値に対応するＢＰＭを、Ｓｐｘデータ（ビート）のＢＰＭに決定する。また、算出部１０３は、決定したＢＰＭのビートの一周期のサンプル数をビートの周期データに決定する（Ｓ５４）。
　Ｓ５５では、算出部１０３は、ＢＰＭに対応する所定個数のウェーブレット変換値から位相値を算出し、周期データに対するサンプル値に変換する。すなわち、算出部１０３は、ウェーブレット変換値ｗｎの絶対値が最大となるときのｎを求め（図１９のＳ５５１）、ｎに対応する位相値Ａｒｇ（ｗｎ）を求める（図１９のＳ５５２）。算出部１０３は、位相値を周期データに対するサンプル値（位相データ）に変換し（Ｓ５５）、周期データ及び位相データを出力する（Ｓ５６）。
　図２０は、ウェーブレット変換値の説明図である。ウェーブレット変換値は、時間偏在するともに、複素数の位相情報を持つ。すなわち、ウェーブレット変換値は、ハン窓のカーブと、ハン窓と実部（余弦）との積に係るカーブと、ハン窓と虚部（正弦）との積に係るカーブとを有する。本実施形態では、１つのＳｐｘデータ（ビート）に関してタイミングが１／５周期（ｎ＝５）ずれた複数のウェーブレット変換値を用いることで、ビートの位相をより精度よく検出することができる。なお、ビートタイミングの検出処理については、第１の方法（図１２）と同じであるので、説明を省略する。
　第２実施形態における、周期及び位相を求める第２の方法によれば、第１の方法に比べて、処理に要する記憶容量と演算量とを減らすことができ、また、位相（ビートタイミング）の検出精度が上がる。特に、第２の方法では、遅延ブロックが前回のＳｐｘのフーリエ変換値を保持するため、正規化前の値では、パワーが急激に低下した場合に、遅延ブロック６１により保持されている前回の値が今回の値の計算において支配的となり、急激な低下を反映したものとならない。Ｓｐｘの正規化によって、変化の前後におけるＳｐｘの値に大きな差が生じないようになるため、適正なフーリエ変換値やウェーブレット変換値を得る（これらの値の精度を高める）ことができる。
　なお、上記した実施形態では、楽音信号の複数のＱｘ（複数のサンプルの夫々パワー）を正規化処理によって平坦化し、平坦化されたＱｘの値を用いて平坦化された複数のＳｐｘ（複数のピークのパワー）を求めた。これに対し、正規化前のＱｘを用いてＳｐｘを求め、そのＳｐｘに対して正規化処理を行うことで平坦化された複数のＳｐｘを得るようにしてもよい。
１・・・情報処理装置
２・・・ネットワーク
１０・・・ＣＰＵ
１１・・・ＲＯＭ
１２・・・ＲＡＭ
１３・・・ＨＤＤ
１４・・・入力装置
１５・・・表示装置
１６・・・通信インタフェース
１７・・・ディジタルアナログ変換器
１８・・・アンプ
１９・・・スピーカ
２０・・・アナログディジタル変換器
２１・・・マイクロフォン
１００・・・ビートタイミング検出部
１０１・・・生成部
１０２・・・バッファ
１０３・・・算出部
１０４・・・検出部
１０５・・・再生処理部

Claims (15)

  1. 　情報処理装置が、
    　楽音信号の複数の時点におけるパワーを示す第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、
    　前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化することとを含み、
    　前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする楽音信号のパワーの平坦化方法。
  2. 　前記楽音信号の複数の時点におけるパワーは、前記楽音信号の複数のサンプルの夫々のパワー、又は、前記複数のサンプルから抽出された複数のピークのパワーを示す
    請求項１に記載の楽音信号のパワーの平坦化方法。
  3. 　前記比較において、前記第２の値の現在値より大きい第１の値を新たな第２の値の現在値に設定してから第１の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第１の期間、前記新たな第２の値の現在値を維持する第１の直線を描き、さらに、前記第１の期間に連続する第２の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第２の期間の始点における第２の値の現在値が前記第２の期間の終点において０となる第２の直線を描き、
    　前記情報処理装置は、前記第１の値の現在値が前記第２の値の現在値より大きい場合は、その第１の値の現在値を対応する第２の値に決定し、前記第１の値の現在値が前記第２の値の現在値より小さい場合は、前記第１の直線及び前記第２の直線に従って対応する第２の値を決定し、
    　前記複数の第１の値の平坦化を、前記複数の第１の値の夫々を対応する第２の値で割ること、又は、前記複数の第１の値の夫々に対応する第２の値の逆数をかけることによって行う、
    請求項１又は２に記載の楽音信号のパワーの平坦化方法。
  4. 　楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値の夫々に対応する第２の値を用いて前記複数の第１の値を平坦化する処理と、を行う制御部を含み、
    　前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする情報処理装置。
  5. 　情報処理装置が、
    　楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定することと、
    　前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化することと、
    　前記平坦化された前記複数の第１の値を用いてビートタイミングを検出することとを含み、
    　前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする楽曲のビートタイミング検出方法。
  6. 　前記楽音信号の複数の時点におけるパワーは、前記楽音信号の複数のサンプルの夫々のパワー、又は、前記複数のサンプルから抽出された複数のピークのパワーを示す
    請求項５に記載の楽曲のビートタイミング検出方法。
  7. 　前記比較において、前記第２の値の現在値より大きい第１の値を新たな第２の値の現在値に設定してから第１の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第１の期間、前記新たな第２の値の現在値を維持する第１の直線を描き、さらに、前記第１の期間に連続する第２の期間に前記新たな第２の値の現在値より大きい第１の値の現在値が出現しない場合に、前記所定の軌跡は、前記第２の期間の始点における第２の値の現在値が前記第２の期間の終点において０となる第２の直線を描き、
    　前記情報処理装置は、前記第１の値の現在値が前記第２の値の現在値より大きい場合は、その第１の値を対応する第２の値に決定し、前記第１の値の現在値が前記第２の値の現在値より小さい場合は、前記第１の直線及び前記第２の直線に従って対応する第２の値を決定し、
    　前記複数の第１の値の平坦化を、前記複数の第１の値の夫々を対応する第２の値で割ること、又は、前記複数の第１の値の夫々に対応する第２の値の逆数をかけることによって行う、
    請求項５又は６に記載の楽曲のビートタイミング検出方法。
  8. 　前記楽音信号の複数のサンプルの夫々のパワーの夫々は、前記楽曲のデータから所定数の連続する音のサンプルからなるフレームを取得し、前記フレーム中のサンプルを間引きし、間引きしたサンプルについて高速フーリエ変換を行い、高速フーリエ変換によって得られた周波数バンド幅毎のパワーの総和を示す
    請求項６又は７に記載の楽曲のビートタイミング検出方法。
  9. 　前記複数のサンプルから抽出された複数のピークのパワーの夫々は、前記複数のサンプルの夫々のパワーのうち、自身より大きい値を示すパワーが出現しない状態が所定時間継続した場合のパワーを示す、
    請求項６から８のいずれか一項に記載の楽曲のビートタイミング検出方法。
  10. 　前記情報処理装置は、
    　前記複数のピークのパワーを平坦化し、
    　平坦化した複数のピークのパワーを用いて前記楽曲のビートの周期及び位相を算出し、
    　前記ビートの周期及び位相に基づいて、楽曲のビートタイミングを検出する
    請求項６から９のいずれか一項に記載の楽曲のビートタイミング検出方法。
  11. 　前記情報処理装置は、
    　所定時間分の前記平坦化した複数のピークのパワーに対するフーリエ変換を行い、前記フーリエ変換の値の絶対値が最大値となるときのＢＰＭ（Beats Per Minute）を、前記楽曲のビートの周期として算出し、
    　前記ＢＰＭを示す正弦波における前記ビート音の発生タイミングの相対位置を前記ビートの位相として算出する、
    請求項１０に記載の楽曲のビートタイミング検出方法。
  12. 　前記情報処理装置は、複数個のＢＰＭ（Beats Per Minute）に関して、減衰項を有するフーリエ変換を、前記平坦化した複数のピークのパワーに対して行い、前記フーリエ変換の値の絶対値が最大となるときのＢＰＭを、前記楽曲のビートの周期として算出する
    請求項１０に記載の楽曲のビートタイミング検出方法。
  13. 　前記情報処理装置は、前記楽曲のビートの周期に対応するＢＰＭの１／ｎ周期ずつずれた窓関数のそれぞれを前記平坦化した複数のピークのパワーに乗じて得られた複数の値に対し、前記フーリエ変換を行うことで、複数のウェーブレット変換値を求め、前記複数のウェーブレット変換の絶対値が最大になるときの位相を、前記楽曲のビートの位相として算出する
    請求項１２に記載の楽曲のビートタイミング検出方法。
  14. 　前記情報処理装置は、前記ビートの周期及び前記ビートの位相を示すカウント値を求め、サンプリングレートの１サンプル毎にインクリメントを行うカウンタを用いて前記カウント値の計時を行い、前記カウンタの値が前記カウント値に達したタイミングを前記ビートタイミングとして検出する
    請求項１０から１３のいずれか一項に記載のビートタイミング検出方法。
  15. 　楽曲の楽音信号の複数の時点におけるパワーを示す複数の第１の値の夫々に対応する第２の値を前記第１の値の現在値と前記第２の値の現在値との比較の結果に基づいて決定する処理と、前記複数の第１の値を前記複数の第１の値の夫々に対応する複数の第２の値を用いて平坦化する処理と、前記平坦化された前記複数の第１の値を用いてビートタイミングを検出する処理とを行う制御部を含み、
    　前記第２の値は、前記比較の結果において、前記第２の値の現在値が前記第１の値の現在値より大きい状態が連続する場合に所定の軌跡を描いて変化する
    ことを特徴とする楽曲のビートタイミング検出装置。
PCT/JP2019/025669 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置 WO2020261497A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/622,236 US20220351707A1 (en) 2019-06-27 2019-06-27 Method and device for flattening power of musical sound signal, and method and device for detecting beat timing of musical piece
PCT/JP2019/025669 WO2020261497A1 (ja) 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置
JP2021528794A JP7158583B2 (ja) 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/025669 WO2020261497A1 (ja) 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置

Publications (1)

Publication Number Publication Date
WO2020261497A1 true WO2020261497A1 (ja) 2020-12-30

Family

ID=74060503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025669 WO2020261497A1 (ja) 2019-06-27 2019-06-27 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置

Country Status (3)

Country Link
US (1) US20220351707A1 (ja)
JP (1) JP7158583B2 (ja)
WO (1) WO2020261497A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7105880B2 (ja) * 2018-05-24 2022-07-25 ローランド株式会社 ビート音発生タイミング生成装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039511A (ja) * 2009-08-14 2011-02-24 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039511A (ja) * 2009-08-14 2011-02-24 Honda Motor Co Ltd 楽譜位置推定装置、楽譜位置推定方法および楽譜位置推定ロボット

Also Published As

Publication number Publication date
JPWO2020261497A1 (ja) 2020-12-30
JP7158583B2 (ja) 2022-10-21
US20220351707A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
RU2743315C1 (ru) Способ классификации музыки и способ детектирования долей музыкального такта, носитель данных и компьютерное устройство
JP6017687B2 (ja) オーディオ信号分析
US7012183B2 (en) Apparatus for analyzing an audio signal with regard to rhythm information of the audio signal by using an autocorrelation function
JP7105880B2 (ja) ビート音発生タイミング生成装置
EP1895507B1 (en) Pitch estimation, apparatus, pitch estimation method, and program
US9646592B2 (en) Audio signal analysis
JP3914878B2 (ja) リズム情報に関するオーディオ信号を解析するための装置及び方法
WO2020181782A1 (zh) 一种音频数据处理方法、装置及计算机存储介质
JP2012032677A (ja) テンポ検出装置、テンポ検出方法およびプログラム
WO2020105195A1 (ja) 映像制御装置、及び映像制御方法
JP5614261B2 (ja) 雑音抑制装置、雑音抑制方法、及びプログラム
WO2020261497A1 (ja) 楽音信号のパワーの平坦化方法及び装置、並びに、楽曲のビートタイミング検出方法及び装置
JP5815435B2 (ja) 音源位置判定装置、音源位置判定方法、プログラム
JP5924968B2 (ja) 楽譜位置推定装置、及び楽譜位置推定方法
JP5772723B2 (ja) 音響処理装置および分離マスク生成装置
JP2015200685A (ja) アタック位置検出プログラムおよびアタック位置検出装置
JP7457111B2 (ja) ビート音発生タイミング生成装置、ビート音発生タイミング生成方法、及びプログラム
Christian et al. Rindik rod sound separation with spectral subtraction method
Cantri et al. Cumulative Scores Based for Real-Time Music Beat Detection System
US12032628B2 (en) Methods and apparatus to fingerprint an audio signal via exponential normalization
AU2024200622A1 (en) Methods and apparatus to fingerprint an audio signal via exponential normalization
JP2015169719A (ja) 音情報変換装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19934675

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528794

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19934675

Country of ref document: EP

Kind code of ref document: A1