JPH05100660A - Automatic score drawing device - Google Patents

Automatic score drawing device

Info

Publication number
JPH05100660A
JPH05100660A JP3263385A JP26338591A JPH05100660A JP H05100660 A JPH05100660 A JP H05100660A JP 3263385 A JP3263385 A JP 3263385A JP 26338591 A JP26338591 A JP 26338591A JP H05100660 A JPH05100660 A JP H05100660A
Authority
JP
Japan
Prior art keywords
unit
musical
score
fundamental frequency
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3263385A
Other languages
Japanese (ja)
Other versions
JP3102089B2 (en
Inventor
Seiko Ishikawa
せい子 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP03263385A priority Critical patent/JP3102089B2/en
Publication of JPH05100660A publication Critical patent/JPH05100660A/en
Application granted granted Critical
Publication of JP3102089B2 publication Critical patent/JP3102089B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

PURPOSE:To output a score drawing result by playing musical instruments without specifying the number of the playing musical instruments in advance by using Isodata algorithm as clustering technique. CONSTITUTION:A signal input part 21 converts an input musical signal from analog to digital. An FFT process part (frequency analyzing process part) 22 calculates the logarithmic power spectrum of this musical signal data. A fundamental frequency candidate extraction part 23 extracts a fundamental frequency according to the power spectrum. A musical instrument classification part 24 converts the process result into score information including information such as an overtone, a pitch, sound strength, etc., by a score information conversion part. Then multidimensional vectors consisting of the score information are calculated by a vector calculation part. The calculated vectors are grouped by the musical instruments by clustering based upon the Isodata algorithm. An output part 26 outputs the process result by score notes, etc., as score drawing results by the playing musical instruments.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、自動採譜装置に係り、
特に音楽信号を楽譜記号もしくは楽譜記号に相当する符
号に自動変換する自動採譜装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic music transcription device,
In particular, the present invention relates to an automatic transcription device for automatically converting a music signal into a score symbol or a code corresponding to the score symbol.

【0002】[0002]

【従来の技術】従来、複数の楽器により演奏された音楽
の採譜をする場合には、音楽的知識を有する採譜者が自
身で当該演奏を聴き、自身で楽譜に表現していた。ま
た、単音からなる音楽を採譜したり、或いは鍵盤の押下
情報に基づき採譜を行う自動採譜装置は提案されていた
ものの、採譜可能な楽器数には制約があった。
2. Description of the Related Art Conventionally, when transcribing music played by a plurality of musical instruments, a musician who has musical knowledge listens to the performance himself and expresses it in the score by himself. Further, although there has been proposed an automatic transcription device for transcribing music consisting of a single note or for transcribing music based on key press information, the number of musical instruments that can be transcribed is limited.

【0003】そこで、先に本願出願人は前記不都合を解
消した、複数の楽器により演奏された音楽を採譜し、そ
の結果をクラスタリングにより楽器別に分類する自動採
譜装置を提案した(特願平3−11433号)。この発
明は、複数の楽器により演奏された音楽をA/D変換
後、計算機内に取込み、取込んだ音楽信号(デジタルデ
ータ)を周波数解析を行い、その結果から基本周波数を
抽出し、各基本周波数に対する倍音の強さをベクトルと
みなし、このベクトルをK平均アルゴリズムによるクラ
スタリングにより楽器別に分類するようにしている。
Therefore, the applicant of the present application has previously proposed an automatic music transcription device which eliminates the above-mentioned inconvenience and records music played by a plurality of musical instruments and classifies the results by musical instrument by clustering (Japanese Patent Application No. 3). 11433). According to the present invention, music played by a plurality of musical instruments is A / D-converted, and then the music signal (digital data) captured by a computer is frequency-analyzed, and a fundamental frequency is extracted from the result. The harmonic overtone intensity with respect to the frequency is regarded as a vector, and this vector is classified by musical instrument by clustering by the K-means algorithm.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、前記特
願平3−11433号において提案された自動採譜装置
は、楽器別の分類における中心的処理であるクラスタリ
ングをK平均アルゴリズムにより行っていたため、分類
するグループ数を予め指定する必要があった。即ち、複
数の楽器により演奏された音楽を、それぞれ何種類の楽
器により演奏されているかを人手により判断し、楽器別
の分類処理に先立って指定する必要があるという問題点
があった。
However, the automatic music transcription device proposed in Japanese Patent Application No. 3-11433 uses the K-means algorithm to perform clustering, which is a central process in classification by musical instrument, and therefore classifies the musical instrument. It was necessary to specify the number of groups in advance. That is, there has been a problem that it is necessary to manually determine how many kinds of musical instruments are played by a plurality of musical instruments, and to specify the musical instruments prior to the classification processing for each musical instrument.

【0005】そこで本発明は上記問題点を解決するため
になされたものであり、演奏楽器数を予め指定する必要
のない、採譜結果を演奏楽器別に出力可能な自動採譜装
置を提供することを目的とする。
Therefore, the present invention has been made to solve the above problems, and an object of the present invention is to provide an automatic transcription device capable of outputting a transcription result for each musical instrument without the need to specify the number of musical instruments in advance. And

【0006】[0006]

【課題を解決するための手段】本発明は上記目的を達成
するために、音楽信号を楽譜記号もしくは楽譜記号に相
当する符号に変換する自動採譜装置において、前記音楽
信号を取込みA/D変換する信号取込A/D変換部と、
この信号取込A/D変換部でA/D変換された音楽信号
データを一定時間毎に周波数解析を行うことにより、一
定時間内の周波数方向のパワー・スペクトルを計算する
周波数解析処理部と、この周波数解析処理部により計算
されたパワー・スペクトルに基づき基本周波数候補を抽
出する基本周波数候補抽出部と、この基本周波数候補抽
出部の処理結果を、倍音、音高、音強等の情報を含む音
譜情報に変換する音譜情報変換部と、この音譜情報変換
部の処理結果である音譜情報の倍音、音高、音強情報か
ら構成される他次元のベクトルを各音譜毎に算出するベ
クトル算出部と、このベクトル算出部で算出された多数
のベクトルを、Isodataアルゴリズムによるクラ
スタリングにより楽器別にグループ分けする楽器別分類
部と、この楽器別分類部の処理結果を演奏楽器別の採譜
結果として楽譜符号等により出力する出力部とを備えて
構成した。
In order to achieve the above object, the present invention, in an automatic transcription apparatus for converting a music signal into a score symbol or a code corresponding to the score symbol, takes in the music signal and performs A / D conversion. A signal acquisition A / D converter,
A frequency analysis processing unit for calculating a power spectrum in the frequency direction within a fixed time by performing frequency analysis on the music signal data A / D converted by the signal acquisition A / D conversion unit at fixed time intervals; A fundamental frequency candidate extraction unit that extracts fundamental frequency candidates based on the power spectrum calculated by this frequency analysis processing unit, and the processing result of this fundamental frequency candidate extraction unit includes information such as overtones, pitches, and sound intensities. A musical score information conversion unit for converting into musical score information, and a vector calculation unit for calculating, for each musical score, another dimension vector composed of harmonic overtone, pitch, and tone strength information of the musical score information which is the processing result of this musical score information conversion unit. And a musical instrument-based classification unit that groups the large number of vectors calculated by the vector calculation unit into musical instruments by clustering using the Isodata algorithm, It was constructed and an output unit outputting the music code like the processing result of the kind section as musical instruments different transcription results.

【0007】[0007]

【作用】本発明によれば、音楽信号は信号取込A/D変
換部に入力し、前記音楽信号はA/D変換され、計算機
内で処理可能なデジタル信号データとして生成される。
この生成されたデジタル信号データは、周波数解析処理
部において一定時間毎に周波数解析され、一定時間内で
の周波数方向のパワー・スペクトルが計算される。この
パワー・スペクトルに基づき基本情報変換部により、倍
音、音高、音強等の情報を含む音譜情報に変換される。
この音符情報に基づきベクトル算出部により、前記倍
音、音高、音強等から構成される他次元のベクトルが各
音譜毎に算出される。前記ベクトル算出部で算出された
多数のベクトルは、楽器別分類部において、Isoda
taアルゴリズムによるクラスタリングにより楽器別に
グループ分けされる。前記楽器別分類部の処理結果は、
演奏楽器別の採譜結果として出力部から、例えば楽譜記
号として出力される。
According to the present invention, the music signal is input to the signal acquisition A / D converter, and the music signal is A / D converted and generated as digital signal data that can be processed in the computer.
The generated digital signal data is frequency-analyzed by the frequency analysis processing unit at regular time intervals, and the power spectrum in the frequency direction within the constant time is calculated. Based on this power spectrum, the basic information conversion unit converts it into musical score information including information such as overtones, pitches, and sound intensities.
Based on this note information, the vector calculation unit calculates another dimension vector composed of the above-mentioned overtones, pitches, sound intensities, etc. for each musical notation. The large number of vectors calculated by the vector calculation unit is
Musical instruments are grouped by clustering using the ta algorithm. The processing result of the classification unit for each musical instrument is
For example, a musical score symbol is output from the output unit as a transcription result for each musical instrument.

【0008】[0008]

【実施例】以下、本発明を図示の実施例に基づいて説明
する。図1に本発明の実施例の自動採譜装置Sのブロッ
ク図を示す。自動採譜装置Sは、音楽信号が入力される
オーディオ・アンプ1と、増幅された音楽信号を低域ろ
波するローパス・フィルタ2と、低域ろ波された音楽信
号をデジタル信号に変換するA/D変換装置3と、入出
力インタフェースであるI/Oポート4と、装置の制御
を行うCPU5と、データを一時的に格納するRAM6
と、Isodataアルゴリズム等が格納されたROM
7と、楽器別分類結果を表示するディスプレイ8とを有
して構成されている。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to illustrated embodiments. FIG. 1 shows a block diagram of an automatic music transcription device S according to an embodiment of the present invention. The automatic music transcription device S includes an audio amplifier 1 to which a music signal is input, a low-pass filter 2 that low-pass filters the amplified music signal, and an A that converts the low-pass filtered music signal to a digital signal. / D converter 3, I / O port 4 which is an input / output interface, CPU 5 for controlling the device, and RAM 6 for temporarily storing data
And ROM that stores the Isodata algorithm, etc.
7 and a display 8 for displaying the classification result for each musical instrument.

【0009】この自動採譜装置Sを機能部毎に示すと、
図2に示すように、信号取込部21と、FFT(高速フ
ーリエ変換)処理部22と、基本周波数候補抽出部23
と、楽器別分類部24と、分類後処理部25と、出力部
26とに区分され、この符号順(21〜26)に信号処
理が行われる。
When the automatic music transcription device S is shown for each functional section,
As shown in FIG. 2, a signal acquisition unit 21, an FFT (Fast Fourier Transform) processing unit 22, and a fundamental frequency candidate extraction unit 23.
, The musical instrument-based classification unit 24, the post-classification processing unit 25, and the output unit 26, and the signal processing is performed in this code order (21 to 26).

【0010】これら各機能部と前記図1との対応を説明
する。信号取込部21は、オーディオ・アンプ1、ロー
パス・フィルタ2、A/D変換装置3、I/Oポート
4、CPU5等に対応する。FFT処理部22と基本周
波数候補抽出部23と楽器別分類部24と分類後処理部
25とは、それぞれCPU5、RAM6、ROM7等に
該当する。出力部26は、CPU5、RAM6、ディス
プレイ8等に対応する。
The correspondence between each of these functional units and FIG. 1 will be described. The signal acquisition unit 21 corresponds to the audio amplifier 1, the low-pass filter 2, the A / D conversion device 3, the I / O port 4, the CPU 5, and the like. The FFT processing unit 22, the fundamental frequency candidate extraction unit 23, the musical instrument classification unit 24, and the post-classification processing unit 25 correspond to the CPU 5, the RAM 6, the ROM 7, and the like, respectively. The output unit 26 corresponds to the CPU 5, RAM 6, display 8 and the like.

【0011】次に、これらの機能部の作用を符号順(2
1〜26)に説明する。信号取込部21では、入力され
た音楽信号がオーディオ・アンプ1により増幅される。
この増幅された信号は、ローパス・フィルタ2に入力さ
れ、例えば、5.5kHz以下の周波数成分のみが通過
し、標本化時の折返し歪みを抑制している。ローパス・
フィルタ2からの出力信号は、A/D変換装置3により
12kHz,16bitで標本化される。標本化された
データは、I/Oポート4を介してCPU5に取込ま
れ、RAM5に記憶される。
Next, the operation of these functional units will be described in code order (2
1-26). In the signal capturing section 21, the input music signal is amplified by the audio amplifier 1.
This amplified signal is input to the low-pass filter 2 and, for example, only the frequency component of 5.5 kHz or less passes therethrough, and the aliasing distortion at the time of sampling is suppressed. Low pass
The output signal from the filter 2 is sampled by the A / D converter 3 at 12 kHz and 16 bits. The sampled data is taken into the CPU 5 via the I / O port 4 and stored in the RAM 5.

【0012】FFT処理部22では、CPU5がRAM
6より標本化されたデータを読出し、このデータの25
msec毎を1フレームとし、1フレーム毎に85.3
msecハミング窓を掛けた後、FFT分析により対数
パワー・スペクトルを算出する。次に、CPU5は、算
出された対数パワー・スペクトルから放物線内挿処理に
よりピーク周波数を求める。
In the FFT processing unit 22, the CPU 5 is a RAM
The sampled data is read from 6 and the 25
Every msec is one frame, and every frame is 85.3.
After applying the msec Hamming window, the logarithmic power spectrum is calculated by FFT analysis. Next, the CPU 5 obtains the peak frequency from the calculated logarithmic power spectrum by the parabolic interpolation process.

【0013】基本周波数候補抽出部23は、基本周波数
の抽出を行う。具体的には、CPU5が、以下の3つの
尺度から「ある分析区間内」にある音が基本周波数か倍
音かを判定する。3つの尺度とは、その音の強度、
その音を基本周波数とした場合、その音の倍音がピーク
・スペクトルの中に含まれているか(即ち、基本周波数
らしさ)、その音が他の音の第n次倍音(2≦n≦
8)であるとした場合、基本周波数になる音の倍音がピ
ーク・スペクトルの中に含まれているか(即ち、倍音ら
しさ)である。3つの尺度の判定基準は、の強度に関
しては、前記分析区間内のピーク・スペクトルの強度か
ら計算したしきい値より上であり、の基本周波数らし
さに関しては、あるしきい値より大きく、の倍音らし
さに関しては、あるしきい値より小さい場合に、その音
が基本周波数であるとする。なお、基本周波数候補抽出
の処理については、本願出願人により既に出願されてい
る(特願平3−11432号)。
The basic frequency candidate extraction unit 23 extracts a basic frequency. Specifically, the CPU 5 determines from the following three scales whether the sound “in a certain analysis section” is the fundamental frequency or the overtone. The three scales are the intensity of the sound,
When the sound is used as the fundamental frequency, whether the harmonic overtone of the sound is included in the peak spectrum (that is, the likelihood of the fundamental frequency), or the sound is the nth harmonic of another sound (2 ≦ n ≦).
If it is 8), it is whether or not the overtone of the fundamental frequency sound is included in the peak spectrum (that is, the overtone-likeness). The criteria of the three scales are, for the intensity of, above a threshold calculated from the intensity of the peak spectrum in the analysis interval, and for the likelihood of the fundamental frequency being above a certain threshold, overtones of Regarding likelihood, if the sound is below a certain threshold, the sound is considered to be the fundamental frequency. Note that the applicant of the present application has already filed a process for extracting the fundamental frequency candidate (Japanese Patent Application No. 3-11432).

【0014】図3に、前記基本周波数候補抽出部23の
処理結果を、ある区間について示す。本実施例において
は、基本周波数候補抽出部23で基本周波数であるとさ
れた音符データは、MIDI(Musical InstrumentDigi
tal Interface)フォーマットで出力される。図の左端
に示す符号31は、キーナンバー(音高を表す値)であ
り、本実施例では「60」が中央ド(鍵盤番号C4)、
「61」がC#4、「62」がD4というように順次相
当する。符号32は、ステップタイム(音の鳴る時刻を
表す値)、符号33は、ゲートタイム(音長を表す
値)、符号34は、ベロシティー(音強を表す値)であ
る。図の中央から右方にかけて示す符号35は、後述す
る楽器別分類部24におけるクラスタリング処理に必要
な倍音成分の強さである。本実施例では、第1から第5
までの倍音成分を出力している。
FIG. 3 shows the processing result of the fundamental frequency candidate extracting section 23 for a certain section. In this embodiment, the note data determined to be the fundamental frequency by the fundamental frequency candidate extraction unit 23 is MIDI (Musical Instrument Digi).
tal Interface) format. Reference numeral 31 shown at the left end of the figure is a key number (a value representing a pitch), and in the present embodiment, "60" is the central position (keyboard number C4),
"61" corresponds to C # 4, "62" corresponds to D4, and so on. Reference numeral 32 is a step time (a value representing the time when a sound is produced), reference numeral 33 is a gate time (a value representing a sound length), and reference numeral 34 is a velocity (a value representing a sound intensity). Reference numeral 35 shown from the center to the right side of the figure is the strength of the overtone component necessary for the clustering process in the musical instrument classification unit 24, which will be described later. In this embodiment, the first to the fifth
The harmonic components up to are output.

【0015】楽器別分類部24は、前記図3に示した基
本周波数候補抽出部23の処理結果を受取り、楽器別に
分類処理を行う。この楽器別分類処理を図4に示すフロ
ーチャートに基づいて説明する。
The musical instrument classification unit 24 receives the processing result of the fundamental frequency candidate extraction unit 23 shown in FIG. 3 and performs classification processing for each musical instrument. This musical instrument classification processing will be described based on the flowchart shown in FIG.

【0016】先ず、CPU5は、RAM6に格納されて
いる基本周波数候補抽出部23からの処理結果を1音符
分ずつ読出す(ステップS1)。続いてCPU5は、ク
ラスタリングを行うためのベクトルを作成する(ステッ
プS2)。ベクトルは、各音符データの第1から第5ま
での倍音成分を1次から5次までの成分とし、6次成分
には前記符号31に示したキーナンバーを、7次成分に
は前記符号34のベロシティーを、それぞれ倍音成分に
合わせて特徴軸の正規化を行ったものを用いる。ベクト
ルは7次元となる。
First, the CPU 5 reads the processing result from the fundamental frequency candidate extraction unit 23 stored in the RAM 6 for each note (step S1). Subsequently, the CPU 5 creates a vector for performing clustering (step S2). In the vector, the 1st to 5th harmonic components of each note data are the 1st to 5th order components, the key number shown in the reference numeral 31 is the 6th order component, and the 34th order is the 7th order component. The velocity of is normalized for the characteristic axis according to the overtone component. The vector has 7 dimensions.

【0017】ステップS1およびステップS2の処理を
全ての音符データに対して行った後(ステップS3;
Y)、CPU5は、ステップS2において作成した全て
のベクトルに対して、クラスタリングによりグループ分
けの処理を行う(ステップS4)。本発明においてはク
ラスタリング手法として、周知のIsodataアルゴ
リズム(自己収束形アルゴリズム)を用いる。ここに、
同一楽器により発生された音階の近い音の倍音構造は類
似していると考えられるため、各クラスタには同一楽器
により発生された音符データから作成したベクトルが分
類される。また、Isodataアルゴリズムは、必要
に応じてクラスタの分割や統合の操作を行いながら処理
を進めるので、演奏楽器数に応じたグループ分けを行う
ことができる。なお、Isodataアルゴリズムの詳
細は、電子情報学会編「パターン情報処理」(コロナ社
発行、昭和58年3月10日、初版第1刷)P118〜
P120に記載されている。
After performing the processing of steps S1 and S2 on all the note data (step S3;
Y), the CPU 5 performs grouping processing by clustering on all the vectors created in step S2 (step S4). In the present invention, a well-known Isodata algorithm (self-converging algorithm) is used as a clustering method. here,
Since it is considered that the overtone structures of notes with similar scales generated by the same musical instrument are similar to each other, a vector created from note data generated by the same musical instrument is classified into each cluster. In addition, the Isodata algorithm proceeds with processing while performing cluster division and integration operations as necessary, so that grouping can be performed according to the number of playing musical instruments. For details of the Isodata algorithm, see “Pattern Information Processing” edited by The Institute of Electronics, Information and Communication Engineers (Corona Publishing, March 10, 1983, first edition, first edition) P118-
P120.

【0018】図5にIsodataアルゴリズムによる
クラスタリングを示す。即ち、このクラスタリングは図
4におけるステップS4に相当し、以下、図5に示すフ
ローチャートに基づいて詳細に説明する。
FIG. 5 shows clustering by the Isodata algorithm. That is, this clustering corresponds to step S4 in FIG. 4, and will be described in detail below with reference to the flowchart shown in FIG.

【0019】先ず、初期値、しきい値の設定を行い(ス
テップS11)、続いてクラスタ中心の初期値の設定を
行う(ステップS12)。全てのベクトルについて、ス
テップS12で設定した各クラスタ中心との距離を計算
し、最も近いクラスタに分類する(ステップS13)。
各クラスタの要素数を数え、要素数がステップS11で
設定したしきい値より少ないクラスタについては(ステ
ップS14;N)、そのクラスタを消滅させる(ステッ
プS15)。各クラスタに分類されているベクトル全体
の中心点を計算し、それを新しいクラスタ中心とする
(ステップS16)。繰り返しが最後でなく(ステップ
S17;N)、偶数回目の繰り返しでなく(ステップS
18;N)、現在のクラスタ数がステップS11で設定
したクラスタ数の最大値より少ない場合(ステップS1
9;N)、クラスタを増やす処理を行う(ステップS2
0)。この処理は次のように行う。即ち、各クラスタに
分類されているベクトルの、次元別の標準偏差を計算す
る。本実施例ではベクトルは7次元であるので、標準偏
差として7個の値が計算される。この7個の標準偏差の
最大値がステップS11で設定したしきい値より大きい
場合、その最大値の軸方向に沿って2個に分割する。以
上がステップS20における処理内容である。続いて現
在のクラスタ中心同士の距離を計算し(ステップS2
1)、この距離がステップS11で設定したしきい値よ
り小さい場合、そのクラスタ同志を1つにまとめる(ス
テップS22)。最後の繰り返しの場合は(ステップS
23;Y)、ここで終了する。最後の繰り返しでない場
合は(ステップS23;N)、ステップS13に戻る。
First, an initial value and a threshold value are set (step S11), and then an initial value of the cluster center is set (step S12). With respect to all the vectors, the distance from each cluster center set in step S12 is calculated, and the cluster is classified into the closest cluster (step S13).
The number of elements in each cluster is counted, and for clusters whose number of elements is less than the threshold value set in step S11 (step S14; N), the cluster is extinguished (step S15). The center point of all the vectors classified into each cluster is calculated and used as the new cluster center (step S16). Iteration is not the last (step S17; N) and it is not an even number of iterations (step S17).
18; N), if the current number of clusters is less than the maximum value of the number of clusters set in step S11 (step S1)
9; N), the process of increasing the cluster is performed (step S2).
0). This process is performed as follows. That is, the standard deviation for each dimension of the vector classified into each cluster is calculated. In the present embodiment, the vector has seven dimensions, so seven values are calculated as the standard deviation. If the maximum value of the seven standard deviations is larger than the threshold value set in step S11, the maximum value is divided into two along the axial direction. The above is the processing content in step S20. Subsequently, the distance between the current cluster centers is calculated (step S2
1) If this distance is smaller than the threshold value set in step S11, the clusters are combined into one (step S22). In case of the last repetition, (step S
23; Y), and ends here. If it is not the last repetition (step S23; N), the process returns to step S13.

【0020】分類後処理部25における処理は、前記図
4に示すフローチャートのステップS5〜S8に相当す
る。いま、クラスタリングの処理(ステップS4)によ
り、全てのベクトルがn個のクラスタにグループ分けさ
れたと仮定して、以下の説明をする。
The processing in the post-classification processing unit 25 corresponds to steps S5 to S8 of the flowchart shown in FIG. Now, assuming that all the vectors are grouped into n clusters by the clustering process (step S4), the following description will be given.

【0021】先ず、CPU5は、ある1つのベクトルに
ついて各クラスタ中心との距離を計算する。いま、ある
ベクトルVが、あるクラスタCm に分類されているとす
る。ベクトルVとクラスタCm の中心との距離をDm
表す。同様にして、CPU5は、クラスタCm 以外のク
ラスタC1 、C2 、・・・Cn についても、各クラスタ
中心とベクトルVの距離D1 、D2 、・・・Dn を計算
する。次にCPU5は、この距離の比、即ち、D1 /D
m 、D2 /Dm 、・・・Dn /Dm (ステップS5)。
この距離の比率があるしきい値Lより小さい場合(ステ
ップS6;Y)、例えば、D2 /Dm <Lであったとす
ると、ベクトルVは、Cm の他にC2 にも属する可能性
があると判断され、CPU5は、ベクトルVをCm 、C
2 の2つのクラスタに分類する(ステップS7)。以上
の処理を、全てのベクトルに対して行うと(ステップS
8;Y)、分類後処理部25の処理が終了する。
First, the CPU 5 calculates the distance between each cluster and the center of each cluster. Now, it is assumed that a certain vector V is classified into a certain cluster C m . The distance between the center of the vector V and the cluster C m expressed by D m. Similarly, the CPU 5 also calculates the distances D 1 , D 2 , ... D n between each cluster center and the vector V for the clusters C 1 , C 2 , ... C n other than the cluster C m . The CPU 5 then determines the ratio of the distances, that is, D 1 / D
m, D 2 / D m, ··· D n / D m ( Step S5).
If the distance ratio is smaller than a certain threshold L (step S6; Y), for example, if D 2 / D m <L, the vector V may belong to C 2 in addition to C m . Therefore, the CPU 5 determines that the vector V is C m , C
It is classified into two clusters of 2 (step S7). If the above process is performed for all vectors (step S
8; Y), the processing of the post-classification processing unit 25 ends.

【0022】出力部26における処理は、前記図4のス
テップS9に相当する。この処理は、グループ分けされ
た音符データを各グループ別に出力する処理である。図
6および図7は、前記図3の音符データが楽器別分類部
24および分類後処理部25によりグループ分けされた
結果である。本実施例では図3の音符データは、5個の
グループに分けられている。図6にはその内の2グルー
プ、図7には3グループが示されている。図7において
符号51のアルファベット大文字Rは休符を表し、大文
字Rの右隣の数字はステップタイムを表す。
The process in the output unit 26 corresponds to step S9 in FIG. This process is a process of outputting the note data grouped into each group. FIGS. 6 and 7 show the results of the note data of FIG. 3 grouped by the musical instrument classification unit 24 and the post-classification processing unit 25. In this embodiment, the note data of FIG. 3 is divided into 5 groups. FIG. 6 shows two of them, and FIG. 7 shows three of them. In FIG. 7, the capital letter R of the reference numeral 51 represents a rest, and the number to the right of the capital letter R represents step time.

【0023】なお、本実施例においては、音符データか
ら作成した全てのベクトルについてクラスタリングによ
るグループ分けの処理を行っているが、予めグループ分
けを行う範囲を、ある時間間隔で指定しておいてもよ
い。
In the present embodiment, all the vectors created from the note data are grouped by clustering. However, the range of grouping may be designated in advance at a certain time interval. Good.

【0024】また、図1に示すディスプレイ8の代わり
にプリンタを使用すれば、楽譜をプリントアウトするこ
とも可能である。
If a printer is used instead of the display 8 shown in FIG. 1, it is possible to print out a musical score.

【0025】[0025]

【発明の効果】以上説明したように本発明によれば、標
本化して取込んだ音楽信号により、倍音成分と音高成
分、音強成分からなるベクトルを作成し、これをクラス
タリングによりグループ分けすることにより、各ベクト
ルに対する音符データをグループ別に出力することがで
きるので、複数の楽器により演奏された音楽を人手によ
らず採譜し、楽器別に分類することができる。
As described above, according to the present invention, a vector including a harmonic component, a pitch component, and a strong component is created from a sampled and captured music signal, and the vector is grouped by clustering. As a result, the note data for each vector can be output for each group, so that music played by a plurality of musical instruments can be transcribed without manual labor and classified by musical instrument.

【0026】また、クラスタリング手法としてIsod
ataアルゴリズムを使用しているので、予め演奏楽器
数を指定する必要がない。
As a clustering method, Isod
Since the ata algorithm is used, it is not necessary to specify the number of playing musical instruments in advance.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明に実施例のブロック図である。FIG. 1 is a block diagram of an embodiment of the present invention.

【図2】前記実施例の機能構成図である。FIG. 2 is a functional configuration diagram of the embodiment.

【図3】基本周波数候補抽出部の処理結果を示す図であ
る。
FIG. 3 is a diagram showing a processing result of a fundamental frequency candidate extraction unit.

【図4】楽器別分類部、分類後処理部、出力部の動作を
説明するフローチャートである。
FIG. 4 is a flowchart illustrating operations of a classification unit by musical instrument, a post-classification processing unit, and an output unit.

【図5】Isodataアルゴリズムを説明するフロー
チャートである。
FIG. 5 is a flowchart illustrating an Isodata algorithm.

【図6】出力部からの出力結果を示す図の前半である。FIG. 6 is the first half of the diagram showing the output result from the output unit.

【図7】出力部からの出力結果を示す図の後半である。FIG. 7 is the second half of the diagram showing the output result from the output unit.

【符号の説明】[Explanation of symbols]

2…ローパス・フィルタ 3…A/D変換装置 5…CPU 6…RAM 7…ROM 8…ディスプレイ 21…信号取込部 22…FFT処理部 23…基本周波数候補抽出部 24…楽器別分類部 25…分類後処理部 26…出力部 2 ... Low-pass filter 3 ... A / D converter 5 ... CPU 6 ... RAM 7 ... ROM 8 ... Display 21 ... Signal acquisition unit 22 ... FFT processing unit 23 ... Basic frequency candidate extraction unit 24 ... Classification unit by musical instrument 25 ... Post-classification processing unit 26 ... Output unit

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 音楽信号を楽譜記号もしくは楽譜記号に
相当する符号に変換する自動採譜装置において、 前記音楽信号を取込みA/D変換する信号取込A/D変
換部と、 この信号取込A/D変換部でA/D変換された音楽信号
データを一定時間毎に周波数解析を行うことにより、一
定時間内の周波数方向のパワー・スペクトルを計算する
周波数解析処理部と、 この周波数解析処理部により計算されたパワー・スペク
トルに基づき基本周波数候補を抽出する基本周波数候補
抽出部と、 この基本周波数候補抽出部の処理結果を、倍音、音高、
音強等の情報を含む音譜情報に変換する音譜情報変換部
と、 この音譜情報変換部の処理結果である音譜情報の倍音、
音高、音強等の情報から構成される他次元のベクトルを
各音譜毎に算出するベクトル算出部と、 このベクトル算出部で算出された多数のベクトルを、I
sodataアルゴリズムによるクラスタリングにより
楽器別にグループ分けする楽器別分類部と、 この楽器別分類部の処理結果を演奏楽器別の採譜結果と
して楽譜符号等により出力する出力部とを備えたことを
特徴とする自動採譜装置。
1. An automatic music transcription device for converting a music signal into a musical score symbol or a code corresponding to the musical score symbol, and a signal capturing A / D conversion unit for capturing and A / D converting the music signal, and the signal capturing A A frequency analysis processing unit for calculating a power spectrum in the frequency direction within a fixed time by performing frequency analysis on the music signal data A / D converted by the A / D conversion unit every fixed time, and this frequency analysis processing unit. The fundamental frequency candidate extraction unit that extracts fundamental frequency candidates based on the power spectrum calculated by, and the processing result of this fundamental frequency candidate extraction unit,
A musical score information conversion unit for converting into musical score information including information such as tone strength, and a harmonic overtone of the musical score information which is the processing result of this musical score information conversion unit
A vector calculation unit that calculates another dimension vector composed of information such as pitch and tone intensity for each musical notation, and a large number of vectors calculated by this vector calculation unit are
An automatic instrument comprising: an instrument-based classification unit that groups musical instruments by clustering using the sodata algorithm; and an output unit that outputs the processing result of the instrument-based classification unit as a scored result for each musical instrument by a score code or the like. Music transcription device.
JP03263385A 1991-10-11 1991-10-11 Automatic transcription device Expired - Fee Related JP3102089B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03263385A JP3102089B2 (en) 1991-10-11 1991-10-11 Automatic transcription device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03263385A JP3102089B2 (en) 1991-10-11 1991-10-11 Automatic transcription device

Publications (2)

Publication Number Publication Date
JPH05100660A true JPH05100660A (en) 1993-04-23
JP3102089B2 JP3102089B2 (en) 2000-10-23

Family

ID=17388757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03263385A Expired - Fee Related JP3102089B2 (en) 1991-10-11 1991-10-11 Automatic transcription device

Country Status (1)

Country Link
JP (1) JP3102089B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228296A (en) * 1997-02-17 1998-08-25 Nippon Telegr & Teleph Corp <Ntt> Sound signal separating method
JP2004077721A (en) * 2002-08-15 2004-03-11 Osamu Hori Program and apparatus for correcting taisho koto actual performance
JP2005049878A (en) * 2003-07-29 2005-02-24 Lucent Technol Inc Content identification system
JP2007017651A (en) * 2005-07-07 2007-01-25 Xing Inc Musical sound reproducing program and musical sound reproducing apparatus
JP2012078412A (en) * 2010-09-30 2012-04-19 Brother Ind Ltd Program, and editing device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228296A (en) * 1997-02-17 1998-08-25 Nippon Telegr & Teleph Corp <Ntt> Sound signal separating method
JP2004077721A (en) * 2002-08-15 2004-03-11 Osamu Hori Program and apparatus for correcting taisho koto actual performance
JP2005049878A (en) * 2003-07-29 2005-02-24 Lucent Technol Inc Content identification system
JP2007017651A (en) * 2005-07-07 2007-01-25 Xing Inc Musical sound reproducing program and musical sound reproducing apparatus
JP4624879B2 (en) * 2005-07-07 2011-02-02 株式会社エクシング Musical sound information generation program and musical sound information generator
JP2012078412A (en) * 2010-09-30 2012-04-19 Brother Ind Ltd Program, and editing device

Also Published As

Publication number Publication date
JP3102089B2 (en) 2000-10-23

Similar Documents

Publication Publication Date Title
JP3162994B2 (en) Method for recognizing speech words and system for recognizing speech words
CN1169115C (en) Prosodic databases holding fundamental frequency templates for use in speech synthesis
Wu et al. Polyphonic music transcription with semantic segmentation
CN110599987A (en) Piano note recognition algorithm based on convolutional neural network
JPS58130396A (en) Voice recognition equipment
WO2007010637A1 (en) Tempo detector, chord name detector and program
CN111429940B (en) Real-time music transcription and music score matching method based on deep learning
CN110136730B (en) Deep learning-based piano and acoustic automatic configuration system and method
JP5127982B2 (en) Music search device
Jensen et al. Quantitative analysis of a common audio similarity measure
WO2004051622A1 (en) Musical composition data creation device and method
JP2876861B2 (en) Automatic transcription device
JP3102089B2 (en) Automatic transcription device
JPH07121556A (en) Musical information retrieving device
JP2897701B2 (en) Sound effect search device
JP2000194392A (en) Noise adaptive type voice recognition device and recording medium recording noise adaptive type voice recognition program
JP2871120B2 (en) Automatic transcription device
JP2000293188A (en) Chord real time recognizing method and storage medium
CN116034421A (en) Musical composition analysis device and musical composition analysis method
JP2806048B2 (en) Automatic transcription device
JP3001353B2 (en) Automatic transcription device
JPH05127668A (en) Automatic transcription device
CN115527514B (en) Professional vocal melody feature extraction method for music big data retrieval
JP3727173B2 (en) Speech recognition method and apparatus
JP4268328B2 (en) Method for encoding an acoustic signal

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080825

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090825

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100825

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110825

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees