JP3102089B2 - 自動採譜装置 - Google Patents
自動採譜装置Info
- Publication number
- JP3102089B2 JP3102089B2 JP03263385A JP26338591A JP3102089B2 JP 3102089 B2 JP3102089 B2 JP 3102089B2 JP 03263385 A JP03263385 A JP 03263385A JP 26338591 A JP26338591 A JP 26338591A JP 3102089 B2 JP3102089 B2 JP 3102089B2
- Authority
- JP
- Japan
- Prior art keywords
- musical
- unit
- converting
- vector
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、自動採譜装置に係り、
特に音楽信号を楽譜記号もしくは楽譜記号に相当する符
号に自動変換する自動採譜装置に関する。
特に音楽信号を楽譜記号もしくは楽譜記号に相当する符
号に自動変換する自動採譜装置に関する。
【０００２】
【従来の技術】従来、複数の楽器により演奏された音楽
の採譜をする場合には、音楽的知識を有する採譜者が自
身で当該演奏を聴き、自身で楽譜に表現していた。ま
た、単音からなる音楽を採譜したり、或いは鍵盤の押下
情報に基づき採譜を行う自動採譜装置は提案されていた
ものの、採譜可能な楽器数には制約があった。
の採譜をする場合には、音楽的知識を有する採譜者が自
身で当該演奏を聴き、自身で楽譜に表現していた。ま
た、単音からなる音楽を採譜したり、或いは鍵盤の押下
情報に基づき採譜を行う自動採譜装置は提案されていた
ものの、採譜可能な楽器数には制約があった。
【０００３】そこで、先に本願出願人は前記不都合を解
消した、複数の楽器により演奏された音楽を採譜し、そ
の結果をクラスタリングにより楽器別に分類する自動採
譜装置を提案した（特願平３−１１４３３号）。この発
明は、複数の楽器により演奏された音楽をＡ／Ｄ変換
後、計算機内に取込み、取込んだ音楽信号（デジタルデ
ータ）を周波数解析を行い、その結果から基本周波数を
抽出し、各基本周波数に対する倍音の強さをベクトルと
みなし、このベクトルをＫ平均アルゴリズムによるクラ
スタリングにより楽器別に分類するようにしている。
消した、複数の楽器により演奏された音楽を採譜し、そ
の結果をクラスタリングにより楽器別に分類する自動採
譜装置を提案した（特願平３−１１４３３号）。この発
明は、複数の楽器により演奏された音楽をＡ／Ｄ変換
後、計算機内に取込み、取込んだ音楽信号（デジタルデ
ータ）を周波数解析を行い、その結果から基本周波数を
抽出し、各基本周波数に対する倍音の強さをベクトルと
みなし、このベクトルをＫ平均アルゴリズムによるクラ
スタリングにより楽器別に分類するようにしている。
【０００４】
【発明が解決しようとする課題】しかしながら、前記特
願平３−１１４３３号において提案された自動採譜装置
は、楽器別の分類における中心的処理であるクラスタリ
ングをＫ平均アルゴリズムにより行っていたため、分類
するグループ数を予め指定する必要があった。即ち、複
数の楽器により演奏された音楽を、それぞれ何種類の楽
器により演奏されているかを人手により判断し、楽器別
の分類処理に先立って指定する必要があるという問題点
があった。
願平３−１１４３３号において提案された自動採譜装置
は、楽器別の分類における中心的処理であるクラスタリ
ングをＫ平均アルゴリズムにより行っていたため、分類
するグループ数を予め指定する必要があった。即ち、複
数の楽器により演奏された音楽を、それぞれ何種類の楽
器により演奏されているかを人手により判断し、楽器別
の分類処理に先立って指定する必要があるという問題点
があった。
【０００５】そこで本発明は上記問題点を解決するため
になされたものであり、演奏楽器数を予め指定する必要
のない、採譜結果を演奏楽器別に出力可能な自動採譜装
置を提供することを目的とする。
になされたものであり、演奏楽器数を予め指定する必要
のない、採譜結果を演奏楽器別に出力可能な自動採譜装
置を提供することを目的とする。
【０００６】
【課題を解決するための手段】本発明は上記目的を達成
するために、音楽信号を楽譜記号もしくは楽譜記号に相
当する符号に変換する自動採譜装置において、前記音楽
信号を取込みＡ／Ｄ変換する信号取込Ａ／Ｄ変換部と、
この信号取込Ａ／Ｄ変換部でＡ／Ｄ変換された音楽信号
データを一定時間毎に周波数解析を行うことにより、一
定時間内の周波数方向のパワー・スペクトルを計算する
周波数解析処理部と、この周波数解析処理部により計算
されたパワー・スペクトルに基づき基本周波数候補を抽
出する基本周波数候補抽出部と、この基本周波数候補抽
出部の処理結果を、倍音、音高、音強等の情報を含む音
譜情報に変換する音譜情報変換部と、この音譜情報変換
部の処理結果である音譜情報の倍音、音高、音強情報か
ら構成される他次元のベクトルを各音譜毎に算出するベ
クトル算出部と、このベクトル算出部で算出された多数
のベクトルを、Ｉｓｏｄａｔａアルゴリズムによるクラ
スタリングにより楽器別にグループ分けする楽器別分類
部と、この楽器別分類部の処理結果を演奏楽器別の採譜
結果として楽譜符号等により出力する出力部とを備えて
構成した。
するために、音楽信号を楽譜記号もしくは楽譜記号に相
当する符号に変換する自動採譜装置において、前記音楽
信号を取込みＡ／Ｄ変換する信号取込Ａ／Ｄ変換部と、
この信号取込Ａ／Ｄ変換部でＡ／Ｄ変換された音楽信号
データを一定時間毎に周波数解析を行うことにより、一
定時間内の周波数方向のパワー・スペクトルを計算する
周波数解析処理部と、この周波数解析処理部により計算
されたパワー・スペクトルに基づき基本周波数候補を抽
出する基本周波数候補抽出部と、この基本周波数候補抽
出部の処理結果を、倍音、音高、音強等の情報を含む音
譜情報に変換する音譜情報変換部と、この音譜情報変換
部の処理結果である音譜情報の倍音、音高、音強情報か
ら構成される他次元のベクトルを各音譜毎に算出するベ
クトル算出部と、このベクトル算出部で算出された多数
のベクトルを、Ｉｓｏｄａｔａアルゴリズムによるクラ
スタリングにより楽器別にグループ分けする楽器別分類
部と、この楽器別分類部の処理結果を演奏楽器別の採譜
結果として楽譜符号等により出力する出力部とを備えて
構成した。
【０００７】
【作用】本発明によれば、音楽信号は信号取込Ａ／Ｄ変
換部に入力し、前記音楽信号はＡ／Ｄ変換され、計算機
内で処理可能なデジタル信号データとして生成される。
この生成されたデジタル信号データは、周波数解析処理
部において一定時間毎に周波数解析され、一定時間内で
の周波数方向のパワー・スペクトルが計算される。この
パワー・スペクトルに基づき基本情報変換部により、倍
音、音高、音強等の情報を含む音譜情報に変換される。
この音符情報に基づきベクトル算出部により、前記倍
音、音高、音強等から構成される他次元のベクトルが各
音譜毎に算出される。前記ベクトル算出部で算出された
多数のベクトルは、楽器別分類部において、Ｉｓｏｄａ
ｔａアルゴリズムによるクラスタリングにより楽器別に
グループ分けされる。前記楽器別分類部の処理結果は、
演奏楽器別の採譜結果として出力部から、例えば楽譜記
号として出力される。
換部に入力し、前記音楽信号はＡ／Ｄ変換され、計算機
内で処理可能なデジタル信号データとして生成される。
この生成されたデジタル信号データは、周波数解析処理
部において一定時間毎に周波数解析され、一定時間内で
の周波数方向のパワー・スペクトルが計算される。この
パワー・スペクトルに基づき基本情報変換部により、倍
音、音高、音強等の情報を含む音譜情報に変換される。
この音符情報に基づきベクトル算出部により、前記倍
音、音高、音強等から構成される他次元のベクトルが各
音譜毎に算出される。前記ベクトル算出部で算出された
多数のベクトルは、楽器別分類部において、Ｉｓｏｄａ
ｔａアルゴリズムによるクラスタリングにより楽器別に
グループ分けされる。前記楽器別分類部の処理結果は、
演奏楽器別の採譜結果として出力部から、例えば楽譜記
号として出力される。
【０００８】
【実施例】以下、本発明を図示の実施例に基づいて説明
する。図１に本発明の実施例の自動採譜装置Ｓのブロッ
ク図を示す。自動採譜装置Ｓは、音楽信号が入力される
オーディオ・アンプ１と、増幅された音楽信号を低域ろ
波するローパス・フィルタ２と、低域ろ波された音楽信
号をデジタル信号に変換するＡ／Ｄ変換装置３と、入出
力インタフェースであるＩ／Ｏポート４と、装置の制御
を行うＣＰＵ５と、データを一時的に格納するＲＡＭ６
と、Ｉｓｏｄａｔａアルゴリズム等が格納されたＲＯＭ
７と、楽器別分類結果を表示するディスプレイ８とを有
して構成されている。
する。図１に本発明の実施例の自動採譜装置Ｓのブロッ
ク図を示す。自動採譜装置Ｓは、音楽信号が入力される
オーディオ・アンプ１と、増幅された音楽信号を低域ろ
波するローパス・フィルタ２と、低域ろ波された音楽信
号をデジタル信号に変換するＡ／Ｄ変換装置３と、入出
力インタフェースであるＩ／Ｏポート４と、装置の制御
を行うＣＰＵ５と、データを一時的に格納するＲＡＭ６
と、Ｉｓｏｄａｔａアルゴリズム等が格納されたＲＯＭ
７と、楽器別分類結果を表示するディスプレイ８とを有
して構成されている。
【０００９】この自動採譜装置Ｓを機能部毎に示すと、
図２に示すように、信号取込部２１と、ＦＦＴ（高速フ
ーリエ変換）処理部２２と、基本周波数候補抽出部２３
と、楽器別分類部２４と、分類後処理部２５と、出力部
２６とに区分され、この符号順（２１〜２６）に信号処
理が行われる。
図２に示すように、信号取込部２１と、ＦＦＴ（高速フ
ーリエ変換）処理部２２と、基本周波数候補抽出部２３
と、楽器別分類部２４と、分類後処理部２５と、出力部
２６とに区分され、この符号順（２１〜２６）に信号処
理が行われる。
【００１０】これら各機能部と前記図１との対応を説明
する。信号取込部２１は、オーディオ・アンプ１、ロー
パス・フィルタ２、Ａ／Ｄ変換装置３、Ｉ／Ｏポート
４、ＣＰＵ５等に対応する。ＦＦＴ処理部２２と基本周
波数候補抽出部２３と楽器別分類部２４と分類後処理部
２５とは、それぞれＣＰＵ５、ＲＡＭ６、ＲＯＭ７等に
該当する。出力部２６は、ＣＰＵ５、ＲＡＭ６、ディス
プレイ８等に対応する。
する。信号取込部２１は、オーディオ・アンプ１、ロー
パス・フィルタ２、Ａ／Ｄ変換装置３、Ｉ／Ｏポート
４、ＣＰＵ５等に対応する。ＦＦＴ処理部２２と基本周
波数候補抽出部２３と楽器別分類部２４と分類後処理部
２５とは、それぞれＣＰＵ５、ＲＡＭ６、ＲＯＭ７等に
該当する。出力部２６は、ＣＰＵ５、ＲＡＭ６、ディス
プレイ８等に対応する。
【００１１】次に、これらの機能部の作用を符号順（２
１〜２６）に説明する。信号取込部２１では、入力され
た音楽信号がオーディオ・アンプ１により増幅される。
この増幅された信号は、ローパス・フィルタ２に入力さ
れ、例えば、５．５ｋＨｚ以下の周波数成分のみが通過
し、標本化時の折返し歪みを抑制している。ローパス・
フィルタ２からの出力信号は、Ａ／Ｄ変換装置３により
１２ｋＨｚ，１６ｂｉｔで標本化される。標本化された
データは、Ｉ／Ｏポート４を介してＣＰＵ５に取込ま
れ、ＲＡＭ５に記憶される。
１〜２６）に説明する。信号取込部２１では、入力され
た音楽信号がオーディオ・アンプ１により増幅される。
この増幅された信号は、ローパス・フィルタ２に入力さ
れ、例えば、５．５ｋＨｚ以下の周波数成分のみが通過
し、標本化時の折返し歪みを抑制している。ローパス・
フィルタ２からの出力信号は、Ａ／Ｄ変換装置３により
１２ｋＨｚ，１６ｂｉｔで標本化される。標本化された
データは、Ｉ／Ｏポート４を介してＣＰＵ５に取込ま
れ、ＲＡＭ５に記憶される。
【００１２】ＦＦＴ処理部２２では、ＣＰＵ５がＲＡＭ
６より標本化されたデータを読出し、このデータの２５
ｍｓｅｃ毎を１フレームとし、１フレーム毎に８５．３
ｍｓｅｃハミング窓を掛けた後、ＦＦＴ分析により対数
パワー・スペクトルを算出する。次に、ＣＰＵ５は、算
出された対数パワー・スペクトルから放物線内挿処理に
よりピーク周波数を求める。
６より標本化されたデータを読出し、このデータの２５
ｍｓｅｃ毎を１フレームとし、１フレーム毎に８５．３
ｍｓｅｃハミング窓を掛けた後、ＦＦＴ分析により対数
パワー・スペクトルを算出する。次に、ＣＰＵ５は、算
出された対数パワー・スペクトルから放物線内挿処理に
よりピーク周波数を求める。
【００１３】基本周波数候補抽出部２３は、基本周波数
の抽出を行う。具体的には、ＣＰＵ５が、以下の３つの
尺度から「ある分析区間内」にある音が基本周波数か倍
音かを判定する。３つの尺度とは、その音の強度、
その音を基本周波数とした場合、その音の倍音がピーク
・スペクトルの中に含まれているか（即ち、基本周波数
らしさ）、その音が他の音の第ｎ次倍音（２≦ｎ≦
８）であるとした場合、基本周波数になる音の倍音がピ
ーク・スペクトルの中に含まれているか（即ち、倍音ら
しさ）である。３つの尺度の判定基準は、の強度に関
しては、前記分析区間内のピーク・スペクトルの強度か
ら計算したしきい値より上であり、の基本周波数らし
さに関しては、あるしきい値より大きく、の倍音らし
さに関しては、あるしきい値より小さい場合に、その音
が基本周波数であるとする。なお、基本周波数候補抽出
の処理については、本願出願人により既に出願されてい
る（特願平３−１１４３２号）。
の抽出を行う。具体的には、ＣＰＵ５が、以下の３つの
尺度から「ある分析区間内」にある音が基本周波数か倍
音かを判定する。３つの尺度とは、その音の強度、
その音を基本周波数とした場合、その音の倍音がピーク
・スペクトルの中に含まれているか（即ち、基本周波数
らしさ）、その音が他の音の第ｎ次倍音（２≦ｎ≦
８）であるとした場合、基本周波数になる音の倍音がピ
ーク・スペクトルの中に含まれているか（即ち、倍音ら
しさ）である。３つの尺度の判定基準は、の強度に関
しては、前記分析区間内のピーク・スペクトルの強度か
ら計算したしきい値より上であり、の基本周波数らし
さに関しては、あるしきい値より大きく、の倍音らし
さに関しては、あるしきい値より小さい場合に、その音
が基本周波数であるとする。なお、基本周波数候補抽出
の処理については、本願出願人により既に出願されてい
る（特願平３−１１４３２号）。
【００１４】図３に、前記基本周波数候補抽出部２３の
処理結果を、ある区間について示す。本実施例において
は、基本周波数候補抽出部２３で基本周波数であるとさ
れた音符データは、ＭＩＤＩ（Musical InstrumentDigi
tal Interface）フォーマットで出力される。図の左端
に示す符号３１は、キーナンバー（音高を表す値）であ
り、本実施例では「６０」が中央ド（鍵盤番号Ｃ４）、
「６１」がＣ＃４、「６２」がＤ４というように順次相
当する。符号３２は、ステップタイム（音の鳴る時刻を
表す値）、符号３３は、ゲートタイム（音長を表す
値）、符号３４は、ベロシティー（音強を表す値）であ
る。図の中央から右方にかけて示す符号３５は、後述す
る楽器別分類部２４におけるクラスタリング処理に必要
な倍音成分の強さである。本実施例では、第１から第５
までの倍音成分を出力している。
処理結果を、ある区間について示す。本実施例において
は、基本周波数候補抽出部２３で基本周波数であるとさ
れた音符データは、ＭＩＤＩ（Musical InstrumentDigi
tal Interface）フォーマットで出力される。図の左端
に示す符号３１は、キーナンバー（音高を表す値）であ
り、本実施例では「６０」が中央ド（鍵盤番号Ｃ４）、
「６１」がＣ＃４、「６２」がＤ４というように順次相
当する。符号３２は、ステップタイム（音の鳴る時刻を
表す値）、符号３３は、ゲートタイム（音長を表す
値）、符号３４は、ベロシティー（音強を表す値）であ
る。図の中央から右方にかけて示す符号３５は、後述す
る楽器別分類部２４におけるクラスタリング処理に必要
な倍音成分の強さである。本実施例では、第１から第５
までの倍音成分を出力している。
【００１５】楽器別分類部２４は、前記図３に示した基
本周波数候補抽出部２３の処理結果を受取り、楽器別に
分類処理を行う。この楽器別分類処理を図４に示すフロ
ーチャートに基づいて説明する。
本周波数候補抽出部２３の処理結果を受取り、楽器別に
分類処理を行う。この楽器別分類処理を図４に示すフロ
ーチャートに基づいて説明する。
【００１６】先ず、ＣＰＵ５は、ＲＡＭ６に格納されて
いる基本周波数候補抽出部２３からの処理結果を１音符
分ずつ読出す（ステップＳ１）。続いてＣＰＵ５は、ク
ラスタリングを行うためのベクトルを作成する（ステッ
プＳ２）。ベクトルは、各音符データの第１から第５ま
での倍音成分を１次から５次までの成分とし、６次成分
には前記符号３１に示したキーナンバーを、７次成分に
は前記符号３４のベロシティーを、それぞれ倍音成分に
合わせて特徴軸の正規化を行ったものを用いる。ベクト
ルは７次元となる。
いる基本周波数候補抽出部２３からの処理結果を１音符
分ずつ読出す（ステップＳ１）。続いてＣＰＵ５は、ク
ラスタリングを行うためのベクトルを作成する（ステッ
プＳ２）。ベクトルは、各音符データの第１から第５ま
での倍音成分を１次から５次までの成分とし、６次成分
には前記符号３１に示したキーナンバーを、７次成分に
は前記符号３４のベロシティーを、それぞれ倍音成分に
合わせて特徴軸の正規化を行ったものを用いる。ベクト
ルは７次元となる。
【００１７】ステップＳ１およびステップＳ２の処理を
全ての音符データに対して行った後（ステップＳ３；
Ｙ）、ＣＰＵ５は、ステップＳ２において作成した全て
のベクトルに対して、クラスタリングによりグループ分
けの処理を行う（ステップＳ４）。本発明においてはク
ラスタリング手法として、周知のＩｓｏｄａｔａアルゴ
リズム（自己収束形アルゴリズム）を用いる。ここに、
同一楽器により発生された音階の近い音の倍音構造は類
似していると考えられるため、各クラスタには同一楽器
により発生された音符データから作成したベクトルが分
類される。また、Ｉｓｏｄａｔａアルゴリズムは、必要
に応じてクラスタの分割や統合の操作を行いながら処理
を進めるので、演奏楽器数に応じたグループ分けを行う
ことができる。なお、Ｉｓｏｄａｔａアルゴリズムの詳
細は、電子情報学会編「パターン情報処理」（コロナ社
発行、昭和５８年３月１０日、初版第１刷）Ｐ１１８〜
Ｐ１２０に記載されている。
全ての音符データに対して行った後（ステップＳ３；
Ｙ）、ＣＰＵ５は、ステップＳ２において作成した全て
のベクトルに対して、クラスタリングによりグループ分
けの処理を行う（ステップＳ４）。本発明においてはク
ラスタリング手法として、周知のＩｓｏｄａｔａアルゴ
リズム（自己収束形アルゴリズム）を用いる。ここに、
同一楽器により発生された音階の近い音の倍音構造は類
似していると考えられるため、各クラスタには同一楽器
により発生された音符データから作成したベクトルが分
類される。また、Ｉｓｏｄａｔａアルゴリズムは、必要
に応じてクラスタの分割や統合の操作を行いながら処理
を進めるので、演奏楽器数に応じたグループ分けを行う
ことができる。なお、Ｉｓｏｄａｔａアルゴリズムの詳
細は、電子情報学会編「パターン情報処理」（コロナ社
発行、昭和５８年３月１０日、初版第１刷）Ｐ１１８〜
Ｐ１２０に記載されている。
【００１８】図５にＩｓｏｄａｔａアルゴリズムによる
クラスタリングを示す。即ち、このクラスタリングは図
４におけるステップＳ４に相当し、以下、図５に示すフ
ローチャートに基づいて詳細に説明する。
クラスタリングを示す。即ち、このクラスタリングは図
４におけるステップＳ４に相当し、以下、図５に示すフ
ローチャートに基づいて詳細に説明する。
【００１９】先ず、初期値、しきい値の設定を行い（ス
テップＳ１１）、続いてクラスタ中心の初期値の設定を
行う（ステップＳ１２）。全てのベクトルについて、ス
テップＳ１２で設定した各クラスタ中心との距離を計算
し、最も近いクラスタに分類する（ステップＳ１３）。
各クラスタの要素数を数え、要素数がステップＳ１１で
設定したしきい値より少ないクラスタについては（ステ
ップＳ１４；Ｎ）、そのクラスタを消滅させる（ステッ
プＳ１５）。各クラスタに分類されているベクトル全体
の中心点を計算し、それを新しいクラスタ中心とする
（ステップＳ１６）。繰り返しが最後でなく（ステップ
Ｓ１７；Ｎ）、偶数回目の繰り返しでなく（ステップＳ
１８；Ｎ）、現在のクラスタ数がステップＳ１１で設定
したクラスタ数の最大値より少ない場合（ステップＳ１
９；Ｎ）、クラスタを増やす処理を行う（ステップＳ２
０）。この処理は次のように行う。即ち、各クラスタに
分類されているベクトルの、次元別の標準偏差を計算す
る。本実施例ではベクトルは７次元であるので、標準偏
差として７個の値が計算される。この７個の標準偏差の
最大値がステップＳ１１で設定したしきい値より大きい
場合、その最大値の軸方向に沿って２個に分割する。以
上がステップＳ２０における処理内容である。続いて現
在のクラスタ中心同士の距離を計算し（ステップＳ２
１）、この距離がステップＳ１１で設定したしきい値よ
り小さい場合、そのクラスタ同志を１つにまとめる（ス
テップＳ２２）。最後の繰り返しの場合は（ステップＳ
２３；Ｙ）、ここで終了する。最後の繰り返しでない場
合は（ステップＳ２３；Ｎ）、ステップＳ１３に戻る。
テップＳ１１）、続いてクラスタ中心の初期値の設定を
行う（ステップＳ１２）。全てのベクトルについて、ス
テップＳ１２で設定した各クラスタ中心との距離を計算
し、最も近いクラスタに分類する（ステップＳ１３）。
各クラスタの要素数を数え、要素数がステップＳ１１で
設定したしきい値より少ないクラスタについては（ステ
ップＳ１４；Ｎ）、そのクラスタを消滅させる（ステッ
プＳ１５）。各クラスタに分類されているベクトル全体
の中心点を計算し、それを新しいクラスタ中心とする
（ステップＳ１６）。繰り返しが最後でなく（ステップ
Ｓ１７；Ｎ）、偶数回目の繰り返しでなく（ステップＳ
１８；Ｎ）、現在のクラスタ数がステップＳ１１で設定
したクラスタ数の最大値より少ない場合（ステップＳ１
９；Ｎ）、クラスタを増やす処理を行う（ステップＳ２
０）。この処理は次のように行う。即ち、各クラスタに
分類されているベクトルの、次元別の標準偏差を計算す
る。本実施例ではベクトルは７次元であるので、標準偏
差として７個の値が計算される。この７個の標準偏差の
最大値がステップＳ１１で設定したしきい値より大きい
場合、その最大値の軸方向に沿って２個に分割する。以
上がステップＳ２０における処理内容である。続いて現
在のクラスタ中心同士の距離を計算し（ステップＳ２
１）、この距離がステップＳ１１で設定したしきい値よ
り小さい場合、そのクラスタ同志を１つにまとめる（ス
テップＳ２２）。最後の繰り返しの場合は（ステップＳ
２３；Ｙ）、ここで終了する。最後の繰り返しでない場
合は（ステップＳ２３；Ｎ）、ステップＳ１３に戻る。
【００２０】分類後処理部２５における処理は、前記図
４に示すフローチャートのステップＳ５〜Ｓ８に相当す
る。いま、クラスタリングの処理（ステップＳ４）によ
り、全てのベクトルがｎ個のクラスタにグループ分けさ
れたと仮定して、以下の説明をする。
４に示すフローチャートのステップＳ５〜Ｓ８に相当す
る。いま、クラスタリングの処理（ステップＳ４）によ
り、全てのベクトルがｎ個のクラスタにグループ分けさ
れたと仮定して、以下の説明をする。
【００２１】先ず、ＣＰＵ５は、ある１つのベクトルに
ついて各クラスタ中心との距離を計算する。いま、ある
ベクトルＶが、あるクラスタＣm に分類されているとす
る。ベクトルＶとクラスタＣm の中心との距離をＤm で
表す。同様にして、ＣＰＵ５は、クラスタＣm 以外のク
ラスタＣ1 、Ｃ2 、・・・Ｃn についても、各クラスタ
中心とベクトルＶの距離Ｄ1 、Ｄ2 、・・・Ｄn を計算
する。次にＣＰＵ５は、この距離の比、即ち、Ｄ1 ／Ｄ
m 、Ｄ2 ／Ｄm 、・・・Ｄn ／Ｄm （ステップＳ５）。
この距離の比率があるしきい値Ｌより小さい場合（ステ
ップＳ６；Ｙ）、例えば、Ｄ2 ／Ｄm ＜Ｌであったとす
ると、ベクトルＶは、Ｃm の他にＣ2 にも属する可能性
があると判断され、ＣＰＵ５は、ベクトルＶをＣm 、Ｃ
2 の２つのクラスタに分類する（ステップＳ７）。以上
の処理を、全てのベクトルに対して行うと（ステップＳ
８；Ｙ）、分類後処理部２５の処理が終了する。
ついて各クラスタ中心との距離を計算する。いま、ある
ベクトルＶが、あるクラスタＣm に分類されているとす
る。ベクトルＶとクラスタＣm の中心との距離をＤm で
表す。同様にして、ＣＰＵ５は、クラスタＣm 以外のク
ラスタＣ1 、Ｃ2 、・・・Ｃn についても、各クラスタ
中心とベクトルＶの距離Ｄ1 、Ｄ2 、・・・Ｄn を計算
する。次にＣＰＵ５は、この距離の比、即ち、Ｄ1 ／Ｄ
m 、Ｄ2 ／Ｄm 、・・・Ｄn ／Ｄm （ステップＳ５）。
この距離の比率があるしきい値Ｌより小さい場合（ステ
ップＳ６；Ｙ）、例えば、Ｄ2 ／Ｄm ＜Ｌであったとす
ると、ベクトルＶは、Ｃm の他にＣ2 にも属する可能性
があると判断され、ＣＰＵ５は、ベクトルＶをＣm 、Ｃ
2 の２つのクラスタに分類する（ステップＳ７）。以上
の処理を、全てのベクトルに対して行うと（ステップＳ
８；Ｙ）、分類後処理部２５の処理が終了する。
【００２２】出力部２６における処理は、前記図４のス
テップＳ９に相当する。この処理は、グループ分けされ
た音符データを各グループ別に出力する処理である。図
６および図７は、前記図３の音符データが楽器別分類部
２４および分類後処理部２５によりグループ分けされた
結果である。本実施例では図３の音符データは、５個の
グループに分けられている。図６にはその内の２グルー
プ、図７には３グループが示されている。図７において
符号５１のアルファベット大文字Ｒは休符を表し、大文
字Ｒの右隣の数字はステップタイムを表す。
テップＳ９に相当する。この処理は、グループ分けされ
た音符データを各グループ別に出力する処理である。図
６および図７は、前記図３の音符データが楽器別分類部
２４および分類後処理部２５によりグループ分けされた
結果である。本実施例では図３の音符データは、５個の
グループに分けられている。図６にはその内の２グルー
プ、図７には３グループが示されている。図７において
符号５１のアルファベット大文字Ｒは休符を表し、大文
字Ｒの右隣の数字はステップタイムを表す。
【００２３】なお、本実施例においては、音符データか
ら作成した全てのベクトルについてクラスタリングによ
るグループ分けの処理を行っているが、予めグループ分
けを行う範囲を、ある時間間隔で指定しておいてもよ
い。
ら作成した全てのベクトルについてクラスタリングによ
るグループ分けの処理を行っているが、予めグループ分
けを行う範囲を、ある時間間隔で指定しておいてもよ
い。
【００２４】また、図１に示すディスプレイ８の代わり
にプリンタを使用すれば、楽譜をプリントアウトするこ
とも可能である。
にプリンタを使用すれば、楽譜をプリントアウトするこ
とも可能である。
【００２５】
【発明の効果】以上説明したように本発明によれば、標
本化して取込んだ音楽信号により、倍音成分と音高成
分、音強成分からなるベクトルを作成し、これをクラス
タリングによりグループ分けすることにより、各ベクト
ルに対する音符データをグループ別に出力することがで
きるので、複数の楽器により演奏された音楽を人手によ
らず採譜し、楽器別に分類することができる。
本化して取込んだ音楽信号により、倍音成分と音高成
分、音強成分からなるベクトルを作成し、これをクラス
タリングによりグループ分けすることにより、各ベクト
ルに対する音符データをグループ別に出力することがで
きるので、複数の楽器により演奏された音楽を人手によ
らず採譜し、楽器別に分類することができる。
【００２６】また、クラスタリング手法としてＩｓｏｄ
ａｔａアルゴリズムを使用しているので、予め演奏楽器
数を指定する必要がない。
ａｔａアルゴリズムを使用しているので、予め演奏楽器
数を指定する必要がない。
【図１】本発明に実施例のブロック図である。
【図２】前記実施例の機能構成図である。
【図３】基本周波数候補抽出部の処理結果を示す図であ
る。
る。
【図４】楽器別分類部、分類後処理部、出力部の動作を
説明するフローチャートである。
説明するフローチャートである。
【図５】Ｉｓｏｄａｔａアルゴリズムを説明するフロー
チャートである。
チャートである。
【図６】出力部からの出力結果を示す図の前半である。
【図７】出力部からの出力結果を示す図の後半である。
２…ローパス・フィルタ ３…Ａ／Ｄ変換装置 ５…ＣＰＵ ６…ＲＡＭ ７…ＲＯＭ ８…ディスプレイ ２１…信号取込部 ２２…ＦＦＴ処理部 ２３…基本周波数候補抽出部 ２４…楽器別分類部 ２５…分類後処理部 ２６…出力部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−211499（ＪＰ，Ａ) 特開 昭60−83984（ＪＰ，Ａ) 特開 昭58−181090（ＪＰ，Ａ) 特開 平４−261590（ＪＰ，Ａ) 特開 平４−261591（ＪＰ，Ａ) 特開 平４−261592（ＪＰ，Ａ) 特開 平４−323696（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G10G 3/04 G10L 15/10
Claims (1)
- 【請求項１】 音楽信号を楽譜記号もしくは楽譜記号に
相当する符号に変換する自動採譜装置において、 前記音楽信号を取込みＡ／Ｄ変換する信号取込Ａ／Ｄ変
換部と、 この信号取込Ａ／Ｄ変換部でＡ／Ｄ変換された音楽信号
データを一定時間毎に周波数解析を行うことにより、一
定時間内の周波数方向のパワー・スペクトルを計算する
周波数解析処理部と、 この周波数解析処理部により計算されたパワー・スペク
トルに基づき基本周波数候補を抽出する基本周波数候補
抽出部と、 この基本周波数候補抽出部の処理結果を、倍音、音高、
音強等の情報を含む音譜情報に変換する音譜情報変換部
と、 この音譜情報変換部の処理結果である音譜情報の倍音、
音高、音強等の情報から構成される他次元のベクトルを
各音譜毎に算出するベクトル算出部と、 このベクトル算出部で算出された多数のベクトルを、Ｉ
ｓｏｄａｔａアルゴリズムによるクラスタリングにより
楽器別にグループ分けする楽器別分類部と、 この楽器別分類部の処理結果を演奏楽器別の採譜結果と
して楽譜符号等により出力する出力部とを備えたことを
特徴とする自動採譜装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03263385A JP3102089B2 (ja) | 1991-10-11 | 1991-10-11 | 自動採譜装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03263385A JP3102089B2 (ja) | 1991-10-11 | 1991-10-11 | 自動採譜装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05100660A JPH05100660A (ja) | 1993-04-23 |
| JP3102089B2 true JP3102089B2 (ja) | 2000-10-23 |
Family
ID=17388757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03263385A Expired - Fee Related JP3102089B2 (ja) | 1991-10-11 | 1991-10-11 | 自動採譜装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3102089B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3501199B2 (ja) * | 1997-02-17 | 2004-03-02 | 日本電信電話株式会社 | 音響信号分離方法 |
| JP3945695B2 (ja) * | 2002-08-15 | 2007-07-18 | 修 宝利 | 大正琴実演奏補正プログラム及び大正琴実演奏補正装置 |
| US8918316B2 (en) * | 2003-07-29 | 2014-12-23 | Alcatel Lucent | Content identification system |
| JP4624879B2 (ja) * | 2005-07-07 | 2011-02-02 | 株式会社エクシング | 楽音情報発生プログラムおよび楽音情報発生装置 |
| JP5569307B2 (ja) * | 2010-09-30 | 2014-08-13 | ブラザー工業株式会社 | プログラム、及び編集装置 |
-
1991
- 1991-10-11 JP JP03263385A patent/JP3102089B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05100660A (ja) | 1993-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3162994B2 (ja) | 音声のワードを認識する方法及び音声のワードを識別するシステム | |
| CN1169115C (zh) | 语音合成系统及方法 | |
| JP3114975B2 (ja) | 音素推定を用いた音声認識回路 | |
| CN109147796B (zh) | 语音识别方法、装置、计算机设备及计算机可读存储介质 | |
| Wu et al. | Polyphonic music transcription with semantic segmentation | |
| US20040060424A1 (en) | Method for converting a music signal into a note-based description and for referencing a music signal in a data bank | |
| JPS58130396A (ja) | 音声認識装置 | |
| JPH05216490A (ja) | 音声コード化装置及び方法並びに音声認識装置及び方法 | |
| CN110599987A (zh) | 基于卷积神经网络的钢琴音符识别算法 | |
| Arora et al. | On-line melody extraction from polyphonic audio using harmonic cluster tracking | |
| Li et al. | A comparative study on physical and perceptual features for deepfake audio detection | |
| JP3102089B2 (ja) | 自動採譜装置 | |
| JP2876861B2 (ja) | 自動採譜装置 | |
| JP2897701B2 (ja) | 効果音検索装置 | |
| JP2604410B2 (ja) | 自動採譜方法及び装置 | |
| Zhang et al. | Advancements in whisper-island detection using the linear predictive residual | |
| Tucker et al. | A pitch estimation algorithm for speech and music | |
| Vincent et al. | Two nonnegative matrix factorization methods for polyphonic pitch transcription | |
| JP2871120B2 (ja) | 自動採譜装置 | |
| JP2806048B2 (ja) | 自動採譜装置 | |
| Lee et al. | i-Ring: A system for humming transcription and chord generation | |
| JPH0261760B2 (ja) | ||
| JPH04324499A (ja) | 音声認識装置 | |
| CN115527514B (zh) | 音乐大数据检索的专业声乐旋律特征提取方法 | |
| JPH05127668A (ja) | 自動採譜装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080825 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090825 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110825 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |