JPH05181464A - 楽音認識装置 - Google Patents
楽音認識装置Info
- Publication number
- JPH05181464A JPH05181464A JP3360638A JP36063891A JPH05181464A JP H05181464 A JPH05181464 A JP H05181464A JP 3360638 A JP3360638 A JP 3360638A JP 36063891 A JP36063891 A JP 36063891A JP H05181464 A JPH05181464 A JP H05181464A
- Authority
- JP
- Japan
- Prior art keywords
- musical
- output
- feature quantity
- sound
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
(57)【要約】
【目的】本発明は、楽音認識装置において、複数の楽器
の楽曲で構成される音楽信号中から特定の楽器の音階だ
けを抽出する。 【構成】周波数分析部で音楽信号を変換して得られる周
波数領域から、イベント検出部で音の開始点を検出する
ことにより、特徴量抽出部において楽器の持つ特徴量を
抽出すると共に、認識部及び判定部でこの特徴量と予め
特定の楽器から抽出した特徴量との関係を認識すると共
に判定するようにした。
の楽曲で構成される音楽信号中から特定の楽器の音階だ
けを抽出する。 【構成】周波数分析部で音楽信号を変換して得られる周
波数領域から、イベント検出部で音の開始点を検出する
ことにより、特徴量抽出部において楽器の持つ特徴量を
抽出すると共に、認識部及び判定部でこの特徴量と予め
特定の楽器から抽出した特徴量との関係を認識すると共
に判定するようにした。
Description
【０００１】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１） 作用（図１） 実施例 （１）楽音認識装置の全体構成（図１） （２）周波数分析部の詳細構成（図１及び図２） （３）イベント検出部の詳細構成（図１） （４）特徴量抽出部の詳細構成（図１及び図３〜図５） （５）認識部の詳細構成（図１及び図６） （６）判定部の詳細構成（図１） （７）実施例の効果（図１〜図６） 発明の効果
【０００２】
【産業上の利用分野】本発明は楽音認識装置に関し、特
に複数の楽器の楽曲で構成される音楽信号中から特定の
楽器の音階だけを抽出するものに適用し得る。
に複数の楽器の楽曲で構成される音楽信号中から特定の
楽器の音階だけを抽出するものに適用し得る。
【０００３】
【従来の技術】人間の聴覚機構の優れた特徴として選択
的注意機構がある。人間は多くの音の中から自分が聞き
たい音だけに注目する能力を持つているが、従来はこの
ような機能を工学的に実現することは困難であつた。
的注意機構がある。人間は多くの音の中から自分が聞き
たい音だけに注目する能力を持つているが、従来はこの
ような機能を工学的に実現することは困難であつた。
【０００４】
【発明が解決しようとする課題】ところで従来から楽曲
の楽音の種々の情報を検出する手法として、例えばピツ
チ（音階）を検出するものが存在するが、この場合音源
が１つに限定され複数の音源のピツチを識別することは
できなかつた。
の楽音の種々の情報を検出する手法として、例えばピツ
チ（音階）を検出するものが存在するが、この場合音源
が１つに限定され複数の音源のピツチを識別することは
できなかつた。
【０００５】またフイルタの通過周波数域を適当に制御
することによつて、その周波数域に対応した楽音の抽出
は可能であるが、複数の楽器の周波数域が重複している
場合にはその分離が困難であるという問題があつた。
することによつて、その周波数域に対応した楽音の抽出
は可能であるが、複数の楽器の周波数域が重複している
場合にはその分離が困難であるという問題があつた。
【０００６】本発明は以上の点を考慮してなされてもの
で、従来の問題を一挙に解決して複数の楽器の楽曲で構
成される音楽信号中から特定の楽器の音階だけを抽出し
得る楽音認識装置を提案しようとするものである。
で、従来の問題を一挙に解決して複数の楽器の楽曲で構
成される音楽信号中から特定の楽器の音階だけを抽出し
得る楽音認識装置を提案しようとするものである。
【０００７】
【課題を解決するための手段】かかる課題を解決するた
め第１の発明においては、複数の楽器の楽曲で構成され
る音楽信号ｓ（ｔ）を周波数領域に変換する周波数分析
手段２と、その周波数分析手段２の分析結果でなる周波
数領域Ｓ（ωK,ｎ）から音の開始点Ｅ（ωK,ｎ）を検出
するイベント検出手段４と、周波数領域Ｓ（ωK,ｎ）か
ら楽器の持つ特徴量Ｇph（ωK,ｎ）を抽出する特徴量抽
出手段５と、その特徴量抽出手段５から得られる特徴量
Ｇph（ωK,ｎ）と、予め特定の楽器から抽出した特徴量
Ｍph（ｕ）との関係を認識すると共に判定する認識判定
手段７、８とを設けるようにした。
め第１の発明においては、複数の楽器の楽曲で構成され
る音楽信号ｓ（ｔ）を周波数領域に変換する周波数分析
手段２と、その周波数分析手段２の分析結果でなる周波
数領域Ｓ（ωK,ｎ）から音の開始点Ｅ（ωK,ｎ）を検出
するイベント検出手段４と、周波数領域Ｓ（ωK,ｎ）か
ら楽器の持つ特徴量Ｇph（ωK,ｎ）を抽出する特徴量抽
出手段５と、その特徴量抽出手段５から得られる特徴量
Ｇph（ωK,ｎ）と、予め特定の楽器から抽出した特徴量
Ｍph（ｕ）との関係を認識すると共に判定する認識判定
手段７、８とを設けるようにした。
【０００８】また第２の発明においては、認識判定手段
７、８をニユーラルネツトワークで構成するようにし
た。
７、８をニユーラルネツトワークで構成するようにし
た。
【０００９】
【作用】音楽信号ｓ（ｔ）を変換して得られる周波数領
域Ｓ（ωK,ｎ）から音の開始点Ｅ（ωK,ｎ）を検出する
ことにより楽器の持つ特徴量Ｇph（ωK,ｎ）を抽出する
と共に、この特徴量Ｇph（ωK,ｎ）と予め特定の楽器か
ら抽出した特徴量Ｍph（ｕ）との関係を認識すると共に
判定するようにしたことにより、複数の楽器の楽曲で構
成される音楽信号中から特定の楽器の音階Ｒ（ωK,ｎ）
をだけを抽出し得る。
域Ｓ（ωK,ｎ）から音の開始点Ｅ（ωK,ｎ）を検出する
ことにより楽器の持つ特徴量Ｇph（ωK,ｎ）を抽出する
と共に、この特徴量Ｇph（ωK,ｎ）と予め特定の楽器か
ら抽出した特徴量Ｍph（ｕ）との関係を認識すると共に
判定するようにしたことにより、複数の楽器の楽曲で構
成される音楽信号中から特定の楽器の音階Ｒ（ωK,ｎ）
をだけを抽出し得る。
【００１０】
【実施例】以下図面について、本発明の一実施例を詳述
する。
する。
【００１１】（１）楽音認識装置の全体構成 図１において、１は全体として選択的注意機構を取り入
れた楽音認識装置を示し、前処理部２、周波数分析部
３、イベント検出部４、特徴量抽出部５、特徴量記憶部
６、認識部７及び判定部８より構成され、入力される音
楽信号ｓ（ｔ）は、前処理部２のアナログデイジタルコ
ンバータによつて標本化されると共に量子化され離散時
間信号Ｓ（ｎ）となる（ｎは離散時間）。
れた楽音認識装置を示し、前処理部２、周波数分析部
３、イベント検出部４、特徴量抽出部５、特徴量記憶部
６、認識部７及び判定部８より構成され、入力される音
楽信号ｓ（ｔ）は、前処理部２のアナログデイジタルコ
ンバータによつて標本化されると共に量子化され離散時
間信号Ｓ（ｎ）となる（ｎは離散時間）。
【００１２】離散時間信号Ｓ（ｎ）は周波数分析部３に
よつてスペクトルに分解される。この実現には、例えば
バンドパスフイルタ群を用いるようになされ、各フイル
タの中心周波数をωK （ｋはフイルタ番号、ｋ＝１，２
……Ｋ）とし、各フイルタｋの離散時間ｎにおける出力
をＳ（ωK,ｎ）とする。またここでは各フイルタｋの中
心周波数を１音階毎に設け、必要な音階範囲を満足する
個数を用意するものとしωK を音階に相当するものとす
る。
よつてスペクトルに分解される。この実現には、例えば
バンドパスフイルタ群を用いるようになされ、各フイル
タの中心周波数をωK （ｋはフイルタ番号、ｋ＝１，２
……Ｋ）とし、各フイルタｋの離散時間ｎにおける出力
をＳ（ωK,ｎ）とする。またここでは各フイルタｋの中
心周波数を１音階毎に設け、必要な音階範囲を満足する
個数を用意するものとしωK を音階に相当するものとす
る。
【００１３】各フイルタの出力Ｓ（ωK,ｎ）は、イベン
ト検出部４と特徴量抽出部５に入力される。イベント検
出部４は楽音の出始めの時間とその時の音階情報を検出
するもので、離散時間ｎにおける音階ωK での出力をＥ
（ωK,ｎ）とし、検出された場合には１に、検出されな
い場合には０とする。
ト検出部４と特徴量抽出部５に入力される。イベント検
出部４は楽音の出始めの時間とその時の音階情報を検出
するもので、離散時間ｎにおける音階ωK での出力をＥ
（ωK,ｎ）とし、検出された場合には１に、検出されな
い場合には０とする。
【００１４】特徴量抽出部５はイベント検出部４で得ら
れたＥ（ωK,ｎ）＝１となる点を基点として、周波数分
析部３から楽音の特徴となるパラメータを抽出する。パ
ラメータは数種類あり、その次元数をＰ、その番号を
ｐ、各種類毎の次元数をＨ、その番号をｈとし、特徴量
抽出部４の出力をＧph（ωK,ｎ）とする。
れたＥ（ωK,ｎ）＝１となる点を基点として、周波数分
析部３から楽音の特徴となるパラメータを抽出する。パ
ラメータは数種類あり、その次元数をＰ、その番号を
ｐ、各種類毎の次元数をＨ、その番号をｈとし、特徴量
抽出部４の出力をＧph（ωK,ｎ）とする。
【００１５】認識部７は、特徴量抽出部５の出力Ｇ
ph（ωK,ｎ）が、抽出したい楽器の特徴量であるかどう
かを分別するもので、その入力は２つあり、１つは特徴
量抽出部５の出力Ｇph（ωK,ｎ）であり（以下この特徴
量を入力特徴量とよぶ）、１つは抽出の対象となつてい
る楽器の特徴量を、特徴量抽出部５によつてあらかじめ
得たもので、これが特徴量記憶部６に記憶されている。
ph（ωK,ｎ）が、抽出したい楽器の特徴量であるかどう
かを分別するもので、その入力は２つあり、１つは特徴
量抽出部５の出力Ｇph（ωK,ｎ）であり（以下この特徴
量を入力特徴量とよぶ）、１つは抽出の対象となつてい
る楽器の特徴量を、特徴量抽出部５によつてあらかじめ
得たもので、これが特徴量記憶部６に記憶されている。
【００１６】ここで記憶されている特徴量の個数をＵ、
その番号をｕ（ｕ＝０，１……Ｕ−１）とし、特徴量記
憶部６の出力をＭph（ｕ）とする（以下この特徴量を標
準特徴量とよぶ）。認識部７の出力は、特徴量抽出部５
の出力Ｇph（ωK,ｎ）と、特徴量記憶部５のＵ個の出力
Ｍph（ｕ）が同じ楽器であるかどうかを分別した結果で
あり、同じ場合には１とし異なる場合には０とする。こ
の認識部７の出力をＯ（ωK,ｎ）とする。
その番号をｕ（ｕ＝０，１……Ｕ−１）とし、特徴量記
憶部６の出力をＭph（ｕ）とする（以下この特徴量を標
準特徴量とよぶ）。認識部７の出力は、特徴量抽出部５
の出力Ｇph（ωK,ｎ）と、特徴量記憶部５のＵ個の出力
Ｍph（ｕ）が同じ楽器であるかどうかを分別した結果で
あり、同じ場合には１とし異なる場合には０とする。こ
の認識部７の出力をＯ（ωK,ｎ）とする。
【００１７】認識部７の出力Ｏ（ωK,ｎ）は判定部８に
入力される。判定部８は、認識部７の出力Ｏ（ωK,ｎ）
を整理統合化するもので、倍音関係にあつて出力が重複
するものの影響を取り除く等のためのものである。判定
部８の出力抽出対象となつている楽器の音が、離散時間
ｎ、音階ωK に存在するかどうかを示しており、存在す
る場合には１とし、しない場合には０とする。この判定
部７の出力をＲ（ωK,ｎ）とする。
入力される。判定部８は、認識部７の出力Ｏ（ωK,ｎ）
を整理統合化するもので、倍音関係にあつて出力が重複
するものの影響を取り除く等のためのものである。判定
部８の出力抽出対象となつている楽器の音が、離散時間
ｎ、音階ωK に存在するかどうかを示しており、存在す
る場合には１とし、しない場合には０とする。この判定
部７の出力をＲ（ωK,ｎ）とする。
【００１８】（２）周波数分析部の詳細構成 周波数分析部３は、標準的な音階に対応する中心周波数
をもつバンドパスフイルタ群によつて構成することがで
きる。ここで標準的な音階とはＡ4 ＝ 440〔Hz〕を規準
とし任意の半音間の周波数比を２1/12とする平均律の音
階である。
をもつバンドパスフイルタ群によつて構成することがで
きる。ここで標準的な音階とはＡ4 ＝ 440〔Hz〕を規準
とし任意の半音間の周波数比を２1/12とする平均律の音
階である。
【００１９】本発明においては、Ｃ2 ＝ 65.41〔Hz〕〜
Ｂ9 ＝15804.27〔Hz〕の範囲の半音ごと、96のバンドパ
スフイルタ（以下、単にフイルタと呼ぶ）を用いる。す
なわち各フイルタの中心周波数ωK は、次式
Ｂ9 ＝15804.27〔Hz〕の範囲の半音ごと、96のバンドパ
スフイルタ（以下、単にフイルタと呼ぶ）を用いる。す
なわち各フイルタの中心周波数ωK は、次式
【数１】 となる。
【００２０】次に各フイルタの特性を説明する。本発明
においては、隣合う半音同志を識別する必要があるた
め、隣合う２つのフィルタの通過域には重なりがないこ
とが望まれる。また通過域の利得は周波数によらず一定
であることが望ましい。そこで図２に示すように各フイ
ルタの通過域をωK ・ ２-1/48 〜ωK ・ ２1/48（ωK は
（１）式で示される各フイルタの中心周波数）の1/24
〔oct.〕幅とし、中心周波数から1/24〔oct.〕離れた周
波数では少なくとも25〔dB〕の減衰量が得られるように
する。
においては、隣合う半音同志を識別する必要があるた
め、隣合う２つのフィルタの通過域には重なりがないこ
とが望まれる。また通過域の利得は周波数によらず一定
であることが望ましい。そこで図２に示すように各フイ
ルタの通過域をωK ・ ２-1/48 〜ωK ・ ２1/48（ωK は
（１）式で示される各フイルタの中心周波数）の1/24
〔oct.〕幅とし、中心周波数から1/24〔oct.〕離れた周
波数では少なくとも25〔dB〕の減衰量が得られるように
する。
【００２１】これは例えば４次のＩＩＲ型デイジタルフ
イルタ（バタワース特性）によつて実現することができ
る。その場合入力された離散時間信号Ｓ（ｎ）に対する
各フイルタの出力Ｆ（ωK,ｎ）は、次式
イルタ（バタワース特性）によつて実現することができ
る。その場合入力された離散時間信号Ｓ（ｎ）に対する
各フイルタの出力Ｆ（ωK,ｎ）は、次式
【数２】 となる。ここで各フイルタの応答には中心周波数が低い
程大きな時間遅れが生じるため、実際には各フイルタ毎
にこの時間遅れに対する補正を行なつている。
程大きな時間遅れが生じるため、実際には各フイルタ毎
にこの時間遅れに対する補正を行なつている。
【００２２】さらに次式に従つて各フイルタ出力をＮ
ave 個づつ自乗平均することによりエンベロープを求め
て周波数分析部３の出力Ｓ（ωK,ｎ）とする。
ave 個づつ自乗平均することによりエンベロープを求め
て周波数分析部３の出力Ｓ（ωK,ｎ）とする。
【数３】 ただし出力Ｓ（ωK,ｎ）は、入力離散時間信号Ｓ（ｎ）
の全てのｎについて求める必要はなくＮSHIFT 倍の時間
間隔毎に求めることとする。実際にはＮave ＝1024と
し、ＮSHIFT ＝ 512とした。
の全てのｎについて求める必要はなくＮSHIFT 倍の時間
間隔毎に求めることとする。実際にはＮave ＝1024と
し、ＮSHIFT ＝ 512とした。
【００２３】従つてこの周波数分析部３においては、こ
のようなバンドパスフィルタ群を周波数分析に用いるこ
とにより、各音階の楽音について得られる結果に対称性
を持たせることができる。
のようなバンドパスフィルタ群を周波数分析に用いるこ
とにより、各音階の楽音について得られる結果に対称性
を持たせることができる。
【００２４】（３）イベント検出部の詳細構成 イベント検出部４では、周波数分析部３の出力の時間変
化に着目することにより楽音の出始めの時刻とその音階
を検出する。
化に着目することにより楽音の出始めの時刻とその音階
を検出する。
【００２５】一般に入力信号において新たな楽音が発せ
られた場合には周波数分析部３の出力Ｓ（ωK,ｎ）に時
間変化が観測される。そこで、ある時刻ｎevにおける出
力Ｓ（ωK,ｎev）のｋについての総和がある規準値を越
えた場合、その時刻を音の出始めであるとみなす。すな
わち、ｎについて順に、次式
られた場合には周波数分析部３の出力Ｓ（ωK,ｎ）に時
間変化が観測される。そこで、ある時刻ｎevにおける出
力Ｓ（ωK,ｎev）のｋについての総和がある規準値を越
えた場合、その時刻を音の出始めであるとみなす。すな
わち、ｎについて順に、次式
【数４】 を計算してＰD ＞Ｐth（Ｐthは規準値）となる時刻ｎev
を求める。
を求める。
【００２６】ここでいくつかの連続する時刻ｎev（実際
にはＳ（ωK,ｎ）はｎのＮSHIFT 毎に求められている事
に注意）が得られた場合、それらのうち最小のｎevを採
用する。
にはＳ（ωK,ｎ）はｎのＮSHIFT 毎に求められている事
に注意）が得られた場合、それらのうち最小のｎevを採
用する。
【００２７】続いて各ｋについて、この時刻ｎevの近傍
で次式
で次式
【数５】 であるｎの範囲を調べ、その範囲内で次式
【数６】 かつ次式
【数７】 となるかまたは次式
【数８】 かつ
【数９】 となる場合に、時刻ｎevにおいてωK に相当する音階が
発せらたものとみなし、次式
発せらたものとみなし、次式
【数１０】 とする。
【００２８】（４）特徴量抽出部の詳細構成 楽音は、図３に示すように、基本周波数ｆ0 とその整数
倍の倍音と呼ばれる基本周波数に伴う高い周波数の波
（２ｆ0 ，３ｆ0 ，……）とが混合されて構成されてい
る。楽器らしさを決定しうる最も大きな要素は音色であ
るといわれているが、これは前述の倍音に関係し、その
スペクトル構造の時間的変化は、音色を特徴づける上で
きわめて重要であるとされる。
倍の倍音と呼ばれる基本周波数に伴う高い周波数の波
（２ｆ0 ，３ｆ0 ，……）とが混合されて構成されてい
る。楽器らしさを決定しうる最も大きな要素は音色であ
るといわれているが、これは前述の倍音に関係し、その
スペクトル構造の時間的変化は、音色を特徴づける上で
きわめて重要であるとされる。
【００２９】本発明では基本周波数ｆ0 とその整数倍の
倍音ｎ・ ｆ0 （ｎ＝２、３……）に注目し、それぞれの
周波数成分の立ち上がり及び立ち下がり時の過渡的な時
間変化を特徴量として抽出する。
倍音ｎ・ ｆ0 （ｎ＝２、３……）に注目し、それぞれの
周波数成分の立ち上がり及び立ち下がり時の過渡的な時
間変化を特徴量として抽出する。
【００３０】図４は周波数分析部３の出力Ｓ（ωK,ｎ）
のある１つの周波数成分ωK に注目したもので、横軸が
離散時間ｎを、縦軸は強度Ｓ（ωK,ｎ）を表している。
なおＳ（ωK,ｎ）は０〜１の実数で、リニアスケールと
する。本発明では３種類の特徴量を抽出する。１つ目は
ピーク点における強度ｐa であり、２つ目は立ち上がり
時の勾配θa であり、次式
のある１つの周波数成分ωK に注目したもので、横軸が
離散時間ｎを、縦軸は強度Ｓ（ωK,ｎ）を表している。
なおＳ（ωK,ｎ）は０〜１の実数で、リニアスケールと
する。本発明では３種類の特徴量を抽出する。１つ目は
ピーク点における強度ｐa であり、２つ目は立ち上がり
時の勾配θa であり、次式
【数１１】 によつて求める。３つ目は立ち下がり時の勾配θd であ
り、ピーク点を基準として、時刻ｎd 後における勾配θ
d を次式
り、ピーク点を基準として、時刻ｎd 後における勾配θ
d を次式
【数１２】 によつて求める。
【００３１】現実には図５に示すように、対象としてい
る波形が、その波形よりも時間的に早く出ている音に重
々している場合もありうる。このような場合を考慮し
て、ｐa 、ｐd を補正する必要がある。このために立ち
上がり点以前における強度ｐs と、立ち上がり点以前の
波形の傾きΔn Ｓ（ωK,ｎ）（Δn は微分オペレータ）
を求め、時刻ｎa 後及び時刻ｎa ＋ｎd 後におけるその
音の強度を予測し、その分をｐa 及びｐd から差し引
く。
る波形が、その波形よりも時間的に早く出ている音に重
々している場合もありうる。このような場合を考慮し
て、ｐa 、ｐd を補正する必要がある。このために立ち
上がり点以前における強度ｐs と、立ち上がり点以前の
波形の傾きΔn Ｓ（ωK,ｎ）（Δn は微分オペレータ）
を求め、時刻ｎa 後及び時刻ｎa ＋ｎd 後におけるその
音の強度を予測し、その分をｐa 及びｐd から差し引
く。
【００３２】以上から補正後のｐa 及びｐd は次式
【数１３】 及び次式
【数１４】 によつて求められる。
【００３３】なおｐp はピーク時の補正前の強度を、ｐ
e は立ち上がり点からｎa ＋ｎd 後の補正前の強度であ
る。また、（13）式のｐs −Δn Ｓ（ωK,ｎ）ｎa 及び
（14）式のｐs −Δn Ｓ（ωK,ｎ）ｎa ＋ｎd の最小値
は０とする。
e は立ち上がり点からｎa ＋ｎd 後の補正前の強度であ
る。また、（13）式のｐs −Δn Ｓ（ωK,ｎ）ｎa 及び
（14）式のｐs −Δn Ｓ（ωK,ｎ）ｎa ＋ｎd の最小値
は０とする。
【００３４】（５）認識部の詳細構成 認識部７は例えばニユーラルネツトワークを用いた方法
があり、構造は図６に示すような、３層構造を持つネツ
トワークが考えられる。入力としては特徴抽出部５の出
力Ｇph（ωK,ｎ）と、特徴記憶部６の出力Ｍph（ｕ）を
与える。
があり、構造は図６に示すような、３層構造を持つネツ
トワークが考えられる。入力としては特徴抽出部５の出
力Ｇph（ωK,ｎ）と、特徴記憶部６の出力Ｍph（ｕ）を
与える。
【００３５】従つて入力層のニユーロンの数は２phとな
る。出力層のニユーロンの個数は１個で０〜１の間の値
を出力する。入力層と中間層の間と、中間層と出力層の
間は、層間の信号の伝達度を決定する結合係数と呼ばれ
るものが、それぞれの層間の全てのニユーロン同士につ
いて接続されている。
る。出力層のニユーロンの個数は１個で０〜１の間の値
を出力する。入力層と中間層の間と、中間層と出力層の
間は、層間の信号の伝達度を決定する結合係数と呼ばれ
るものが、それぞれの層間の全てのニユーロン同士につ
いて接続されている。
【００３６】入力層の個々のニユーロンの値をｘi （ i
＝０，１……２ph−１）、入力層ｉと中間層ｊの間の結
合係数をｗij、中間層ｊと出力層ｚの間の結合係数をｗ
jz、中間層ｊの個々のニユーロンのしきい値をｈj 、出
力層ｚの個々のニユーロンのしきい値をｈz とすると、
認識時における出力層のニユーロンの値ｚは、次式
＝０，１……２ph−１）、入力層ｉと中間層ｊの間の結
合係数をｗij、中間層ｊと出力層ｚの間の結合係数をｗ
jz、中間層ｊの個々のニユーロンのしきい値をｈj 、出
力層ｚの個々のニユーロンのしきい値をｈz とすると、
認識時における出力層のニユーロンの値ｚは、次式
【数１５】 によつて求められる。なおｆ（ｕ）は例えば次式
【数１６】 のようなシグモイド関数を使用するとよい。
【００３７】次にこのネツトワークの学習方法を説明す
る。上記のｚは、入力ｘi と、各層間の結合係数ｗij、
ｗjzから算出されるものであり、ｘi をまとめてＸ、ｗ
ij、ｗjzをまとめてＷとすると、次式
る。上記のｚは、入力ｘi と、各層間の結合係数ｗij、
ｗjzから算出されるものであり、ｘi をまとめてＸ、ｗ
ij、ｗjzをまとめてＷとすると、次式
【数１７】 で表される計算を行なつたことになる。
【００３８】学習の方法としては、さまざまな入力をニ
ユーラルネツトワークに与え、教師信号と呼ばれる該入
力に対する希望出力と、実際の出力との差を損失として
算出し、結合係数Ｗの修正に反映させる。
ユーラルネツトワークに与え、教師信号と呼ばれる該入
力に対する希望出力と、実際の出力との差を損失として
算出し、結合係数Ｗの修正に反映させる。
【００３９】学習の初期の状態において、結合係数Ｗは
例えば乱数等によつて適当に与えたものであり、はじめ
から希望する出力を得られるものではない。さて損失を
ｌ（Ｘ，Ｗ）とすると、学習時はこの損失ｌ（Ｘ，Ｗ）
を減少するようにＷを変化させれば良い。
例えば乱数等によつて適当に与えたものであり、はじめ
から希望する出力を得られるものではない。さて損失を
ｌ（Ｘ，Ｗ）とすると、学習時はこの損失ｌ（Ｘ，Ｗ）
を減少するようにＷを変化させれば良い。
【００４０】例えば次式のように結合係数Ｗを調整して
いく。
いく。
【数１８】 Ｗ′が修正後の結合係数である。この操作を係数αを適
当な小さな値にし、各Ｘについて繰り返すことによつ
て、全てのＸに対する損失を平均的に減少させることが
できる。
当な小さな値にし、各Ｘについて繰り返すことによつ
て、全てのＸに対する損失を平均的に減少させることが
できる。
【００４１】さて次に以上のニユーラルネツトワークを
用いた場合における、学習時の入力層への特徴量の提示
方法及びその入力値に対する教師信号の決定方法と、認
識時における入力層への特徴量の提示方法と出力値の処
理方法について述べる。
用いた場合における、学習時の入力層への特徴量の提示
方法及びその入力値に対する教師信号の決定方法と、認
識時における入力層への特徴量の提示方法と出力値の処
理方法について述べる。
【００４２】まず学習時においては、認識対象としてい
る楽器の特徴量を抽出して標準特徴量Ｍph（ｕ）とする
が、楽器によつては音階によつて倍音構造の異なるもの
があつたり、奏法によつても異なるものがあるので特徴
量をいくつか用意する。
る楽器の特徴量を抽出して標準特徴量Ｍph（ｕ）とする
が、楽器によつては音階によつて倍音構造の異なるもの
があつたり、奏法によつても異なるものがあるので特徴
量をいくつか用意する。
【００４３】この特徴量がＭph（ｕ）（ｕは特徴量の個
数、i ＝０，１……Ｕ−１）であり、入力特徴量Ｇ
ph（ωK,ｎ）との距離Ｌを次式
数、i ＝０，１……Ｕ−１）であり、入力特徴量Ｇ
ph（ωK,ｎ）との距離Ｌを次式
【数１９】 によつて算出する。このＬが次式
【数２０】 を満足した場合には、同じ楽器であるものとする。
【００４４】入力特徴量Ｇph（ωK,ｎ）に対して全ての
Ｍph（ｕ）について距離Ｌを算出し、１つでも（20）式
を満足するものがあれば、全てのＭph（ｕ）に対して教
師信号を１とし、これ以外の場合には０とする。
Ｍph（ｕ）について距離Ｌを算出し、１つでも（20）式
を満足するものがあれば、全てのＭph（ｕ）に対して教
師信号を１とし、これ以外の場合には０とする。
【００４５】次に認識時については、ある入力特徴量Ｇ
ph（ωK,ｎ）に対して、全ての標準特徴量Ｌを与え（1
5）式によつて出力値ｚを算出する。この出力値ｚが１
つでも次式
ph（ωK,ｎ）に対して、全ての標準特徴量Ｌを与え（1
5）式によつて出力値ｚを算出する。この出力値ｚが１
つでも次式
【数２１】 を満足している場合には、その入力特徴量Ｇph（ω
K,ｎ）に対する認識部７の最終出力Ｏ（ωK,ｎ）を１に
し、これ以外の場合には０とする。
K,ｎ）に対する認識部７の最終出力Ｏ（ωK,ｎ）を１に
し、これ以外の場合には０とする。
【００４６】この認識部においては、このような方法に
よつて、複数の楽器によつて構成された楽曲の中から、
特定の楽音に選択的に反応する機能を実現できる。
よつて、複数の楽器によつて構成された楽曲の中から、
特定の楽音に選択的に反応する機能を実現できる。
【００４７】（６）判定部の詳細構成 判定部８では認識部７の出力と、イベント検出部４の出
力とから楽音認識装置１の最終的な出力Ｒ（ωK,ｎ）を
算出する。この出力は、認識の対象としている楽器の音
が離散時間ｎ、音階ωK において存在するかどうかを示
しており、１の場合に存在し、０の場合には存在しない
ものとする。
力とから楽音認識装置１の最終的な出力Ｒ（ωK,ｎ）を
算出する。この出力は、認識の対象としている楽器の音
が離散時間ｎ、音階ωK において存在するかどうかを示
しており、１の場合に存在し、０の場合には存在しない
ものとする。
【００４８】イベント検出部４の出力Ｅ（ωK,ｎ）は、
音の発生ポイントと思われるところを全てピツクアツプ
するため、倍音のいたるところが発生ポイントとなる。
一方、その全てのポイントが認識部７の出力の対象とな
るため、本来はｆ0 の位置でのみＯ（ωK,ｎ）＝１とな
ることを望むが、２ｆ0 や３ｆ0 等の倍音の位置におい
てもＯ（ωK,ｎ）＝１となる可能性がある。
音の発生ポイントと思われるところを全てピツクアツプ
するため、倍音のいたるところが発生ポイントとなる。
一方、その全てのポイントが認識部７の出力の対象とな
るため、本来はｆ0 の位置でのみＯ（ωK,ｎ）＝１とな
ることを望むが、２ｆ0 や３ｆ0 等の倍音の位置におい
てもＯ（ωK,ｎ）＝１となる可能性がある。
【００４９】判定部８はこのような余分な出力を破棄す
るものであり、Ｏ（ωK,ｎ）＝１となつた発生ポイント
をｆ0 の位置として、基音と各倍音におけるパワースペ
クトルのピーク点でのパワーＰnf0'（ｎ＝１，２……
Ｎ）の和を次式
るものであり、Ｏ（ωK,ｎ）＝１となつた発生ポイント
をｆ0 の位置として、基音と各倍音におけるパワースペ
クトルのピーク点でのパワーＰnf0'（ｎ＝１，２……
Ｎ）の和を次式
【数２２】 によつて算出する。
【００５０】倍音関係にあるＰを観察したときに本来の
発生ポイントのときにＰが最大になる。この最大値をも
つ発生ポイントの離散時間ｎと音階ωK を最終結果Ｒ
（ωK,ｎ）とする。
発生ポイントのときにＰが最大になる。この最大値をも
つ発生ポイントの離散時間ｎと音階ωK を最終結果Ｒ
（ωK,ｎ）とする。
【００５１】（７）実施例の効果 以上の構成によれば、音楽信号を変換して得られる周波
数領域から音の開始点を検出することにより楽器の持つ
特徴量を抽出すると共に、この特徴量と予め特定の楽器
から抽出した特徴量との関係を認識すると共に判定する
ようにしたことにより、複数の楽器の楽曲で構成される
音楽信号中から特定の楽器の音階だけを抽出し得る楽音
認識装置を実現できる。
数領域から音の開始点を検出することにより楽器の持つ
特徴量を抽出すると共に、この特徴量と予め特定の楽器
から抽出した特徴量との関係を認識すると共に判定する
ようにしたことにより、複数の楽器の楽曲で構成される
音楽信号中から特定の楽器の音階だけを抽出し得る楽音
認識装置を実現できる。
【００５２】かくするにつき、複数楽器で構成された楽
曲がどのような楽器のどのような音階で構成されている
かが結果として得られ、従つて、ある楽曲から聴取者が
とくに聴きたい楽器に注目してその情報を得ることがで
きる。
曲がどのような楽器のどのような音階で構成されている
かが結果として得られ、従つて、ある楽曲から聴取者が
とくに聴きたい楽器に注目してその情報を得ることがで
きる。
【００５３】また得られた音階の情報から別に用意した
音源を用い楽器の構成を変えて演奏させることができ
る。例えばレコードやＣＤの楽曲から楽器とその音階を
抽出した後、ピアノのパートをトランペツトに変えるな
ど楽器の構成を変えることができる。従つて得られた情
報をもとに、もとの曲調とは異なる曲調で演奏させるこ
とができる。
音源を用い楽器の構成を変えて演奏させることができ
る。例えばレコードやＣＤの楽曲から楽器とその音階を
抽出した後、ピアノのパートをトランペツトに変えるな
ど楽器の構成を変えることができる。従つて得られた情
報をもとに、もとの曲調とは異なる曲調で演奏させるこ
とができる。
【００５４】
【発明の効果】上述のように本発明によれば、音楽信号
を変換して得られる周波数領域から音の開始点を検出す
ることにより楽器の持つ特徴量を抽出すると共に、この
特徴量と予め特定の楽器から抽出した特徴量との関係を
認識すると共に判定するようにしたことにより、複数の
楽器の楽曲で構成される音楽信号中から特定の楽器の音
階だけを抽出し得る楽音認識装置を実現できる。
を変換して得られる周波数領域から音の開始点を検出す
ることにより楽器の持つ特徴量を抽出すると共に、この
特徴量と予め特定の楽器から抽出した特徴量との関係を
認識すると共に判定するようにしたことにより、複数の
楽器の楽曲で構成される音楽信号中から特定の楽器の音
階だけを抽出し得る楽音認識装置を実現できる。
【図１】本発明による楽音認識装置の一実施例を示すブ
ロツク図である。
ロツク図である。
【図２】図１の楽音認識装置における周波数分析部のフ
イルタ特性の説明に供する特性曲線図である。
イルタ特性の説明に供する特性曲線図である。
【図３】楽音のスペクトル構造の時間変化の説明に供す
る特性曲線図である。
る特性曲線図である。
【図４】図３における１つの周波数成分に注目したとき
のスペクトルの時間変化の説明に供する特性曲線図であ
る。
のスペクトルの時間変化の説明に供する特性曲線図であ
る。
【図５】認識対象としている楽音の発生以前に別の音が
存在する場合の説明に供する特性曲線図である。
存在する場合の説明に供する特性曲線図である。
【図６】図１の楽音認識装置における認識部を実現する
ニユーラルネツトワークの構成を示した略線図である。
ニユーラルネツトワークの構成を示した略線図である。
【符号の説明】 １……楽音認識装置、２……前処理部、３……周波数分
析部、４……イベント検出部、５……特徴量抽出部、６
……特徴量記憶部、７……認識部、８……判定部。
析部、４……イベント検出部、５……特徴量抽出部、６
……特徴量記憶部、７……認識部、８……判定部。
Claims (2)
- 【請求項１】複数の楽器の楽曲で構成される音楽信号を
周波数領域に変換する周波数分析手段と、 当該周波数分析手段の分析結果でなる上記周波数領域か
ら音の開始点を検出するイベント検出手段と、 上記周波数領域から上記楽器の持つ特徴量を抽出する特
徴量抽出手段と、 当該特徴量抽出手段から得られる上記特徴量と、予め特
定の上記楽器から抽出した特徴量との関係を認識すると
共に判定する認識判定手段とを具え、上記音楽信号から
特定の上記楽器の音階を抽出するようにしたことを特徴
とする楽音認識装置。 - 【請求項２】上記認識判定手段をニユーラルネツトワー
クで構成するようにしたことを特徴とする請求項１に記
載の楽音認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3360638A JPH05181464A (ja) | 1991-12-27 | 1991-12-27 | 楽音認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3360638A JPH05181464A (ja) | 1991-12-27 | 1991-12-27 | 楽音認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05181464A true JPH05181464A (ja) | 1993-07-23 |
Family
ID=18470273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3360638A Pending JPH05181464A (ja) | 1991-12-27 | 1991-12-27 | 楽音認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05181464A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10228296A (ja) * | 1997-02-17 | 1998-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号分離方法 |
| JPH11219443A (ja) * | 1998-01-30 | 1999-08-10 | Konami Co Ltd | キャラクタ画像の表示制御方法及び装置、記録媒体 |
| JP2004515808A (ja) * | 2000-12-05 | 2004-05-27 | アミューズテック カンパニー リミテッド | 演奏楽器の音情報を用いた音楽分析方法 |
| JP2004533016A (ja) * | 2001-05-21 | 2004-10-28 | アミューズテック カンパニー リミテッド | 楽譜追跡方法およびその装置 |
| JP2005514666A (ja) * | 2001-12-18 | 2005-05-19 | アミューズテック カンパニー リミテッド | 演奏楽器の音情報を用いた音楽分析装置 |
| KR100677156B1 (ko) * | 2004-12-08 | 2007-02-02 | 삼성전자주식회사 | 음원 관리 방법 및 그 장치 |
| KR100911679B1 (ko) * | 2001-05-25 | 2009-08-10 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 신호를 오디토리 이벤트로 세그먼트하는 방법 |
| US9165562B1 (en) | 2001-04-13 | 2015-10-20 | Dolby Laboratories Licensing Corporation | Processing audio signals with adaptive time or frequency resolution |
| CN113066512A (zh) * | 2021-03-24 | 2021-07-02 | 平安科技（深圳）有限公司 | 佛教音乐识别方法、装置、设备及存储介质 |
-
1991
- 1991-12-27 JP JP3360638A patent/JPH05181464A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10228296A (ja) * | 1997-02-17 | 1998-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号分離方法 |
| JPH11219443A (ja) * | 1998-01-30 | 1999-08-10 | Konami Co Ltd | キャラクタ画像の表示制御方法及び装置、記録媒体 |
| JP2004515808A (ja) * | 2000-12-05 | 2004-05-27 | アミューズテック カンパニー リミテッド | 演奏楽器の音情報を用いた音楽分析方法 |
| US9165562B1 (en) | 2001-04-13 | 2015-10-20 | Dolby Laboratories Licensing Corporation | Processing audio signals with adaptive time or frequency resolution |
| JP2004533016A (ja) * | 2001-05-21 | 2004-10-28 | アミューズテック カンパニー リミテッド | 楽譜追跡方法およびその装置 |
| KR100911679B1 (ko) * | 2001-05-25 | 2009-08-10 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 신호를 오디토리 이벤트로 세그먼트하는 방법 |
| JP2005514666A (ja) * | 2001-12-18 | 2005-05-19 | アミューズテック カンパニー リミテッド | 演奏楽器の音情報を用いた音楽分析装置 |
| KR100677156B1 (ko) * | 2004-12-08 | 2007-02-02 | 삼성전자주식회사 | 음원 관리 방법 및 그 장치 |
| US8300851B2 (en) | 2004-12-08 | 2012-10-30 | Samsung Electronics Co., Ltd. | Method of managing sound source and apparatus therefor |
| CN113066512A (zh) * | 2021-03-24 | 2021-07-02 | 平安科技（深圳）有限公司 | 佛教音乐识别方法、装置、设备及存储介质 |
| CN113066512B (zh) * | 2021-03-24 | 2024-02-23 | 平安科技（深圳）有限公司 | 佛教音乐识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marolt | A connectionist approach to automatic transcription of polyphonic piano music | |
| Stables et al. | Automatic Drum Transcription using Bi-directional Recurrent Neural Networks. | |
| Rasch et al. | The perception of musical tones | |
| Moorer | On the segmentation and analysis of continuous musical sound by digital computer. | |
| US7582824B2 (en) | Tempo detection apparatus, chord-name detection apparatus, and programs therefor | |
| CN100356445C (zh) | 分离声源信号的方法和装置及用来检测间距的方法和装置 | |
| US5210366A (en) | Method and device for detecting and separating voices in a complex musical composition | |
| KR20070062550A (ko) | 오디오 신호에 내재된 멜로디의 추출 방법 및 장치 | |
| US7507899B2 (en) | Automatic music transcription apparatus and program | |
| CN101421778B (zh) | 在用于谐波和基调分析的音频频谱中选择音调分量 | |
| Sterian | Model-based segmentation of time-frequency images for musical transcription | |
| Puckette | Score following using the sung voice | |
| JPH04195196A (ja) | Ｍｉｄｉコード作成装置 | |
| JPH05181464A (ja) | 楽音認識装置 | |
| KR20070062551A (ko) | 오디오 신호에 내재된 멜로디의 추출 | |
| JP3508978B2 (ja) | 音楽演奏に含まれる楽器音の音源種類判別方法 | |
| DE19500751C2 (de) | Verfahren zum Erkennen eines Tonbeginns bei geschlagenen oder gezupften Musikinstrumenten | |
| Monti et al. | Automatic polyphonic piano note extraction using fuzzy logic in a blackboard system | |
| Dressler | Automatic transcription of the melody from polyphonic music | |
| Marolt | Transcription of polyphonic piano music with neural networks | |
| CN112233691B (zh) | 一种歌唱评价方法及系统 | |
| Gong et al. | Analysis and correction of maps dataset | |
| JP2001067068A (ja) | 音楽パートの識別方法 | |
| Sutton et al. | Transcription of vocal melodies using voice characteristics and algorithm fusion | |
| JPH1026994A (ja) | カラオケ採点装置 |