JP4489058B2 - 和音判定方法および装置 - Google Patents
和音判定方法および装置 Download PDFInfo
- Publication number
- JP4489058B2 JP4489058B2 JP2006192430A JP2006192430A JP4489058B2 JP 4489058 B2 JP4489058 B2 JP 4489058B2 JP 2006192430 A JP2006192430 A JP 2006192430A JP 2006192430 A JP2006192430 A JP 2006192430A JP 4489058 B2 JP4489058 B2 JP 4489058B2
- Authority
- JP
- Japan
- Prior art keywords
- chord
- long
- short
- power
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は和音判定方法および装置に係わり、特に、楽曲信号の和音が長和音であるか短和音であるかを判定する和音判定装置に関する。
楽曲のディジタル化に伴い、楽曲名や作曲者名等のキーワードによる検索だけでなく、直接，音楽信号処理を行う検索が容易となり、メロディーによる楽曲検索、類似した楽曲の検索等、様々な検索技術の発展が期待されている。このような検索システムを実現するためには、音楽信号の内容解析を行う必要がある。このため、楽曲の構成を決定する要素である和音を推定する手法が提案されている（非特許文献１−３参照）。
これらの従来技術は、音楽信号を用いて実際の楽譜上に記載された単一の音符（以降、単音）を複数推定し、同一時刻に推定された単音の組合せを検証することで和音(ドミソ、ファラド等)の推定を行う。すなわち、従来技術は、各和音における単音の組合せの規則に基づき、和音種類を詳細に推定するものである。
柏野邦夫、木下智義、他 "音楽情景分析の処理モデルOPTIMAにおける和音の認識"、信学論D-II, vol.J79-D-II、no.11、pp.1762-1770、1996 山口満、三輪多恵子、他 "並列構成くし形フィルタと特異値分解による多重唱の音高推定" 、信学論D-II, vol.J87-D-II、no.4、pp.1020-1029、2004 有村貴志、他 "マルチエージェント技法を用いた楽音信号からのメロディーラインの推定"、信学論A, vol.J85-A、no.12、pp.1469-1472、2002
これらの従来技術は、音楽信号を用いて実際の楽譜上に記載された単一の音符（以降、単音）を複数推定し、同一時刻に推定された単音の組合せを検証することで和音(ドミソ、ファラド等)の推定を行う。すなわち、従来技術は、各和音における単音の組合せの規則に基づき、和音種類を詳細に推定するものである。
柏野邦夫、木下智義、他 "音楽情景分析の処理モデルOPTIMAにおける和音の認識"、信学論D-II, vol.J79-D-II、no.11、pp.1762-1770、1996 山口満、三輪多恵子、他 "並列構成くし形フィルタと特異値分解による多重唱の音高推定" 、信学論D-II, vol.J87-D-II、no.4、pp.1020-1029、2004 有村貴志、他 "マルチエージェント技法を用いた楽音信号からのメロディーラインの推定"、信学論A, vol.J85-A、no.12、pp.1469-1472、2002
しかしながら、従来技術における和音の推定精度は単音の推定精度に大きく依存するため、演奏された単音の基本周波数（以降、音高という）の推定に誤差が生じると、和音の推定精度が著しく劣化する危険性がある。また、一般に高周波数域では、低周波数域に存在する基本周波数の倍音の影響により単音の音高推定が困難であるため、従来手法では単音の誤推定が生じ、精度が劣化する。
以上から、本発明の目的は、楽曲信号の和音が長和音であるか短和音であるかを精度よく判定することである。
以上から、本発明の目的は、楽曲信号の和音が長和音であるか短和音であるかを精度よく判定することである。
本発明の第１の態様は楽曲信号の和音を判定する和音判定装置であり、所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出する基本周波数計部、該基本周波数を用いて長和音のパワーと短和音のパワーを計算するパワー計算部、前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数の値を計算する評価関数計算部、前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定する和音判定部を備えている。
前記パワー計算部は、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する。
本発明の和音判定装置は更に前記評価関数値を所定時間積分する演算部を備え、前記和音判定部は該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。
前記パワー計算部は、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する。
本発明の和音判定装置は更に前記評価関数値を所定時間積分する演算部を備え、前記和音判定部は該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。
本発明の第２の態様は楽曲信号の和音を判定する和音判定方法であり、所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出するステップ、該基本周波数を用いて長和音のパワーと短和音のパワーを計算するステップ、
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算するステップ、前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定するステップを備えている。
前記パワー計算ステップにおいて、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する。
本発明の和音判定方法は更に前記評価関数値を所定時間積分するステップを備え、前記和音判定ステップにおいて該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算するステップ、前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定するステップを備えている。
前記パワー計算ステップにおいて、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する。
本発明の和音判定方法は更に前記評価関数値を所定時間積分するステップを備え、前記和音判定ステップにおいて該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。
本発明によれば、和音を構成するベース音の周波数を用いて長和音のパワーと短和音のパワーを計算し、これらパワーを用いて和音判定するため、長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
本発明によれば、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音である特徴を用いて長和音のパワーと短和音のパワーを計算し、これらパワーの差に基づいて和音判定を行なうため長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
本発明によれば、評価関数値を所定時間積分し、積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定するため、長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
本発明によれば、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音である特徴を用いて長和音のパワーと短和音のパワーを計算し、これらパワーの差に基づいて和音判定を行なうため長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
本発明によれば、評価関数値を所定時間積分し、積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定するため、長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
（A）本発明の概略
本発明は、和音の構成規則により和音を長和音、または単和音に分類可能であることに着眼し、和音の詳細な種類(Cコード：ドミソ、Fコード：ファラド、Amコード：ラドミ、Dmコード：レファラ等)を推定するのでなく、和音が長和音、短和音のいずれであるかを推定して出力する。これは、和音の長短が楽曲の特徴を決定する重要な要素であるためである。
本発明では、まず低周波数域において和音を構成するベース音に注目し、該ベース音の音高(基本周波数)の推定を行う。さらに、該推定したベース音の音高を用いて、長和音のパワーと短和音のパワーを計算する。具体的には、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記音高を用いて、長和音のパワーと短和音のパワーを計算して楽曲信号中の長和音及び短和音を推定する。
前半の処理から、本発明は楽曲信号中に存在する倍音の影響を抑制し、高精度な音高推定結果のみを用いて和音の長短を推定することが可能となる。また後半の処理から、和音を構成する全ての単音の推定を行うことなく、和音の推定が可能となる。この結果、和音判定精度の向上が可能になる。
本発明は、和音の構成規則により和音を長和音、または単和音に分類可能であることに着眼し、和音の詳細な種類(Cコード：ドミソ、Fコード：ファラド、Amコード：ラドミ、Dmコード：レファラ等)を推定するのでなく、和音が長和音、短和音のいずれであるかを推定して出力する。これは、和音の長短が楽曲の特徴を決定する重要な要素であるためである。
本発明では、まず低周波数域において和音を構成するベース音に注目し、該ベース音の音高(基本周波数)の推定を行う。さらに、該推定したベース音の音高を用いて、長和音のパワーと短和音のパワーを計算する。具体的には、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記音高を用いて、長和音のパワーと短和音のパワーを計算して楽曲信号中の長和音及び短和音を推定する。
前半の処理から、本発明は楽曲信号中に存在する倍音の影響を抑制し、高精度な音高推定結果のみを用いて和音の長短を推定することが可能となる。また後半の処理から、和音を構成する全ての単音の推定を行うことなく、和音の推定が可能となる。この結果、和音判定精度の向上が可能になる。
（B）和音
和音とは、高さの異なる2つ以上の単音が同時に鳴ることによって生ずる合成された音響を意味する。したがって、和音は単音のみでは得られない楽曲の特徴を与え、楽曲中では細かなメロディーや主観的な印象を決定する重要な要素となる。このため、和音の推定は楽曲の意味解析を行う上で非常に重要である。しかしながら、一般に楽曲信号からの高精度に和音推定を行なうことは困難である。これは、和音の種類（以降、コードタイプ）が多数存在することに起因する。また、楽器音は基本周波数の倍音を多く含むため、音高が高くなるに従って和音を構成する各単音の推定が困難となるためである。
そこで、本発明ではコードタイプを推定せず、楽曲の特徴を決定するのに重要な要素である和音の長短（長和音、短和音）を識別するのである。かかる長和音、及び短和音の推定を可能とするため、和音の構成について説明する。
音楽における和音を構成する単音の間に複数の規則が存在することが知られている。基本となる規則は、和音を構成する基本音となる単音（以降、根音という）と、該根音に対する他の単音の周波数の相違（以降、音程という）によってコードタイプが決まることである。コードタイプは単音の組合せに基づき多数存在するが、長和音（メジャーコード）、または短和音（マイナーコード）に分類可能である。そこで、和音を構成する単音に基づいて長和音と単和音とを比較する。
和音とは、高さの異なる2つ以上の単音が同時に鳴ることによって生ずる合成された音響を意味する。したがって、和音は単音のみでは得られない楽曲の特徴を与え、楽曲中では細かなメロディーや主観的な印象を決定する重要な要素となる。このため、和音の推定は楽曲の意味解析を行う上で非常に重要である。しかしながら、一般に楽曲信号からの高精度に和音推定を行なうことは困難である。これは、和音の種類（以降、コードタイプ）が多数存在することに起因する。また、楽器音は基本周波数の倍音を多く含むため、音高が高くなるに従って和音を構成する各単音の推定が困難となるためである。
そこで、本発明ではコードタイプを推定せず、楽曲の特徴を決定するのに重要な要素である和音の長短（長和音、短和音）を識別するのである。かかる長和音、及び短和音の推定を可能とするため、和音の構成について説明する。
音楽における和音を構成する単音の間に複数の規則が存在することが知られている。基本となる規則は、和音を構成する基本音となる単音（以降、根音という）と、該根音に対する他の単音の周波数の相違（以降、音程という）によってコードタイプが決まることである。コードタイプは単音の組合せに基づき多数存在するが、長和音（メジャーコード）、または短和音（マイナーコード）に分類可能である。そこで、和音を構成する単音に基づいて長和音と単和音とを比較する。
図１は根音をＣとした場合の基本的な和音(コード)及び和音を構成する単音を示す説明図である。ただし、横線は他の和音と同一となるため省略した和音である。図２は音名説明図であり、１は日本語の音名(ハニホヘトイロハ)、２は英語標記の音名（CDEFGAB）、３は音符、４はハ長調での階名である。この図２を参照すれば、図１はハ長調のト゛を根音とした和音(コード)及び和音を構成する単音である。
図１より和音の長短は周波数の低い順から第２番目の構成音(根音の次の単音)によって区別可能であることがわかる。すなわち、長和音では根音である「ド」の次の単音が「ミ」となり、短和音では根音である「ド」の次の単音が「ミのフラット」となる。この特徴を図３の音階上で具体的に示すと、和音の第２番目の構成音が根音rootに対して４つ上の音であれば該和音は長和音となり、３つ上の音であれば短和音となる。すなわち、長和音であれば、第２番目の構成音は根音rootに対して半音を１単位として４音階上の音になる。また、短和音であれば、第２番目の構成音は根音rootに対して３音階上の音になる。
以上の特徴は一般的に用いられる和音において成立する規則であリ、この規則を用いることにより長和音と短和音の識別が可能になる。
図１より和音の長短は周波数の低い順から第２番目の構成音(根音の次の単音)によって区別可能であることがわかる。すなわち、長和音では根音である「ド」の次の単音が「ミ」となり、短和音では根音である「ド」の次の単音が「ミのフラット」となる。この特徴を図３の音階上で具体的に示すと、和音の第２番目の構成音が根音rootに対して４つ上の音であれば該和音は長和音となり、３つ上の音であれば短和音となる。すなわち、長和音であれば、第２番目の構成音は根音rootに対して半音を１単位として４音階上の音になる。また、短和音であれば、第２番目の構成音は根音rootに対して３音階上の音になる。
以上の特徴は一般的に用いられる和音において成立する規則であリ、この規則を用いることにより長和音と短和音の識別が可能になる。
(Ｃ)和音判定処理
本発明は、和音を構成する単音間の前述の規則性を用いることで、根音以外の単音の音高推定を行うことなく、楽曲中の長和音及び短和音を推定する。楽曲中では主にベース音が根音として用いられることから、本発明でも、ベース音を根音として与える。さらに根音の示す周波数に対して長和音及び短和音となる周波数のパワーを評価関数として与える。この評価関数に基づき、楽曲中の長和音及び短和音を推定する。評価関数は、ベース音の推定に基づくため倍音等の影響を受けることなく、高精度な和音の推定を行うことが可能となる。
図４は本発明の和音判定処理フローである。
まず、根音の音高を算出する(ステップ１０１)。すなわち、処理対象の楽曲信号に対し、下記の文献１に記述されている音高推定手法を適用してベース音の音高を推定する。なお、時刻ｔにおいて推定されたベース音の音高を根音の音高
とする。この音高推定手法については後述する。
文献１：今野聡司、他“音楽信号の低周波数域における楽曲の構造に着眼した時間周波数解析に関する検討"、映像情報メディア学会技術報告、vol.29, no.46, pp.13-16, 2005
本発明は、和音を構成する単音間の前述の規則性を用いることで、根音以外の単音の音高推定を行うことなく、楽曲中の長和音及び短和音を推定する。楽曲中では主にベース音が根音として用いられることから、本発明でも、ベース音を根音として与える。さらに根音の示す周波数に対して長和音及び短和音となる周波数のパワーを評価関数として与える。この評価関数に基づき、楽曲中の長和音及び短和音を推定する。評価関数は、ベース音の推定に基づくため倍音等の影響を受けることなく、高精度な和音の推定を行うことが可能となる。
図４は本発明の和音判定処理フローである。
まず、根音の音高を算出する(ステップ１０１)。すなわち、処理対象の楽曲信号に対し、下記の文献１に記述されている音高推定手法を適用してベース音の音高を推定する。なお、時刻ｔにおいて推定されたベース音の音高を根音の音高
文献１：今野聡司、他“音楽信号の低周波数域における楽曲の構造に着眼した時間周波数解析に関する検討"、映像情報メディア学会技術報告、vol.29, no.46, pp.13-16, 2005
ついで、根音の音高を用いて長和音のパワーと短和音のパワーを計算する(ステップ１０２)。すなわち、ステップ１０１で得られた根音の音高に対し、長和音の音程にある周波数が示すパワーの和を
とし、短和音の音程にある周波数が示すパワーの和を
とすれば、これらは以下の式（1）,及び式（2）により算出される。
ただし、pt(f)は時刻ｔ、周波数ｆにおける信号のパワー、N，Mはサンプリング周波数ｆsとして、それぞれ
を超えない任意の整数とする。
図５に楽曲信号のパワースペクトルの例を示す。ただし、図中の太線部分は根音の示す周波数、点線部分は長和音の周波数、破線部分は短和音の周波数を表す。（1），（2）式より、本発明では、図５における長和音、短和音の各周波数における信号パワーを合計して長和音のパワーと短和音のパワーを計算する。すなわち、（1），（2）式は、根音に対し21/3，21/4倍の周波数におけるパワーとこれらの2k倍の周波数におけるパワーとを合計して長和音、短和音のパワーを計算して出力する。
図５に楽曲信号のパワースペクトルの例を示す。ただし、図中の太線部分は根音の示す周波数、点線部分は長和音の周波数、破線部分は短和音の周波数を表す。（1），（2）式より、本発明では、図５における長和音、短和音の各周波数における信号パワーを合計して長和音のパワーと短和音のパワーを計算する。すなわち、（1），（2）式は、根音に対し21/3，21/4倍の周波数におけるパワーとこれらの2k倍の周波数におけるパワーとを合計して長和音、短和音のパワーを計算して出力する。
長和音のパワーと短和音のパワーが求まれば、長短の評価関数を計算する(ステップ１０３)。評価関数c(t)はステップ１０２で得られる長和音と短和音の各パワー
と、各周波数におけるパワーの和を用いて次式で定義される。
したがって、(3)式を用いて評価関数c(t)を計算する。
ついで、前記評価関数を所定時間積分した値を新たな評価関数として計算する(ステップ１０４)。すなわち、ステップ１０３における評価関数c(t)を時間δ毎に分割し、該時間δ内のパワーの和を新たな評価関数c′(t)とする。この新評価関数c′(t)は次式
で与えられる。ただし、式中のδは単音が最低限持続する単位時間を示す。この単位時間は楽曲のテンポを用いて決定する。楽曲のテンポは、ステップ１０１で参照した文献に記述されているように自己相関関数に基づいて算出できる。
最後に、(4)式の新評価関数c′(t)に基づき各時刻における和音の長短を判定する(ステップ１０５)。ここでは、時刻ｔにおいてc′(t)≧0である場合は長和音と判断し、c′(t)＜0である場合は短和音と判断する。
以上の処理を施すことで、長和音と短和音を判定することができる。
最後に、(4)式の新評価関数c′(t)に基づき各時刻における和音の長短を判定する(ステップ１０５)。ここでは、時刻ｔにおいてc′(t)≧0である場合は長和音と判断し、c′(t)＜0である場合は短和音と判断する。
以上の処理を施すことで、長和音と短和音を判定することができる。
本発明はステップ１０２に示すように長和音と短和音のパワーを計算するため以下の２点で有効である。まず、和音の各構成音はオクターブ単位で変更可能で、音名が同一であれば和音は変化しないが、(１)、(２)式はかかる和音の性質を考慮している。また、(１)、(２)式は倍音構造を考慮しているため、楽器によって発音された音のパワーを参照して長和音と短和音を判定することができる。以上により、本発明は推定が困難な根音以外の単音の音高を推定することなく、長和音と短和音の推定ができる。
本発明はステップ１０３において、評価関数として全周波数帯のパワーに対する長和音、短和音のパワーの割合を与えているため、パワーを時刻間で比較することが可能となる。
本発明は、ステップ１０４において単音の演奏が持続する時間内に和音は変化しない仮定の下、この時間内のパワーの和を評価関数として再定義している。これにより、ステップ１０１における根音の誤推定による影響を軽減し、短時間に発生する和音の誤推定の発生を抑制することが可能となる。
本発明はステップ１０３において、評価関数として全周波数帯のパワーに対する長和音、短和音のパワーの割合を与えているため、パワーを時刻間で比較することが可能となる。
本発明は、ステップ１０４において単音の演奏が持続する時間内に和音は変化しない仮定の下、この時間内のパワーの和を評価関数として再定義している。これにより、ステップ１０１における根音の誤推定による影響を軽減し、短時間に発生する和音の誤推定の発生を抑制することが可能となる。
（D）音高推定
音楽信号中に存在する楽器の音の基本周波数推定手法には、パワースペクトルにおける複数のピーク(極大値)を検出し、そのピークが一定時間連続して同一の周波数帯に存在する場合、その周波数を音高であると判定する手法がある。しかしながら、かかる手法では、音符の持続時間を考慮しないため、音符が推移するとき、推移前後の音符により生成される音高の影響により推定精度が劣化する危険がある。又、上記手法は楽器が演奏される周波数帯を考慮せずに音高推定するため、楽曲が複数の楽器で構成される場合、パワースペクトルのピークが多数出現し、特定の楽器による主旋律の音高を得ることが困難になる。
かかる問題は、楽曲のテンポに注目し、音符の持続時間を考慮することで、また、ベース音の音高のみを推定することで解決できる。
図６は前述の文献１における音高推定装置の構成図である。
バンドパスフィルタ１はベース音が存在する周波数帯域に基づいて処理対象の楽曲信号に含まれる40〜250Hzの信号成分を通過する。パワースペクトル算出部２はバンドパスフィルタ出力信号から、窓長W1のハミング窓を用いて信号を切り出し、ARスペクトルPt(f)を算出する。ここでtは原信号における時刻、fは周波数である。一方、ビートヒストグラム生成部３は、下記の文献２で提案されている手法によりビートヒストグラムを生成し、テンポ推定部４は該ビートヒストグラムよりテンポを推定する。すなわち、テンポ推定部４はビートヒストグラムの40bpm〜200bpmの範囲内で局所的に最大となる値を検出し、それらをテンポの候補とする。さらに、得られた候補のうち、ビート数が最大であるものをテンポとする。このようにして求められたテンポは、１分間に含まれるビートの最大の数を示すため、このテンポの逆数を算出することにより、音符の最低の持続時間σを得ることが可能となる。
文献２：G.Tzanetakis and P.Cook, "Musical Genre Classification of Audio Signals" IEEE Trans. Speech and Audio Proceeding, vol.10, no.5, pp.293-302, 2002.
パワースペクトルと持続時間σが求まれば、評価関数計算部５は次式
の評価関数を計算する。ただし、R(ti,fj)は時刻ti,周波数fjにおける評価関数である。σは音符の持続時間、Ntiは正規化されたパワースペクトル、wtiはNtiに対する時間軸方向の重み、wfjはNtiに対する周波数軸方向の重みである。
音高推定部６は、時刻tiにおいてRの値が最大となる周波数fjを求め、これを時刻tiにおけるベース音の音高の推定値とする。
音楽信号中に存在する楽器の音の基本周波数推定手法には、パワースペクトルにおける複数のピーク(極大値)を検出し、そのピークが一定時間連続して同一の周波数帯に存在する場合、その周波数を音高であると判定する手法がある。しかしながら、かかる手法では、音符の持続時間を考慮しないため、音符が推移するとき、推移前後の音符により生成される音高の影響により推定精度が劣化する危険がある。又、上記手法は楽器が演奏される周波数帯を考慮せずに音高推定するため、楽曲が複数の楽器で構成される場合、パワースペクトルのピークが多数出現し、特定の楽器による主旋律の音高を得ることが困難になる。
かかる問題は、楽曲のテンポに注目し、音符の持続時間を考慮することで、また、ベース音の音高のみを推定することで解決できる。
図６は前述の文献１における音高推定装置の構成図である。
バンドパスフィルタ１はベース音が存在する周波数帯域に基づいて処理対象の楽曲信号に含まれる40〜250Hzの信号成分を通過する。パワースペクトル算出部２はバンドパスフィルタ出力信号から、窓長W1のハミング窓を用いて信号を切り出し、ARスペクトルPt(f)を算出する。ここでtは原信号における時刻、fは周波数である。一方、ビートヒストグラム生成部３は、下記の文献２で提案されている手法によりビートヒストグラムを生成し、テンポ推定部４は該ビートヒストグラムよりテンポを推定する。すなわち、テンポ推定部４はビートヒストグラムの40bpm〜200bpmの範囲内で局所的に最大となる値を検出し、それらをテンポの候補とする。さらに、得られた候補のうち、ビート数が最大であるものをテンポとする。このようにして求められたテンポは、１分間に含まれるビートの最大の数を示すため、このテンポの逆数を算出することにより、音符の最低の持続時間σを得ることが可能となる。
文献２：G.Tzanetakis and P.Cook, "Musical Genre Classification of Audio Signals" IEEE Trans. Speech and Audio Proceeding, vol.10, no.5, pp.293-302, 2002.
パワースペクトルと持続時間σが求まれば、評価関数計算部５は次式
音高推定部６は、時刻tiにおいてRの値が最大となる周波数fjを求め、これを時刻tiにおけるベース音の音高の推定値とする。
（E）和音判定装置
図７は本発明の和音判定装置の構成図である。基本周波数計部１１は図示しないオーディオソースより楽曲信号を入力され、所定時刻毎に該楽曲信号に含まれる和音を構成するベース音(根音)の低周波数域における周波数
を、基本周波数として算出する。
長和音パワー計算部１２は(1)式に基づいて該基本周波数を用いて長和音のパワー
を計算し、短和音パワー計算部１３は(2)式に基づいて該基本周波数を用いて短和音のパワー
を計算する。長短評価関数算出部１４は長和音のパワーと短和音のパワーを用いて(3)式により楽曲の和音を評価する評価関数ｃ(t)の値を計算し、評価関数再計算部計算部１５は長短評価関数算出部１４により計算された評価関数値を(4)式により所定時間δの期間積分し、積分結果ｃ′(t)を和音判定部１６に入力する。和音判定部１６は積分結果ｃ′(t)が正であれば長和音であると判定し、負であれば短和音であるとして判定結果を出力する。
図７は本発明の和音判定装置の構成図である。基本周波数計部１１は図示しないオーディオソースより楽曲信号を入力され、所定時刻毎に該楽曲信号に含まれる和音を構成するベース音(根音)の低周波数域における周波数
長和音パワー計算部１２は(1)式に基づいて該基本周波数を用いて長和音のパワー
（F）実験結果
本発明の有効性を確認するための実験を行なった。実験にはCDから直接入手した44.1ｋHz、20秒のモノラル音楽信号を用いた、また、単音の持続時間δはステップ１０１で引用した文献の手法を用いて0.3秒と設定した。なお、処理対象信号は楽譜上でD→A→Bｍ→F♯ｍ→G→D→G→Aの和音進行を繰り返す。
実験結果を図８〜図１０に示す。ただし、図８(a)、(b)は根音の推定結果と推定誤差を示す。また図９(a)、(b)はそれぞれ根音に対して長和音及び短和音の音程にある周波数が示すパワーの和
を示す。さらに、図１０(a)、(b)は評価関数c′(t)と得られた長和音、短和音の推定結果を示す。なお、結果を明瞭とするため、楽譜上で短和音と表記されている時間を図１０(b)において斜線で示す。
図１０(b)より、本発明による長和音及び短和音の推移は楽譜上の和音の推移に従い、高精度に推定されていることが確認できる。一方、図９(a)、(b)より、全時刻において
が確認できる。これは、長和音、短和音いずれが演奏される場合においても、どちらのパワー成分も含まれることを意味する。したがって、長和音、短和音のパワーを個別に算出し、差分によって導出される評価関数は有効であると考えられる。しかしながら図９(a)、(b)よりわかるように、楽譜上では長和音と表記されている1.2〜2.5，8.8，10.3，13.2，13.6，14.2秒において、本発明は短和音と推定している。これらの前後の時刻における長和音及び短和音のパワーの推移は、図９(a)、(b)より
と比較して値が減少していることが確認できる。そこで、上記の時刻について実際に楽譜を考察した結果、楽譜上に記載された和音とは厳密に合致しないメロディーが演奏されていることを確認した。このことから、以上の誤推定は本発明方法により生じたのではなく、作曲者の意図等に基づく楽曲の構成により生じたと考えられる。和音は単音の持続時間と比較して長時間持続する点及び同一楽曲中に存在する各和音の持続時間は類似するという点を考慮することで楽譜と同一の結果を得ることは可能であると考えられる。
本発明の有効性を確認するための実験を行なった。実験にはCDから直接入手した44.1ｋHz、20秒のモノラル音楽信号を用いた、また、単音の持続時間δはステップ１０１で引用した文献の手法を用いて0.3秒と設定した。なお、処理対象信号は楽譜上でD→A→Bｍ→F♯ｍ→G→D→G→Aの和音進行を繰り返す。
実験結果を図８〜図１０に示す。ただし、図８(a)、(b)は根音の推定結果と推定誤差を示す。また図９(a)、(b)はそれぞれ根音に対して長和音及び短和音の音程にある周波数が示すパワーの和
図１０(b)より、本発明による長和音及び短和音の推移は楽譜上の和音の推移に従い、高精度に推定されていることが確認できる。一方、図９(a)、(b)より、全時刻において
と比較して値が減少していることが確認できる。そこで、上記の時刻について実際に楽譜を考察した結果、楽譜上に記載された和音とは厳密に合致しないメロディーが演奏されていることを確認した。このことから、以上の誤推定は本発明方法により生じたのではなく、作曲者の意図等に基づく楽曲の構成により生じたと考えられる。和音は単音の持続時間と比較して長時間持続する点及び同一楽曲中に存在する各和音の持続時間は類似するという点を考慮することで楽譜と同一の結果を得ることは可能であると考えられる。
１１ 基本周波数計部
１２ 長和音パワー計算部
１３ 短和音パワー計算部
１４ 長短評価関数算出部
１５ 評価関数再計算部計算部
１６ 和音判定部
１２ 長和音パワー計算部
１３ 短和音パワー計算部
１４ 長短評価関数算出部
１５ 評価関数再計算部計算部
１６ 和音判定部
Claims (6)
- 楽曲信号の和音を判定する和音判定装置において、
所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出する基本周波数計算部、
該基本周波数を用いて長和音のパワーと短和音のパワーを計算するパワー計算部、
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算する評価関数計算部、
前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定する和音判定部、
を備えたことを特徴とする和音判定装置。 - 前記パワー計算部は、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する、
ことを特徴とする請求項１記載の和音判定装置。 - 前記評価関数値を所定時間積分する演算部を備え、前記和音判定部は該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する、
ことを特徴とする請求項１または２記載の和音判定装置。 - 楽曲信号の和音を判定する和音判定方法において、
所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出するステップ、
該基本周波数を用いて長和音のパワーと短和音のパワーを計算するステップ、
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算するステップ、
前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定するステップ、
を備えたことを特徴とする和音判定方法。 - 前記パワー計算ステップにおいて長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する、
ことを特徴とする請求項４記載の和音判定方法。 - 前記評価関数値を所定時間積分するステップを備え、前記和音判定ステップにおいて該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する、
ことを特徴とする請求項４または５記載の和音判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006192430A JP4489058B2 (ja) | 2006-07-13 | 2006-07-13 | 和音判定方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006192430A JP4489058B2 (ja) | 2006-07-13 | 2006-07-13 | 和音判定方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008020671A JP2008020671A (ja) | 2008-01-31 |
| JP4489058B2 true JP4489058B2 (ja) | 2010-06-23 |
Family
ID=39076645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006192430A Expired - Fee Related JP4489058B2 (ja) | 2006-07-13 | 2006-07-13 | 和音判定方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4489058B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01219634A (ja) * | 1988-02-29 | 1989-09-01 | Nec Home Electron Ltd | 自動採譜方法及び装置 |
| JPH10105169A (ja) * | 1996-09-26 | 1998-04-24 | Yamaha Corp | ハーモニーデータ生成装置およびカラオケ装置 |
| JP2000298475A (ja) * | 1999-03-30 | 2000-10-24 | Yamaha Corp | 和音判定装置、方法及び記録媒体 |
| JP2004163767A (ja) * | 2002-11-14 | 2004-06-10 | Nec Access Technica Ltd | 環境同期制御システム、制御方法及びプログラム |
| JP2004184769A (ja) * | 2002-12-04 | 2004-07-02 | Pioneer Electronic Corp | 楽曲構造検出装置及び方法 |
| JP2005321460A (ja) * | 2004-05-06 | 2005-11-17 | Dainippon Printing Co Ltd | 映像データへの楽曲データ付加装置 |
| JP2006510944A (ja) * | 2002-12-20 | 2006-03-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ信号解析方法および装置 |
-
2006
- 2006-07-13 JP JP2006192430A patent/JP4489058B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01219634A (ja) * | 1988-02-29 | 1989-09-01 | Nec Home Electron Ltd | 自動採譜方法及び装置 |
| JPH10105169A (ja) * | 1996-09-26 | 1998-04-24 | Yamaha Corp | ハーモニーデータ生成装置およびカラオケ装置 |
| JP2000298475A (ja) * | 1999-03-30 | 2000-10-24 | Yamaha Corp | 和音判定装置、方法及び記録媒体 |
| JP2004163767A (ja) * | 2002-11-14 | 2004-06-10 | Nec Access Technica Ltd | 環境同期制御システム、制御方法及びプログラム |
| JP2004184769A (ja) * | 2002-12-04 | 2004-07-02 | Pioneer Electronic Corp | 楽曲構造検出装置及び方法 |
| JP2006510944A (ja) * | 2002-12-20 | 2006-03-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ信号解析方法および装置 |
| JP2005321460A (ja) * | 2004-05-06 | 2005-11-17 | Dainippon Printing Co Ltd | 映像データへの楽曲データ付加装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008020671A (ja) | 2008-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bittner et al. | Deep Salience Representations for F0 Estimation in Polyphonic Music. | |
| Salamon et al. | Melody extraction from polyphonic music signals using pitch contour characteristics | |
| US8440901B2 (en) | Musical score position estimating apparatus, musical score position estimating method, and musical score position estimating program | |
| Bosch et al. | Evaluation and combination of pitch estimation methods for melody extraction in symphonic classical music | |
| JP6035702B2 (ja) | 音響処理装置および音響処理方法 | |
| TW201142815A (en) | Apparatus and method for modifying an audio signal using harmonic locking | |
| Collins | Using a Pitch Detector for Onset Detection. | |
| JP2007322598A (ja) | 楽曲分類装置、楽曲分類方法、及び楽曲分類プログラム | |
| JP4613923B2 (ja) | 楽音処理装置およびプログラム | |
| US9378719B2 (en) | Technique for analyzing rhythm structure of music audio data | |
| JP5141397B2 (ja) | 音声処理装置およびプログラム | |
| Toh et al. | Multiple-Feature Fusion Based Onset Detection for Solo Singing Voice. | |
| JP5924968B2 (ja) | 楽譜位置推定装置、及び楽譜位置推定方法 | |
| JP4489058B2 (ja) | 和音判定方法および装置 | |
| Kraft et al. | The tonalness spectrum: feature-based estimation of tonal components | |
| Heydarian et al. | Dastgàh recognition in Iranian music: Different features and optimized parameters | |
| Theimer et al. | Definitions of audio features for music content description | |
| JPWO2008001779A1 (ja) | 基本周波数推定法および音響信号推定システム | |
| Lee et al. | i-Ring: A system for humming transcription and chord generation | |
| Sutton et al. | Transcription of vocal melodies using voice characteristics and algorithm fusion | |
| JP2008257020A (ja) | メロディーの類似度算出方法及び類似度算出装置 | |
| Wrzeciono et al. | Violin Sound Quality: Expert Judgements and Objective Measurements | |
| JP2007240552A (ja) | 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法 | |
| JP4625934B2 (ja) | 音分析装置およびプログラム | |
| Molina et al. | Dissonance reduction in polyphonic audio using harmonic reorganization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |