WO2006062064A1

WO2006062064A1 - 楽曲処理装置

Info

Publication number: WO2006062064A1
Application number: PCT/JP2005/022303
Authority: WO
Inventors: Hiroaki Yamane
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-12-10
Filing date: 2005-12-05
Publication date: 2006-06-15
Also published as: US7470853B2; JP4698606B2; US20080011148A1; JPWO2006062064A1; EP1816639A1; EP1816639A4; EP1816639B1

Abstract

音階情報入力部（１１）は、楽曲の音階情報の入力を受け付ける。出現確率算出部（１２）は、音階情報入力部（１１）に入力された楽曲の音階情報に基づいて当該音階情報に含まれる各音名の出現確率をそれぞれ算出する。テンプレート記憶部（１３）には、予め作成された２４種類の調に対応する２４種類のテンプレートが記憶される。荷重度算出部（１４）は、出現確率算出部（１２）で算出される楽曲の出現確率分布とテンプレート記憶部（１３）に記憶されている各テンプレートとに基づいて、各テンプレートについての荷重度を算出する。曲調情報検出部（１５）は、荷重度算出部（１４）によって算出される各荷重度を組として示す情報または当該荷重度の組から算出される情報を楽曲の曲調情報として検出する。

Description

明細書

楽曲処理装置

技術分野

[0001] 本発明は、楽曲処理装置に関し、より特定的には、楽曲の音階情報から曲調情報を検出したり、それを用いて楽曲の検索を行ったりする楽曲処理装置に関する。背景技術

[0002] 従来から、楽曲の曲調情報を検出する方法が知られている。曲調情報とは、楽曲のイメージを決める要素 (例えば調など）を示す情報である。例えば楽曲の調を検出する方法として、楽曲の音階に関する情報 (以下、音階情報という）に基づいて当該音階情報に含まれる各音名の出現確率を算出し、各音名に関する当該出現確率の分布（出現確率分布と呼ぶ。後述する図 3参照。）を用いて楽曲の調を検出する方法（第 1の方法)がある。この方法では、複数種類の調それぞれについて、予め作成された理想的な出現確率分布をテンプレートとしてそれぞれ用意しておく。そして、調を検出する対象となる楽曲の出現確率分布を算出し、当該楽曲についての出現確率分布と当該各テンプレートとを 1つずつ個別に照合する。その結果、出現確率分布が当該楽曲と最も近似するテンプレートにより示される調を楽曲の調として決定する。

[0003] また、従来においては、入力される音階情報を所定の区間に区切り、区間毎に調を検出する方法もある（例えば、特許文献 1参照。 ) oこの方法では、例えば楽曲の 1小節目から 4小節目までを 1つの区間、 2小節目から 5小節目までを次の区間と、うように、楽曲の音階情報を複数の区間に区切る。そして、区間毎にその区間の調を検出する。

特許文献 1 :特許第 2715816号公報

発明の開示

発明が解決しょうとする課題

[0004] ここで、実際の楽曲には、転調を含むような複数種類の調で構成される楽曲がある。このような転調を含む楽曲の出現確率分布は、複数種類の調の出現確率分布が合成された分布となる結果、楽曲に含まれる各調の出現確率分布のいずれとも異なる分布となる場合がある。第 1の方法では、楽曲の出現確率分布とテンプレートの出現確率分布とを 1対 1で照合するので、楽曲の出現確率分布が複数の調の合成分布となる場合、合成分布に最も近似するテンプレートにより示される調が楽曲の調に決定される。つまり、この場合、楽曲に含まれる調のいずれとも異なる調が楽曲の調として決定されること〖こなる。したがって、上記第 1の方法では、転調を含むような複数種類の調で構成される楽曲につヽては調を誤検出してしまう可能性がある。

[0005] また、特許文献 1に開示された方法では、楽曲の音階情報を複数の区間に区切り、その区間毎に調が検出される。そして、検出された各区間の調の変化によって、転調する箇所が検出される。ここで、調を検出する対象は、入力された音階情報の全体ではなく、当該音階情報を短く区切った区間である。具体的には、特許文献 1の方法では、転調を検出するためには、少なくとも数小節程度 (例えば 4小節程度）の単位に音階情報を区切らなければならない。ここで、音階情報を区間に区切ると、調を検出する対象に含まれる音の数が少なくなる。つまり、音階情報を区間に区切ることによつて、調を検出する対象に含まれる情報数が少なくなるので、調を検出する精度が必然的に低下してしまう。以上より、特許文献 1の方法では、音階情報を区切らなければならないことが理由で、各区間における調を検出する精度が低下してしまう。

[0006] それ故、本発明は、楽曲が転調を含む場合であっても楽曲の曲調情報を正確に検出することが可能な楽曲処理装置を提供することを目的とする。

課題を解決するための手段

[0007] 第 1の局面は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置であって、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートを複数のタイプにっヽてそれぞれ記憶するテンプレート記憶部と、テンプレート記憶部に記憶されている複数の各テンプレートにつ、て、出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度力もなる荷重度の組を曲調情報として検出する曲調情報検出部とを備える。 [0008] 第 2の局面は、上記第 1の局面において、テンプレート記憶部に記憶されているテンプレートは、楽曲の調を示し、楽曲の調毎に異なるテンプレートであって、曲調情報検出部は、荷重度の組に基づいて、所定の楽曲の調、調性、調性占有率、およびスケールのうち少なくとも 1つを曲調情報としてさらに検出する。

[0009] 第 3の局面は、上記第 2の局面において、曲調情報検出部は、テンプレート記憶部に記憶されている各テンプレートのうち、荷重度算出部によって算出された荷重度が最大値となるテンプレートにより示される調を所定の楽曲の調として検出する。

[0010] 第 4の局面は、上記第 2の局面において、曲調情報検出部は、調性が同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各調性について行い、算出された総和が大きい方の調性を所定の楽曲の調性として検出する。

[0011] 第 5の局面は、上記第 2の局面において、曲調情報検出部は、スケールが同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各スケールにつ、て行、、算出された総和が最も大き、スケールを所定の楽曲のスケールとして検出する。

[0012] 第 6の局面は、上記第 1の局面において、出現確率取得部が出現確率の分布を取得する対象となる複数の楽曲のデータを記憶する楽曲データ記憶部と、曲調情報検出部によって検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、楽曲データ記憶部にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として楽曲データ記憶部に記憶させる曲調情報記憶部と、楽曲データ記憶部にデータが記憶されている楽曲を、曲調情報を用いて検索する検索部とをさらに備える。

[0013] 第 7の局面は、上記第 6の局面において、ユーザによって入力されるべき選曲情報と曲調情報に関する条件とを関連付けた選曲ルールを記憶する選曲ルール記憶部をさらに備え、検索部は、ユーザによって選曲情報が入力された場合、楽曲データ記憶部にデータが記憶されている楽曲のうち、当該入力された選曲情報に関連付けられた条件を満たす楽曲を検索結果として出力する。

[0014] 第 8の局面は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置において用いられる方法であって、楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得ステップと、記憶されている複数の各テンプレートにつ、て、出現確率取得ステップにお、て取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、荷重度算出ステップにお、て各テンプレートにつ、てそれぞれ算出された荷重度力なる荷重度の組を曲調情報として検出する曲調情報検出ステップとを含む。

[0015] 第 9の局面は、上記第 8の局面において、楽曲処理装置には、出現確率取得ステツプにおいて出現確率の分布が取得される対象となる複数の楽曲のデータがさらに予め記憶されており、曲調情報検出ステップにお!/、て検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、楽曲処理装置にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として楽曲処理装置に記憶させる曲調情報記憶ステップと、楽曲処理装置にデータが記憶されている楽曲を、曲調情報を用いて検索する検索ステップとをさらに含む。

[0016] 第 10の局面は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置のコンピュータに実行させるためのプログラムであって、楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、所定の楽曲の少なくとも一部につ、て、音名毎の出現確率の分布を取得する出現確率取得ステツプと、記憶されている複数の各テンプレートについて、出現確率取得ステップにおいて取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、荷重度算出ステップにお!/、て各テンプレートについてそれぞれ算出された荷重度力なる荷重度の組を曲調情報として検出する曲調情報検出ステップとを、コンピュータに実行させる。

[0017] 第 11の局面は、上記第 10の局面において、上記プログラムを記録した、コンビユータで読み取り可能な記録媒体である。

[0018] 第 12の局面は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する集積回路であって、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示す複数の各テンプレートについて、出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度力なる荷重度の組を曲調情報として検出する曲調情報検出部とを備える。

発明の効果

[0019] 上記第 1の局面によれば、複数のテンプレートの中から最も一致するテンプレートを 1つ選択するのではなぐ各テンプレートの荷重度の組が検出される。これによつて、所定の楽曲（曲調情報を検出する対象となる楽曲）における出現確率の分布に占める各テンプレートの割合を知ることができる。すなわち、テンプレートに対応する楽曲のタイプを 1つ決定するのではなぐ「所定の楽曲に占める各タイプの割合」を検出することができ、所定の楽曲の曲調を各タイプ毎の割合として表すことができる。したがつて、例えば所定の楽曲が 2つの調を含む場合には、その 2つの調のテンプレートの荷重度が大きく算出される。つまり、第 1の発明によれば、楽曲が転調を含む場合であっても楽曲の曲調情報を正確に検出することが可能となる。

[0020] 上記第 2の局面によれば、荷重度の組を用いて算出することで、最も優勢な調、最も優勢な調性、最も優勢な調性占有率および最も優勢なスケールを正確に検出することができる。

[0021] 上記第 3の局面によれば、荷重度が最大値となるテンプレートにより示される調を検出することで、楽曲の調を正確に検出することができる。

[0022] 上記第 4の局面によれば、調性が同じである調を示す複数のテンプレートについて荷重度の総和をそれぞれ算出し、総和が大きい方の調性を検出することで、楽曲の調性を正確に検出することができる。

[0023] 上記第 5の局面によれば、スケールが同じである調を示す複数のテンプレートについて荷重度の総和を算出し、総和が最も大きいスケールを検出することで、楽曲のスケールを正確に検出することができる。 [0024] 上記第 6の局面によれば、荷重度の組、または、それから得られる情報 (調、調性、スケール等)を用いて楽曲の検索を行うことができる。したがって、曲調情報を用いた検索を正確に行うことができる。

[0025] 上記第 7の局面によれば、ユーザは、入力した選曲条件に関連する楽曲を容易に検索することができる。

[0026] 本発明のこれらおよび他の目的、特徴、局面、効果は、添付図面と照合して、以下の詳細な説明から一層明らかになるであろう。

図面の簡単な説明

[0027] [図 1]図 1は、本発明の第 1の実施形態に係る曲調検出装置 1を示すブロック図である。

[図 2]図 2は、音階情報入力部 11に入力される楽曲の音階情報の一例を示す図である。

[図 3]図 3は、各音名に関する出現確率の分布を概念的に示す図である。

[図 4]図 4は、 24種類のテンプレートと当該各テンプレートについての荷重度の算出結果の一例を示す図である。

[図 5]図 5は、第 1の実施形態に係る曲調検出装置 1の処理の流れを表すフローチヤートを示す図である。

[図 6]図 6は、同一スケールで形成される調の関係の一例を示す図である。

[図 7]図 7は、曲調検出装置 1がコンピュータシステム 100によって実現される構成例を示すブロック図である。

[図 8]図 8は、本発明の第 2の実施形態に係る楽曲検索装置 2を示すブロック図である。

[図 9]図 9は、第 2の実施形態に係る楽曲検索装置 2の処理の流れを表すフローチヤートを示す図である。

[図 10]図 10は、楽曲データ記憶部 23に記憶されるデータの一例を示す図である。

[図 11]図 11は、選曲情報入力部 25の入力画面の一例を示す図である。

[図 12]図 12は、選曲ルールの一例を示す図である。

符号の説明 [0028] 1 曲調検出装置

11 音階情報入力部

12 出現確率算出部

13 テンプレート記憶部

14 荷重度算出部

15 曲調情報検出部

100 コンピュータシステム

110 演算処理部

120 記憶部

130 ディスクドライブ装置

140 記録媒体

2 楽曲検索装置

21 楽曲入力部

22 音階データ変換部

23 楽曲データ記憶部

24 選曲ルール記憶部

25 選曲情報入力部

26 検索部

発明を実施するための最良の形態

[0029] 以下に、本発明の実施形態について図面を参照しながら説明する。なお、以下の説明において、「調性」とはメジャーおよびマイナーを意味し、「調性占有率」とは楽曲内におけるメジャー（またはマイナー）の占有率を意味する。また、「スケール」とは、調号が同一となるメジャーおよびマイナーの 12種類の組み合わせを意味する。また、「調」とは調性とスケールとで構成される 24種類 (C ;Cメジャー、 Am; Aマイナー、等)を意味する。これらの調、調性、調性占有率、およびスケールは、楽曲の曲調を示す指標であり、曲調情報の 1つである。なお、後述する荷重度を組として示す情報 (荷重度の組)も曲調情報の 1つである。また、本発明における楽曲処理装置の一例として、上記曲調情報を検出する曲調検出装置を第 1の実施形態として説明する。また、本発明における楽曲処理装置の他の例として、上記曲調情報を用いて楽曲を検索する楽曲検索装置を第 2の実施形態として説明する。

[0030] (第 1の実施形態）

まず、本発明の第 1の実施形態に係る曲調検出装置 1について、図 1を用いて説明する。図 1は、本発明の第 1の実施形態に係る曲調検出装置 1を示すブロック図である。図 1において、曲調検出装置 1は、音階情報入力部 11、出現確率算出部 12、テンプレート記憶部 13、荷重度算出部 14および曲調情報検出部 15を備える。

[0031] 音階情報入力部 11は、曲調検出装置 1の外部または内部から、楽曲の音階情報の入力を受け付ける。音階情報入力部 11に入力される楽曲の音階情報は、少なくとも音の高さ (ノートナンバー）および音の長さ（デュレーシヨン)の情報を含むデータとする。図 2は、音階情報入力部 11に入力される楽曲の音階情報の一例を示す図である。図 2において、楽曲の音階情報は、「小節数 Z拍数 Zティック数」で示された時間と、音の強さを表すべ口シティと、ノートナンバーとで表現される。ここで、上記時間は、各ノートナンバーが発音または消音となる時間を示す。ベロシティは 0〜127の範囲の整数で表現され、ベロシティの値が大きいほど音量が大きい。なお、ベロシティの値が「0」であることは消音を示す。ノートナンバーの値は、ピアノの鍵盤中央のじの高さを示す値を「60」として設定される。また図 2においては、デュレーシヨンは時間およびべ口シティによって表される。例えば時間が「οοοΖ〇Ζοοο」のとき、ノートナンバーが「60」でべ口シティは「90 (発音）」となる。また、時間が「000Ζ0Ζ432」のとき、ノートナンバーが「60」でべ口シティは「0 (消音）」となる。したがって、「000Ζ〇Ζ 000」から「000Ζ0Ζ432」までの時間区間の音階情報は、ノートナンバーが「60」、ベロシティが「90」で、デュレーシヨン力 32ティックとなる。

[0032] なお、図 2に示す楽曲の音階情報の一例では、時間は「小節数 Ζ拍数 Ζティック数」で示されたが、例えば「時間 Ζ分 Ζ秒 Ζフレーム Ζサブフレーム」で示されてもよヽ。またべ口シティは、 0〜 127の範囲の整数で表現した力例えば、発音を表す「1」および消音を表す「0」の 2値で表現されてもよい。

[0033] 以上のように、図 2に示す楽曲の音階情報には、音の高さ（ノートナンバー）および音の長さ（デュレーシヨン)の情報が含まれる。なお、楽曲の音階情報は、単純にノートナンバーに対してデュレーシヨンを 1対 1で持つ方法で表現されてもよい。また楽曲の音階情報は、ノートナンバーおよびデュレーシヨンの他に、ノートナンバーの連続的な変化を表すピッチベンドの情報をさらに含む方法で表現されてもよい。このときノートナンバーはピッチベンドの値に応じて変動する。

[0034] 出現確率算出部 12は、音階情報入力部 11に入力された楽曲の音階情報に含まれる各音名の出現確率をそれぞれ算出する。図 3は、各音名に関する出現確率の分布（出現確率分布）を概念的に示す図である。図 3においては、 C ;i=0、 C# ;i= l、〜、 B;i= l lのように、 12種類の音名には 0から 11までの音名ナンバー iがそれぞれ付されている。なお、以下の説明では、音名ナンバーが iである音名のことを「音名 i」と記載することがある。

[0035] テンプレート記憶部 13は、 24種類の調に対応する 24種類のテンプレートを記憶する。 24種類のテンプレートは、楽曲の異なるタイプをそれぞれ表したものとなる。またテンプレートは、それに対応する調の理想的な出現確率分布を示す。これらの各テンプレートは、予め作成されてテンプレート記憶部 13に記憶される。図 4は、 24種類のテンプレートと各テンプレートについての荷重度の算出結果との一例を示す図である。図 4においては、各テンプレートにより示される 24種類の調には、メジャーの調 =0〜11、マイナーの調を j = 12〜23とした調ナンバー jが付されている。なお、以下の説明では、調ナンバーが jである調のことを「調と記載することがある。また、各テンプレートについての荷重度の算出結果については後述にて説明する。

[0036] 荷重度算出部 14は、出現確率算出部 12で算出される楽曲の出現確率分布とテンプレート記憶部 13に記憶される各テンプレートとに基づいて、各テンプレートについての荷重度をそれぞれ算出する（図 4参照。；)。荷重度算出部 14は、 24種類のテンプレートに 1つずつ対応するように 24個の荷重度を算出する。ここで、荷重度とは、楽曲の出現確率分布においてテンプレートの出現確率分布が占める割合（占有率）を示す。換言すれば、テンプレートの荷重度とは、 24種類のテンプレートを用いて楽曲の出現確率分布を表す場合に、そのテンプレートの出現確率分布が寄与する割合を示す値である。例えば、荷重度の値が大きいテンプレートは、楽曲の出現確率分布において占める割合が大きいテンプレートである。したがって、荷重度の値が大、テンプレートに対応する調は、当該楽曲にお、て占める割合が大き!/、調である。

[0037] 曲調情報検出部 15は、荷重度算出部 14で算出された 24個の荷重度に基づいて楽曲の曲調情報を検出する。曲調情報とは、 24個の荷重度を 1つの組として示す情報 (荷重度の組)または当該荷重度の組から算出される各種情報を示す。ここで各種情報とは、例えば、上述した調、調性占有率、調性およびスケールなどを示す情報である。曲調情報検出部 15は、荷重度の組を曲調情報として検出する。そして、当該荷重度の組から算出される調、調性占有率、調性およびスケールなどを曲調情報として検出する。

[0038] 次に、第 1の実施形態に係る曲調検出装置 1の処理の流れについて図 5を用いて説明する。図 5は、第 1の実施形態に係る曲調検出装置 1の処理の流れを表すフロ一チャートを示す図である。

[0039] 音階情報入力部 11は、曲調検出装置 1の外部または内部から、楽曲の音階情報の入力を受け付ける（ステップ Sl)。例えば、 SMF (スタンダード MIDIファイル）などの、音階情報を示す音階データが入力される。なお、入力される音階データは、 PC Mデータ等の音声データを変換したものであってもよい。ここでは、図 2に示したような音階情報が入力されるものとする。なお、本発明では、入力された楽曲を小節等の区間に区切る必要がないので、本発明において用いる音階情報には、小節の位置を示す情報が含まれている必要はない。本発明では、転調を含む楽曲を小節等の区間に区切ることなぐ楽曲に含まれている調を正確に検出することができる。

[0040] ステップ S1の次に、出現確率算出部 12は、ステップ S1で入力された楽曲の音階情報に含まれる各音名の出現確率をそれぞれ算出する (ステップ S2)。ここで音名 i の出現確率を P (i)とする。出現確率 P (i)は、音階情報に含まれる音名 iが持つデュレーシヨンの総和を全ての音名（i=0〜l l)が持つデュレーシヨンの総和で除算することにより算出される。なお、各音名の出現確率の総和∑P (i)は、以下の式（1)のように示される。

∑P (i) = l (i=0〜： L l "（l)

[0041] 上記ステップ S2において示したように、本実施形態では、楽曲の各音名の出現確率分布は出現確率算出部 12によって算出されるものとした。ここで、楽曲の各音名の出現確率分布が予め分力つている場合、すなわち、楽曲の各音名の出現確率分布を示すデータが得られている場合には、出現確率算出部 12は、ステップ S2において当該データを取得するようにしてもよい。この場合、ステップ S2で出現確率分布を算出する処理を省略することができる。

[0042] ステップ S2の次に、荷重度算出部 14は、各テンプレートについての荷重度をそれぞれ算出する (ステップ S3)。荷重度は、ステップ S2で算出された各音名の出現確率 (楽曲の実際の出現確率）と、テンプレート記憶部 13に記憶された 24種類のテンプレートにより示される出現確率とを用いて算出される。以下、荷重度を算出する方法を詳細に説明する。

[0043] まず、曲調情報を検出する対象となる楽曲の出現確率分布を、 24種類の調 (j = 0 〜23)に対応する 24種類のテンプレートの出現確率分布を用いて表現することを考える。ここで、対象となる楽曲の出現確率分布において調 jのテンプレートの出現確率分布が占める割合を示す荷重度を W(j)とする。そして、調 jのテンプレートに含まれる音名 iの出現確率を Pt (j, i)とする。このとき、次の式（2)および式（3)の関係が成り立つ。

∑W(j) = l (j = 0〜23) "' (2)

∑Pt (j, i) = l (i=0〜： L Iト - (3)

ここで、各テンプレートを用いて (すなわち、 W(j)および Pt (j, i)を用いて）、対象となる楽曲の音階情報に含まれる音名 iの出現確率 Pf (i)を表現した場合、当該出現確率 Pf (i)は次の式 (4)のように示される。

Pf (i) =∑(W(j) * Pt (j, i) ) (j = 0〜23ト - (4)

したがって、ステップ S2で算出された楽曲の実際の出現確率 P (i)と Pf (i)とが全音名 (i=0〜l l)について一致するように各テンプレートの荷重度 W(j) (j = 0〜23)を算出する。つまり、式（2)〜（4)の関係を満たし、 i = 0〜： L 1につ、て P (i) = Pf (i)となるような W(j)を求めればよい。具体的には、ここでは、各音名の出現確率の誤差 (P (i) — Pf (i) )を 2乗した和を最小化させることによって各テンプレートの荷重度 W (j) (j = 0〜23)を求める。より具体的には、音名 iの出現確率の誤差を E (i)とし、その誤差 E ( i)を 2乗した和を 'Eとすると、 E (i)および 'Eはそれぞれ式 (5)および式（6)のように示される。

E (i) =P (i) - Pf (iト - (5)

Έ= Σ (E (i) ) ² (i=0〜： L l "（6)

この式 (6)を用いて、 'Eが最小となる各テンプレートの荷重度 W(j) (j = 0〜23)を算出する。なお、各テンプレートの荷重度 W(j) (j = 0〜23)は、例えば進化戦略 (Evol utionary Strategy)を用いて算出することができる力 W(j)を算出するァルゴリズムはどのようなものであってもよい。以上のように、ステップ S3では、各テンプレートの荷重度 W(j) (j = 0〜23)が算出される。各テンプレートの荷重度 W(j) (j = 0〜23) は、例えば図 4に示すような算出結果となる。

[0044] ステップ S3の次に、曲調情報検出部 15は、ステップ S3で算出された各テンプレートの荷重度 W(j) (j = 0〜23)を 1つの組として示す情報 (荷重度の組)を楽曲の曲調情報として検出する (ステップ S4)。また、本実施形態では、ステップ S4において曲調情報検出部 15は、調、調性占有率、調性およびスケールを楽曲の曲調情報としてさらに検出する。以下に、調、調性占有率、調性およびスケールの検出方法について説明する。

[0045] まず調については、曲調情報検出部 15は、荷重度 W(j)の値が最大となるテンプレートに対応する調ナンバー jの調を求め、当該調を最も優勢な調として検出する。次に調性占有率については、曲調情報検出部 15は、楽曲内におけるメジャーの占有率およびマイナーの占有率を調性占有率として次の方法で検出する。メジャーの占有率を Rmaj、マイナーの占有率を Rminとすると、図 4において調ナンバー j = 0〜l 1がメジャーの調、 j = 12〜23がマイナーの調としているので、 Rmajおよび Rminはそれぞれ以下の式で算出される。

Rmaj =∑W(j) (j = 0〜： ί ! ·· (7)

Rmin=∑W(j) (j = 12〜23)…（8)

したがって、曲調情報検出部 15は、式（7)および式 (8)で算出した Rmajと Rminを調性占有率として検出する。

[0046] 次に調性については、曲調情報検出部 15は、メジャーまたはマイナーどちらが優勢であるかを調性として検出する。すなわち、曲調情報検出部 15は、上記式 (7)および式（8)で算出された Rmajの値と Rminの値とを比較して Rmajの値が大きければメジャー、 Rminの値が大きければマイナーとして調性を検出する。

[0047] 次にスケールの検出方法について図 6を用いて説明する。図 6は、同一スケールで形成される調の関係の一例を示す図である。図 6において、 24種類の調のうちそれぞれ 2種類の調が同一スケールとなるので、スケールは計 12種類存在する。また、各スケールについて、図 6に示すようにスケールナンバー s(s = 0〜 11)が付される。例えば図 6に示すように、同一スケールとなる C (j = 0)および Am (j = 12)の 2種類の調は、スケールナンバー sが s = 0である。ここで、楽曲内における各スケールの占有率をスケール占有率 Rs(s) (s = 0〜ll)とすると、 Rs(s)は以下のようにそれぞれ算出される。

Rs(0)=W(0)+W(12)

Rs(l)=W(l)+W(13)

Rs(2)=W(2)+W(14)

Rs(ll)=W(ll)+W(23)

したがって、曲調情報検出部 15は、スケール占有率 Rs(s)の値が最大となるスケールナンバー sのスケールを求め、当該スケールを最も優勢なスケールとして検出する

[0048] 以上のように、本実施形態に係る曲調検出装置 1は、楽曲の出現確率分布とテンプレートの出現確率分布とを 1対 1で照合するのではなぐ楽曲の出現確率分布において各調のテンプレートが占める割合 (荷重度)を算出する。その結果、楽曲に含まれる複数の調を検出する楽曲が転調を含むような複数種類の調で構成される場合であっても、楽曲の曲調情報を正確に検出することが可能となる。

[0049] また、本実施形態に係る曲調検出装置 1で検出された楽曲の曲調情報のうち荷重度の組によって、ユーザは、当該楽曲に含まれる複数の調の割合を把握することができる。すなわち、 1つの調の荷重度の値が大きぐそれ以外の調の荷重度の値が小さい場合には、ユーザは当該楽曲が単調の曲であることを把握できる。また、多数の調で荷重度の値が近似する場合には、ユーザは当該楽曲が多数の調で構成されている楽曲であることを把握できる。したがって、ユーザは実際に楽曲を聞かなくても当該楽曲のイメージを把握することができる。また、検出された調、調性占有率、調性およびスケールなどの曲調情報によっても、上記荷重度の組と同様、ユーザは実際に楽曲を聞力なくても当該楽曲のイメージを把握することができる。

[0050] また以上の説明では、テンプレート記憶部 13には 24種類の調についてそれぞれ 1 つずつのテンプレートしか記憶されていない。しかし、 1種類の調について複数のテンプレートが記憶されてもよい。 1種類の調について、例えばポップス、ジャズ、クラシックなどのジャンル毎にテンプレートを用意して、テンプレート記憶部 13に記憶させる。そして、テンプレート記憶部 13に記憶される全てのテンプレートについての荷重度を算出することで、曲調検出装置 1は楽曲のジャンルに合わせた曲調情報を正確に検出することができる。また、各テンプレートの荷重度には、それぞれジャンルの情報が含まれるので、楽曲のジャンルも検出することが可能となる。

[0051] また、 1種類の調について、例えばメロディおよびベースなどの特定のパート専用毎にテンプレートが用意され、テンプレート記憶部 13に記憶されてもよい。そして、テンプレート記憶部 13に記憶されるテンプレートのうち、入力される楽曲のパートに合わせたテンプレートについての荷重度を算出することで、曲調検出装置 1は入力される楽曲のパートに合わせた曲調情報を正確に検出することができる。

[0052] また、テンプレートとして、 24種類の調ではなくスケールまたはコードなどに対応する出現確率分布を用いてもよい。そして、当該各テンプレートについての荷重度を算出することで、スケールまたはコードに関する曲調情報を検出することができる。

[0053] また、音階情報入力部 11で入力を受け付ける音階情報は、メロディやベースなどの演奏のパートを少なくとも 1つ含むものであれば良ぐ例えば複数のパートで構成される音階情報であってもよい。また、音階情報を構成する楽曲の演奏時間は、全演奏時間分であってもよいし、一部の演奏時間分であってもよい。ここで、一部の演奏時間分は、例えば前奏を除く楽曲の前半部分の演奏時間分としてもよい。当該演奏時間は、主要な調で構成されることが一般的に多いからである。その結果、曲調検出装置 1は、より精度の高い曲調情報を検出することができる。また、曲調検出装置 1の処理負担ち軽減させることができる。

[0054] なお、本実施形態に係る曲調検出装置 1は、一般的なコンピュータシステム 100に曲調情報検出プログラムを実行させることによって実現されてもよい。図 7は、曲調検出装置 1がコンピュータシステム 100によって実現される構成例を示すブロック図である。なお、図 7において、音階情報入力部 11、出現確率算出部 12、テンプレート記憶部 13、荷重度算出部 14および曲調情報検出部 15は、図 1に示される各構成部とそれぞれ同一の符号を付し、かつ同一の機能とし、説明を省略する。

[0055] 図 7において、コンピュータシステム 100は、演算処理部 110、記憶部 120およびディスクドライブ装置 130を備える。演算処理部 110は、 CPUまたはメモリなどで構成され、曲調情報検出プログラムを実行させることによって、音階情報入力部 11、出現確率算出部 12、荷重度算出部 14および曲調情報検出部 15と同一の機能を実現する。また記憶部 120は、ハードディスクなどの記録媒体で構成され、曲調情報検出プログラムを実行させることによって、テンプレート記憶部 13と同一の機能を実現する。ディスクドライブ装置 130は、コンピュータシステム 100を曲調検出装置 1として機能させるための曲調情報検出プログラムが記憶された記録媒体 140から、当該曲調情報検出プログラムを読み出す。当該曲調情報検出プログラムが任意のコンピュータシステム 100にインストールされることにより、当該コンピュータシステム 100を上述した曲調検出装置として機能させることができる。なお、記録媒体 140は、例えばフレキシブルディスクや光ディスクなどのディスクドライブ装置 130によって読み取り可能な形式の記録媒体である。また、曲調情報検出プログラムは、予めコンピュータシステム 100 にインストールされてヽてもかまわな、。

[0056] なお、以上の説明では、上記曲調情報検出プログラムは記録媒体 140によって提供されるとした力インターネットなどの電気通信回線によって提供されてもよい。また、曲調情報検出における処理は、全部または一部をハードウェアによって処理される形態であってもよい。

[0057] (第 2の実施形態）

次に、本発明の第 2の実施形態に係る楽曲検索装置 2について、図 8および図 9を用いて説明する。図 8は、本発明の第 2の実施形態に係る楽曲検索装置 2を示すブロック図である。図 8において、楽曲検索装置 2は、楽曲入力部 21、音階データ変換部 22、出現確率算出部 12、楽曲データ記憶部 23、テンプレート記憶部 13、荷重度算出部 14、曲調情報検出部 15、選曲ルール記憶部 24、選曲情報入力部 25および検索部 26を備える。なお、図 8において、出現確率算出部 12、テンプレート記憶部 1 3、荷重度算出部 14および曲調情報検出部 15は、第 1の実施形態で説明した曲調検出装置 1の各構成部とそれぞれ同一の符号を付し、かつ同一の機能とし、説明を省略する。

[0058] 図 9は、第 2の実施形態に係る楽曲検索装置 2の処理の流れを表すフローチャートを示す図である。なお、図 9において、ステップ S1〜S4は、第 1の実施形態で説明した曲調検出装置 1の処理（図 5参照。）のステップ S1〜S4とそれぞれ同一の符号を付し、かつ同一の処理とし、説明を省略する。以下に、図 9を用いて楽曲検索装置 2 の処理の流れにっ、て説明する。

[0059] 楽曲入力部 21は、楽曲検索装置 2の外部または内部から、楽曲データの入力が受け付けられた力否かを判定する (ステップ Sl l)。ステップ SI 1の判定の結果、楽曲データが入力されていないと判定された場合、ステップ S 15の処理が行われる。一方、ステップ S11の判定の結果、楽曲データが入力されたと判定された場合、ステップ S 12の処理が行われる。すなわち、楽曲入力部 21は、入力された楽曲データを楽曲データ記憶部 23に記憶する (ステップ S 12)。

[0060] ここで楽曲データは、音声データであってもよいし、音階データであってもよい。音階データとは、例えば PCM形式の音声データ、 MP3および AACなどの圧縮形式の音声データなどである。音階データとは、 SMF (スタンダード MIDIファイル）などの音階情報を示す音階データなどである。なお、入力される楽曲データは、例えばメロディまたはベースなどの演奏のパートを少なくとも 1つ含むものであればよぐ例えば複数のパートで構成されるデータであってもよい。また、楽曲データの演奏時間は、全演奏時間分であってもよ、し、一部の演奏時間分であってもよ、。

[0061] ステップ S12の次に、音階データ変換部 22は、ステップ S12で記憶された楽曲データが音声データ (例えば PCM形式の音声データ)である場合には、当該音声データを音階情報を示す音階データに変換する (ステップ S13)。音階データ変換部 22 は、例えば特開昭 58— 181090号公報に開示された方法で音声データを音階データに変換する。また、音階データ変換部 22は、音声データが MP3および AACなどの圧縮形式の音声データである場合には、ー且 PCM形式の音声データに変換した後、音階データに変換する。なお、音階データに変換する方法は上記方法に限らず、他の方法を用いてもよい。また、ステップ S12で記憶された楽曲データが SMFなどの音階データである場合には、上記ステップ S13の処理は行わずにステップ S1〜S 4の処理が行われる。

[0062] ステップ S 13の次に、ステップ S1〜S4 (図 5参照。 )において、ステップ S 12で記憶された音階データまたはステップ S13で変換された音階データに基づいて曲調情報が検出される。そして、曲調情報検出部 15は、楽曲データ記憶部 23に曲調情報を記憶する（ステップ S14)。ここで楽曲データ記憶部 23には、ステップ S12で記憶された楽曲データと、ステップ S4で検出された楽曲データの曲調情報とがそれぞれ関連づけられて記憶される。図 10は、楽曲データ記憶部 23に記憶されるデータの一例を示す図である。図 10では、楽曲データ記憶部 23には、楽曲データ以外に曲調情報として最も優勢な調 (K)、調性 (T)、最も優勢なスケール (S)およびメジャーの占有率 (Rmaj)が記憶される。また、図 10において、楽曲データのスケール（S)はスケールナンバー sで示される。また、楽曲データ記憶部 23に記憶される楽曲データは、楽曲番号で管理されており、楽曲データとそれに関連づけられた曲調情報は、適宜削除または追加されることが可能である。

[0063] なお、ステップ S14において楽曲データ記憶部 23には、ステップ S4において検出された荷重度の組、調、調性占有率、調性およびスケールなど曲調情報のうち少なくとも 1つが記憶される。

[0064] ステップ S14の次に、検索部 26は、選曲情報入力部 25から選曲情報が入力された力否かを判定する (ステップ S 15)。ユーザは、選曲情報入力部 25を用いて所望する楽曲の選曲情報を入力する。図 11は、楽曲検索装置 2がもつ入力画面の一例を示す図である。図 11において、入力画面には、選曲情報リスト 251と検索ボタン 252 とが表示される。そして、ユーザは、選曲情報入力部 25を用いて選曲情報リスト 251 にある選曲情報の中力所望する選曲情報を選択した後、検索ボタン 252を押すことによって選曲情報を入力する。

[0065] ステップ S15の判定の結果、選曲情報が入力されていない場合、ステップ S11の処理に戻る。一方、ステップ S 15の判定の結果、選曲情報が入力された場合、ステップ S 16の処理が行われる。

[0066] ステップ S15の次に、検索部 26は、入力された選曲情報に対応する検索条件を特定する (ステップ S16)。ここで、入力された選曲情報に対応する検索条件を特定する方法としては、選曲ルール記憶部 24に記憶される選曲ルールに基づ、て特定する方法がある。図 12は、選曲ルールの一例を示す図である。選曲ルール記憶部 24には、楽曲の検索を行うための選曲ルールが記憶される。図 12では、選曲ルールとして、選曲情報リスト 251に表示された選曲情報と当該選曲情報に対応した検索条件とが予め設定される。すなわち図 12において、例えば「明るい」という選曲情報に対して検索条件は調性カ^ジャ一である楽曲データ、「やや楽しい」という選曲情報に対して検索条件はメジャーの占有率 Rmajが 0. 6〜0. 8である楽曲データなどと設定されている。

[0067] なお、選曲ルール記憶部 24に記憶される選曲情報は、例えば「楽しい」「やや楽しい」「普通」「やや悲しい」「悲しい」を 5段階に分類せずに「楽しい悲しい」の度合いとしてもよい。このとき、選曲情報は、例えば「楽しい（1. 0) 悲しい（0. 0)」の度合い sxと設定される。また、検索条件は、例えばメジャー占有率 Rmajが度合い sxと誤差 0. 1以内である楽曲データと設定される。そして、ユーザは選曲情報入力部 25としてスライダーなどのバーを用いて選曲情報を入力する。

[0068] ステップ S16の次に、検索部 26は、ステップ S12で楽曲データ記憶部 23に記憶された楽曲データの中から、ステップ S16で特定された条件に基づいて楽曲の検索を行い、その条件に合致する楽曲の曲名を表示する (ステップ S 17)。なお、ステップ S 17にお、て、表示された楽曲の曲名を再生する処理をさらに行ってもよ!、。

[0069] なお、以上の説明では、ユーザは、選曲情報を入力することによって、検索に用いる検索条件を特定した。ここで、他の実施形態においては、ユーザは、検索条件を直接入力することによって特定してもよい。例えば、選曲情報入力部 25においてユーザは、「調が c」や「メジャー」と、う条件またはこれらの条件を複数組み合わせた条件を入力する。このとき、検索部 26は、楽曲データ記憶部 23に記憶された曲調情報を用いて、ユーザが入力した検索条件に合致する楽曲の検索を行い、検索条件に合致する楽曲の曲名を表示する。その結果、ユーザは予め設定された選曲ルールによる検索条件ではなぐ検索条件を自由に入力して楽曲の検索を行うことができる。

[0070] ステップ S17の次に、ユーザが楽曲検索装置 2の処理を終了する力否かを選択する (ステップ S18)。当該処理を終了しない場合は、ステップ SI 1に戻る。以上の処理を入力される楽曲データ毎に行う。

[0071] 以上のように、本実施形態に係る楽曲検索装置 2によって、ユーザは楽曲の曲調情報に基づいて楽曲を検索することが可能となる。

[0072] なお、第 1および第 2の実施形態で説明した楽曲処理装置（曲調検出装置 1および楽曲検索装置 2)は集積回路で構成されてもよい。例えば、第 1の実施形態においては、出現確率算出部 12、荷重度算出部 14、および曲調情報検出部 15が集積回路で構成されてもよい。このとき集積回路は、楽曲およびテンプレート記憶部 13に記憶されているテンプレートを入力する入力端子と、曲調情報検出部 15で検出した曲調情報を出力する出力端子とを備える。また、第 2の実施形態においては、出現確率算出部 12、荷重度算出部 14、曲調情報検出部 15、音階データ変換部 22、および検索部 26が集積回路で構成されてもよい。このとき集積回路は、楽曲、テンプレート記憶部 13に記憶されているテンプレート、選曲ルール、選曲情報、楽曲データ記憶部 23に記憶された楽曲データ、および楽曲データ記憶部 23に記憶された曲調情報を入力する入力端子を備える。また、集積回路は、曲調情報検出部 15で検出した曲調情報および検索部 26で検索した結果を出力する出力端子とを備える。なお、データなどを記憶する構成部（例えばテンプレート記憶部 13など）については、記憶部を備える集積回路であれば、当該記憶部に適宜記憶させ、集積回路の一部として構成するようにしてちょい。

[0073] 以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しょうとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもな、。産業上の利用可能性

本発明に係る楽曲処理装置は、検出された曲調情報を用いて楽曲の検索を行う楽曲検索装置、ジュークボックスおよびオーディオプレーヤーなどの用途にも適用できる。

Claims

請求の範囲

[1] 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置であつて、

前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、

楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートを複数のタイプについてそれぞれ記憶するテンプレート記憶部と、前記テンプレート記憶部に記憶されている複数の各テンプレートについて、前記出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、

前記荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を前記曲調情報として検出する曲調情報検出部とを備える、楽曲処理装置。

[2] 前記テンプレート記憶部に記憶されているテンプレートは、楽曲の調を示し、楽曲の調毎に異なるテンプレートであって、

前記曲調情報検出部は、前記荷重度の組に基づいて、前記所定の楽曲の調、調性、調性占有率、およびスケールのうち少なくとも 1つを前記曲調情報としてさらに検出する、請求項 1に記載の楽曲処理装置。

[3] 前記曲調情報検出部は、前記テンプレート記憶部に記憶されている各テンプレートのうち、前記荷重度算出部によって算出された荷重度が最大値となるテンプレートにより示される調を前記所定の楽曲の調として検出する、請求項 2に記載の楽曲処理装置。

[4] 前記曲調情報検出部は、調性が同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各調性にっ、て行、、算出された総和が大き!、方の調性を前記所定の楽曲の調性として検出する、請求項 2に記載の楽曲処理装置。

[5] 前記曲調情報検出部は、スケールが同じである調を示す複数のテンプレートにつ V、て荷重度の総和を算出する処理を各スケールにつ、て行、、算出された総和が最も大き、スケールを前記所定の楽曲のスケールとして検出する、請求項 2に記載の楽曲処理装置。

[6] 前記出現確率取得部が前記出現確率の分布を取得する対象となる複数の楽曲のデータを記憶する楽曲データ記憶部と、

前記曲調情報検出部によって検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、前記楽曲データ記憶部にデータが記憶されて、る楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として前記楽曲データ記憶部に記憶させる曲調情報記憶部と、

前記楽曲データ記憶部にデータが記憶されて、る楽曲を、前記曲調情報を用、て検索する検索部とをさらに備える、請求項 1に記載の楽曲処理装置。

[7] ユーザによって入力されるべき選曲情報と前記曲調情報に関する条件とを関連付けた選曲ルールを記憶する選曲ルール記憶部をさらに備え、

前記検索部は、ユーザによって選曲情報が入力された場合、前記楽曲データ記憶部にデータが記憶されている楽曲のうち、当該入力された選曲情報に関連付けられた条件を満たす楽曲を検索結果として出力する、請求項 6に記載の楽曲処理装置。

[8] 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置にお V、て用いられる方法であって、

前記楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、

前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得ステップと、

前記記憶されている複数の各テンプレートについて、前記出現確率取得ステップにおいて取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、

前記荷重度算出ステップにお、て各テンプレートにつ、てそれぞれ算出された荷重度力なる荷重度の組を前記曲調情報として検出する曲調情報検出ステップとを含む、楽曲処理方法。

[9] 前記楽曲処理装置には、前記出現確率取得ステップにおいて前記出現確率の分布が取得される対象となる複数の楽曲のデータがさらに予め記憶されており、前記曲調情報検出ステップにお、て検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、前記楽曲処理装置にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として前記楽曲処理装置に記憶させる曲調情報記憶ステップと、

前記楽曲処理装置にデータが記憶されている楽曲を、前記曲調情報を用いて検索する検索ステップとをさらに含む、請求項 8に記載の楽曲処理方法。

[10] 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置のコンピュータに実行させるためのプログラムであって、

前記荷重度算出ステップにお、て各テンプレートにつ、てそれぞれ算出された荷重度力なる荷重度の組を前記曲調情報として検出する曲調情報検出ステップとを、前記コンピュータに実行させるプログラム。

[11] 請求項 10に記載のプログラムを記録した、コンピュータに読み取り可能な記録媒体

[12] 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する集積回路であって、前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、

楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示す複数の各テンプレートにつ、て、前記出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、

前記荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を前記曲調情報として検出する曲調情報検出部とを備える、集積回路。