JP4698606B2 - 楽曲処理装置 - Google Patents

Description

本発明は、楽曲処理装置に関し、より特定的には、楽曲の音階情報から曲調情報を検出したり、それを用いて楽曲の検索を行ったりする楽曲処理装置に関する。

従来から、楽曲の曲調情報を検出する方法が知られている。曲調情報とは、楽曲のイメージを決める要素（例えば調など）を示す情報である。例えば楽曲の調を検出する方法として、楽曲の音階に関する情報（以下、音階情報という）に基づいて当該音階情報に含まれる各音名の出現確率を算出し、各音名に関する当該出現確率の分布（出現確率分布と呼ぶ。後述する図３参照。）を用いて楽曲の調を検出する方法（第１の方法）がある。この方法では、複数種類の調それぞれについて、予め作成された理想的な出現確率分布をテンプレートとしてそれぞれ用意しておく。そして、調を検出する対象となる楽曲の出現確率分布を算出し、当該楽曲についての出現確率分布と当該各テンプレートとを１つずつ個別に照合する。その結果、出現確率分布が当該楽曲と最も近似するテンプレートにより示される調を楽曲の調として決定する。

また、従来においては、入力される音階情報を所定の区間に区切り、区間毎に調を検出する方法もある（例えば、特許文献１参照。）。この方法では、例えば楽曲の１小節目から４小節目までを１つの区間、２小節目から５小節目までを次の区間というように、楽曲の音階情報を複数の区間に区切る。そして、区間毎にその区間の調を検出する。
特許第２７１５８１６号公報

ここで、実際の楽曲には、転調を含むような複数種類の調で構成される楽曲がある。このような転調を含む楽曲の出現確率分布は、複数種類の調の出現確率分布が合成された分布となる結果、楽曲に含まれる各調の出現確率分布のいずれとも異なる分布となる場合がある。第１の方法では、楽曲の出現確率分布とテンプレートの出現確率分布とを１対１で照合するので、楽曲の出現確率分布が複数の調の合成分布となる場合、合成分布に最も近似するテンプレートにより示される調が楽曲の調に決定される。つまり、この場合、楽曲に含まれる調のいずれとも異なる調が楽曲の調として決定されることになる。したがって、上記第１の方法では、転調を含むような複数種類の調で構成される楽曲については調を誤検出してしまう可能性がある。

また、特許文献１に開示された方法では、楽曲の音階情報を複数の区間に区切り、その区間毎に調が検出される。そして、検出された各区間の調の変化によって、転調する箇所が検出される。ここで、調を検出する対象は、入力された音階情報の全体ではなく、当該音階情報を短く区切った区間である。具体的には、特許文献１の方法では、転調を検出するためには、少なくとも数小節程度（例えば４小節程度）の単位に音階情報を区切らなければならない。ここで、音階情報を区間に区切ると、調を検出する対象に含まれる音の数が少なくなる。つまり、音階情報を区間に区切ることによって、調を検出する対象に含まれる情報数が少なくなるので、調を検出する精度が必然的に低下してしまう。以上より、特許文献１の方法では、音階情報を区切らなければならないことが理由で、各区間における調を検出する精度が低下してしまう。

それ故、本発明は、楽曲が転調を含む場合であっても楽曲の曲調情報を正確に検出することが可能な楽曲処理装置を提供することを目的とする。

第１の発明は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置であって、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートを複数のタイプについてそれぞれ記憶するテンプレート記憶部と、テンプレート記憶部に記憶されている複数の各テンプレートについて、出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を曲調情報として検出する曲調情報検出部とを備える。

第２の発明は、上記第１の発明において、テンプレート記憶部に記憶されているテンプレートは、楽曲の調を示し、楽曲の調毎に異なるテンプレートであって、曲調情報検出部は、荷重度の組に基づいて、所定の楽曲の調、調性、調性占有率、およびスケールのうち少なくとも１つを曲調情報としてさらに検出する。

第３の発明は、上記第２の発明において、曲調情報検出部は、テンプレート記憶部に記憶されている各テンプレートのうち、荷重度算出部によって算出された荷重度が最大値となるテンプレートにより示される調を所定の楽曲の調として検出する。

第４の発明は、上記第２の発明において、曲調情報検出部は、調性が同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各調性について行い、算出された総和が大きい方の調性を所定の楽曲の調性として検出する。

第５の発明は、上記第２の発明において、曲調情報検出部は、スケールが同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各スケールについて行い、算出された総和が最も大きいスケールを所定の楽曲のスケールとして検出する。

第６の発明は、上記第１の発明において、出現確率取得部が出現確率の分布を取得する対象となる複数の楽曲のデータを記憶する楽曲データ記憶部と、曲調情報検出部によって検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、楽曲データ記憶部にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として楽曲データ記憶部に記憶させる曲調情報記憶部と、楽曲データ記憶部にデータが記憶されている楽曲を、曲調情報を用いて検索する検索部とをさらに備える。

第７の発明は、上記第６の発明において、ユーザによって入力されるべき選曲情報と曲調情報に関する条件とを関連付けた選曲ルールを記憶する選曲ルール記憶部をさらに備え、検索部は、ユーザによって選曲情報が入力された場合、楽曲データ記憶部にデータが記憶されている楽曲のうち、当該入力された選曲情報に関連付けられた条件を満たす楽曲を検索結果として出力する。

第８の発明は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置において用いられる方法であって、楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得ステップと、記憶されている複数の各テンプレートについて、出現確率取得ステップにおいて取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、荷重度算出ステップにおいて各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を曲調情報として検出する曲調情報検出ステップとを含む。

第９の発明は、上記第８の発明において、楽曲処理装置には、出現確率取得ステップにおいて出現確率の分布が取得される対象となる複数の楽曲のデータがさらに予め記憶されており、曲調情報検出ステップにおいて検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、楽曲処理装置にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として楽曲処理装置に記憶させる曲調情報記憶ステップと、楽曲処理装置にデータが記憶されている楽曲を、曲調情報を用いて検索する検索ステップとをさらに含む。

第１０の発明は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置のコンピュータに実行させるためのプログラムであって、楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得ステップと、記憶されている複数の各テンプレートについて、出現確率取得ステップにおいて取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、荷重度算出ステップにおいて各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を曲調情報として検出する曲調情報検出ステップとを、コンピュータに実行させる。

第１１の発明は、上記第１０の発明において、上記プログラムを記録した、コンピュータで読み取り可能な記録媒体である。

第１２の発明は、所定の楽曲について、楽曲の曲調を示す曲調情報を検出する集積回路であって、所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示す複数の各テンプレートについて、出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を曲調情報として検出する曲調情報検出部とを備える。

上記第１の発明によれば、複数のテンプレートの中から最も一致するテンプレートを１つ選択するのではなく、各テンプレートの荷重度の組が検出される。これによって、所定の楽曲（曲調情報を検出する対象となる楽曲）における出現確率の分布に占める各テンプレートの割合を知ることができる。すなわち、テンプレートに対応する楽曲のタイプを１つ決定するのではなく、「所定の楽曲に占める各タイプの割合」を検出することができ、所定の楽曲の曲調を各タイプ毎の割合として表すことができる。したがって、例えば所定の楽曲が２つの調を含む場合には、その２つの調のテンプレートの荷重度が大きく算出される。つまり、第１の発明によれば、楽曲が転調を含む場合であっても楽曲の曲調情報を正確に検出することが可能となる。

上記第２の発明によれば、荷重度の組を用いて算出することで、最も優勢な調、最も優勢な調性、最も優勢な調性占有率および最も優勢なスケールを正確に検出することができる。

上記第３の発明によれば、荷重度が最大値となるテンプレートにより示される調を検出することで、楽曲の調を正確に検出することができる。

上記第４の発明によれば、調性が同じである調を示す複数のテンプレートについて荷重度の総和をそれぞれ算出し、総和が大きい方の調性を検出することで、楽曲の調性を正確に検出することができる。

上記第５の発明によれば、スケールが同じである調を示す複数のテンプレートについて荷重度の総和を算出し、総和が最も大きいスケールを検出することで、楽曲のスケールを正確に検出することができる。

上記第６の発明によれば、荷重度の組、または、それから得られる情報（調、調性、スケール等）を用いて楽曲の検索を行うことができる。したがって、曲調情報を用いた検索を正確に行うことができる。

上記第７の発明によれば、ユーザは、入力した選曲条件に関連する楽曲を容易に検索することができる。

本発明のこれらおよび他の目的、特徴、効果は、添付図面と照合して、以下の詳細な説明から一層明らかになるであろう。

以下に、本発明の実施形態について図面を参照しながら説明する。なお、以下の説明において、「調性」とはメジャーおよびマイナーを意味し、「調性占有率」とは楽曲内におけるメジャー（またはマイナー）の占有率を意味する。また、「スケール」とは、調号が同一となるメジャーおよびマイナーの１２種類の組み合わせを意味する。また、「調」とは調性とスケールとで構成される２４種類（Ｃ；Ｃメジャー、Ａｍ；Ａマイナー、等）を意味する。これらの調、調性、調性占有率、およびスケールは、楽曲の曲調を示す指標であり、曲調情報の１つである。なお、後述する荷重度を組として示す情報（荷重度の組）も曲調情報の１つである。また、本発明における楽曲処理装置の一例として、上記曲調情報を検出する曲調検出装置を第１の実施形態として説明する。また、本発明における楽曲処理装置の他の例として、上記曲調情報を用いて楽曲を検索する楽曲検索装置を第２の実施形態として説明する。

（第１の実施形態）
まず、本発明の第１の実施形態に係る曲調検出装置１について、図１を用いて説明する。図１は、本発明の第１の実施形態に係る曲調検出装置１を示すブロック図である。図１において、曲調検出装置１は、音階情報入力部１１、出現確率算出部１２、テンプレート記憶部１３、荷重度算出部１４および曲調情報検出部１５を備える。

音階情報入力部１１は、曲調検出装置１の外部または内部から、楽曲の音階情報の入力を受け付ける。音階情報入力部１１に入力される楽曲の音階情報は、少なくとも音の高さ（ノートナンバー）および音の長さ（デュレーション）の情報を含むデータとする。図２は、音階情報入力部１１に入力される楽曲の音階情報の一例を示す図である。図２において、楽曲の音階情報は、「小節数／拍数／ティック数」で示された時間と、音の強さを表すベロシティと、ノートナンバーとで表現される。ここで、上記時間は、各ノートナンバーが発音または消音となる時間を示す。ベロシティは０〜１２７の範囲の整数で表現され、ベロシティの値が大きいほど音量が大きい。なお、ベロシティの値が「０」であることは消音を示す。ノートナンバーの値は、ピアノの鍵盤中央のＣの高さを示す値を「６０」として設定される。また図２においては、デュレーションは時間およびベロシティによって表される。例えば時間が「０００／０／０００」のとき、ノートナンバーが「６０」でベロシティは「９０（発音）」となる。また、時間が「０００／０／４３２」のとき、ノートナンバーが「６０」でベロシティは「０（消音）」となる。したがって、「０００／０／０００」から「０００／０／４３２」までの時間区間の音階情報は、ノートナンバーが「６０」、ベロシティが「９０」で、デュレーションが４３２ティックとなる。

なお、図２に示す楽曲の音階情報の一例では、時間は「小節数／拍数／ティック数」で示されたが、例えば「時間／分／秒／フレーム／サブフレーム」で示されてもよい。またベロシティは、０〜１２７の範囲の整数で表現したが、例えば、発音を表す「１」および消音を表す「０」の２値で表現されてもよい。

以上のように、図２に示す楽曲の音階情報には、音の高さ（ノートナンバー）および音の長さ（デュレーション）の情報が含まれる。なお、楽曲の音階情報は、単純にノートナンバーに対してデュレーションを１対１で持つ方法で表現されてもよい。また楽曲の音階情報は、ノートナンバーおよびデュレーションの他に、ノートナンバーの連続的な変化を表すピッチベンドの情報をさらに含む方法で表現されてもよい。このときノートナンバーはピッチベンドの値に応じて変動する。

出現確率算出部１２は、音階情報入力部１１に入力された楽曲の音階情報に含まれる各音名の出現確率をそれぞれ算出する。図３は、各音名に関する出現確率の分布（出現確率分布）を概念的に示す図である。図３においては、Ｃ；ｉ＝０、Ｃ♯；ｉ＝１、〜、Ｂ；ｉ＝１１のように、１２種類の音名には０から１１までの音名ナンバーｉがそれぞれ付されている。なお、以下の説明では、音名ナンバーがｉである音名のことを「音名ｉ」と記載することがある。

テンプレート記憶部１３は、２４種類の調に対応する２４種類のテンプレートを記憶する。２４種類のテンプレートは、楽曲の異なるタイプをそれぞれ表したものとなる。またテンプレートは、それに対応する調の理想的な出現確率分布を示す。これらの各テンプレートは、予め作成されてテンプレート記憶部１３に記憶される。図４は、２４種類のテンプレートと各テンプレートについての荷重度の算出結果との一例を示す図である。図４においては、各テンプレートにより示される２４種類の調には、メジャーの調をｊ＝０〜１１、マイナーの調をｊ＝１２〜２３とした調ナンバーｊが付されている。なお、以下の説明では、調ナンバーがｊである調のことを「調ｊ」と記載することがある。また、各テンプレートについての荷重度の算出結果については後述にて説明する。

荷重度算出部１４は、出現確率算出部１２で算出される楽曲の出現確率分布とテンプレート記憶部１３に記憶される各テンプレートとに基づいて、各テンプレートについての荷重度をそれぞれ算出する（図４参照。）。荷重度算出部１４は、２４種類のテンプレートに１つずつ対応するように２４個の荷重度を算出する。ここで、荷重度とは、楽曲の出現確率分布においてテンプレートの出現確率分布が占める割合（占有率）を示す。換言すれば、テンプレートの荷重度とは、２４種類のテンプレートを用いて楽曲の出現確率分布を表す場合に、そのテンプレートの出現確率分布が寄与する割合を示す値である。例えば、荷重度の値が大きいテンプレートは、楽曲の出現確率分布において占める割合が大きいテンプレートである。したがって、荷重度の値が大きいテンプレートに対応する調は、当該楽曲において占める割合が大きい調である。

曲調情報検出部１５は、荷重度算出部１４で算出された２４個の荷重度に基づいて楽曲の曲調情報を検出する。曲調情報とは、２４個の荷重度を１つの組として示す情報（荷重度の組）または当該荷重度の組から算出される各種情報を示す。ここで各種情報とは、例えば、上述した調、調性占有率、調性およびスケールなどを示す情報である。曲調情報検出部１５は、荷重度の組を曲調情報として検出する。そして、当該荷重度の組から算出される調、調性占有率、調性およびスケールなどを曲調情報として検出する。

次に、第１の実施形態に係る曲調検出装置１の処理の流れについて図５を用いて説明する。図５は、第１の実施形態に係る曲調検出装置１の処理の流れを表すフローチャートを示す図である。

音階情報入力部１１は、曲調検出装置１の外部または内部から、楽曲の音階情報の入力を受け付ける（ステップＳ１）。例えば、ＳＭＦ（スタンダードＭＩＤＩファイル）などの、音階情報を示す音階データが入力される。なお、入力される音階データは、ＰＣＭデータ等の音声データを変換したものであってもよい。ここでは、図２に示したような音階情報が入力されるものとする。なお、本発明では、入力された楽曲を小節等の区間に区切る必要がないので、本発明において用いる音階情報には、小節の位置を示す情報が含まれている必要はない。本発明では、転調を含む楽曲を小節等の区間に区切ることなく、楽曲に含まれている調を正確に検出することができる。

ステップＳ１の次に、出現確率算出部１２は、ステップＳ１で入力された楽曲の音階情報に含まれる各音名の出現確率をそれぞれ算出する（ステップＳ２）。ここで音名ｉの出現確率をＰ（ｉ）とする。出現確率Ｐ（ｉ）は、音階情報に含まれる音名ｉが持つデュレーションの総和を全ての音名（ｉ＝０〜１１）が持つデュレーションの総和で除算することにより算出される。なお、各音名の出現確率の総和ΣＰ（ｉ）は、以下の式（１）のように示される。
ΣＰ（ｉ）＝１ （ｉ＝０〜１１）…（１）

上記ステップＳ２において示したように、本実施形態では、楽曲の各音名の出現確率分布は出現確率算出部１２によって算出されるものとした。ここで、楽曲の各音名の出現確率分布が予め分かっている場合、すなわち、楽曲の各音名の出現確率分布を示すデータが得られている場合には、出現確率算出部１２は、ステップＳ２において当該データを取得するようにしてもよい。この場合、ステップＳ２で出現確率分布を算出する処理を省略することができる。

ステップＳ２の次に、荷重度算出部１４は、各テンプレートについての荷重度をそれぞれ算出する（ステップＳ３）。荷重度は、ステップＳ２で算出された各音名の出現確率（楽曲の実際の出現確率）と、テンプレート記憶部１３に記憶された２４種類のテンプレートにより示される出現確率とを用いて算出される。以下、荷重度を算出する方法を詳細に説明する。

まず、曲調情報を検出する対象となる楽曲の出現確率分布を、２４種類の調（ｊ＝０〜２３）に対応する２４種類のテンプレートの出現確率分布を用いて表現することを考える。ここで、対象となる楽曲の出現確率分布において調ｊのテンプレートの出現確率分布が占める割合を示す荷重度をＷ（ｊ）とする。そして、調ｊのテンプレートに含まれる音名ｉの出現確率をＰｔ（ｊ，ｉ）とする。このとき、次の式（２）および式（３）の関係が成り立つ。
ΣＷ（ｊ）＝１ （ｊ＝０〜２３）…（２）
ΣＰｔ（ｊ，ｉ）＝１ （ｉ＝０〜１１）…（３）
ここで、各テンプレートを用いて（すなわち、Ｗ（ｊ）およびＰｔ（ｊ，ｉ）を用いて）、対象となる楽曲の音階情報に含まれる音名ｉの出現確率Ｐｆ（ｉ）を表現した場合、当該出現確率Ｐｆ（ｉ）は次の式（４）のように示される。
Ｐｆ（ｉ）＝Σ（Ｗ（ｊ）＊Ｐｔ（ｊ，ｉ）） （ｊ＝０〜２３）…（４）
したがって、ステップＳ２で算出された楽曲の実際の出現確率Ｐ（ｉ）とＰｆ（ｉ）とが全音名（ｉ＝０〜１１）について一致するように各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）を算出する。つまり、式（２）〜（４）の関係を満たし、ｉ＝０〜１１についてＰ（ｉ）＝Ｐｆ（ｉ）となるようなＷ（ｊ）を求めればよい。具体的には、ここでは、各音名の出現確率の誤差（Ｐ（ｉ）−Ｐｆ（ｉ））を２乗した和を最小化させることによって各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）を求める。より具体的には、音名ｉの出現確率の誤差をＥ（ｉ）とし、その誤差Ｅ（ｉ）を２乗した和を‘Ｅとすると、Ｅ（ｉ）および‘Ｅはそれぞれ式（５）および式（６）のように示される。
Ｅ（ｉ）＝Ｐ（ｉ）−Ｐｆ（ｉ）…（５）
‘Ｅ＝Σ（Ｅ（ｉ））² （ｉ＝０〜１１）…（６）
この式（６）を用いて、‘Ｅが最小となる各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）を算出する。なお、各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）は、例えば進化戦略（Ｅｖｏｌｕｔｉｏｎａｒｙ Ｓｔｒａｔｅｇｙ）を用いて算出することができるが、Ｗ（ｊ）を算出するアルゴリズムはどのようなものであってもよい。以上のように、ステップＳ３では、各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）が算出される。各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）は、例えば図４に示すような算出結果となる。

ステップＳ３の次に、曲調情報検出部１５は、ステップＳ３で算出された各テンプレートの荷重度Ｗ（ｊ）（ｊ＝０〜２３）を１つの組として示す情報（荷重度の組）を楽曲の曲調情報として検出する（ステップＳ４）。また、本実施形態では、ステップＳ４において曲調情報検出部１５は、調、調性占有率、調性およびスケールを楽曲の曲調情報としてさらに検出する。以下に、調、調性占有率、調性およびスケールの検出方法について説明する。

まず調については、曲調情報検出部１５は、荷重度Ｗ（ｊ）の値が最大となるテンプレートに対応する調ナンバーｊの調を求め、当該調を最も優勢な調として検出する。次に調性占有率については、曲調情報検出部１５は、楽曲内におけるメジャーの占有率およびマイナーの占有率を調性占有率として次の方法で検出する。メジャーの占有率をＲｍａｊ、マイナーの占有率をＲｍｉｎとすると、図４において調ナンバーｊ＝０〜１１がメジャーの調、ｊ＝１２〜２３がマイナーの調としているので、ＲｍａｊおよびＲｍｉｎはそれぞれ以下の式で算出される。
Ｒｍａｊ＝ΣＷ（ｊ） （ｊ＝０〜１１）…（７）
Ｒｍｉｎ＝ΣＷ（ｊ） （ｊ＝１２〜２３）…（８）
したがって、曲調情報検出部１５は、式（７）および式（８）で算出したＲｍａｊとＲｍｉｎを調性占有率として検出する。

次に調性については、曲調情報検出部１５は、メジャーまたはマイナーどちらが優勢であるかを調性として検出する。すなわち、曲調情報検出部１５は、上記式（７）および式（８）で算出されたＲｍａｊの値とＲｍｉｎの値とを比較してＲｍａｊの値が大きければメジャー、Ｒｍｉｎの値が大きければマイナーとして調性を検出する。

次にスケールの検出方法について図６を用いて説明する。図６は、同一スケールで形成される調の関係の一例を示す図である。図６において、２４種類の調のうちそれぞれ２種類の調が同一スケールとなるので、スケールは計１２種類存在する。また、各スケールについて、図６に示すようにスケールナンバーｓ（ｓ＝０〜１１）が付される。例えば図６に示すように、同一スケールとなるＣ（ｊ＝０）およびＡｍ（ｊ＝１２）の２種類の調は、スケールナンバーｓがｓ＝０である。ここで、楽曲内における各スケールの占有率をスケール占有率Ｒｓ（ｓ）（ｓ＝０〜１１）とすると、Ｒｓ（ｓ）は以下のようにそれぞれ算出される。
Ｒｓ（０）＝Ｗ（０）＋Ｗ（１２）
Ｒｓ（１）＝Ｗ（１）＋Ｗ（１３）
Ｒｓ（２）＝Ｗ（２）＋Ｗ（１４）
・
・
・
Ｒｓ（１１）＝Ｗ（１１）＋Ｗ（２３）
したがって、曲調情報検出部１５は、スケール占有率Ｒｓ（ｓ）の値が最大となるスケールナンバーｓのスケールを求め、当該スケールを最も優勢なスケールとして検出する。

以上のように、本実施形態に係る曲調検出装置１は、楽曲の出現確率分布とテンプレートの出現確率分布とを１対１で照合するのではなく、楽曲の出現確率分布において各調のテンプレートが占める割合（荷重度）を算出する。その結果、楽曲に含まれる複数の調を検出する楽曲が転調を含むような複数種類の調で構成される場合であっても、楽曲の曲調情報を正確に検出することが可能となる。

また、本実施形態に係る曲調検出装置１で検出された楽曲の曲調情報のうち荷重度の組によって、ユーザは、当該楽曲に含まれる複数の調の割合を把握することができる。すなわち、１つの調の荷重度の値が大きく、それ以外の調の荷重度の値が小さい場合には、ユーザは当該楽曲が単調の曲であることを把握できる。また、多数の調で荷重度の値が近似する場合には、ユーザは当該楽曲が多数の調で構成されている楽曲であることを把握できる。したがって、ユーザは実際に楽曲を聞かなくても当該楽曲のイメージを把握することができる。また、検出された調、調性占有率、調性およびスケールなどの曲調情報によっても、上記荷重度の組と同様、ユーザは実際に楽曲を聞かなくても当該楽曲のイメージを把握することができる。

また以上の説明では、テンプレート記憶部１３には２４種類の調についてそれぞれ１つずつのテンプレートしか記憶されていない。しかし、１種類の調について複数のテンプレートが記憶されてもよい。１種類の調について、例えばポップス、ジャズ、クラシックなどのジャンル毎にテンプレートを用意して、テンプレート記憶部１３に記憶させる。そして、テンプレート記憶部１３に記憶される全てのテンプレートについての荷重度を算出することで、曲調検出装置１は楽曲のジャンルに合わせた曲調情報を正確に検出することができる。また、各テンプレートの荷重度には、それぞれジャンルの情報が含まれるので、楽曲のジャンルも検出することが可能となる。

また、１種類の調について、例えばメロディおよびベースなどの特定のパート専用毎にテンプレートが用意され、テンプレート記憶部１３に記憶されてもよい。そして、テンプレート記憶部１３に記憶されるテンプレートのうち、入力される楽曲のパートに合わせたテンプレートについての荷重度を算出することで、曲調検出装置１は入力される楽曲のパートに合わせた曲調情報を正確に検出することができる。

また、テンプレートとして、２４種類の調ではなくスケールまたはコードなどに対応する出現確率分布を用いてもよい。そして、当該各テンプレートについての荷重度を算出することで、スケールまたはコードに関する曲調情報を検出することができる。

また、音階情報入力部１１で入力を受け付ける音階情報は、メロディやベースなどの演奏のパートを少なくとも１つ含むものであれば良く、例えば複数のパートで構成される音階情報であってもよい。また、音階情報を構成する楽曲の演奏時間は、全演奏時間分であってもよいし、一部の演奏時間分であってもよい。ここで、一部の演奏時間分は、例えば前奏を除く楽曲の前半部分の演奏時間分としてもよい。当該演奏時間は、主要な調で構成されることが一般的に多いからである。その結果、曲調検出装置１は、より精度の高い曲調情報を検出することができる。また、曲調検出装置１の処理負担も軽減させることができる。

なお、本実施形態に係る曲調検出装置１は、一般的なコンピュータシステム１００に曲調情報検出プログラムを実行させることによって実現されてもよい。図７は、曲調検出装置１がコンピュータシステム１００によって実現される構成例を示すブロック図である。なお、図７において、音階情報入力部１１、出現確率算出部１２、テンプレート記憶部１３、荷重度算出部１４および曲調情報検出部１５は、図１に示される各構成部とそれぞれ同一の符号を付し、かつ同一の機能とし、説明を省略する。

図７において、コンピュータシステム１００は、演算処理部１１０、記憶部１２０およびディスクドライブ装置１３０を備える。演算処理部１１０は、ＣＰＵまたはメモリなどで構成され、曲調情報検出プログラムを実行させることによって、音階情報入力部１１、出現確率算出部１２、荷重度算出部１４および曲調情報検出部１５と同一の機能を実現する。また記憶部１２０は、ハードディスクなどの記録媒体で構成され、曲調情報検出プログラムを実行させることによって、テンプレート記憶部１３と同一の機能を実現する。ディスクドライブ装置１３０は、コンピュータシステム１００を曲調検出装置１として機能させるための曲調情報検出プログラムが記憶された記録媒体１４０から、当該曲調情報検出プログラムを読み出す。当該曲調情報検出プログラムが任意のコンピュータシステム１００にインストールされることにより、当該コンピュータシステム１００を上述した曲調検出装置として機能させることができる。なお、記録媒体１４０は、例えばフレキシブルディスクや光ディスクなどのディスクドライブ装置１３０によって読み取り可能な形式の記録媒体である。また、曲調情報検出プログラムは、予めコンピュータシステム１００にインストールされていてもかまわない。

なお、以上の説明では、上記曲調情報検出プログラムは記録媒体１４０によって提供されるとしたが、インターネットなどの電気通信回線によって提供されてもよい。また、曲調情報検出における処理は、全部または一部をハードウェアによって処理される形態であってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態に係る楽曲検索装置２について、図８および図９を用いて説明する。図８は、本発明の第２の実施形態に係る楽曲検索装置２を示すブロック図である。図８において、楽曲検索装置２は、楽曲入力部２１、音階データ変換部２２、出現確率算出部１２、楽曲データ記憶部２３、テンプレート記憶部１３、荷重度算出部１４、曲調情報検出部１５、選曲ルール記憶部２４、選曲情報入力部２５および検索部２６を備える。なお、図８において、出現確率算出部１２、テンプレート記憶部１３、荷重度算出部１４および曲調情報検出部１５は、第１の実施形態で説明した曲調検出装置１の各構成部とそれぞれ同一の符号を付し、かつ同一の機能とし、説明を省略する。

図９は、第２の実施形態に係る楽曲検索装置２の処理の流れを表すフローチャートを示す図である。なお、図９において、ステップＳ１〜Ｓ４は、第１の実施形態で説明した曲調検出装置１の処理（図５参照。）のステップＳ１〜Ｓ４とそれぞれ同一の符号を付し、かつ同一の処理とし、説明を省略する。以下に、図９を用いて楽曲検索装置２の処理の流れについて説明する。

楽曲入力部２１は、楽曲検索装置２の外部または内部から、楽曲データの入力が受け付けられたか否かを判定する（ステップＳ１１）。ステップＳ１１の判定の結果、楽曲データが入力されていないと判定された場合、ステップＳ１５の処理が行われる。一方、ステップＳ１１の判定の結果、楽曲データが入力されたと判定された場合、ステップＳ１２の処理が行われる。すなわち、楽曲入力部２１は、入力された楽曲データを楽曲データ記憶部２３に記憶する（ステップＳ１２）。

ここで楽曲データは、音声データであってもよいし、音階データであってもよい。音声データとは、例えばＰＣＭ形式の音声データ、ＭＰ３およびＡＡＣなどの圧縮形式の音声データなどである。音階データとは、ＳＭＦ（スタンダードＭＩＤＩファイル）などの音階情報を示す音階データなどである。なお、入力される楽曲データは、例えばメロディまたはベースなどの演奏のパートを少なくとも１つ含むものであればよく、例えば複数のパートで構成されるデータであってもよい。また、楽曲データの演奏時間は、全演奏時間分であってもよいし、一部の演奏時間分であってもよい。

ステップＳ１２の次に、音階データ変換部２２は、ステップＳ１２で記憶された楽曲データが音声データ（例えばＰＣＭ形式の音声データ）である場合には、当該音声データを音階情報を示す音階データに変換する（ステップＳ１３）。音階データ変換部２２は、例えば特開昭５８−１８１０９０号公報に開示された方法で音声データを音階データに変換する。また、音階データ変換部２２は、音声データがＭＰ３およびＡＡＣなどの圧縮形式の音声データである場合には、一旦ＰＣＭ形式の音声データに変換した後、音階データに変換する。なお、音階データに変換する方法は上記方法に限らず、他の方法を用いてもよい。また、ステップＳ１２で記憶された楽曲データがＳＭＦなどの音階データである場合には、上記ステップＳ１３の処理は行わずにステップＳ１〜Ｓ４の処理が行われる。

ステップＳ１３の次に、ステップＳ１〜Ｓ４（図５参照。）において、ステップＳ１２で記憶された音階データまたはステップＳ１３で変換された音階データに基づいて曲調情報が検出される。そして、曲調情報検出部１５は、楽曲データ記憶部２３に曲調情報を記憶する（ステップＳ１４）。ここで楽曲データ記憶部２３には、ステップＳ１２で記憶された楽曲データと、ステップＳ４で検出された楽曲データの曲調情報とがそれぞれ関連づけられて記憶される。図１０は、楽曲データ記憶部２３に記憶されるデータの一例を示す図である。図１０では、楽曲データ記憶部２３には、楽曲データ以外に曲調情報として最も優勢な調（Ｋ）、調性（Ｔ）、最も優勢なスケール（Ｓ）およびメジャーの占有率（Ｒｍａｊ）が記憶される。また、図１０において、楽曲データのスケール（Ｓ）はスケールナンバーｓで示される。また、楽曲データ記憶部２３に記憶される楽曲データは、楽曲番号で管理されており、楽曲データとそれに関連づけられた曲調情報は、適宜削除または追加されることが可能である。

なお、ステップＳ１４において楽曲データ記憶部２３には、ステップＳ４において検出された荷重度の組、調、調性占有率、調性およびスケールなど曲調情報のうち少なくとも１つが記憶される。

ステップＳ１４の次に、検索部２６は、選曲情報入力部２５から選曲情報が入力されたか否かを判定する（ステップＳ１５）。ユーザは、選曲情報入力部２５を用いて所望する楽曲の選曲情報を入力する。図１１は、楽曲検索装置２がもつ入力画面の一例を示す図である。図１１において、入力画面には、選曲情報リスト２５１と検索ボタン２５２とが表示される。そして、ユーザは、選曲情報入力部２５を用いて選曲情報リスト２５１にある選曲情報の中から所望する選曲情報を選択した後、検索ボタン２５２を押すことによって選曲情報を入力する。

ステップＳ１５の判定の結果、選曲情報が入力されていない場合、ステップＳ１１の処理に戻る。一方、ステップＳ１５の判定の結果、選曲情報が入力された場合、ステップＳ１６の処理が行われる。

ステップＳ１５の次に、検索部２６は、入力された選曲情報に対応する検索条件を特定する（ステップＳ１６）。ここで、入力された選曲情報に対応する検索条件を特定する方法としては、選曲ルール記憶部２４に記憶される選曲ルールに基づいて特定する方法がある。図１２は、選曲ルールの一例を示す図である。選曲ルール記憶部２４には、楽曲の検索を行うための選曲ルールが記憶される。図１２では、選曲ルールとして、選曲情報リスト２５１に表示された選曲情報と当該選曲情報に対応した検索条件とが予め設定される。すなわち図１２において、例えば「明るい」という選曲情報に対して検索条件は調性がメジャーである楽曲データ、「やや楽しい」という選曲情報に対して検索条件はメジャーの占有率Ｒｍａｊが０．６〜０．８である楽曲データなどと設定されている。

なお、選曲ルール記憶部２４に記憶される選曲情報は、例えば「楽しい」「やや楽しい」「普通」「やや悲しい」「悲しい」を５段階に分類せずに「楽しい⇔悲しい」の度合いとしてもよい。このとき、選曲情報は、例えば「楽しい（１．０）⇔悲しい（０．０）」の度合いｓｘと設定される。また、検索条件は、例えばメジャー占有率Ｒｍａｊが度合いｓｘと誤差０．１以内である楽曲データと設定される。そして、ユーザは選曲情報入力部２５としてスライダーなどのバーを用いて選曲情報を入力する。

ステップＳ１６の次に、検索部２６は、ステップＳ１２で楽曲データ記憶部２３に記憶された楽曲データの中から、ステップＳ１６で特定された条件に基づいて楽曲の検索を行い、その条件に合致する楽曲の曲名を表示する（ステップＳ１７）。なお、ステップＳ１７において、表示された楽曲の曲名を再生する処理をさらに行ってもよい。

なお、以上の説明では、ユーザは、選曲情報を入力することによって、検索に用いる検索条件を特定した。ここで、他の実施形態においては、ユーザは、検索条件を直接入力することによって特定してもよい。例えば、選曲情報入力部２５においてユーザは、「調がＣ」や「メジャー」という条件またはこれらの条件を複数組み合わせた条件を入力する。このとき、検索部２６は、楽曲データ記憶部２３に記憶された曲調情報を用いて、ユーザが入力した検索条件に合致する楽曲の検索を行い、検索条件に合致する楽曲の曲名を表示する。その結果、ユーザは予め設定された選曲ルールによる検索条件ではなく、検索条件を自由に入力して楽曲の検索を行うことができる。

ステップＳ１７の次に、ユーザが楽曲検索装置２の処理を終了するか否かを選択する（ステップＳ１８）。当該処理を終了しない場合は、ステップＳ１１に戻る。以上の処理を入力される楽曲データ毎に行う。

以上のように、本実施形態に係る楽曲検索装置２によって、ユーザは楽曲の曲調情報に基づいて楽曲を検索することが可能となる。

なお、第１および第２の実施形態で説明した楽曲処理装置（曲調検出装置１および楽曲検索装置２）は集積回路で構成されてもよい。例えば、第１の実施形態においては、出現確率算出部１２、荷重度算出部１４、および曲調情報検出部１５が集積回路で構成されてもよい。このとき集積回路は、楽曲およびテンプレート記憶部１３に記憶されているテンプレートを入力する入力端子と、曲調情報検出部１５で検出した曲調情報を出力する出力端子とを備える。また、第２の実施形態においては、出現確率算出部１２、荷重度算出部１４、曲調情報検出部１５、音階データ変換部２２、および検索部２６が集積回路で構成されてもよい。このとき集積回路は、楽曲、テンプレート記憶部１３に記憶されているテンプレート、選曲ルール、選曲情報、楽曲データ記憶部２３に記憶された楽曲データ、および楽曲データ記憶部２３に記憶された曲調情報を入力する入力端子を備える。また、集積回路は、曲調情報検出部１５で検出した曲調情報および検索部２６で検索した結果を出力する出力端子とを備える。なお、データなどを記憶する構成部（例えばテンプレート記憶部１３など）については、記憶部を備える集積回路であれば、当該記憶部に適宜記憶させ、集積回路の一部として構成するようにしてもよい。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

本発明に係る楽曲処理装置は、検出された曲調情報を用いて楽曲の検索を行う楽曲検索装置、ジュークボックスおよびオーディオプレーヤーなどの用途にも適用できる。

本発明の第１の実施形態に係る曲調検出装置１を示すブロック図 音階情報入力部１１に入力される楽曲の音階情報の一例を示す図 各音名に関する出現確率の分布を概念的に示す図 ２４種類のテンプレートと当該各テンプレートについての荷重度の算出結果の一例を示す図 第１の実施形態に係る曲調検出装置１の処理の流れを表すフローチャートを示す図 同一スケールで形成される調の関係の一例を示す図 曲調検出装置１がコンピュータシステム１００によって実現される構成例を示すブロック図 本発明の第２の実施形態に係る楽曲検索装置２を示すブロック図 第２の実施形態に係る楽曲検索装置２の処理の流れを表すフローチャートを示す図 楽曲データ記憶部２３に記憶されるデータの一例を示す図 選曲情報入力部２５の入力画面の一例を示す図 選曲ルールの一例を示す図

符号の説明

１ 曲調検出装置
１１ 音階情報入力部
１２ 出現確率算出部
１３ テンプレート記憶部
１４ 荷重度算出部
１５ 曲調情報検出部
１００ コンピュータシステム
１１０ 演算処理部
１２０ 記憶部
１３０ ディスクドライブ装置
１４０ 記録媒体
２ 楽曲検索装置
２１ 楽曲入力部
２２ 音階データ変換部
２３ 楽曲データ記憶部
２４ 選曲ルール記憶部
２５ 選曲情報入力部
２６ 検索部

Claims (12)

1. 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置であって、
   前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、
   楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートを複数のタイプについてそれぞれ記憶するテンプレート記憶部と、
   前記テンプレート記憶部に記憶されている複数の各テンプレートについて、前記出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、
   前記荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を前記曲調情報として検出する曲調情報検出部とを備える、楽曲処理装置。
2. 前記テンプレート記憶部に記憶されているテンプレートは、楽曲の調を示し、楽曲の調毎に異なるテンプレートであって、
   前記曲調情報検出部は、前記荷重度の組に基づいて、前記所定の楽曲の調、調性、調性占有率、およびスケールのうち少なくとも１つを前記曲調情報としてさらに検出する、請求項１に記載の楽曲処理装置。
3. 前記曲調情報検出部は、前記テンプレート記憶部に記憶されている各テンプレートのうち、前記荷重度算出部によって算出された荷重度が最大値となるテンプレートにより示される調を前記所定の楽曲の調として検出する、請求項２に記載の楽曲処理装置。
4. 前記曲調情報検出部は、調性が同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各調性について行い、算出された総和が大きい方の調性を前記所定の楽曲の調性として検出する、請求項２に記載の楽曲処理装置。
5. 前記曲調情報検出部は、スケールが同じである調を示す複数のテンプレートについて荷重度の総和を算出する処理を各スケールについて行い、算出された総和が最も大きいスケールを前記所定の楽曲のスケールとして検出する、請求項２に記載の楽曲処理装置。
6. 前記出現確率取得部が前記出現確率の分布を取得する対象となる複数の楽曲のデータを記憶する楽曲データ記憶部と、
   前記曲調情報検出部によって検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、前記楽曲データ記憶部にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として前記楽曲データ記憶部に記憶させる曲調情報記憶部と、
   前記楽曲データ記憶部にデータが記憶されている楽曲を、前記曲調情報を用いて検索する検索部とをさらに備える、請求項１に記載の楽曲処理装置。
7. ユーザによって入力されるべき選曲情報と前記曲調情報に関する条件とを関連付けた選曲ルールを記憶する選曲ルール記憶部をさらに備え、
   前記検索部は、ユーザによって選曲情報が入力された場合、前記楽曲データ記憶部にデータが記憶されている楽曲のうち、当該入力された選曲情報に関連付けられた条件を満たす楽曲を検索結果として出力する、請求項６に記載の楽曲処理装置。
8. 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置において用いられる方法であって、
   前記楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、
   前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得ステップと、
   前記記憶されている複数の各テンプレートについて、前記出現確率取得ステップにおいて取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、
   前記荷重度算出ステップにおいて各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を前記曲調情報として検出する曲調情報検出ステップとを含む、楽曲処理方法。
9. 前記楽曲処理装置には、前記出現確率取得ステップにおいて前記出現確率の分布が取得される対象となる複数の楽曲のデータがさらに予め記憶されており、
   前記曲調情報検出ステップにおいて検出された荷重度の組および当該組から算出される情報の少なくとも一方の情報を、前記楽曲処理装置にデータが記憶されている楽曲のうちの当該情報に対応する楽曲に関連付けて曲調情報として前記楽曲処理装置に記憶させる曲調情報記憶ステップと、
   前記楽曲処理装置にデータが記憶されている楽曲を、前記曲調情報を用いて検索する検索ステップとをさらに含む、請求項８に記載の楽曲処理方法。
10. 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する楽曲処理装置のコンピュータに実行させるためのプログラムであって、
    前記楽曲処理装置には、楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示すテンプレートが複数のタイプについてそれぞれ予め記憶されており、
    前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得ステップと、
    前記記憶されている複数の各テンプレートについて、前記出現確率取得ステップにおいて取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出ステップと、
    前記荷重度算出ステップにおいて各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を前記曲調情報として検出する曲調情報検出ステップとを、前記コンピュータに実行させるプログラム。
11. 請求項１０に記載のプログラムを記録した、コンピュータに読み取り可能な記録媒体。
12. 所定の楽曲について、楽曲の曲調を示す曲調情報を検出する集積回路であって、
    前記所定の楽曲の少なくとも一部について、音名毎の出現確率の分布を取得する出現確率取得部と、
    楽曲のタイプ毎に異なるテンプレートであって音名毎の出現確率の分布を示す複数の各テンプレートについて、前記出現確率取得部によって取得された各音名の出現確率の分布に占めるそのテンプレートの割合を示す荷重度を算出する荷重度算出部と、
    前記荷重度算出部によって各テンプレートについてそれぞれ算出された荷重度からなる荷重度の組を前記曲調情報として検出する曲調情報検出部とを備える、集積回路。

Images