JP5594052B2 - 情報処理装置、楽曲再構成方法及びプログラム - Google Patents

情報処理装置、楽曲再構成方法及びプログラム Download PDF

Info

Publication number
JP5594052B2
JP5594052B2 JP2010236971A JP2010236971A JP5594052B2 JP 5594052 B2 JP5594052 B2 JP 5594052B2 JP 2010236971 A JP2010236971 A JP 2010236971A JP 2010236971 A JP2010236971 A JP 2010236971A JP 5594052 B2 JP5594052 B2 JP 5594052B2
Authority
JP
Japan
Prior art keywords
measure
music
score
measures
beat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010236971A
Other languages
English (en)
Other versions
JP2012088632A (ja
Inventor
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010236971A priority Critical patent/JP5594052B2/ja
Priority to CN2011103199456A priority patent/CN102568526A/zh
Priority to US13/275,586 priority patent/US20120101606A1/en
Publication of JP2012088632A publication Critical patent/JP2012088632A/ja
Application granted granted Critical
Publication of JP5594052B2 publication Critical patent/JP5594052B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/035Crossfade, i.e. time domain amplitude envelope control of the transition between musical sounds or melodies, obtained for musical purposes, e.g. for ADSR tone generation, articulations, medley, remix

Description

本発明は、情報処理装置、楽曲再構成方法及びプログラムに関する。
従来、例えば楽曲配信サービスにおいて、ユーザによる楽曲の購入の判断を支援するために、最終的に販売されるバージョンとは別の視聴用バージョンがユーザに提供されている。視聴用バージョンは、一般的には、楽曲の一部分を切り出すことにより楽曲の再生時間を短縮して作製される。この視聴用バージョンを再生することで、ユーザは、楽曲の内容を短い時間で手軽に把握し、その楽曲が自らの好みに合うか否かを判断することができる。
また、いわゆるサブスクリプションと呼ばれるサービスモデルでは、例えば月ごとの定額の利用料を支払うユーザは、サービスにより提供される大量の楽曲データを自由にダウンロードすることができる。この場合、ユーザは大量の楽曲を入手することができるが、ユーザにとって、入手した大量の楽曲から自分の好みに合った楽曲を探し出すことは容易ではない。結局のところ、再生時間を短縮した視聴用バージョンが提供されなければ、ユーザは、楽曲を峻別するために、大量の楽曲を延々と再生して多大な時間を浪費することになる。
楽曲の全体を既に入手済みであって、楽曲の内容を簡易に把握したいユーザは、早送り及び再生の操作を繰り返すことで、手動でのダイジェスト再生を行う場合もある。しかし、この場合、再生時間は短縮されるものの、ユーザが楽曲の特徴的な部分を聴き逃すことなく的確にダイジェスト再生を行うことは難しい。
一方、多くの楽曲配信サービスにより提供されている推薦機能を利用すれば、ユーザは、楽曲そのものを聴かなくとも、ある程度自らの好みに合った楽曲を知ることができる。しかし、ユーザの好みは必ずしも一様ではない。例えば、同じユーザが特徴の大きく異なる複数の楽曲に興味を示すこともある。また、似通った2人のユーザの楽曲の好みが相違することもある。そのため、既存の推薦技術は、楽曲そのものを試聴したい(又はダイジェスト再生したい)というニーズをなくすには至っていない。従って、依然として、楽曲の再生時間を短縮したバージョンを効率的に作製できる技術が求められている。
楽曲の再生時間を自動的に短縮するための技術の一例として、下記特許文献1に記載された技術が挙げられる。下記特許文献1は、楽曲をメロディ構成(イントロ、…、エンディングなど)に従って時間軸上で複数の領域に区分し、各領域に予め優先順位を割り当て、優先度の低い領域の再生を省略することを提案している。
特許第4176893号公報
しかしながら、上記特許文献1により提案された技術では、予め高い優先順位を与えられた領域のみがいわゆるブツ切りで再生されるため、領域が不連続となる点において楽曲の流れが不自然になっていた。また、市場で流通する楽曲は多様であり、例えば、通常高い優先順位が与えられる「サビ」に相当する領域内で冗長な節が繰り返される楽曲もあれば、優先順位の低い領域内に特徴的な部分を有する楽曲もある。そのため、メロディ構成に応じて区分された領域ごとに優先順位を割り当てるのみでは、再生時間を短縮したバージョンにおいて元の楽曲の音楽的特徴を効率的に再現することが難しかった。
そこで、本発明は、既存の技術と比較して元の楽曲の音楽的特徴を大きく損なうことなく楽曲の再生時間を変更することのできる、情報処理装置、楽曲再構成方法及びプログラムを提供しようとするものである。
本発明のある実施形態によれば、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部と、上記メタデータに基づいて、上記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、上記スコアに応じて上記楽曲から特徴的な小節を抽出することにより、上記楽曲とは時間長の異なる楽曲を再構成する再構成部と、を備える情報処理装置が提供される。
また、上記特徴的な小節は、小節又はビートが属するメロディの種類が変化する時点の前後の小節を含んでもよい。
また、上記特徴的な小節は、小節又はビートのキー又はスケールが変化する時点の前後の小節を含んでもよい。
また、上記特徴的な小節は、小節又はビートの拍子が変化する時点の前後の小節を含んでもよい。
また、上記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含んでもよい。
また、上記特徴的な小節は、小節又はビートにおいて演奏されている楽器の種類が変化する時点の前後の小節を含んでもよい。
また、上記特徴的な小節は、歌声の有無が変化する時点の前後の小節を含んでもよい。
また、上記特徴的な小節は、上記楽曲の音量が所定の変化量を超えて変化する時点の前後の小節を含んでもよい。
また、上記スコア算出部は、小節若しくはビートが属するメロディの種類、小節の位置、又は小節若しくはビートにおいて演奏されている楽器の種類に応じて、上記スコアを小節ごとにさらに調整してもよい。
また、上記情報処理装置は、上記再構成部により上記楽曲から抽出された小節のうち抽出前には不連続であって抽出後に連続する第1の小節及び第2の小節にクロスフェードを適用するフェード処理部、をさらに備えてもよい。
また、上記フェード処理部は、上記第1の小節と上記第2の小節とを重ね合わせた場合に協和音及び不協和音のいずれが生じるかを判定し、当該判定の結果に応じてフェード時間の長さを変化させてもよい。
また、上記再構成部は、指定される閾値を超えるスコアを有する小節を上記楽曲から抽出してもよい。
また、上記再構成部は、指定される時間長に応じた小節数とスコアに関連する閾値を用いて抽出される小節数とが適合しない場合には、抽出される小節を追加し又は削除することにより、再構成される楽曲の時間長を調整してもよい。
また、上記再構成部は、指定される時間長が上記楽曲の時間長よりも長い場合には、メロディ単位で選択される複数の小節を上記楽曲内で複製した後、上記スコアが相対的に高い小節を抽出してもよい。
また、上記再構成部は、上記楽曲に現れるメロディの種類の変化のパターンが繰り返されるような位置に上記複数の小節を複製してもよい。
また、本発明の別の実施形態によれば、情報処理装置の処理手段を用いた楽曲再構成方法であって、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを取得するステップと、上記メタデータに基づいて、上記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するステップと、上記スコアに応じて上記楽曲から特徴的な小節を抽出することにより、上記楽曲とは時間長の異なる楽曲を再構成するステップと、を含む楽曲再構成方法が提供される。
また、本発明の別の実施形態によれば、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部を備える情報処理装置を制御するコンピュータを、上記メタデータに基づいて、上記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、上記スコアに応じて上記楽曲から特徴的な小節を抽出することにより、上記楽曲とは時間長の異なる楽曲を再構成する再構成部と、として機能させるための、プログラムが提供される。
本発明に係る情報処理装置、楽曲再構成方法及びプログラムによれば、既存の技術と比較して元の楽曲の音楽的特徴を大きく損なうことなく楽曲の再生時間を変更することができる。
一実施形態に係る情報処理装置の構成の一例を示すブロック図である。 楽曲の小節ごとの属性又はビートごとの属性の一例を説明するための説明図である。 楽曲のビート位置及び小節線の位置を定義するデータの一例を説明するための説明図である。 楽曲の小節ごとの属性又はビートごとの属性を表すメタデータの一例を説明するための説明図である。 特徴的な小節を識別するためのスコアを記憶するスコアテーブルの一例を説明するための説明図である。 メロディの種類の変化に応じたスコアの加算について説明するための説明図である。 キーの変化に応じたスコアの加算について説明するための説明図である。 拍子の変化に応じたスコアの加算について説明するための説明図である。 コードの変化に応じたスコアの加算について説明するための説明図である。 楽器の種類の変化に応じたスコアの加算について説明するための説明図である。 歌声の有無の変化に応じたスコアの加算について説明するための説明図である。 音量の変化に応じたスコアの加算について説明するための説明図である。 小節位置に応じたスコアの加算について説明するための説明図である。 メロディの種類に応じたスコアの加算について説明するための説明図である。 スコア算出部によるスコア算出処理の結果の一例について説明するための説明図である。 再構成部による小節抽出処理について説明するための第1の説明図である。 再構成部による小節抽出処理について説明するための第2の説明図である。 再構成部による小節抽出処理について説明するための第3の説明図である。 再構成部による小節抽出処理の流れの一例を示すフローチャートの前半部である。 再構成部による小節抽出処理の流れの一例を示すフローチャートの後半部である。 再構成部による小節抽出処理の流れの他の例を示すフローチャートである。 一実施形態に係る楽曲再構成処理の流れの一例を示すフローチャートである。 再構成部による小節複製処理の一例について説明するための説明図である。 一実施形態に係る楽曲再構成処理の流れの他の例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
1.一実施形態に係る情報処理装置の構成例
2.一実施形態に係る楽曲再構成処理の流れの例
3.応用例
4.まとめ
<1.一実施形態に係る情報処理装置の構成例>
本実施形態において説明する情報処理装置は、例えば、PC(Personal Computer)、スマートフォン、携帯情報端末(Personal Digital Assistant)、音楽プレーヤ、ゲーム端末又はデジタル家電機器などであってよい。また、当該情報処理装置は、上述した装置から送信される要求に応じて以下に説明する楽曲再構成処理を実行するサーバ装置であってもよい。
図1は、本発明の一実施形態に係る情報処理装置100の構成の一例を示すブロック図である。図1を参照すると、情報処理装置100は、記憶部110、スコア算出部120、再構成部130、ユーザインタフェース部140、フェード処理部150及び再生部160を備える。
[1−1.記憶部]
記憶部110は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、本実施形態に係る楽曲再構成処理のために使用される様々なデータを記憶する。例えば、記憶部110は、再生時間を変更すべき楽曲の波形データを記憶する。楽曲の波形データは、例えば、WAVE、MP3(MPEG Audio Layer‐3)又はAAC(Advanced Audio Coding)などの任意の音声符号化方式に従って符号化されたデータであってよい。また、記憶部110は、楽曲に含まれるビート(拍)及び小節線を識別するためのデータを記憶する。さらに、本実施形態において、記憶部110は、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する。
図2は、楽曲の小節ごとの属性又はビートごとの属性の一例を説明するための説明図である。図2の最上部には、ある楽曲についての時間軸に沿った波形が示されている。楽曲の波形は、所定のサンプリングレートでサンプリングされ、符号化される。1つの楽曲の中で実質的な音(音声波形)が符号化された実効サンプル数は、総サンプル数よりも少なくてよい。
図2において、波形の下の時間軸上に、短い縦線でビートの時間的位置、長い縦線で小節線の時間的位置がそれぞれプロットされている。これらビート位置及び小節線の位置は、例えば、特開2007−248895号公報に記載された手法に従って楽曲の波形データを解析することにより予め自動的に認識されてもよく、その代わりに手動で指定されてもよい。図3を参照すると、楽曲のビート位置を定義するビート位置データ、及び小節線の位置(小節の開始点の時間的位置)を定義する小節線データの例が示されている。ビート位置データは、例えば、楽曲に含まれる複数のビートの各々を識別するためのビートIDと各ビートの時間的位置とを関連付けて定義するデータであってよい。図3の例では、ビートの時間的位置は、楽曲のサンプリング開始時点を原点とした場合の当該時点までのサンプリング数によって表されている。サンプリング数の代わりに、経過時間によって時間的位置が表されてもよい。図3の例では、ビートB1の位置はゼロ、ビートB2の位置は“125000(サンプル)”、ビートB3の位置は“250000(サンプル)”、ビートB4の位置は“375000(サンプル)”、ビートB5の位置は“500000(サンプル)”である。小節線データは、例えば、楽曲に含まれる小節線の位置をいずれかのビートのビートIDを指定することにより定義するデータであってよい。図3の例では、ビートB4、B8、B12、B16、…の位置が楽曲の小節線の位置として定義されている
図2の下部には、楽曲の小節ごとの属性(又は各小節に含まれるビートごとの属性)の例として、“メロディ種別”、“コード”、“キー”、“拍子”、“楽器”及び“歌詞”が示されている。“メロディ種別”は、例えば「前奏」、「Aメロ」、「Bメロ」、「サビ」及び「後奏」などの、各小節又は各ビートが属するメロディの種類を表す。“コード”は、各小節又は各ビートにおいて演奏されるコード(C、C#、Cmなど)を表す。“キー”は、各小節又は各ビートにおいて演奏されるキー(スケールを含む)を表す。“拍子”は、各小節又は各ビートにおいて演奏される拍子(4分の4拍子、4分の2拍子など)を表す。“楽器”は、各小節又は各ビートにおいて演奏される楽器の種類を表す。図3の例のように、ギター及びドラムなどの通常の楽器に加えて、ボーカル(歌声)がデータ上1つの楽器の種類として扱われてもよい。これら属性は、例えば、特開2010−122629号公報に記載された手法に従って楽曲の波形データを解析することにより予め自動的に認識されてもよい。その代わりに、楽曲を聴いて属性を判断したユーザが手動で属性を楽曲に付与してもよい。
上述した属性を表すメタデータは、例えば、図3に例示したビート位置データに含まれるビートIDとメロディ種別、コード、キー、拍子、楽器及び歌声の有無などの属性値とを直接的に関連付けるデータであってもよい。その代わりに、メタデータは、楽曲の進行に沿って個々の属性値が現れる時間的位置を指定することにより、時間軸を介して間接的に小節又はビートと属性とを関連付けるデータであってもよい。
図4は、記憶部110により記憶されるメタデータの一例を説明するための説明図である。図4を参照すると、メタデータの一例として、時間軸を介して間接的に小節又はビートと属性とを関連付けるタイムラインデータが示されている。タイムラインデータは、“位置”、“カテゴリ”及び“サブカテゴリ”の3つのデータ項目を有する。このうち、“位置”は、例えば楽曲のサンプリング開始時点を原点とするサンプリング数(又は経過時間)を用いて、楽曲の進行に沿った時間的位置を特定する。“カテゴリ”及び“サブカテゴリ”は、“位置”により特定される時間的位置、又は当該時間的位置から始まる期間に対応する属性を表す。より具体的には、例えば“カテゴリ”が「メロディ」である場合には、演奏されているメロディの種類(即ちメロディ種別)が“サブカテゴリ”により表される。“カテゴリ”が「コード」である場合には、演奏されているコードの種類が“サブカテゴリ”により表される。“カテゴリ”が「キー」である場合には、演奏されているキーの種類が“サブカテゴリ”により表される。“カテゴリ”が「楽器」である場合には、演奏されている楽器の種類が“サブカテゴリ”により表される。
図4の例において、例えば、メタデータに含まれるデータTL1及びTL5から、125000サンプルから2625000サンプルまでの各小節(各ビート)のメロディ種別が「前奏」であることが分かる。また、データTL5及びTL6から、2625000サンプルから6875000サンプルまでの各小節(各ビート)のメロディ種別が「Aメロ」であることが分かる。同様に、例えば、データTL1、TL2、TL3及びTL4などから、第4小節である小節BR1がメロディ種別「前奏」、コード「C」、キー「C」及び楽器「ギター」などの属性を有することが分かる。
記憶部110は、これら波形データ、ビート位置データ、小節線データ及びメタデータを、個々の楽曲の識別子(楽曲ID)及びタイトルなどと関連付けて予め記憶する。また、記憶部110は、楽曲の歌詞に含まれる各フレーズを記述したテキストと当該フレーズが歌われる時間的位置とを関連付ける歌詞データを記憶してもよい。さらに、記憶部110は、以下に説明するスコア算出部120及び再構成部130により使用されるスコアテーブル及び小節抽出テーブルを記憶する。
[1−2.スコア算出部]
スコア算出部120は、上述したメタデータに基づいて、音楽性の観点で特徴的な小節を識別するためのスコアを、当該楽曲の小節ごとに算出する。本明細書において、特徴的な小節とは、例えば、楽曲内の小節の属性又はビートの属性が変化する時点の前後の小節を含む。スコア算出部120は、例えば、メタデータに基づいて算出される小節ごとのスコアを、図5に例示したようなスコアテーブルに格納する。
図5は、スコア算出部120により算出されるスコアを記憶するスコアテーブルの一例を説明するための説明図である。図5を参照すると、スコアテーブルは、“小節番号”、“原曲位置”及び“スコア”という3つのデータ項目を有する。“小節番号”は、楽曲の各小節に付与される時間順の番号である。“原曲位置”は、再構成前の楽曲(以下、原曲という)における各小節の開始点の時間的位置を表す。“スコア”は、各小節についてスコア算出部120により算出されるスコアを表す。
スコア算出部120は、スコア算出処理に先立って、図3に例示したビート位置データ及び小節線データに基づいて“小節番号”及び“原曲位置”をスコアテーブルに登録すると共に、対応する“スコア”をゼロに初期化する。次に、スコア算出部120は、メタデータにより表される楽曲の小節ごとの属性又はビートごとの属性に基づき、以下に説明する考え方に従って音楽性の観点で特徴的な小節を識別し、識別した各小節のスコアに所定の値を加算する。なお、図5におけるnBarは、楽曲の最大の小節番号である。
(1)メロディ種別の変化
スコア算出部120は、例えば、メロディ種別が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図6は、メロディ種別の変化に応じたスコアの加算について説明するための説明図である。図6を参照すると、メタデータにより示されるメロディ種別が、時間軸に沿って示されている。この例において、第5小節から第6小節にかけて、メロディ種別は、「前奏」から「Aメロ」に変化している。第13小節から第14小節にかけて、メロディ種別は、「Aメロ」から「Bメロ」に変化している。第17小節から第18小節にかけて、メロディ種別は、「Bメロ」から「サビ」に変化している。従って、これら第5、第6、第13、第14、第17及び第18小節は、メロディ種別が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部120は、これら小節のスコアに所定の値(図6の例では、6)を加算する。
なお、ここでの加算値は一例に過ぎず、他の値がスコアに加算されてもよい。また、図6の例では、スコア算出部120は、メロディ種別が変化する時点の直前及び直後の2つの小節のスコアのみを加算している。しかしながら、スコア算出部120は、メロディ種別が変化する時点の前の複数個の小節及び後の複数個の小節のスコアを加算してもよい。また、スコアに加算される値は、メロディ種別が変化する時点からの時間的距離が長いほど小さい値であってもよい。以下に説明する他の属性の変化に応じたスコアの加算についても同様である。
さらに、対応するメロディ種別の変化が特定のパターンに該当する小節について、他の小節よりも大きい値がスコアに加算されてもよい。特定のパターンとは、例えば、「Aメロ」から「サビ」及び「Bメロ」から「サビ」などであってよい。
(2)キーの変化
スコア算出部120は、例えば、キー(又はスケール)が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図7は、キーの変化に応じたスコアの加算について説明するための説明図である。図7を参照すると、メタデータにより示されるキーが、時間軸に沿って示されている。この例において、第19小節から第20小節にかけて、キーは、「C」から「C#」に変化している。従って、これら第19及び第20小節は、キーが変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部120は、これら小節のスコアに所定の値(図7の例では、8)を加算する。
(3)拍子の変化
スコア算出部120は、例えば、拍子が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図8は、拍子の変化に応じたスコアの加算について説明するための説明図である。図8を参照すると、メタデータにより示される拍子が、時間軸に沿って示されている。この例において、第13小節から第14小節にかけて、拍子は、「4/4」から「2/4」に変化している。第17小節から第18小節にかけて、拍子は、「2/4」から「4/4」に変化している。従って、これら第13、第14、第17及び第18小節は、拍子が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部120は、これら小節のスコアに所定の値(図8の例では、6)を加算する。
(4)コードの変化
スコア算出部120は、例えば、コードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を特徴的な小節であると識別してもよい。一般的に、楽曲内で1つのコードが持続する期間は、短ければ1ビート、長くても数小節である。従って、コードが変化した場合であっても、その変化パターン(変化の前後のコードの組合せ)の出現頻度が高い場合には、その出現箇所は特徴的な箇所とは言えない。一方、出現頻度の低い変化パターンが出現した箇所は、特徴的な箇所であると言える。そこで、本実施形態において、スコア算出部120は、コードに関するメタデータに基づいて、コードの変化パターンの出現頻度を集計し、相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を、特徴的な小節であると識別する。
図9は、コードの変化に応じたスコアの加算について説明するための説明図である。図9を参照すると、メタデータにより示されるコードが、時間軸に沿って示されている。この例において、例えば「C」から「G」へのコード進行は2回出現している。「G」から「Gm7」へのコード進行も2回出現している。これに対し、例えば第9小節から第10小節にかけての「Gm7」から「D7」へのコード進行は、1回だけ出現している。また、例えば第17小節から第18小節にかけての「Gm7」から「C」へのコード進行も、1回だけ出現している。そこで、スコア算出部120は、これら第9、第10、第17及び第18小節のスコアに所定の値(図9の例では、6)を加算する。なお、例えば、対応するコード進行の出現頻度に応じて異なる加算値(例えば、出現頻度が低いほど大きい加算値)が使用されてもよい。
なお、スコア算出部120は、コードの変化パターンの出現頻度を、2つの小節ごとではなく、3つ(又はそれ以上)の小節ごとに集計してもよい。
(5)楽器の変化
スコア算出部120は、例えば、演奏されている楽器の種類が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図10は、楽器の種類の変化に応じたスコアの加算について説明するための説明図である。図10を参照すると、メタデータにより示される演奏されている楽器の種類が、時間軸に沿って示されている。この例では、第1小節において、「ドラム」の演奏が開始されている。また、第3小節から第4小節にかけて、「ギター」の演奏が開始されている。第16小節から第18小節にかけて、「ギター」の演奏が一時的に中断され、再開されている。第61小節から第62小節にかけて、「ドラム」の演奏が終了している。第64小節において、「ギター」の演奏が終了している。従って、これら第1、第3、第4、第16、第17、第18、第61、第62及び第64小節は、楽器の種類が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部120は、これら小節のスコアに所定の値(図10の例では、5)を加算する。なお、例えば、対応する楽器の種類に応じて異なる加算値が使用されてもよい。
(6)歌声の有無の変化
スコア算出部120は、例えば、歌声の有無が変化する時点の前後の小節を特徴的な小節であると識別してもよい。図11は、歌声の有無の変化に応じたスコアの加算について説明するための説明図である。図11を参照すると、「楽器」に関するメタデータにより示される歌声の有無が、時間軸に沿って示されている。また、図11では、歌詞データにより示される歌声の有無が追加的に示されている。歌声の有無は、これらのいずれかのデータに基づいて判定されてよい。図11の例では、第6小節において、歌声の発声が開始されている。第16小節から第18小節にかけて、発声が一時的に中断され、再開されている。従って、これら第6、第16、第17及び第18小節は、歌声の有無が変化する時点の前後の特徴的な小節であると識別され得る。そこで、スコア算出部120は、これら小節のスコアに所定の値(図11の例では、8)を加算する。
(7)音量の変化
スコア算出部120は、例えば、音量が所定の変化量を超えて変化する時点の前後の小節を特徴的な小節であると識別してもよい。図12は、音量の変化に応じたスコアの加算について説明するための説明図である。図12を参照すると、音量が、波形のエネルギーの強さの1つの小節にわたる平均値として小節ごとに算出されている。図12の例において、音量は、第1小節から第2小節、第5小節から第6小節、第16小節から第17小節、及び第17小節から第18小節にかけて、それぞれ所定の変化量dVを超えて変化している。従って、これら第1、第2、第5、第6、第16、第17及び第18小節は、特徴的な小節であると識別され得る。そこで、スコア算出部120は、これら小節のスコアに所定の値(図12の例では、6)を加算する。
(8)小節位置
スコア算出部120は、例えば、特定の位置の小節のスコアにさらに値を加算することにより、小節ごとにスコアを調整し得る。特定の位置とは、例えば、nを0以上の整数とした場合の、第4n小節及び第4n+1小節、又は第8n小節及び第8n+1小節であってよい。これは、楽曲が4小節又は8小節などの単位で類似するメロディの繰り返しになっているケースが多いという事実に基づく。図13は、小節位置に応じたスコアの加算について説明するための説明図である。図13の例においては、第4n小節及び第4n+1小節が、特徴的な小節であると識別され、これら小節のスコアに所定の値(図13の例では、6)が加算されている。
(9)属性の種類
スコア算出部120は、例えば、特定の種類の属性を有する小節のスコアにさらに追加的な値を加算することにより、小節ごとにスコアを調整し得る。特定の種類とは、例えば、いずれかのメロディ種別又はいずれかの楽器の種類であってもよい。図14は、メロディ種別に応じたスコアの加算について説明するための説明図である。図14を参照すると、メロディ種別ごとにスコアの加算値を定義する加算スコアテーブルが示されている。当該テーブルにおいて、例えば、「前奏」についての加算値は3である。従って、スコア算出部120は、メロディ種別が「前奏」である第1〜第5小節のスコアに3を加算する。同様に、スコア算出部120は、他の小節のスコアにも加算スコアテーブルにより定義された値を加算する。このような属性の種類に応じた加算値は、予め固定的に定義されてもよい。例えば、図14の例のように、「サビ」についての加算値は、他のメロディ種別よりも大きく定義され得る。
また、例えば、楽曲内で同じメロディ種別が複数回出現する場合に、その出現位置に応じて異なる加算値が適用されてもよい。例えば、「サビ」のうち最後の「サビ」についての加算値は、他の位置の「サビ」についての加算値よりも大きくてよい。また、例えば、「Aメロ」のうち最初の「Aメロ」についての加算値は、他の位置の「Aメロ」についての加算値よりも大きくてよい。
さらに、属性の種類に応じた加算値がユーザごとに定義されてもよい。例えば、特定の種類の楽器(「ギター」又は「ボーカル」など)を好むユーザについて、その特定の種類に対応する加算値を大きく定義することで、同じ再生時間であってもユーザごとに内容の異なる再構成後の楽曲を得ることが可能となる。
(10)スコア算出処理の結果の一例
スコア算出部120は、上述した考え方の少なくとも1つに従って、楽曲の小節ごとにスコアを算出し、算出したスコアをスコアテーブルに格納する。図15は、スコア算出部120によるスコア算出処理の結果の一例について説明するための説明図である。図15を参照すると、横軸を小節番号、縦軸を算出されたスコアとするスコア算出結果のグラフが示されている。このグラフから、スコア算出処理の結果として、小節ごとの属性が変化しない期間ではスコアは低く、属性が変化する時点の前後ではスコアは高くなっていることが理解される。例えば、第6小節から第13小節までの期間において、「Aメロ」が続いている途中の小節のスコアよりも、「Aメロ」の開始時点にあたる第6小節及び「Aメロ」の終了時点にあたる第13小節のスコアが相対的に高い。また、「Aメロ」に属する小節の中では、第9小節の前後のスコアが他の小節のスコアと比較してより高い。これは、第9小節の前後のコードの変化などを理由とする。
[1−3.再構成部]
再構成部130は、スコア算出部120により算出されたスコアが相対的に高い小節を原曲から抽出することにより、原曲とは時間長の異なる楽曲を再構成する。例えば、再構成部130は、指定される閾値を超えるスコアを有する小節を原曲から抽出してもよい。再構成部130は、抽出する小節についての情報を、小節抽出テーブルに格納する。
図16A〜図16Cは、再構成部130による小節抽出処理について説明するための説明図である。各図の上には、図15に一例として示した小節ごとのスコアのグラフが示されている。斜線の網掛けは、網掛けされた小節のスコアが、各図に対応する閾値を超えることを表している。各図の左下には、スコア算出処理後のスコアテーブルの内容の一例が示されている。また、各図の右下には、再構成部130による小節抽出処理により生成される小節抽出テーブルの一例が示されている。例えば、図16Aを参照すると、小節抽出テーブルは、“新小節番号”、“元小節番号”、“原曲開始位置”及び“原曲終了位置”という4つのデータ項目を有する。“新小節番号”は、小節抽出処理の結果として再構成される楽曲の各小節の時間順の番号である。“元小節番号”は、当該小節の原曲における小節番号である。“原曲開始位置”は、原曲における当該小節の開始点の時間的位置を表す。原曲終了位置”は、原曲における当該小節の終了点の時間的位置を表す。
図16Aの例では、小節の抽出のための閾値Thは、20である。この場合、原曲における第5、第6、第17及び第18小節が、再構成後の楽曲の第1、第2、第3及び第4小節として抽出される。また、図16Bの例では、小節の抽出のための閾値Thは、19である。この場合、原曲における第1、第5、第6、第13、第16、第17及び第18小節が、再構成後の楽曲の第1〜第7小節として抽出される。また、図16Cの例では、小節の抽出のための閾値Thは、12である。この場合、原曲における第1、第4、第5、第6、第9、第13、第14、第16、第17、第18、第19及び第20小節が、再構成後の楽曲の第1〜第12小節として抽出される。
このように、閾値Thを小さくするほど、抽出される小節の数は多くなり、従って再構成される楽曲の再生時間は長くなる。閾値Thは、ユーザにより指定されてもよい。その代わりに、情報処理装置100は、再構成後の楽曲の再生時間をユーザに指定させ、指定された当該再生時間が実現されるように閾値Thを動的に調整してもよい。
(1)第1のシナリオ
図17A及び図17Bは、再構成部130による小節抽出処理の流れの一例を示すフローチャートを示している。図17A及び図17Bのフローチャートは、再構成後の楽曲の再生時間がユーザにより指定されるシナリオに沿ったフローチャートである。
図17Aを参照すると、まず、再構成部130は、ユーザにより指定される再生時間Lを取得する(ステップS142)。次に、再構成部130は、取得した再生時間Lに応じて、原曲から抽出すべき小節の数の目標である目標小節数Nを計算する(ステップS144)。楽曲のテンポ(1分当たりのビート数)をBPM(Beat Per Minute)、楽曲の主たる拍子をMETER(4分の4拍子なら4、4分の2拍子なら2、など)とすると、目標小節数Nは次の式(1)に従って計算され得る。
なお、1つの小節の長さLBARは次の式(2)のように計算され得る。
次に、再構成部130は、変数T及びDminを初期化する(ステップS146)。変数Tは、暫定的な閾値の値を保持する変数である。変数Tの初期値は、例えばゼロである。変数Dminは、目標小節数Nと暫定的に抽出される小節の数との差を保持する変数である。変数Dminの初期値は、原曲の小節数を超える十分に大きい値であってよい。
次に、再構成部130は、スコアがTを超える小節の数Nをカウントする(ステップS148)。次に、再構成部130は、カウントした小節数Nと目標小節数Nとの間の差の絶対値|N−N|がDminよりも小さいか否かを判定する(ステップS150)。ここで、|N−N|がDminよりも小さい場合には、再構成部130は、Dminに|N−N|を代入すると共に、閾値ThにTを代入する(ステップS152)。|N−N|がDminよりも小さくない場合には、ステップS152の処理はスキップされる。
次に、再構成部130は、Tが所定の最大値Tmaxよりも小さいか否かを判定する(ステップS154)。最大値Tmaxは、例えば、スコアテーブルに格納されているスコアのうちの最大値であってよい。ここで、TがTmaxよりも小さい場合には、再構成部130は、Tをインクリメント(例えば1を加算)する(ステップS156)。そして、処理はステップS148に戻る。一方。TがTmaxよりも小さくない場合には、処理は図17BのステップS158へ進む。
ステップS158では、再構成部130は、閾値Thを超えるスコアを有する小節を原曲から抽出する(ステップS158)。その結果、図16A〜図16Cに例示したような小節抽出テーブルが形成される。次に、再構成部130は、抽出した小節数Nと目標小節数Nとの間の残差N−Nを評価する(ステップS160、S162)。
ここで、残差N−Nがゼロに等しい場合には、再構成部130による小節抽出処理は終了する。
また、残差N−Nがゼロよりも大きい場合には、再構成部130は、残差N−Nに相当する数の小節を小節抽出テーブルから削除する(ステップS164)。再構成部130は、例えば、スコアの低い小節から順に選択される小節を削除してもよい。また、再構成部130は、例えば、削除すべきスコアであってスコアの等しい小節が複数存在する場合には、配列の前方(若しくは後方)の小節又はランダムに選択される小節を削除してもよい。
また、残差N−Nがゼロよりも小さい場合には、再構成部130は、残差N−Nに相当する数の小節を小節抽出テーブルに追加する(ステップS166)。再構成部130は、例えば、未抽出の小節のうちスコアの高い小節から順に選択される小節を追加してもよい。また、再構成部130は、例えば、追加すべきスコアであってスコアの等しい小節が複数存在する場合には、配列の前方(若しくは後方)の小節又はランダムに選択される小節を追加してもよい。
(2)第2のシナリオ
図18は、再構成部130による小節抽出処理の流れの他の例を示すフローチャートを示している。図18のフローチャートは、小節の抽出のための閾値Thがユーザにより指定されるシナリオに沿ったフローチャートである。
図18を参照すると、まず、再構成部130は、ユーザにより指定される閾値Thを取得する(ステップS172)。次に、再構成部130は、閾値Thを超えるスコアを有する小節を原曲から抽出する(ステップS174)。その結果、図16A〜図16Cに例示したような小節抽出テーブルが形成される。
[1−4.ユーザインタフェース部]
ユーザインタフェース部140は、情報処理装置100による楽曲再構成処理のためのユーザインタフェースをユーザに提供する。例えば、ユーザインタフェース部140は、再構成後の楽曲の再生時間Lをユーザに指定させるための画面を情報処理装置100と接続されるディスプレイ(又は情報処理装置100と通信する他の装置のディスプレイ)上に表示してもよい。また、ユーザインタフェース部140は、上記閾値Thをユーザに指定させるための画面を表示してもよい。再構成の対象の楽曲もまた、これら画面を介してユーザにより指定され得る。
また、ユーザインタフェース部140は、再生時間L又は閾値Thの指定に応じて、抽出される小節を画面上で確認できるような表示(例えば、図16A〜図16Cに例示したようなグラフなど)をユーザに提供してもよい。
また、ユーザインタフェース部140は、例えば、図6〜図14を用いて説明したスコア算出処理における様々な属性に応じたスコアの加算値をユーザに設定させるための設定画面を、ユーザに提供してもよい。
[1−5.フェード処理部]
フェード処理部150は、再構成部130により楽曲から抽出された小節のうち抽出前には不連続であって抽出後に連続する第1の小節及び第2の小節に、クロスフェードを適用する。
例えば、フェード処理部150は、再構成部130により楽曲から小節が抽出されると、小節抽出テーブルに登録された小節の波形を新小節番号の順に波形データから切り出す。そして、フェード処理部150は、続けて切り出される2つの小節の元小節番号が不連続である場合には、先の小節の末尾をフェードアウトさせると共に、後の小節の先頭をフェードインさせる。フェード処理部150は、このように取得及び加工される再構成後の楽曲の一連の波形を、記憶部110に記憶させてもよい。
その代わりに、フェード処理部150は、楽曲の再生の際に、記憶部110から原曲の波形データを取得し、小節抽出テーブルに登録されているデータに従ってリアルタイムで楽曲をリミックスしてもよい。この場合にも、フェード処理部150は、元小節番号が不連続な2つの小節にクロスフェードを適用し得る。原曲の波形データからリアルタイムで楽曲をリミックスして楽曲を再生する技術については、例えば特開2008−164932号公報に記載されている。
また、フェード処理部150は、フェードイン及びフェードアウトの時間長、即ちクロスフェードにおけるフェード時間の長さを、2つの小節を重ね合わせた場合の和音の種類に応じて変化させてもよい。例えば、フェード処理部150は、第1の小節と第2の小節とを重ね合わせた場合に協和音及び不協和音のいずれが生じるかを、2つの小節のコードに関するメタデータを用いて判定する。そして、フェード処理部150は、協和音が生じる場合には長いフェード時間を、不協和音が生じる場合には短いフェード時間を使用する。
[1−6.再生部]
再生部160は、再構成部130により原曲から抽出され、フェード処理部150により処理された再構成後の楽曲を再生する。ここで、ユーザにより指定された再生時間Lが式(2)に従って計算され得る小節の長さLBARの整数倍でない場合には、再構成後の楽曲の時間長が厳密に再生時間Lに一致しない可能性がある。そこで、再生部160は、再生される楽曲の時間長が再生時間Lに一致するように、楽曲の再生の際に楽曲のテンポを微調整してもよい。
<2.一実施形態に係る楽曲再構成処理の流れの例>
図19は、本実施形態に係る情報処理装置100による楽曲再構成処理の流れの一例を示すフローチャートである。
図19を参照すると、まず、スコア算出部120は、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶部110から取得する(ステップS110)。次に、スコア算出部120は、取得したメタデータに基づいて、例えばメロディ種別などの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを、小節ごとに算出する(ステップS120)。次に、再構成部130は、図17A〜図17B又は図18を用いて説明した小節抽出処理を行い、原曲とは時間長の異なる楽曲を再構成する(ステップS140)。次に、フェード処理部150は、抽出された小節のうち元小節番号の不連続な点の前後の小節に、クロスフェードを適用する(ステップS180)。そして、再生部160は、再構成され再生時間が短縮された楽曲を再生する(ステップS190)。
<3.応用例>
上述した楽曲再構成処理では、再構成された楽曲の再生時間は、原曲の再生時間よりも短い。しかしながら、本節で説明するように、上述した楽曲再構成処理を楽曲の再生時間の伸長のために応用することも可能である。
例えば、再構成部130は、原曲の再生時間よりも長い再生時間Lが指定されると、メロディ単位で選択される複数の小節を原曲内で複製する。小節を複製する位置は、例えば、原曲に現れるメロディ種別の変化のパターンが繰り返されるような位置であってもよく、他の位置であってもよい。
図20は、応用例に係る再構成部130による小節抽出処理の一例について説明するための説明図である。図20の上部には、原曲の小節線、小節ごとに算出されたスコア、及び各小節のメロディ種別が時間軸に沿って示されている。一方、図20の下部には、当該原曲内の一部の小節が複製された様子が示されている。例えば、複製後の区間BD1内の小節は、原曲の「Aメロ」及び「Bメロ」に属する小節の複製である。このような複製により、原曲に現れるメロディ種別の変化のパターンのうち、「Aメロ」→「Bメロ」→「サビ」というパターンが繰り返されている。また、複製後の区間BD2内の小節は、原曲の2番目の「サビ」に属する小節の複製である。
再構成部130は、複製後の楽曲の時間長が再生時間Lよりも十分に長くなるように、複製する小節の数を決定する。そして、再構成部130は、上述したように複数の小節を複製した後、図17A〜図17Bに例示した小節抽出処理に従って、再構成される楽曲の時間長が再生時間Lに等しくなる(又は少なくとも近くなる)ように、スコアが相対的に高い小節を抽出する。
このように、再構成される楽曲の時間長が再生時間Lに等しくなるように原曲に単純に小節を追加するのではなく、メロディ単位で複数の小節を複製して楽曲の時間長を十分に伸長した後で上述したスコアに基づく小節抽出処理を適用することで、再構成後の楽曲においても原曲の音楽性がより良好に再現され得る。
図21は、本応用例に係る楽曲再構成処理の流れの一例を示すフローチャートである。
図21を参照すると、まず、スコア算出部120は、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶部110から取得する(ステップS110)。次に、スコア算出部120は、取得したメタデータに基づいて、例えばメロディ種別などの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを、小節ごとに算出する(ステップS120)。
次に、再構成部130は、例えばユーザインタフェース部140を介して指定された楽曲の再生時間Lが原曲の時間長よりも長いか否かを判定する(ステップS130)。ここで、再生時間Lが原曲の時間長よりも長い場合には、再構成部130は、図20を用いて説明したように、原曲内の複数の小節を複製する(ステップS132)。一方、再生時間Lが原曲の時間長よりも長くない場合には、ステップS132の処理はスキップされる。
次に、再構成部130は、図17A〜図17Bに例示した小節抽出処理を行い、原曲とは時間長の異なる楽曲を再構成する(ステップS140)。次に、フェード処理部150は、抽出された小節のうち元小節番号の不連続点の前後の小節に、クロスフェードを適用する(ステップS180)。そして、再生部160は、再構成され再生時間が変更された楽曲を再生する(ステップS190)。
<4.まとめ>
ここまで、図1〜図21を用いて、本発明の一実施形態について説明した。上述した実施形態によれば、楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータに基づいて、属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアが算出され、当該スコアが相対的に高い小節が上記楽曲から抽出される。そして、抽出された小節から、上記楽曲とは時間長の異なる楽曲が再構成される。かかる構成によれば、例えば同じメロディ種別、同じコード、又は同じキーなどが続いている期間、即ち楽曲の音楽的特徴がおおよそ維持されている期間の途中の小節が省略される一方、当該期間の先頭及び末尾の小節は優先的に再構成後の楽曲に残される。従って、再構成により楽曲の再生時間を短縮する場合にも、音楽的特徴の異なる部分がブツ切りに再生されることが少なく、楽曲の自然な流れを保つことができる。
また、音楽的特徴が変化する時点の前後の小節が優先的に再構成後の楽曲に残されることで、1つの楽曲に含まれる様々な音楽的特徴の多くが、再生時間の短縮後においても少なくとも断片的に再現される。それにより、楽曲の様々な音楽的特徴を効率的にユーザに聴かせることが可能となる。その結果、ユーザによる購買をより効果的に促進することができる。また、ユーザが大量の楽曲の中から自分の好みに合った楽曲を探し出すこともより容易になる。
また、本実施形態によれば、小節の単位で楽曲が再構成されるため、再構成によって楽曲のビート感、テンポ及びリズムが崩れることがない。
また、本実施形態によれば、メロディ種別の変化、キー又はスケールの変化、拍子の変化、コードの変化、演奏されている楽器の変化、歌声の有無の変化、及び音量の変化など、様々な音楽的特徴に基づいて、小節の抽出の基準となるスコアが算出される。これらスコアの算出基準は、どのように組み合わせて利用されてもよい。また、ユーザごとに異なる算出基準が利用されてもよい。即ち、サービスの目的、利用可能なデータの種類、又はユーザの好みなどに応じて内容の異なる再構成後のバージョンを提供することが可能である。
また、本実施形態によれば、原曲において不連続であった2つの小節にクロスフェードが適用されることにより、再構成後の楽曲の自然な流れが補強され得る。
また、本実施形態によれば、楽曲の時間長を伸長する場合には、メロディ単位で選択される複数の小節が複製された後、上述したスコアが相対的に高い小節が抽出され、指定された時間長に適合するように楽曲が再構成される。複数の小節が複製される位置は、メロディの種類の変化のパターンが繰り返されるような位置であってよい。それにより、楽曲の音楽的特徴をより自然に再構成後の楽曲において再現することができる。
なお、本明細書において説明した情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPU(Central Processing Unit)などのプロセッサにより実行される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100 情報処理装置
110 記憶部
120 スコア算出部
130 再構成部
150 フェード処理部
160 再生部

Claims (17)

  1. 楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部と、
    前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
    前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
    を備え
    前記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含む、
    情報処理装置。
  2. 前記特徴的な小節は、小節又はビートが属するメロディの種類が変化する時点の前後の小節を含む、請求項1に記載の情報処理装置。
  3. 前記特徴的な小節は、小節又はビートのキー又はスケールが変化する時点の前後の小節を含む、請求項1に記載の情報処理装置。
  4. 前記特徴的な小節は、小節又はビートの拍子が変化する時点の前後の小節を含む、請求項1に記載の情報処理装置。
  5. 前記特徴的な小節は、小節又はビートにおいて演奏されている楽器の種類が変化する時点の前後の小節を含む、請求項1に記載の情報処理装置。
  6. 前記特徴的な小節は、歌声の有無が変化する時点の前後の小節を含む、請求項1に記載の情報処理装置。
  7. 前記特徴的な小節は、前記楽曲の音量が所定の変化量を超えて変化する時点の前後の小節を含む、請求項1に記載の情報処理装置。
  8. 前記スコア算出部は、小節若しくはビートが属するメロディの種類、小節の位置、又は小節若しくはビートにおいて演奏されている楽器の種類に応じて、前記スコアを小節ごとにさらに調整する、請求項1に記載の情報処理装置。
  9. 前記情報処理装置は、
    前記再構成部により前記楽曲から抽出された小節のうち抽出前には不連続であって抽出後に連続する第1の小節及び第2の小節にクロスフェードを適用するフェード処理部、
    をさらに備える、請求項1に記載の情報処理装置。
  10. 前記フェード処理部は、前記第1の小節と前記第2の小節とを重ね合わせた場合に協和音及び不協和音のいずれが生じるかを判定し、当該判定の結果に応じてフェード時間の長さを変化させる、請求項に記載の情報処理装置。
  11. 前記再構成部は、指定される閾値を超えるスコアを有する小節を前記楽曲から抽出する、請求項1に記載の情報処理装置。
  12. 前記再構成部は、指定される時間長に応じた小節数とスコアに関連する閾値を用いて抽出される小節数とが適合しない場合には、抽出される小節を追加し又は削除することにより、再構成される楽曲の時間長を調整する、請求項1に記載の情報処理装置。
  13. 情報処理装置の処理手段を用いた楽曲再構成方法であって、
    楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを取得するステップと、
    前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するステップと、
    前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成するステップと、
    を含み、
    前記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含む、
    楽曲再構成方法。
  14. 楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部を備える情報処理装置を制御するコンピュータを、
    前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
    前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
    として機能させ
    前記特徴的な小節は、小節又はビートのコードが変化する時点のうち相対的に出現頻度の低い変化パターンが出現する時点の前後の小節を含む、
    プログラム。
  15. 楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部と、
    前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
    前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
    を備え、
    前記再構成部は、指定される時間長が前記楽曲の時間長よりも長い場合には、メロディ単位で選択される複数の小節を前記楽曲内で複製した後、前記スコアが相対的に高い小節を抽出する、
    情報処理装置。
  16. 情報処理装置の処理手段を用いた楽曲再構成方法であって、
    楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを取得するステップと、
    前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するステップと、
    前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成するステップと、
    を含み、
    指定される時間長が前記楽曲の時間長よりも長い場合には、前記再構成するステップにおいて、メロディ単位で選択される複数の小節が前記楽曲内で複製された後、前記スコアが相対的に高い小節が抽出される、
    楽曲再構成方法。
  17. 楽曲の小節ごとの属性又は各小節に含まれるビートごとの属性を表すメタデータを記憶する記憶部を備える情報処理装置を制御するコンピュータを、
    前記メタデータに基づいて、前記楽曲の小節ごとに、小節の属性又はビートの属性が変化する時点の前後の小節を含む特徴的な小節を識別するためのスコアを算出するスコア算出部と、
    前記スコアに応じて前記楽曲から特徴的な小節を抽出することにより、前記楽曲とは時間長の異なる楽曲を再構成する再構成部と、
    として機能させ、
    前記再構成部は、指定される時間長が前記楽曲の時間長よりも長い場合には、メロディ単位で選択される複数の小節を前記楽曲内で複製した後、前記スコアが相対的に高い小節を抽出する、
    プログラム。
JP2010236971A 2010-10-22 2010-10-22 情報処理装置、楽曲再構成方法及びプログラム Expired - Fee Related JP5594052B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010236971A JP5594052B2 (ja) 2010-10-22 2010-10-22 情報処理装置、楽曲再構成方法及びプログラム
CN2011103199456A CN102568526A (zh) 2010-10-22 2011-10-14 信息处理设备、内容数据再配置方法及程序
US13/275,586 US20120101606A1 (en) 2010-10-22 2011-10-18 Information processing apparatus, content data reconfiguring method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010236971A JP5594052B2 (ja) 2010-10-22 2010-10-22 情報処理装置、楽曲再構成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012088632A JP2012088632A (ja) 2012-05-10
JP5594052B2 true JP5594052B2 (ja) 2014-09-24

Family

ID=45973635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010236971A Expired - Fee Related JP5594052B2 (ja) 2010-10-22 2010-10-22 情報処理装置、楽曲再構成方法及びプログラム

Country Status (3)

Country Link
US (1) US20120101606A1 (ja)
JP (1) JP5594052B2 (ja)
CN (1) CN102568526A (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625235B2 (ja) * 2008-11-21 2014-11-19 ソニー株式会社 情報処理装置、音声解析方法、及びプログラム
US8889976B2 (en) * 2009-08-14 2014-11-18 Honda Motor Co., Ltd. Musical score position estimating device, musical score position estimating method, and musical score position estimating robot
CA2853362A1 (en) * 2011-10-24 2013-05-02 Omnifone Ltd Method, system and computer program product for navigating digital media content
JP2013105085A (ja) * 2011-11-15 2013-05-30 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
WO2013182515A2 (en) * 2012-06-04 2013-12-12 Sony Corporation Device, system and method for generating an accompaniment of input music data
JP2014006480A (ja) * 2012-06-27 2014-01-16 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP6026835B2 (ja) * 2012-09-26 2016-11-16 株式会社エクシング カラオケ装置
USD748669S1 (en) * 2014-03-17 2016-02-02 Lg Electronics Inc. Display panel with transitional graphical user interface
USD748670S1 (en) * 2014-03-17 2016-02-02 Lg Electronics Inc. Display panel with transitional graphical user interface
USD757093S1 (en) * 2014-03-17 2016-05-24 Lg Electronics Inc. Display panel with transitional graphical user interface
USD748134S1 (en) * 2014-03-17 2016-01-26 Lg Electronics Inc. Display panel with transitional graphical user interface
USD748671S1 (en) * 2014-03-17 2016-02-02 Lg Electronics Inc. Display panel with transitional graphical user interface
CN107039024A (zh) * 2017-02-10 2017-08-11 美国元源股份有限公司 乐谱数据处理方法及装置
WO2020080239A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 情報処理方法、情報処理装置及び情報処理プログラム
JP7439755B2 (ja) * 2018-10-19 2024-02-28 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0413194A (ja) * 1990-05-02 1992-01-17 Brother Ind Ltd 短縮再生機能付き楽音再生装置
JP4176893B2 (ja) * 1999-01-19 2008-11-05 ローランド株式会社 波形再生装置
US6225546B1 (en) * 2000-04-05 2001-05-01 International Business Machines Corporation Method and apparatus for music summarization and creation of audio summaries
US6542869B1 (en) * 2000-05-11 2003-04-01 Fuji Xerox Co., Ltd. Method for automatic analysis of audio including music and speech
JP3763737B2 (ja) * 2000-11-28 2006-04-05 株式会社東芝 半導体発光素子
US7284004B2 (en) * 2002-10-15 2007-10-16 Fuji Xerox Co., Ltd. Summarization of digital files
US6784354B1 (en) * 2003-03-13 2004-08-31 Microsoft Corporation Generating a music snippet
DE102004047032A1 (de) * 2004-09-28 2006-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bezeichnen von verschiedenen Segmentklassen
JP4626376B2 (ja) * 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
WO2007011308A1 (en) * 2005-07-22 2007-01-25 Agency For Science, Technology And Research Automatic creation of thumbnails for music videos
JP4403415B2 (ja) * 2005-09-20 2010-01-27 ソニー株式会社 コンテンツ再生方法およびコンテンツ再生装置
KR100725018B1 (ko) * 2005-11-24 2007-06-07 삼성전자주식회사 음악 내용 자동 요약 방법 및 그 장치
US7826911B1 (en) * 2005-11-30 2010-11-02 Google Inc. Automatic selection of representative media clips
JPWO2007066819A1 (ja) * 2005-12-09 2009-05-21 ソニー株式会社 音楽編集装置及び音楽編集方法
JP4949687B2 (ja) * 2006-01-25 2012-06-13 ソニー株式会社 ビート抽出装置及びビート抽出方法
US20070261537A1 (en) * 2006-05-12 2007-11-15 Nokia Corporation Creating and sharing variations of a music file
EP2088518A1 (en) * 2007-12-17 2009-08-12 Sony Corporation Method for music structure analysis
JP5206378B2 (ja) * 2008-12-05 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20120101606A1 (en) 2012-04-26
JP2012088632A (ja) 2012-05-10
CN102568526A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5594052B2 (ja) 情報処理装置、楽曲再構成方法及びプログラム
US8710343B2 (en) Music composition automation including song structure
CN106023969B (zh) 用于将音频效果应用于音乐合辑的一个或多个音轨的方法
KR101136974B1 (ko) 재생장치 및 재생방법
US11521585B2 (en) Method of combining audio signals
JP2006084749A (ja) コンテンツ生成装置およびコンテンツ生成方法
KR20080066007A (ko) 재생용 오디오 프로세싱 방법 및 장치
JP2014006480A (ja) 情報処理装置、情報処理方法及びプログラム
JP4364838B2 (ja) 楽曲リミックス可能な音楽再生装置ならびに楽曲リミックス方法およびプログラム
JP2008139426A (ja) 評価用データのデータ構造、カラオケ装置及び記録媒体
JP2003177784A (ja) 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響再生システム、音響配信システム、情報提供装置、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム
US9037278B2 (en) System and method of predicting user audio file preferences
JP2014010275A (ja) 情報処理装置、情報処理方法及びプログラム
JP2009042784A (ja) オンライン作曲のためのシステム、方法及びコンピュータ読取り可能な記録媒体
JP3716725B2 (ja) 音声処理装置、音声処理方法および情報記録媒体
JP2008216486A (ja) 音楽再生システム
SHELVOCK Groove and the grid: mixing contemporary hip hop
JPWO2006087891A1 (ja) 情報選択方法及び情報選択装置等
Maia et al. SAMBASET: A dataset of historical samba de enredo recordings for computational music analysis
CN112825244B (zh) 配乐音频生成方法和装置
O'Connor et al. Determining the Composition
JP7028942B2 (ja) 情報出力装置及び情報出力方法
JP5439994B2 (ja) データ集配システム,通信カラオケシステム
Lin et al. Bridging music using sound-effect insertion
CUARTAS CHAPTER THREE THE INFLUENCE OF ‘AUDIO CORRECTORS’

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140721

LAPS Cancellation because of no payment of annual fees