JP6364885B2 - 楽曲処理装置および楽曲処理方法 - Google Patents

Description

本発明は、楽曲の再生時間を調整する技術に関する。

楽曲の音楽的な特徴を維持しながら再生時間を短縮する技術が従来から提案されている。例えば特許文献１には、楽曲のうち音楽的な属性が変化する時点の前後の小節を含む特徴的な各区間を抽出して再構成することで楽曲の再生時間を短縮する構成が開示されている。

特開２０１２−０８８６３２号公報

ところで、例えば通勤や通学等の移動の場面では、目的地に到着するまでの時間を充分に有効に利用して所望の複数の楽曲（いわゆるプレイリスト）を聴きたいという要望が想定される。特許文献１の技術を利用すれば、短時間で多数の楽曲を再生することは可能であるが、例えば目的地に対して大幅に手前の時点で所望の楽曲の再生が終了する可能性がある。以上の事情を考慮して、本発明は、特定の時間を複数の楽曲の再生のために有効に利用することを目的とする。

以上の課題を解決するために、本発明に係る楽曲処理装置は、再生時間を設定する時間設定手段と、楽曲列情報が指定する複数の楽曲の各々について再生時間内の楽曲時間を設定する時間割当手段と、複数の楽曲の各々を当該楽曲の楽曲時間に縮約する楽曲縮約手段とを具備する。以上の構成では、楽曲列情報が指定する複数の楽曲の各々について再生時間内の楽曲時間が設定されたうえで各楽曲が楽曲時間に縮約される。したがって、楽曲列情報で指定される複数の楽曲の再生のために特定の再生時間を有効に利用することが可能である。なお、楽曲の縮約には、楽曲の特定の区間を抽出する処理（要約）と楽曲を時間軸上で伸縮する処理との双方が包含され得る。

本発明の好適な態様において、時間設定手段は、再生時間を経時的に変化させ、時間割当手段は、再生時間の変化に応じて各楽曲の楽曲時間を更新し、楽曲縮約手段は、各楽曲を更新後の楽曲時間に縮約する。以上の態様では、再生時間が経時的に変化し、再生時間の変化に応じて各楽曲の楽曲時間の更新と楽曲の縮約とが実行される。したがって、再生時刻が経時的に変化する場合でも、再生時間を複数の楽曲の再生に有効に利用できるという利点がある。

本発明の好適な態様において、楽曲縮約手段は、時間軸上で楽曲を区分した複数の単位区間の各々について、当該単位区間を含む所定区間が当該楽曲を代表する度合を示す代表指標と、当該単位区間と他の単位区間との間の遷移の音楽的な妥当性を示す遷移指標とを算定し、当該楽曲を、代表指標と遷移指標とに応じて選択した各単位区間を配列した内容に縮約する。以上の態様では、各単位区間を含む所定区間が当該楽曲を代表する度合を示す代表指標と、各単位区間の相互間の遷移の妥当性を示す遷移指標とに応じて選択された単位区間を時間軸上に配列することで縮約後の楽曲が生成されるから、音楽的に自然な印象を維持しながら楽曲を縮約できるという利点がある。

本発明の好適な態様において、楽曲縮約手段は、各楽曲の楽曲時間に応じて当該楽曲の縮約の条件を制御する。以上の態様では、各楽曲の楽曲時間に応じて当該楽曲の縮約の条件が制御されるから、楽曲時間の長短に応じた適切な区間を縮約後の楽曲にて維持することが可能である。例えば、楽曲の楽曲時間が閾値を上回る場合には、当該楽曲の始点または終点を含む区間が残るように当該楽曲を縮約し、楽曲の楽曲時間が閾値を下回る場合には、当該楽曲の途中に位置する特定の区間が残るように当該楽曲を縮約する構成が好適である。以上の構成によれば、楽曲時間が充分に確保された場合には、楽曲の始点または終点を含む区間が残るように楽曲が縮約されるから、恰も楽曲の全体を聴いたような満足感が利用者に付与される。他方、楽曲時間が短い場合には、楽曲の途中に位置する区間（典型的には楽曲を代表する区間）が残るように楽曲が縮約されるから、短い時間で利用者が楽曲の特徴を効率的に把握できるという利点がある。

以上の各態様に係る楽曲処理装置は、楽曲の処理に専用されるＤＳＰ（Digital Signal Processor）等のハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。本発明のプログラムは、例えば通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に例示した各態様に係る楽曲処理装置の動作方法（楽曲処理方法）としても特定される。

本発明の第１実施形態に係る楽曲処理装置の構成図である。 再生時間と各楽曲時間との関係の説明図である。 楽曲再生処理のフローチャートである。 再生時間および各楽曲時間の更新の具体例の説明図である。 第２実施形態における楽曲縮約部の構成図である。 楽曲を縮約する処理の説明図である。 第３実施形態における楽曲縮約部の動作のフローチャートである。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る楽曲処理装置１００の構成図である。図１に例示される通り、第１実施形態の楽曲処理装置１００は、演算処理装置１２と記憶装置１４と入力装置１６と再生装置１８とを具備するコンピュータシステムで実現される。例えば携帯電話機やスマートフォン等の携帯型の情報処理装置が楽曲処理装置１００として好適に利用され得る。

入力装置１６は、利用者からの指示を受付ける。例えば、利用者が操作する複数の操作子が配置された操作機器や、操作面に対する利用者の手指の接触を検知するタッチパネルが入力装置１６として好適に利用される。再生装置１８（例えばスピーカやヘッドホン）は、演算処理装置１２から指示された音響を放射する。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に採用され得る。

第１実施形態の記憶装置１４は、複数の楽曲の各々について音楽データＸを記憶する。任意の１個の楽曲の音楽データＸは、当該楽曲の音響（歌唱音や伴奏音等の演奏音）の時間波形を表現する。例えばＭＰ３形式やＷＡＶ形式の音楽ファイルが音楽データＸの典型例である。

また、第１実施形態の記憶装置１４は、楽曲列情報Ｐを記憶する。楽曲列情報Ｐは、記憶装置１４に音楽データＸが記憶された複数の楽曲から選択されたＫ個の楽曲の系列を指定するプレイリストである（Ｋは２以上の自然数）。例えば入力装置１６に対する操作で利用者が選択したＫ個の楽曲や、所定の条件（例えば歌唱者やジャンル）で検索されたＫ個の楽曲が楽曲列情報Ｐで指定される。楽曲列情報Ｐが指定する楽曲の個数Ｋは、例えば利用者からの指示や検索の結果に応じた可変値である。なお、ランダムに選択されたＫ個の楽曲を楽曲列情報Ｐが指定することも可能である。

第１実施形態の楽曲処理装置１００は、楽曲列情報Ｐで指定されるＫ個の楽曲を特定の時間（以下「再生時間」という）Ｔ0に収まるように縮約（要約）して再生する。図１の演算処理装置１２は、記憶装置１４に記憶されたプログラムを実行することで、楽曲列情報Ｐが指定するＫ個の楽曲を処理するための複数の機能（時間設定部２２，時間割当部２４，楽曲縮約部２６，再生制御部２８）を実現する。なお、演算処理装置１２の各機能を複数の装置に分散した構成や、専用の電子回路が演算処理装置１２の一部の機能を分担する構成も採用され得る。

時間設定部２２は、Ｋ個の楽曲が再生される再生時間Ｔ0を設定する。第１実施形態の時間設定部２２は、図２に例示される通り、開始時刻ｔCから終了時刻ｔEまでの時間長を再生時間Ｔ0として設定する。終了時刻ｔEは経時的に（例えば所定の間隔で定期的に）変更される。

例えば、利用者が指定した目的地までの経路（例えば道路の道筋や交通機関の乗換等）を提示する経路案内処理を演算処理装置１２が実行する場合を想定する。経路案内処理では、ＧＰＳ（Global Positioning System）等の測位機器が検出する利用者の実際の位置と目的地との位置関係や経路の混雑状況に応じて、利用者が目的地に到着すると推定される推定到着時刻が実時間的に随時に更新される。時間設定部２２は、経路案内処理で算定される推定到着時刻を終了時刻ｔEとして再生時間Ｔ0を設定する。すなわち、再生時間Ｔ0は、目的地までの推定所要時間に相当し、推定到着時刻（終了時刻ｔE）に応じて経時的に変化する。

図１の時間割当部２４は、図２に例示される通り、楽曲列情報Ｐが指定するＫ個の楽曲の各々について再生時間Ｔ0内の楽曲時間Ｑ[k]（Ｑ[1]〜Ｑ[K]）を設定する。任意の１個の楽曲の楽曲時間Ｑ[k]は、当該楽曲の再生のために確保された時間である。すなわち、時間割当部２４は、Ｋ個の楽曲の各々に楽曲時間Ｑ[k]を割当てる要素とも換言され得る。Ｋ個の楽曲時間Ｑ[1]〜Ｑ[K]が再生時間Ｔ0の範囲内に収まる（Ｋ個の楽曲時間Ｑ[1]〜Ｑ[K]の合計時間が再生時間Ｔ0以下となる）ように各楽曲時間Ｑ[k]は設定される。例えば、時間割当部２４は、再生時間Ｔ0のＫ等分でＫ個の楽曲時間Ｑ[1]〜Ｑ[K]を設定する。すなわち、Ｋ個の楽曲にわたる楽曲時間Ｑ[1]〜Ｑ[K]の合計時間は再生時間Ｔ0に合致する。

図１の楽曲縮約部２６は、楽曲列情報Ｐが指定するＫ個の楽曲の各々を、時間割当部２４が当該楽曲に設定した楽曲時間Ｑ[k]に縮約（短縮ないし要約）する。具体的には、楽曲縮約部２６は、１個の楽曲の音楽データＸに対して所定の処理を実行することで、再生時間を楽曲時間Ｑ[k]に短縮した音楽データＹを生成する。楽曲の縮約には公知の技術が任意に採用され得る。例えば、音楽データＸのうち楽曲を代表する印象的ないし特徴的な区間（例えばサビ区間）を抽出して時間軸上に配列することで楽曲時間Ｑ[k]の音楽データＹが生成される。なお、楽曲の特定の区間の抽出に代えて（または特定の区間の抽出とともに）、音楽データＸを時間軸上で収縮する処理（タイムストレッチ）により楽曲時間Ｑ[k]の音楽データＹを生成することも可能である。

再生制御部２８は、楽曲縮約部２６による処理後（再生時間の短縮後）のＫ個の楽曲の各々の音響を再生装置１８に再生させる。具体的には、再生制御部２８は、Ｋ個の楽曲の各々について楽曲縮約部２６が生成した音楽データＹを順次に再生装置１８に供給することで、楽曲時間Ｑ[k]にわたる楽曲の音響をＫ個の楽曲について再生装置１８から順次に放射させる。したがって、再生時間Ｔ0の満了（例えば利用者が目的地に到着すると推定される終了時刻ｔE）と略同時にＫ個の楽曲のうち最後の楽曲の再生が完了する。

図３は、第１実施形態の演算処理装置１２がＫ個の楽曲を再生時間Ｔ0内で再生するために実行する処理（以下「楽曲再生処理」という）のフローチャートである。例えば入力装置１６に対する利用者からの指示（再生開始指示）を契機として楽曲再生処理が開始される。なお、目的地までの経路を利用者に提示する経路案内処理が図３の楽曲再生処理に並行して実行されている状況を以下では便宜的に想定する。

楽曲再生処理を開始すると、時間設定部２２は再生時間Ｔ0を設定する（ＳA1）。具体的には、時間設定部２２は、開始時刻ｔCを現在時刻に設定し、経路案内処理で推定された推定到着時刻に終了時刻ｔEを設定したうえで、開始時刻ｔCから終了時刻ｔEまでの時間長（すなわち目的地までの推定所要時間）を再生時間Ｔ0として算定する。時間割当部２４は、楽曲列情報Ｐが指定するＫ個の楽曲の各々の楽曲時間Ｑ[k]を、時間設定部２２が設定した再生時間Ｔ0の範囲内で設定する（ＳA2）。

楽曲縮約部２６は、楽曲列情報Ｐが指定する１個の楽曲（以下「対象楽曲」という）を選択する（ＳA3）。例えば、楽曲列情報Ｐにおける配列順で最先に位置する未再生の楽曲が対象楽曲として選択される。楽曲縮約部２６は、対象楽曲の音楽データＸに対する処理で、再生時間が楽曲時間Ｑ[k]に短縮された音楽データＹを生成する（ＳA4）。再生制御部２８は、楽曲縮約部２６による処理後の音楽データＹを再生装置１８に順次に供給することで縮約後の対象楽曲の音響を再生装置１８から放射させる（ＳA5）。楽曲時間Ｑ[k]にわたる対象楽曲の再生が完了するまで、再生装置１８に対する音楽データＹの供給は継続される（ＳA6：NO）。

縮約後の対象楽曲の再生が完了すると（ＳA6：YES）、再生制御部２８は、楽曲列情報Ｐで指定されたＫ個の楽曲の全部について以上の処理（ＳA3〜ＳA6）を実行したか否かを判定し（ＳA7）、Ｋ個の楽曲について処理が完了した場合（ＳA7：YES）には楽曲再生処理を終了する。他方、未再生の楽曲が存在する場合（ＳA7：NO）、時間設定部２２は、終了時刻ｔE（推定到着時刻）が更新されたか否かを判定する（ＳA8）。終了時刻ｔEが更新されていない場合（ＳA8：NO）、現段階の再生時間Ｔ0と各楽曲時間Ｑ[k]とを維持した状態で、各楽曲の縮約（ＳA3，ＳA4）と再生（ＳA5，ＳA6）とが順次に実行される。

前述の通り、終了時刻ｔEは、経路案内処理で推定される推定到着時刻に応じて随時に更新される。終了時刻ｔEが更新された場合（ＳA8：YES）、時間設定部２２による再生時間Ｔ0の設定（ＳA1）と時間割当部２４による各楽曲時間Ｑ[k]の設定（ＳA2）とが実行される。具体的には、時間設定部２２は、開始時刻ｔCを現在時刻（直前の楽曲の再生が終了した時刻）に設定するとともに終了時刻ｔEを更新後の推定到着時刻に設定したうえで、開始時刻ｔCから終了時刻ｔEまでの時間長を新たな再生時間Ｔ0として算定する（ＳA1）。すなわち、終了時刻ｔE（推定到着時刻）の変更に応じて再生時間Ｔ0が更新される。また、時間割当部２４は、現段階で未再生である各楽曲の楽曲時間Ｑ[k]を更新後の再生時間Ｔ0の範囲内で設定する（ＳA2）。以上の説明から理解される通り、再生時間Ｔ0と各楽曲時間Ｑ[k]とは経時的に変更される。未再生の各楽曲は、更新後の各楽曲時間Ｑ[k]に縮約されたうえで再生される（ＳA3〜ＳA6）。

図４は、以上に例示した楽曲再生処理の具体例の説明図である。利用者が目的地に向けて移動する場面が図４では例示されている。楽曲再生が指示された時刻ｐA1（7:41）での推定到着時刻が時刻ｐB1（8:35）である場合を想定すると、現在の時刻ｐA1（開始時刻ｔC）から推定到着時刻ｐB1（終了時刻ｔE）までの時間長が再生時間Ｔ0（ｐB1−ｐA1＝５４[分]）として算定される。したがって、時刻ｐA1から時刻ｐB1までの再生時間Ｔ0（５４分）でＫ個の楽曲が再生されるように、再生時間Ｔ0内の各楽曲時間Ｑ[k]の設定と各楽曲の縮約および再生とが順次に実行される。

時刻ｐA1から４個の楽曲の再生が終了した時刻ｐA2（7:58）にて推定到着時刻が時刻ｐB1から時刻ｐB2（8:41）に変更された場合を想定すると、再生時間Ｔ0は、現在の時刻ｐA2（開始時刻ｔC）から変更後の推定到着時刻ｐB2（終了時刻ｔE）までの時間長（Ｔ0＝ｐB2−ｐA2＝４３[分]）に更新される。すなわち、時刻ｐA2から時刻ｐB2までの再生時間Ｔ0（４３分）で未再生の(Ｋ−４)個の楽曲が再生されるように、更新後の再生時間Ｔ0内の各楽曲時間Ｑ[k]の設定と各楽曲の縮約および再生とが順次に実行される。したがって、利用者が目的地に到着すると推定される時刻ｐB2（すなわち更新後の再生時間Ｔ0が満了する時刻）にてＫ個の楽曲の再生が完了する。

以上に説明した通り、第１実施形態では、楽曲列情報Ｐが指定するＫ個の楽曲の各々について再生時間Ｔ0の範囲内の楽曲時間Ｑ[k]が設定されたうえで各楽曲が楽曲時間Ｑ[k]に縮約される。したがって、再生時間Ｔ0をＫ個の楽曲の再生のために有効に利用することが可能である。第１実施形態では特に、Ｋ個の楽曲にわたる楽曲時間Ｑ[k]の合計時間が再生時間Ｔ0に合致するように各楽曲の楽曲時間Ｑ[k]が設定されるから、再生時間Ｔ0の有効利用という効果は格別に顕著である。具体的には、再生時間Ｔ0の満了の時点（例えば利用者が目的地に到着した時点）でちょうどＫ個の楽曲の再生が完了するように、各楽曲を再生することが可能である。

また、第１実施形態では、再生時間Ｔ0が経時的に変化し、再生時間Ｔ0の変化に応じて各楽曲の楽曲時間Ｑ[k]の更新と楽曲の縮約とが実行される。したがって、前掲の経路案内処理の例示のように終了時刻ｔE（推定到着時刻）が随時に変化する場面でも、再生時間Ｔ0（利用者が目的地に到着するまでの時間）を楽曲の再生に有効に利用できるという利点がある。すなわち、利用者の移動状況に応じて推定到着時刻が変化した場合でも、再生時間Ｔ0の満了の時点でちょうどＫ個の楽曲の再生を完了することが可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第２実施形態では、楽曲列情報Ｐが指定する各楽曲の再生時間を楽曲時間Ｑ[k]に短縮する処理（図３のステップＳA4）の具体例を例示する。第２実施形態では、音楽データＸで表現される処理前の楽曲を時間軸上で区分したＭ個の区間（以下「単位区間」という）からＮ個（Ｎ＜Ｍ）の単位区間を選択して時間軸上に配列することで、楽曲時間Ｑ[k]の楽曲の音楽データＹを生成する。すなわち、縮約後のＮ個の単位区間の合計時間が楽曲時間Ｑ[k]に相当するように個数Ｎは可変に設定される。以下の説明では、楽曲の１拍分に相当する区間を１個の単位区間として例示する。したがって、縮約後の単位区間の個数Ｎは、楽曲時間Ｑ[k]に包含される拍点の総数に相当する。また、以下の説明では、音楽データＸで表現される縮約前の楽曲を「原楽曲」と表記し、音楽データＹで表現される縮約後の楽曲を「縮約曲」と表記する場合がある。

図５は、第２実施形態における楽曲縮約部２６の構成図である。図５に例示される通り、第２実施形態では、音楽データＸが用意された複数の原楽曲の各々について関連データＺが記憶される。すなわち、音楽データＸと関連データＺとの組が楽曲毎に記憶装置１４に記憶される。任意の１個の原楽曲の関連データＺは、当該原楽曲のコードを単位区間毎（拍点毎）に指定するとともに原楽曲の小節線（相前後する各小節の境界）の位置を指定するメタデータである。

図５に例示される通り、第２実施形態の楽曲縮約部２６は、特徴量算定部４２と第１指標算定部４４と第２指標算定部４６と縮約処理部４８とを含んで構成される。

特徴量算定部４２は、原楽曲の特徴量Ｆ[m]（ｍ＝１〜Ｍ）をＭ個の単位区間の各々について算定する。特徴量Ｆ[m]は、原楽曲のうち第ｍ番目の単位区間を含む所定長の区間（以下「評価区間」という）の音楽的な特徴を表現する。具体的には、特徴量算定部４２は、第ｍ番目の単位区間を先頭とした単位区間の４個分（４拍分）の区間を評価区間として特徴量Ｆ[m]を算定する。

図５に例示される通り、特徴量Ｆ[m]は、評価区間内の相異なる単位区間に対応する４個の単位情報Ｕを含んで構成される。各単位区間の単位情報Ｕは、当該単位区間の音楽的な特徴を表象する。具体的には、相異なる音高（１オクターブ内の１２音の各音名）に対応する１２個の要素で構成される１２次元ベクトル（クロマベクトル）が単位情報Ｕとして好適に採用される。すなわち、任意の１個の単位区間に対応する単位情報Ｕの１２個の要素のうち、当該単位区間について関連データＺが指定するコードの構成音に対応する各要素は１に設定され、残余の各要素は０に設定される。なお、単位区間のコードのベース音を同様の方法で単位情報Ｕにより表現することも可能である。以上の説明から理解される通り、任意の１個の特徴量Ｆ[m]は、原楽曲のうち第ｍ番目の単位区間を含む評価区間内におけるコードの時系列を表現する。

図５の第１指標算定部４４は、原楽曲のＭ個の単位区間の各々について代表指標Ｃ1[m]を算定する。任意の１個の代表指標Ｃ1[m]は、原楽曲のうち第ｍ番目の単位区間に対応する評価区間が原楽曲の音楽的な表現を代表（象徴）する度合の指標値である。原楽曲内で多数回にわたり反復される旋律は原楽曲の代表的な旋律と評価できる。以上の傾向を考慮して、第ｍ番目の単位区間に対応する評価区間に音楽的に類似または合致する区間が原楽曲内に出現する回数に応じた数値となるように、第１指標算定部４４は代表指標Ｃ1[m]を算定する。

具体的には、第１指標算定部４４は、第ｍ番目の単位区間の特徴量Ｆ[m]と第ｍ'番目（ｍ'≠ｍ）の単位区間の特徴量Ｆ[m']との類似度（距離または相関）Ｓ[m,m']を算定し、第ｍ番目の単位区間と他の各単位区間との間で算定された複数の類似度Ｓ[m,m']から代表指標Ｃ1[m]を算定する。第２実施形態の類似度Ｓ[m,m']は、特徴量Ｆ[m]と特徴量Ｆ[m']との距離（例えばコサイン距離）である。したがって、第ｍ番目の単位区間を含む評価区間内のコードの時系列と第ｍ'番目の単位区間を含む評価区間内のコードの時系列とが類似するほど類似度Ｓ[m,m']は小さい数値となる。第１指標算定部４４は、原楽曲の第ｍ番目の単位区間と他の各単位区間との間で算定された複数の類似度Ｓ[m,m']の昇順で上位に位置する所定個（小さい順で所定個）の類似度Ｓ[m,m']の代表値（例えば平均値や中央値）を代表指標Ｃ1[m]として算定する。したがって、第ｍ番目の単位区間に対応する評価区間にコードの時系列（旋律）が類似する区間が原楽曲に出現する回数が多い（相対的に小さい類似度Ｓ[m,m']が多い）ほど代表指標Ｃ1[m]は小さい数値に設定される。すなわち、第２実施形態の代表指標Ｃ1[m]は、原楽曲のうち第ｍ番目の単位区間を含む評価区間が原楽曲の音楽的な表現を代表しない度合の指標値である。

図５の第２指標算定部４６は、原楽曲のＭ個の単位区間の各々について、第ｍ'番目の他の単位区間に対する遷移指標Ｃ2[m,m']を算定する。遷移指標Ｃ2[m,m']は、第ｍ番目の単位区間の直後に第ｍ'番目の単位区間を連結したと仮定した場合における各単位区間の相互間の遷移の音楽的な妥当性（自然さ）の指標である。第２実施形態の遷移指標Ｃ2[m,m']は、第１指標ｃA[m,m']と第２指標ｃB[m,m']との加重和（Ｃ2[m,m']＝ｗA・ｃA[m,m']＋ｗB・ｃB[m,m']）として算定される。第１指標ｃA[m,m']の加重値ｗAと第２指標ｃB[m,m']の加重値ｗBとは所定の正数に設定される。

第１指標ｃA[m,m']は、原楽曲の各小節内の拍点の順序という観点で第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移を評価した指標値である。具体的には、任意の１個の小節内の第ｉ拍から他の小節内の第(i+1)拍（第ｉ拍が小節内の最後の拍点である場合には小節内の第１拍）に対する遷移は音楽的に自然な印象と知覚されるが、任意の１個の小節内の第ｉ拍から他の小節内の第(i+1)拍以外に遷移した場合には音楽的な違和感が知覚され易いという傾向がある。以上の傾向を考慮して、第２指標算定部４６は、第ｍ'番目の単位区間に対応する拍番号が第ｍ番目の単位区間に対応する拍番号の直後の番号である場合（ｂ拍子の楽曲では(m+1) mod b＝m' mod bである場合））には第１指標ｃA[m,m']を０に設定し、他の場合には第１指標ｃA[m、m']を１に設定する。すなわち、第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移が拍点の順序という観点から妥当である場合（遷移前後の拍番号が連続で遷移が音楽的に自然である場合）に第１指標ｃA[m,m']は０に設定される。

第２指標ｃB[m,m']は、原楽曲のコードの時系列という観点（和声的な観点）で第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移を評価した指標値である。具体的には、第ｍ番目の単位区間から開始するコードの時系列と第ｍ'番目の単位区間から開始するコードの時系列とが相互に類似する場合には第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移が音楽的に自然な印象と知覚されるが、第ｍ番目の単位区間と第ｍ'番目の単位区間とでコードの時系列が顕著に相違する場合には音楽的な違和感が知覚され易いという傾向がある。以上の傾向を考慮して、第２実施形態の第２指標算定部４６は、第ｍ番目の単位区間の特徴量Ｆ[m]と第ｍ'番目の単位区間の特徴量Ｆ[m']との類似度（距離または相関）に応じて第２指標ｃB[m,m']を算定する。具体的には、第２指標算定部４６は、特徴量Ｆ[m]と特徴量Ｆ[m']との距離（例えばコサイン距離）を第２指標ｃB[m,m']として算定する。例えば、第１指標算定部４４が代表指標Ｃ1[m]の設定のために算定した類似度（コサイン距離等の距離）Ｓ[m,m']が第２指標ｃB[m,m']として流用される。以上の説明から理解される通り、第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移がコードの時系列という音楽的な観点から妥当である（特徴量Ｆ[m]と特徴量Ｆ[m']とが類似する）ほど第２指標ｃB[m,m']は小さい数値に設定される。

以上の説明から理解される通り、第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移が音楽的に妥当（自然）であるほど、遷移指標Ｃ2[m,m']は小さい数値に設定される。第２指標算定部４６は、原楽曲のＭ個の単位区間の各々（第ｍ番目）と、当該単位区間の後方に位置する各単位区間（第ｍ'番目）との全通りの組合せについて、遷移指標Ｃ2[m,m']を算定する。

図５の縮約処理部４８は、第１指標算定部４４が算定した各代表指標Ｃ1[m]と第２指標算定部４６が算定した各遷移指標Ｃ2[m,m']とに応じて原楽曲のＭ個の単位区間から縮約曲のＮ個の単位区間を選択する。概略的には、縮約処理部４８は、各単位区間の代表指標Ｃ1[m]と各単位区間の相互間の遷移指標Ｃ2[m,m']との総和が最小化されるように原楽曲からＮ個の単位区間を選択する。

具体的には、縮約処理部４８は、図６に例示される通り、原楽曲の各単位区間を表象するｘ軸と縮約曲の各単位区間を表象するｙ軸とが設定されたｘ-ｙ平面内で代表指標Ｃ1[m]と遷移指標Ｃ2[m,m']との総和が最小となる経路λを特定する。経路λは、原楽曲から選択されたＮ個の単位区間の時系列（すなわち縮約曲）を表現する。経路λの探索には公知の技術が任意に採用され得るが、以下に例示する動的計画法（Dynamic Programming）が好適である。

図６のｘ軸で表現される変数ｌ（ｌ＝０〜Ｌ）は、縮約曲の単位区間の番号ｎ（ｎ＝１〜Ｎ）に対する差分値（オフセット値）として原楽曲の任意の１個の単位区間を指定する変数である（Ｌ＝Ｍ−Ｎ）。例えば、変数ｎが２であり変数ｌが４である地点を経路λが通過する場合、縮約曲の第２番目の単位区間として原楽曲の第６番目（ｎ＋ｌ＝２＋４）の単位区間が選択されることを意味する。縮約処理部４８は、変数ｎの各数値と変数ｌの各数値との全通りの組合せ（ｘ-ｙ平面内の全地点）について累計コストＲ[n,l]と指示子（インデックス）Ｉ[n,l]とを算定する。

累計コストＲ[n,l]は、変数ｎと変数ｌとに対応する地点までのコストの累計値であり、例えば代表指標Ｃ1[m]と遷移指標Ｃ2[m,m']とを適用した以下の数式(1)の演算で算定される。数式(1)の演算子min{ }は、括弧内の数値の最小値を採択する演算を意味する。

また、指示子Ｉ[n,l]は、累計コストＲ[n,l]の算定に適用された遷移元の地点に対応する変数ｌの数値であり、遷移指標Ｃ2[m,m']を適用した以下の数式(2)の演算で算定される。数式(2)の演算子argmin{ }は、括弧内の数値を最小化する変数ｌの数値を探索する演算を意味する。

第２実施形態の縮約処理部４８は、以上に説明した累計コストＲ[n,l]と指示子Ｉ[n,l]とを、変数ｎと変数ｌとの全通り（Ｎ×Ｌ通り）の組合せについて算定し、指示子Ｉ[n,l]を縮約曲の後方から前方に向けて追跡（バックトラック）することで経路λを探索する。そして、縮約処理部４８は、音楽データＸで表現される原楽曲のＭ個の単位区間のうち経路λ上の各地点の変数ｌに対応する１個の単位区間（第(n+l)番目の単位区間）を縮約曲の第ｎ番目の単位区間として選択し、Ｎ個の単位区間を時系列に配列した縮約曲の音楽データＹを生成する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、各単位区間に対応する評価区間が当該楽曲を代表する度合を示す代表指標Ｃ1[m]と、各単位区間の相互間の遷移の妥当性を示す遷移指標Ｃ2[m,m']とに応じて選択されたＮ個の単位区間で縮約曲が構成されるから、音楽的に自然な縮約曲を生成できるという利点がある。

＜第３実施形態＞
図７は、第３実施形態における楽曲縮約部２６の動作のフローチャートである。図３のステップＳA4にて図７の処理が実行される。概略的には、第３実施形態の楽曲縮約部２６は、各楽曲の楽曲時間Ｑ[k]に応じて縮約の条件を制御する。

図７の処理を開始すると、楽曲縮約部２６は、対象楽曲の楽曲時間Ｑ[k]が所定の閾値ＱTH1を上回るか否かを判定する（ＳB1）。楽曲時間Ｑ[k]が充分に確保された場合には、原楽曲の始点と終点とを含む区間を縮約曲でも維持することで、恰も原楽曲の全部を聴いたような満足感を利用者に付与することが望ましい。以上の事情を考慮して、楽曲時間Ｑ[k]が閾値ＱTH1を上回る場合（ＳB1：YES）、楽曲縮約部２６は、原楽曲の始点を含む所定長の区間（例えば原楽曲のうち前奏が演奏される先頭部分）と原楽曲の終点を含む所定長の区間（原楽曲のうち後奏が演奏される末尾部分）とが残るように原楽曲を縮約する（ＳB2）。

楽曲時間Ｑ[k]が閾値ＱTH1を下回る場合（ＳB1：NO）、楽曲縮約部２６は、楽曲時間Ｑ[k]が閾値ＱTH2を下回るか否かを判定する（ＳB3）。閾値ＱTH2は、閾値ＱTH1を下回る数値に設定される。楽曲時間Ｑ[k]が充分に確保されていない場合には、原楽曲の音楽的な表現を代表する印象的ないし特徴的な区間を縮約曲でも維持することで、短い楽曲時間Ｑ[k]でも原楽曲を効率的に利用者に印象づけることが望ましい。以上の事情を考慮して、楽曲時間Ｑ[k]が閾値ＱTH2を下回る場合（ＳB3：YES）、楽曲縮約部２６は、原楽曲のうち楽曲を代表する印象的ないし特徴的な区間（例えばサビ区間）が残るように原楽曲を縮約する（ＳB4）。例えば原楽曲の先頭部分や末尾部分は縮約曲では省略される。

他方、楽曲時間Ｑ[k]が閾値ＱTH1と閾値ＱTH2との間にある場合（ＳB3：NO）、楽曲縮約部２６は、原楽曲の終点を含む所定長の区間（原楽曲のうち後奏が演奏される末尾部分）が残るように原楽曲を縮約する（ＳB5）。したがって、恰も原楽曲を聴き終えたような満足感を利用者に付与することが可能である。以上に説明した処理がＫ個の楽曲の各々について順次に実行される。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、各楽曲の楽曲時間Ｑ[k]に応じて原楽曲の縮約の条件が制御されるから、楽曲時間Ｑ[k]の長短に応じた適切な区間を原楽曲から抽出して再生することが可能である。なお、第３実施形態において縮約の条件を制御する方法は任意であるが、例えば原楽曲の縮約に第２実施形態の方法を採用した構成では、以下に例示する方法で縮約の条件を制御することが可能である。

第１に、縮約曲の第１番目の単位区間（ｎ＝１）に対応する累計コストＲ[1,0]〜Ｒ[1,L]のうち、原楽曲の第１番目の単位区間に対応する累計コストＲ[1,0]が０であり、かつ、第１番目以外の単位区間に対応する累計コストＲ[1,l>0]が無限大である、という制約（以下「第１条件」という）のもとで原楽曲を縮約することで、原楽曲の先頭部分（第１番目の単位区間）を強制的に縮約曲でも維持することが可能である。

第２に、指示子Ｉ[n,l]を縮約曲の後方から前方に向けて追跡する場合の指示子Ｉ[n,l]の初期値を、原楽曲の単位区間の総数（全拍数）Ｍと縮約曲の単位区間の総数（楽曲時間Ｑ[k]内の拍数）Ｎとの差分｛Ｍ−Ｎ｝に設定する、という制約（以下「第２条件」という）のもとで原楽曲を縮約することで、原楽曲の末尾部分（第ｍ番目の単位区間）を強制的に縮約曲でも維持することが可能である。

他方、第２実施形態の例示のように第１条件および第２条件を加味せずに原楽曲を縮約した場合、原楽曲のうち始点や終点以外の途中に位置する代表的な区間（代表指標Ｃ1[m]が小さい区間）が縮約曲で維持される。

以上の例示から理解される通り、楽曲時間Ｑ[k]が閾値ＱTH1を上回る場合（ＳB1：YES）には第１条件および第２条件の双方のもとで原楽曲が縮約され、楽曲時間Ｑ[k]が閾値ＱTH1と閾値ＱTH2との間にある場合（ＳB3：NO）には第２条件のもとで原楽曲が縮約される。また、楽曲時間Ｑ[k]が閾値ＱTH2を下回る場合（ＳB3：YES）には第１条件および第２条件を加味せずに原楽曲が縮約される。

＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）前述の各形態では、再生時間Ｔ0を経時的に変化させたが、再生時間Ｔ0を所定長に固定することも可能である。また、前述の各形態では、経路案内処理で算定された推定到着時刻を終了時刻ｔEとして再生時間Ｔ0を設定したが、利用者が指定した終了時刻ｔEや開始時刻ｔCに応じて再生時間Ｔ0を設定する構成や、利用者が直接的に指定した時間を時間設定部２２が再生時間Ｔ0として設定する構成も採用され得る。

（２）前述の各形態では、再生時間Ｔ0のＫ等分でＫ個の楽曲時間Ｑ[1]〜Ｑ[K]を設定したが、再生時間Ｔ0内で各楽曲時間Ｑ[k]を設定する方法は以上の例示に限定されない。例えば、Ｋ個の楽曲の各々の時間長（縮約前の時間長）に比例した比率で再生時間Ｔ0を区分することでＫ個の楽曲時間Ｑ[1]〜Ｑ[K]を設定する構成や、各楽曲のテンポに反比例した比率で再生時間Ｔ0を区分することでＫ個の楽曲時間Ｑ[1]〜Ｑ[K]を設定する構成も採用され得る。また、前述の各形態では、各楽曲時間Ｑ[k]が再生時間Ｔ0内で重複または離間することなく相互に連続する場合を例示したが、相前後する各楽曲時間Ｑ[k]の間に所定の間隔が確保された構成や、相前後する各楽曲時間Ｑ[k]が部分的に相互に重複する構成（重複区間では各楽曲を例えばクロスフェードする構成）も採用され得る。

（３）前述の各形態では楽曲の１拍分を１個の単位区間と仮定したが、単位区間は１拍分の区間に限定されない。例えば、複数拍に相当する区間や１小節分に相当する区間を単位区間とすることも可能である。

（４）第３実施形態では、原楽曲の先頭部分や末尾部分を縮約曲でも維持する構成を例示したが、原楽曲の途中に位置する任意の区間を縮約曲で強制的に維持することも可能である。例えば、遷移指標Ｃ2[m＜Ｍ0,m'＞Ｍ0]を無限大に設定すれば、任意の第Ｍ0番目の単位区間を縮約曲にて強制的に維持することが可能である。縮約曲にて維持される区間（変数Ｍ0）は、例えば利用者からの指示に応じて可変に設定される。また、音楽データＸの提供者が変数Ｍ0を事前に設定することで原楽曲の所望の区間（試聴区間）を縮約曲にて維持することが可能である。前述の各形態では、単位区間の相互間の遷移を例示したが、原楽曲の小節間の遷移のみを許容することも可能である。また、第２実施形態において、変数ｌの値域を負数まで拡大すれば、原楽曲の特定の箇所が複数回にわたり反復される縮約曲を生成することも可能である。

（５）前述の各形態では、第ｍ番目の単位区間を含む評価区間に類似するコードの時系列（旋律）が原楽曲に出現する回数が多い（当該評価区間が原楽曲を代表する度合が大きい）ほど代表指標Ｃ1[m]が減少する構成を例示したが、評価区間が楽曲を代表する度合が大きいほど代表指標Ｃ1[m]が増加する構成も採用され得る。以上の説明から理解される通り、評価区間が楽曲を代表する度合と代表指標Ｃ1[m]の数値の大小との関係に関わらず、代表指標Ｃ1[m]は、評価区間が原楽曲を代表する度合の指標として包括的に表現される。

また、前述の各形態では、第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移が音楽的に妥当（自然）であるほど遷移指標Ｃ2[m,m']が減少する構成を例示したが、第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移が妥当であるほど遷移指標Ｃ2[m,m']が増加する構成も採用され得る。以上の説明から理解される通り、第ｍ番目の単位区間から第ｍ'番目の単位区間に対する遷移の妥当性と遷移指標Ｃ2[m,m']の数値の大小との関係に関わらず、遷移指標Ｃ2[m,m']は、第ｍ番目の単位区間と第ｍ'番目の単位区間との間の遷移（第ｍ番目の単位区間の直後に第ｍ'番目の単位区間を連結すること）の音楽的な妥当性の指標として包括的に表現される。

（６）前述の各形態では、終了時刻ｔE（経路案内処理で推定された推定到着時間）の更新を契機として再生時間Ｔ0の再設定（ＳA1）と各楽曲の楽曲時間Ｑ[k]の更新（ＳA2）とを実行したが、再生時間Ｔ0や各楽曲時間Ｑ[k]の更新の契機は以上の例示に限定されない。例えば、入力装置１６に対する利用者からの操作を契機として再生時間Ｔ0や各楽曲時間Ｑ[k]を更新することも可能である。例えば利用者は、入力装置１６を適宜に操作することで、楽曲列情報Ｐ（プレイリスト）に対する所望の楽曲の追加および削除や、楽曲再生の一時停止および再生（一時停止の解除）、再生対象の楽曲の変更（前進（早送り），後退（巻戻し），スキップ）を指示することが可能である。また、複数の楽曲列情報Ｐが記憶装置１４に記憶された構成では、利用者は、入力装置１６を適宜に操作することで、再生対象の楽曲列情報Ｐの変更を指示することが可能である。以上に例示した利用者からの指示（入力装置１６に対する操作）毎に再生時間Ｔ0の再設定（ＳA1）や各楽曲時間Ｑ[k]の更新（ＳA2）を実行する構成が採用され得る。

（７）第２実施形態では、第１指標ｃA[m,m']と第２指標ｃB[m,m']との加重和を遷移指標Ｃ2[m,m']として算定したが、遷移指標Ｃ2[m,m']の算定の方法は以上の例示に限定されない。例えば、第ｍ番目の単位区間の特徴量Ｆ[m]と第ｍ'番目の単位区間の特徴量Ｆ[m']との類似度Ｓ[m,m']を遷移指標Ｃ2[m,m']の初期値として設定し、第ｍ'番目の単位区間に対応する拍番号が第ｍ番目の単位区間に対応する拍番号の直後の番号である場合に遷移指標Ｃ2[m,m']を０に変更することも可能である。

（８）第２実施形態では、再生時間Ｔ0に応じて各楽曲の楽曲時間Ｑ[k]を設定する第１実施形態の構成を前提として、代表指標Ｃ1[m]および遷移指標Ｃ2[m,m']を利用した楽曲の縮約を例示したが、第２実施形態の楽曲の縮約にとって第１実施形態の構成は必須ではない。すなわち、楽曲の再生時間を特定の時間長に短縮する任意の構成に、代表指標Ｃ1[m]および遷移指標Ｃ2[m,m']を利用して楽曲を縮約する第２実施形態の構成が採用され得る。また、代表指標Ｃ1[m]および遷移指標Ｃ2[m,m']の一方のみを利用して楽曲を縮約することも可能である。

（９）第３実施形態では、閾値ＱTH1と閾値ＱTH2とを相異なる数値に設定したが、閾値ＱTH1と閾値ＱTH2とを相等しい数値に設定することも可能である。すなわち、楽曲時間Ｑ[k]が閾値ＱTH1と閾値ＱTH2との間にある場合（ＳB3：NO）に原楽曲の末尾部分を残す動作は省略され得る。

（１０）携帯電話機等の端末装置と通信するサーバ装置で楽曲処理装置１００を実現することも可能である。例えば、楽曲処理装置１００は、端末装置から受信した再生時間Ｔ0と楽曲列情報Ｐとに応じて各楽曲時間Ｑ[k]の設定と各楽曲の縮約とを実行し、楽曲毎の縮約後の音楽データＹを通信網から端末装置に送信する。

１００……楽曲処理装置、１２……演算処理装置、１４……記憶装置、１６……入力装置、１８……再生装置、２２……時間設定部、２４……時間割当部、２６……楽曲縮約部、２８……再生制御部、４２……特徴量算定部、４４……第１指標算定部、４６……第２指標算定部、４８……縮約処理部。

Claims (5)

1. 再生時間を設定する時間設定手段と、
   楽曲列情報が指定する複数の楽曲の各々について前記再生時間内の楽曲時間を設定する時間割当手段と、
   前記複数の楽曲の各々を当該楽曲の前記楽曲時間に縮約する楽曲縮約手段と
   を具備し、
   前記楽曲縮約手段は、前記楽曲の楽曲時間が閾値を上回る場合には、当該楽曲の始点または終点を含む区間が残るように当該楽曲を縮約し、前記楽曲の楽曲時間が閾値を下回る場合には、当該楽曲の途中に位置する特定の区間が残るように当該楽曲を縮約する
   楽曲処理装置。
2. 前記時間設定手段は、前記再生時間を経時的に変化させ、
   前記時間割当手段は、前記再生時間の変化に応じて前記各楽曲の前記楽曲時間を更新し、
   前記楽曲縮約手段は、前記各楽曲を前記更新後の前記楽曲時間に縮約する
   請求項１の楽曲処理装置。
3. 前記楽曲縮約手段は、時間軸上で楽曲を区分した複数の単位区間の各々について、当該単位区間を含む所定区間が当該楽曲を代表する度合を示す代表指標と、当該単位区間と他の単位区間との間の遷移の音楽的な妥当性を示す遷移指標とを算定し、当該楽曲を、前記代表指標と前記遷移指標とに応じて選択した各単位区間を配列した内容に縮約する
   請求項１または請求項２の楽曲処理装置。
4. 前記楽曲縮約手段は、前記楽曲の楽曲時間が第１閾値を上回る場合には、当該楽曲の始点または終点を含む区間が残るように当該楽曲を縮約し、前記楽曲の楽曲時間が、前記第１閾値よりも小さい第２閾値を下回る場合には、当該楽曲の途中に位置する特定の区間が残るように当該楽曲を縮約し、前記楽曲の楽曲時間が前記第１閾値と前記第２閾値との間である場合には、当該楽曲の終点を含む区間が残るように当該楽曲を縮約する
   請求項１から請求項３の何れかの楽曲処理装置。
5. 再生時間を設定し、
   楽曲列情報が指定する複数の楽曲の各々について前記再生時間内の楽曲時間を設定し、
   前記複数の楽曲の各々を当該楽曲の前記楽曲時間に縮約し、
   前記楽曲の縮約において、前記楽曲の楽曲時間が閾値を上回る場合には、当該楽曲の始点または終点を含む区間が残るように当該楽曲を縮約し、前記楽曲の楽曲時間が閾値を下回る場合には、当該楽曲の途中に位置する特定の区間が残るように当該楽曲を縮約する、
   コンピュータにより実現される楽曲処理方法。

Images