JP4983506B2 - 楽曲加工装置およびプログラム - Google Patents

Description

本発明は、楽曲を加工する技術に関する。

例えばディスクジョッキ（ＤＪ）は、複数の楽曲を途切れなく連結しながら次々に再生する。このような再生を実現するために、例えば特許文献１には、相前後する各楽曲の拍位置が合致するように各々の再生の時期を制御することで複数の楽曲を円滑に連結する技術が開示されている。
特開２００３−１０８１３２号公報

ところで、複数の楽曲から自然で洗練された雰囲気の楽曲を編成するためには、楽曲を再生する時期の調整に加えて適切な楽曲の選択が重要な要件となる。すなわち、特許文献１の技術のように単純に各楽曲の拍位置を合致させたとしても、例えば各楽曲の音楽的な特徴が大幅に相違するような場合には聴感上において自然な楽曲を編成することができない。以上の事情を背景として、本発明は、複数の楽曲から違和感のない楽曲を生成するという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明の第１の態様に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、類否指標値が類似を示す副素片を各主素片について選択する選択手段と、各主素片の楽音データを、選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と、主楽曲の複数の主素片の各々について、当該主素片と各楽曲の副素片との類否指標値を楽曲毎に示す図表（例えば図３の類否表示領域５７や図５の単位領域ＵB）を表示装置に表示する表示制御手段とを具備し、表示制御手段は、各楽曲に対応する複数の類否表示領域を第１方向（例えば図３のＸ方向）に配列した第１画面（例えば図３の操作画面５０）を表示装置に表示するとともに主素片毎に当該第１画面を更新し、各楽曲の類否表示領域においては、当該楽曲の各副素片について算定された複数の類否指標値の各々に対応した指標指示子が、第１方向と交差する第２方向（例えば図３のＹ方向）における当該類否指標値に応じた位置に配置される。

以上の構成においては、主素片との類否指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性を把握していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、主素片と副素片との類否指標値を楽曲毎に示す図表が表示装置に表示されるから、主素片と各楽曲の副素片との類否の程度を複数の楽曲について容易かつ直感的に対比できるという利点がある。また、各楽曲の副素片に対応する指標指示子が類否指標値に応じた位置に配置されるから、各副素片と主素片との類否指標値の分布を利用者が容易かつ直感的に楽曲毎に確認できるという利点もある。

本発明の好適な態様において、素片は、例えば、楽曲の拍に同期した時点で楽曲を区分した区間である。より具体的には、ひとつまたは複数の拍を単位として楽曲を区分した区間や相前後する各拍の間隔を複数に区分した区間（例えば1/2拍や1/4拍に相当する時間長の区間）が素片とされる。本態様によれば、拍に同期した時点で楽曲を区分した区間が素片とされるから、主楽曲のリズム感を維持しながら自然な楽音を生成することができる。もっとも、楽曲の拍とは非同期に画定された区間を素片としてもよい。

さらに好適な態様において、表示制御手段は、各楽曲の類否表示領域における複数の指標指示子のうち、選択手段が選択した副素片に対応する指標指示子（例えば図４の指標指示子６２A）と、非選択の副素片に対応する指標指示子（例えば図４の指標指示子６２B）とを、相互に異なる態様（サイズや表示色（色相，明度，彩度）や形状）で表示する。以上の態様によれば、選択手段の選択した副素片に対応する指標指示子が非選択の副素片の指標指示子とは別の態様で表示されるから、選択手段が実際に選択した副素片の類否指標値を楽曲毎に容易に確認することができる。

さらに具体的な態様において、表示制御手段は、各楽曲に対応する複数の単位領域（例えば図３の単位領域ＵA[1]〜ＵA[k]）を第１方向に配列して第１画面内に表示し、複数の単位領域の各々においては、類否表示領域と、利用者からの指示に応じて第２方向に移動する操作子（例えば図３の操作子５５２）が配置された操作子領域とが、第１方向に隣接し、類否算定手段は、主素片と副素片との類否の指標となる基礎指標値を算定する演算手段と、各単位領域における操作子の位置に応じて、当該単位領域に対応した楽曲について調整値を設定する設定手段と、各楽曲の副素片について算定された基礎指標値を、設定手段が当該楽曲について設定した調整値に応じて調整することで類否指標値を算定する調整手段とを含む。以上の態様によれば、各指標指示子の位置を決定する類否指標値が、各指標指示子の配列に沿って移動する操作子の位置に応じて楽曲毎に制御される。したがって、利用者は、各指標指示子を視認することで各楽曲における副素片の類否指標値の分布を確認しながら、各楽曲の副素片の選択の可能性を操作子の移動によって調整することが可能となる。

さらに好適な態様において、第１画面は、主楽曲に対応する単位領域を含み、複数の単位領域の各々における類否表示領域において、主楽曲の単位領域における操作子に対応した位置には、基準指示子（例えば図４の基準指示子６４）が配置される。以上の態様によれば、各楽曲の類否表示領域に基準指示子が配置されるから、基準指示子を基準として楽曲毎の操作子を容易に調整できる。

本発明の第２の態様に係る楽曲加工装置は、楽曲を区分した各素片の楽音データと各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、類否指標値が類似を示す副素片を各主素片について選択する選択手段と、各主素片の楽音データを、選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と、主楽曲の複数の主素片の各々について、当該主素片と各楽曲の副素片との類否指標値を楽曲毎に示す図表（例えば図３の類否表示領域５７や図５の単位領域ＵB）を表示装置に表示する表示制御手段とを具備し、類否算定手段は、主素片と副素片との類否の指標となる基礎指標値を算定する演算手段と、利用者からの指示に応じて楽曲毎に調整値を設定する設定手段と、各楽曲の副素片について算定された基礎指標値を、設定手段が当該楽曲について設定した調整値に応じて調整することで類否指標値を算定する調整手段とを含む。
以上の構成においては、主素片との類否指標値に応じて選択された副素片が当該主素片の加工に使用されるから、利用者が各楽曲の類似性や調和性を把握していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、主素片と副素片との類否指標値を楽曲毎に示す図表が表示装置に表示されるから、主素片と各楽曲の副素片との類否の程度を複数の楽曲について容易かつ直感的に対比できるという利点がある。また、類否指標値が利用者からの指示に応じて調整される。利用者は、各楽曲の棒線を第１方向に沿って追跡することで、調整値の変更の指示（例えば操作子の操作）に応じた類否指標値の変化を容易かつ直感的に把握することができる。

第２の態様において、表示制御手段は、各主素片に対応する複数の単位領域を第１方向に配列した第２画面（例えば図５の状態画面７０）を表示装置に表示し、各主素片に対応する単位領域には、当該主素片と各楽曲の副素片との類否指標値に応じた長さで第１方向に交差する第２方向に延在する棒線が楽曲毎に第１方向に配列される。例えば、各楽曲の棒線の長さは、当該楽曲の各副素片について算定された類否指標値のうち最も類似側にある数値（例えば類否指標値が大きいほど類似度が増加する場合には最大値）に応じて設定される。以上の態様によれば、主素片と各副素片との類否指標値に応じた長さの棒線を楽曲毎に配置した単位領域が第１方向に配列される。したがって、各楽曲の棒線を第１方向に沿って追跡することで、当該楽曲における類否指標値の経時的な変化を容易かつ直感的に把握できるという利点がある。
また、第２の態様においては、棒線の態様（サイズや表示色（色相，明度，彩度）や形状）を楽曲毎に相違させた構成が好適に採用される。以上の態様によれば、特定の態様の棒線を第１方向に追跡することで、ひとつの楽曲の類否指標値の経時的な変化を容易に確認できるという利点がある。

本発明に係る楽曲加工装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。
本発明の第１の態様に係るプログラムは、楽曲を区分した各素片の楽音データと各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定処理と、類否指標値が類似を示す副素片を各主素片について選択する選択処理と、各主素片の楽音データを、選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と、主楽曲の複数の主素片の各々について、当該主素片と各楽曲の副素片との類否指標値を楽曲毎に示す図表を表示装置に表示する表示制御処理とを実行させるプログラムであって、表示制御処理は、各楽曲に対応する複数の類否表示領域を第１方向に配列した第１画面を表示装置に表示するとともに主素片毎に当該第１画面を更新する処理であり、各楽曲の類否表示領域においては、当該楽曲の各副素片について算定された複数の類否指標値の各々に対応した指標指示子が、第１方向と交差する第２方向における当該類否指標値に応じた位置に配置される。以上のプログラムによっても、本発明の第１の態様に係る楽曲加工装置と同様の作用および効果が奏される。
本発明の第２の態様に係るプログラムは、楽曲を区分した各素片の楽音データと各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定処理と、類否指標値が類似を示す副素片を各主素片について選択する選択処理と、各主素片の楽音データを、選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と、主楽曲の複数の主素片の各々について、当該主素片と各楽曲の副素片との類否指標値を楽曲毎に示す図表を表示装置に表示する表示制御処理とを実行させるプログラムであって、類否算定処理は、主素片と副素片との類否の指標となる基礎指標値を算定する演算処理と、利用者からの指示に応じて楽曲毎に調整値を設定する設定処理と、各楽曲の副素片について算定された基礎指標値を、設定処理で当該楽曲について設定した調整値に応じて調整することで類否指標値を算定する調整処理とを含む。以上のプログラムによっても、本発明の第２の態様に係る楽曲加工装置と同様の作用および効果が奏される。
なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る楽曲加工装置の構成を示すブロック図である。本形態の楽曲加工装置１００は、複数の楽曲を利用してひとつの楽曲（以下「主楽曲」という）を加工する装置である。図１に示すように、楽曲加工装置１００は、制御装置１０と記憶装置３０とを具備するコンピュータシステムで実現される。

制御装置１０は、プログラムの実行によって様々な処理を実行するとともに楽曲加工装置１００の各要素を制御する。記憶装置３０は、制御装置１０が実行するプログラムや制御装置１０が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置といった公知の記録媒体が記憶装置３０として任意に採用される。図１に示すように、記憶装置３０は、複数の楽曲の各々について楽曲データを記憶する。

図２は、楽曲の構成を示す概念図である。楽曲内には区間Ｓが画定される。区間Ｓは、例えば、楽曲のなかの特徴的な部分（例えばサビの部分）を含む複数の小節で構成される区間である。なお、区間Ｓの選定の仕方や区間Ｓの時間長は任意である。例えば、楽曲の全部をひとつの区間Ｓとしてもよいし、ひとつの楽曲から複数の区間Ｓを抽出してもよい。

図２に示すように、区間Ｓは、楽曲の拍点（ビート）に同期した時点を境界として複数の区間（以下「素片」という）Ｐに区分される。例えば、ひとつまたは複数の拍に相当する区間やひとつの拍を複数に等分した区間（すなわち1/2拍や1/4拍に相当する区間）が素片Ｐとされる。もっとも、拍点とは無関係に素片Ｐを画定してもよい。

図１に示すように、ひとつの楽曲の楽曲データは、当該楽曲の区間Ｓに属する複数の素片Ｐの各々について、当該素片Ｐに属する楽音の波形を表す楽音データＡと、当該素片Ｐの音響的・音楽的な特徴を反映した特徴量Ｆとを含む。特徴量Ｆは、音響エネルギ（強度）、パワースペクトルの重心に相当する周波数（スペクトルセントロイド）、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）などのｎ個（ｎは自然数）の数値で定義されるｎ次元ベクトルとして表現される。

図１に示すように、制御装置１０には入力装置４２と表示装置４４と放音装置４６とが接続される。入力装置４２は、利用者が楽曲加工装置１００に対する指示を入力するための機器（例えばマウスやキーボード）である。例えば、利用者は、入力装置４２を適宜に操作することで、楽曲加工装置１００による処理の対象となるｋ個（ｋは自然数）の楽曲Ｔ1〜Ｔkを指定するとともにｋ個の楽曲Ｔ1〜Ｔkのなかから主楽曲を選択する。表示装置４４は、制御装置１０による制御のもとに画像を表示する。

放音装置４６は、制御装置１０から順次に出力される楽音データＡに基づいて放音する。例えば、放音装置４６は、楽音データＡからアナログの信号を生成するＤ／Ａ変換器と、Ｄ／Ａ変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器（スピーカやヘッドホン）とを含む。

次に、制御装置１０の具体的な機能を説明する。図１に示すように、制御装置１０は、記憶装置３０に格納されたプログラムを実行することで複数の要素（類否算定部１２，選択部１４，加工部１６，表示制御部１８）として機能する。なお、制御装置１０の各要素は、楽音の処理に専用されるＤＳＰなどの電子回路によっても実現される。また、制御装置１０は、複数の集積回路に分散して実装されてもよい。

類否算定部１２は、主楽曲を構成する複数の素片Ｐの各々（以下「主素片Ｐm」という）について、ｋ個の楽曲Ｔ1〜Ｔk（主楽曲を含む）における当該主素片Ｐm以外の素片（以下「副素片Ｐs」という）の特徴量Ｆと主素片Ｐmの特徴量Ｆとの類否の指標となる類否指標値Ｒを副素片Ｐs毎に算定する。本形態の類否算定部１２は、演算部１２２と設定部１２４と調整部１２６とで構成される。

演算部１２２は、類否指標値Ｒの基礎となる数値（以下「基礎指標値」という）Ｒ0を算定する。基礎指標値Ｒ0は、類否指標値Ｒと同様に、主素片Ｐmと副素片Ｐsとの類否の指標となる数値である。さらに詳述すると、演算部１２２は、主楽曲の各素片Ｐを楽曲内の配列の順番で順次に主素片Ｐmとして選択し、当該主素片Ｐmについて記憶装置３０に格納された特徴量Ｆとｋ個の楽曲Ｔ1〜Ｔkの各副素片Ｐsの特徴量Ｆとに応じた基礎指標値Ｒ0を副素片Ｐs毎に算定する。主素片Ｐmと副素片Ｐsとの基礎指標値Ｒ0は、例えば、主素片Ｐmの特徴量Ｆのｎ個の数値によってｎ次元空間に特定される座標と副素片Ｐsの特徴量Ｆのｎ個の数値によって同空間に特定される座標との距離（例えばユークリッド距離）の逆数である。したがって、主素片Ｐmと副素片Ｐsとで音響的な特徴が類似するほど両者間の基礎指標値Ｒ0は増加する。

設定部１２４は、利用者による入力装置４２の操作に応じてｋ個の楽曲Ｔ1〜Ｔkの各々の調整値Ｋを個別に設定する。調整部１２６は、演算部１２２が算定した基礎指標値Ｒ0を調整値Ｋに応じて楽曲毎に調整することで類否指標値Ｒを算定する。さらに詳述すると、調整部１２６は、演算部１２２が楽曲Ｔi（ｉ＝１〜ｋ）の副素片Ｐsについて算定した基礎指標値Ｒ0と、調整部１２６が当該楽曲Ｔiについて設定した調整値Ｋとの乗算値を類否指標値Ｒとして算定する。

選択部１４は、主楽曲の各主素片Ｐmについて、当該主素片Ｐmとの類否指標値Ｒが類似を示す所定個の副素片Ｐsを選択する。本形態の選択部１４は、類否指標値Ｒの降順（すなわち主素片Ｐmとの類似度が高い順番）で上位３個の副素片Ｐsを選択する。ただし、ひとつの楽曲Ｔiから選択される副素片Ｐsはひとつに制限される。

加工部１６は、主楽曲の各素片Ｐを楽曲内の配列の順番で順次に主素片Ｐmとして選択し、当該主素片Ｐmの楽音データＡを、選択部１４が当該主素片Ｐmについて選択した各副素片Ｐsの楽音データＡに置換したうえで順次に出力する。さらに詳述すると、加工部１６は、第１に、選択部１４が主素片Ｐmについて選択した各副素片Ｐsの楽音データＡを記憶装置３０から取得し、第２に、主素片Ｐmと略同等の時間長となるように各副素片Ｐsの楽音データＡを時間軸に沿って圧伸する。各副素片Ｐsの楽音データＡの圧伸には、楽音の音高を変化させずに時間長を変化させる公知の技術が任意に採用される。第３に、加工部１６は、圧伸後の各副素片Ｐsの楽音データＡを加算したうえで放音装置４６に出力する。したがって、主楽曲の各主素片Ｐmを、音響的な特徴が当該主素片Ｐmに類似する各副素片Ｐsに置換した楽曲が放音装置４６から再生される。主楽曲の区間Ｓの最後の主素片Ｐmについて処理（当該主素片Ｐmを置換した副素片Ｐsの再生）が完了すると、加工部１６は、当該区間Ｓの最初の素片Ｐから順番に主素片Ｐmとして順次に指定したうえで以上の処理を反復する。

表示制御部１８は、表示装置４４に各種の画像を表示させる。さらに詳述すると、表示制御部１８は、図３の操作画面５０を楽曲加工装置１００の動作中（加工後の楽曲の再生中）に継続的に表示装置４４に表示させる。加工部１６が新たな主素片Ｐmを加工の対象として選択するたびに、表示制御部１８は、操作画面５０を、当該主素片Ｐmに対応した内容に更新する。したがって、操作画面５０の内容は、楽曲の再生とともに順次に更新される。

操作画面５０は、楽曲Ｔ1〜Ｔkに対応するｋ個（本形態では６個）の単位領域ＵA[1]〜ＵA[k]をＸ方向に配列した画像である。単位領域ＵA[i]には、楽曲Ｔiの名称（Name）５１とボタン型の操作子５３と操作子領域５５と類否表示領域５７とが配置される。利用者は、入力装置４２を適宜に操作して単位領域ＵA[i]の操作子５３を押下することで、楽曲Ｔiを主楽曲に指定することができる。図３には、楽曲Ｔ3を主楽曲に指定した場合が例示されている。楽曲Ｔ1〜Ｔkの名称５１は相互に異なる態様（別色）で表示される。

各操作子領域５５と各類否表示領域５７とは、Ｘ方向に直交するＹ方向に長尺な領域である。各単位領域ＵA[i]において操作子領域５５と類否表示領域５７とはＸ方向に隣接する。各操作子領域５５には、スライダ型の操作子５５２の画像が配置される。利用者は、入力装置４２を適宜に操作することで、各操作子５５２をＹ方向に個別に移動させることができる。図１の設定部１２４は、単位領域ＵA[i]における操作子５５２のＹ方向の位置に応じて楽曲Ｔiの調整値Ｋを可変に設定する。例えば、調整値Ｋは、操作子５５２が下端にある場合にゼロに設定され、操作子５５２が上端に接近するほど増加する。

類否指標値Ｒは調整値Ｋに応じて楽曲毎に調整されるから、操作子５５２が上方に位置する楽曲Ｔi（すなわち調整値Ｋが大きい数値に設定された楽曲）の副素片Ｐsほど、選択部１４によって選択される可能性（頻度）が上昇する。したがって、調整値Ｋが固定された構成と比較して、利用者の意図に沿った多様な楽曲を編成することが可能である。しかも、各操作子５５２の移動によって調整値Ｋが楽曲毎に制御されるから、利用者は、恰も既存のミキシングコンソールを操作しているかのような感覚で直感的に楽曲を編成できる。

単位領域ＵA[i]の類否表示領域５７は、楽曲Ｔiの各副素片Ｐsについて類否算定部１２が算定した類否指標値Ｒを示す図表である。図４は、類否表示領域５７を拡大した模式図である。単位領域ＵA[i]の類否表示領域５７には、楽曲Ｔiの各副素片Ｐsの類否指標値Ｒに対応した複数の図柄（以下「指標指示子」という）６２がＹ方向に沿って配列される。各類否指標値Ｒに対応する指標指示子６２（６２A，６２B）は、Ｙ方向における当該類否指標値Ｒに応じた位置に配置される。さらに詳述すると、指標指示子６２は、類否指標値Ｒに応じた距離だけ類否表示領域５７の下端５７２から上方に離間した位置に配置される。したがって、類否表示領域５７内には、類否指標値Ｒが大きい副素片Ｐsの指標指示子６２ほど上方に位置するように複数の指標指示子６２が分布する。

操作子５５２が上方に位置するほど類否指標値Ｒは増加する。したがって、図３から理解されるように、操作子５５２が上方に位置する場合には各指標指示子６２が類否表示領域５７の広範囲にわたって分散し、操作子５５２が下方に位置する場合には各指標指示子６２が類否表示領域５７の下寄りの領域に密集するといった具合に、操作子５５２の位置に応じて各指標指示子６２の分布が変化する。操作子領域５５と類否表示領域５７とはＸ方向に隣接するから、操作子５５２の移動とともに各指標指示子６２の分布が変化する様子を利用者は直感的に把握することができる。なお、操作子５５２が下端にある楽曲Ｔi（例えば図３の楽曲Ｔ2）の調整値Ｋはゼロに設定されるから、当該楽曲Ｔiの総ての副素片Ｐsの類否指標値Ｒはゼロとなる。したがって、操作子５５２が最下端にある楽曲Ｔi（例えば図３の楽曲Ｔ2）の類否表示領域５７には指標指示子６２が配置されない。

図４に示すように、類否表示領域５７に配置された複数の指標指示子６２は、指標指示子６２Aと指標指示子６２Bとに区別される。指標指示子６２Aは、楽曲Ｔiの総ての副素片Ｐsのうち選択部１４が実際に選択した副素片Ｐs（すなわち主素片Ｐmに類似する副素片Ｐs）の指標指示子６２である。一方、指標指示子６２Bは、選択部１４が選択しなかった副素片Ｐs（すなわち主素片Ｐmに類似しない副素片Ｐs）の指標指示子６２である。表示制御部１８は、指標指示子６２Aと指標指示子６２Bとを相互に異なる態様（色相や明度）で表示する。例えば、指標指示子６２Aは赤色で表示され、指標指示子６２Bは緑色で表示される。以上のように指標指示子６２Aは指標指示子６２Bに対して強調して表示されるから、利用者は、操作画面５０を視認することで、何れの楽曲から副素片Ｐsが選択されたのかを容易に確認することができる。例えば、図３の操作画面５０を視認した利用者は、楽曲Ｔ1と楽曲Ｔ4と楽曲Ｔ6とから副素片Ｐsが選択されたことを認識できる。なお、何れの副素片Ｐsも選択されなかった楽曲Ｔi（例えば図３の楽曲Ｔ5）の類否表示領域５７内には指標指示子６２Aは表示されない。

図３および図４に示すように、単位領域ＵA[1]〜ＵA[k]の各々における類否表示領域５７内には、Ｙ方向に沿った共通の位置に所定の図柄（以下「基準指示子」という）６４が配置される。基準指示子６４のＹ方向の位置は、主楽曲の単位領域ＵA[i]（図３では単位領域ＵA[3]）における操作子５５２の位置５７４に合致する。基準指示子６４は、指標指示子６２とは異なる態様（例えば青色）で表示される。利用者は、各類否表示領域５７の基準指示子６４を基準として主楽曲以外の各楽曲Ｔiの操作子５５２を操作する。

以上に説明したように、主楽曲の各主素片Ｐmの楽音データＡは、音響的な特徴が当該主素片Ｐmに類似する複数の副素片Ｐsに応じて加工（置換）される。したがって、利用者が楽曲Ｔ1〜Ｔkの類似性や調和性について熟知していない場合であっても、主楽曲の曲調を大幅に損なうことなく聴感上において自然な楽曲を生成することが可能である。また、各楽曲Ｔiが拍単位で素片Ｐに区分されるとともに、選択部１４の選択した副素片Ｐsが主素片Ｐmの時間長に調整されたうえで主素片Ｐmの加工に使用されるから、主楽曲のリズム感が損なわれることもない。

さらに、操作子５５２の位置に応じて各副素片Ｐsの類否指標値Ｒが楽曲毎に調整され、類否表示領域５７のうち各類否指標値Ｒに対応する位置に指標指示子６２が配置される。したがって、各指標指示子６２を確認することで各楽曲Ｔiにおける副素片Ｐsの類否指標値Ｒの分布を直感的に把握しながら、各楽曲Ｔiの副素片Ｐsの選択および再生の可能性を操作子５５２の移動によって調整することができる。しかも、各類否表示領域５７において主楽曲の操作子５５２の位置には基準指示子６４が配置されるから、主楽曲の調整値Ｋと主楽曲以外の各楽曲Ｔiの調整値Ｋとの大小を直感的に把握しながら各楽曲Ｔiの調整値Ｋを変化させることができる。したがって、利用者の意図に沿った楽曲を容易かつ直感的に生成することが可能である。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、本形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。

本形態の表示制御部１８は、図３の操作画面５０に加えて図５の状態画面７０を表示装置４４に表示させる。図５に示すように、状態画面７０には、主楽曲の各主素片Ｐmに対応した複数の単位領域ＵBがＸ方向に配列する。各単位領域ＵBは、楽曲の再生とともに順次に表示される。すなわち、加工部１６が新たな主素片Ｐmを加工に対象として選択する（当該主素片Ｐmを置換した副素片Ｐsが再生される）たびに、表示制御部１８は、当該主素片Ｐmに対応した新たな単位領域ＵBを、直前の主素片Ｐmに対応した単位領域ＵBの右側に順次に表示する。そして、状態画面７０の右端まで単位領域ＵBが配置されると、表示制御部１８は、過去の主素片Ｐmの各単位領域ＵBを左方向に移動（スクロール）させたうえで、新たな主素片Ｐmの単位領域ＵBを状態画面７０の右端に配置する。すなわち、各主素片Ｐmに対応した複数の単位領域ＵBが、主楽曲における各主素片Ｐmの配列の順番で左方から右方に向けて配列する。

図６は、ひとつの単位領域ＵBを拡大した模式図である。各主素片Ｐmに対応する単位領域ＵBには、当該主素片Ｐmと楽曲Ｔ1〜Ｔkの各々の副素片Ｐsとの類否指標値Ｒを示す図表（棒グラフ）が表示される。さらに詳述すると、単位領域ＵB内には、ｋ個の楽曲Ｔ1〜Ｔkに対応するｋ本の棒線Ｌ1〜Ｌk（本形態ではｋ＝６）がＸ方向に配列される。棒線Ｌ1〜ＬkはＹ方向に延在する直線である。棒線Ｌiは、図３の操作画面５０における楽曲Ｔiの名称５１と同じ態様（楽曲Ｔiの名称５１と同色）で表示される。したがって、棒線Ｌ1〜Ｌkの各々の態様は相違する。

各単位領域ＵBの左方から第ｉ番目の棒線Ｌiは、楽曲Ｔiのひとつの副素片Ｐsの類否指標値Ｒに応じた長さに設定される。本形態における棒線Ｌiは、楽曲Ｔiの各副素片Ｐsについて算定された複数の類否指標値Ｒのなかの最大値に応じた長さである。したがって、ひとつの単位領域ＵBに対応した主素片Ｐmについては、棒線Ｌiが長い順番で上位の所定個（３個）の楽曲Ｔi（例えば図６における楽曲Ｔ4と楽曲Ｔ6と楽曲Ｔ1）の副素片Ｐsが加工部１６による加工の材料として選択されたことを利用者が認識できる。加工部１６がひとつの主素片Ｐmを加工の対象として選択しているときに、図３の操作画面５０にて類否表示領域５７に指標指示子６２Aが配置された楽曲Ｔiと、図５の状態画面７０にて棒線Ｌiの長さが上位の所定個にある楽曲Ｔiとは合致する（Ｔ1，Ｔ4，Ｔ6）。

類否算定部１２は、第１実施形態と同様に演算部１２２と設定部１２４と調整部１２６とで構成される。すなわち、各副素片Ｐsの類否指標値Ｒは、演算部１２２が副素片Ｐs毎に算定した基礎指標値Ｒ0を、設定部１２４が操作画面５０内の操作子５５２の位置に応じて設定した調整値Ｋに基づいて調整した数値となる。したがって、状態画面７０における各棒線Ｌiの長さも操作画面５０の単位領域ＵA[i]における操作子５５２の位置に応じて変化する。

状態画面７０には単位領域ＵBが時系列に表示されるから、利用者は、図５に破線で図示されるように、ひとつの楽曲Ｔi（例えば図６の楽曲Ｔ4）に対応した棒線Ｌiを複数の単位領域ＵBにわたって追跡することで、操作子５５２に対する操作に応じた類否指標値Ｒの経時的な変化を直感的に把握することが可能である。また、各棒線Ｌiの表示の態様は楽曲毎に相違するから、例えば特定の態様の棒線Ｌiのみを集中的に意識する（例えば各単位領域ＵBにおける赤色の棒線Ｌiのみを意識する）ことで、利用者は、ひとつの楽曲Ｔiについて、類否指標値Ｒの最大値の経時的な変化を容易に把握することができる。

＜Ｃ：変形例＞
以上の各形態には以下に例示するような様々な変形を加えることができる。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
選択部１４が副素片Ｐsを選択する方法は任意である。例えば、ひとつの楽曲Ｔiから複数の副素片Ｐsを選択部１４が選択し得る構成も好適である。選択部１４が楽曲Ｔiから複数の副素片Ｐsを選択した場合、操作画面５０における単位領域ＵA[i]内の類否表示領域５７には複数の指標指示子６２Aが配置される。また、類否指標値Ｒの降順（大→小）で所定の順位にある副素片Ｐsまたは当該順位から複数個の副素片Ｐsを選択部１４が選択する構成や、選択部１４の選択する副素片Ｐsの個数が可変である構成（例えば、類否指標値Ｒが閾値を上回る任意の個数の副素片Ｐsを選択部１４が選択する構成）も好適に採用される。

（２）変形例２
操作画面５０や状態画面７０の態様は適宜に変更される。例えば、楽曲Ｔ1〜Ｔkの類否表示領域５７のみをＸ方向に配列して表示する構成（操作子領域５５が省略された構成）も採用される。また、類否表示領域５７の態様を変更してもよい。例えば、複数の副素片Ｐsのうち選択部１４が実際に選択した副素片Ｐsに対応した指標指示子６２Aのみを表示する構成（指標指示子６２Bの表示を省略した構成）や、基準指示子６４の表示を省略した構成も採用される。同様に、状態画面７０における各単位領域ＵBの態様も任意である。例えば、各楽曲Ｔiの類否指標値Ｒの最大値に応じた高さに点を配置した図表や各点を直線的に連結した折れ線グラフを単位領域ＵBに表示してもよい。また、第２実施形態においては、楽曲Ｔiにおける類否指標値Ｒの最大値のみを棒線Ｌiで表示したが、例えば、楽曲Ｔiの他の副素片Ｐsの類否指標値Ｒに応じた棒線ＬiをＸ方向およびＹ方向に直交するＺ方向に沿って配置した立体的な画像を状態画面７０として表示してもよい。以上に例示したように、主素片Ｐmと各楽曲の副素片Ｐsとの類否指標値Ｒを楽曲毎に示す図表が好適に採用される。

（３）変形例３
以上の各形態においては、主楽曲の各主素片Ｐmを副素片Ｐsに置換して再生したが、主素片Ｐmの楽音を再生する構成も採用される。例えば、ひとつの主素片Ｐmについて副素片Ｐs毎に算定された複数の類否指標値Ｒのなかの最大値が所定の閾値を下回る場合（主素片Ｐmに充分に類似する副素片Ｐsが存在しない場合）、選択部１４および加工部１６は、当該主素片Ｐmの楽音データＡを記憶装置３０から取得して放音装置４６に出力する。以上の構成によれば、再生音の曲調が余りに主楽曲から乖離することが回避される。

（４）変形例４
以上の各形態においては、主楽曲のうち処理の対象として現に選択されている主素片Ｐm以外の素片Ｐを副素片Ｐsとして選択部１４による選択の候補としたが、ｋ個の楽曲Ｔ1〜Ｔkのうち主楽曲を除外した(ｋ−１)個の楽曲の各素片Ｐのみを副素片Ｐsとする構成も好適である。同じ楽曲Ｔi内の各素片Ｐは音響的な特徴が類似する場合が多いから、第１実施形態の構成においては、主素片Ｐmに類似する副素片Ｐsとして主楽曲の素片Ｐが選択される可能性が高い。一方、選択部１４による選択の対象から主楽曲の素片Ｐを除外する構成によれば、主楽曲以外の楽曲Ｔiの素片Ｐを利用して多様な楽曲を生成することが可能となる。なお、主楽曲の各素片Ｐを選択部１４による選択の対象から除外する構成においては、主楽曲に対応する単位領域ＵA[i]を操作画面５０から省略してもよい。

（５）変形例５
類否指標値Ｒを算定する方法は任意である。例えば、以上においては主素片Ｐmと副素片Ｐsとの類似度が高いほど増加する類否指標値Ｒを例示したが、類否指標値Ｒは、主素片Ｐmと副素片Ｐsとの類似度が高いほど減少する数値であってもよい。また、調整値Ｋに応じた基礎指標値Ｒ0の調整の方法も任意である。例えば、基礎指標値Ｒ0と調整値Ｋとの加算値を類否指標値Ｒとして算定してもよい。また、設定部１２４や調整部１２６を省略した構成（基礎指標値Ｒ0が類否指標値Ｒとして選択部１４に出力される構成）も採用される。

（６）変形例６
以上の各形態においては主素片Ｐmを副素片Ｐsに置換する構成を例示したが、副素片Ｐsに基づいて主素片Ｐmを加工する方法は楽音データＡの置換に限定されない。例えば、主素片Ｐmの楽音データＡと選択部１４が選択した各副素片Ｐsの楽音データＡとを所定の比率で混合して出力してもよい。

本発明の第１実施形態に係る楽曲加工装置の構成を示すブロック図である。 楽曲の素片について説明するための概念図である。 操作画面の具体例を示す模式図である。 操作画面の類否表示領域を拡大した模式図である。 本発明の第２実施形態における状態画面の具体例を示す模式図である。 状態画面の単位領域を拡大した模式図である。

符号の説明

１００……楽曲加工装置、１０……制御装置、１２……類否算定部、１２２……演算部、１２４……設定部、１２６……調整部、１４……選択部、１６……加工部、１８……表示制御部、３０……記憶装置、４２……入力装置、４４……表示装置、４６……放音装置、５０……操作画面、５５……操作子領域、５７……類否表示領域、６２（６２A，６２B）……指標指示子、６４……基準指示子、７０……状態画面、ＵA[i]（ＵA[1]〜ＵA[k]）,ＵB……単位領域、Ａ……楽音データ、Ｆ……特徴量、Ｒ……類否指標値、Ｒ0……基礎指標値、Ｋ……調整値、Ｔi（Ｔ1〜Ｔk）……楽曲、Ｌi（Ｌ1〜Ｌk）……棒線、Ｐ……素片、Ｐm……主素片、Ｐs……副素片。

Claims (7)

1. 楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
   主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、
   類否指標値が類似を示す副素片を前記各主素片について選択する選択手段と、
   前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と、
   前記主楽曲の複数の主素片の各々について、当該主素片と前記各楽曲の副素片との類否指標値を楽曲毎に示す図表を表示装置に表示する表示制御手段とを具備し、
   前記表示制御手段は、前記各楽曲に対応する複数の類否表示領域を第１方向に配列した第１画面を前記表示装置に表示するとともに前記主素片毎に当該第１画面を更新し、
   前記各楽曲の前記類否表示領域においては、当該楽曲の前記各副素片について算定された複数の類否指標値の各々に対応した指標指示子が、前記第１方向と交差する第２方向における当該類否指標値に応じた位置に配置される
   楽曲加工装置。
2. 前記表示制御手段は、前記各楽曲の前記類否表示領域における複数の指標指示子のうち、前記選択手段が選択した副素片に対応する指標指示子と、非選択の副素片に対応する指標指示子とを、相互に異なる態様で表示する
   請求項１の楽曲加工装置。
3. 前記表示制御手段は、前記各楽曲に対応する複数の単位領域を前記第１方向に配列して前記第１画面内に表示し、
   前記複数の単位領域の各々においては、前記類否表示領域と、利用者からの指示に応じて前記第２方向に移動する操作子が配置された操作子領域とが、前記第１方向に隣接し、
   前記類否算定手段は、
   前記主素片と前記副素片との類否の指標となる基礎指標値を算定する演算手段と、
   前記各単位領域における前記操作子の位置に応じて、当該単位領域に対応した楽曲について調整値を設定する設定手段と、
   前記各楽曲の副素片について算定された基礎指標値を、前記設定手段が当該楽曲について設定した調整値に応じて調整することで前記類否指標値を算定する調整手段とを含む
   請求項２の楽曲加工装置。
4. 前記第１画面は、前記主楽曲に対応する前記単位領域を含み、
   前記複数の単位領域の各々における前記類否表示領域において、前記主楽曲の単位領域における前記操作子に対応した位置には、基準指示子が配置される
   請求項３の楽曲加工装置。
5. 楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段と、
   主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定手段と、
   類否指標値が類似を示す副素片を前記各主素片について選択する選択手段と、
   前記各主素片の楽音データを、前記選択手段が当該主素片について選択した副素片の楽音データに基づいて加工する加工手段と、
   前記主楽曲の複数の主素片の各々について、当該主素片と前記各楽曲の副素片との類否指標値を楽曲毎に示す図表を表示装置に表示する表示制御手段とを具備し、
   前記類否算定手段は、
   前記主素片と前記副素片との類否の指標となる基礎指標値を算定する演算手段と、
   利用者からの指示に応じて楽曲毎に調整値を設定する設定手段と、
   前記各楽曲の副素片について算定された基礎指標値を、前記設定手段が当該楽曲について設定した調整値に応じて調整することで前記類否指標値を算定する調整手段とを含む
   楽曲加工装置。
6. 楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
   主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定処理と、
   類否指標値が類似を示す副素片を前記各主素片について選択する選択処理と、
   前記各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と、
   前記主楽曲の複数の主素片の各々について、当該主素片と前記各楽曲の副素片との類否指標値を楽曲毎に示す図表を表示装置に表示する表示制御処理と
   を実行させるプログラムであって、
   前記表示制御処理は、前記各楽曲に対応する複数の類否表示領域を第１方向に配列した第１画面を前記表示装置に表示するとともに前記主素片毎に当該第１画面を更新する処理であり、
   前記各楽曲の前記類否表示領域においては、当該楽曲の前記各副素片について算定された複数の類否指標値の各々に対応した指標指示子が、前記第１方向と交差する第２方向における当該類否指標値に応じた位置に配置される
   プログラム。
7. 楽曲を区分した各素片の楽音データと前記各素片の音響的な特徴量とを複数の楽曲の各々について記憶する記憶手段を具備するコンピュータに、
   主楽曲の素片である各主素片について、当該主素片以外の素片である副素片との特徴量の類否の指標となる類否指標値を副素片毎に算定する類否算定処理と、
   類否指標値が類似を示す副素片を前記各主素片について選択する選択処理と、
   前記各主素片の楽音データを、前記選択処理で当該主素片について選択した副素片の楽音データに基づいて加工する加工処理と、
   前記主楽曲の複数の主素片の各々について、当該主素片と前記各楽曲の副素片との類否指標値を楽曲毎に示す図表を表示装置に表示する表示制御処理と
   を実行させるプログラムであって、
   前記類否算定処理は、
   前記主素片と前記副素片との類否の指標となる基礎指標値を算定する演算処理と、
   利用者からの指示に応じて楽曲毎に調整値を設定する設定処理と、
   前記各楽曲の副素片について算定された基礎指標値を、前記設定処理で当該楽曲について設定した調整値に応じて調整することで前記類否指標値を算定する調整処理とを含む
   プログラム。

Images