JPWO2007066813A1 - 音楽編集装置、音楽編集情報の作成方法、並びに音楽編集情報が記録された記録媒体 - Google Patents

Abstract

多数の楽曲の全体あるいは部分をビートを揃えて重ねたり、つなぐという編集を実現できる音楽編集装置を提供する。楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、同期再生制御部にて再生された楽曲を混合する混合部とを備え、リミックス処理部は階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルに基づいてリミックス処理を行う。

Description

本発明は、例えば、楽曲を楽曲パート、小節などに細分化し、それらを編集する際に、曲と曲とのつなぎ方を指定するための音楽編集情報の作成方法に関し、特に上記作成方法にしたがった編集情報に応じて、音楽コンテンツなどを素材として用いて編集して新たな楽曲（音楽コンテンツ）を生成する音楽編集装置に関する。また、上記音楽編集情報の作成方法に従って記述された編集情報を記録する記録媒体に関する。

メモリ型オーディオの普及とともにユーザは大量の楽曲を持ち歩くことが日常的になった。大量の楽曲をメディアの交換無く連続して聴けるメモリ型オーディオにおいては、もともとのＣＤアルバム単位で聴くだけではなく、すべての楽曲をアルバムをまたいでシャッフルして聴いたり、自分の気に入った曲だけをプレイリストとして再構成して聴くというスタイルが広まっている。予めアルバムに録音されている順番を守らずに、ユーザが自分で聴きたい曲を聴きたい順番で聴く自由が広まったとも言える。
しかしながら、１曲１曲については先頭から最後まで聴くことが前提となっており、また曲と曲の間には無音部分ができてしまう。すなわち、曲は１曲という単位が最小になっており、その１曲で完結する聴き方しかできない。そのため、そこで集中、いわゆるノリが途切れてしまうので、テンションを保ったまま楽曲を聴き続けることが難しい。
第２８図には楽曲Ａと楽曲Ｂを用いた従来の音楽再生を示す。二つの楽曲はそれぞれ楽曲の持つオリジナルのテンポで再生される。もちろん、曲間には無音部分ができてしまう。
そこで、複数の音楽素材を組み合わせて編集する技術が考えられた。特開２００３−４４０４６号公報には、キーボードやマウスを介したユーザ入力に応じて、複数の音素材を組み合わせて楽曲を対話的に編集したり再生して楽しむ技術が開示されている。キーボードの各キーに対して、サウンドパターンやワンショットなどの音片や、これら音片に適用するエフェクトなどからなるチップが割り当てられている。ユーザがキーを押下することによって、この押下キーに対応するチップが実行される。複数のキーを同時に押下操作することによって、該当するチップを合成出力する。また、各キーを順に押下してチップを時系列的に組み合わせて楽曲を構成する。
しかし、上記特開２００３−４４０４６号公報の技術によっても、例えばディスクジョッキー（ＤＪ）が行うリミックスのように曲の一部分を他の曲とつないで複数の曲からあたかも一つの曲を、ビートを揃えて繋ぐように再構成するということは困難であった。ＤＪは現在では一般的な職業であり、リミックス音楽もそれ専用のレーベル会社がありそれを楽しんでいるユーザ層も規模が大きくなってきている。
本発明は、上記実情に鑑みてなされたものであり、ハードディスクやフラッシュメモリなどの記憶媒体に、記録されている多数の楽曲の全体あるいは部分をビートを揃えて重ねて再生したり、つないで再生するという編集を実現する際に利用できる音楽編集情報の作成方法の提供を目的とする。また、上記作成方法にしたがった編集情報に応じて、音楽コンテンツなどを素材として用いて編集して新たな楽曲（音楽コンテンツ）を生成する音楽編集装置の提供を目的とする。また、上記音楽編集情報の作成方法に従って記述された編集情報を記録する記録媒体の提供を目的とする。

本発明に係る音楽編集装置は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、上記同期再生制御部にて再生された楽曲を混合する混合部とを備え、上記リミックス処理部は階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルに基づいてリミックス処理を行う。
本発明に係る編集情報の作成方法は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、上記同期再生制御部にて再生された楽曲を混合する混合部とを備えてなる音楽編集装置により、上記リミックスパターンとして参照される編集情報の作成方法であって、階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルを、上位層のデータ部を構成している下位層の制御パラメータ部により同階層のデータ実体部を処理することにより作成する。
本発明に係る編集情報を記録した記録媒体は、上記課題を解決するために、楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、上記同期再生制御部にて再生された楽曲を混合する混合部とを備えてなる音楽編集装置により、上記リミックスパターンとして参照される編集情報を記録した記録媒体であって、階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルを、上位層のデータ部を構成している下位層の制御パラメータ部により同階層のデータ実体部を処理することにより作成された編集情報を記録している。
本発明によれば、ハードディスクやフラッシュメモリなどの記憶媒体に、記録されている多数の楽曲の全体あるいは部分をビートを揃えて重ねて再生したり、つないで再生するという編集を実現できる。また、楽曲の全体または一部をリアルタイムにその場その場でつないで再生することができる。

第１図は、本発明による装置、方法の一実施の形態が適用される音楽編集装置１のブロック図、第２図は、同期再生制御部と音声ミキシング部の詳細な構成を示すブロック図、第３図は、音楽編集装置の機能ブロック図、第４図は、音楽編集装置がＣＰＵによって実行する音楽編集プログラムの処理手順を示すフローチャート、第５図は、時間軸上のメタデータを示す図、第６図は、時間軸メタデータの具体例を示す図、第７図は、時間軸メタデータの他の具体例を示す図、第８図Ａ、第８図Ｂ及び第８図Ｃは、メタデータの格納方法を示す図、第９図は、リミックスパターンファイルの具体例を示す図、第１０図は、本発明の編集情報の作成方法により作成された編集情報のデータ構造を示す図、第１１図は、ＸＭＬにより記述されたリミックスパターンファイルの記述例を示す図、第１２図は、ソングリスト層、ソング層、メロディブロック層のほかに、アンサンブル層、インストゥルメント層までの階層化を示している図、第１３図は、本発明の編集情報の作成方法により作成された編集情報、具体的にはリミックスパターンファイルに基づいた音楽編集装置の制御例を示す図、第１４図は、本発明の編集情報の作成方法を直感的に実現するためのオーサリングツールのＧＵＩ構成例を示す図、第１５図は、本発明による音楽再生を説明するための図、第１６図は、クロスフェードによるつなぎを説明するための図、第１７図は、カットインによるつなぎを説明するための図、第１８図は、効果音を用いたつなぎを説明するための図、第１９図は、効果音を用いたクロスフェードによるつなぎを説明するための図、第２０図は、同時同期再生を説明するための図、第２１図は、エフェクトの適用を説明するための図、第２２図は、部分再生を説明するための図、第２３図は、ネットワーク通信部を有する音楽編集装置の構成図、第２４図は、ネットワーク通信部を有する音楽編集装置の機能ブロック図、第２５図は、センサー値取得部を有する音楽編集装置の構成図、第２６図は、センサー値取得部を有する音楽編集装置の機能ブロック図、第２７図Ａ及び第２７図Ｂは、センサー値取得部を有する音楽編集装置の処理手順を示すフローチャート、第２８図は、従来の音楽再生を説明するための図である。

符号の説明

１ 音楽編集装置
２ ＣＰＵ
４ 記憶部
５ 楽曲用記憶部
６ 楽曲メタデータ用記憶部
７ リミックスパターン用記憶部
８ 同期再生部
９ 同期再生制御部
１０ 音声ミキシング部
２０ リミックス処理部
２１ メタデータ処理部
２２ リミックスパターン読み込み部
９０ マスタービート生成部
９３ａ、９３ｂ、９３ｃ 音声信号生成部
Ｓ１ リミックスパターンファイルを取得する
Ｓ２ 次の楽曲を取得する
Ｓ３ 次の曲があるか？
Ｓ４ マスタービートテンポを決定する
Ｓ５ つなぎ方パターンを取得する
Ｓ６ 楽曲のメタデータを取得する
Ｓ７ エフェクト処理が必要か？
Ｓ８ エフェクト処理部を有効にする
Ｓ９ 音量フェード処理が必要か？
Ｓ１０ フェードパラメータを設定する
Ｓ１１ 同期再生制御部に楽曲のオリジナルテンポをセットする
Ｓ１２ 空いている音声信号生成部を取得する
Ｓ１３ 同期再生制御部に楽曲をセットする
Ｓ１４ 各楽曲の現在の再生位置を取得する
Ｓ１５ 次の楽曲を用意するポイントに到達したか？
Ｓ１１ センサー優先モードかパターン優先モードかを決定する
Ｓ１２ センサ優先モードか？
Ｓ１３ センサーの入力から楽曲とテンポを決める
Ｓ１４ 次の曲があるか？
Ｓ１５ マスタービートテンポを設定する
Ｓ１６ つなぎ方パターンを自動で決定
Ｓ１７ 楽曲のメタデータを取得
Ｓ１８ エフェクト処理が必要か？
Ｓ１９ エフェクト処理部を有効にする
Ｓ２０ 音量フェード処理が必要か？
Ｓ２１ フェードパラメータを設定する
Ｓ２２ 同期再生制御部に楽曲のオリジナルテンポをセットする
Ｓ２３ 空いている音声信号生成部を取得する
Ｓ２４ 同時再生制御部に楽曲をセットする
Ｓ２５ 各楽曲の現在の再生位置を取得
Ｓ２６ 次の楽曲を用意するポイントに到達したか？
Ｓ２７ センサー優先モードか？
Ｓ２８ リミックスパターンファイルを取得
Ｓ２９ 次の楽曲を取得
Ｓ３０ 次の曲があるか？
Ｓ３１ マスタービートテンポを決定する
Ｓ３２ つなぎ方パターンを取得
Ｓ４０ ソングリスト選択
Ｓ４１ 繋ぎ方・ソング選択
Ｓ４２ メロディブロック選択
Ｓ４３ アンサンブル選択
Ｓ４４ インストゥルメント選択
Ｓ４５ ソング終了条件判定

以下、本発明を実施するための最良の形態について図面を参照しながら説明する。第１図は本発明による装置、方法の一実施の形態が適用される音楽編集装置１のブロック図である。
この音楽編集装置１は、ハードディスク（ＨＤ）、コンパクトディスク（ＣＤ）、ミニディスク（ＭＤ）、ディジタルバーサタイルディスク（ＤＶＤ）などの種々の記録媒体やインターネットなどのネットワークを通じて提供される楽曲の音楽コンテンツデータ（オリジナルデータ）に対して、後述するメタデータを用いて、例えば本来テンポが異なる楽曲Ａと楽曲Ｂとをビートを揃えて重ねて再生することができる。つまり、自動的にＤＪ再生を行う装置である。
第１図に示すように、この音楽編集装置１は、中央演算処理装置（ＣＰＵ）２にバス３を介して記憶部４、同期再生部８を接続している。また、ＣＰＵ２にバス３を介してＲＯＭ１３、ＲＡＭ１４、ユーザ操作Ｉ／Ｆ部１５及びユーザインターフェース（Ｕ／Ｉ）表示部１６を接続している。
ＣＰＵ２はリアルタイムに楽曲のつなぎ方を決定し、同期再生部８に対して必要な楽曲素材を必要なタイミングで与える。また、ユーザの操作に応じて同期再生部８に対し、テンポの指示やビート同期／非同期の指示を行う。
記憶部４は、楽曲用記憶部５、楽曲メタデータ用記憶部６及びリミックスパターン用記憶部７からなる。楽曲用記憶部５は、複数の楽曲データを保持する記憶部である。据え置き用の音楽再生装置や、携帯用の音楽再生装置が持っているようなフラッシュメモリやハードディスクなど記憶部を外部接続してもよい。なお、楽曲用記憶部５に記憶される楽曲データは圧縮されたものでも非圧縮のものでもかまわない。
楽曲メタデータ用記憶部６は、楽曲に付加されている、時間軸上のメタデータを記憶している。詳細は後述するが、メタデータは楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の先頭（単に頭と記す）位置情報、前奏（イントロ）やテーマ（サビ）などのメロディ情報が記述されている。
リミックスパターン用記憶部７は、楽曲用記憶部５と同様に記憶装置であれば特に制限を付ける必要はない。リミックスパターン指定方法を指示したリミックスパターンファイルを保持する記憶部である。リミックスパターンファイルについては、詳細を後述するが、曲順が書いてあるだけでなく、曲順＋どういうふうに組み合わせるか、あるいは楽曲Ａと楽曲Ｂのどこを使ってどこに組み合わせるかというような、ことが書いてあるファイルである。
同期再生部８は、音楽編集装置１が自動的にＤＪ再生を行うための信号処理ブロックであり、ＣＰＵ２のリミックス制御機能により指示された楽曲素材を基準ビートに同期して再生する。同期再生制御部９、音声ミキシング部１０、デジタル／アナログ変換部（Ｄ／Ａ）１１及び音声出力部１２からなる。
同期再生制御部９は、複数の音声信号生成部を有し、複数の音声信号を、自分の中で生成したクロック信号に同期して再生する。また、メタデータ用記憶装置６からのメタデータに基づいて現在再生されている楽曲の位置を常に監視し、ＣＰＵ２のリミックス処理機能部に、今どこを再生しているのかという位置（楽曲の再生をしているサンプル数とかの位置）や、何小節目の何拍目を再生しているのかという位置を返す。
音声ミキシング部１０は、同期再生制御部９内の複数の音声信号生成部で生成された複数系統の音声信号を合成して出力する。Ｄ／Ａ１１は音声ミキシング部１０で再生されたデジタル信号をアナログ信号に変換する。音声出力部１２は、Ｄ／Ａ１１からのアナログ音声信号を増幅し、スピーカやヘッドホンなどに出力する。
ＲＯＭ１３は、本発明の音楽編集方法にしたがった処理手順からなる音楽編集プログラムを格納している。また、デフォルトの各種データを格納している。ＲＡＭ１４は、ＣＰＵ２が上記音楽編集プログラムを実行するときのワークエリアになる。また、上記音楽編集プログラムを実行するときの各種更新データを記憶する。
ユーザ操作Ｉ／Ｆ部１５はユーザによる操作を受けつける例えばキーボードや、マウス、タッチパットなどである。Ｕ／Ｉ表示部１６は、現在の操作状況、音楽編集処理状況、あるいはユーザによる操作を可能とするタッチパネルを含めた表示部であり、例えば液晶表示装置である。もちろん、ＣＲＴでもよい。
第２図は同期再生制御部９と音声ミキシング部１０の詳細な構成を示すブロック図である。同期再生制御部９は、マスタービート生成部９０と、３系統の音声信号生成部からなる。マスタービート生成部９０は、ビートに相当するクロックを生成する。詳細には、リミックス時のテンポとそのテンポに同期したビート信号を出力する。マスタービート生成部９０は指定された拍子（４／４拍子や３／４拍子など）にあわせて、小節の頭信号とそれ以外の通常のビート信号を生成し、出力する。
３系統（トラック）の音声信号生成部は、リアルタイムにステレオの音を複数だせるようにするために、典型的な例として、楽曲Ａ、楽曲Ｂ、効果音（Ｓｏｕｎｄ ｅｆｆｅｃｔ：ＳＥ）ということで３トラックとしているものである。もちろん、楽曲の構成数に応じて４トラック、５トラックあるいはそれ以上のトラック数でもかまわない。この音声信号生成部は、マスタービート生成部９０が生成した同期信号（クロック、あるいはビート）をもとに楽曲の小節／ビート位置をマスタービートの小節／ビート位置に合わせて同期再生を行う。
各トラックには、それぞれ、デコーダ（Ｄｅｃｏｄｅｒ）９１ａ、９１ｂ及び９１ｃと、タイムストレッチ部（Ｔｉｍｅ Ｓｔｒｅｔｃｈ）９２ａ、９２ｂ及び９２ｃが備えられている。デコーダ９１ａ、９１ｂ及び９１ｃは、ＭＰ３やＡＴＲＡＣ等の圧縮音声をデコードし、ＰＣＭデータとして出力する。ここで、ＳＥは長さが短く、データサイズも小さいため必ずしも圧縮する必要は無い。そのため、このＳＥトラックのデコーダは省略してもよい。タイムストレッチ部９２ａ、９２ｂ及び９２ｃは、音程を一定に保ったまま再生速度を変換する。メタデータ用記憶部６からのメタデータに基づいて異なるテンポを持つ楽曲素材を基準ビートのテンポに合わせる。楽曲のオリジナルテンポとマスタービートとの比率に鑑みて、再生速度をリアルタイムに変化させるという処理を行う。これによって、楽曲のオリジナルテンポをマスタービートのテンポに合わせることができる。もちろん、上述したように音程を変えることはない。
なお、これら音声信号生成部には、ピッチシフト（Ｐｉｔｃｈ Ｓｈｉｆｔｅｒ）機能を搭載してもよい。ピッチシフト機能は、再生速度を一定に保ったまま音程を変更する。これは異なるキーや音程を持つ楽曲素材を音楽的に調和させるのに利用されるが、必ずしも必要な機能ではなく付加的な機能である。
音声ミキシング部１０は、上記３トラックの音声信号生成部に対応して、３系統のエフェクト処理部１００ａ、１００ｂ及び１００ｃと、音量調整部１０１ａ、１０１ｂ及び１０１ｃを備える。これら３系統の出力は音声ミックス部１０２によりミックスされてから音声出力部１０３により増幅されて外部のスピーカ、ヘッドホンに出力される。音声信号生成部の各トラックからの出力音声信号に対してそれぞれエフェクト処理と、音量調整処理ができる構成となっている。
第３図は音楽編集装置１の機能ブロック図である。第１図にハードウェア構成として示したＣＰＵ２の機能が、リミックス処理部２０として示してある。リミックス処理部２０は、さらにメタデータ処理部２１とリミックスパターン読み込み部２２に分かれている。
リミックス処理部２０は、メタデータ用記憶部６に格納されたメタデータをメタデータ処理部２１によって処理する。上述したように、楽曲には時間軸上のメタデータが付加されており、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報を保持している。
メタデータ処理部２１は、楽曲に対応した時間軸上のメタデータを読み込み、リミックスパターン読み込み部２２で読み込んだリミックスパターン情報の指示に従って当該楽曲の位置情報を調査する。例えば、今、どこのビートに自分がいるのかとか、今組み合わせようとしている楽曲のビートはどこにあるのかということを把握したうえで、複数ある楽曲とか、効果音というものを、どの時点で、どういうふうに再生するかを決めている。
また、リミックス処理部２０は、リミックスパターン用記憶部７に格納されたリミックスパターンファイル７ａをリミックスパターン読み込み部２２で読み込む。リミックスパターンファイル７ａは、フェードアウトするのか、カットインするのか、ＳＥは何をかけるのか、というようなことを指定したファイルである。リミックスパターンは、ユーザあるいは第三者の手によって人為的に指示されたデータ列（この曲の後にはこういふうにつなげとか）でもよいし、自動生成アルゴリズムによって作られたものでもよい（勝手に機械側が決めるようなリミックスのようなもの）。
同期再生制御部９は、マスタービート生成部９０によりマスタービートを生成し、このマスタービートをリミックス処理部２０に送るとともに、リミックス処理部２０がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じ、メタデータ用記憶部６からの各メタデータを用いて複数の楽曲を再生する。
第４図は音楽編集装置１がＣＰＵ２によって実行する音楽編集プログラムの処理手順である。この音楽編集プログラムは本発明の音楽編集方法の具体例である。
まず、ＣＰＵ２のリミックス処理部２０はリミックスパターン用記憶部７からのリミックスパターンファイル７ａをリミックパターン読み込み部２２で読み込んで取得する（ステップＳ１）。次に、楽曲、例えば１曲目を同期再生制御部９に取得させる（ステップＳ２）。さらに、次の曲があれば（ステップＳ３にてＹＥＳ）、同期再生制御部９のマスタービート生成部９０のテンポを決定する（ステップＳ４）。これは、１４０なら１４０で固定でもいいし、ユーザが何か指定しているものでもよい。次に、つなぎかたパターン（これもパターンファイルに書いてある）を取得する（ステップＳ５）。
これで、曲とつなぎ方のパターンが決まったので、楽曲のメタデータを取得する（ステップＳ６）。楽曲Ａであれば楽曲Ａのメタデータのことである。次に、エフェクト処理が必要かどうかをリミックスパターンファイルから判断する（ステップＳ７）し、必要であれば（ＹＥＳ）、エフェクト処理部１００にて、しかるべきエフェクトをかけるように有効にする（ステップＳ８）。
次に、音量フェード処理が必要かどうかをリミックスパターンファイルから判断する（ステップＳ９）。例えば楽曲Ａと楽曲Ｂを編集して重ねるときに上げたり下げたりの音量フェードが必要かを選択する。もし必要があれば（ＹＥＳ）、フェードパラメータを設定する（ステップＳ１０）。自動的に上げたり、下げたりを前提にして書いたが、そこにパラメータを設定しておく。
次に、同期再生制御部９のマスタービート生成部９０に対して、楽曲のオリジナルのテンポをセットする（ステップＳ１１）。楽曲のオリジナルのテンポはメタデータに付与されている。そして、同期再生制御部９内の空いている音声信号生成部を取得する。３ｃｈの具体例を上述したが、空いているところを取得して再生させたい楽曲をセットする（ステップＳ１３）。
そして、各楽曲の現在の再生位置を取得してから（ステップＳ１４）、次の楽曲を用意するポイントに到達したかを判断する（ステップＳ１５）。例えば、ＳＥがクロスフェードであれば、クロスフェードが終わるのはその小節の何小節か前であったり、カットインであれば、すぐに始まるので１小節前から準備しても間に合う。もちろん、同時再生は全く同時に再生である。そういうポイントに到達したかを見て、もし楽曲を用意するポイントに到達していないのであれば、ステップＳ１４にもどり、到達するまで待っている。もし、次の楽曲を用意するポイントに到達したのであれば（ＹＥＳ）、ステップＳ２に戻る。
第５図は時間軸上のメタデータ３０を示す図である。メタデータ３０は、上述したように、楽曲に付加された時間軸上の補助データであり、テンポだけでなくビートの位置情報、小節の頭位置情報、イントロやサビなどのメロディ情報が記述されている。小節／拍３１は１小節目の何拍目かを表している。「１１」は１小節目の１拍目を表す。「１４」は１小節目の４拍目を表す。同様に、「２１」は２小節目の１拍目を表す。特に、「１１」、「２１」は各小節の先頭の拍を表すことになる。属性３２はその位置に何があるかを示している。小節の頭、普通の拍、メロディ、テーマ（サビ）等の位置を示す。「０１８００００１」は小節の先頭であることを示す。前記「１１」、「２１」の属性として示している。サンプル位置は、例えば楽曲が４４．１ｋＨｚでサンプリングされているのであれば、１秒間に４４１００サンプルであるが、その位置がサンプル単位で記述されていることになる。この第５図に示したようなメタデータ３０はテキスト形式やバイナリ形式で記述されている。
第６図は時間軸メタデータの具体例である。音声信号４０とビート４１、４２の時間軸のメタデータを同時に表示している。音声信号４０は左から右に時間の経過とともに変化しているが、それとともにビートも乗っている。第６図において長い線４１が小節の頭、短い線４２が通常のビートを示している。小節の先頭４１とそれ以外のビート４２（４拍子であれば小節頭のあとに４分音符のタイミングで３拍）位置を楽曲のサンプル位置に対応させて保持しているものである。
第７図も時間軸メタデータの具体例を示す図である。音声信号５０に、ビート位置５５だけでなく楽曲のイントロ５１や、Ａメロディ５２及び５３、Ｂメロディ５４、テーマ（サビ）といったメロディ構成を示す位置情報を付けることが可能である。この情報を利用して対象の楽曲の小節位置や特定のメロディの開始位置がわかる。
上記第１図等に構成を示した音楽編集装置１では、メタデータは楽曲メタデータ用記憶装置６に格納されていた。メタデータの格納方法は、第８図Ａ、第８図Ｂ及び第８図Ｃに示すようにしてもよい。第８図Ａは、ＭＰ３のようにメタデータ７１と楽曲データ７２が論理的に別で物理的に同じメディアに存在する例である。また、第８図ＢはＭＰＥＧ４のように楽曲データ７４にメタデータ７３が混在している例である。また、第８図Ｃは例えばネットワークを介して楽曲データ７６に対応するメタデータ７５が検索される例である。論理的にも物理的に楽曲データとメタデータは別々である。これは、後述する音楽編集装置８０及び１１０のように、ネットワーク通信部を備え、インターネットなどのネットワークに接続する形態のときに適用される。楽曲ＩＤに応じてネットワーク上のサイトからメタデータをダウンロードすることができる。
第９図はリミックスパターンファイルの具体例を示す図である。楽曲のメタデータは楽曲に対して１対１のものであるが、リミックスパターンのほうは、ユーザが自由に作ることができ、楽曲とは何の依存関係もないようにすることもできる。楽曲間をどうつなぐかというファイルである。リミックスのパターン６０における、曲ＩＤ（ファイル）６１のＩＤ＿Ａ〜ＩＤ＿Ｅは、曲名Ａ〜Ｅと同じであってもよい。絶対的なファイル名やファイルパスでもよい。再生部分６２は、それぞれの楽曲に対してどこを再生するかを示す。曲Ａに対しては「サビ」、Ｂに対しては「イントロ」、Ｃに対しては「８小節目から２０小節目」まで、Ｄに対しては全体、Ｅに対しては「サビ」という位置を指定する。再生時（エフェクト）６３は、各曲の各部分に、それぞれどういうふうなエフェクトをかけるかを指定する。つなぎ方（パターン）６４は、曲Ａに対してクロスフェードとあるが、Ｂとつなぐときにクロスフェードでつなぎなさいということを示す。また、ＢからＣはカットインで、ＣからＤはクロスフェードで、ＤとＥはサビの部分を同時再生でつなぐということを示す。また、つなぎ時（エフェクト）６５はつなぎ時にエフェクトとしてリバーブ、ローカット、ディストーションをかけることを指定する。つなぎＳＥ６６は、効果音を指定する。
第９図に示したパターンを指示した場合、実際の再生は次のように行われる。「ＩＤ＿Ａのサビが再生される。→ＩＤ＿Ａのサビ終わり付近でＩＤ＿Ｂイントロがクロスフェードで入ってくる。→ＩＤ＿Ｂのイントロ終わりと同時にＩＤ＿Ｃの８小節目の再生が開始される→ＩＤ＿Ｃ２０小節の数小節からＩＤ＿Ｄがクロスフェードで入ってくる。同時にＳＥ＿Ａもミックスされる。→ＩＤ＿ＤのサビがくるとＩＤ＿Ｅのサビも同時に再生される。」という具合である。
このように、リミックスパターンは概念的に従来のプレイリストに対し曲のどこをどのようにつなぐかという指示を追加したものであるともいえる。
第１０図は本発明の編集情報の作成方法により作成された編集情報のデータ構造を示す図である。第９図に示した具体例のＩＤ＿Ａ、ＩＤ＿Ｂ、ＩＤ＿Ｃの曲分に対応している。
第１０図では、楽曲をソングリスト層１２０、ソング層１３０、メロディブロック層１４０のように階層化している。楽曲を階層化し、階層毎に処理内容の粒度を異ならせたツリー構造としている。このツリーを構成する各ノードは音楽編集装置のインターフェースからの入力に応じて、楽曲を構成方法や進行方法をリアルタイムに生成するための制御パラメータ部と楽曲を構成する音素材となるデータ実体部から構成される。また、各ノードは同一階層で同時刻に処理可能なものと処理不可能なものがある。
第１０図では楽曲および楽曲と楽曲のつなぎシーケンスを次に示す３層のレイヤに分けて構造化して管理を行う。ソングリスト層１２０は、ソング層のつなぎのシーケンスも含めたもっともグローバルな層である。クロスフェードやＢＰＭを揃えて動じ再生するなど曲間のエフェクトを変化させることができる。ソングリスト層のルールベースはソング層のソングルールを創作するクリエータがいくつかのソングをまとめて構築するか（既存のアルバムとソングの関係に似ている）、第三者（ユーザまたは他のクリエータ）がさまざまなソングをダイナミックに利用するためのルールを記述してもよい。
ソング層１３０は、既存の概念で言うところの１曲にあたる。ソングリスト層１２０との違いは、通常一つのソングは同一のクリエータによって創作され、少なくともひとつのソングで曲としては完結しているところである。このように考えるとソングリスト層１２０は複数のソングをつないでいくための上位の層である。したがって、例えば「ＩＤ＿Ａ」などのように既存の曲を別なアレンジにするためのひとまとまりのデータとアクションで構成されている。
メロディブロック層１４０は、上位のソング層１３０を構成するための楽曲ブロック群で構成される。例えば通常の楽曲は「イントロ」「Ａメロ」「サビ」「ギターソロ」などと呼ばれる意味的な構造を持っている。本システムでも曲をこのような構造に分解して保持することによって、例えばイントロだけを別な物に入れ替えたり、サビを何度も繰り返したりというように楽曲をマクロ的に編曲することが可能である。
ソングリスト層１２０には、制御パラメータ部１２１がある。この制御パラメータ部１２１は、リミックス例を示すオブジェクトであるリミックスデータ部１２２を制御するためのパラメータを規定している。ソング層１３０には後述するようにＩＤ＿Ａ１３２、ＩＤ＿Ｂ１３４、ＩＤ＿Ｃ１３６の楽曲データ実体（オブジェクト）が記述される。これらＩＤ＿Ａ１３２、ＩＤ＿Ｂ１３４、ＩＤ＿Ｃ１３６を用いてのリミックスの実体がリミックスデータ部１２２に記述されている。そして、リミックスデータ部１２２を制御するための制御パラメータが制御パラメータ部１２１に記述されている。
制御パラメータ部１２１には、再生順序がＩＤ＿Ａ→ＩＤ＿Ｂ→ＩＤ＿Ｃのように記述されている。上記第９図に示した例の途中までの順序と同じである。つなぎ方パターンは、ＩＤ＿Ａ→ＩＤ＿Ｂには、クロスフェードパターンを指定している。また、ＩＤ＿Ｂ→ＩＤ＿Ｃは、カットインパターンを指定している。また、つなぎ時エフェクトはＩＤ＿Ａ→ＩＤ＿Ｂには、リバーブを指定している。また、ＩＤ＿Ｂ→ＩＤ＿Ｃはローカットを指定している。また、つなぎＳＥはＩＤ＿Ａ→ＩＤ＿Ｂ、ＩＤ＿Ｂ→ＩＤ＿Ｃともになしとなっている。
ソング層１３０には、制御パラメータ部１３１、１３３及び１３５が記述されている。これら制御パラメータ部１３１、１３３及び１３５は、ソングリスト層のリミックスデータ部１２２から成り立っている。そして、制御パラメータ部１３１、１３３及び１３５は、各ＩＤ＿Ａ１３２、ＩＤ＿Ｂ１３４、ＩＤ＿Ｃ１３６というオブジェクトである実体を制御するための制御パラメータを規定している。
制御パラメータ部１３１は、ＩＤ＿Ａ１３２の曲の再生部分をテーマ（サビ）としている。再生時エフェクトは指定していない。また、制御パラメータ部１３３は、ＩＤ＿Ｂ１３４の曲の再生部分をイントロとしている。再生時エフェクトはローカットを指定している。制御パラメータ部１３５はＩＤ＿Ｃ１３６の曲の再生部分を８小節目から２０小節目としている。再生時エフェクトは指定していない。
メロディブロック層１４０は、空の制御パラメータ部１４１、１４３、１４５、１４７、１４９、１５１、１５３、１５５を備えている。この例では、リミックスパターンにしたがって静的に処理を行うので、メロディブロック層１４０の制御パラメータ部は各パラメータを不要としている。各制御パラメータ部には、制御の実体となるイントロ部１４２、Ａメロディ部１４４、Ｂメロディ部１４６、サビ部１４８、エンディング部１５０、イントロ部１５２、Ａメロディ部１５４、サビ部１５６が接続する形となっている。
第１１図には、ＸＭＬにより記述されたリミックスパターンファイルの記述例を示す。−＜ｓｏｎｇ＿ｌｉｓｔ ｉｄ＝”ＳＯＮＧ＿ＬＩＳＴ＿１”＞によりソングリスト１であることを規定している。続いて、＜ｃｏｎｔｒｏｌｌｅｒ ｔｒａｎｓｉｔｉｏｎ＝”ＩＤ＿Ａ：ＩＤ＿Ｂ” ｐａｔｔｅｒｎ＝”ＣＲＯＳＳ＿ＦＡＤＥ” ｅｆｆｅｃｔ＝”ＲＥＶＥＲＢ” ｓｅ＝”” ／＞により、ＩＤ＿Ａ→ＩＤ＿Ｂには、クロスフェードパターンを指定して、さらにエフェクトとしてリバーブを指定している。
また、＜ｃｏｎｔｒｏｌｌｅｒ ｔｒａｎｓｉｔｉｏｎ＝”ＩＤ＿Ｂ：ＩＤ＿Ｃ” ｐａｔｔｅｒｎ＝”ＣＵＴ＿ＩＮ” ｅｆｆｅｃｔ＝”ＬＯＷ＿ＣＵＴ” ｓｅ＝”” ／＞では、ＩＤ＿Ｂ→ＩＤ＿Ｃには、カットインパターンを指定して、さらにエフェクトとしてローカットを指定している。
また、＜ｓｏｎｇ ｉｄ＝”ＩＤ＿Ａ”＞により、ＩＤ＿Ａの再生を規定している。＜ｃｏｎｔｒｏｌｌｅｒ ｐｌａｙ＿ｓｅｇｍｅｎｔ＝”ＭＥＬＯＤＹ＿ＢＬＯＣＫ：Ａ” ｅｆｆｅｃｔ＝”” ／＞にてＡメロディブロックと、エフェクトなしを指定し、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”ＩＮＴＲＯ” ／＞にてイントロを、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”Ａ” ／＞にてＡメロディを、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”Ｂ” ／＞にてＢメロディを、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”ＳＡＢＩ” ／＞にてサビを、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”ＥＮＤＩＮＧ” ／＞にてエンディングを指定している。
また、＜ｓｏｎｇ ｉｄ＝”ＩＤ＿Ｂ”＞にてＩＤ＿Ｂの再生を規定し、＜ｃｏｎｔｒｏｌｌｅｒ ｐｌａｙ＿ｓｅｇｍｅｎｔ＝”ＭＥＬＯＤＹ＿ＢＬＯＣＫ：ＩＮＴＲＯ” ｅｆｆｅｃｔ＝”ＬＯＷ＿ＣＵＴ” ／＞にてイントロのエフェクトをローカットで再生することを規定している。そして、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”ＩＮＴＲＯ” ／＞にてイントロを、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”Ａ” ／＞にてＡメロディを、＜ｍｅｌｏｄｙ ｔｙｐｅ＝”ＳＡＢＩ” ／＞にてサビを指定している。
また、＜ｓｏｎｇ ｉｄ＝”ＩＤ＿Ｃ”＞にて、ＩＤ＿Ｃを指定し、＜ｃｏｎｔｒｏｌｌｅｒ ｐｌａｙ＿ｓｅｇｍｅｎｔ＝”ＢＡＲ：８−２０” ｅｆｆｅｃｔ＝”” ／＞にて曲の再生部分を８小節目から２０小節目とし、エフェクトをなしと指定している。
第１２図には、ソングリスト層、ソング層、メロディブロック層のほかに、アンサンブル層、インストゥルメント層までの階層化を示している。アンサンブル層では、イントロ、サビなどの楽曲構造単位で見た場合、その繰り返し数によって例えば１回目のサビはピアノが入り、２回目のサビはピアノのかわりにホーンセクションが入る場合がある。また、繰り返しを抜けて別のメロディブロックに移行する直前の数小節が１回目の繰り返しとは異なることがある。
インストゥルメント層は、アンサンブル層を構成するための楽器ごとに録音された音素材の集合である。具体的なファイル実体を明示してもかまわないし、「明るい８ビートのギター」のような検索条件を与えておいてもかまわない。
第１３図には、本発明の編集情報の作成方法により作成された編集情報、具体的にはリミックスパターンファイルに基づいた音楽編集装置１の制御例を示す。ここに示しているのは複数の楽曲を繋ぎ方を指定して連続再生する例である。
はじめにユーザによってソングリストが選択される（ステップＳ４０）。つぎに第１０図や第１２図のソング層にある制御パラメータ部に指定された繋ぎ方とソングが選択される（ステップＳ４１）。ここで指定される繋ぎ方とは楽曲の終了前何小節目からクロスフェードを行うのかといったエフェクト情報や、繋ぐときにどのような音声をどのように（例えば小節の頭のビートに合わせてＮ回再生）するかなどの情報である。
次にメロディブロック、アンサンブル、インストゥルメントの順に楽曲の構成要素が選択され、曲が再生される（ステップＳ４２、ステップＳ４３、ステップＳ４４）。これらはソング終了条件が“継続中“の間繰り返される。さらにソング終了条件がステップＳ４５にて”終了“になったときはステップＳ４１の繋ぎ方・ソング選択に行き、新しいソングが指定された繋ぎ方で開始することになる。
第１４図には、本発明の編集情報の作成方法を直感的に実現するためのオーサリングツールのＧＵＩ構成例を示す。この例は楽曲を繋いで再生することを目的とした指定方法例である。画面１６０にはソングリスト名１６１、ソング名１６２、次の曲と繋ぐときのエフェクト１６３と繋ぎに用いられる音声ファイル１６４が指定できるようになっている。
このように、第１０図に示したデータ構造の編集情報であるリミックスパターンデータによれば、既存の楽曲のアレンジが変更になるため、ユーザに新たな音楽の楽しみ方を提供することが出来る。また、作者が楽曲生成・再生装置におけるセンサーやユーザインターフェースの入力に応じたアレンジの変更を指定出来るようになる。また、複数の曲を繋いで再生することで、ＤＪが行っているような楽曲の再生方法を手軽に楽しむことが可能となる。
次に、第１５図〜第２２図を参照して楽曲をつなぐ方法の実例を概略的に説明する。従来の音楽再生では第２８図のように二つの楽曲Ａと楽曲Ｂはそれぞれの楽曲のもつオリジナルのテンポで再生され、曲と曲の間には無音部分ができることがほとんどであった。再生装置の仕組み的に無音部分なく繋ぐことができるものもあるが、楽曲の前後には多少なり無音部分がある曲も多く、それらの曲は曲の前後に曲の一部として無音部分を含んでいるためどうしても曲間に無音部分ができてしまう。
第１図に構成を示した音楽編集装置１によれば、第１５図のように、楽曲のオリジナルテンポによらずユーザあるいはシステムが決定したテンポにすべての楽曲のテンポを合わせ、そしてそれら楽曲の拍位置（ダウンビート位置）も合わせて再生することで、曲を違和感なくシームレスにノンストップに繋ぐことを可能にする。
これは音楽編集装置１が楽曲Ａと楽曲Ｂを上述したようにビート同期再生することによる。異なるテンポの楽曲のビート（拍）を同期させて再生するためには、それぞれの楽曲のオリジナルのテンポと拍（ビート）位置を知らなくてはならない。また、再生時にはテンポとビート位置を揃えるために楽曲の再生速度を変化させなくてはならない。
オリジナルのテンポとビート位置を知るために、音楽編集装置１では楽曲とペアとなった時間軸上のメタデータを用いている。再生時には楽曲のオリジナルテンポと現在のマスタービートテンポの比から再生速度を変化させたうえで、おのおのの楽曲の小節の頭位置を合わせて再生を開始する。
上記のように複数の楽曲のテンポとビート位置を正確に扱って、リアルタイムに再生位置を制御して同期再生を行う。ここで説明する楽曲をシームレスにつなぐ手法はすべてこのビート同期再生という方法を用いることが前提となっている。
第１６図には、楽曲Ａと楽曲Ｂをビートを揃えて重ねながら、クロスフェード処理によりつなぐという例を示す。現在の楽曲Ａをフェードアウト（音量を徐々に小さくする）しながら次にくる楽曲Ｂをフェードイン（音量を徐々に大きくする）し、その両方を同時に再生することで双方の曲がシームレスに入れ替わる効果が得られる。クロスフェードは、従来からＦＭラジオ放送などでよく利用される手法であるが本発明のポイントはこれらの楽曲Ａと楽曲Ｂのテンポとビート位置が揃えられているため違和感なくノンストップで楽曲がつながるところにある。
音楽編集装置１では、第１７図に概要を示すカットイン処理も行える。楽曲Ａ、楽曲Ｂ、楽曲Ｃ間の繋ぎ目が音楽的に切れがよい場合などではクロスフェードを行うよりも第１７図のようにそのまま繋いでしまった方がよい場合もある。また、楽曲のビートの切れ目で意図的に切って次のビートから次の曲に切換えることも考えられる。
また、音楽編集装置１では、上述したように効果音（ＳＥ）を用いて楽曲をつないでいる。つまり、楽曲だけでなく、楽曲つなぎ部分や任意の部分に効果音（ＳＥ：Ｓｏｕｎｄ Ｅｆｆｅｃｔ）をはさむことができる。
第１８図は楽曲Ａと楽曲Ｂと楽曲Ｃのそれぞれの楽曲間に効果音を挟んだ例である。第１９図はＳＥを用いた楽曲Ａと楽曲Ｂのクロスフェードによるつなぎを示す例である。もちろんこの場合の効果音もマスタービートテンポに同期させることが可能である。ＳＥを挟んだり重ねたりすることで曲調が大きく異なる楽曲同士をつなぐ場合により自然につなぐことが可能となる。
また、音楽編集装置１では、同時再生を行ってもよい。異なる楽曲をつなぐだけではなく、第２０図に示すように、ビート同期を行い同時に再生を続ける。テンポとビート位置が同期しているため、あたかも最初からそのような１曲であったかのように錯覚することすらある。
また、音楽編集装置１は、第２１図に示すように、一つの楽曲Ａ中にエフェクトを適用してもよい。楽曲Ａの一部分もしくは全体にエフェクト（音響効果）を適用し音質を変化させる。単に低音や高音を強調するものだけでなく、リバーブ、ディレイ、ディストーション、マキシマイザといった音色そのものを変化させるものまでを含む。
エフェクトは楽曲Ａにはリバーブ、楽曲Ｂにはローカットフィルタをかけながら同時に再生したり上記さまざまなつなぎ方を同時に適用することによってより自然で魅力的なつなぎ方を実現することができる。
また、音楽編集装置１は、上記つなぎ方を適用するには楽曲全体に限らず、第２２図のように各楽曲のサビの部分であったり、イントロ部分であったりしてもかまわない。楽曲の部分をつなぐことで例えばサビだけリミックスするようなつなぎ方が可能となる。
以上説明したように、音楽編集装置１によれば、リミックスパターンを記述したリミックスパターンファイルをもとに楽曲のリミックスをノンストップで行うことができる。その際ユーザが指定したテンポでマスタービートテンポを決定してもよいし、メインとなる楽曲のテンポに全体をあわせてもよい。
したがって、音楽編集装置１によれば、ユーザはこれまでの音楽の楽しみ方に加えて、次の新しい次元の楽しみ方ができる。これらの楽しみはこれまでのように受動的に音楽を聴いているだけでは決して得られないものであり、能動的に音楽にかかわり、自分自身に合った音楽の聴き方を創出したり自分自身の顕示欲を満たすものである。
つまり、楽曲の好きな部分をかっこうよくつないでノンストップのリミックス音楽として聞くことができる。また、楽曲のつなぎ方を自分で試行錯誤して選んだカッコウのよいものを作るという創造欲を満たすことができる。
なお、第２３図には、本発明の実施の形態が適用される他の音楽編集装置８０の構成を示す。第２４図は、音楽編集装置８０の機能ブロック図である。この音楽編集装置８０は、ネットワーク通信部８１を備え、インターネット８２に接続できる。
ネットワーク通信部８１を有することで、リミックスパターンファイルをインターネット８２などのネットワークで交換、共有することによってあるユーザが作成したリミックスを第三者がダウンロードして楽しむことができる。また、個人のユーザに限らずコンテンツサービス側が提供したリミックスパターンを用いてもよい。
この音楽編集装置８０によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。
第２５図及び第２６図にはさらに他の音楽編集装置１１０のハードウェア構成及び機能ブロック図を示す。この音楽編集装置１１０は、Ａ／Ｄコンバータ１１１を介してセンサー１１２からセンサー値を取得する構成であり、機能的にセンサー値取得部を備える。
センサー値取得部１１３は、例えば、「再生様態制御装置及び再生様態制御方法（特開２００５−１５６６４１）」の発明にあるように、加速度センサーを利用して歩行テンポを検出し、その歩行テンポに合わせて楽曲のテンポを変化させる技術を適用している。この例を応用すると、歩行テンポに合わせてマスタービート生成部のテンポを変更し、すべての楽曲を歩行やジョギングのテンポに合わせてリミックス再生することが可能となる。また、「オーディオ信号の再生機および再生方法」（特願２００５−３６３０９４）にあるように歩行やジョギングのテンポに合わせて楽曲を選択する発明を適用してもよい。
これらを使うためには、センサーが不可欠で、そのセンサーとこれら発明のアルゴリズムを本システムに適用することで、ユーザの状態に合わせて楽曲が選ばれ、さらにそれらがリミックスされてノンストップ再生することが可能である。
第２７図Ａ及び第２７図Ｂはセンサー優先モードを備えた音楽編集装置１１０の処理手順を示すフローチャートである。この処理手順は、リミックスパターン優先モードのほかに、センサー優先モードがあり、例えばユーザの選択に応じて処理を異ならせる。センサー優先モードでは、歩行とか、ジョギングとかのパターンをセンサーが検出し、そのパターンに応じてビートを変化させるものである。
まず、センサー優先モードかパターン優先モードかを決定する（ステップＳ３１１）。この場合、センサー優先モードというのは、さきほどのユーザがジョギングするとか、歩くとかで選曲するという技術であり、曲の順番とか、選曲そのものはセンサーによって決定されるもので、パターンによって決定されるとはかぎらない。これは、動的にかわるというのを示唆しているとも言える。あらかじめフィックスされているパターンファイルを読むのではなくて、センサーからの値によって、パターンファイルを動的に作るというようなイメージである。
ステップＳ３１１にてセンサー優先ではなくパターン優先モードが選択されたときには、上述した第４図の処理手順と同様である。
ステップＳ３１１、ステップＳ３１２にてセンサー優先モードが選択されたときについて説明する。ジョギングに合わせて楽曲が自動的に選ばれてそれに合わせて楽曲を自動的につなぎましょうというような場合である。
サブルーチンとなっているが、センサーの入力から楽曲とテンポを決める（ステップＳ３１３）。ステップＳ３１４にて次の曲があると判定すると、ステップＳ３１５にてマスタービートテンポを設定する。この場合、歩行のテンポから検出されて設定されたテンポとなる。この場合は、曲のつなぎかたがあらかじめ決められたものとはかぎらないので、自動的に決定する（ステップＳ３１６）。例えば、ジョギングモードならば全部クロスフェードでつなぐ安易なものもあるし、次の曲のメタデータを見て、フェードインしている曲なので、そのまま重ねる場合もある。ステップＳ３１７以降の処理については第４図のステップＳ６〜Ｓ１５と同一であるため、説明を省略する。
このように音楽編集装置１１０によれば、ジョギングのテンポに合わせた楽曲選択をし、さらにそれらをノンストップでつなぐことによってジョギングのテンションやテンポを狂わせることなく快適にジョギングを楽しむことができる。また、ジョギングに限らず、センサーによっては他のリズミカルな運動（ダンスなど）や心拍に合わせたリミックスなどが実現できる。
センサーからの入力を使って、曲を選択してさらにそのテンポもジョギングのテンポに合わせてやって、リミックスしてやる。自分の好きな曲を自分のテンポに合わせて、楽しむことができる。
また、タイマーリミックス再生を行うこともできる。例えば気に入ったアルバムの曲や自分で作ったプレイリストを通勤時間の３０分の間に聞きたいという要求がある。従来であれば、アルバムが６０分である場合、毎回３０分再生したところで、曲を途中停止するしかなかったが、本発明のシステムを利用することで指定した楽曲集が３０分にちょうどおさまるようにテンポおよび曲の使用する部分を選びリミックスすることが可能となる。ジョギングと組み合わせることもできる。３０分だけ走りたいときに、３０分リミックスでジョギングテンポで曲がなっているが、３０分でぴったり曲がおわるようにすることができる。
サビだけを通勤時の３０分に合うようにリミックスし、目的地についたときにちょうどリミックスが終わるようにすることが可能である。また、同時に到着時刻付近ではテンポをだんだん遅くしたり、特定のＳＥを重ねるなどしてそろそろ到着するという雰囲気を演出することもできる。
以上に説明したように、音楽編集装置８０及び１１０によれば、楽曲のつなぎ方をインターネットなどで公開し、それを他の人と共有したり複数人でリミックスを作り上げ評価しあうといった新しい音楽を軸としたコミュニケーションが可能となる。また、センサーを利用して、より自分の状況や状態にあった音楽を聴くことができる。
これらの特徴は、これまでのプロクリエータ、ミュージシャンが作った作品をそのまま楽しむことを当たり前としてきた世界に一石を投じ、それら作品を自分の表現のための素材として再利用し再構成して楽しむという新しい世界をユーザに体験させることができる。
これにより、音楽に楽しみを見出すユーザが増えれば音楽業界全体が活性化される。また、音楽業界側から見てもユーザ側で新たに再構成することを前提とした楽曲作品とそれを創出する新たなクリエータが登場する可能性がある。業界とユーザによって新しい音楽文化創造の可能性がある。
最後に、本発明の音楽編集装置の利用可能な特徴について記述する。この音楽編集装置は、記憶部に記録された複数の楽曲のテンポとダウンビートを定められたタイミングに揃え、複数の再生制御部を保持する再生部において、前記複数の楽曲をすべて同時に同期再生することを特徴とした楽曲生成・再生装置である。また、上記楽曲は曲の全体あるいは一部分を使用することを特徴とする。また、上記楽曲は音楽的に構成された一つの曲だけでなく、効果音や会話、アナウンスなどの音声を含むことを特徴とする。
また、上記同期再生時に任意の楽曲に対して任意の楽曲開始位置、任意のタイミングで自由に発音開始／停止ができることを特徴とする。また、上記任意の位置、任意のタイミングは特に小節単位、拍単位、メロディ構成単位での指定が可能なことを特徴とする。
また、上記特徴を利用し、現在再生中の楽曲に対し異なる別の楽曲の任意部分を任意のタイミングで同時に再生することを可能とする。同様に、上記特徴を利用し、現在再生中の楽曲の任意の部分で再生を停止し、途切れることなく異なる別の楽曲の任意部分を即座に再生開始することを可能とする。
また、上記同期再生時に同時に再生中の各々の楽曲に対して、個別に音量調整可能なことを特徴とする。上記音量調整を利用し、上記同時再生時に現在再生中の楽曲の音量を下げながら次の楽曲の音量を上げながら同時に合成して再生することを可能とする。
また、上記同期再生時に同時に再生中の各々の楽曲に対して、個別に信号処理によるエフェクト処理を適用できることを特徴とする。また、上記同期再生は、上記楽曲に対応して前もって記録されたテンポ、拍子、ダウンビート位置、メロディ構成変化位置情報などで構成されるメタデータをもとにタイミング制御を行うことを特徴とする。
また、上記メタデータは楽曲と同一のファイルに記録されているか、別ファイルとして記録され楽曲との対応をデータベースおよび識別子を用いて管理することを特徴とする。また、上記同期再生時の楽曲の範囲、発音開始タイミング、音量の制御方法、エフェクト処理の種類は、生成・再生方法を記述したパターンファイルを別に用意し、それをもとにリアルタイムに再生制御を行うことを特徴とする。
また、上記テンポはユーザが指定するか本装置が自動的に決定することを特徴とする。上記の本装置が自動的に決定するテンポとしてセンサーからの入力データを使用することを特徴とする。
上記センサーには加速度センサー、ジャイロセンサー、心拍センサー、体温センサー、体動センサー、脳波センサーなどあらゆるセンサーを付加できることを特徴とする。上記パターンファイルは本装置内の記憶部に記録されるだけでなく、外部記憶装置またはインターネットから取得可能なことを特徴とする。
また、楽曲のリミックス方法を記述するためのファイルにおいて、楽曲を連続再生する場合に、それぞれの楽曲を一曲づつ個別に再生する以外に、クロスフェードのようなエフェクトや別な音をミキシングすることによって音が途切れることなく再生されるようにするための、曲と曲の繋ぎ方情報を記述できることを特徴とする。
また、楽曲生成・再生装置のインターフェースに対するユーザの操作や、楽曲生成・再生装置の外部に取り付けられたセンサーからの入力に応じた楽曲の再生位置や楽曲同士の繋ぎ方を、ユーザが指定できることを特徴とする。また、楽曲のつなぎ部分以外の場所にも別な音をミキシングしたり、エフェクトを加えたり、それらの制御パラメータの変更方法を指定するといった楽曲のアレンジ方法ができることを特徴とする。

Claims (8)

1. 楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、
   マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じ、各メタデータを用いて複数の楽曲を再生する同期再生制御部と、
   上記同期再生制御部にて再生された楽曲を混合する混合部とを備え、
   上記リミックス処理部は、階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルに基づいてリミックス処理を行うことを特徴とする音楽編集装置。
2. 上記リミックス処理部は、上記メタデータを処理するメタデータ処理部と、上記リミックスパターンを読み込むリミックスパターン読み込み部を備えることを特徴とする請求の範囲１記載の音楽編集装置。
3. 上記同期再生制御部は、マスタービートを生成し、上記リミックス処理部に供給するマスタービート生成部と、複数の楽曲の音声信号を生成する複数系統の音声信号生成部を備えることを特徴とする請求の範囲１記載の音楽編集装置。
4. 上記メタデータを記憶しているメタデータ用記憶部、上記楽曲データを記憶している楽曲用記憶部及びリミックスパターンを記憶しているリミックスパターン用記憶部を備えることを特徴とする請求の範囲１記載の音楽編集装置。
5. 楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、上記同期再生制御部にて再生された楽曲を混合する混合部とを備えてなる音楽編集装置により、上記リミックスパターンとして参照される編集情報の作成方法であって、
   階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルを、上位層のデータ部を構成している下位層の制御パラメータ部により同階層のデータ実体部を処理することにより作成することを特徴とする編集情報の作成方法。
6. 上記階層化は、上位層側からソングリスト層、ソング層、メロディブロック層であることを特徴とする請求の範囲５記載の編集情報の作成方法。
7. ソングリスト層の制御パラメータ部はリミックス用実体データ部を制御するために用いられ、上記リミックス用実体データ部はソング層の複数の制御パラメータ部からなり、ソング層の複数の制御パラメータはソング層の各実体データ部を制御するために用いられ、メロディブロック層では静的に複数の実体データ部が実行されることを特徴とする請求の範囲６記載の編集情報の作成方法。
8. 楽曲データに対応して予め生成された、少なくとも時間軸上のビート位置を含むメタデータと、リミックスパターンを決定するファイルに基づいてリミックス処理を行うリミックス処理部と、マスタービートを生成し、このマスタービートを上記リミックス処理部に送るとともに、上記リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、上記同期再生制御部にて再生された楽曲を混合する混合部とを備えてなる音楽編集装置により、上記リミックスパターンとして参照される編集情報を記録した記録媒体であって、
   階層化され、かつ各階層に制御パラメータ部とデータ実体部を有するデータ構造のリミックスパターンファイルを、上位層のデータ部を構成している下位層の制御パラメータ部により同階層のデータ実体部を処理することにより作成された編集情報を記録していることを特徴とする記録媒体。

Images