JP4438810B2 - 曲編集装置およびプログラム - Google Patents

Description

この発明は、曲の編集機能および再生機能を備えた曲編集装置およびプログラムに関する。

現在、いわゆるＤＴＭ（Desk Top Music）の普及に伴い、ループシーケンサと呼ばれる音楽制作アプリケーションプログラムが各種提供されている。このループシーケンサは、ループデータと呼ばれる曲データを取り扱うプログラムである。ここで、ループデータは、例えば曲のイントロ部分の１小節、ドラムソロ４小節、といった曲から切り出したフレーズのオーディオデータである。ループシーケンサは、ＧＵＩ（Graphical User Interface)を介して与えられるユーザからの指示に従い、各種のループデータを時間軸上にマッピングした新規な曲データを編集する機能を有している。なお、この種のループシーケンサに関する文献として、例えば非特許文献１、２がある。
特開２００６−２０７８４号公報 大坪知樹、"「ＡＣＩＤ」で新たな音楽生活を楽しむ"、［online]、平成１８年１１月７日、毎日コミュニケーションズ、［平成１９年２月２０日検索］、インターネット<URL:http://journal.mycom.co.jp/ad/2006/hookup/acid/index2.html> 藤本健、"「シリーズＤＴＭの基礎知識 ５」 ループシーケンサって何だ！？"、［online]、平成１３年１１月９日、All About, Inc.、［平成１９年２月２０日検索］、インターネット<URL:http://allabout.co.jp/entertainment/dtm/closeup/CU20011109/index3.htm> "テノリオン"、[online]、ヤマハ株式会社、［平成１９年２月２０日検索］、インターネット<URL:http://www.yamaha.co.jp/design/tenori-on/>

ところで、上述したループシーケンサは、フレーズ等のループデータの単位で、曲データの部品の組み合わせを行い、曲の編集を行うことができるが、部品の組み合わせを指定する際の操作性に関する配慮が欠けており、このため、自由自在に多彩な曲を編集したいユーザにとって物足りないものであった。

この発明は、以上説明した事情に鑑みてなされたものであり、各種の素片を組み合わせて曲を編集する際の操作性に優れ、ユーザが自由自在に多彩な曲を編集することができる曲編集装置および曲編集プログラムを提供することを目的としている。

この発明は、表示部と、第１の座標軸および第２の座標軸からなる２次元座標系における位置を指示する操作を受け付け、指示された位置の前記第１の座標軸方向の成分である第１の座標値と第２の座標軸方向の成分である第２の座標値を発生するポインティングデバイスと、各々、オーディオ波形を示す複数の素片データを記憶する素片データ記憶手段と、前記ポインティングデバイスの操作により指示される位置に基づき、ある時間長の再生期間を分割した複数のタイムスロットの各々において楽音として再生する素片データを示すシーケンスデータを生成する手段であって、前記ポインティングデバイスの操作により指示された位置の第１の座標値に基づいて、楽音の再生を行うタイムスロットを決定し、同位置の第２の座標値に基づいて、同タイムスロットにおいて楽音として再生する素片データを前記素片データ記憶手段に記憶された複数の素片データの中から選択するシーケンスデータ生成手段と、前記シーケンスデータ生成手段により生成されるシーケンスデータを記憶するシーケンスデータ記憶手段と、前記再生期間の各タイムスロットにおいて前記素片データ記憶手段に記憶された複数の素片データのうち楽音として再生する素片データを示す２次元マップを前記シーケンスデータに従って前記表示部に表示させるシーケンスデータ表示手段と、前記シーケンスデータ記憶手段に記憶されたシーケンスデータに従って、各タイムスロットにおいて楽音として再生する素片データを素片データ記憶手段から順次読み出し、この素片データを楽音として再生する再生手段とを具備することを特徴とする曲編集装置およびコンピュータをこの曲編集装置として機能させるプログラムを提供する。
かかる発明によれば、ユーザは、ポインティングデバイスの操作により、各タイムスロットにおいて再生する素片データを選択し、所望のシーケンスデータを作成することができる。従って、簡単な操作により自由自在に多彩な曲を編集することができる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態である曲編集装置の構成を示すブロック図である。この曲編集装置は、例えばパーソナルコンピュータなどのコンピュータにこの発明による曲編集プログラムの一実施形態である２次元グラフィカルミュージックシーケンサをインストールしたものである。

図１において、ＣＰＵ１は、この曲編集装置の各部を制御する制御中枢である。ＲＯＭ２は、ローダなど、この曲編集装置の基本的な動作を制御するための制御プログラムを記憶した読み出し専用メモリである。表示部３は、装置の動作状態や入力データおよび操作者に対するメッセージなどを表示するための装置であり、例えば液晶デスプレイパネルとその駆動回路により構成されている。

操作部４は、ユーザからコマンドや各種の情報を受け取るための手段であり、各種の操作子により構成されている。好ましい態様において、操作部４は、キーボードと、マウスなどのポインティングデバイスを含む。また、他の好ましい態様では、ポインティングデバイスとして、マウスに加えて、出願人らにより提案されたテノリオン（登録商標）と称される演奏装置に用いられる入力装置が操作部４に含まれる。図２は、この入力装置の概略構成を示す平面図である。図２に示すように、この入力装置は、タクトスイッチ４１を１６×１６のマトリクス状に配列してなるスイッチマトリックス４０により構成されている（例えば非特許文献３、特許文献１参照）。

本実施形態において、マウスやスイッチマトリックス４０などのポインティングデバイスは、第１の座標軸および第２の座標軸からなる２次元座標系における位置を指示する操作を受け付け、指示された位置の第１の座標軸方向の成分である第１の座標値と第２の座標軸方向の成分である第２の座標値を発生する役割を果たす。このポインティングデバイスにより発生される第１および第２の座標値はＣＰＵ１によって取り込まれる。

インタフェース群５は、ネットワークを介して他の装置との間でデータ通信を行うためのネットワークインタフェースや、磁気ディスクやＣＤ−ＲＯＭなどの外部記憶媒体との間でデータの授受を行うためのドライバなどにより構成されている。

ＨＤＤ（ハードディスク装置）６は、各種のプログラムやデータベースなどの情報を記憶するための不揮発性記憶装置である。ＲＡＭ７は、ＣＰＵ１によってワークエリアとして使用される揮発性メモリである。ＣＰＵ１は、操作部４を介して与えられる指令に従い、ＨＤＤ６内のプログラムをＲＡＭ７にロードして実行する。

サウンドシステム８は、この曲編集装置において編集された曲を音として出力する手段であり、音のサンプルデータであるデジタル音声信号をアナログ音声信号に変換するＤ／Ａ変換器と、このアナログ音声信号を増幅するアンプと、このアンプの出力信号を音として出力するスピーカ等により構成されている。

ＨＤＤ６に記憶される情報として、曲編集プログラムである２次元グラフィカルミュージックシーケンサ６１と、曲データの集まりである曲データベース６２がある。好ましい態様において、２次元グラフィカルミュージックシーケンサ６１は、例えばインターネット内のサイトからインタフェース群５の中の適当なものを介してダウンロードされ、ＨＤＤ６にインストールされる。また、他の態様において、２次元グラフィカルミュージックシーケンサ６１は、ＣＤ−ＲＯＭ、ＭＤなどのコンピュータ読み取り可能な記憶媒体に記憶された状態で取引される。この態様では、インタフェース群５の中の適当なものを介して記憶媒体から２次元グラフィカルミュージックシーケンサ６１が読み出され、ＨＤＤ６にインストールされる。曲データベース６２における各曲データは、曲の演奏音のオーディオ波形をサンプリングし、デジタル化した時系列サンプルデータであっても良いし、この時系列サンプルデータを圧縮符号化したものであってもよい。

図３は本実施形態における２次元グラフィカルミュージックシーケンサ６１の構成を示すブロック図である。図３において、二重線により囲まれたボックスは、２次元グラフィカルミュージックシーケンサ６１を構成する各種のプログラムを示している。また、実線（一重線）により囲まれたボックスは、各種のデータを記憶するＲＡＭ７内のエリアを示している。また、破線により囲まれたボックスは、本実施形態による曲編集装置に設けられたハードウェア資源を示している。

図３に示すように、２次元グラフィカルミュージックシーケンサ６１は、各々が所定の機能を実現するプログラムである編集対象切り出し部１１０と、解析部１２０と、シーケンスデータ生成部１３０と、シーケンスデータ表示部１４０と、再生部１５０と、合成部１６０とを有する。また、シーケンスデータ生成部１３０は、第１のモードにおいて動作する第１の素片データ選択部１３１と、第２のモードにおいて動作する特徴量曲線生成部１３２、特徴量曲線表示部１３３および第２の素片データ選択部１３４とを有する。なお、第１および第２のモードについては後述する。本実施形態の特徴は、これらのプログラム群に従ってＣＰＵ１が実行する処理の内容にある。以下、これらの各プログラムの処理内容を中心に本実施形態の動作について説明する。

ユーザが操作部４の操作により２次元グラフィカルミュージックシーケンサ６１の実行を指示すると、ＣＰＵ１は、２次元グラフィカルミュージックシーケンサ６１をＨＤＤ６からＲＡＭ７のプログラム実行エリアに転送し、２次元グラフィカルミュージックシーケンサ６１を実行する。

この２次元グラフィカルミュージックシーケンサ６１の実行過程において、図３における編集対象切り出し部１１０は、ユーザが操作部４を操作して編集対象である曲データを指定すると、ユーザによって指定された曲データをＨＤＤ６から読み出し、ＲＡＭ７内のワークエリアに格納する。編集対象切り出し部１１０は、このワークエリア内の曲データのうち編集対象とする部分をユーザに指定させる処理を行う。

この処理の態様には、各種の態様があり得るが、一例として、次のようなものが考えられる。まず、編集対象切り出し部１１０は、ワークエリア内の曲データに対し、周知の拍検出処理を施し、曲データを拍単位の素片データに分割する。次に各素片データについて各々のピッチを求める。そして、編集対象切り出し部１１０は、各素片データのピッチを曲の進行順に示す時系列グラフの画像を含むＧＵＩを表示部３に表示させ、マウス等のポインティングデバイスにより曲中のどの部分を編集対象とするかをユーザに指定させる。

好ましい態様では、この編集対象部分の指定の際にユーザが曲の各部の内容を把握するのを容易にするため、編集対象切り出し部１１０は、ワークエリア内の各素片データを曲の進行順にサウンドシステム８に順次送り、楽音として放音させ、かつ、ピッチの時系列グラフにおいて放音中の素片データに対応した部分を明るく点灯させる。

本実施形態では、最大１６拍分の素片データを編集対象として指定可能である。編集対象切り出し部１１０は、ユーザの指定に従って曲データから切り出した編集対象の素片データ列をＲＡＭ７内の素片データ記憶エリア２０１に格納する。

編集対象切り出し部１１０によって編集対象の素片データ列が素片データ記憶エリア２０１に格納されると、解析部１２０は、この編集対象の各素片データの解析を行い、素片データ毎に、音の高低感を表すSpectral Centroid、音量感を表すLoudness、音の聴感上の明るさを表すBrightness、聴感上のザラザラ感を示すNoisiness等の各種の特徴量を求め、各素片データに対応付けてＲＡＭ７内の特徴量記憶エリア２０２に格納する。

編集対象の各素片データの特徴量が特徴量記憶エリア２０２に格納されると、シーケンスデータ生成部１３０が実行状態となる。このシーケンスデータ生成部１３０は、操作部４のポインティングデバイス４ａの操作により指示される位置に基づき、シーケンスデータを生成し、ＲＡＭ７内のシーケンスデータ記憶エリア２０３に格納する。このシーケンスデータは、ある時間長の再生期間を分割した複数のタイムスロットの各々において楽音として再生する素片データを示すデータである。初期状態において、シーケンスデータは、各タイムスロットにおいて何も楽音を再生しないことを示す内容となっている。なお、このようにする代わりに、初期状態におけるシーケンスデータの内容を、ｋ番目のタイムスロットにおいてｋ番目の素片データを楽音として再生すること、すなわち、素片データ記憶エリア２０１に記憶された全素片データを本来の順序で楽音として再生することを示す内容としてもよい。

本実施形態においてシーケンスデータ生成部１３０は、シーケンスデータを生成するに当たり、ポインティングデバイス４ａの操作により指示された位置の第１の座標値に基づいて、楽音の再生を行うタイムスロットを決定し、同位置の第２の座標値に基づいて、同タイムスロットにおいて楽音として再生する素片データを素片データ記憶エリア２０１に記憶された複数の素片データの中から選択する。

また、シーケンスデータ生成部１３０は、素片データ記憶エリア２０１に例えばＮ拍分の素片データが記憶されている場合において、特にユーザからの指定がない限り、Ｎ拍分の再生時間を分割したＮ個のタイムスロットの各々において楽音として再生する素片データを示すシーケンスデータをポインティングデバイス４ａの操作に従って生成する。この場合において、ユーザからの特別な指定があれば、シーケンスデータ生成部１３０は、その指定に従い、Ｎ’（≠Ｎ）拍分の再生時間を分割したＮ’個のタイムスロットの各々において楽音として再生する素片データを示すシーケンスデータをポインティングデバイス４ａの操作に従って生成する。

シーケンスデータ生成部１３０の動作モードには、第１のモードと第２のモードがある。シーケンスデータ生成部１３０を第１のモードまたは第２のモードのいずれのモードで動作させるかは、ユーザが操作部４の操作により指定する。

第１のモードは、ポインティングデバイス４ａの操作により（より具体的には第２の座標値により）、素片データ記憶エリア２０１内の各素片データのうちどの素片データが再生対象となるかが直接的に定まるモードである。シーケンスデータ生成部１３０における第１の素片データ選択部１３１は、この第１のモードでの処理をＣＰＵ１に実行させる。

一方、第２のモードは、ポインティングデバイス４ａの操作により、時間経過に伴う特徴量の変化を示す特徴量曲線を少なくとも１本描画させ、この少なくとも１本の特徴量曲線に基づいて各タイムスロットにおいて楽音の再生に用いる素片データを選択するモードである。シーケンスデータ生成部１３０における特徴量曲線生成部１３２、特徴量曲線表示部１３３および第２の素片データ選択部１３４は、この第２のモードでの処理をＣＰＵ１に実行させる。

以下、第１のモードでの動作およびこれに関連した各種の動作を説明し、最後に第２のモードでの動作を説明する。

図４は、シーケンスデータ生成部１３０が第１のモードで動作しているときの表示部３の表示画面を例示するものである。シーケンスデータ生成部１３０が第１のモードで動作している間、それと並行して、シーケンスデータ表示部１４０が動作する。このシーケンスデータ表示部１４０は、図４に例示する２次元マップ３１を作成し、表示部３に表示させる。この２次元マップ３１は、再生期間の各タイムスロットにおいて素片データ記憶エリア２０１に記憶された複数の素片データのうちいずれの素片データを楽音として再生するかを示すものである。シーケンスデータ表示部１４０は、この２次元マップ３１をシーケンスデータ記憶エリア２０３に格納されたシーケンスデータに基づいて作成する。図４に例示する２次元マップ３１では、上下方向（マス目の行の並び方向）のマス目の並びがタイムスロットの並びに対応しており、左右方向（マス目の列の並び方向）のマス目の並びが素片データ記憶エリア２０１に記憶された複数の素片データの並びに対応している。そして、斜線または網目模様を施したマス目は、各タイムスロットにおいて、素片データ記憶エリア２０１に記憶された複数の素片データのうち楽音として再生する素片データの位置を示している。

そして、第１のモードでは、シーケンスデータ生成部１３０における第１の素片データ選択部１３１が動作する。この第１の素片データ選択部１３１は、ユーザがポインティングデバイス４ａを使用して、図４に例示する２次元マップ３１上の任意のマス目を指示する操作をしたとき、ポインティングデバイス４ａから得られる第１および第２の座標値からユーザが指示したマス目の行番号ｉおよび列番号ｊを求める。そして、シーケンスデータにおけるｉ番目のタイムスロットに対応した部分のデータとして、素片データ記憶エリア２０１に記憶されたｊ番目の素片データを指定する情報（具体的には当該素片データの順位を示す番号ｊ）をシーケンスデータ記憶エリア２０３内に書き込む。

ユーザは、所望のマス目をポインティングデバイス４ａにより指示することにより、そのマス目の行番号ｉに対応したタイムスロットにおいて、そのマス目の列番号ｊに対応した順位の素片データを楽音として再生させる指示情報をシーケンスデータ記憶エリア２０３内のシーケンスデータに加えることができる。

シーケンスデータ記憶エリア２０３内のシーケンスデータが、ｉ番目のタイムスロットにおいてｊ番目の素片データを楽音として再生する旨の指示情報を含む場合に、シーケンスデータ表示部１４０は、２次元マップ３１における第ｉ行第ｊ列のマス目を着色表示させる。ユーザは、この２次元マップ３１における着色表示のパターン（図４では、斜線または網目模様のマス目のパターン）に基づき、シーケンスデータの内容を確認することができる。

また、ユーザは、シーケンスデータ記憶エリア２０３内のシーケンスデータが、ｉ番目のタイムスロットにおいてｊ番目の素片データを楽音として再生する旨の指示情報を含む場合において、その指示情報をシーケンスデータから削除することもできる。この場合にユーザは、この２次元マップ３１において着色表示されている第ｉ行第ｊ列のマス目をポインティングデバイス４ａにより指示すればよい。このポインティングデバイス４ａの指示操作を検知した第１の素片データ選択部１３１は、ｉ番目のタイムスロットにおいてｊ番目の素片データを楽音として再生する旨の指示情報をシーケンスデータから削除する。

図４では、図示を省略したが、ユーザは、２次元マップ３１において同一行に属する複数のマス目をポインティングデバイス４ａにより指示し、それらの各マス目に対応した複数の素片データを１つのタイムスロットにおいて再生させるシーケンスデータを生成することができる。

以上のように、第１のモードにおいて、ユーザは、ポインティングデバイス４ａを操作して所望のマス目を指示することにより、所望の内容のシーケンスデータを第１の素片データ選択部１３１に生成させ、シーケンスデータ記憶エリア２０３に格納させることができる。この場合に用いるポインティングデバイスは、マウスであっても良いし、上述したスイッチマトリックス４０（図２参照）であっても良い。スイッチマトリックス４０を用いる場合には、スイッチマトリックス４０上のタクトスイッチ４１の行および列を２次元マップ３１の行および列に対応させておくことが好ましい。この場合、ユーザは、所望の行および列のタクトスイッチ４１を押すだけで、その行および列のマス目の指示をすることができるので、迅速にタイムスロットおよび素片データの指示を行うことができる。

図示は省略したが、ユーザから特に指示がなされた場合に、シーケンスデータ表示部１４０は、特徴量記憶エリア２０２に記憶された各素片データの特徴量のうち、シーケンスデータ記憶エリア２０３内のシーケンスデータにより指定された素片データに対応した特徴量を参照し、２次元マップ３１における各素片データの表示態様をその素片データに対応した特徴量に応じて制御する。この制御を望むユーザは、いずれの特徴量に基づいて素片データの表示態様を制御するかを操作部４の操作により指定する。

例えば、その場合の特徴量として、音の明るさを表すBrightnessが指定された場合、シーケンスデータ表示部１４０は、２次元マップ３１において各素片データを示すマス目を表示する際、素片データのBrightnessが小さくなる程、その素片データを示すマス目の表示色を青っぽい色とし、素片データのBrightnessが大きくなる程、その素片データを示すマス目の表示色を赤っぽい色とする。

また、表示態様の制御に用いる特徴量として、例えば音の高低感を表すSpectral Centroidが指定された場合、シーケンスデータ表示部１４０は、２次元マップ３１において各素片データを示すマス目を表示する際に、素片データのSpectral Centroid が中程度の素片データを示すマス目の形状は正方形とし、Spectral
Centroid が低い素片データを示すマス目は下底が上底よりも長い台形に変形させ、Spectral
Centroidが高い素片データを示すマス目は上底が下底よりも長い台形に変形させて表示させる。

また、素片データの表示態様に複数の特徴量を反映することも可能である。例えば素片データを示すマス目の表示色をBrightnessにより制御し、マス目の形状をSpectral Centroidにより制御する、という具合にである。

ユーザは、このような２次元マップ３１における素片データの表示態様に基づき、シーケンスデータにより指定されている素片データの特徴量を視覚により確認することができる。

本実施形態では、図４に例示するように、表示部３の画面に、各々ソフトキーであるＬＯＡＤキー３２、ＰＬＡＹキー３３、ＳＴＯＰキー３４、ＳＡＶＥキー３５およびＥＸＩＴキー３６が表示される。これらは、全ての動作モードにおいて共通に表示されるソフトキーである。ユーザは、ポインティングデバイス４ａ等の操作によりこれらのうちの所望のソフトキーを指示し、そのソフトキーに対応付けられた処理をＣＰＵ１に実行させることができる。

ＬＯＡＤキー３２は、既に説明した編集対象切り出し部１１０の起動を指示するためのソフトキーである。ＰＬＡＹキー３３は、シーケンスデータ記憶エリア２０３内のシーケンスデータに従って曲の再生を行うことを指示するためのソフトキーである。ＳＴＯＰキー３４は、曲の再生の停止を指示するためのソフトキーである。ＳＡＶＥキー３５は、シーケンスデータ記憶エリア２０３内のシーケンスデータに従って曲データを合成し、ＨＤＤ６に格納することを指示するためのソフトキーである。ＥＸＩＴキー３６は、２次元グラフィカルミュージックシーケンサ６１の動作を終了させることを指示するためのソフトキーである。

ユーザによってＰＬＡＹキー３３が指示されると、再生部１５０が動作を開始する。この再生部１５０は、シーケンスデータ記憶エリア２０３に記憶されたシーケンスデータに従って素片データを素片データ記憶エリア２０１から順次読み出してサウンドシステム８に供給し、素片データを楽音として再生させる。例えば、最初のタイムスロットでは、シーケンスデータ記憶エリア２０３内のシーケンスデータにより最初のタイムスロットにおいて再生するように指示された素片データを素片データ記憶エリア２０１から読み出してサウンドシステム８に送り、２番目のタイムスロットでは、同シーケンスデータにより２番目のタイムスロットにおいて再生するように指示された素片データを素片データ記憶エリア２０１から読み出してサウンドシステム８に送り、…という具合である。

このシーケンスデータの再生は、ＳＴＯＰキー３４が指示されるまで繰り返される。例えばシーケンスデータが１６タイムスロット分（１６拍分）の素片データを指示する情報を含む場合、再生期間は１６タイムスロットとなり、この再生期間が繰り返される。すなわち、再生部１５０は、あるタイムスロットにおいて、シーケンスデータにより１６番目のタイムスロットにおいて再生するように指示された素片データをサウンドシステム８に送った場合、その次のタイムスロットでは、シーケンスデータにより最初のタイムスロットにおいて再生するように指示された素片データをサウンドシステム８に送るのである。

再生部１５０が動作する間、シーケンスデータにより指示された曲がサウンドシステム８から再生される。従って、ユーザは、この曲を確認し、シーケンスデータが所望の曲に対応した内容になっているか否かを聴覚により確認することができる。

また、再生部１５０は、あるタイムスロット（例えばタイムスロットｉとする。）に対応した素片データをサウンドシステム８に送るとき、そのタイムスロットの番号ｉをシーケンスデータ表示部１４０に送る。これによりシーケンスデータ表示部１４０は、表示部３に表示された２次元マップ３１において、タイムスロットｉに対応した素片データを示すマス目を他のタイムスロットにおける素片データを示すマス目とは異なる表示態様で表示させる。例えば２次元マップ３１においてシーケンスデータにより示された再生対象の素片データを示すマス目のうち、現在再生中でない素片データを示すマス目は緑色で表示する一方、現在再生中である素片データを示すマス目はこれとは異なった色である赤色で表示する、という具合にである。図４において、２次元マップ３１中の網目模様を施したマス目は、この現在再生中の素片データを示している。ユーザは、このような２次元マップ３１の表示に基づいて現在再生中の素片データを視覚により確認しつつ、その素片データに対応した楽音を聴覚により確認することができる。

本実施形態では、再生部１５０が動作中であり、シーケンスデータに従って曲の再生が行われている間でも、シーケンスデータ生成部１３０は動作を継続する。従って、ユーザがシーケンスデータの再生を行わせ、曲の内容を確認しつつ、ポインティングデバイス４ａの操作によりシーケンスデータの内容を書き換えることが可能である。

シーケンスデータが示す曲が所望の内容になったとき、ユーザは、ＳＡＶＥキー３５を指示することにより、シーケンスデータを曲データに変換してＨＤＤ６に格納することができる。さらに詳述すると、本実施形態では、ＳＡＶＥキー３５が指示されると、合成部１６０が動作する。この合成部１６０は、シーケンスデータ記憶エリア２０３内のシーケンスデータにより指示された各素片データを最初のタイムスロットに対応したものから曲の再生順に素片データ記憶エリア２０１から順次読み出し、それらの素片データを繋いだ曲データを合成する。そして、曲データを合成したとき、その曲データのファイル名をユーザに入力させ、曲データにそのファイル名を付けてＨＤＤ６に格納する。ユーザは、このようにしてＨＤＤ６に格納した曲データを以後の作曲活動等に利用することが可能である。

次に第２のモードでの動作について説明する。図５は、シーケンスデータ生成部１３０が第２のモードで動作しているときの表示部３の表示画面を例示するものである。この図５において、特徴量マップ３７は、特徴量曲線生成部１３２および特徴量曲線表示部１３３の処理により表示部３に表示されるものである。この第２のモードでの処理を望むユーザは、素片データの選択に用いる特徴量の種類を指定する。好ましい態様において、特徴量曲線生成部１３２は、指定可能な特徴量の種類を示すソフトキーの一覧を表示部３に表示させ、ユーザに所望の特徴量に対応したソフトキーを指示させる。これによりユーザは、ポインティングデバイス４ａを操作することにより、指定した種類の特徴量の時間経過に伴う変化を示す特徴量曲線を生成させ、この特徴量曲線を特徴量マップ３７上に描画させることができる。

さらに詳述すると、ポインティングデバイス４ａが操作される間、特徴量曲線生成部１３２は、ポインティングデバイス４ａから得られる第１の座標値および第２の座標値に基づいて、第１の座標軸および第２の座標軸からなる２次元座標系において第１の座標値を時刻とし、第２の座標値を楽音の特徴量とする特徴量曲線を示すデータを作成し、ＲＡＭ７内の特徴量曲線記憶エリア２０４に書き込む。そして、特徴量曲線表示部１３３は、特徴量曲線記憶エリア２０４に記憶されたデータに基づき、特徴量曲線を特徴量マップ３７上に表示する。なお、特徴量曲線の描画操作に用いるポインティングデバイス４ａは、高い分解能での描画を可能にするマウス等のポインティングデバイスが好ましい。

本実施形態において、ユーザは、特徴量の種類の指定と、ポインティングデバイス４ａによる描画操作を繰り返すことにより、複数種類の特徴量曲線を特徴量曲線生成部１３２に生成させ、特徴量曲線表示部１３３に表示させることができる。図５に示す例では、２種類の特徴量曲線Ｆ１およびＦ２が特徴量マップ３７上に表示されている。特徴量マップ３７の例えば下方には、特徴量曲線Ｆ１およびＦ２がいずれの種類の特徴量のものであるかの注釈が表示される。ここで、特徴量曲線Ｆ１とその注釈は同じ色で表示され、特徴量曲線Ｆ２とその注釈は同じ色で表示されるようになっており、ユーザは、各特徴量曲線の表示色に基づき、それらの特徴量曲線がいずれの種類の特徴量のものであるかを判断することができる。

第２の素片データ選択部１３４は、操作部４の操作により、シーケンスデータの生成指示が与えられた場合に、特徴量曲線記憶エリア２０４および特徴量記憶エリア２０２の記憶内容に基づいてシーケンスデータを生成し、シーケンスデータ記憶エリア２０３に書き込む。

さらに詳述すると、特徴量曲線記憶エリア２０４に１種類の特徴量曲線を示すデータが記憶されている場合、第２の素片データ選択部１３４は、タイムスロット毎に、特徴量曲線が示す特徴量を求める。ここで、個々のタイムスロットは、ある幅を持った時間である。そこで、第２の素片データ選択部１３４は、例えば各タイムスロットの中心の時刻における特徴量を特徴量曲線から求め、それらを各タイムスロットにおいて特徴量曲線が示す特徴量とする。

そして、第２の素片データ選択部１３４は、次の処理を行う。
ａ１．素片データ記憶エリア２０１に記憶された素片データ毎に、特徴量記憶エリア２０２に記憶された当該素片データの各特徴量の中から特徴量曲線が示す特徴量と同一種類の特徴量を選択する。
ｂ１．タイムスロット毎に、そのタイムスロットにおいて特徴量曲線が示す特徴量と、上記ａ１において選択した各素片データの特徴量とを比較し、各素片データの特徴量のうち特徴量曲線が示す特徴量と最も近い特徴量を求め、その最も近い特徴量を持った素片データを素片データ記憶エリア２０１に記憶された各素片データの中から選択する。
そして、第２の素片データ選択部１３４は、このようにしてタイムスロット毎に選択した素片データを指定するシーケンスデータを作成し、シーケンスデータ記憶エリア２０３に書き込む。

一方、特徴量曲線記憶エリア２０４に複数種類（例えばＭ種類とする。）の特徴量曲線を示すデータが記憶されている場合、第２の素片データ選択部１３４は、タイムスロット毎に、次の処理を行う。
ａ２．素片データ記憶エリア２０１に記憶された素片データ毎に、特徴量記憶エリア２０２に記憶された当該素片データの各特徴量の中からＭ種類の特徴量曲線が示すＭ種類の特徴量と同一種類の特徴量を選択し、この選択したＭ種類の特徴量を成分とするＭ次元の特徴量ベクトルを構成する。
ｂ２．タイムスロット毎に、そのタイムスロットにおいてＭ種類の特徴量曲線が示す各特徴量を成分とするＭ次元の特徴量ベクトルを構成し、この特徴量曲線から得られた特徴量ベクトルと、上記ａ２において構成した各素片データの特徴量ベクトルとを比較する。そして、上記ａ２において構成した各素片データの特徴量ベクトルの中から、特徴量曲線から得られた特徴量ベクトルとの類似度が最も高い特徴量ベクトル（具体的にはＭ次元のベクトル空間において特徴量曲線から得られた特徴量ベクトルとの距離が最も短い特徴量ベクトル）を選択し、その類似度が最も高い特徴量ベクトルを持った素片データを素片データ記憶エリア２０１に記憶された各素片データの中から選択する。
そして、第２の素片データ選択部１３４は、このようにしてタイムスロット毎に選択した素片データを指定するシーケンスデータを作成し、シーケンスデータ記憶エリア２０３に書き込む。

このようにしてシーケンスデータがシーケンスデータ記憶エリア２０３に書き込まれた後、ユーザによってＰＬＡＹキー３３が指示されると、表示部３の表示画面が前掲図４と同様な表示画面に変わり、再生部１５０が動作を開始する。そして、再生部１５０は、シーケンスデータ記憶エリア２０３内のシーケンスデータに従って曲の再生を行う。この場合の動作は、上述した第１のモードと同様である。

シーケンスデータに従って再生される曲が所望のものでない場合、ユーザは、特徴量曲線記憶エリア２０４に記憶された特徴量曲線を示すデータを修正することが可能である。すなわち、特徴量曲線表示部１３３により特徴量曲線が表示部３に表示されている状態において、ユーザは、例えばマウスの操作により、ある時刻に対応した特徴量曲線上の一点を右または左にドラッグし、その時刻における特徴量を増減し、この特徴量の増減を特徴量曲線記憶エリア２０４に記憶された特徴量曲線を示すデータに反映させることができる。そして、ユーザがシーケンスデータの生成指示を与えると、第２の素片データ選択部１３４は、この変更後の特徴量曲線に対応したシーケンスデータを生成し、シーケンスデータ記憶エリア２０３に書き込む。ユーザは、再生される曲が所望のものになるまで、特徴量曲線の修正、シーケンスデータの生成、シーケンスデータに基づく曲の再生を繰り返せばよい。

また、本実施形態において、ユーザは、操作部４の操作により、動作モードを第１のモードから第２のモードへ切り換え、あるいは第２のモードから第１のモードへ切り換えることができる。そして、第１のモードから第２のモードへの切り換えを行った場合には、第１のモードにおいてシーケンスデータ記憶エリア２０３に書き込まれたシーケンスデータを第２のモードにおいて編集対象として引き継ぐことができる。逆に、第２のモードから第１のモードへの切り換えを行った場合には、第２のモードにおいてシーケンスデータ記憶エリア２０３に書き込まれたシーケンスデータを第１のモードにおいて編集対象として引き継ぐことができる。従って、例えば次のような作業も可能である。
（ｉ）第１のモードにおいてポインティングデバイス４ａの操作によりシーケンスデータを作成する。
（ｉｉ）第２のモードに切り換え、所望の種類の特徴量を指定して、第１のモードにおいて作成したシーケンスデータに対応した特徴量曲線を表示させ、その特徴量曲線を修正し、この修正を反映した内容をシーケンスデータを作成する。
（ｉｉｉ）再び第１のモードに戻し、上記（ｉｉ）において作成したシーケンスデータをポインティングデバイス４ａの操作により修正する。
この他にも様々な態様でシーケンスデータの編集が可能である。

以上説明したように、本実施形態によれば、ユーザは、簡単なポインティングデバイス４ａの操作により、曲データを拍単位に分割した素片データを時間軸上に自在に組み合わせ、新たな曲データを生成することができる。従って、柔軟性に富んだ曲データの編集を行うことができる。

以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
（１）２次元グラフィカルミュージックシーケンサ６１は、その一部または全部のプログラムを電子回路に置き換えてもよい。
（２）第２のモードにおける特徴量等のデータの入力および表示に３次元座標の入力手段や表示手段（ポインティングデバイスやモーションキャプチャによる入力）を用いてもよい。
（３）上記実施形態では、２次元マップ３１において各素片データを示すマス目の表示態様を素片データの特徴量に応じて変化させるようにしたが、表示態様における模様や彩度、色相は任意である。
（４）曲データを拍単位に分割して素片データを生成する際、複数拍や（１／２）拍、（１／４）拍などを単位としてもよい。あるいは曲データが示す波形においてアタック部を検出し、検出した各アタック部から０．５秒の各区間の波形を示すデータを素片データとしてもよい。

この発明の一実施形態である曲編集装置の構成を示すブロック図である。 同実施形態におけるポインティグデバイスの一例であるスイッチマトリックス４０を示す平面図である。 同実施形態における２次元グラフィカルミュージックシーケンサ６１の構成を示す図である。 同実施形態における第１のモードでの表示部３の表示画面を例示する図である。 同実施形態における第２のモードでの表示部３の表示画面を例示する図である。

符号の説明

１……ＣＰＵ、２……ＲＯＭ、３……表示部、４……操作部、４ａ……ポインティングデバイス、４０……スイッチマトリックス、４１……タクトスイッチ、５……インタフェース群、６……ＨＤＤ、６１……２次元グラフィカルミュージックシーケンサ、７……ＲＡＭ、１１０……編集対象切り出し部、１２０……解析部、１３０……シーケンスデータ生成部、１３１……第１の素片データ選択部、１３２……特徴量曲線生成部、１３３……特徴量曲線表示部、１３４……第２の素片データ選択部、１４０……シーケンスデータ表示部、１５０……再生部、１６０……合成部、２０１……素片データ記憶エリア、２０２……特徴量記憶エリア、２０３…シーケンスデータ記憶エリア、２０４……特徴量曲線記憶エリア。

Claims (4)

1. 表示部と、
   第１の座標軸および第２の座標軸からなる２次元座標系における位置を指示する操作を受け付け、指示された位置の前記第１の座標軸方向の成分である第１の座標値と第２の座標軸方向の成分である第２の座標値を発生するポインティングデバイスと、
   各々、オーディオ波形を示す複数の素片データを記憶する素片データ記憶手段と、
   前記ポインティングデバイスの操作により指示される位置に基づき、ある時間長の再生期間を分割した複数のタイムスロットの各々において楽音として再生する素片データを示すシーケンスデータを生成する手段であって、前記ポインティングデバイスの操作により指示された位置の第１の座標値に基づいて、楽音の再生を行うタイムスロットを決定し、同位置の第２の座標値に基づいて、同タイムスロットにおいて楽音として再生する素片データを前記素片データ記憶手段に記憶された複数の素片データの中から選択するシーケンスデータ生成手段と、
   前記シーケンスデータ生成手段により生成されるシーケンスデータを記憶するシーケンスデータ記憶手段と、
   前記再生期間の各タイムスロットにおいて前記素片データ記憶手段に記憶された複数の素片データのうち楽音として再生する素片データを示す２次元マップを前記シーケンスデータに従って前記表示部に表示させるシーケンスデータ表示手段と、
   前記シーケンスデータ記憶手段に記憶されたシーケンスデータに従って、各タイムスロットにおいて楽音として再生する素片データを素片データ記憶手段から順次読み出し、この素片データを楽音として再生する再生手段と、
   を具備し、
   前記シーケンスデータ生成手段は、
   素片データの選択に用いる複数種類の特徴量を前記ポインティングデバイスにより指定させるとともに、前記ポインティングデバイスを介して取得される第１の座標値および第２の座標値に基づき、前記第１の座標軸および第２の座標軸からなる２次元座標系内の曲線であって、第１の座標値が時刻を示し、第２の座標値が同時刻における楽音の特徴量を示す特徴量曲線を特徴量の種類毎に生成する特徴量曲線生成手段と、前記特徴量曲線生成手段により生成される複数の特徴量曲線を前記表示部に２次元表示させる特徴量曲線表示手段と、タイムスロット毎に、前記複数の特徴量曲線の各々が示す特徴量に最も近い特徴量を有する素片データを前記素片データ記憶手段に記憶された各素片データの中から選択する素片データ選択手段と、を有する
   ことを特徴とする曲編集装置。
2. 前記素片データ記憶手段に記憶された複数の素片データの各々について、各々が示すオーディオ波形の少なくとも１種類の特徴量を記憶する特徴量記憶手段を具備し、
   前記シーケンスデータ表示手段は、前記２次元マップを前記シーケンスデータに従って前記表示部に表示させるとき、各タイムスロットにおいて楽音として再生する素片データの前記２次元マップでの表示態様を前記特徴量記憶手段に記憶された当該素片データの特徴量に基づいて決定することを特徴とする請求項１に記載の曲編集装置。
3. 前記再生手段が、前記シーケンスデータ記憶手段に記憶されたシーケンスデータに従って、各タイムスロットにおいて楽音として再生する素片データを素片データ記憶手段から順次読み出し、この素片データを楽音として再生する期間、前記シーケンスデータ表示手段は、前記２次元マップにおいて、現在、楽音として再生されている素片データを他の素片データとは異なった表示態様で表示させることを特徴とする請求項１または２に記載の曲編集装置。
4. コンピュータに、
   ポインティングデバイスの操作により指示される位置に基づき、所定時間長の再生期間を分割した所定個数のタイムスロットの各々において楽音として再生する素片データを示すシーケンスデータを生成し、シーケンスデータ記憶手段に記憶させる処理であって、ポインティングデバイスの操作により指示された位置の第１の座標値に基づいて、楽音の再生を行うタイムスロットを決定し、同位置の第２の座標値に基づいて、同タイムスロットにおいて楽音として再生する素片データを記憶手段に記憶された複数の素片データの中から選択するシーケンスデータ生成処理であって、素片データの選択に用いる複数種類の特徴量を前記ポインティングデバイスにより指定させるとともに、前記ポインティングデバイスを介して取得される第１の座標値および第２の座標値に基づき、前記第１の座標軸および第２の座標軸からなる２次元座標系内の曲線であって、第１の座標値が時刻を示し、第２の座標値が同時刻における楽音の特徴量を示す特徴量曲線を特徴量毎に生成する特徴量曲線生成処理と、前記特徴量曲線生成処理により生成される複数の特徴量曲線を表示部に２次元表示させる特徴量曲線表示処理と、タイムスロット毎に、前記複数の特徴量曲線の各々が示す特徴量に最も近い特徴量を有する素片データを前記素片データ記憶手段に記憶された各素片データの中から選択する素片データ選択処理と、を含むシーケンスデータ生成処理と、
   前記再生期間の各タイムスロットにおいて前記記憶手段に記憶された複数の素片データのうち楽音として再生する素片データを示す２次元マップを前記シーケンスデータ生成処理により生成されたシーケンスデータに従って表示部に表示させるシーケンスデータ表示処理と、
   前記シーケンスデータ記憶手段に記憶されたシーケンスデータに従って、各タイムスロットにおいて楽音として再生する素片データを記憶手段から順次読み出し、この素片データを楽音として再生する再生処理と
   を実行させることを特徴とする曲編集プログラム。

Images