JP5510207B2 - 楽音編集装置及びプログラム - Google Patents

Description

この発明は、楽器音や音声といった異なる音色の楽音が複数混在してなる元の音響データを編集し再生することの可能な楽音編集装置及びプログラムに関する。特に、元の音響データを個々の音色別かつノート単位に分離した分離後の音響データ単位に編集することが容易にできるようにした技術に関する。

従来から、録音等により楽音波形そのものを記録した例えばオーディオデータ（音響データ）などを編集して再生することのできる楽音編集装置及びプログラムが知られている。こうした装置に関連するものとしては、例えば下記に示す非特許文献１に記載されている技術がその一例である。下記に示す非特許文献１には、それぞれが任意の音程（ノートと呼ぶ）かつ再生タイミングで発生された楽器音や人の音声といった異なる音色の楽音が複数混在した１つの連続波形からなる元の音響データを、前記異なる個々の音色別にかつノート単位に分離する音源分離の技術について開示されている。また、前記異なる音色別かつノート単位に分離した個々の音響データ（ノート音響データと呼ぶ）をピアノロールのような所定の編集画面上に所定の表示態様（例えば後述するノート図形など）で表示しておき、ユーザが該編集画面上に表示された各ノート音響データに対応する前記ノート図形を適宜に操作することによって、前記元の音響データをノート音響データ単位に編集することが容易にできるようにした所謂ＧＵＩ（Graphical User Interface）に関する技術についても開示されている。

さらに、下記に示す特許文献１には、同時演奏された複数の楽器音からなる音響信号（元の音響データに該当する）から、楽器音ごとに音響信号を分離する技術が開示されている。

T.Virtanen,"Sound source separation in monaural music signals ",Ph.D.dissertation,Tampere University of Technology,2006，インターネット〈http://www.cs.tut.fi/sgn/arg/music/tuomasv/virtanen_phd.pdf〉

国際特許出願公開WO2008/133097

しかし、上述したような従来の技術では、前記元の音響データを楽器音や音声等の個々の音色別かつノート単位に分離してはいるが、これらの異なる音色別かつノート単位に分離されたノート音響データを個別にあるいは音色別に複数組み合わせて再生したり、さらには編集したりすることは難しかった。すなわち、上記非特許文献１に記載の技術は、元の音響データを異なる楽器音（音色）別かつノート単位に分離するだけのものであること、また上記特許文献１に記載の技術は元の音響データを自動的に楽器音別に分類するものであるが全てを正確に分類することができないものであることから、これらの従来技術によっては、前記ノート音響データをユーザが１つ１つ試聴して楽器音（音色）を識別した上で楽器音単位に分類しておくことができなかったために、１乃至複数の特定の楽器音のノート音響データのみを選択的に再生したり編集したりすることは容易でない、という不都合があった。具体的には、特定の楽器音のノート音響データのみを再生させる1つの方法として他の楽器音のノート音響データを全て削除すればよいが、手間がかかって非常に面倒である。

本発明は上述の点に鑑みてなされたもので、楽器音や音声といった異なる音色の楽音が複数混在してなる元の音響データの編集を、個々の音色別かつノート単位に分離した分離後の音響データ単位に行うことが容易にできるようにした楽音編集装置及びプログラムを提供することを目的とする。

本発明に係る楽音編集装置は、別々に発せられた複数の異なる音色の楽音が混在した１つの連続波形からなる元の音響データの分析に伴って分離される、個々の音色別かつノート単位の波形からなる多数のノート音響データの各々を、少なくともノート特定情報及び再生情報と関連付けて記憶する記憶手段と、前記多数のノート音響データそれぞれに対応付けられた複数のノート図形を、前記関連付けられたノート特定情報及び再生情報に基づく音程毎かつ再生順に配置した画面を表示する表示手段と、前記画面上に表示されたいずれかのノート図形の選択に応じて該選択されたノート図形に対応付けられているノート音響データのみを単独で再生することで、個々の音色のみからなる楽音をノート単位に独立的に発生する単音再生手段と、前記選択されたノート図形に対応付けられているノート音響データを、複数の音色グループのいずれかに振り分ける振り分け手段と、前記複数の音色グループを１つ以上選択するグループ選択手段と、前記選択された１乃至複数の音色グループそれぞれに振り分けられたノート音響データのみを前記再生情報に基づく再生順に再生することで、前記選択された音色グループに属する音色のみが混在する楽音を発生する再生手段とを備える。

本発明の好ましい実施例として、前記画面上に表示されたそれぞれのノート図形に対するユーザ操作に応じて該当するノート音響データ並びに前記ノート特定情報及び再生情報の編集を行う編集手段をさらに備えてなり、前記選択された１乃至複数の音色グループそれぞれに振り分けられたノート音響データに対応付けられたノート図形のみを前記画面上に分別表示させておき、同じ音色グループに属する特定のノート音響データのみを抽出して編集できるようにしたことを特徴とする。

この発明によると、個々の音色別かつノート単位の波形からなる多数のノート音響データを、画面上に表示されたノート図形を選択操作することにより複数の音色グループのいずれかに振り分けることができる。その際には、ノート図形の選択に応じて対応付けられているノート音響データのみを単独で再生することから、個々の音色のみからなる楽音をユーザが実際に試聴して自身でその音色を確認しながら振り分けを行うことができるようになっている。また、振り分け後においては、１乃至複数の音色グループそれぞれに振り分けられたノート音響データに対応付けられたノート図形のみを前記画面上に分別表示させることができ、前記画面上に表示されたそれぞれのノート図形に対するユーザ操作に応じて該当するノート音響データ並びに前記ノート特定情報及び再生情報の編集を行うことで、同じ音色グループに属する特定のノート音響データのみを抽出して編集できるようにしている。このようにして、ユーザ自身が異なる音色別かつノート単位に分離された個々のノート音響データを音色（グループ）毎に振り分けることができ、また各音色（グループ）に振り分けられたノート音響データのみを選択的に再生しながら編集することができることから、ノート音響データ単位に元の音響データの編集を行うことが容易にできるようになる。

本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明によれば、ユーザ自身が異なる音色別かつノート単位に分離された個々のノート音響データを音色毎に振り分けることができて、また各音色に振り分けられた特定のノート音響データのみをユーザが任意に組み合わせて再生したり編集したりすることができることから、ユーザはノート音響データ単位に元の音響データの編集を行うことが容易にできるようになる、という効果を奏する。

この発明に係る楽音編集装置の全体構成の一実施例を示したハード構成ブロック図である。 元の音響データ、ノート音響データ、ノート情報、グループ情報の各データ構成の一実施例を示す概念図である。 メイン処理の一実施例を示すフローチャートである。 振り分け処理の一実施例を示すフローチャートである。 「振り分けモード」時に表示器に表示される音響データ編集／再生画面の一実施例を示す概念図である。 再生＆編集処理の一実施例を示すフローチャートである。 「再生＆編集モード」時に表示器に表示される音響データ編集／再生画面の一実施例を示す概念図である。 再生＆編集の表示更新処理の一実施例を示すフローチャートである。 編集処理の一実施例を示すフローチャートである。 再生処理の一実施例を示すフローチャートである。 再生処理時における信号処理手順を説明するためのブロック図である。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る楽音編集装置の全体構成の一実施例を示したハード構成ブロック図である。本実施例に示す楽音編集装置は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この楽音編集装置全体の動作を制御するものである。このＣＰＵ１に対して、データ及びアドレスバス１Ｄを介してＲＯＭ２、ＲＡＭ３、設定操作子４、表示器５、デジタル信号処理回路（ＤＳＰ）６、記憶装置８、通信インタフェース（Ｉ／Ｆ）９がそれぞれ接続されている。

ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、テンポラリメモリなどとして利用される。

設定操作子（スイッチ等）４は、例えば音響データの編集開始／終了を指示する編集開始／終了指示ボタン、後述する「振り分けモード」又は「再生＆編集モード」の少なくともいずれかを設定するモード選択ボタン、前記いずれかのモードへの設定に応じて表示器５上に表示される「音響データ編集／再生画面」（後述する図５及び図７参照）の音色指定のためのグループタブやノート図形等を選択したり操作したりするための各種操作子などを含んで構成される。勿論、設定操作子４は上記した以外にも数値データ入力用のテンキーや文字データ入力用のキーボード、あるいは表示器５に表示されるポインタなどを操作するマウス等の各種操作子を含んでいてもよい。

表示器５は、例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイであり、後述する「音響データ編集／再生画面」（図５及び図７参照）等の各種画面を表示するのは勿論のこと、ＲＯＭ２や記憶装置８等に記憶されている各種音響データや各種情報（後述する図２参照）あるいはＣＰＵ１の制御状態などを表示する。なお、表示器５は、画面上において行われたユーザタッチ操作を検出（認識）する検知機能を有するタッチパネルであってもよい。

デジタル信号処理回路６は、音響データに対して各種の信号制御処理を行う専用のＤＳＰ（Digital Signal Processor）である。例えば、入力信号インタフェース６Ａに接続された図示しないマイクやオーディオ信号の再生機器などの外部の音響機器から取得した元の音響データ（アナログ又はデジタルオーディオ信号）を記憶装置８に記憶するために適宜にＡ／Ｄ変換処理を行ったり、元の音響データを異なる音色別かつノート単位に分離するために周波数分析等のデータ分析処理を行ったり、アンプやスピーカからなるサウンドシステム７あるいは出力信号インタフェース６Ｂに接続された図示しないオーディオレコーダー等の外部の音響機器に対して、元の音響データや異なる音色別かつノート単位に分離された分離後の音響データに基づき発生される楽音やそれらのデータそのものを出力するといったユーザ指示に応じて再生処理やＤ／Ａ変換処理などを行ったりする。サウンドシステム７は、デジタル信号処理回路６から出力された音響データの再生に基づき発生される楽音（楽器音のみに限らず音声等を含んでいてよい）を発音する。

記憶装置８は、外部の音響機器等から取得した元の音響データの他に、後述するようなノート情報やグループ情報さらには編集前後の各ノート音響データ（図２参照）などの各種データ、あるいはＣＰＵ１が実行する各種制御プログラム等を記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の様々な形態の可搬記憶媒体を利用した記憶装置であってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。

通信インタフェース（Ｉ／Ｆ）９は、ネットワークを介して当該装置と図示しない外部機器との間で制御プログラムや上記したような元の音響データなどの各種情報を送受信するためのインタフェースである。この通信インタフェース９は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。なお、元の音響データを多数納めたファイルを上記したような可搬記憶媒体やネットワーク経由でサーバ機器等から取得することができてよい。その場合のファイル形式は、例えばデータ圧縮していない音声フォーマットであるWAV形式あるいはデータ圧縮しているMP3形式など、公知のどのような形式であってもよい。

なお、本発明に係る楽音編集装置及びプログラムは電子楽器や自動演奏装置、パーソナルコンピュータ、携帯電話等の携帯型通信端末、あるいはカラオケ装置やゲーム装置など、どのような形態の装置・機器に適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。

次に、ＲＯＭ２あるいは記憶装置８等に記憶される元の音響データ、元の音響データを異なる楽器音（音色）かつノート単位に分離したノート音響データ、前記各ノート音響データに対応するノート情報、前記ノート音響データを異なる楽器音毎に管理するグループ情報について、図２を用いて説明する。

図２（Ａ）は元の音響データの一例をエンベロープ波形によって示したものであり、ここに示される元の音響データはそれぞれが任意の音程（ノート）かつタイミングで別々の音源から発生された複数の異なる音色の楽器それぞれの楽音波形が混ざりあいかつ複数の楽器音毎に異なるあるいは同じ音程（ノート）が連続して発生された状態の１つの連続波形からなる波形データである。

他方、図２（Ｂ）に示されるオリジナルのノート音響データ（オリジナルデータと呼ぶ）は、上記した元の音響データを周波数分析等の分析処理によって異なる楽器音別かつノート単位に分離した波形データである。例えば上記した非特許文献１に記載の技術によれば、ある同一時刻範囲においてピアノ音の「Ｃ４」とギター音の「Ｅ４」とが同時に発生され、さらにその後に続く同一時刻範囲においてピアノ音の「Ｇ４」とギター音の「Ｅ４」とが同時に発生される元の音響データは、先行する時刻範囲についてピアノ音の「Ｃ４」のオリジナルデータとギター音の「Ｅ４」のオリジナルデータに分離され、後続する時刻範囲についてピアノ音の「Ｇ４」のオリジナルデータとギター音の「Ｅ４」のオリジナルデータとにそれぞれ分離されることになる。

また、前記オリジナルデータに対してユーザによる編集が行われた場合には、前記オリジナルデータとは別に編集後のノート音響データ（編集データと呼ぶ）が生成される。すなわち、オリジナルデータの編集が行われない限り、そのオリジナルデータに対応する編集データは生成されない。このような編集データの生成を伴うオリジナルデータの編集は、例えばピッチ変更やフォルマント変更あるいは時間圧伸などのような波形形状の変更を伴う編集である。

元の音響データを分析処理して前記ノート音響データを生成するのにあわせて、当該ノート音響データに対応するノート情報が生成される。ノート情報にはオリジナル属性情報とカレント属性情報が登録されており、オリジナル属性情報は編集前のノート音響データ（オリジナルデータ）の属性を表し、カレント属性情報は編集後のノート音響データ（編集データ）の属性を表す。ただし、ノート情報生成時はそれらの属性情報の内容は同一であって、後述する「音響データ編集／再生画面」（図５参照）を用いての編集操作に応じてカレント属性情報における該当の属性情報が適宜に変更される。すなわち、オリジナル属性情報はノート情報の作成時から変更されることなく、カレント属性情報のみが編集操作に応じて適宜に変更されるようになっている。

前記オリジナル属性情報（又はカレント属性情報）は、基本周波数（ノート特定情報），タイムスタート開始時刻及びタイムエンド終了時刻（再生情報），ベロシティ，オリジナルデータ（又は編集データ）への参照情報などを含む。基本周波数はオリジナルデータ（又は編集データ）の音程（ノート）を表す情報であって、例えば半音単位の各音程毎に決められている所定の周波数である（例えばE4=330Hz， A4=440Hzなど）。タイムスタート開始時刻は元のノート音響データのスタート時刻を基準にした各オリジナルデータ（又は編集データ）の開始時刻、タイムエンド終了時刻は元のノート音響データのスタート時刻を基準にした各オリジナルデータ（又は編集データ）の終了時刻である。タイムスタート開始時刻からタイムエンド終了時刻までの時間は、各オリジナルデータ（又は編集データ）の相対的な音の長さに相当する。オリジナルデータ（又は編集データ）への参照情報は対応するオリジナルデータ（又は編集データ）の記憶位置などを指し示す情報であって、例えば記憶アドレスやデータ名などのようなオリジナルデータ（又は編集データ）を記憶した記憶装置８の記憶位置を特定しそれらのデータを参照したり読み出したりすることが可能な情報であればどのような情報であってもよい。

グループ情報は、後述する「音響データ編集／再生画面」（図５参照）を用いてのユーザ操作にあわせて同じ楽器音（音色グループ）に振り分けられた１乃至複数のノート音響データを一括管理するための情報であって、「音響データ編集／再生画面」において予め用意されている「ALL」タブ以外に新規のグループタブが生成されることに応じて生成される。したがって、各グループ情報は「音響データ編集／再生画面」に表示される「ALL」以外のグループタブに対応して記憶されていることになる。このグループ情報は、例えば分類した楽器音（音色グループ）の種類が分かるようなグループ名の文字列（例えばピアノ音やギター音あるいはボーカル音など）、「音響データ編集／再生画面」上で同一グループのノート音響データを表示する際のグループ色の指定情報、当該楽器音のグループとして振り分けられたノート音響データに対応したノート情報への参照情報を含む。なお、生成された直後のグループ情報のノート情報リストには何も記載されていない。

次に、記憶装置８等に記憶されている上記元の音響データ（図２（Ａ）参照）を、異なる楽器音かつノート単位に分離されたノート音響データ単位に編集する「メイン処理」について説明する。図３は、「メイン処理」の一実施例を示すフローチャートである。当該処理は、例えばユーザによる編集開始／終了指示ボタンの操作に応じて開始される。

ステップＳ１は、ユーザ操作に応じて指定された元の音響データを記憶装置８等からＲＡＭ３に読み込む。ステップＳ２は、前記読み込んだ元の音響データを例えば上記した非特許文献１に記載の公知技術に従う分析処理を行うことによって異なる楽器音かつノート単位に分離し記憶装置８に記憶すると共に、分離した異なる楽器音かつノート単位の各ノート音響データに関するノート情報（オリジナル属性情報及びカレント属性情報）を生成し記憶装置８に記憶する。ステップＳ３は、ユーザ操作に応じて該当する処理への切り替えを実行する。ユーザ操作がモード選択ボタンによる「振り分けモード」への指定操作である場合には、「振り分け処理」を実行する（ステップＳ４）。ユーザ操作がモード選択ボタンによる「再生＆編集モード」への指定操作である場合には、「再生＆編集処理」を実行する（ステップＳ５）。上記各処理についての詳細は後述する。ユーザ操作が編集開始／終了指示ボタンによる終了操作である場合には、当該処理を終了する。

上記「振り分け処理」（図３のステップＳ４参照）について、図４及び図５を用いて説明する。図４は、「振り分け処理」の一実施例を示すフローチャートである。図５は、「振り分けモード」時に表示器５に表示される「音響データ編集／再生画面」の一実施例を示す概念図である。

ステップＳ１１は、記憶装置８に記憶されている全てのノート情報に関し、それらの基本周波数と開始時刻と終了時刻とベロシティに応じた位置と大きさ、かつグループ情報が既にある場合には指定のグループ色で色付けした所定の表示態様の図形（ノート図形）をノート単位に演奏順に並べた初期状態（ユーザ自身が楽器音毎に各ノート音響データを振り分ける操作を行う前）の「音響データ編集／再生画面」を表示器５に表示する。ここで一例として、後述する「再生＆編集処理」（図６参照）の実行に伴って「Vocal」,「Piano」,「Bass」の３つのグループが作成済みであり、またどのノート音響データも未だ前記グループのいずれにも振り分けられていない状態の「音響データ編集／再生画面」を図５（Ａ）に示す。

図５（Ａ）に示すように「音響データ編集／再生画面」Ａには、元の音響データを異なる音色別かつノート単位に分離することに応じて生成される各々のノート情報に対応するノート図形Ｃが、横軸が時間軸で縦軸が音程軸（周波数軸）とからなる２次元平面上に表示される。各ノート図形Ｃは、ノート情報の基本周波数（特定の音程に相当）によって縦軸方向の表示位置が決まる一方で、タイムスタート開始時刻（演奏タイミングに相当）によって横軸方向の表示位置が決まる。また、タイムスタート開始時刻とタイムエンド終了時刻とによって横軸方向の図形幅（音長に相当）が決まる一方で、ベロシティによって縦軸方向の図形幅（音量に相当）が決まるようになっている。そして、どのノート音響データも未だ前記グループのいずれにも振り分けられていない状態では、前記ノート図形Ｃの全てについて予め決められたグループ色に色付けされていない。

ユーザ操作に応じて「Vocal」,「Piano」,「Bass」の３つのグループが新規作成されると、それぞれに対応するグループタブＢが画面上部に追加表示される（後述する図６のステップＳ３２参照）。ただし、こうしたグループの新規作成だけでは、どのノート音響データも未だ前記グループのいずれにも振り分けられていない状態であることから、どのノート図形Ｃも色付けされない。なお、グループは新規作成することだけでなく削除することもでき、その場合には対応するグループタブＢの表示（及びグループ情報の該当するノート情報への参照情報）が削除されて、削除されたグループに振り分けられていたノート音響データはどのグループにも属さないものとなる。

図４の説明に戻って、ステップＳ１２は、「音響データ編集／再生画面」Ａに表示されているノート図形Ｃのいずれかが長押し操作されたか否かを判定する。ノート図形Ｃのいずれも長押し操作されていないと判定した場合には（ステップＳ１２のＮＯ）、ステップＳ１５の処理へジャンプする。ノート図形Ｃのいずれかが長押し操作されたと判定した場合には（ステップＳ１２のＹＥＳ）、操作されたノート図形Ｃに対応するノート情報に基づき該当するノート音響データを検索し発音させる（ステップＳ１３）。すなわち、ユーザはノート図形Ｃを長押し操作することで対応するノート音響データに基づき再生される楽音を試聴することができるので、これにより各ノート音響データを振り分ける前にどのような楽器音の楽音を発するデータであるかを自身が聴いて確認することができる。ステップＳ１４は、操作されたノート図形Ｃに対応するノート情報を振り分け対象として選択する。

ステップＳ１５は、「音響データ編集／再生画面」Ａに表示されているノート図形Ｃのいずれかが短押し操作されたか否かを判定する。ノート図形Ｃのいずれも短押し操作されていないと判定した場合には（ステップＳ１５のＮＯ）、ステップＳ１９の処理へジャンプする。ノート図形Ｃのいずれかが短押し操作されたと判定した場合には（ステップＳ１５のＹＥＳ）、操作されたノート図形Ｃに対応するノート情報を振り分け対象として選択する（ステップＳ１６）。ステップＳ１７は、「音響データ編集／再生画面」Ａにおいて特定のグループタブＢが選択されている状態であるか否かを判定する。特定のグループタブＢが選択されている状態でないと判定した場合には（ステップＳ１７のＮＯ）、ステップＳ１９の処理へジャンプする。特定のグループタブＢが選択されている状態であると判定した場合には（ステップＳ１７のＹＥＳ）、振り分け対象として選択されているノート情報を参照するための参照情報を前記特定のグループタブＢに対応するグループ情報（振り分け先）に書き込むことによって、前記ノート情報に対応するノート音響データを前記特定のグループに属するように振り分ける（ステップＳ１８）。

ステップＳ１９は、「音響データ編集／再生画面」Ａに表示されているグループタブＢの選択操作がされたか否かを判定する。グループタブＢの選択操作がされていないと判定した場合には（ステップＳ１９のＮＯ）、ステップＳ２３の処理へジャンプする。グループタブＢの選択操作がされたと判定した場合には（ステップＳ１９のＹＥＳ）、選択されたグループタブＢに対応するグループ情報を振り分け先に選択する（ステップＳ２０）。ステップＳ２１は、特定のノート情報が振り分け対象として選択されているか否かを判定する。特定のノート情報が選択されていないと判定した場合には（ステップＳ２１のＮＯ）、ステップＳ２３の処理へジャンプする。特定のノート情報が選択されたと判定した場合には（ステップＳ２１のＹＥＳ）、特定のノート情報が選択されているグループ情報（振り分け先）に属するように振り分ける（ステップＳ２２）。

ステップＳ２３は、振り分けモード終了操作がされたか否かを判定する。振り分けモード終了操作がされていないと判定した場合には（ステップＳ２３のＮＯ）、ステップＳ１２の処理に戻って上記各処理を繰り返し実行する。振り分けモード終了操作がされたと判定した場合には（ステップＳ２３のＹＥＳ）、当該処理を終了する。

上述したように、振り分けモード時においては「音響データ編集／再生画面」Ａに、ノート音響データ（ノート情報）それぞれに対応したノート図形Ｃのすべてを表示できるようになっており、ユーザがそれらのノート図形Ｃと「ALL」タブ以外のグループタブＢとを適宜に選択して組み合わせることで、各ノート音響データを各グループに振り分けることができる。一例を図５（Ｂ）に示す。図５（Ｂ）ではグループタブ「Piano」がクリックされ、振り分け先としてグループ「Piano」が選択されている。振り分け先のグループを選択した状態のままでいずれかのノート図形（ここではＣ´）を短押しでクリックするとそのノート図形Ｃ´が選択されて、当該ノート図形Ｃ´に対応するノート音響データ（ノート情報）が選択されている振り分け先のグループ「Piano」に振り分けられる。１つのグループを振り分け先に選択したまま、複数のノート図形Ｃを次々と短押しクリックしていくことでそれらに対応する複数のノート音響データを同じグループに振り分けることができる。なお、ノート音響データをグループに振り分け済みのノート図形Ｃについては、予め決められているグループ色によって色づけ表示されることによって、振り分けが行われていない他のノート図形Ｃと区別することができるようになっている。

一方、振り分け先のグループを選択した状態のままでいずれかのノート図形を長押しでクリックするとそのノート図形Ｃが選択しなおされて、当該選択されたノート図形Ｃに対応するノート音響データの再生が行われる。この場合、選択と再生が行われるだけでノート音響データのグループへの振り分けは行われない。このように長短をかえてノート図形Ｃを順次にクリックしていくことによって、次々とノート音響データ単位に楽音を試聴しながら各ノート音響データのグループへの振り分けを進めることができるようになっている。

なお、一旦あるノート図形Ｃについてノート音響データをグループに振り分けた後に、当該ノート図形Ｃが選択された状態のまま異なるグループタブＢをクリックすることで、当該ノート図形Ｃに対応するノート音響データの振り分け先を変更することができる。その場合、振り分け先変更前のグループ情報におけるノート情報への参照情報の削除と変更後のグループ情報におけるノート情報への参照情報の追加が行われることは言うまでもない。

次に、上記「再生＆編集処理」（図３のステップＳ５参照）について図６を用いて説明する。図６は、「再生＆編集処理」の一実施例を示すフローチャートである。図７は、「再生＆編集モード」時に表示器５に表示される「音響データ編集／再生画面」の一実施例を示す概念図である。

ステップＳ３１は、ユーザによるグループタブＢの操作に応じてグループの選択を変更し、「音響データ編集／再生画面」の表示を更新する。これにより、選択されたグループに振り分けられたノート音響データに対応するノート図形Ｃのみが「音響データ編集／再生画面」に表示される（図７（Ｂ）参照）。ステップＳ３２は、ユーザ操作に応じてグループの新規作成、削除、グループ名やグループ色の変更をし、「音響データ編集／再生画面」の表示を更新する（図８参照）。ステップＳ３３は、ユーザ操作に応じて編集処理を実行し（図９参照）、前記処理の実行に応じて「音響データ編集／再生画面」の表示を更新する（図８参照）。ステップＳ３４は、ユーザ操作に応じて再生処理の別タスクを制御する（図１０参照）。ステップＳ３５は、再生＆編集モード終了操作がされたか否かを判定する。再生＆編集モード終了操作がされていないと判定した場合には（ステップＳ３５のＮＯ）、ステップＳ３１の処理に戻って上記各処理を繰り返し実行する。再生＆編集モード終了操作がされたと判定した場合には（ステップＳ３５のＹＥＳ）、当該処理を終了する。

図７（Ａ）に示した「音響データ編集／再生画面」Ａは、異なる音色別かつノート単位に分離された複数のノート音響データのそれぞれが「Vocal」,「Piano」,「Bass」の３つのグループのいずれかに振り分けられている状態で、「ALL」タブが選択されている場合の表示例である。図７（Ａ）を図５（Ａ）と比較してみると、各ノート図形Ｃが振り分け先のグループ色に色付けされている点が異なる以外に、再生位置を示す再生位置指示図形Ｄが表示されている点が異なる。この再生位置指示図形Ｄは例えば再生の進行にあわせて図面左から右へと移動することによって、ユーザに対して再生中のノート音響データに対応するノート図形Ｃを明示する。なお、この図７（Ａ）に示すような「ALL」タブが選択されている状態で再生が行われると、元の音響データに含まれている全ての楽器音（音色）が混在した楽音が発音されることになる。

一方、図７（Ｂ）に示す「音響データ編集／再生画面」Ａは、グループタブ「Piano」をクリックすることで特定のグループ「Piano」が選択された場合の表示例を示したものである。この場合、「音響データ編集／再生画面」Ａには「Piano」グループに振り分けられたノート音響データに対応するノート図形Ｃのみが表示される。この状態で再生が行われると、表示中のノート図形Ｃ（図中では５つ）に対応する各ノート音響データが再生されることになり、例えば「ピアノ音色」などの同一音色の楽音のみが発音されることになる。

また、「ALL」タブ以外のグループタブ選択に関しては同時に複数のグループタブＢを選択することができてよく、その場合には選択された複数のグループタブＢに該当するグループのいずれかに振り分けられたノート音響データに対応するノート図形Ｃが全て同じ画面上に表示される。この状態で再生が行われると、表示中のノート図形Ｃに対応する各ノート音響データが再生されることになり、選択された複数のグループの音色が混在した楽音が発音されることになる。

なお、「ALL」タブ以外のタブ選択を行った場合に、選択されていないグループに振り分けられたノート音響データに対応するノート図形Ｃについては全く表示しなくてもよいし、あるいは選択されたグループのいずれかに振り分けられたノート音響データに対応するノート図形Ｃとは異なる表示態様で（例えば図７（Ｂ）に示すように薄く）表示するようにしてもよい。

次に、「再生＆編集の表示更新処理」（図６のステップＳ３１及びＳ３２）について説明する。図８は、「再生＆編集の表示更新処理」の一実施例を示すフローチャートである。上述したように、ステップＳ３１ではグループ選択の変更をした上で表示を更新する。また、ステップＳ３２ではグループについての編集操作をした上で表示を更新する。ここでは、ステップＳ３１及びステップＳ３２の各処理内で同様に行われる表示の更新についてのみ詳細に説明する。

ステップＳ４１は、処理対象として記憶装置８に記憶されているグループ情報を順に特定する。ステップＳ４２は、「音響データ編集／再生画面」Ａに表示されている前記特定したグループ情報に対応するグループタブが選択されているか否かを判定する。グループ情報に対応するグループタブが選択されていないと判定した場合には（ステップＳ４２のＮＯ）、ステップＳ４４の処理へジャンプする。グループ情報に対応するグループタブが選択されていると判定した場合には（ステップＳ４２のＹＥＳ）、ノート情報リストの参照情報に基づく各ノート情報の基本周波数と開始時刻と終了時刻とベロシティに応じた位置と大きさで、かつ指定のグループ色でノート図形Ｃを表示する（ステップＳ４３）。ステップＳ４４は、すべてのグループを処理したか否かを判定する。すべてのグループを処理していないと判定した場合には（ステップＳ４４のＮＯ）、ステップＳ４１の処理に戻って上記各処理を繰り返し実行する。すべてのグループを処理したと判定した場合には（ステップＳ４４のＹＥＳ）、当該処理を終了する。

なお、グループ情報に対応するグループタブが選択されていないと判定した場合には（ステップＳ４２のＮＯ）、ノート情報リストの参照情報に基づく各ノート情報の基本周波数と開始時刻と終了時刻とベロシティに応じた位置と大きさで、かつ指定のグループ色で上記ステップＳ４３の処理で表示する図形とは異なる表示態様で（例えば図７（Ｂ）に示すように薄く）図形を表示するようにしてもよい。

次に、「編集処理」（図６のステップＳ３３）について説明する。図９は、「編集処理」の一実施例を示すフローチャートである。

ステップＳ５１は、「音響データ編集／再生画面」Ａ上をポイントされ、そのポイント位置にアクティブなノート図形Ｃがあるか否かを判定する。ポイント位置にアクティブなノート図形Ｃがないと判定された場合には（ステップＳ５１のＮＯ）、当該処理を終了する。前記アクティブなノート図形Ｃとは選択されているグループタブＢの各グループにノート音響データが振り分けられているもので、例えば図７（Ｂ）に示すように明確に表示されているノート図形Ｃのことを言う。他方、選択されていないグループタブＢの各グループにノート音響データが振り分けられているノート図形Ｃは例えば図７（Ｂ）に示すように薄く表示されており、そのような非アクティブなノート図形Ｃの表示位置をポイントしても何らの処理も行われない。

ポイント位置にアクティブなノート図形Ｃがあると判定された場合には（ステップＳ５１のＹＥＳ）、「音響データ編集／再生画面」Ａ上のノート図形Ｃをユーザが操作することに応じてノート情報の編集（詳しくはカレント属性情報）を行うと共に、前記ユーザ操作に応じて「音響データ編集／再生画面」Ａの表示を更新する（ステップＳ５２）。また、この際には必要に応じてノート音響データ（編集データ）を生成する。

ここで、上記ノート情報の編集操作の一例を以下に挙げる。図７に示した「音響データ編集／再生画面」Ａ上において、例えばノート図形Ｃをドラッグしてその表示位置を横軸方向に移動させれば、操作量に応じただけタイムスタート開始時刻及びタイムエンド終了時刻を編集することができる。例えばノート図形Ｃをドラッグしてその表示位置を縦軸方向に移動させれば、基本周波数を編集することができる。当該操作中は、編集データ（又はオリジナルデータ）をループ再生しながら操作量に応じて簡易的に実時間ピッチシフト処理が施されることから、ユーザは楽音を実際に試聴しながら編集を行うことができる。そして、操作が終了した時点で、編集データ（又はオリジナルデータ）を高品質のノンリアルタイムピッチシフト処理することにより新たな編集データを生成して記憶する。

例えばノート図形Ｃの表示幅を縦軸方向に広げれば、ベロシティ（つまり音量）を編集することができる。当該操作中においても、編集データ（又はオリジナルデータ）をループ再生しながら操作量に応じて再生音量が変更されることから、ユーザは楽音を実際に試聴しながら編集を行うことができる。そして、操作が終了した時点で、編集データ（又はオリジナルデータ）の音量レベルを変更することにより新たな編集データを生成して記憶する。例えばノート図形Ｃの表示幅を横軸方向に広げれば、タイムスタート開始時刻又はタイムエンド終了時刻のいずれかを独立に編集することができる。当該操作中は、編集データ（又はオリジナルデータ）をループ再生しながら操作量に応じて簡易的に実時間タイムストレッチ処理が施されることから、ユーザは楽音を実際に試聴しながら編集を行うことができる。そして、操作が終了した時点で、編集データ（又はオリジナルデータ）を高品質のタイムストレッチ処理することにより新たな編集データを生成して記憶する。

なお、ここでは図示していないが、サブメニューを表示させて上記以外の例えばフォルマント変更やＥＱ処理などを行って、ノート情報の編集や編集データの生成（又は編集）を行うことができるようになっていてよい。

次に、「再生処理」（図６のステップＳ３４）について図１０及び図１１を用いて説明する。図１０は、「再生処理」の一実施例を示すフローチャートである。図１１は、再生処理時における信号処理手順を説明するためのブロック図である。

ステップＳ６１は、初期設定を行う。初期設定としては、再生位置のリセットやタイマ設定などがある。ステップＳ６２は、選択されているグループタブＢが「ALL」タブか否かを判定する。選択されているグループタブＢが「ALL」タブであると判定した場合には（ステップＳ６２のＹＥＳ）、元の音響データを再生する（ステップＳ６３）。ステップＳ６４は、オリジナル属性情報とカレント属性情報の内容が同一でないノート情報（つまりは編集されているノート情報）について、再生位置がオリジナル属性情報のタイムスタート開始時刻に合致するノート音響データ（オリジナルデータ）の再生を開始する（ステップＳ６４）。このときの再生は逆位相で元の音響データに加えられることによって、元の音響データ内における該当部分のオリジナル成分を打ち消す。

ステップＳ６５は、オリジナル属性情報とカレント属性情報の内容が同一でないノート情報について、再生位置がオリジナル属性情報のタイムエンド終了時刻に合致するノート音響データ（オリジナルデータ）の再生を終了する。ステップＳ６６は、オリジナル属性情報とカレント属性情報の内容が同一でないノート情報について、再生位置がカレント属性情報のタイムスタート開始時刻に合致するノート音響データ（編集データ）の再生を開始する。ステップＳ６７は、オリジナル属性情報とカレント属性情報の内容が同一でないノート情報について、再生位置がカレント属性情報のタイムエンド終了時刻に合致するノート音響データ（編集データ）の再生を終了する。

図１１（Ａ）は、「ALL」タブが選択されているときにおける再生時の信号処理手順（上記ステップＳ６３〜Ｓ６７）を示す。ただし、ここでは理解しやすくするために、ノート音響データ２（ノート２）は編集されておらず対応するノート情報のオリジナル属性情報とカレント属性情報の内容が同じであるとする一方、ノート音響データ１（ノート１）とノート音響データＮ（ノートＮ）は編集されており対応するノート情報のオリジナル属性情報とカレント属性情報の内容が異なるものとする。

元の音響データは、元の音響データ読み出し部Ｍによって記憶装置８から読み出されて再生される。各ノート音響データは、複数が必要に応じて並列的に動作しうるノート音響データ単位の再生処理部Ｎ１〜ＮＮによって記憶装置８から読み出されて再生される。ただし、ノート２のようなノート情報のオリジナル属性情報とカレント属性情報の内容が同じであるものについては、ノート音響データ単位の再生処理部Ｎ１〜ＮＮによるオリジナルデータの再生を行わない。なぜなら、編集がなされていないノート音響データ（オリジナルデータ）の成分は元の音響データに含まれていることから、元の音響データを再生するだけで十分に再現できるからである。

他方、ノート１やノートＮのようなノート情報のオリジナル属性情報とカレント属性情報の内容が異なるものについては、ノート音響データ単位の再生処理部Ｎ１〜ＮＮによる再生を行う。当然にオリジナル属性情報とカレント属性情報の内容が異なるノート情報についても、対応するノート音響データの成分が元の音響データに含まれている。しかし、編集後のノート音響データ（編集データ）を反映させる必要がある。そこで、前記再生した元の音響データの出力に対してオリジナルデータ読み出し部Ｏにより再生されたオリジナルデータの出力を加算部Ｋ１により逆相で重ねあわせることで、元の音響データに含まれる該当成分を打ち消しておき、その後前記該当成分打消し後の元の音響データの出力に対して編集データ読み出し処理部Ｈにより再生された編集データの出力を加算部Ｋ２により正相で重ね合わせることによって、データ編集された楽器音を含む全ての楽器音からなる楽音を出力するようにしている。

なお、ノート情報のオリジナル属性情報とカレント属性情報の内容が異なるものであっても、編集データが加工されない場合があることは上述した通りである。そうした場合には、編集データ読み出し処理部Ｈにおいてもオリジナルデータ読み出し処理部Ｏと同様にオリジナルデータを再生し、該再生されたオリジナルデータの出力を前記該当成分打消し後の元の音響データの出力に対して加算部Ｋ２により正相で重ね合わせるようにすればよい（要は打ち消した成分を元に戻す）。

図１０の説明に戻って、選択されたグループタブが「ALL」タブでないと判定した場合には（ステップＳ６２のＮＯ）、元の音響データを再生しない（ステップＳ６８）。ステップＳ６９は、再生位置がカレント属性情報のタイムスタート開始時刻に合致するノート音響データ（編集データ）の再生を開始する。ステップＳ７０は、再生位置がカレント属性情報のタイムエンド終了時刻に合致するノート音響データ（編集データ）の再生を終了する。

図１１（Ｂ）は、「ALL」タブ以外の特定のグループタブが選択されているときにおける再生時の信号処理手順（上記ステップＳ６８及びＳ６９）を示す。ただし、ここでは理解しやすくするために、タブ選択されている（アクティブな）グループにノート１とノート２とが含まれ、タブ選択されていない（非アクティブな）グループにノートＮが含まれているものとする。

特定のグループタブが選択されている場合には、元の音響データ読み出し部Ｍによる元の音響データの再生が行われない。その場合、ノート１とノート２のようなアクティブなグループに含まれる各ノートのみについて、編集データ読み出し処理部Ｈによって再生された編集データの出力が加算部Ｋ２により加算される。他方、ノートＮのような非アクティブなグループに含まれる各ノートについては、編集データ読み出し処理部Ｈによって再生された編集データの出力が加算部Ｋ２により加算されない。なお、各ノート１〜Ｎがアクティブなグループに含まれるか含まれないかに関わらず、オリジナルデータ読み出し処理部Ｈによって再生されるオリジナルデータの出力は加算部Ｋ１においても加算部Ｋ２においても加算されることがない。

図１０の説明に戻って、ステップＳ７１は、タイマ制御に応じて再生位置を更新する。ステップＳ７２は、前記更新された再生位置に応じて「音響データ編集／再生画面」Ａの表示を更新する。この表示の更新は、再生進行にあわせた再生位置指示図形Ｄの位置更新だけでなくノート図形Ｃの更新などを含む。ステップＳ７３は、全てのノート音響データを処理したか否かあるいは再生終了操作がされたか否かを判定する。全てのノート音響データを処理していないあるいは再生終了操作がされていないと判定した場合には（ステップＳ７３のＮＯ）、上記ステップＳ６２の処理に戻って上記各処理を繰り返し実行する。全てのノート音響データを処理したあるいは再生終了操作がされたと判定した場合には（ステップＳ７３のＹＥＳ）、当該処理を終了する。

以上のように、本発明に係る楽音編集装置では、ユーザが個々の音色別かつノート単位の波形からなる多数のノート音響データを、画面上に表示されたノート図形を選択操作することにより複数の音色グループのいずれかに振り分けることができる。また、その際には、ノート図形の選択に応じて対応付けられているノート音響データのみが単独で再生されることから、個々の音色のみからなる楽音をユーザが実際に試聴して自身でその音色を確認しながら振り分けを行うことができる。そして、そうした振り分け後においては、１乃至複数の音色グループそれぞれに振り分けられたノート音響データに対応付けられたノート図形のみを前記画面上に分別表示させておき、前記画面上に表示されたそれぞれのノート図形に対するユーザ操作に応じて該当するノート音響データ並びに前記ノート特定情報及び再生情報の編集を行うことで、同じ音色グループに属する特定のノート音響データのみを抽出して編集できるようにしている。このようにして、ユーザ自身が異なる音色別かつノート単位に分離された個々のノート音響データを音色（グループ）毎に振り分けることができ、また各音色（グループ）に振り分けられたノート音響データのみを選択的に再生しながら編集することができるようにしたことから、ノート音響データ単位に元の音響データの編集を行うことが容易にできるようになる。

以上、図面に基づいて実施形態の一例を説明したが、本発明はこれに限定されるものではなく、様々な実施形態が可能であることは言うまでもない。例えば、上述した実施例においては、生成したノート音響データを「音響データ編集／再生画面」に表示してこれをユーザが適宜に分類するようにしたがこれに限らず、例えば特許文献１に記載の技術により前もって自動的にある程度大雑把に楽器音毎の振り分けを行っておき、その後さらにユーザ操作に応じて分類するようにしてもよい。このようにするには、上述した図３に示す「メイン処理」においてステップＳ２とステップＳ３との間に、前記自動的な振り分け処理を実行させるようにするとよい。また、その際には自動的な振り分け処理の実行に応じて振り分けされた各楽器音（グループ）に対応するグループ情報が自動的に生成され、該生成されたグループ情報に基づき「音響データ編集／再生画面」のグループタブの表示や各グループに属するノート音響データに対応するノート図形の表示等が行われることは言うまでもない。

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…設定操作子、５…表示器、６…デジタル信号処理回路（ＤＳＰ）、６Ａ…入力信号インタフェース、６Ｂ…出力信号インタフェース、７…サウンドシステム、８…記憶装置、９…通信インタフェース、１Ｄ…データ及びアドレスバス、Ａ…音響データ編集／再生画面、Ｂ…グループタブ、Ｃ…ノート図形、Ｄ…再生位置指示図形、Ｈ…編集データ読み出し処理部、Ｍ…元の音響データ読み出し処理部、Ｎ１〜ＮＮ…ノート音響データ単位の再生処理部、Ｏ…オリジナルデータ読み出し処理部、Ｋ１（Ｋ２）…加算部

Claims (3)

1. 別々に発せられた複数の異なる音色の楽音が混在した１つの連続波形からなる元の音響データの分析に伴って分離される、個々の音色別かつノート単位の波形からなる多数のノート音響データの各々を、少なくともノート特定情報及び再生情報と関連付けて記憶する記憶手段と、
   前記多数のノート音響データそれぞれに対応付けられた複数のノート図形を、前記関連付けられたノート特定情報及び再生情報に基づく音程毎かつ再生順に配置した画面を表示する表示手段と、
   前記画面上に表示されたいずれかのノート図形の選択に応じて該選択されたノート図形に対応付けられているノート音響データのみを単独で再生することで、個々の音色のみからなる楽音をノート単位に独立的に発生する単音再生手段と、
   前記選択されたノート図形に対応付けられているノート音響データを、複数の音色グループのいずれかに振り分ける振り分け手段と、
   前記複数の音色グループを１つ以上選択するグループ選択手段と、
   前記選択された１乃至複数の音色グループそれぞれに振り分けられたノート音響データのみを前記再生情報に基づく再生順に再生することで、前記選択された音色グループに属する音色のみが混在する楽音を発生する再生手段と
   を備えた音楽編集装置。
2. 前記画面上に表示されたそれぞれのノート図形に対するユーザ操作に応じて該当するノート音響データ並びに前記ノート特定情報及び再生情報の編集を行う編集手段をさらに備えてなり、
   前記選択された１乃至複数の音色グループそれぞれに振り分けられたノート音響データに対応付けられたノート図形のみを前記画面上に分別表示させておき、同じ音色グループに属する特定のノート音響データのみを抽出して編集できるようにしたことを特徴とする請求項１に記載の楽音編集装置。
3. コンピュータに、
   別々に発せられた複数の異なる音色の楽音が混在した１つの連続波形からなる元の音響データの分析に伴って分離される、個々の音色別かつノート単位の波形からなる多数のノート音響データの各々を、少なくともノート特定情報及び再生情報と関連付けて所定の記憶手段に記憶する手順と、
   前記多数のノート音響データそれぞれに対応付けられた複数のノート図形を、前記関連付けられたノート特定情報及び再生情報に基づく音程毎かつ再生順に配置した画面を所定の表示手段に表示する手順と、
   前記画面上に表示されたいずれかのノート図形の選択に応じて該選択されたノート図形に対応付けられているノート音響データのみを単独で再生することで、個々の音色のみからなる楽音をノート単位に独立的に発生する手順と、
   前記選択されたノート図形に対応付けられているノート音響データを、複数の音色グループのいずれかに振り分ける手順と、
   前記複数の音色グループを１つ以上選択する手順と、
   前記選択された１乃至複数の音色グループそれぞれに振り分けられたノート音響データのみを前記再生情報に基づく再生順に再生することで、前記選択された音色グループに属する音色のみが混在する楽音を発生する手順と
   を実行させるプログラム。

Images