JP3800109B2 - 音素材変換装置及び音素材変換用プログラム - Google Patents

音素材変換装置及び音素材変換用プログラム Download PDF

Info

Publication number
JP3800109B2
JP3800109B2 JP2002054123A JP2002054123A JP3800109B2 JP 3800109 B2 JP3800109 B2 JP 3800109B2 JP 2002054123 A JP2002054123 A JP 2002054123A JP 2002054123 A JP2002054123 A JP 2002054123A JP 3800109 B2 JP3800109 B2 JP 3800109B2
Authority
JP
Japan
Prior art keywords
sound material
data
playback
processing
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002054123A
Other languages
English (en)
Other versions
JP2003255939A (ja
Inventor
進 河島
貴志 倉持
徹 板山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002054123A priority Critical patent/JP3800109B2/ja
Priority to US10/375,655 priority patent/US7202407B2/en
Publication of JP2003255939A publication Critical patent/JP2003255939A/ja
Application granted granted Critical
Publication of JP3800109B2 publication Critical patent/JP3800109B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、MIDIファイル形式の音素材データを加工後、所定のオーディオ形式のデータに変換する音素材変換装置及び音素材変換用プログラムに関する。
【0002】
【従来の技術】
従来より、ウェブサイトとしての機能を果たすサーバコンピュータで音素材データ(例えばMIDI(Musical Instrument Digital Interface)の楽曲データ等)を提供し、ユーザがパーソナルコンピュータ等で該ウェブサイトにアクセスし、この音素材データをダウンロードすることができるようにしたサービスがある。また、音素材データを所定のオーディオ形式のデータに変換するデータ変換装置がある。
【0003】
また、従来より、オーディオ形式の音素材データを映像データのバックグランドミュージック(以下「BGM」という)として付加することが可能な映像編集装置が知られている。
【0004】
【発明が解決しようとする課題】
しかしながら、ユーザがMIDIファイル形式の音素材データを映像データのBGMとして付加する場合、特にユーザが音素材データそのままでは気に入らない場合、MIDIシーケンサ等により音素材データに対して所望の加工を施して(例えば、パート構成、音色、音量、エフェクト、テンポ又はピッチ等の変更)、該加工の施された音素材データを一旦任意のファイルに保存し、データ変換装置により該任意のファイルに保存された音素材データを所定のオーディオ形式のデータに変換し、映像編集装置によりこの変換されたオーディオ形式のデータを映像データに付加するという作業が要求されるため、ユーザはいくつもの装置で処理を実行しなければならず煩わしさがあった。また、MIDIシーケンサは一般的に多機能であり、MIDIファイル形式の音素材データの各種加工が自由にできる反面、初心者には使いこなすのが難しいという側面がある。
【0005】
本発明は、かかる点に鑑みてなされたものであり、初心者でも作業効率の向上を図ることができる音素材変換装置及び音素材変換用プログラムを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の音素材変換装置は、映像データを備えると共に該映像データを再生する映像データ再生手段と、MIDIファイル形式の音素材データの再生態様を制御するための再生パラメータを設定変更する音素材データ加工手段と、前記設定変更された再生パラメータに基づいて前記音素材データを逐次再生してオーディオ形式の波形データを生成する生成手段と、該生成された波形データを発音させることなくメモリに記録する録音手段と、該録音された波形データを前記映像データ再生手段にて再生される映像データに付加可能なフォーマットのデータに変換する変換手段とを備え、前記音素材データ加工手段は、前記映像データ再生手段が前記映像データの再生を開始していない状態において、ユーザによる指示に応じて、事前に前記再生パラメータの設定変更を行う第1の加工処理部と、前記映像データ再生手段が前記映像データの再生を開始したことに応じて、前記第1の加工部にて設定変更された再生パラメータに基づいて前記音素材データの再生を開始する再生制御部と、前記映像データ再生手段が前記映像データの再生をしている状態において、ユーザによる指示に応じて、前記再生パラメータの設定変更を行う第2の加工処理部と、前記映像データ再生手段が前記映像データの再生を停止したことに応じて、前記音素材データの再生を停止させる再生停止制御部と、前記音素材データの再生が停止されたことに応じて、前記第2の加工処理部にて設定変更された再生パラメータを前記音素材データ中に記録する設定記録部とを備えることを特徴とする。
【0009】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0010】
図1は、本発明の実施の形態に係る音素材変換装置の概略ハードウェア構成を示すブロック図である。
【0011】
本発明の実施の形態に係る音素材変換装置は、例えば、パーソナルコンピュータ(PC)1で構成される。
【0012】
PC1は、PC1全体の動作を制御するCPU2を備えており、CPU2には通信バス17を介してRAM3、ROM4、MIDIインターフェース(I/F)5、操作回路6、表示回路7、音源回路8、外部記憶装置9、通信インターフェース(I/F)10及びタイマ11がそれぞれ接続されている。
【0013】
RAM3は、映像データ又は音素材データに関する各種情報やCPU2が各種プログラムを実行する際に発生する各種データを一時的に記憶する。ROM4は、CPU2により実行又は参照される各種プログラムや各種データ(例えば、映像データ、該映像データの特徴データである映像時間データやタイトルデータ、映像編集用プログラム、音素材加工・再生用プログラム及びデータフォーマット変換処理用プログラム等)を記憶する。MIDIインターフェース(I/F)5は、電子楽器12を通信バス17に接続するためのインターフェースであり、電子楽器12とPC1との間でMIDIデータを通信するために使用される。操作回路6は操作子13を通信バス17に接続し、操作子13、例えばマウスやキーボード等からの入力データを通信バス17を介してCPU2に出力する。表示回路7は表示装置14を通信バス17に接続し、例えば、映像データやMIDIデータからなる音素材データ又はこれらを再生する再生プレーヤに相当する画像データ等の各種データを表示装置14に出力し、表示装置14は表示回路7から出力された該各種データを表示する。音源回路8は、音素材データを通信バス17を介して入力し、この音素材データに基づいて楽音信号をサウンドシステム15に出力する。サウンドシステム15は、この入力された楽音信号を発生する。タイマ11はCPU2で実行される様々な処理で使用される。
【0014】
外部記憶装置9は、映像データやサンプル用の音素材データ等の各種データやCPU2により実行又は参照される各種プログラムを記憶し、ROM4と同様の機能を果たす。CPU2が外部記憶装置9に記憶されている各種データや各種プログラムをRAM3に読み込ませて、処理を実行することで、ROM4が各種データや各種プログラムを記憶している場合と同様の動作を実行することができる。従って、外部記憶装置9の付け替えにより各種プログラムの追加やバージョンアップ等が容易に行える。
【0015】
通信I/F10は、インターネットや商用ネットワーク等からなるネットワーク16に有線又は無線で接続されており、本PC1はこのネットワーク16を介して音素材データ提供サイトとしての機能を果たすサーバコンピュータ18及び他のPC19に接続されている。これにより、サーバコンピュータ18から音素材データをダウンロードすることが可能となると共に他のPC19から各種データや各種プログラムをダウンロードすることができる。
【0016】
MIDI・I/F5は、専用のMIDI・I/Fを用いるものに限らず、RS232−C、USB又はIEEE1394等の汎用I/Fを用いてMIDI・I/Fを構成するようにしてもよい。この場合、MIDIデータ以外のデータをも同時に送受信するようにしてもよい。
【0017】
PC1に対して音素材データを提供するサーバコンピュータ18のハードウェア構成は、上述したPC1のハードウェア構成と同様である。但し、サーバコンピュータ18は音素材データをPC1等の各ユーザ端末に提供することを主目的とするため、MIDI・I/F5、音源回路8、電子楽器12及びサウンドシステム15は備えていなくてもよい。
【0018】
図2は、図1におけるPC1及びサーバコンピュータ18の機能構成を示すブロック図である。
【0019】
PC1は、映像データを編集及び再生する映像編集部21と音素材データの加工及び再生を行う音素材加工・再生部22と、音素材データのデータフォーマットを変換するソフトウェア音源部23とを備え、サーバコンピュータ18は多数の音素材データを有する音素材データベース25と、PC1からの指示に従って該音素材データベース25からユーザ所望の音素材データを検索し、抽出する検索エンジン24とを備えている。
【0020】
映像編集部21、音素材加工・再生部22及びソフトウェア音源部23はPC1が備える各種プログラムがPC1のハードウェアにより実行されて実現される機能であり、音素材データベース25は音素材データの集合物であって、これらのデータを検索エンジン24を用いて検索することができるように体系的(例えば音楽カテゴリー毎)に構成されたものであり、検索エンジン24はサーバコンピュータ18が備える音素材データ用検索プログラムがサーバコンピュータ18のハードウェアにより実行されて実現される機能である。
【0021】
映像編集部21は、具体的には、CPU2がROM4又は外部記憶装置9に記憶されている映像編集用プログラムをRAM3に読み出し、該RAM3に読み出された映像編集用プログラムの指示に従ってROM4又は外部記憶装置9に記憶されている映像データを編集し、表示装置14が表示回路7を介して受信した編集前又は編集後の映像データを表示することで実現される。
【0022】
音素材加工・再生部22は、具体的には、CPU2がROM4又は外部記憶装置9に記憶されている音素材加工・再生用プログラムをRAM3に読み出し、該RAM3に読み出された音素材加工・再生用プログラムの指示に従って音素材データベース25から受信した音素材データを加工し又は再生し、表示装置14が表示回路7を介して受信した加工前又は加工後の音素材データを視覚的に表示すると共にサウンドシステム15が音源回路8を介して受信した加工前又は加工後の音素材データを発音することで実現される。
【0023】
ソフトウェア音源部23は、具体的には、CPU2がROM4又は外部記憶装置9に記憶されている楽音波形生成・データフォーマット変換処理用プログラムをRAM3に読み出し、該RAM3に読み出された楽音波形生成・データフォーマット変換処理用プログラムの指示に従って音素材データベース25から受信した音素材データに基づき楽音波形を生成したり、データフォーマットを変換することで実現される。
【0024】
検索エンジン24は、具体的には、CPU2が通信I/F10を介してPC1からの検索条件を受信し、ROM4又は外部記憶装置9に記憶されている検索用プログラムをRAM3に読み出し、前記受信した検索条件を該検索用プログラムに組み込んで検索処理を実行し、該検索条件に対応する音素材データを音素材データベース25から抽出し、該抽出された音素材データを通信I/F10を介してPC1に送信することで実現される。
【0025】
以上のように構成されたPC1とサーバコンピュータ18とからなるシステムの機能を以下説明する。
【0026】
図3は、PC1が備える映像編集部21及び音素材加工・再生部22とサーバコンピュータ18、即ち音素材提供サイトとで実行されるメイン処理を示したフローチャートである。音素材提供サイトの処理は主として上記検索エンジン24で実行される。
【0027】
まず、ユーザが操作子13を介して音素材データを付加する映像データを選択すると、映像編集部21が編集すべき映像データを決定し(ステップS301)、該映像データの特徴データである映像時間データとタイトルデータを取得し、これを音素材加工・再生部22に供給し(ステップS302)、試聴処理を実行する(ステップS307)。
【0028】
一方、音素材加工・再生部22は、映像編集部21からの特徴データ、即ち映像時間データとタイトルデータの供給を受けて、該映像時間データとタイトルデータを検索条件として、音素材提供サイトにアクセスする(ステップS303)。
【0029】
音素材提供サイトは、音素材加工・再生部22から映像時間データとタイトルデータを検索条件として受信し、該検索条件に基づいて音素材データベース25を検索し、該検索条件と合致する音素材データを抽出する(ステップS304)。音素材データを抽出する方法は公知の技術を使用する。
【0030】
上記ステップS303及びステップS304に示すように、音素材加工・再生部22は、映像データの再生時間を含む映像の特徴データを自動的に取得し、これを音素材提供サイトへと供給するので、ユーザが映像データの再生時間を把握しなくてもよく、また、映像データに付加すべき音素材データを効率良く音素材提供サイトから取得することができ、映像編集の作業効率の向上を図ることができる。尚、音素材加工・再生部22は、映像データの再生時間とタイトルの一方を音素材提供サイトへ供給するようにしてもよい。
【0031】
次いで、音素材提供サイトは、ステップS304で抽出された音素材データのリストを作成すると共に該作成された音素材データのリストを音素材加工・再生部22に送信し(ステップS305)、試聴処理を実行する(ステップS307)。
【0032】
音素材加工・再生部22は、音素材提供サイトから受信した音素材データのリストを表示し(ステップS306)、試聴処理を実行する(ステップS307)。
【0033】
ステップS307の試聴処理では、音素材加工・再生部22が音素材提供サイトに対して、音素材データのストリーム配信の指示をし、音素材提供サイトがこれを受けて、音素材データのストリーム配信を実行し、音素材加工・再生部22が音素材提供サイトから配信されてくる音素材データのストリーム再生を実行し、このストリーム再生と同期して映像編集部21が映像データの再生を実行して、ユーザが映像データを確認しつつ音素材データの試聴を行う。試聴処理の詳細な説明は、図4を参照しながら後述する。ここで、ストリーム配信とは、音素材提供サイトが音素材加工・再生部22で音素材データファイルをダウンロードすることなくストリーム再生が可能なようにデータを配信する技法であり、ストリーム再生とは、音素材加工・再生部22が音素材提供サイトから配信される音素材データをダウンロードすることなくリアルタイムで再生する技法である。
【0034】
ステップS307の試聴処理で、ユーザは所望の音素材データを確認すると、操作子13を介して当該音素材データを指定し、音素材加工・再生部22がこの指定を受けて、音素材提供サイトに対して当該音素材データのダウンロードを指示する(ステップS308)。
【0035】
音素材提供サイトは、音素材加工・再生部22からの音素材データのダウンロード指示を受けて、該音素材データを音素材加工・再生部22に配信し(ステップS309)、音素材提供サイトにおける一連の処理を終了する。
【0036】
音素材加工・再生部22は音素材提供サイトから配信された音素材データを受信すると共に該受信した音素材データを任意のファイル名を付与し、任意の保存場所を指定して保存して(ステップS310)、加工・プレビュー処理を実行する(ステップS311)。
【0037】
映像編集部21はステップS307の試聴処理を実行した後、加工・プレビュー処理を実行する(ステップS311)。
【0038】
ステップS311の加工・プレビュー処理では、映像編集部21がプレビューモードで映像データの再生を行い、音素材加工・再生部22がこの映像データの再生前又は再生中に、必要に応じてステップS310で保存された音素材データを加工し、映像データの再生と同期して該必要に応じて加工された音素材データを再生し、音素材データの加工に用いた加工パラメータを音素材データ中に記録する。加工・プレビュー処理の詳細な説明は、図5を参照しながら後述する。
【0039】
ステップS311の加工・プレビュー処理後、音素材加工・再生部22はMIDItoオーディオ変換処理を実行する(ステップS312)。
【0040】
MIDItoオーディオ変換処理では、音素材加工・再生部22及びソフトウェア音源部23により加工パラメータが記録された音素材データ(即ちMIDIデータ)を映像編集部21で映像データに付与できるオーディオフォーマットに変換する。MIDItoオーディオ変換処理の詳細な説明は、図6を参照しながら後述する。
【0041】
音素材加工・再生部22は、オーディオフォーマットに変換された音素材データを任意のファイルに保存すると共にその旨を映像編集部21に通知して(ステップS313)、音素材加工・再生部22における一連の処理を終了する。
【0042】
映像編集部21は、ステップS313で保存されたファイルを読み込み、該読み込まれたファイル、即ちオーディオフォーマットに変換された音素材データを映像データに付加して(ステップS314)、映像編集部21における一連の処理を終了する。
【0043】
上述したメイン処理では、音素材加工・再生部22が直接音素材データのリストの表示やダウンロードの指示を実行したが、別途ウェブブラウザーのような表示機能や指示出力機能を実行する処理部を設けて、これに音素材データのリストの表示やダウンロードの指示を実行させるようにしてもよい。
【0044】
また、音素材加工・再生部22は、オーディオフォーマットに変換された音素材データを任意のファイルに保存して(ステップS313)、映像編集部21が該保存されたファイルを読み込んだが、音素材加工・再生部22が、MIDItoオーディオ変換処理で音素材データのオーディオフォーマットに変換した後(ステップS312)、該オーディオフォーマットに変換された音素材データをファイルに保存せずに、直接映像編集部21に送信するようにしてもよい。
【0045】
図4は、図3におけるステップS307の試聴処理を示すフローチャートである。
【0046】
まず、ユーザが映像データ中における音素材データを付与する位置を操作子13を介して指定することにより、映像編集部21が該音素材データを付与する位置を設定し(ステップS401)、試聴モードに設定する(ステップS402)。
【0047】
次いで、映像編集部21は操作子13を介して入力される映像データの再生指示を受け付けると共にその指示があった旨を音素材加工・再生部22に通知する(ステップS403)
音素材加工・再生部22は、ステップS403の映像編集部21からの指示があった旨を受けて、図3のステップS306で表示された音素材データのリストの中から操作子13を介して予め指定された音素材データについて音素材提供サイトに対しストリーム配信を指示する(ステップS408)。
【0048】
音素材提供サイトは、ステップS408の音素材加工・再生部22からの音素材データに関するストリーム配信の指示を受けて、該指示に対応する音素材データのストリーム配信を実行する(ステップS415)。
【0049】
音素材提供サイトによりストリーム配信が実行されると、音素材加工・再生部22は音素材データを音素材提供サイトより受信し、ストリーム再生が可能であるか否か、即ち所定時間分の音素材データを蓄積したか否かを判別する(ステップS409)。この判別はストリーム再生を考慮したために行われる、即ち再生音がとぎれない程度の音素材データを音素材加工・再生部22が蓄積することを目的として行われる。上記所定時間は、例えば5秒であるが、ストリーム再生は、音素材加工・再生部22での音素材データの再生処理速度やインターネット等のネットワークの通信速度の影響を受けるため、上記所定時間は音素材加工・再生部22で設定する。また、ストリーム再生は後続のデータを受信しながら再生を行うため、上記所定時間分の音素材データの蓄積は、音素材データの全てを蓄積することではない。
【0050】
ステップS409の判別の結果、所定時間分の音素材データを蓄積した場合には、音素材加工・再生部22は映像編集部21に対して映像データの再生開始を指示し(ステップS410)、蓄積された所定時間分の音素材データと音素材提供サイトから引き続き配信されてくる音素材データとを音がとぎれないようにストリーム再生する(ステップS411)。
【0051】
一方、映像編集部21は、ステップS410の音素材加工・再生部22からの再生開始指示を受けて、映像データの再生を実行し(ステップS404)、操作子13を介して入力された映像データの再生停止指示又は有限である映像データの時間長に基づいて映像データの再生を継続するか否かを判別する(ステップS405)。
【0052】
ステップS409の判別の結果、映像編集部21が映像データの再生を継続する場合にはステップS404に戻り、映像データの再生を継続する一方、映像編集部21が映像データの再生を継続しない場合には、映像データの再生を停止する(ステップS406)。
【0053】
次いで、映像編集部21は、音素材加工・再生部22に対して音素材データの再生停止を指示し(ステップS407)、映像編集部21における一連の処理を終了し、図3のメイン処理に戻る。
【0054】
音素材加工・再生部22は、音素材データのストリーム再生開始後、ステップS407で映像編集部21から送信される音素材データの再生停止指示を受信したか否かを判別する(ステップS412)。
【0055】
ステップS412の判別の結果、該音素材データの再生停止指示を受信していない場合には、ステップS411に戻り、音素材データのストリーム再生を実行する一方、該音素材データの再生停止指示を受信した場合には、音素材データのストリーム再生を停止する(ステップS413)。
【0056】
次いで、音素材加工・再生部22は音素材提供サイトに対して音素材データのストリーム配信の停止を指示し(ステップS414)、音素材加工・再生部22における一連の処理を終了して、図3のメイン処理に戻る。
【0057】
音素材提供サイトは、音素材データのストリーム配信開始後、音素材加工・再生部22から送信されるストリーム配信の停止指示を受信して、音素材データのストリーム配信を停止し(ステップS416)、音素材提供サイトにおける一連の処理を終了し、図3のメイン処理に戻る。なお、ステップS412では、音素材加工・再生部22が映像編集部21からの音素材データの再生停止指示を受信したか否かを判別したが、音素材加工・再生部22が映像編集部21へとアクセスし、映像データの再生停止を検出したか否かを判別して、その結果、映像データの再生停止を検出していない場合には、ステップS411に戻り、映像データの再生停止を検出した場合には、ステップS413に進むようにしてもよい。
【0058】
上述した試聴処理では、音素材加工・再生部22が音素材提供サイトに対して、音素材データのストリーム配信の指示をし、音素材提供サイトがこれを受けて、音素材データのストリーム配信を実行し、音素材加工・再生部22が音素材提供サイトから配信されてくる音素材データのストリーム再生を実行し、このストリーム再生と同期して映像編集部21が映像データの再生を実行する。従って、ユーザは、音素材データを映像データに付加するためにダウンロードする前に、ストリーム再生により、映像データに対して音素材データ(例えば、BGM)がどのように付加されるのかを確認することができるので、映像編集の作業効率の向上を図ることができる(ダウンロードの際に必要なファイル名の指定や保存先の指定がストリーム再生では不要であり、かつ試聴の結果気にいらなかった場合のファイル消去作業も不要である。)特に、単なる音素材データのストリーム再生ではなく、映像データの再生と同期しての音素材データのストリーム再生であるので、映像データと付加される音素材データとの関係が非常にわかりやすいという効果を奏する。
【0059】
また、音素材加工・再生部22は、映像編集部21からの映像データの再生指示を受けて、音素材提供サイトに対し所定の音素材データのストリーム配信を指示し、音素材提供サイトからストリーム配信された音素材データがストリーム再生可能になった時点で、映像編集部21に対して映像データの再生開始許可を送信すると共に音素材データのストリーム再生をするので、映像データが先に再生開始されてしまうことがなく、音素材データと映像データとを確実に同期して再生することができる。
【0060】
さらに、音素材加工・再生部22は、音素材データの再生停止指示を受けて、音素材データのストリーム再生を停止し、さらに音素材提供サイトに対して音素材データのストリーム配信の停止を指示する、又は音素材加工・再生部22が映像編集部21へとアクセスし、映像データの再生停止を検出し、この検出結果に応じて音素材提供サイトに対して音素材データのストリーム配信の停止を指示するので、ユーザがいちいち、映像編集部21、音素材加工・再生部22及び音素材提供サイトに対して各停止指示を出す必要がなくなるという効果を奏する。
【0061】
上述した試聴処理では、音素材加工・再生部22が映像編集部21により送信された音素材データの再生停止指示を受信した場合に、音素材データのストリーム再生を停止したが、音素材データの時間長が映像編集部21での映像データの再生時間よりも短い場合には、音素材提供サイトは音素材データのストリーム配信を終了した時点で、音素材加工・再生部22からのストリーム配信の停止指示を受信せずに、自動的に音素材データのストリーム配信を停止するようにしてもよい。また、MIDIデータのようにファイルサイズの小さいデータの場合は、全データを受信してキャッシュメモリに蓄積した後に再生を開始し、再生が終了した時点でキャッシュメモリから消去される擬似ストリーム再生をしてもよく、この場合にもファイルのダウンロードが不要なため、上記と同様の効果が得られる。
【0062】
図5は、図3におけるステップS311の加工・プレビュー処理を示すフローチャートである。
【0063】
まず、映像編集部21が操作子13を介して入力されたユーザの指示に従い、映像編集用プログラムにおいてプレビューモードを設定する(ステップS501)。
【0064】
次いで、映像編集部21が操作子13を介して入力される映像データの再生指示を受け付けると共に映像データの再生指示を受け付けた旨を音素材加工・再生部22に対して送信する(ステップS502)。
【0065】
映像編集部21は、映像データを再生し(ステップS503)、操作子13を介して入力された映像データの再生停止指示又は有限である映像データの時間長に基づいて映像データの再生を継続するか否かを判別する(ステップS504)。
【0066】
ステップS504の判別の結果、映像編集部21が映像データの再生を継続する場合にはステップS503に戻り、映像データの再生を継続する一方、映像編集部21が映像データの再生を継続しない場合には、映像データの再生を停止する(ステップS505)。
【0067】
次いで、映像編集部21は、音素材加工・再生部22に対して音素材データの再生停止を指示し(ステップS506)、映像編集部21における一連の処理を終了し、図3のメイン処理に戻る。
【0068】
一方、音素材加工・再生部22は、まず、操作子13を介して入力された音素材データの加工処理指示に従い、図3のステップS310でファイルに保存した音素材データの加工処理を行う(ステップS507)。この加工処理は、具体的には、音素材データのパラメータを調整するものであり、このパラメータ(以下、「加工パラメータ」という)は例えば、パートオン/オフ、音色変更、ミキサー、エフェクト付与、テンポ変更又はピッチ変更等の、音素材データの音楽的な内容を簡易的に修正可能なパラメータにより構成されている。この加工処理では、MIDIシーケンサのようにMIDIイベントを1つずつ修正するといった高度な修正をするものとは異なり、初心者にも簡単に音素材データを加工できるようになっている。尚、操作子13を介して何ら加工処理指示が入力されない場合には、ステップS507の処理はキャンセルされる。
【0069】
次いで、音素材加工・再生部22は、映像編集部21から送信された映像データの再生指示を受け付けた旨を受信して、必要に応じて加工処理が施された音素材データを再生する(ステップS508)。この後、音素材データの再生中に、ステップS507と同様に、必要に応じて再生中の音素材データの加工処理を行う(ステップS509)。
【0070】
次に、音素材加工・再生部22は、映像編集部21から音素材データの再生停止指示を受信したか否かを判別し(ステップS510)、音素材データの再生停止指示を受信していない場合には、ステップS508に戻り、引き続き音素材データを再生する一方、音素材データの再生停止指示を受信した場合には、音素材データの再生を停止する(ステップS511)。上記ステップS510では、音素材加工・再生部22は、映像編集部21から音素材データの再生停止指示を受信したか否かを判別したが、音素材加工・再生部22が、映像編集部21にアクセスし、映像データの再生停止を検出したか否かを判別し、この結果、映像データの再生停止を検出していない場合には、ステップS508に戻る一方、映像データの再生停止を検出した場合には、ステップS511に進むようにしてもよい。
【0071】
最後に、音素材加工・再生部22は、ステップS507又はステップS509において、必要に応じて調整された加工パラメータを該音素材データ中に記録し(ステップS512)、一連の処理を終了して、図3のメイン処理に戻る。
【0072】
上述した加工・プレビュー処理では、映像編集部21がプレビューモードで映像データの再生を行い、音素材加工・再生部22がこの映像データの再生前又は再生中に、必要に応じて音素材データを加工し、映像データの再生と同期して該必要に応じて加工された音素材データを再生し、音素材データの加工に用いた加工パラメータを音素材データ中に記録する。従って、ユーザは、映像データを再生しつつ、音素材データの加工をリアルタイムに行うことができ、且つ音素材データを付与した映像データの作成の完了を待たずに、該加工された音素材データと映像データとの同期再生を確認することができる。よって、ユーザは映像データに対して音素材データ(例えば、BGM)がどのように付加されるのかを確認することができるので、映像編集の作業効率の向上を図ることができる。また、音素材加工・再生部22は、音素材データの再生中に加工処理を施すことができるので、映像編集の作業効率の向上を図ることができる。また、加工処理前と加工処理後の音素材データを比較試聴できるようにしてもよい。
【0073】
上述した加工・プレビュー処理では、音素材加工・再生部22が映像編集部21により送信された音素材データの再生停止指示を受信した場合に、音素材データの再生を停止したが、音素材データの時間長が映像編集部21での映像データの再生時間よりも短い場合には、音素材加工・再生部22は映像編集部21により送信される音素材データの再生停止指示を受信する前に、音素材データの再生を自動的に停止するようにしてもよい。
【0074】
図6は、図3におけるステップS312のMIDItoオーディオ変換処理を示すフローチャートである。
【0075】
まず、音素材加工・再生部22は、加工パラメータを記録した音素材データ、即ちこのMIDIデータを高速かつ各イベントの相対時間の関係を保ちながら読み出し、1イベント毎にMIDIデータをソフトウェア音源部23に送信する(ステップS601)。
【0076】
ソフトウェア音源部23は、受信した1イベント毎のMIDIデータに基づいてオーディオ波形データを生成し、生成されたオーディオ波形データをバッファ(RAM3)に一時保存して、所定時間分(例えば0.5秒分)のオーディオ波形データが保存されるごとに、それを音素材加工・再生部22に送信する(ステップS602)。オーディオ波形データを一時保存するバッファでは、オーディオ波形データを音素材加工・再生部22に送信することで空いた領域に順次生成されたオーディオ波形データを保存する。
【0077】
音素材加工・再生部22は、ソフトウェア音源部23から受信した所定時間分のオーディオ波形データを順次内部的に録音する(ステップS603)。ここで、内部的に録音するとは、ソフトウェア音源部23から受信するオーディオ波形データが発音され、その発した音を録音することではなく、音を出さずに記録していることを意味する。
【0078】
次いで、音素材加工・再生部22は、変換すべきMIDIデータの全ての読み出しが終了したか否かを判別し(ステップS604)、MIDIデータの全ての読み出しが終了していない場合には、ステップS601に戻り、MIDIデータの読み出しを継続する一方、MIDIデータの全ての読み出しが終了している場合には、ステップS603で内部的に録音されたオーディオ波形データを、映像編集部21で取り扱うことができる、予め設定されたオーディオフォーマットに変換し(ステップS605)、一連の処理を終了して、図3のメイン処理に戻る。
【0079】
上述したMIDItoオーディオ変換処理では、音素材加工・再生部22及びソフトウェア音源部23により加工パラメータが記録された音素材データ(即ちMIDIデータ)が映像編集部21で映像データに付加できるオーディオフォーマットに変換されるので、音素材加工・再生部22及びソフトウェア音源部23において、音素材データの加工から音素材データのオーディオフォーマットへの変換まで一挙に実行することができ、作業効率の向上を図ることができる。また、PC1の他に、別途、音素材データのオーディオフォーマットの変換を行う変換装置を設ける必要がなくなるという効果を奏する。
【0080】
上述した音素材提供サイトで提供する音素材データは、MIDIデータに限らず、オーディオ形式のデータでもよい。その場合、MIDItoオーディオ変換処理は不要である。また、オーディオ形式のデータの加工については、パートオン/オフや音色変更の処理、又はミキサーでの加工処理はできないものの、エフェクト付与、テンポ変更又はピッチ変更の処理は可能である。
【0081】
上述した音素材データの試聴(音素材データがストリーム再生される場合や音素材データが加工された上で映像データがプレビューされる場合)は、映像編集部21からの映像再生の開始又は停止の指示に応じて行われたが、音素材加工・再生部22からの指示に応じて行われるようにしてもよい。すなわち、音素材データがストリーム再生される場合は、音素材加工・再生部22でストリーム再生が指示されると、音素材提供サイトに音素材のストリーム配信が指示され、ストリーム配信された音素材データが再生可能になった時点で映像編集部21に映像データの再生が指示される。また、音素材加工・再生部22でストリーム再生の停止が指示されると、音素材提供サイトにストリーム配信の停止が指示されると共に映像編集部21に映像データの再生停止が指示される。また、音素材データが加工された上で映像データがプレビューされる場合は、音素材加工・再生部22でプレビュー処理が指示されると、音素材データの再生が開始されると共に映像編集部21に映像データの再生が指示され、音素材加工・再生部22でプレビュー処理の停止が指示されると、音素材データの再生が停止されると共に映像編集部21に映像データの再生停止が指示される。
【0082】
上記音素材データの加工処理では、音素材データのパートオン/オフ、音色変更、ミキサー、エフェクト付与、テンポ変更及びピッチ変更のパラメータを調整することとしたが、音素材データのパラメータはこれらすべてを備えていなくてもよく、少なくとも1つあればよい。また、これら以外の加工の種類があってもよい。また、パラメータの一つである「テンポ変更」に関しては、映像の再生時間と音素材データの時間長が一致するように自動的にテンポを変更してもよい。上記MIDItoオーディオ変換処理は、音素材加工・再生部22とソフトウェア音源部23とが協働することで実現したが、ソフトウェア音源部23単体でこの機能を実現してもよい。
【0083】
上記映像編集部21と音素材加工・再生部22とは、別々のプログラムをCPU2で実行することにより実現されたが、1つのプログラムをCPU2で実行することにより実現されるようにしてもよい。
【0084】
上記音素材サイトでは、音素材データをダウンロードさせるときは課金処理を実行し、音素材データのストリーム配信をするときは課金処理を実行しないようにしてもよい。
【0085】
上述した実施の形態の機能は、ソフトウェアであるプログラムの形態によっても実現することができ、これにより、本発明の目的が達成されることは云うまでもない。
【0086】
更にまた、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPU2)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは云うまでもない。
【0087】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0088】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、半導体メモリ、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、他の電子楽器12、又はネットワーク16を介して他のPC19からプログラムコードが供給されるようにしてもよい。
【0089】
【発明の効果】
以上詳細に説明したように、請求項1記載の音素材変換装置によれば、音素材データの再生パラメータの設定変更から映像データに付加可能なフォーマットのデータへの変換まで一挙に実行することができ、作業効率の向上を図ることができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係る音素材変換装置の概略ハードウェア構成を示すブロック図である。
【図2】 図1におけるPC1及びサーバコンピュータ18の機能構成を示すブロック図である。
【図3】 図1におけるPC1が備える映像編集部21及び音素材加工・再生部22とサーバコンピュータ18、即ち音素材提供サイトとで実行されるメイン処理を示したフローチャートである。
【図4】 図3におけるステップS307の試聴処理を示すフローチャートである。
【図5】 図3におけるステップS311の加工・プレビュー処理を示すフローチャートである。
【図6】 図3におけるステップS312のMIDItoオーディオ変換処理を示すフローチャートである。
【符号の説明】
1 PC 2 CPU(映像編集手段、音素材データ加工手段、変換手段、音素材データ再生手段) 3 RAM 4 ROM 5 MIDI・I/F 6 操作回路 7 表示回路 8 音源回路 9 外部記憶装置 10 通信I/F

Claims (1)

  1. 映像データを備えると共に該映像データを再生する映像データ再生手段と、
    MIDIファイル形式の音素材データの再生態様を制御するための再生パラメータを設定変更する音素材データ加工手段と、
    前記設定変更された再生パラメータに基づいて前記音素材データを逐次再生してオーディオ形式の波形データを生成する生成手段と、
    該生成された波形データを発音させることなくメモリに記録する録音手段と、
    該録音された波形データを前記映像データ再生手段にて再生される映像データに付加可能なフォーマットのデータに変換する変換手段と
    を備え
    前記音素材データ加工手段は、
    前記映像データ再生手段が前記映像データの再生を開始していない状態において、ユーザによる指示に応じて、事前に前記再生パラメータの設定変更を行う第1の加工処理部と、
    前記映像データ再生手段が前記映像データの再生を開始したことに応じて、前記第1の加工処理部にて設定変更された再生パラメータに基づいて前記音素材データの再生を開始する再生制御部と、
    前記映像データ再生手段が前記映像データの再生をしている状態において、ユーザによる指示に応じて、前記再生パラメータの設定変更を行う第2の加工処理部と、
    前記映像データ再生手段が前記映像データの再生を停止したことに応じて、前記音素材データの再生を停止させる再生停止制御部と、
    前記音素材データの再生が停止されたことに応じて、前記第2の加工処理部にて設定変更された再生パラメータを前記音素材データ中に記録する設定記録部と
    を備えることを特徴とする音素材変換装置。
JP2002054123A 2002-02-28 2002-02-28 音素材変換装置及び音素材変換用プログラム Expired - Fee Related JP3800109B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002054123A JP3800109B2 (ja) 2002-02-28 2002-02-28 音素材変換装置及び音素材変換用プログラム
US10/375,655 US7202407B2 (en) 2002-02-28 2003-02-27 Tone material editing apparatus and tone material editing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002054123A JP3800109B2 (ja) 2002-02-28 2002-02-28 音素材変換装置及び音素材変換用プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006041313A Division JP2006178496A (ja) 2006-02-17 2006-02-17 音素材変換装置及び音素材変換用プログラム

Publications (2)

Publication Number Publication Date
JP2003255939A JP2003255939A (ja) 2003-09-10
JP3800109B2 true JP3800109B2 (ja) 2006-07-26

Family

ID=28665361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002054123A Expired - Fee Related JP3800109B2 (ja) 2002-02-28 2002-02-28 音素材変換装置及び音素材変換用プログラム

Country Status (1)

Country Link
JP (1) JP3800109B2 (ja)

Also Published As

Publication number Publication date
JP2003255939A (ja) 2003-09-10

Similar Documents

Publication Publication Date Title
JP5259083B2 (ja) マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置
JP2005309029A (ja) 楽曲データのストリーミング提供サーバ装置及び方法並びにストリーミング利用電子音楽装置
US20060060065A1 (en) Information processing apparatus and method, recording medium, program, and information processing system
US7601905B2 (en) Electronic musical apparatus for reproducing received music content
US6639142B2 (en) Apparatus and method for processing waveform data to constitute musical performance data string
EP3462442A1 (en) Singing voice edit assistant method and singing voice edit assistant device
US7202407B2 (en) Tone material editing apparatus and tone material editing program
JP2006178496A (ja) 音素材変換装置及び音素材変換用プログラム
JP3800109B2 (ja) 音素材変換装置及び音素材変換用プログラム
JP3760873B2 (ja) 音素材取得装置及び音素材取得用プログラム
JP3755471B2 (ja) 音素材加工装置及び音素材加工用プログラム
JP4152643B2 (ja) 音素材試聴装置及び音素材試聴用プログラム
CN1734552B (zh) 用于再现接收的音乐内容的电子音乐装置
JP4740583B2 (ja) 音楽データ処理装置及びプログラム
JPH11305772A (ja) 電子楽器
JP2008233558A (ja) 電子楽器及びプログラム
JP2006267491A (ja) 自動演奏データ再生装置およびその制御方法を実現するためのプログラム
JP2011197664A (ja) 音楽ファイル再生装置及びシステム
JP3666392B2 (ja) 自動演奏装置
JP2018112725A (ja) 音楽コンテンツ送信装置、音楽コンテンツ送信プログラムおよび音楽コンテンツ送信方法
JP2018112724A (ja) 演奏ガイド装置、演奏ガイドプログラムおよび演奏ガイド方法
JP2003114680A (ja) 楽曲情報編集装置及び楽曲情報編集プログラム
JP2006048336A (ja) 電子音楽装置および同装置に適用されるコンピュータプログラム
JP3407625B2 (ja) 自動演奏装置、自動演奏方法及びプログラムを記録した媒体
JP5034602B2 (ja) 電子音楽装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060217

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060417

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3800109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140512

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees