JP3812437B2

JP3812437B2 - System and program for providing music media composed of auto verbs and compositions via communication network

Info

Publication number: JP3812437B2
Application number: JP2001391244A
Authority: JP
Inventors: 栄一郎青木
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2001-12-25
Filing date: 2001-12-25
Publication date: 2006-08-23
Anticipated expiration: 2021-12-25
Also published as: JP2003195866A

Description

【０００１】
【発明の属する技術分野】
この発明は、インターネット等の有線もしくは無線の通信ネットワークを利用してクライアントの希望に応じた自動作詞・作曲を行い、この自動作詞・作曲で生成した歌詞情報及び曲情報をＣＤ等の物理的記憶媒体に記録して、該クライアントに提供できるようにしたシステム及びプログラムに関する。
【０００２】
【従来の技術】
コンピュータ等を用いた自動作曲の分野において、ユーザが入力した所望の作曲パラメータに基づいて自動的に作曲を行う自動作曲装置若しくは自動作曲用プログラムが公知である。また、ユーザが所望の作詞パラメータを設定・入力することで、その設定・入力に基づいて自動的に作詞を行う自動作詞又は作詞支援装置若しくはプログラムも公知である。このような自動作曲装置等を使用すれば、専門の音楽的技術及び知識を有さずとも簡単に作曲・作詞を行えるので、特にアマチュア音楽家にとって大変便利であるが、専用の装置又はプログラムを購入しなければならない、という不利がある。一方、このような自動作曲装置等を用いてユーザ自らが作詞・作曲した楽曲をＣＤ（コンパクトディスク）等の物理的記憶媒体に記録することで、オリジナルＣＤを作成し、アマチュア音楽ライフを楽しむことが可能である。しかし、その場合ＣＤライタ等の専用の書き込み装置が別途必要であったため、誰でもが気軽にできるわけではなかった。すなわち、仮に自動作曲装置及び作詞支援装置等を所有していて簡単に自作楽曲の作成を行えたとしても、ＣＤ等の物理的記憶媒体に収録することが叶わなぬユーザにとっては、簡易な作曲の楽しみも低減してしまう。要するに、自動作曲装置や作詞支援装置等にて行う簡易な自作楽曲の生成というのは娯楽的側面の強いものであるから、専用の装置を多数取り揃えることなしに、より手軽に誰にでも実施できる方が好ましい。
【０００３】
【発明の解決しようとする課題】
この発明は上述の点に鑑みてなされたもので、誰でも手軽に作詞作曲を行うことができ、更に、作成した楽曲が収録された例えばＣＤ等の物理的記憶媒体の作成を簡易に行うことができるようにしようとするものである。
【０００４】
【課題を解決する手段】
本発明に係る通信ネットワークを介して自動作詞・作曲された音楽媒体を提供するシステムは、通信ネットワークを介してクライアントに接続されるサーバ装置からなり、該サーバ装置が、前記通信ネットワークを介して前記クライアントから作詞パラメータを受信し、該受信した作詞パラメータに基づき自動作詞する自動作詞手段と、前記通信ネットワークを介して前記クライアントから作曲パラメータを受信し、該受信した作曲パラメータに基づき自動作曲する自動作曲手段と、前記自動作詞手段及び前記自動作曲手段で生成した歌詞情報及び曲情報を、前記クライアントに固有の創作楽曲のファイルとして物理的記録媒体に記録する手段と、前記クライアントから前記創作楽曲のファイルを記録した前記物理的記録媒体の配送先の指定を受け付ける手段と、を具備することを特徴とする。
【０００５】
本発明によれば、ユーザ（クライアント）は、該サーバにアクセスし所望の作詞及び作曲パラメータを設定・入力するだけでよい。後はサーバ装置で、自動作詞及び自動作曲を行い、生成した歌詞情報及び曲情報を、該ユーザ（クライアント）に固有の創作楽曲のファイルとして物理的記録媒体（例えばＣＤ等）に記録し、該ユーザ（クライアント）から該創作楽曲のファイルを記録した該物理的記録媒体の配送先の指定を受け付ける。このようにして作成された該ユーザに固有の創作楽曲を記録した記録媒体は、郵送或いは宅配便等適宜の手段でユーザに渡される。従って各ユーザ（クライアント）では、自動作曲装置若しくは自動作曲用プログラム、及び自動作詞又は作詞支援装置若しくはプログラム、及びＣＤライタ等の専用の書き込み装置を所持することなく、手軽に作詞作曲を行うことができ、更に、作成した楽曲が収録された例えばＣＤ等の物理的記録媒体の作成を簡易に行うことができるようになる。
【０００６】
本発明は、装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することもできるし、また、コンピュータプログラム又はＤＳＰ等のプロセッサのプログラムの形態で実施することもでき、更にはそのようなプログラムを記憶したプログラム記憶媒体の形態で実施することもできる。
【０００７】
【発明の実施形態】
以下、添付図面を参照して本発明の一実施例について説明する。
本発明に係るサーバ装置は通信ネットワークに接続され、複数のクライアント端末（ユーザ）が該通信ネットワークを介して該サーバ装置にアクセス可能である。このサーバ装置は、作詞エンジン（自動作詞手段又は自動作詞プログラム）と作曲エンジン（自動作曲手段又は自動作曲プログラム）を具備している。該サーバ装置と接続したクライアント端末において、ユーザが所望の歌詞生成データ（作詞パラメータ）及び曲生成データ（作曲パラメータ）を入力することで、この入力に基づいてサーバ装置にて作詞エンジンと作曲エンジンとにより自動的に作詞及び作曲が行われる。サーバ装置としては、サーバ用の高性能コンピュータを使用することができ、また、作詞エンジン及び作曲エンジンで生成した歌詞情報及び曲情報を１つの曲のファイルとして所定の物理的記憶媒体（例えばＣＤ）に記録する書き込み手段（例えばＣＤライタ）を備える。一方、クライアント端末としては、パーソナルコンピュータあるいはその他任意の通信端末を用いてよく、少なくともサーバ装置と双方向的通信を行うことができ且つ音声情報（楽曲等を含む何らかの音の情報）を送受信できさえすればどのようなものであってもよく、例えば携帯電話等でもよい。
【０００８】
まず、本実施例に係るサーバ装置又はクライアント端末として使用可能なコンピュータ１０を含むシステムのハード構成例について図１を参照して説明する。図において、コンピュータ１０は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリーメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３を含む。ＣＰＵ１はコンピュータ１０全体の動作を制御するものである。このＣＰＵ１に対して、データ及びアドレスバス１Ｄを介して、ＲＯＭ２、ＲＡＭ３、Ａ／Ｄ変換回路４、検出回路５、表示回路６、音源回路７、効果回路７Ａ、外部記憶装置８、ＭＩＤＩインターフェース９及び通信インターフェース１１が接続されている。更に、ＣＰＵ１には、タイマ割り込み処理（インタラプト処理）における割り込み時間や各種時間を計時するタイマ１Ａが接続されている。
【０００９】
ＲＯＭ２はＣＰＵ１により実行あるいは参照される各種プログラムや各種データ等を格納するものである。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用されるものである。Ａ／Ｄ変換回路４にはマイクロフォン４Ａが接続されている。クライアント端末においては、ユーザは該マイクロフォン４Ａを介して歌唱音声を入力できる。そうすれば、後述するように、自動作詞した歌詞の歌唱音声信号をユーザの生音声で入力することができる。サーバ装置においては、こうしたＡ／Ｄ変換回路４及びマイクロフォン４Ａは不要である。検出回路５には、マウス、テンキー、キーボード等を含む入力操作子５Ａが接続されている。クライアント端末においては、ユーザ所望の歌詞パラメータ及び作曲パラメータの設定入力は入力操作子５Ａで行う。表示回路６はＣＰＵ１の制御に従って各種情報をディスプレイ６Ａに表示させるものである。ディスプレイ６Ａは液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成される。
【００１０】
音源回路７は、データ及びアドレスバス１Ｄを経由して与えられる楽音データに基づいて複数チャンネルで楽音信号を発生可能である。音源回路７から発生させられた楽音信号は、効果回路７Ａで所定の効果を付与された後、アンプやスピーカなどを含むサウンドシステム７Ｂから発音される。音源回路７における楽音信号発生方式は、波形メモリ、ＦＭ、物理モデル、高調波合成、フォルマント合成、アナログシンセサイザ方式、アナログシンセサイザシミュレイション等の従来から知られるいかなる方式を用いてもよく、また専用のハードウェアを用いて構成してもよいし、ＣＰＵ１によるソフトウェア処理で構成してもよい。なお、音源回路７は、サーバ装置においては必須であるが、クライアント端末においては具備していなくてもよい。音源回路７は、演奏データに基づく楽器音の楽音信号を発生する機能（以下、「楽器音音源」という）を少なくとも有する。なお、後述するように、自動作詞した歌詞の歌唱音声信号をサーバ装置の側で自動生成する場合は、サーバ装置の音源回路７は、演奏データ及び歌詞データに基づく歌唱音声の楽音信号を発生する機能（以下、「歌唱音源」という）を更に有するものとする。
【００１１】
ＭＩＤＩインターフェース（ＭＩＤＩＩ／Ｆ）９は、外部に対するＭＩＤＩ規格の演奏データの入出力を行うもので、これを介して外部のＭＩＤＩ機器１２と接続する。コンピュータ１０（サーバ装置又はクライアント端末）は通信インターフェース１１を介して通信ネットワークＸに接続され、他のコンピュータ１３（例えばクライアント端末に対するサーバ装置、又はサーバ装置に対するクライアント端末）との間で通信し、各種情報の送受信を行う。
【００１２】
外部記憶装置８は、ハードディスク（ＨＤＤ）、フレキシブルディスク又はフロッピー（登録商標）ディスク（ＦＤＤ）、コンパクトディスク（ＣＤ−ＲＯＭ）、磁気ディスク（ＭＯ）、ＤＶＤ（Digital Versatile Diskの略）、磁気メモリ等の何れか１又は複数であってよい。サーバ装置においては、外部記憶装置８として、少なくとも、作詞エンジン及び作曲エンジンで生成した情報を１つの曲のファイルとして着脱式の物理的記憶媒体に記録する書き込み装置（例えばＣＤライター、ＤＶＤライター等）を含む。
【００１３】
次に、この実施例に従う自動作曲からＣＤ作成までの動作手順の一例を図２及び図３のフローチャートに沿って説明する。図２及び図３において、左側のフロー（Ｓ１〜Ｓ１２）に或るクライアント端末側の動作手順例を示し、右側のフロー（Ｓ１３〜Ｓ２１）にサーバ装置の側の動作手順例を示す。なお、図示の都合上図２と図３に分けてフローチャートが描かれているが、夫々のＡ部同士及びＢ部同士が接続される一つのフローからなる。当該動作開始にあたってクライアント端末は、通信ネットワークを介してＵＲＬなどのアドレス入力に従って該サーバ装置にアクセスし、該サーバ装置（以下、単にサーバという）に接続する。サーバは、クライアント端末に対して所定の初期画面を送信し、クライアント端末のディスプレイ６Ａに表示させる。なお、後述するように、所定のユーザ登録手続きを済ませたユーザに対して識別情報（ユーザＩＤ）を付与し、このユーザＩＤを確認した上でこのサーバのサイトを利用許可するようにする場合は、この初期画面においてユーザＩＤを入力させるものとし、ＩＤ照合によって利用許可されたユーザのクライアント端末との間で以下の処理が行われる。
【００１４】
クライアント側のステップＳ１では、クライアント端末において所望の作詞パラメータを設定・入力し、通信ネットワークを介してサーバへ送信する。この作詞パラメータ（すなわち歌詞生成用データ）としては、例えば文章断片や単語等（具体的な例としては「出会い」、「橋の上」等々といった単語等）を任意に設定・入力してよい。サーバ側のステップＳ１３では、送信された作詞パラメータを通信ネットワークを介して受信し、作詞エンジンにて該受信した作詞パラメータに基づき自動作詞する。この作詞エンジンとしては公知又は未公開の適宜のものを用いてよいため、その具体的説明は省略する。ステップＳ１４では、前記作詞エンジンにて生成した歌詞をテキストデータの形式でクライアント端末に送信して、ユーザに自動作詞した歌詞を確認させる。クライアント側のステップＳ２では、クライアント端末においてサーバから前記歌詞テキストデータを受信して、ディスプレイ６Ａにて該歌詞テキストデータに基づく歌詞を表示する。次のステップＳ３では表示された歌詞でよいかどうかの確認を行う。ユーザは、生成された歌詞に不満があれば（ステップＳ３の「ＮＯ」）、ステップＳ１に戻り、再度作詞パラメータの設定・入力（曲全体又は一部分）を行い、サーバにて上記ステップＳ１３，Ｓ１４を再度行わせる。ユーザは、満足行く結果が得られるまでこうした作詞パラメータの変更を繰り返してサーバに自動作詞処理を何度も行わせることができる。なお、本実施例において作詞パラメータの設定（及び変更）とは、パラメータの設定のみならず、直接的な歌詞文字入力を含んでいてよい。すなわち、実際にユーザ自らが作詞を行いこれを入力すること、あるいはユーザ自らがサーバにて生成された歌詞に対して字句の変更修正、付け足し、削除等を行うことを含んでいてよい。
【００１５】
かくして歌詞生成が完成すると（ステップＳ３の「ＹＥＳ」）、次にクライアント側のステップＳ４では、クライアント端末は、作曲パラメータ（すなわち曲生成用データ）を設定・入力して、これをサーバに送信する。ユーザは、この作曲パラメータとして、例えばリズムのスタイル、シンコペーションの有無、ピッチダイナミクス等の各種の音楽条件を適宜設定・入力する。サーバ側のステップＳ１５では、クライアント端末から送信された作曲パラメータを受信し、作曲エンジンにて該受信した作曲パラメータに基づき、メロディと伴奏の演奏データを生成（自動作曲）する。この作曲エンジンとしては公知又は未公開の適宜のものを用いてよいため、その具体的説明は省略する。ステップＳ１６では、生成した楽曲（メロディと伴奏）の演奏データをクライアント端末に送信する。この時、サーバから出力する楽曲演奏データの形式は、オーディオデータ若しくはＭＩＤＩデータの何れであってもよく、ＭＩＤＩデータの場合、送受信するデータ量は少なくなるが、クライアント端末側にＭＩＤＩ音源を備える必要がある。また、オーディオデータを送受信するにあたっては、ＭＰ３方式等任意のデータ圧縮形式でデータ圧縮したオーディオデータを送受信するようにするとよい。クライアント端末のステップＳ５では、クライアント端末において、サーバから前記楽曲演奏データを受信し、受信した楽曲演奏データに基づき、自動作曲された楽曲の再生・発音を行う。次のステップＳ６では、ユーザは再生された楽曲を聴いて、これでよいかどうかの確認を行う。ユーザは、自動作曲された楽曲に不満があれば（ステップＳ６の「ＮＯ」）、ステップＳ４に戻り、再度作曲パラメータの設定・入力（曲全体又は一部分）を行い、サーバにて上記ステップＳ１５，Ｓ１６を再度行わせる。ユーザは、満足行く結果が得られるまでこうした作曲パラメータの変更を繰り返してサーバに自動作曲処理を何度も行わせることができる。なお、本実施例において作曲パラメータの設定（及び変更）とは、直接的な音符情報等の入力を含んでいてよい。すなわち、ユーザ自らが部分的に音高、音長、強弱等を修正することを含んでいてよい。ユーザが自動作曲された楽曲に満足した場合はステップＳ６の「ＹＥＳ」から図３のステップＳ７に進む。勿論、生成完了した楽曲（メロディと伴奏）の演奏データ及び歌詞テキストデータはサーバにて一時保存されており、後述するように、ＣＤ等の記録媒体に書き込むことができる。
【００１６】
なお、図２では、ステップＳ１〜Ｓ３、Ｓ１３〜Ｓ１４の処理を先に実行して自動作詞を行った後に、ステップＳ４〜Ｓ６、Ｓ１５〜Ｓ１６の処理を実行して自動作曲するようになっているが、この順番はどちらからであってもよく、ユーザが任意に選択できるようにしてもよい。
また、上述の自動作詞・自動作曲の過程において決定される歌詞の音節数とメロディの音符数とは、略々合致していることが好ましいので、歌詞を先に生成した場合は、生成された歌詞の音節数を作曲エンジンに供給し、これをメロディの音符数として作曲パラメータに自動的に含めて自動作曲処理がなされるようにするとよい。逆に、メロディを先に生成した場合は、生成したメロディの音符数を作詞エンジンに供給し、これを歌詞の音節数として作詞パラメータに自動的に含めて自動作詞処理がなされるようにするとよい。勿論、これに限らず歌詞の音節数とメロディの音符数を別々に設定・入力しておいて、後で数合わせして調整するようにしてもよい。
【００１７】
図３において、クライアント端末のステップＳ７では、生成された楽曲（歌詞、メロディ、伴奏）を物理的記録媒体に記録する際の記録形式設定画面がクライアント端末にて表示され、ユーザに所望の記録形式を選択するように促す。この記録形式設定画面の一表示例を図４に示す。図４において、メロディの記録形式として、大別してオーディオデータ形式による記録とＭＩＤＩデータ形式による記録とが表示され、ユーザに何れか一方を選択するように促す。ユーザは、マウスクリック等で、何れか一方の形式を選択する。更に、オーディオデータ形式とＭＩＤＩデータ形式の双方において、メロディの音源として、（１）「楽器音」、（２）「自分の歌」、（３）「機械に歌わせる」、の３通りの音源が表示され、ユーザは所望の音源に対応するラジオボタンをクリックすることで音源の選択を行う。
【００１８】
オーディオデータ形式で「楽器音」を選択することは、上記生成された楽曲のメロディを適宜の楽器音の音色で演奏したオーディオデータで記録媒体に記録させることを意味する。オーディオデータ形式で「自分の歌」を選択することは、上記生成された楽曲のメロディをユーザ自身の歌詞歌唱音声のオーディオデータで記録媒体に記録させることを意味する。オーディオデータ形式で「機械に歌わせる」を選択することは、上記生成された楽曲のメロディを機械で合成した歌詞歌唱音声のオーディオデータで記録媒体に記録させることを意味する。
ＭＩＤＩデータ形式で「楽器音」を選択することは、上記生成された楽曲のメロディを適宜の楽器音の音色のＭＩＤＩデータで記録媒体に記録させることを意味する。ＭＩＤＩデータ形式で「自分の歌」を選択することは、上記生成された楽曲のメロディをユーザ自身の歌詞歌唱音声のオーディオデータで記録媒体に記録させることを意味する。ＭＩＤＩデータ形式で「機械に歌わせる」を選択することは、上記生成された楽曲のメロディを歌詞歌唱音声合成用のＭＩＤＩデータで記録媒体に記録させることを意味する。
【００１９】
図４の例では、選択されたラジオボタンが中黒丸でマークされており、オーディオデータ形式で、「自分の歌」をメロディ音源として使用するように記録形式が設定されている。図４の設定画面下方に表示されたチェックボックス「歌詞データつき」は、楽曲データのファイルに歌詞テキストデータを付加するか否かをマウスクリック等でオン／オフ選択するものであり、図４の例では、歌詞テキストデータを付加するように設定されている。なお、上記生成された楽曲の伴奏については、オーディオデータ形式が選択された場合はオーディオデータ信号で記録され、ＭＩＤＩデータ形式が選択された場合はＭＩＤＩデータ信号で記録される。
【００２０】
図３のフローに戻って、クライアント側のステップＳ８では、上記のようにユーザが選択した記録形式を示す設定情報をサーバに対して送信する。サーバ側のステップＳ１７ではクライアント端末から送信された設定情報を受信する。一方、クライアント端末側のステップＳ９では、ユーザの選択した記録用メロディの音源が「自分の歌」かどうかの確認を行い、「自分の歌」が選択されている場合はステップＳ９の「ＹＥＳ」から次のステップＳ１０に進む。ステップＳ１０では、クライアント端末のディスプレイ６Ａ上に上記生成した歌詞テキストを表示し且つ上記生成された楽曲の再生・発音を行い、ユーザがこれを視聴しつつマイクロフォン４Ａを介して該楽曲のメロディをユーザ自身の歌詞歌唱音声で入力することで、該入力された歌詞歌唱音声に基づく歌唱音声信号をクライアント端末において一旦記録する。勿論、歌詞歌唱音声を発声するユーザは、作詞及び作曲パラメータを入力したユーザと必ずしも同一人である必要はなく、例えば歌の上手な人に替わりに歌ってもらってもよい。同様に、作詞及び作曲パラメータを入力、修正するユーザは必ずしも同一人である必要はなく、複数人で手分けして行ってもよい。次にステップＳ１１では、記録した歌唱音声信号（オーディオ信号）をサーバに対して送信する。その後ステップＳ１２に進む。クライアント端末からサーバへ歌唱音声信号を送信する転送形式としては、クライアント端末内にて一旦全部記録した後にオーディオファイルとしてまとめて転送されるものでもよいし、少しづつストリーム転送される形式であってもよい。
一方、メロディの音源として「楽器音」あるいは「機械に歌わせる」が選択されている場合は、ステップＳ９の「ＮＯ」からステップＳ１２にジャンプする。なお、メロディの音源として「楽器音」あるいは「機械に歌わせる」が選択されている場合は、ユーザによる所望の音色設定等を受け付けて、サーバに送信するる処理等がなされてよいが、図３では便宜上これらを省略する。
【００２１】
一方、サーバ側のステップＳ１８では、ステップＳ１７で受信した記録形式設定情報に基づきユーザによって選択したメロディの音源が「自分の歌」かどうかの確認を行う。「自分の歌」が選択されている場合はステップＳ１８のＹＥＳから次のステップＳ１９に進み、クライアント側の前記ステップＳ１１の処理によりクライアント端末から送信された歌唱音声信号を受信し、受信した歌唱音声信号を一時保存する。その後ステップＳ２０に進む。一方、メロディの音源として「楽器音」あるいは「機械に歌わせる」が選択されている場合は、ステップＳ１８のＮＯからステップＳ２０にジャンプする。
【００２２】
サーバ側のステップＳ２０では、前記ステップＳ１７で受信した記録形式設定情報に基づく記録形式で、サーバにて一時保存されている前記生成完了した楽曲（メロディと伴奏）の演奏データ及び歌詞テキストデータに基づく曲情報及び歌詞情報を、当該ユーザ（クライアント）に固有の創作楽曲のファイルとしてＣＤ等の物理的記憶媒体に記録する。記録形式としてオーディオデータ形式が選択された場合においてサーバ側のステップＳ２０で行われる処理の概要を機能ブロック図で示すと図５のようである。一方、記録形式としてＭＩＤＩデータ形式が選択された場合においてサーバ側のステップＳ２０で行われる処理の概要を機能ブロック図で示すと図６のようである。
【００２３】
先ず、図５を参照して「自分の歌」をメロディ音源として使用する場合の処理について説明する。ブロック２０は自動作曲エンジン（図２のステップＳ１５に相当）を示し、ブロック２２は該作曲エンジンで自動作曲された楽曲のＭＩＤＩメロディデータを示し、ブロック２３は該作曲エンジンで自動作曲された楽曲のＭＩＤＩ伴奏データを示す。ブロック３０は、ＭＩＤＩ伴奏データに基づき伴奏再生処理を行うＭＩＤＩ音源を示し、上記生成された楽曲の伴奏のオーディオ信号を発生する。ブロック２７は図３のステップＳ１９で保存した歌唱音声信号を示し、これが上記生成された楽曲のメロディを歌唱音声で表現したオーディオ信号に相当する。「自分の歌」をメロディ音源として使用する場合は、セレクタ（ブロック３１）でブロック２７からの歌唱音声信号を選択し、これとブロック３０で再生された伴奏のオーディオ信号とをミキサー（ブロック３２）においてミキシングする。このミキシングは、メロディの歌唱音声信号と伴奏のオーディオ信号とを同期させて行う。こうして、自動作曲した楽曲のメロディを自動作詞した歌詞の歌唱音声で演奏し、且つ該自動作曲した楽曲の伴奏を楽器音で演奏してなるオーディオファイルが作成される（ブロック３４）。
ブロック２１は自動作詞エンジン（図２のステップＳ１３に相当）を示し、ブロック２４は該作詞エンジンで自動作詞された歌詞のテキストデータ（電子的ディジタルテキストデータ）を示す。図４の記録形式設定画面にて「歌詞データつき」コマンドボタンがオンされた時は、ブロック３３のセレクタでこの歌詞テキストデータを選択し、ブロック３４で上記自動作曲した楽曲のオーディオファイルを作成する際に該オーディオファイルに添付する。このようにして、作成したオーディオファイルをＣＤライタ等の書き込み装置にてＣＤ等の物理的記録媒体に書き込み（ブロック３５）、ユーザの作成した楽曲の歌詞情報及び曲情報を記録した記録媒体を作成する（ブロック３６）。このようにＣＤ等の記録媒体に記録する歌詞情報は、歌詞歌唱音声という形態で曲情報の一部（メロディ）と結合した情報からなっていてもよいし、あるいは、電子的ディジタルテキストデータの形態からなっていてもよいし、さらには、特に図示しないが紙媒体に印刷した可視的文字形態からなっていてもよい。
【００２４】
次にメロディの音源として「楽器音」を使用する場合について説明する。ブロック２５はメロディ音源として使用する楽器音の音色を設定する処理を示し、この音色設定は前述のようにユーザが任意に行えるようにしてもよいし、あるいはサーバで所定音色に設定するようにしてもよい。ブロック２８は、自動作曲された楽曲のＭＩＤＩメロディデータ（ブロック２２）とブロック２５で設定された音色に基づきメロディ再生処理を行うＭＩＤＩ音源を示し、該楽曲のメロディのオーディオ信号を該設定された楽器音色で発生する。「楽器音」をメロディ音源として使用する場合は、セレクタ（ブロック３１）でブロック２８からの楽器音色のメロディのオーディオ信号を選択し、これとブロック３０で再生された伴奏のオーディオ信号とをミキサー（ブロック３２）においてミキシングする。このミキシングは、メロディのオーディオ信号と伴奏のオーディオ信号とを同期させて行う。こうして、自動作曲した楽曲のメロディと伴奏を夫々所定の楽器音で演奏してなるオーディオファイルが作成される（ブロック３４）。このオーディオファイルに対する歌詞テキストデータの付加は前述と同様に選択的になされる。この作成されたオーディオファイルは前述と同様にＣＤ等の記憶媒体に書き込まれる。
【００２５】
次に、メロディの音源として「機械に歌わせる」を使用する場合について説明する。ブロック２６はメロディ音源として使用する合成歌唱音声の音色を設定する処理を示し、この音色設定は前述のようにユーザが任意に行えるようにしてもよいし、あるいはサーバで所定音色に設定するようにしてもよい。この歌唱音色としては、例えば男声、女声、テナー、バリトン、ソプラノ、アルト等の歌声声質が設定される。ブロック２９は、自動作曲された楽曲のＭＩＤＩメロディデータ（ブロック２２）と、ブロック２６で設定された歌唱音色と、自動作詞された歌詞のテキストデータ（ブロック２４）とに基づき、メロディ歌唱音声合成処理を行うＭＩＤＩ音源を示し、該楽曲のメロディ歌唱音声のオーディオ信号を発生する。すなわち、自動作詞された歌詞の歌を、自動作曲された楽曲のメロディで、機械に歌わせた合成歌唱音声のオーディオ信号が発生される。この場合は、セレクタ（ブロック３１）でブロック２９からの合成歌唱音声のメロディのオーディオ信号を選択し、これとブロック３０で再生された伴奏のオーディオ信号とをミキサー（ブロック３２）においてミキシングする。このミキシングは、メロディのオーディオ信号と伴奏のオーディオ信号とを同期させて行う。こうして、自動作曲した楽曲のメロディを合成歌唱音声で演奏し、その伴奏を所定の楽器音で演奏してなるオーディオファイルが作成される（ブロック３４）。このオーディオファイルに対する歌詞テキストデータの付加は前述と同様に選択的になされる。この作成されたオーディオファイルは前述と同様にＣＤ等の記憶媒体に書き込まれる。
【００２６】
次に、記録形式としてＭＩＤＩデータ形式が選択された場合について、図６を参照して説明する。なお、図５を参照して上述したオーディオデータ形式の場合と重複するものは上記を援用し説明を省略する。この場合は、ＭＩＤＩデータの形式でファイルを生成するため、ＭＩＤＩ伴奏データとＭＩＤＩメロディデータをオーディオデータに変換する必要がないので、図５のブロック２８，２９，３０のようなＭＩＤＩ音源及びブロック３２のミキサーは不要である。
【００２７】
まず、メロディの音源として「自分の歌」を使用する場合について説明すると、クライアントから送信されたオーディオデータ形式の歌唱音声信号（ブロック２７）がセレクタ（ブロック３８）を介して選択され、作曲エンジン（ブロック２０）で自動作曲された楽曲のＭＩＤＩ伴奏データ（ブロック２３）と組み合わせて、自動作詞・作曲した楽曲のＭＩＤＩファイルを作成する（ブロック３９）。この場合該ＭＩＤＩファイル中には、オーディオ歌唱音声信号とＭＩＤＩ伴奏データとを同期して再生できるように適宜の同期データを含ませるとよい。このＭＩＤＩファイルに対する歌詞テキストデータの付加は前述と同様に選択的になされる。歌詞テキストデータの付加はＭＩＤＩファイルに対して該テキストデータをテキストメタイベントで埋め込むようにしてよい。この作成されたＭＩＤＩファイルは前述と同様にＣＤ等の記憶媒体に書き込まれる（ブロック３５，３６）。
【００２８】
次にメロディの音源として「楽器音」を使用する場合について説明する。この場合は、自動作曲された楽曲のＭＩＤＩメロディデータ（ブロック２２）に対して、ブロック２５で設定されたメロディ用の楽器音色を示す楽器音色データを付加して、ＭＩＤＩメロディデータセットを構成する。これをセレクタ（ブロック３８）を介して選択し、作曲エンジン（ブロック２０）で自動作曲された楽曲のＭＩＤＩ伴奏データ（ブロック２３）と組み合わせて、自動作詞・作曲した楽曲のＭＩＤＩファイルを作成する（ブロック３９）。このＭＩＤＩファイルに対する歌詞テキストデータの付加は前述と同様に選択的になされる。この作成されたＭＩＤＩファイルは前述と同様にＣＤ等の記憶媒体に書き込まれる（ブロック３５，３６）。
【００２９】
次にメロディの音源として「機械に歌わせる」を使用する場合について説明する。この場合は、自動作曲された楽曲のＭＩＤＩメロディデータ（ブロック２２）に対して、ブロック２６で設定されたメロディ用の合成歌唱音声の音色を示す歌唱音色データを付加し、更に、ブロック３７の処理によって作成した歌詞に対応する音節データを付加して、音節データ付きのＭＩＤＩメロディデータセットを構成する。これをセレクタ（ブロック３８）を介して選択し、作曲エンジン（ブロック２０）で自動作曲された楽曲のＭＩＤＩ伴奏データ（ブロック２３）と組み合わせて、自動作詞・作曲した楽曲のＭＩＤＩファイルを作成する（ブロック３９）。ブロック３７では、自動作詞された歌詞のテキストデータ（ブロック２４）に基づき、ＭＩＤＩメロディデータ（ブロック２２）の各ノートイベントに対応づけて歌詞の音節データを作成し、該ＭＩＤＩメロディデータに付加する。クライアント端末での再生時においては、クライアント端末側に設けた歌唱音源により、このＭＩＤＩメロディデータセットにおけるＭＩＤＩメロディデータと音節データ及び歌唱音色データとに基づき、当該歌詞を当該メロディで歌唱している音声信号が合成される。よって、この場合はクライアント端末側に歌唱音源が必要となる。ＭＩＤＩファイルに対する歌詞テキストデータの付加は前述と同様に選択的になされる。この作成されたＭＩＤＩファイルは前述と同様にＣＤ等の記憶媒体に書き込まれる（ブロック３５，３６）。
【００３０】
図３のフローに戻ると、クライアント端末側のステップＳ１２では、前記サーバ側のステップＳ２０の処理を経て作成された物理的記憶媒体の配送先を指定・入力して、入力した配送先の指定をサーバに送信してこれを通知する。配送先としては、例えばユーザ自宅住所等任意の場所を指定することができ、また人に贈呈する場合は贈呈先の住所等を指定してよい。サーバ側のステップＳ２１では、クライアントから送信された配送先の指定を受信し、該受信したクライアント指定の配送先に宛てて前記作成した記録媒体を、郵送或いは宅配便等適宜の手段で、物理的に発送する。なお、作成された記録媒体を発送することなく、サーバ側の受け渡し窓口にユーザが出向いてこれを受け取るようにしてもよい。その場合クライアント側のステップＳ１２で「窓口受取」を選択できるようにする。
【００３１】
このようにして、ユーザは、サーバにアクセスして簡単なパラメータ設定の入力をするだけで、手軽に作詞作曲を行うことができ且つその曲に対して好みにより自前の歌を入れ、更に、作成した楽曲が収録された例えばＣＤ等の物理的記憶媒体の作成を簡易に行うことができ、郵送或いは宅配便等適宜の手段で物理的に配送されたＣＤ等の記憶媒体を得ることができる。
なお、クライアント端末において、希望する記録媒体の種類（例えばＣＤ、ＤＶＤ、ＭＤ等）を指定できるようにしてもよい。また、サーバにおいて、記憶媒体のジャケットとして例えば曲の題名及び適宜の写真、イラスト、ライナーノート等を含む付加的印刷物を製作して、ユーザに配送する記憶媒体に付加するようにしてもよい。その場合、作成する付加的印刷物の内容は、ユーザが予め作成した完成品情報をサーバに送信するようにしてもよいし、あるいはユーザが写真、イラスト等一部の材料を用意してこれをサーバに送信し、サーバ側でこれに基づき適宜編集して作成するようにしてもよいし、あるいはサーバ側において自動作成済みの歌詞等に基づき全面的に自動作成するようにしてもよい。このように、ジャケット等を記憶媒体に付加することで、例えば、より本格的なＣＤ等を製作することができる。
なお、サーバにおいて各クライアント毎に作成した楽曲の情報を蓄積するデータベースを具え、或るクライアントの固有の創作楽曲が複数曲分貯まった後に、これを１記憶媒体（例えばＣＤ１枚）に書き込むようにして該クライアントに発送するようにしてもよい。
【００３２】
本発明の変形例として、所定のクライアント登録手続きを済ませたクライアント（ユーザ）に対して識別情報（クライアントＩＤ）を付与し、クライアントＩＤを有するクライアント（ユーザ）だけがこのサーバのサイトを利用できるようにしてよい。この場合は、サーバは、各クライアントを識別するためのＩＤ毎に各クライアントにおける作詞作曲についての嗜好傾向等に関する情報等のようなクライアント情報を多数蓄積してなるデータベースを具備する。クライアント（ユーザ）が初めて当該サーバを利用する際に、先ずクライアント登録手続きを行い、クライアントＩＤの付与を受ける。この時、サーバは、クライアント好みの音楽ジャンル等の音楽的嗜好に関する情報等をクライアントに申告させ、データベースに登録する。サイト利用に際して、サーバは、クライアントに対して、クライアントＩＤを入力するように要求して、各クライアントを識別する。上述した自動作詞及び自動作曲を行う際、サーバは、識別したクライアントの音楽的嗜好情報等に基づき、その識別したクライアントについて特有の自動作詞・作曲を行うようにしてよい。そうすれば、入力された作詞・作曲パラメータに対して各クライアントの好み等に応じた固有の作詞・作曲結果をもたらすことができる。例えば、或るクライアントＡと別のクライアントＢが、同じ作詞パラメータを入力したとしても、その結果得られる歌詞内容は、クライアントＡに対して歌詞内容Ｃ、クライアントＢに対して歌詞内容Ｃ’という具合に、前記データベースに蓄積されたクライアント情報に基づいて各クライアント毎に夫々違ったものにすることができ、個々のクライアントに対して各人の個性・好みを反映したユニークな楽曲創作を行える。
【００３３】
【発明の効果】
以上のように本発明によれば、誰でも極めて手軽に作詞作曲を行うことができ、更に、創作した楽曲が収録されたＣＤ等の物理的記憶媒体の製作を簡易に行えるという優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施例に係るサーバ装置又はクライアント端末として使用可能なコンピュータを含むシステムのハード構成例を示すブロック図。
【図２】同実施例に係るサーバル装置及びクライアント端末側における、自動作曲からＣＤ作成までの処理例の一部を示すフローチャート。
【図３】図２のフローチャートの続きの部分を示すフローチャート。
【図４】同実施例において、クライアント端末のディスプレイに表示される記録形式設定画面の一表示例を示す図。
【図５】同実施例において、生成した楽曲を物理的記憶媒体に書き込む処理の概要を示す機能ブロック図であり、記録形式がオーディオデータ形式による場合の機能ブロック図。
【図６】同実施例において、生成した楽曲を物理的記憶媒体に書き込む処理の概要を示す機能ブロック図であり、記録形式がＭＩＤＩデータ形式による場合の機能ブロック図。
【符号の説明】
１ＣＰＵ
２ＲＯＭ
３ＲＡＭ
４Ａ／Ｄ変換回路
５検出回路
６表示回路
７音源回路
８外部記憶装置
９ＭＩＤＩインターフェース
１０コンピュータ（サーバ装置又はクライアント）
１１通信インターフェース[0001]
BACKGROUND OF THE INVENTION
The present invention uses a wired or wireless communication network such as the Internet to perform autoverbs / compositions according to the client's wishes, and stores the lyrics information and music information generated by the autoverbs / compositions in a physical storage such as a CD. The present invention relates to a system and a program that are recorded on a medium and can be provided to the client.
[0002]
[Prior art]
In the field of automatic composition using a computer or the like, an automatic composition apparatus or automatic composition program that automatically composes music based on desired composition parameters input by a user is known. There are also known auto-synchronization devices, lyrics support devices, or programs in which a user sets and inputs desired lyrics parameters and automatically performs lyrics based on the settings and inputs. If you use such an automatic music composition device etc., you can easily compose and write lyrics without having specialized musical skills and knowledge, so it is very convenient especially for amateur musicians, but you can purchase a dedicated device or program There is a disadvantage that you have to do. On the other hand, by recording music written and composed by the user himself / herself on a physical storage medium such as a CD (compact disc) using such an automatic music device, an original CD can be created and an amateur music life can be enjoyed. Is possible. However, in that case, a dedicated writing device such as a CD writer is required separately, so not everyone can easily do it. In other words, even if you own an automatic composition device and a song-writing support device and you can easily create your own composition, it is easy for a user who cannot record on a physical storage medium such as a CD. Will also reduce the enjoyment. In short, since the creation of simple self-made music performed by an automatic music composition device or song-writing support device has a strong entertainment aspect, it can be carried out by anyone more easily without having a large number of dedicated devices. Is preferred.
[0003]
[Problem to be Solved by the Invention]
The present invention has been made in view of the above points. Anyone can easily compose a song, and can easily create a physical storage medium such as a CD on which the created song is recorded. Is trying to be able to.
[0004]
[Means for solving the problems]
A system for providing an autoverb / composed music medium via a communication network according to the present invention comprises a server device connected to a client via a communication network, and the server device is connected to the client via the communication network. Auto-synchronizing means for receiving song parameters from the client and receiving the song parameters from the client via the communication network and receiving the song parameters from the client via the communication network. Means, and the lyrics information and the song information generated by the auto verb means and the auto song means are physically recorded as a file of a creative song unique to the client. Record Means for recording on a medium; From the client The physical recording medium on which the original music file is recorded Means for accepting designation of the delivery destination of It is characterized by that.
[0005]
According to the present invention, the user (client) only needs to access the server to set and input desired lyrics and composition parameters. After that, the server device performs automatic verbs and automatic music, and the generated lyric information and music information is physically recorded as a file of original music unique to the user (client). Record Recorded on a medium (eg CD) Then, the user (client) receives designation of the delivery destination of the physical recording medium on which the file of the creative music is recorded. . A record of the music created in this way that is unique to the user. Record The media is delivered to the user by appropriate means such as mail or courier. Ru . Therefore, each user (client) can easily compose a song without having a dedicated writing device such as an automatic composition device or an automatic composition program, an automatic verb or a lyrics support device or program, and a CD writer. In addition, physical records such as CDs that contain the created music Record It becomes possible to easily create a medium.
[0006]
The present invention can be configured and implemented not only as an apparatus invention but also as a method invention, or in the form of a computer program or a processor program such as a DSP. Further, it can be implemented in the form of a program storage medium storing such a program.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
The server device according to the present invention is connected to a communication network, and a plurality of client terminals (users) can access the server device via the communication network. This server device comprises a song engine (auto verb means or auto song program) and a composition engine (auto song means or auto song program). In the client terminal connected to the server device, the user inputs desired lyrics generation data (song parameter) and song generation data (music composition parameter), and based on this input, the server device creates a song engine and a song engine. Automatically composes and composes music. As the server device, a high-performance computer for a server can be used, and the lyrics information and the song information generated by the song engine and the song composition engine are stored as a single song file in a predetermined physical storage medium (for example, a CD). Writing means (for example, a CD writer) for recording. On the other hand, as a client terminal, a personal computer or any other communication terminal may be used. At least two-way communication with a server device can be performed and voice information (information of any sound including music) can be transmitted and received. Anything may be used, for example, a mobile phone or the like.
[0008]
First, a hardware configuration example of a system including a computer 10 that can be used as a server device or a client terminal according to the present embodiment will be described with reference to FIG. In the figure, a computer 10 includes a microprocessor unit (CPU) 1, a read only memory (ROM) 2, and a random access memory (RAM) 3. The CPU 1 controls the operation of the entire computer 10. With respect to the CPU 1, the ROM 2, the RAM 3, the A / D conversion circuit 4, the detection circuit 5, the display circuit 6, the sound source circuit 7, the effect circuit 7A, the external storage device 8, and the MIDI interface 9 are connected via the data and address bus 1D. And the communication interface 11 is connected. Further, the CPU 1 is connected to a timer 1A for measuring the interrupt time and various times in the timer interrupt process (interrupt process).
[0009]
The ROM 2 stores various programs executed by or referred to by the CPU 1, various data, and the like. The RAM 3 is used as a working memory for temporarily storing various data generated when the CPU 1 executes a predetermined program, or as a memory for temporarily storing a program being executed and data related thereto. Is. A microphone 4 </ b> A is connected to the A / D conversion circuit 4. In the client terminal, the user can input a singing voice via the microphone 4A. Then, as will be described later, it is possible to input the singing voice signal of the lyric lyrics as the user's live voice. In the server device, the A / D conversion circuit 4 and the microphone 4A are not necessary. An input operator 5A including a mouse, a numeric keypad, a keyboard and the like is connected to the detection circuit 5. In the client terminal, setting input of lyrics parameters and composition parameters desired by the user is performed by the input operator 5A. The display circuit 6 displays various information on the display 6A according to the control of the CPU 1. The display 6A is composed of a liquid crystal display panel (LCD), a CRT, or the like.
[0010]
The tone generator circuit 7 can generate a tone signal in a plurality of channels based on the tone data supplied via the data and the address bus 1D. The musical tone signal generated from the tone generator circuit 7 is given a predetermined effect by the effect circuit 7A, and then generated by the sound system 7B including an amplifier and a speaker. As the tone signal generation method in the tone generator circuit 7, any conventionally known method such as waveform memory, FM, physical model, harmonic synthesis, formant synthesis, analog synthesizer method, analog synthesizer simulation, etc. may be used. You may comprise using a hardware and you may comprise by the software process by CPU1. The tone generator circuit 7 is essential in the server apparatus, but may not be provided in the client terminal. The sound source circuit 7 has at least a function of generating musical tone signals of instrument sounds based on performance data (hereinafter referred to as “instrument sound source”). As will be described later, when the server device automatically generates the singing voice signal of the lyric lyrics, the tone generator circuit 7 of the server device generates a musical sound signal of the singing voice based on the performance data and the lyrics data. It further has a function (hereinafter referred to as “singing sound source”).
[0011]
A MIDI interface (MIDI I / F) 9 is used to input / output MIDI performance performance data to / from the outside, and is connected to an external MIDI device 12 via the MIDI interface. The computer 10 (server device or client terminal) is connected to the communication network X via the communication interface 11 and communicates with another computer 13 (for example, a server device for the client terminal or a client terminal for the server device). Send and receive information.
[0012]
The external storage device 8 includes a hard disk (HDD), a flexible disk or a floppy (registered trademark) disk (FDD), a compact disk (CD-ROM), a magnetic disk (MO), a DVD (abbreviation of Digital Versatile Disk), a magnetic memory, and the like. Any one or a plurality of these may be used. In the server device, as the external storage device 8, a writing device (for example, a CD writer, a DVD writer, etc.) that records at least information generated by the lyrics engine and the composition engine on a removable physical storage medium as one music file. including.
[0013]
Next, an example of an operation procedure from the automatic song to the CD creation according to this embodiment will be described with reference to the flowcharts of FIGS. In FIGS. 2 and 3, an example of an operation procedure on a client terminal side is shown in the left flow (S1 to S12), and an example of an operation procedure on the server device side is shown in the right flow (S13 to S21). Note that, for convenience of illustration, the flowcharts are illustrated separately in FIGS. 2 and 3, but are composed of a single flow in which the A parts and the B parts are connected to each other. At the start of the operation, the client terminal accesses the server device according to an address input such as a URL via the communication network, and connects to the server device (hereinafter simply referred to as a server). The server transmits a predetermined initial screen to the client terminal and displays it on the display 6A of the client terminal. In addition, as will be described later, when identifying information (user ID) is given to a user who has completed a predetermined user registration procedure and the user ID is confirmed, the use of this server site is permitted. In this initial screen, the user ID is input, and the following processing is performed with the client terminal of the user permitted to use by ID verification.
[0014]
In step S1 on the client side, desired lyrics parameters are set and input at the client terminal, and transmitted to the server via the communication network. As the lyrics parameter (ie, data for generating lyrics), for example, a sentence fragment, a word, etc. (specific examples, such as a word such as “meeting”, “bridge”, etc.) may be arbitrarily set and input. In step S13 on the server side, the transmitted lyric parameter is received via the communication network, and the lyric engine performs an automatic verb based on the received lyric parameter. As the lyrics engine, a known or unpublished appropriate one may be used, and a specific description thereof will be omitted. In step S14, the lyrics generated by the lyrics engine are transmitted to the client terminal in the form of text data, and the user is allowed to confirm the lyrics that have been automatically entered. In step S2 on the client side, the lyrics text data is received from the server at the client terminal, and the lyrics based on the lyrics text data are displayed on the display 6A. In the next step S3, it is confirmed whether or not the displayed lyrics are acceptable. If the user is dissatisfied with the generated lyrics (“NO” in step S3), the user returns to step S1, sets and inputs the lyrics parameter again (entire or part of the song), and performs the above steps S13 and S14 at the server. Let's try again. The user can repeat the change of the lyrics parameter until the satisfactory result is obtained, and can cause the server to perform the automatic verb processing many times. In the present embodiment, the setting (and changing) of the lyric parameter may include not only the parameter setting but also direct lyric character input. In other words, the user may actually write the lyrics and input them, or the user himself / herself may change / correct / add / delete the lexical phrase with respect to the lyrics generated by the server.
[0015]
Thus, when the lyric generation is completed (“YES” in step S3), the client terminal then sets and inputs the composition parameters (that is, data for generating the tune) in step S4 on the client side, and transmits this to the server. . The user appropriately sets and inputs various music conditions such as a rhythm style, the presence or absence of syncopation, and pitch dynamics as the composition parameters. In step S15 on the server side, the composition parameters transmitted from the client terminal are received, and the performance data of the melody and accompaniment is generated (automatic composition) based on the received composition parameters by the composition engine. As this composition engine, a publicly known or unpublished appropriate one may be used, and a specific description thereof will be omitted. In step S16, performance data of the generated music (melody and accompaniment) is transmitted to the client terminal. At this time, the format of the music performance data output from the server may be either audio data or MIDI data. In the case of MIDI data, the amount of data to be transmitted / received is reduced, but it is necessary to provide a MIDI sound source on the client terminal side. There is. In transmitting / receiving audio data, audio data compressed in an arbitrary data compression format such as the MP3 method may be transmitted / received. In step S5 of the client terminal, the client terminal receives the music performance data from the server, and plays / sounds the automatically tuned music based on the received music performance data. In the next step S6, the user listens to the reproduced music and confirms whether or not this is acceptable. If the user is dissatisfied with the automatically tuned song (“NO” in step S6), the user returns to step S4 to set and input the composition parameters again (entire or part of the song), and the server performs the above steps S15, S15, S16 is performed again. The user can repeat the change of the composition parameters until a satisfactory result is obtained, and can cause the server to perform the automatic composition process many times. In the present embodiment, the setting (and changing) of the composition parameter may include input of direct note information or the like. In other words, the user himself / herself may partially correct the pitch, tone length, strength, and the like. If the user is satisfied with the automatically tuned music, the process proceeds from “YES” in step S6 to step S7 in FIG. Of course, the performance data and lyric text data of the generated music (melody and accompaniment) are temporarily stored in the server and can be written on a recording medium such as a CD as will be described later.
[0016]
In FIG. 2, after performing the processes of steps S1 to S3 and S13 to S14 to perform auto verbs, the processes of steps S4 to S6 and S15 to S16 are performed to perform automatic music. However, this order may be from either, and the user may arbitrarily select it.
In addition, it is preferable that the number of syllables of the lyrics and the number of notes of the melody determined in the process of the above-mentioned autoverb / autonomous music are substantially matched, so if the lyrics were generated first, The number of syllables of the lyrics may be supplied to the composition engine, and this may be automatically included in the composition parameters as the number of notes of the melody so that the automatic composition processing is performed. Conversely, if the melody is generated first, the number of notes of the generated melody is supplied to the lyrics engine, and this is automatically included in the lyrics parameter as the number of syllables of the lyrics so that autoverb processing is performed. . Of course, the present invention is not limited to this, and the number of syllables of the lyrics and the number of notes of the melody may be set and input separately, and the numbers may be adjusted later.
[0017]
In FIG. 3, in step S7 of the client terminal, a recording format setting screen for recording the generated music (lyrics, melody, accompaniment) on the physical recording medium is displayed on the client terminal, and the recording format desired by the user is displayed. Prompt to select. One display example of this recording format setting screen is shown in FIG. In FIG. 4, the recording format of the melody is roughly divided into recording in the audio data format and recording in the MIDI data format, and prompts the user to select one of them. The user selects one of the formats with a mouse click or the like. Furthermore, in both audio data format and MIDI data format, there are three types of sound sources: (1) “instrument sound”, (2) “your song”, and (3) “make the machine sing”. Is displayed, and the user selects a sound source by clicking a radio button corresponding to the desired sound source.
[0018]
Selecting “instrument sound” in the audio data format means that the melody of the generated music is recorded on the recording medium with the audio data played with the tone color of the appropriate instrument sound. Selecting “your song” in the audio data format means that the melody of the generated music is recorded on the recording medium with the audio data of the user's own lyrics singing voice. Selecting “Make the machine sing” in the audio data format means that the melody of the generated music is recorded on the recording medium with the audio data of the lyrics singing voice synthesized by the machine.
Selecting “instrument sound” in the MIDI data format means that the melody of the generated music is recorded on a recording medium with MIDI data of the appropriate tone of the instrument sound. Selecting “your song” in the MIDI data format means that the melody of the generated music is recorded on the recording medium as audio data of the user's own lyrics song voice. Selecting “Make the machine sing” in the MIDI data format means that the melody of the generated music is recorded on a recording medium as MIDI data for lyric singing voice synthesis.
[0019]
In the example of FIG. 4, the selected radio button is marked with a solid black circle, and the recording format is set so that “your song” is used as the melody sound source in the audio data format. The check box “with lyrics data” displayed at the bottom of the setting screen in FIG. 4 is used to select whether or not to add lyrics text data to the music data file with a mouse click or the like. In the example, it is set to add lyrics text data. The generated musical accompaniment is recorded as an audio data signal when the audio data format is selected, and is recorded as a MIDI data signal when the MIDI data format is selected.
[0020]
Returning to the flow of FIG. 3, in step S8 on the client side, setting information indicating the recording format selected by the user as described above is transmitted to the server. In step S17 on the server side, the setting information transmitted from the client terminal is received. On the other hand, in step S9 on the client terminal side, it is confirmed whether or not the sound source of the recording melody selected by the user is “my song”. If “my song” is selected, “YES” in step S9. To go to the next step S10. In step S10, the generated lyric text is displayed on the display 6A of the client terminal, and the generated music is reproduced / sounded, and the user can view the melody of the music via the microphone 4A while viewing it. By inputting it with its own lyrics singing voice, a singing voice signal based on the inputted lyrics singing voice is once recorded in the client terminal. Of course, the user who utters the lyrics singing voice does not necessarily have to be the same person as the user who has input the lyrics and composition parameters, and may be sung instead of a person who is good at singing. Similarly, the user who inputs and corrects the lyrics and composition parameters is not necessarily the same person, and may be divided by a plurality of persons. Next, in step S11, the recorded singing voice signal (audio signal) is transmitted to the server. Thereafter, the process proceeds to step S12. As a transfer format for transmitting the singing voice signal from the client terminal to the server, it may be recorded in the client terminal once and then transferred together as an audio file, or may be a stream transferred format little by little. Good.
On the other hand, if “instrument sound” or “make the machine sing” is selected as the sound source of the melody, the process jumps from “NO” in step S9 to step S12. If “instrument sound” or “make the machine sing” is selected as the sound source of the melody, a process of receiving a desired timbre setting by the user and transmitting it to the server may be performed. In FIG. 3, these are omitted for convenience.
[0021]
On the other hand, in step S18 on the server side, it is confirmed whether or not the sound source of the melody selected by the user based on the recording format setting information received in step S17 is “my song”. When “My Song” is selected, the process proceeds from YES in Step S18 to the next Step S19, receives the singing voice signal transmitted from the client terminal by the processing in Step S11 on the client side, and receives the received singing voice. Save the signal temporarily. Thereafter, the process proceeds to step S20. On the other hand, when “instrument sound” or “make the machine sing” is selected as the sound source of the melody, the process jumps from NO in step S18 to step S20.
[0022]
In step S20 on the server side, in the recording format based on the recording format setting information received in step S17, based on the performance data and lyric text data of the generated music (melody and accompaniment) temporarily stored in the server. The music information and the lyric information are recorded on a physical storage medium such as a CD as a file of a creative music unique to the user (client). FIG. 5 is a functional block diagram showing an outline of the processing performed in step S20 on the server side when the audio data format is selected as the recording format. On the other hand, when the MIDI data format is selected as the recording format, an outline of the processing performed in step S20 on the server side is shown in a functional block diagram as shown in FIG.
[0023]
First, referring to FIG. 5, a process in the case of using “your song” as a melody sound source will be described. Block 20 represents an automatic music composition engine (corresponding to step S15 in FIG. 2), block 22 represents MIDI melody data of a piece of music that has been automatically produced by the composition engine, and block 23 represents a piece of music that has been automatically produced by the composition engine. Indicates MIDI accompaniment data. A block 30 indicates a MIDI sound source that performs accompaniment playback processing based on MIDI accompaniment data, and generates an audio signal of the generated musical accompaniment. Block 27 shows the singing voice signal stored in step S19 of FIG. 3, which corresponds to an audio signal representing the melody of the generated music by singing voice. When “My Song” is used as a melody sound source, the selector (block 31) selects the singing voice signal from the block 27, and the audio signal of the accompaniment reproduced in the block 30 is mixed with the mixer (block 32). Mix in. This mixing is performed by synchronizing the melody singing voice signal and the accompaniment audio signal. In this way, an audio file is created in which the melody of the automatically tuned music is played with the singing voice of the lyric lyrics and the accompaniment of the automatically tuned music is played with the instrument sound (block 34).
Block 21 shows an auto verb engine (corresponding to step S13 in FIG. 2), and block 24 shows text data (electronic digital text data) of lyrics automatically made by the lyrics engine. When the “with lyrics data” command button is turned on in the recording format setting screen of FIG. 4, this lyrics text data is selected by the selector in block 33, and an audio file of the music piece that has been automatically operated is created in block 34. Attached to the audio file. In this way, the created audio file is written to a physical recording medium such as a CD by a writing device such as a CD writer (block 35), and a recording medium in which the lyrics information and the song information of the music created by the user are recorded is created. (Block 36). Thus, the lyric information to be recorded on a recording medium such as a CD may consist of information combined with a part of tune information (melody) in the form of lyric singing voice, or in the form of electronic digital text data. Further, although not particularly shown, it may be in the form of a visible character printed on a paper medium.
[0024]
Next, a case where “instrument sound” is used as a sound source of a melody will be described. Block 25 shows a process for setting the tone color of an instrument sound used as a melody sound source. This tone color setting may be arbitrarily set by the user as described above, or set to a predetermined tone color by the server. Also good. Block 28 indicates a MIDI sound source that performs melody reproduction processing based on the MIDI melody data (block 22) of the automatically tuned music and the timbre set in block 25, and the melody audio signal of the music is set to the set musical instrument. Generated by tone. When “instrument sound” is used as the melody sound source, the selector (block 31) selects the melody audio signal of the instrument tone color from the block 28, and the accompaniment audio signal reproduced in the block 30 is mixed with the mixer ( Mixing in block 32). This mixing is performed by synchronizing the melody audio signal and the accompaniment audio signal. In this way, an audio file is created in which the melody and accompaniment of the automatically tuned music are played with predetermined instrument sounds (block 34). The addition of the lyric text data to the audio file is selectively performed as described above. The created audio file is written to a storage medium such as a CD as described above.
[0025]
Next, a case where “Make a machine sing” is used as a melody sound source will be described. Block 26 shows a process for setting the tone color of the synthesized singing voice used as a melody sound source. The tone color setting may be arbitrarily set by the user as described above, or set to a predetermined tone color by the server. May be. As this singing tone color, for example, singing voice quality such as male voice, female voice, tenor, baritone, soprano, alto, etc. is set. The block 29 is a melody singing voice synthesis process based on the MIDI melody data (block 22) of the automatically tuned music, the singing tone set in the block 26, and the text data of the lyric lyrics (block 24). A MIDI sound source for performing music is generated, and an audio signal of the melody singing voice of the music is generated. That is, an audio signal of a synthesized singing voice is generated by causing a machine to sing a lyric song that has been automatically moved to a melody of a song that has been automatically moved. In this case, the selector (block 31) selects the melody audio signal of the synthesized singing voice from the block 29, and this and the accompaniment audio signal reproduced in the block 30 are mixed in the mixer (block 32). This mixing is performed by synchronizing the melody audio signal and the accompaniment audio signal. In this way, an audio file is created by playing the melody of the automatically tuned music with the synthesized singing voice and playing the accompaniment with the predetermined instrument sound (block 34). The addition of the lyric text data to the audio file is selectively performed as described above. The created audio file is written to a storage medium such as a CD as described above.
[0026]
Next, the case where the MIDI data format is selected as the recording format will be described with reference to FIG. In addition, the same thing as the case of the audio data format described above with reference to FIG. In this case, since the file is generated in the MIDI data format, it is not necessary to convert the MIDI accompaniment data and the MIDI melody data into audio data. Therefore, the MIDI sound source such as blocks 28, 29, and 30 in FIG. No mixer is needed.
[0027]
First, a case where “my song” is used as a sound source of a melody will be described. A singing voice signal (block 27) in an audio data format transmitted from a client is selected via a selector (block 38), and a composition engine ( In combination with the MIDI accompaniment data (block 23) of the piece of music that has been automatically tuned in block 20), a MIDI file of the tune and the music that has been composed is created (block 39). In this case, the MIDI file may include appropriate synchronization data so that the audio singing voice signal and the MIDI accompaniment data can be reproduced in synchronization. The addition of the lyric text data to the MIDI file is selectively performed as described above. The lyric text data may be added to the MIDI file by embedding the text data in a text meta event. The created MIDI file is written to a storage medium such as a CD as described above (blocks 35 and 36).
[0028]
Next, a case where “instrument sound” is used as a sound source of a melody will be described. In this case, the MIDI melody data set indicating the musical instrument timbre for melody set in block 25 is added to the MIDI melody data (block 22) of the automatically tuned music to constitute a MIDI melody data set. This is selected via the selector (block 38), and is combined with the MIDI accompaniment data (block 23) of the music automatically composed by the composition engine (block 20) to create a MIDI file of the auto verb / composed music ( Block 39). The addition of the lyric text data to the MIDI file is selectively performed as described above. The created MIDI file is written to a storage medium such as a CD as described above (blocks 35 and 36).
[0029]
Next, a case where “Make a machine sing” is used as a melody sound source will be described. In this case, singing timbre data indicating the timbre of the synthesized singing voice for melody set in block 26 is added to the MIDI melody data (block 22) of the automatically tuned music, and the processing in block 37 is further performed. A melody data set with syllable data is constructed by adding syllable data corresponding to the lyrics created by the above. This is selected via the selector (block 38), and is combined with the MIDI accompaniment data (block 23) of the music automatically composed by the composition engine (block 20) to create a MIDI file of the auto verb / composed music ( Block 39). In block 37, syllable data of the lyrics is created in association with each note event of the MIDI melody data (block 22) based on the text data of the lyric lyrics (block 24) and added to the MIDI melody data. At the time of reproduction on the client terminal, the voice singing the lyrics with the melody based on the MIDI melody data, syllable data, and singing tone data in the MIDI melody data set by the singing sound source provided on the client terminal side The signal is synthesized. Therefore, in this case, a singing sound source is required on the client terminal side. The addition of the lyric text data to the MIDI file is selectively performed as described above. The created MIDI file is written to a storage medium such as a CD as described above (blocks 35 and 36).
[0030]
Returning to the flow of FIG. 3, in step S12 on the client terminal side, the delivery destination of the physical storage medium created through the processing in step S20 on the server side is designated and entered, and the designated delivery destination is designated. Notify this by sending it to the server. As a delivery destination, for example, an arbitrary place such as a user's home address can be specified, and when presenting to a person, an address of the gift destination may be specified. In step S21 on the server side, the designation of the delivery destination transmitted from the client is received, and the created recording medium addressed to the received delivery destination designated by the client is physically sent by appropriate means such as mail or courier. Ship to. Note that the user may go to the delivery window on the server side and receive it without sending the created recording medium. In that case, “window reception” can be selected in step S12 on the client side.
[0031]
In this way, the user can easily compose a song by simply accessing the server and inputting simple parameter settings, and can add his own song to the song according to their preference. For example, a physical storage medium such as a CD in which the recorded music is recorded can be easily created, and a storage medium such as a CD physically delivered by an appropriate means such as mail or courier can be obtained.
Note that the client terminal may be able to specify a desired type of recording medium (for example, CD, DVD, MD, etc.). Further, in the server, an additional printed matter including, for example, a song title and appropriate photographs, illustrations, liner notes, etc., may be produced as a storage medium jacket and added to the storage medium to be delivered to the user. In that case, the contents of the additional printed matter to be created may be sent to the server as finished product information created in advance by the user, or the user prepares some materials such as photographs and illustrations as a server. And may be created by appropriately editing on the basis of this on the server side, or may be automatically created entirely based on lyrics or the like that have been automatically created on the server side. In this way, by adding a jacket or the like to the storage medium, for example, a more serious CD or the like can be manufactured.
It should be noted that the server has a database for storing information on the music created for each client, and after a plurality of music pieces unique to a certain client have been stored, it is written to one storage medium (for example, one CD). To the client.
[0032]
As a modification of the present invention, identification information (client ID) is given to a client (user) who has completed a predetermined client registration procedure, and only a client (user) having a client ID can use the site of this server. You can do it. In this case, the server includes a database that stores a large amount of client information such as information on preference tendency for song composition in each client for each ID for identifying each client. When a client (user) uses the server for the first time, a client registration procedure is first performed and a client ID is given. At this time, the server informs the client of information related to the musical preference such as the music genre preferred by the client and registers it in the database. When using the site, the server requests the client to input a client ID and identifies each client. When performing the above-described automatic verbs and automatic musical composition, the server may perform a specific automatic verb / composition for the identified client based on the musical preference information of the identified client. By doing so, it is possible to provide unique lyrics / composition results corresponding to the preferences of each client for the input lyrics / composition parameters. For example, even if a client A and another client B input the same lyrics parameters, the lyrics content obtained as a result is, for example, the lyrics content C for the client A and the lyrics content C ′ for the client B. In addition, each client can be made different based on the client information stored in the database, and unique music creation reflecting each person's personality and preference can be performed for each client.
[0033]
【The invention's effect】
As described above, according to the present invention, anyone can compose a song very easily, and further, it is possible to easily produce a physical storage medium such as a CD on which the created song is recorded. Play.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a hardware configuration example of a system including a computer that can be used as a server device or a client terminal according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a part of a processing example from automatic music to CD creation on the serval apparatus and client terminal side according to the embodiment;
FIG. 3 is a flowchart showing a continuation of the flowchart of FIG. 2;
FIG. 4 is a view showing a display example of a recording format setting screen displayed on the display of the client terminal in the embodiment.
FIG. 5 is a functional block diagram showing an outline of processing for writing a generated music piece to a physical storage medium in the embodiment, and a functional block diagram when a recording format is an audio data format;
FIG. 6 is a functional block diagram showing an outline of a process for writing the generated music piece to the physical storage medium in the embodiment, and a functional block diagram when the recording format is a MIDI data format;
[Explanation of symbols]
1 CPU
2 ROM
3 RAM
4 A / D conversion circuit
5 Detection circuit
6 Display circuit
7 Sound source circuit
8 External storage device
9 MIDI interface
10 Computer (server device or client)
11 Communication interface

Claims

A server device connected to a client via a communication network,
Auto verb means for receiving lyrics parameters from the client via the communication network, and for auto verbs based on the received lyrics parameters;
Automatic composition means for receiving composition parameters from the client via the communication network and performing automatic composition based on the received composition parameters;
And means for recording the physical record medium as a file unique creation music lyrics information and music information generated by said automatic lyrics means and the automatic composition means, to the client,
Means for accepting designation of a delivery destination of the physical recording medium in which the file of the creative music is recorded from the client ;
The system characterized by comprising .

A program executed on a computer of a server device connected to a client via a communication network,
Receiving lyrics parameters from the client via the communication network and performing autoverbs based on the received lyrics parameters;
Receiving composition parameters from the client via the communication network and performing automatic composition based on the received composition parameters;
And recording the lyrics information and music information generated in each step, the physical record medium as a file unique creation music to the client,
Receiving designation of a delivery destination of the physical recording medium in which the file of the creative music is recorded from the client;
It comprises.