JP4075901B2 - 楽曲データ生成システム及びプログラム - Google Patents

Description

この発明は、インターネットなどの通信ネットワークを介してサーバ及びクライアント端末を通信可能に接続し、クライアント端末を使用するユーザが所望する３次元（３Ｄ）音響特性付き楽曲データを生成するための楽曲データ生成システムに関する。

従来より、携帯用電話機端末において、インターネットなどを通じてコンテンツ配信サイトから提供される着信メロディ用楽曲のアレンジを変更するものがある。また、最近になって、非特許文献１，２に示されるように、音源が近づいてくるなどの効果を含む３Ｄポジショナルオーディオ技術が採用された携帯電話端末や、このような携帯電話端末に、音を移動させて立体音響や音の広がりを体感できる３Ｄ着信メロディを配信するサービスが現れている。
http://ascii24.com/news/i/tech/article/2004/12/09/653023-000.html http://www.yamaha.co.jp/news/2005/05011101.html

しかしながら、着信メロディ配信サービスの殆どは、変更したい楽曲（元ファイル）ないし変更可能なパラメータを予め用意されたものの中から選択するという所謂“テンプレート型”の曲変換を行う手法を用いるものである。つまり、ユーザは、予め決められたパターンで元ファイルを変換する際のバリエーションが選べるだけで、ユーザ独自のオリジナルな楽曲コンテンツを得ることができない。

なお、音像の位置を移動させる装置としては、例えば、特許文献１，２に示されるようなものがある。特許文献１では、ゲームプログラム或いはトラックボールやジョイスティック等の操作子により音像定位位置の移動状態が指示されるのに応じて左右２チャンネルからの楽音の音像位置を制御して音像移動のリアル感を豊かにすることができるようにしている。また、特許文献２には、トラックボール等の操作子の操作に基づいて操作位置に近い予定の音像移動径路上に音像を確実に移動させるようにしている。
特開平６−３２７１００号公報 特開平７−１４３５９８号公報

この発明は、このような事情に鑑み、クライアント端末のユーザによる位置指定操作に基づいてユーザ独自の３次元音響特性付き音楽コンテンツを自由に生成することができる楽曲データ生成システムを提供することを目的とする。

この発明の主たる特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続されるサーバ（ＳＶ）及びクライアント端末（ＣＬ；ＣＬａ，ＣＬｂ）から成るシステムであって、サーバ（ＳＶ）は、複数の楽曲データを蓄積する元楽曲蓄積手段（ＤＢ）と、元楽曲蓄積手段から楽曲データを読み出す元楽曲読出し手段（Ｓ４，Ｓ１２）と、クライアント端末（ＣＬ）から位置シーケンスデータを受信するシーケンス受信手段（Ｓ５，Ｓ１１）と、楽曲読出し手段により読み出された楽曲データに位置シーケンスデータを付加することにより、３次元音響特性をもって再生可能な位置シーケンス付き楽曲データ（３Ｄ楽曲データＭｄ）を生成する３次元楽曲生成手段（Ｓ５，Ｓ１４〜Ｓ１８）と、位置シーケンス付き楽曲データ（Ｍｄ）をクライアント端末（ＣＬ）に送信する３次元楽曲送信手段（Ｓ５，Ｓ１９）とを具備し、クライアント端末（ＣＬ）は、ユーザ操作に基づいて仮想的な音像の位置座標（Ｐｇ）を順次入力するシーケンス入力手段（Ｃ１９；Ｃ３４〜Ｃ４１）と、入力された一連の位置座標を位置シーケンスデータとして記録するシーケンス記録手段（Ｃ１９；Ｃ３９，Ｃ４０）と、記録された位置シーケンスデータをサーバ（ＳＶ）に送信するシーケンス送信手段（Ｃ２０）と、位置シーケンス付き楽曲データ（Ｍｄ）をサーバ（ＳＶ）から受信する３次元楽曲受信手段（Ｃ２４）と、受信された位置シーケンス付き楽曲データ（Ｍｄ）を再生可能に記憶する３次元楽曲記憶手段（２，４；Ｃ２５）と、記憶された位置シーケンス付き楽曲データ（Ｍｄ）を３次元音響特性をもって再生する３次元楽曲再生手段（Ｃ２５’）とを具備する楽曲データ生成システム〔請求項１〕が提供される。なお、括弧書きは、対応する実施例の参照記号等を表わし、以下においても同様である。

この発明による楽曲データ生成システムにおいて、サーバ（ＳＶ）は、さらに、クライアント端末（ＣＬ）からのリクエストに応じて楽曲読出し手段（Ｓ４）により読み出された楽曲データをクライアント端末（ＣＬ）に送信する元楽曲送信手段（Ｓ４）を具備し、クライアント端末（ＣＬ）は、さらに、楽曲データを要求するリクエストをサーバ（ＳＶ）に送信するリクエスト送信手段（Ｃ５）と、送信されたリクエストに応じてサーバ（ＳＶ）から送信されてくる楽曲データを受信する元楽曲受信手段（Ｃ１８）と、受信された楽曲データを再生可能に記憶する元楽曲記憶手段（２，４；Ｃ１８）とを具備し、シーケンス入力手段（Ｃ１９）による位置座標（Ｐｇ）の入力は、元楽曲記憶手段（２）に記憶された楽曲データの再生に並行して行われる（Ｃ３３〜Ｃ４１）〔請求項２〕ように構成することができる。

この発明による楽曲データ生成システムでは、シーケンス入力手段（Ｃ１９）は、ユーザ操作により順次指示される座標位置を連続的に入力する第１入力手段（Ｃ３８）、及び／又は、ユーザ操作により指示される移動態様に応じた座標位置系列を生成し入力する第２入力手段（Ｃ４０）を備える〔請求項３〕ように構成することができる。

この発明の別の特徴に従うと、通信ネットワーク（ＣＮ）を介してサーバ（ＳＶ）に通信可能に接続されるコンピュータ（クライアント端末：ＣＬ；ＣＬａ，ＣＬｂ）に、楽曲データを要求するリクエストをサーバ（ＳＶ）に送信するリクエスト送信ステップ（Ｃ３）と、送信されたリクエストに応じてサーバ（ＳＶ）から送信されてくる楽曲データを受信する元楽曲受信ステップ（Ｃ１８）と、元楽曲受信ステップで受信された楽曲データを再生可能に記憶する元楽曲記憶ステップ（Ｃ１８）と、元楽曲記憶ステップで記憶された楽曲データを再生すると共に、ユーザ操作により順次指示される座標位置を連続的に入力することにより（Ｃ３８）、及び／又は、ユーザ操作により指示される移動態様に応じた座標位置を入力することにより（Ｃ４０）、仮想的な音像の位置座標（Ｐｇ）を順次入力するシーケンス入力ステップ（Ｃ３４〜Ｃ４１）と、シーケンス入力ステップで入力された一連の位置座標を位置シーケンスデータとして記録するシーケンス記録ステップ（Ｃ３９，Ｃ４０）と、記録された位置シーケンスデータをサーバ（ＳＶ）に送信するシーケンス送信ステップ（Ｃ２０）と、リクエスト送信ステップで送信されたリクエストに対応する楽曲データに位置シーケンスデータを付加することにより生成された、３次元音響特性をもって再生可能な位置シーケンス付き楽曲データ（３Ｄ楽曲データＭｄ）を、サーバ（ＳＶ）から受信する３次元楽曲受信ステップ（Ｃ２４）と、３次元楽曲受信ステップで受信された位置シーケンス付き楽曲データ（Ｍｄ）を再生可能に記憶する３次元楽曲記憶ステップ（Ｃ２５）と、３次元楽曲記憶ステップで記憶された位置シーケンス付き楽曲データ（Ｍｄ）を３次元音響特性をもって再生する３次元楽曲再生ステップ（Ｃ２５’）とから成る手順を実行させるための楽曲データ生成プログラム〔請求項４〕が提供される。

この発明による楽曲データ生成システムでは、サーバ（ＳＶ）は、通信手段（８）よりインターネット等の通信ネットワーク（ＣＮ）を介して、通信機能及び楽曲再生機能を有する携帯用電話機端末（ＣＬａ）やパーソナルコンピュータ（ＣＬｂ）などのクライアント端末（ＣＬ）との間で送受信可能であり、３次元（３Ｄ）音響特性付き楽曲データ（３Ｄ楽曲データＭｄ）の元になる複数の楽曲データ（元楽曲データ）を蓄積する元楽曲蓄積手段（ＤＢ）を備え、クライアント端末（ＣＬ）からの要求に応じて元楽曲データを送信したり、元楽曲データを３次元音響特性付き楽曲データ（３Ｄ楽曲データＭｄ）に変換してクライアント端末（ＣＬ）に配信することができる。

まず、サーバ（ＳＶ）からクライアント端末（ＣＬ）に元楽曲データが送信されると（Ｓ４）、クライアント端末（ＣＬ）は、受信された元楽曲データの進行に対応して、ユーザ操作に応じて仮想的な音像位置（Ｐｇ）となる３次元（３Ｄ）位置座標を順次指示し、指示された一連の座標位置を記憶手段に記録していく（Ｃ６，Ｃ１９，Ｃ３４〜Ｃ４１）。この場合、座標位置の入力方法には、実際の座標位置を連続的に順次入力していく第１の方法（Ｃ３８）と、ユーザ操作により指示される移動態様に応じて座標位置を入力する第２の方法（Ｃ４０）があり、何れかの方法或いは両方法を併用することができる。

クライアント端末（ＣＬ）は、このようにして１つの楽曲データに対応して一連の座標位置（Ｐｇ）を入力すると（Ｃ３８，Ｃ４０）、この入力に対応して記録された一連の座標位置を位置シーケンスデータとしてサーバ（ＳＶ）に送信し（Ｓ２０）、サーバ（ＳＶ）は、受信された位置シーケンスデータを元楽曲データに付加して３次元音響特性付き楽曲データ（Ｍｄ）を生成し（Ｓ１４〜Ｓ１８）、この３Ｄ楽曲データをクライアント端末（ＣＬ）に配信する（Ｓ１９）。そして、クライアント端末（ＣＬ）は、サーバ（ＳＶ）から取得した３次元音響特性付き楽曲データ（Ｍｄ）を保存しておき、必要時に立体音響で再生することができる。例えば、クライアント端末（ＣＬ）が携帯用電話機端末（ＣＬａ）の場合には、あたかもスピーカ位置を飛び越え自由に音が飛んでくるように聞こえる着信報知音（着信メロディ）等として利用することができる。

従って、この発明によれば、クライアント端末においてユーザによる位置指定操作に基づき仮想音源位置（３Ｄ位置情報）を記録することにより３次元音響特性付き楽曲データを生成するようにしているので、ユーザ独自の３次元音響特性付き音楽コンテンツを生成することができる。また、楽曲データのアレンジを行うのではなく、仮想音源位置を自由に指定することができる。さらに、元楽曲データを再生しながら、ユーザにより任意の仮想音源位置を指定するようにしているので、３Ｄ楽曲データをその楽曲にマッチした立体音響で再生することができる。また、座標位置のシーケンス入力には２つの方法が用意されているので、位置の指定が難しい場合には、予め用意しておいた第２の方法による自動機能に従って位置シーケンスを生成することができる。

〔システムの概要〕
図１は、この発明の一実施例による３次元（３Ｄ）音響特性付き楽曲データ生成システム全体の構成例を表わす図である。この楽曲データ生成システムは、図１（１）は、３次元（３Ｄ）音響特性付き楽曲データ（以下「３Ｄ楽曲データ」という）を提供する３Ｄ楽曲提供サイトとして機能するサーバＳＶと、インターネット等の広域通信ネットワークＣＮを通じてサーバ（ＳＶ）と通信可能な複数のクライアント端末ＣＬ；ＣＬａ，ＣＬｂ（記号“ＣＬ”は、クライアント端末を一般的に示す）から成る。この例では、クライアント端末（ユーザ端末）ＣＬは、例えば、サーバＳＶとの通信機能を有し楽曲データ処理機能を備えた携帯用電話機端末ＣＬａやパーソナルコンピュータ（ＰＣ）端末ＣＬｂ等の電子音楽装置で構成される。クライアント端末ＣＬには、好適には、携帯用電話機端末ＣＬａが用いられ、このシステムで生成された３Ｄ楽曲データを着信メロディ等として任意の使用環境で楽しむことができる。

サーバＳＶの大容量の外部記憶装置には、クライアント端末ＣＬのユーザに３Ｄ楽曲データを提供するための複数のデータベースＤＢが構築されている。例えば、アプリケーションデータベースには、クライアント端末ＣＬで実行可能な３次元（３Ｄ）音響特性付き楽曲データ生成プログラム（以下「アプリケーション」という）を含むクライアント端末用各種アプリケーションが蓄積される。楽曲データベースには、３Ｄ楽曲データを生成する元になる既存タイプの多数の楽曲データ（「元楽曲データ」という）が蓄積され、各元楽曲データは、１乃至複数の楽音チャンネル分の音楽情報で構成される。また、テンプレートデータベースには、３Ｄ楽曲データを生成するために予め定められた位置シーケンスを与える多数の３Ｄテンプレートが蓄積されている。

各携帯用電話機端末ＣＬは、携帯用電話機端末ＣＬａの場合、無線基地局ＢＳ及び通信ネットワークＣＮを介してサーバＳＶに接続され、ＰＣ端末ＣＬｂの場合は通信ネットワークＣＮを介してサーバＳＶに接続される。図１（２）は、この楽曲データ生成システムを構成する各装置のハードウエア構成を説明するためのブロック図であり、クライアント端末ＣＬを基準に表わしている。

クライアント端末ＣＬについては、以下の説明では、主として携帯用電話機端末ＣＬａが用られるものとして説明するが（但し、通常の電話機能については説明を省略する）、前述したように、通信機能及び楽音データ処理機能を備えたＰＣのような汎用の情報処理装置ＣＬｂを用いてもよい。クライアント端末ＣＬは、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）部２、読出専用メモリ（ＲＯＭ）部３、補助記憶部４、入力デバイス５、音源６、表示器７、通信インターフェース（通信Ｉ／Ｆ）８などを備え、これらの装置１〜８はバス９を介して互いに接続されている。

ＣＰＵ１、ＲＡＭ部２及びＲＯＭ部３は本体処理部を構成する。ＲＯＭ部３は、機器全体を統括制御するためのファームウェアや各種プログラム等を記憶しており、ＣＰＵ１は、ＲＯＭ部３に記憶されたプログラムに従い機器全体を統括制御する。ＲＡＭ部２は、各種処理に際してＯＳや各種プログラムの作業用エリアとして利用され、例えば、位置シーケンスデータ作成時には、元楽曲データや位置イベント或いは３Ｄテンプレート等の各種データを一時的に格納（仮記憶）しておくための各種データ記憶（テンポラリメモリ）領域が確保される。なお、携帯用電話機端末ＣＬａの場合、ＲＡＭ部２乃至ＲＯＭ部３には、フラッシュメモリ等の不揮発性半導体メモリを用いることができる。

補助記憶部（外部記憶部）４は、３Ｄ楽曲データを含む各種データやネットセッション制御プログラム、アプリケーション等を記憶（保存）しておくのに利用される。ＰＣ端末ＣＬｂの場合ハードディスク駆動装置（ＨＤＤ）が用いられるが、携帯用電話機端末ＣＬａの場合には、ＨＤＤは備えられず、フラッシュメモリ等の不揮発性半導体メモリが用いられる。この場合、ＲＡＭ部２やＲＯＭ部３に用いられるフラッシュメモリ等の不揮発性半導体メモリに補助記憶部４の機能を持たせて、当該半導体メモリに全てのデータ類を保存しておくように構成することができる。

入力デバイス５は、各種入力キー等の操作子と、これら操作子の操作内容を検出して本体処理部に導入する操作検出回路から成る。携帯用電話機端末ＣＬａの場合、キー操作子には、例えば、カーソルキー、機能キー、オンフックキー、オフフックキー、電話用数字・記号キーなどがあり、ＰＣ端末ＣＬｂの場合にはマウスやキーボードが操作子に用いられる。表示器７は、各種画面を表示するディスプレイと、ＣＰＵ１からの指令に従って画面表示を制御する表示回路から成り、クライアント端末ＣＬの動作状態を表示したりユーザ操作に対する表示援助を行う。

音源部６及び音源部６に接続されるサウンドシステム１０は楽音再生部を構成する。すなわち、音源部６は、音源回路（ＴＧ）やＤＳＰ（ディジタル信号処理器）等を含み、元楽曲データや３Ｄ楽曲データに対応する楽音信号を生成し、特に、ＤＳＰは、３Ｄ楽曲データに従って３Ｄ音場制御を行う機能を有する。サウンドシステム１０は、Ｄ／Ａ変換部やアンプ、ステレオツインスピーカを備え、音源部６からの楽音信号に基づく楽音を発生し、特に、３Ｄ楽曲データの再生により、楽音の音像が所定の経路で移動して音の広がりがある立体音響空間を実現することができる。

通信Ｉ／Ｆ８は、少なくともインターネットに直接的／間接的に接続可能なモデムやイーサ等の通信インターフェースであり、有線に限らず無線通信を行うインタフェースでもよい。クライアント端末ＣＬは、通信Ｉ／Ｆ８により、インターネットを含むネットワークＣＮを通じてサーバＳＶと交信することができ、サーバＳＶに対して元楽曲データや３Ｄ楽曲データの要求及び受信を行うことができる。この場合、携帯用電話機端末ＣＬａでは、通信Ｉ／Ｆ８から無線データ通信で基地局ＢＳを介してサーバＳＶと交信する。

なお、サーバＳＶのハードウエア構成については、図１（２）で説明したクライアント端末ＣＬとほぼ同様であるが、サウンドシステム１０は装備していなくてもよい。サーバＳＶは大容量の外部記憶装置（ＨＤＤ等）を備える。この外部記憶装置には、前述したように、アプリケーション、元楽曲データ、３Ｄテンプレート等をそれぞれ蓄積した複数のデータベースＤＢが構築されると共に、各クライアント端末ユーザを管理するためのユーザ管理データファイルなども記憶される。

〔動作の概要〕
図２は、この発明の一実施例による楽曲データ生成システムにおける全体的な処理動作をクライアント端末の表示画面の推移と共に表わした図である。このシステムの処理動作は、アプリケーション即ち３Ｄ音響特性付き楽曲データ生成プログラムをクライアント端末ＣＬにダウンロードする第１段階と、ダウンロードしたアプリケーションをクライアント端末ＣＬ上で実行する第２段階に分かれる。

第１段階では、まず、ユーザは、クライアント端末ＣＬからサーバＳＶにアプリケーションを要求する（ステップＣ１）。このとき、アプリケーションのリクエストと共にクライアント端末ＣＬの機種、ユーザＩＤ等を通知する。サーバＳＶは、新規ユーザであればユーザ管理データファイルにユーザ登録し、そうでなければ、ユーザ管理データファイルの当該端末ユーザの登録データと照合して機種やユーザＩＤ、ユーザアドレス等を確認した上、アプリケーションをクライアント端末ＣＬに配信する（ステップＳ１）。そして、クライアント端末ＣＬでは、配信を受けたアプリケーションを記憶手段（補助記憶部４又はＲＯＭ部３）に記憶する（ステップＣ２）。

第２段階は、クライアント端末ＣＬにて、記憶手段に記憶されたアプリケーションを起動することにより開始し、図示のような画面推移Ｃ３〜Ｃ７を呈する。まず、アプリケーションを起動すると、「最近の人気曲」や「曲名別検索」、「アーティスト別検索」などの楽曲選択に必要な項目を載せた起動画面（アプリケーショントップ画面）が表示器７のディスプレイ（以下、記号「７」はディスプレイの参照にも用いられる）に表示される（ステップＣ３）。ユーザは起動画面を利用して所望の項目を指示する操作を行うと、クライアント端末ＣＬは、指示された項目に対応する楽曲リストをサーバＳＶに要求する。サーバＳＶは、楽曲リストのリクエストに伴って送信されてきた機種やユーザＩＤ等を確認した上、当該楽曲リストを当該クライアント端末ＣＬに送信する（ステップＳ２）。

クライアント端末ＣＬは、サーバＳＶからの楽曲リストの受信に応じて当該楽曲リストを載せた楽曲選択画面をディスプレイ７に表示する（ステップＣ４）。ユーザは楽曲選択画面を利用して所望の楽曲を選択する操作を行うと、クライアント端末ＣＬは、楽曲が選択されたことをサーバＳＶに通知し、サーバＳＶは、当該選択楽曲に対応可能な処理を表わす処理項目データをクライアント端末ＣＬに返信する（ステップＳ３）。

クライアント端末ＣＬは、これに応じて当該選択楽曲の処理項目を載せた処理選択画面をディスプレイ７に表示する（ステップＣ５）。この処理項目には、端末ユーザの手入力で作成したシーケンスに基づいて３Ｄ楽曲を生成する第１の処理方法と、ユーザの選択操作で指示された３Ｄテンプレートに基づいて３Ｄ楽曲を生成する第２の処理方法があり、第２の処理方法としては、処理項目データに含まれるテンプレート情報により、サーバＳＶに予め用意された複数の３Ｄテンプレートの名称を列挙し、これに対するユーザのテンプレート選択操作によって所望の３Ｄテンプレートを選択的に指示することができる。

これに対して、ユーザが所望の処理方法を選択する操作を行うと、クライアント端末ＣＬは当該処理方法をサーバＳＶに通知し、サーバＳＶは、当該処理方法に対応する処理を行う。例えば、第１の処理方法が選択された場合は、楽曲選択画面で選択された楽曲に対応する元楽曲データを楽曲データベース（ＤＢ）から読み出し、その楽曲ＩＤと共にクライアント端末ＣＬに送信する。また、第２の処理方法が選択された場合には、当該元楽曲データ及び楽曲ＩＤに加えて、さらに、テンプレート選択操作に対応して選択された３Ｄテンプレートを送信する。

第１の処理方法が選択された場合、クライアント端末ＣＬは、サーバＳＶからの元楽曲データを受信すると、当該元楽曲データをＲＡＭ部２の元楽曲記憶領域に格納すると共に、シーケンス入力画面（「３Ｄ画面」とも呼ばれる）をディスプレイ７に表示する（ステップＣ５）。端末ユーザは、シーケンス入力画面を用いて、元楽曲データの再生に合わせて手入力で楽曲の音像位置を順次指示することにより、一連の音像位置イベントデータ列から成る位置シーケンスデータを作成することができる。クライアント端末ＣＬは、当該元楽曲データに対応して作成された位置シーケンスデータを当該元楽曲データの楽曲ＩＤと共にサーバＳＶに送信する。

また、第２の処理方法が選択された場合には、クライアント端末ＣＬは、サーバＳＶからの元楽曲データ及び３ＤテンプレートをＲＡＭ部２の元楽曲及びテンプレート記憶領域に格納し、テンプレート確認画面（「３Ｄ画面」とも呼ばれる）をディスプレイ７に表示する（ステップＣ５）。テンプレート確認画面には、元楽曲データの再生に合わせて３Ｄテンプレートに基づく音像位置が表示されるので、表示された音像移動態様を端末ユーザが確認して了解（ＯＫ）操作を行うと、クライアント端末ＣＬは、当該３Ｄテンプレートに対する了解信号を楽曲ＩＤと共にサーバＳＶに送信する。

なお、選択した処理方法や３Ｄテンプレートが端末ユーザの好みでなくＮＧ操作が行われた場合は、処理選択ステップ（Ｃ５）に戻って処理方法や３Ｄテンプレートの再選択を行うことができる。また、元楽曲自体が端末ユーザの好みでなく「戻る」操作が行われた場合には楽曲選択ステップ（Ｃ４）に戻ることができ、何れの場合もその旨をサーバＳＶに通知する。

サーバＳＶは、第１の処理方法が選択された場合は、楽曲ＩＤで指定される元楽曲データに位置シーケンスデータを付加して元楽曲データから３Ｄ楽曲データ即ち３次元（３Ｄ）音響特性付き楽曲データに変換する３Ｄ変換を行い、また、第２の処理方法が選択された場合には、了解信号の受信により、選択された３Ｄテンプレートに従って３Ｄ変換を行って、３Ｄ変換により得られた３Ｄ楽曲データ（ＭＤ：図３）をクライアント端末ＣＬに配信する（ステップＳ５）。なお、第２の処理方法が選択された場合の処理方法としては、上述のように元楽曲データや３Ｄテンプレートの送信（Ｓ４）や了解信号の受信（Ｓ５）を経ることなく、直ちに、ステップＳ４で、クライアント端末ＣＬ側で選択された３Ｄテンプレートに従って３Ｄ変換すべきことを決定するように構成してもよい。

クライアント端末ＣＬは、サーバＳＶから３Ｄ楽曲データを受信すると、ダウンロード通知画面（３Ｄ画面）をディスプレイ７に表示し、ユーザが音像の移動を確認してダウンロード通知画面に対して３Ｄ楽曲データの取得を決定する操作を行うと、当該３Ｄ楽曲データを記憶手段（２，４）に保存する（ステップＣ７）。以後、クライアント端末ＣＬでは記憶手段に保存された３Ｄ楽曲データを再生して、ユーザが作成した位置シーケンスデータ或いはユーザにより選択された３Ｄテンプレートに対応して楽曲の音像が移動する楽曲演奏空間を楽しむことができ、また、この楽曲再生に合わせて楽曲の音像位置を移動表示する３Ｄ楽曲再生画面（３Ｄ画面）をディスプレイ７に表示することができる。

さらに、別の楽曲について３Ｄ楽曲データを希望する場合には、入力デバイス５の「戻る」（「Ｆ３」キー）操作により楽曲選択画面（Ｃ３）に戻って、上述した処理動作Ｃ３〜Ｃ７，Ｓ２〜Ｓ５を繰り返すことができ、これにより、クライアント端末ＣＬのユーザは、新たな元楽曲データを基にして新たな３Ｄ楽曲データを取得することができる。

この発明の一実施例による楽曲データ生成システムは、特に、３Ｄ楽曲データの生成に必要な位置シーケンスデータをクライアント端末ＣＬ側でシーケンス入力画面（Ｃ６）を用いて作成することを特徴としている。すなわち、このシステムの要点は次の点にある：クライアント端末ＣＬでは、ユーザが、サーバＳＶから送信されてきた所望の元楽曲データを再生しながら、３Ｄ音響空間を表わす３Ｄシーケンス入力画面を用いて仮想的な音像位置を順次指定し記録していく（Ｃ６）。記録された一連の音像位置は位置シーケンスとしてサーバＳＶに送信され、サーバＳＶでは、位置シーケンスを元楽曲データに付加することにより３次元（３Ｄ）音響特性付き楽曲データ（３Ｄ楽曲データ）を生成し、これをクライアント端末に配信する（Ｓ５）。クライアント端末ＣＬでは、配信された３Ｄ楽音データに従いユーザ独自の位置シーケンスに対応して音像が移動する楽曲演奏空間を生成することができる（Ｃ７）。

〔３Ｄ楽曲データの構造〕
図３は、サーバでの３Ｄ変換により得られる３Ｄ楽曲データの構成例を表わす。３Ｄ楽曲データＭｄは、ヘッダ情報Ｈｄ、楽音トラック情報Ｍｔ及び位置シーケンストラック情報Ｓｔから成る。ヘッダ情報Ｈｄは、この３Ｄ楽曲データＭｄには、どのような種類のトラックがいくつあり、各トラックはどのような種類のチャンネルをいくつ持っているのか、各トラック及び各チャンネルのアドレス情報等を表わし、３Ｄ楽曲データＭｄ先頭のヘッダ部分に記述されている。楽音トラック情報Ｍｔは、元楽曲データに対応して楽音トラックに記述される音楽情報であり、元楽曲データと同様、メロディや伴奏などのパートに対応する任意個数のチャンネルから成る。各チャンネルの音楽情報は、ＭＩＤＩ形式或いはＭＩＤＩ形式に類似したイベント形式で楽音を表わすイベントシーケンスデータ、或いは、ＡＤＰＣＭ等の符号化形式で楽音波形を表わすオーディオ信号データで構成される。

また、位置シーケンストラックに記述される位置シーケンストラック情報Ｓｔは、所定チャンネルの楽音トラック情報Ｍｔに対応して、当該楽音トラック情報Ｍｔに基づく各楽音の音像位置を微小な移動時間Δｔ毎の位置イベントでシーケンシャルに規定する音像位置規定データである。位置シーケンストラック情報Ｓｔは、座標位置Ｐｇ（ｒ，θ，φ）とその時間情報とを組にして１つの位置イベントを表わすことができ、時間情報には、楽音トラック情報Ｍｔの演奏開始からの絶対時間（時刻データ）ｔ及び移動時間Δｔが用いられる。例えば、１つの位置イベントについて、位置イベント時刻ｔを２バイト、移動時間Δｔを２バイト、移動後の座標位置Ｐｇ（ｒ，θ，φ）を３バイト〔極座標値〕とした計７バイトのデータとすることができる。

なお、シーケンス入力画面（Ｃ６）で入力される位置イベントシーケンスの中身は、基本的には、上述した位置シーケンストラック情報Ｓｔと同じ形式であるが、座標系は、描画座標系（ユークリッド系、直交座標系）或いは極座標系の何れを用いてもよい。例えば、１位置イベントについて、位置イベント時刻ｔ＝２バイト、移動時間Δｔ＝２バイト、移動後の座標位置Ｐｇ（ｘ，ｙ，ｚ）＝３バイト〔直交座標値〕或いはＰｇ（ｒ，θ，φ）＝３バイト〔極座標値〕とした計７バイトのデータとすることができる。

〔クライアント端末での処理〕
図４は、この発明の一実施例によるクライアント端末で実行される３Ｄ楽曲データ生成処理を表わすフローチャートである。クライアント端末ＣＬでは、サーバＳＶからダウンロードしたアプリケーション（Ｓ１，Ｃ２：図２）を起動すると、ＣＰＵ１は、初期化を行い、まず、ディスプレイ７に起動（トップ）画面を表示し、次いで、この画面で要求した所望の楽曲リストがサーバＳＶから送信されてくるので（Ｓ２：図２）、当該楽曲リストを取得する（ステップＣ１１）。これに応じて、キー機能及びメニューを楽曲選択用に割り当てて（ステップＣ１２）、取得した楽曲リストを楽曲選択画面に表示し（ステップＣ１３）、楽曲選択画面に対するユーザ操作を待機する（ステップＣ１４→ＮＯ）。

ここで、ユーザ操作により所望の楽曲を選択すると（Ｃ１４→ＹＥＳ）、選択された楽曲の情報はサーバＳＶに通知され、当該選択楽曲に対応する処理項目がサーバＳＶから送信されてくる（Ｓ３：図２）のに応じて、キー機能及びメニューを処理選択用に割り当てると共に（ステップＣ１５）、これらの処理項目を処理選択画面に表示し（ステップＣ１６）、処理選択画面に対するユーザ操作を待機する（ステップＣ１７）。

処理選択画面に対するユーザ操作により、ユーザ自身が手入力により自分で選択楽曲に対する位置シーケンスの入力処理を行う旨を選択したときは（Ｃ１７→ＹＥＳ）、その旨がサーバＳＶに通知され、選択された楽曲の内容を表わす元楽曲データがサーバＳＶから送信されてくるので（Ｓ４：図２）、当該元楽曲データを受信しＲＡＭ部２の元楽曲記憶領域に格納する（ステップＣ１８）。クライアント端末ＣＬは、次いで、シーケンス入力処理（図５）を行い、受信した元楽曲データに対して位置シーケンスデータを作成する（ステップＣ１９）。そして、作成された位置シーケンスデータを楽曲データの楽曲ＩＤと共にサーバＳＶに送信する（ステップＣ２０）。

一方、処理選択画面に対するユーザ操作により、サーバＳＶに予め用意されている３Ｄテンプレートの中から所定の３Ｄテンプレートを選択し、この３Ｄテンプレートに従って選択楽曲を３Ｄ変換する旨を選択したときには（Ｃ１７→ＮＯ）、その旨がサーバＳＶに通知され、選択された楽曲の内容を表わす元楽曲データと共に選択された３ＤテンプレートがサーバＳＶから送信されてくるので（Ｓ４：図２）、これらのデータを受信し（ステップＣ２１）、楽音再生部６−１０及びディスプレイ７のテンプレート確認画面で再生する（ステップＣ２２）。そして、このテンプレート確認画面による音像位置の移動表示をユーザが観察して当該３Ｄテンプレートが気に入った場合は、ユーザ操作により了解（ＯＫ）した旨をサーバＳＶに通知する（ステップＣ２３）。

すなわち、サーバＳＶには、聴取位置を原点として楽曲の音像位置が、例えば、
・原点を中心にして円状又は楕円状に回転する、
・回転しつつ遠くから徐々に原点に近づき再び遠ざかる、
・左右、前後又は斜めに振り子状、曲線状又は直線状に往復動する、…、
等々の音像移動態様が３Ｄテンプレートとして用意されており、クライアント端末ＣＬには、テンプレート情報に従ってこれらの音像移動態様が処理選択画面にテンプレートの選択肢として表示される。従って、ユーザ操作により何れかのテンプレートを選択すると、テンプレート確認画面がディスプレイ７に表示され、選択楽曲の再生（楽音再生部６−１０）に合わせて、ユーザ操作により選択された何れかのテンプレートの位置シーケンスデータに従って当該楽曲の音像位置がテンプレート確認画面内に移動表示されるので、ユーザの希望にマッチした３Ｄテンプレートであるか否かを確認することができる。

サーバＳＶは、ステップＣ２０，Ｃ２３での通知に従って、対応する３Ｄ楽曲データＭｄを作成して３Ｄ変換済みファイルとして配信してくるので（Ｓ５：図２）、クライアント端末ＣＬは、この３Ｄ楽曲データ（３Ｄ変換済みファイル）Ｍｄを取得し（ステップＣ２４）、この３Ｄ楽曲データをダウンロード通知画面（３Ｄ画面）に表示してその音像移動内容を確認した後、記憶手段（２，４）に再生可能に保存する（ステップＣ２５）。

なお、記憶手段に保存された３Ｄ楽曲データＭｄについては、必要なときに、３Ｄ楽曲再生画面で３Ｄ楽曲の選択及び再生を指示することによって所望の３Ｄ楽曲データＭｄが読み出され、楽音再生部６−１０を通じて、シーケンス入力処理又は選択された３Ｄテンプレートで指定された位置シーケンスに従って音像位置が移動するように楽曲を再生することができ、また、当該３Ｄ楽曲データＭｄの位置シーケンストラック情報Ｓｔに基づいて、楽曲再生に合わせて当該楽曲の音像位置をディスプレイ７の３Ｄ楽曲再生画面（３Ｄ画面）にアニメーション的に移動表示することもできる（ステップＣ２５’）。

さて、３Ｄ楽曲データの保存処理（Ｃ２５）の後、この３Ｄ楽曲データ生成処理を終了するか否かがユーザに打診され（ステップＣ２６）、処理を終了しない旨を指示したときは（Ｃ２６→ＮＯ）、元楽曲選択段階（Ｃ１２）に戻り、新たに選択した元楽曲について上述したステップＣ１２〜Ｃ２５の動作を繰り返す。そして、終了する旨を指示したときには（Ｃ２６→ＹＥＳ）、ＲＡＭ部２の各種データ記憶領域に残っているデータを全て消去してこの３Ｄ楽曲データ生成処理を終了する。

〔シーケンス入力処理の例〕
図５は、この発明の一実施例によるシーケンス入力処理、つまり、図４のクライアント端末ＣＬ側での３Ｄ楽曲データ生成処理におけるシーケンス入力処理（Ｃ１９）の具体例を表わすフローチャートである。このシーケンス入力処理に当っては、図４のステップＣ１２，Ｃ１５と同様に、キー機能及びメニューをシーケンス入力処理用に割り当ててシーケンス入力画面が表示され、ユーザは、シーケンス入力画面を利用して所定のキー操作を行うことにより、自力入力で所望の位置シーケンスデータを作成することができる。

図６は、携帯用電話機端末のようなクライアント端末において入力デバイスとして用いられるキーの典型的な配置例及び数字キーへの機能割当て例を示す。図６（１）のキー配置例に示すように、入力デバイス５の操作子としては、メニュー等を表示するためのファンクションキーとして用いられる「Ｆ１」〜「Ｆ３」キー、「決定」キー、その上下左右の「カーソル移動」キー、「オン」及び「オフ」フックキー、「１」〜「９」，「＊」，「０」，「＃」の数字・記号キー等を備える。例えば、楽曲選択画面（Ｃ４）で元楽曲リストを表示したり３Ｄ楽曲再生画面（Ｃ２５’）で３Ｄ楽曲の選択や再生を指示する際には、「Ｆ１」キーでメニューを表示し、カーソルキーでメニューアイテムを選択し、「決定」キーで確定操作を行うというように、各キーに所定の機能が割り当てられる。

また、シーケンス入力処理時には、「Ｆ１」キーにはリトライ（ｒｅｔｒｙ）、「Ｆ２」キーには「モード１」〜「モード３」のモード変更、「Ｆ３」キーには元楽曲再生の進行をその操作の度に順次起動／停止するプレイ／ストップ機能、「＊」キーには視点位置変更、というように、各キーに所定の機能が割り当てられる。また、シーケンス入力処理のモードには、ユークリッド系（直交座標）で位置イベントを順次入力（Ｓｔｅｐ）することができる「モード１」と、極座標で位置イベントを順次入力することができる「モード２」と、ジャンプや移動経路を指示する任意の自動制御処理（Ｊｕｍｐ）で全ての位置イベントを入力する「モード３」（座標系は直交座標でも極座標でよい）があり、数字キーには、図６（２）に示すように、各モード毎に所定の機能が割り当てられる。

図７は、クライアント端末ディスプレイに表示されるシーケンス入力画面の一例を表わす。クライアント端末ＣＬでのシーケンス入力処理時にディスプレイ７に表示されるシーケンス入力画面は、聴取位置即ちサウンドシステム１０のヘッドホン位置Ｐｏを原点に表示した座標グリッドによって楽曲の聴取空間を３次元的に模擬表示するものである。なお、図７は、理解の便のために聴取空間を例示的に表現したものであり、例えば、グリッドのメッシュは簡略化されており、原点及び頂点の座標値〔単位はｍ（メートル）〕も実際の表示ではない（但し、必要に応じて表示してもよい）。また、聴取空間の大きさやメッシュサイズは任意の尺度に設定される。

ユーザは、元楽曲を再生しながら、キー操作によって、楽音の音像を表わす図形（単に「音像」ともいう）Ｐｇをシーケンス入力画面の聴取空間内を移動させることにより、リアルタイムに音像位置の指定及び制御を行い、音像の位置イベントをシーケンシャルに決定してリアルタイムに記録していくことができる。この際、シーケンス入力画面上で順次設定された音像Ｐｇの軌跡（ｘ，ｙ，ｚ）は、図７に示すように、一定時間の間フェードアウト表示され、例えば、最新に設定された位置までの一定時間にわたる音像Ｐｇ（ｘ，ｙ，ｚ）を、新しい時点の音像位置ほど濃く表示し、古い音像位置ほど淡く、表示する。なお、先に説明したダウンロード通知画面や３Ｄ楽曲再生画面（Ｃ７，Ｃ２５，Ｃ２５’）においても、このようなフェードアウト表示がなされる。

キー操作と位置イベントの関係を簡単に説明すると、例えば、モード１では、「２」キーを操作する毎に前（＋ｙ）方向に１単位距離だけ移動し、「４」キーを操作する毎に左（−ｘ）方向に１単位距離だけ移動する。このように、「２」、「４」、「６」、「８」キーの操作によると、ステップバイステップで音像位置を指定して行くことができ、このタイプの位置入力方法は“Ｓｔｅｐ”型と呼ばれる。また、「１」、「３」、「５」、「７」、「９」キーを操作すると、その時点に指定されていた現在位置から予め定められた形状の移動経路を経て所定の位置にジャンプすることができ、この経路は、「直線状」、「ジグザグ状」「ランダム（不規則な曲線状）」など移動軌跡に揺らぎを持たせるように別途指定することができる。このタイプの位置入力方法は、“Ｊｕｍｐ”型と呼ばれ、キー操作による指示に従った自動制御処理により、予め定められた位置イベントが自動的に作成されていく。なお、「０」キーは、キー機能の座標系を変更するために設けられ、「０」キー操作毎に、「１」〜「３」、「７」〜「９」キー操作によるジャンプ点又は移動方向は前後（＋ｙ，−ｙ）と上下（＋ｚ，−ｚ）が切り替えられる。

「Ｆ２」キーを１度操作した後のモード２では、図７右側に示すように、位置イベントが極座標形式で入力される。例えば、「２」キーを操作する毎に仰角φを＋方向（＋ｚ側）に１単位角度だけ変位し、「４」キーを操作する毎に方位角θを−方向（ｘ−ｙ平面上を右回り）に１単位角度だけ変位し、「５」キーを操作する毎に原点から距離ｒを−方向（原点側）に１単位距離だけ移動するというように、「２」、「４」〜「６」、「８」キーにより“Ｓｔｅｐ”型で位置を入力することができる。また、「１」、「３」、「７」、「９」キーを操作すると、モード１と同様、“Ｊｕｍｐ”型で入力される。なお、モード１で「０」キーが操作されて前後と上下が切り替えられた場合、この切替え状態はモード２の「１」、「３」、「７」、「８」キーの操作についても維持される。例えば、モード１で「０」キー操作を操作して「前後」から「上下」に切り替えた後、モード２に入って「１」キーを操作すると、上（＋ｚ）方向左の定点にジャンプする。

更に「Ｆ２」キーを操作するとモード３に入る。このモードは自動制御モードとも呼ばれ、「１」、「３」、「７」、「９」キーの操作によりモード１と同様にジャンプするだけでなく、他のどのキーを操作しても、図６に示すように、所定の経路を経て所定の位置に到達する“Ｊｕｍｐ”型で全ての位置イベントが入力される。例えば、「１」キーを操作すると、現在位置から所定形状の移動経路を経て、予め離散的に定められた特定の座標位置（定点又はランダムな点）ａ〜ｄのうちの１つの座標位置ａにジャンプし、「２」キーを操作したときは、ｘ−ｙ平面に関して現在位置（ｘ，ｙ，ｚ）と対称的な位置（ｘ，ｙ，−ｚ）にジャンプする。また、「４」キーを操作すると、ｘ−ｙ平面に平行な面上をｚ軸を中心に１回転して現在位置（ｘ，ｙ，ｚ）に戻り、「０」キー操作があれば、原点（０，０，０）と現在位置（ｘ，ｙ，ｚ）を含む任意の平面上を所定座標位置を中心にして１回転した後、再び、現在位置（ｘ，ｙ，ｚ）に戻る。

さて、図５のシーケンス入力処理の第１ステップでは、ＣＰＵ１は、シーケンス入力画面（図７：３Ｄ画面）に対するユーザの設定操作に応じて音像Ｐｇの初期位置を設定する（ステップＣ３１）。このとき、設定された音像位置Ｐｇ（ｘ，ｙ，ｚ）は、画面の３Ｄ聴取空間に画像として表示されると共に端部の現在位置表記Ｄｇで座標値で表示され、ユーザが確認することができる。なお、初期位置設定ステップ（Ｃ３１）では、モード１又はモード２で「＊」キーを操作した後、数字キー（２，４，６，８，０）の操作で視点位置を変更し「決定」キーで確定して座標グリッドの視点位置を変更することができる。

次いで、「Ｆ３」キー操作で処理を開始し、音像位置イベントの移動時間Δｔを「０」にリセットして、設定された音像初期位置Ｐｇ（ｘ，ｙ，ｚ）及び時間情報（絶対時間ｔ＝「０」，移動時間Δｔ＝「０」）をＲＡＭ部２の位置イベント記憶領域に最初の位置イベントとして記録するすると共に（ステップＣ３２）、ＲＡＭ部２の元楽曲記憶領域から元楽曲データを読み出して楽音出力部６−１０を通じて再生を開始する（ステップＣ３３）。なお、次に「Ｆ３」キーを操作することにより元楽曲の再生を一時停止することができ、更に「Ｆ３」キーを操作することにより元楽曲の再生を再開することができる。なお、元楽曲の再生停止中は計時動作は停止し、再生再開で再び計時動作を開始する。

次に、位置イベントに関するユーザの入力操作があったか否かを判定し（ステップＣ３４）、位置入力操作がないときは（Ｃ３４→ＮＯ）、元楽曲の再生がしない間は（ステップＣ３５→ＮＯ）入力操作判定ステップ（Ｃ３４）に戻る。そして、位置入力操作があったときは（Ｃ３４→ＹＥＳ）、前回の位置入力操作時点（シーケンス入力処理の開始当初は「Ｆ３」キーによる開始操作時点）から当該位置入力操作時点までの経過時間で音像位置イベントの移動時間Δｔを更新した上（ステップＣ３６）、位置イベントに関する入力操作の種別判定を行う（ステップＣ３７）。

ここで、入力操作の種別が“Ｓｔｅｐ”（順次）型位置入力のときには（Ｃ３７→ＹＥＳ）、入力操作に基づく移動乃至変位量に応じて音像の現在位置Ｐｇ（ｘ，ｙ，ｚ）を更新し（ステップＣ３８）、更新後の音像現在位置Ｐｇ（ｘ，ｙ，ｚ）とその時間情報（元楽曲データの再生開始からの絶対時間ｔ及び移動時間Δｔ）から成る位置イベントを生成し、これをＲＡＭ部２の位置イベント記憶領域に記録する（ステップＣ３９）。

一方、入力操作の種別が“Ｊｕｍｐ”（自動制御）型位置入力のときには（Ｃ３７→ＮＯ）、入力操作により指定される移動内容に応じて、音像が移動する経路を自動制御し、当該経路に相当する代表的な複数の座標位置とそれらの時間情報（経過時間Δｔから割り出した各座標位置通過時点を表わす絶対時間及び相対的移動時間）から成る一連の位置イベントを生成し、これをＲＡＭ部２の位置イベント記憶領域に順次記録する（ステップＣ４０）。なお、“Ｊｕｍｐ”（自動制御）型位置入力で音像位置を移動する際の移動速度は、等速度でもよいし、等加速度（加速方向、減速方向）であってもよく、等加速度の場合における加速と減速の度合いは同じでなくてもよい。また、既に説明したように、移動軌跡には、ジグザグ経路やランダムな揺らぎなど、揺らぎを持たせても良い。

また、新たな位置イベントが記録されたときには（Ｃ３９，Ｃ４０）、図７の画面に示すように、最新の音像位置Ｐｇから一定時間前までの音像を３Ｄ聴取空間内に画像としてフェードアウトで表示すると共に、画面端部の現在位置表記Ｄｇで最新音像位置の座標値Ｐｇ（ｘ，ｙ，ｚ）を表示する。このような位置入力操作に基づく位置イベントの記録処理があると（Ｃ３９，Ｃ４０）、直ちに、移動時間Δｔを「０」値にリセットして（ステップＣ４１）、位置入力操作検出ステップ（Ｃ３４）に戻り、元楽曲データの再生が終了しない間は（Ｃ３５→ＮＯ）、上述したステップＣ３４〜Ｃ４１の動作を繰り返し、位置イベント記憶領域に元楽曲データ１曲分の位置イベントを記録して位置シーケンスデータを完成することができる。

そして、位置入力操作がなく（Ｃ３４→ＮＯ）しかも元楽曲データの再生が終了したときには（Ｃ３５→ＹＥＳ）、「リトライ（ｒｅｔｒｙ）」を指示する操作がなされたか否かを判定する（ステップＣ４２）。つまり、元楽曲データの再生終了時には、ファンクションキーＦ２，Ｆ３の機能割当てが変更され、「Ｆ２」キーにはリプレイ（ｒｅｐｌａｙ）機能が割り当てられ、「Ｆ３」キーには「（ステップＣ１３に）戻る」機能が割り当てられるようになっており、このステップ（Ｃ４２）で「Ｆ１」のユーザ操作によりリトライ（ｒｅｔｒｙ）を指示したかどうかを判定する。そこで、リトライの指示があったときは（Ｃ４２→ＹＥＳ）、ファンクションキーＦ２，Ｆ３の機能割当てを元に戻した上、ステップＣ３１に戻り、再度、ステップＣ３１〜Ｃ４２の動作を繰り返して同じ元楽曲データにつき新たな位置シーケンスデータを作成する。

また、リトライ指示ではなく「Ｆ２」キー操作によるリプレイ（ｒｅｐｌａｙ）の指示があったときには（Ｃ４２→ＮＯ）、このシーケンス入力処理を終了し、図４のステップＣ２０にリターンして、サーバＳＶに元楽曲データの楽曲ＩＤと位置シーケンスデータを送信し３Ｄ楽曲データへの変換をリクエストする。また、図示していないが、「Ｆ３」キー操作による「戻る」指示があったときにも、このシーケンス入力処理を終了し、直ちに、図４のステップＣ１３（図２のステップＣ４に相当）に戻って新たな元楽曲データを選択することができる。

〔サーバ側の処理〕
図８は、この発明の一実施例によるサーバ側の楽曲データ生成処理を表わすフローチャートであり、この処理フローは、特に、図２の３Ｄ変換ステップ（Ｓ５）において、ユーザ独自の位置シーケンスに基づいて実行される３Ｄ楽曲変換動作のより詳細な手順を示す。サーバＳＶは、元楽曲データベースＤＢに多数の元楽曲データを蓄積しており、ユーザ管理データファイルには、クライアント端末ＣＬの機種に関する諸情報やユーザＩＤ、ユーザアドレスなどの端末情報を記憶している。なお、これらの元楽曲データは、既に説明したように、ＭＩＤＩ形式或いはＭＩＤＩ形式に類似したイベント形式で楽音を表わすイベントシーケンスデータ、或いは、ＡＤＰＣＭ等の符号化形式で楽音波形を表わすオーディオ信号データである。

さて、サーバＳＶは、３Ｄ変換対象となる元楽曲データの楽曲ＩＤと位置シーケンスデータをクライアント端末ＣＬから受信して３Ｄ楽曲へのデータ変換のリクエストを受け付けると、まず、受信した楽曲ＩＤ及び位置シーケンスデータ、クライアント端末ＣＬの機種、当該クライアント端末ＣＬのユーザアドレス等のリクエスト内容を確認する（ステップＳ１１）。次いで、当該楽曲ＩＤにより特定される元楽曲データを元楽曲データベースＤＢから読み出し（ステップＳ１２）、さらに、ユーザ管理データファイルから当該クライアント端末ＣＬの端末情報を読み出す（ステップＳ１３）。ここで、読み出される端末情報には、音量バランス等の補正情報が含まれる。

次に、受信した位置シーケンスデータの座標系を音響用座標系に変換する（ステップＳ１４）。そして、元楽曲データのデータ部分を楽音トラック情報Ｍｔとし、位置シーケンストラックを追加する（ステップＳ１５）。次いで、座標系の変換がなされた位置シーケンスデータを位置シーケンストラックに記録して位置シーケンストラック情報Ｓｔとし、元楽曲データのヘッダ部分に必要な情報を追加したものをヘッダ情報Ｈｄとして付加することにより、元楽曲データを立体音像変化効果付楽曲データに変換する（ステップＳ１６）。なお、楽音トラック情報Ｍｔが複数チャンネルで構成される場合、位置シーケンストラック情報Ｓｔに対応付けられる楽曲チャンネルは固定したものとする（例えば、メロディーパートのチャンネル）。また、元楽曲データがイベントシーケンスデータ形式の場合は、サーバＳＶ側の音源回路により、元楽曲データに基づいて対応するオーディオ信号データを生成し、生成されたオーディオ信号データを楽音トラック情報Ｍｔに置換する。

続いて、変換された立体音像変化効果付楽曲データについて、音量バランス等を調整するバランス補正を行う（ステップＳ１７）。つまり、３Ｄ楽曲変換をリクエストしたクライアント端末ＣＬに実装されているＤＳＰの仕様によっては、３Ｄ音響効果を付けたチャンネルのボリュームが、３Ｄ音響効果のかからない他のチャンネルのボリュームよりも下がってしまう場合がある。そのため、ユーザ端末の機種情報から音量バランス等の補正情報を取得し、この補正情報に従って楽音トラック情報Ｍｔの各チャンネルのボリューム補正を行うことにより、クライアント端末に最適化した音量バランスを再現する。

これにより、バランス補正がなされたオーディオ信号データで構成される楽音トラック情報Ｍｔと、座標系の変換がなされた位置シーケンスデータで構成される位置シーケンストラック情報Ｓｔから成る３Ｄ楽曲データＭｄを生成する（ステップＳ１８）。そして、生成された３Ｄ楽曲データＭｄを当該クライアント端末ＣＬに配信すると（ステップＳ１９）、当該リクエストに対する楽曲データ生成処理を終了し、新たなリクエストの受付け段階にリターンする。

〔種々の実施態様〕
以上、この発明の好適な一実施例について説明したが、これは単なる一例であって、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能であり、種々の態様で実施することができる。例えば、実施例では、サーバ側でＡＤＰＣＭ形式等のオーディオ信号データに変換した３Ｄ（立体音響付）楽曲データを提供するようにしたが、３Ｄ変換機能をクライアント端末側に持たせて、クライアント端末上で変換を行うようにしてもよい。

実施例では、元楽曲データをサーバから送信するようにしたが、クライアント端末に保存している楽曲データを元楽曲データとして用いることができる。この場合、作成された位置シーケンスと共にサーバに送信して３Ｄ変換をリクエストするようにしてもよいし、上述のように、クライアント端末上で３Ｄ変換を行うようにしてもよい。

変換後の３Ｄ楽曲データの楽曲トラック情報（Ｍｔ）はＡＤＰＣＭ形式に限らない。他の形式のディジタルオーディオ信号データであってもよいし、ＭＩＤＩ等のイベントシーケンスデータ形式のままでもよい。なお、ＭＩＤＩ等のイベントシーケンスデータ形式の楽曲トラック情報をもつ３Ｄ楽曲データの場合、クライアント端末において、実時間でオーディオ信号データを作成して３Ｄ音響効果を付加することは、処理量的に困難なことがあるので、３Ｄ楽曲データの利用に先立ち、予め、イベントシーケンスデータ形式の楽曲トラック情報を対応するオーディオ信号データ形式の楽曲トラック情報に置換しておくことが望ましい。

位置シーケンストラック情報（Ｓｔ）による３Ｄ効果は複数チャンネルの楽曲トラック情報（Ｍｔ）に付加することができる。例えば、予め特定の楽曲チャンネルに３Ｄ音響効果が付加されている３Ｄ楽曲データの他の楽音チャンネルに同様の３Ｄ効果を付加するようにしてもよい。また、１つの元楽曲データに対して複数回位置シーケンスを入力し、各位置シーケンスにより元楽曲データの各チャンネルに３Ｄ変換を加えてもよい。

３Ｄ効果が既に付加されている３Ｄ楽曲データを再生しながら、その位置シーケンストラックを修正するようにしてもよい。例えば、３Ｄ効果が付いた３Ｄ楽曲データを再生中に位置シーケンスの入力があると、既存の位置シーケンスからの相対変位で位置シーケンスを更新するようにしてもよい。

３Ｄ楽曲データへの変換を行う際、連続する３以上の位置変位の軌跡が原点を通る平面上で単調変化する場合は２点間の移動に置き換えて、データ量の圧縮を図るようにしてもよい。或いは、時間分解能を落してデータを間引いても良い。

課金処理については、実施例では説明しなかったが、任意の時点で課金を行うことができる。例えば、変換後の３Ｄ楽曲データをダウンロードし、クライアント端末上で再生可能に記録する（即ち、クライアント端末のデータライブラリに登録する）時点で課金処理を行うようにしてもよい。この場合、３Ｄ楽曲データのダウンロードに対する課金と元楽曲データから３Ｄ楽曲データへの変換に対する課金とを分けてもよい。例えば、既に課金処理が実行されクライアント端末に保存されている楽曲データを変換する場合は、楽曲データ自体に対する再課金は行わず変換処理についてのみ追加課金を行う。

この発明の一実施例による楽曲データ生成システム全体の概要構成図である。 この発明の一実施例による楽曲データ生成システムにおける全体的な処理動作を表わす。 この発明の一実施例による楽曲データ生成システムで生成される３次元（３Ｄ）音響特性付き楽曲データの構造例を表わす。 この発明の一実施例によるクライアント端末側楽曲データ生成処理を表わすフローチャートである。 この発明の一実施例によるクライアント端末側楽曲データ生成処理中のシーケンス入力処理を表わすフローチャートである。 クライアント端末のキー配置の一例を表わす。 クライアント端末におけるシーケンス入力画面（３Ｄ画面）の一例を表わす。 この発明の一実施例によるサーバ側楽曲データ生成処理を表わすフローチャートである。

符号の説明

ＣＬ；ＣＬａ，ＣＬｂ クライアント端末やＰＣ等で構成されるサーバＳｖと通信可能なクライアント端末（電子音楽装置）、
Ｇｒ 座標グリッド、
Ｐｏ 聴取位置即ち原点座標位置、
Ｐｇ 音像位置（音源位置ともいう）又は音像位置を表わす画像、
Ｄｇ 音像位置Ｐｇの最新座標値を表わす現在位置表記。

Claims (4)

1. 通信ネットワークを介して通信可能に接続されるサーバ及びクライアント端末から成るシステムであって、
   サーバは、
   複数の楽曲データを蓄積する元楽曲蓄積手段と、
   上記元楽曲蓄積手段から楽曲データを読み出す元楽曲読出し手段と、
   クライアント端末から位置シーケンスデータを受信するシーケンス受信手段と、
   上記楽曲読出し手段により読み出された楽曲データに上記位置シーケンスデータを付加することにより、３次元音響特性をもって再生可能な位置シーケンス付き楽曲データを生成する３次元楽曲生成手段と、
   上記位置シーケンス付き楽曲データをクライアント端末に送信する３次元楽曲送信手段と
   を具備し、
   クライアント端末は、
   ユーザ操作に基づいて仮想的な音像の位置座標を順次入力するシーケンス入力手段と、
   入力された一連の位置座標を位置シーケンスデータとして記録するシーケンス記録手段と、
   記録された位置シーケンスデータをサーバに送信するシーケンス送信手段と、
   位置シーケンス付き楽曲データをサーバから受信する３次元楽曲受信手段と、
   受信された位置シーケンス付き楽曲データを再生可能に記憶する３次元楽曲記憶手段と、
   記憶された位置シーケンス付き楽曲データを３次元音響特性をもって再生する３次元楽曲再生手段と
   を具備する
   ことを特徴とする楽曲データ生成システム。
2. サーバは、さらに、クライアント端末からのリクエストに応じて前記楽曲読出し手段により読み出された楽曲データをクライアント端末に送信する元楽曲送信手段を具備し、
   クライアント端末は、さらに、
   楽曲データを要求するリクエストをサーバに送信するリクエスト送信手段と、
   送信されたリクエストに応じてサーバから送信されてくる楽曲データを受信する元楽曲受信手段と、
   受信された楽曲データを再生可能に記憶する元楽曲記憶手段と
   を具備し、
   前記シーケンス入力手段による位置座標の入力は、上記元楽曲記憶手段に記憶された楽曲データの再生に並行して行われる
   ことを特徴とする請求項１に記載の楽曲データ生成システム。
3. 前記シーケンス入力手段は、ユーザ操作により順次指示される座標位置を連続的に入力する第１入力手段、及び／又は、ユーザ操作により指示される移動態様に応じた座標位置系列を生成して入力する第２入力手段を備えることを特徴とする請求項１又は２に記載の楽曲データ生成システム。
4. 通信ネットワークを介してサーバに通信可能に接続されるコンピュータに、
   楽曲データを要求するリクエストをサーバに送信するリクエスト送信ステップと、
   送信されたリクエストに応じてサーバから送信されてくる楽曲データを受信する元楽曲受信ステップと、
   元楽曲受信ステップで受信された楽曲データを再生可能に記憶する元楽曲記憶ステップと、
   元楽曲記憶ステップで記憶された楽曲データを再生すると共に、ユーザ操作により順次指示される座標位置を連続的に入力することにより、及び／又は、ユーザ操作により指示される移動態様に応じた座標位置を入力することにより、仮想的な音像の位置座標を順次入力するシーケンス入力ステップと、
   シーケンス入力ステップで入力された一連の位置座標を位置シーケンスデータとして記録するシーケンス記録ステップと、
   記録された位置シーケンスデータをサーバに送信するシーケンス送信ステップと、
   リクエスト送信ステップで送信されたリクエストに対応する楽曲データに上記位置シーケンスデータを付加することにより生成された、３次元音響特性をもって再生可能な位置シーケンス付き楽曲データを、サーバから受信する３次元楽曲受信ステップと、
   ３次元楽曲受信ステップで受信された位置シーケンス付き楽曲データを再生可能に記憶する３次元楽曲記憶ステップと、
   ３次元楽曲記憶ステップで記憶された位置シーケンス付き楽曲データを３次元音響特性をもって再生する３次元楽曲再生ステップと
   から成る手順を実行させるための楽曲データ生成プログラム。
   

Images