JP5779279B2 - コンテンツ情報処理装置及びコンテンツ情報処理方法 - Google Patents

Description

本発明は、コンテンツ情報処理装置、コンテンツ情報処理方法、コンテンツ情報処理プログラム、及び、当該コンテンツ情報処理プログラムが記録された記録媒体に関する。

従来から、楽曲データ及び当該楽曲データと同期した映像データを含むコンテンツ（以下、単に「複合コンテンツ」という）が、ダンス練習の手本等の様々な用途で、広く利用されている。こうした複合コンテンツは、例えば、楽曲音に合わせて踊られているダンスの映像の録画を、録音機能を有するビデオカメラ装置により、当該楽曲音の録音と同時に行い、録画結果及び録音結果を同時に記録することにより作成される。

ところで、複合コンテンツに含まれる楽曲データに対応する楽曲音が、著作権により利用が制限されていることがある。こうした場合に、利用者が作成した複合コンテンツの公開等を行うと、楽曲音の著作権は保護されないことがある。

そこで、楽曲音の著作権を保護するための技術が提案されている（特許文献１参照：以下、「従来例」と呼ぶ）。この従来例の技術は、楽曲データ及び映像データを含む複合コンテンツに関するものではないが、２次配布が禁止されている楽曲データ（以下、「禁止楽曲データ」とも記す）に対して加工処理が施された場合に、禁止楽曲データの識別情報とその加工内容を表す加工情報とを含む専用コンテンツを生成する。そして、サーバにアップロードする際には、禁止楽曲データそのものを含まない当該専用コンテンツを、アップロードするようになっている。ここで、専用コンテンツには、２次配布が禁止されていない楽曲データが含まれることがある。

特許４６４５４６５号公報

上述した従来例の技術では、禁止楽曲データをアップロードする代わりに、参照楽曲情報及び加工情報などを付加データとしてアップロードすることにより、禁止楽曲データ自体のアップロードを防いでいる。しかしながら、従来例の技術では、再生時（クライアント側）に禁止楽曲をダウンロードする手段、加工情報に基づいて禁止楽曲を加工処理する手段やリミックス手段が必要になり、再生時に大きな処理負担が必要になる。また、映像データ及び楽曲データを含む複合コンテンツのアップロード時に単純に禁止楽曲から２次配布が禁止されていない楽曲に差し替える処理を行うとすると、映像データとの同期が図られていない楽曲データが、映像データとともにアップロードされることになる。このような複合コンテンツは、楽曲音と映像とが同期していないために、当該複合コンテンツを視聴する者に対しては違和感を起こさせることがある。

このため、楽曲データ及び映像データを含む複合コンテンツをアップロードするに際して、著作物は保護を図りつつ、映像の進行に対して正確に同期して進行する楽曲音を記録した複合コンテンツを提供することができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

本発明は、上記の事情を鑑みてなされたものであり、元の楽曲音を他の楽曲音に入れ替えたとしても、映像の進行に同期した楽曲音となる複合コンテンツを作成することができる新たなコンテンツ情報処理装置及びコンテンツ情報処理方法を提供することを目的とする。

本発明は、第１の観点からすると、第１楽曲データ及び前記第１楽曲データに対応する第１楽曲音が流される環境下で撮影された映像の映像データを含む複合コンテンツにおける、前記第１楽曲音の第１拍情報を作成する第１作成部と；記録部に記録された第２楽曲データに対応する第２楽曲音の第２拍情報を作成する第２作成部と；前記第１拍情報、前記第２楽曲データ及び前記第２拍情報に基づいて、前記第１楽曲音との同期が図られた再生用楽曲データを生成する再生用楽曲データ生成部と；前記再生用楽曲データ及び前記映像データを含む再生用複合コンテンツを生成する再生用複合コンテンツ生成部と；を備え、前記第１拍情報には、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置情報、及び、前記第１楽曲音の前記小節内における拍の位置情報が含まれ、前記第２拍情報には、前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置情報、及び、前記第２楽曲音の前記小節内における拍の位置情報が含まれ、前記再生用楽曲データ生成部は、前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置、及び、前記第２楽曲音の前記小節内における拍の位置を、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置、及び、前記第１楽曲音の前記小節内における拍の位置に合わせ込んだ後に、前記第１楽曲音の長さと同じになるように調整した前記再生用楽曲データを生成する、ことを特徴とするコンテンツ情報処理装置である。

本発明は、第２の観点からすると、第１楽曲データ及び前記第１楽曲データに対応する第１楽曲音が流される環境下で撮影された映像の映像データを含む複合コンテンツにおける、前記第１楽曲音の第１拍情報を作成する第１作成工程と；記録部に記録された第２楽曲データに対応する第２楽曲音の第２拍情報を作成する第２作成工程と；前記第１拍情報、前記第２楽曲データ及び前記第２拍情報に基づいて、前記第１楽曲音との同期が図られた再生用楽曲データを生成する再生用楽曲データ生成工程と；前記再生用楽曲データ及び前記映像データを含む再生用複合コンテンツを生成する再生用複合コンテンツ生成工程と；を備え、前記第１拍情報には、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置情報、及び、前記第１楽曲音の前記小節内における拍の位置情報が含まれ、前記第２拍情報には、前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置情報、及び、前記第２楽曲音の前記小節内における拍の位置情報が含まれ、前記再生用楽曲データ生成工程では、前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置、及び、前記第２楽曲音の前記小節内における拍の位置を、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置、及び、前記第１楽曲音の前記小節内における拍の位置に合わせ込んだ後に、前記第１楽曲音の長さと同じになるように調整した前記再生用楽曲データを生成する、ことを特徴とするコンテンツ情報処理方法である。

本発明は、第３の観点からすると、本発明のコンテンツ情報処理方法を演算部に実行させる、ことを特徴とするコンテンツ情報処理プログラムである。

本発明は、第４の観点からすると、本発明のコンテンツ情報処理プログラムが、演算部により読み取り可能に記録されている、ことを特徴とする記録媒体である。

本発明の一実施形態に係るコンテンツ情報処理装置の構成を説明するためのブロック図である。 本発明の一実施例に係るコンテンツ情報処理装置の構成を概略的に説明するためのブロック図である。 図２の複合コンテンツ情報の内容を説明するための図である。 図２の音源情報の内容を説明するための図である。 図２の解析情報の内容を説明するための図である。 図２の第２拍情報の内容を説明するための図である。 図２の再生用複合コンテンツ情報の内容を説明するための図である。 図２のコンテンツ情報処理装置による複合コンテンツのアップロード処理を説明するためのフローチャートである。 図８の再生用楽曲データの生成処理を説明するためのフローチャートである。 図９の「第２楽曲音」選択に関する処理を説明するためのフローチャートである。 再生用楽曲データの生成過程の例を説明するための図である。 図９の「リズム楽曲音」選択に関する処理を説明するためのフローチャートである。

以下、本発明の一実施形態を、図１を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［構成］
図１には、一実施形態に係るコンテンツ情報処理装置７００の概略的な構成が示されている。

図１に示されるように、コンテンツ情報処理装置７００は、第１作成部７１０と、記録部としての解析情報記録部７１５と、第２作成部７２０と、第２拍情報記録部７２５と、取得部７３０と、アップロード部７４０とを備えている。また、コンテンツ情報処理装置７００は、再生用楽曲データ生成部７５０と、再生用複合コンテンツ生成部７６０と、再生用複合コンテンツ記録部７７０とを備えている。

さらに、コンテンツ情報処理装置７００は、複合コンテンツ記録部８１０と、音源記録部８２０と、著作権情報データベース（ＤＢ）８３０と、入力部８５０とを備えている。

上記の複合コンテンツ記録部８１０には、第１楽曲データ及び映像データを含む「複合コンテンツ」、並びに、第１楽曲名等から構成される複合コンテンツ情報が少なくとも１つ記録されている。当該複合コンテンツ記録部８１０には、第１作成部７１０、アップロード部７４０、再生用楽曲データ生成部７５０及び再生用複合コンテンツ生成部７６０がアクセス可能となっている。

ここで、複合コンテンツ記録部８１０内に記録される「複合コンテンツ」としては、例えば、第１楽曲音をダンス用楽曲音としたストリートダンス等のダンスのパフォーマンス映像データ等が挙げられる。また、本実施形態では、複合コンテンツ記録部８１０内に記録される第１楽曲データに対応する第１楽曲音としては、著作権により利用が制限されるものもあるし、著作権により利用が制限されないものもある。

上記の音源記録部８２０には、音源データが記録されている。当該音源記録部８２０には、第１作成部７１０、第２作成部７２０及び再生用楽曲データ生成部７５０がアクセス可能となっている。

音源記録部８２０内に記録される音源データの１つの種類には、第２楽曲データ、及び、第２楽曲名等から構成される少なくとも１つの第２楽曲データ情報が含まれる。ここで、音源記録部８２０内に記録される「第２楽曲音」としては、例えば、ダンス用楽曲音、リズムパターン等が挙げられる。なお、本実施形態では、第２楽曲音は、著作権により利用が制限されないものとなっている。また、こうした音源データを、「楽曲音源データ」とも記す。

また、音源記録部８２０内に記録される音源データの他の種類には、楽曲を構成するコードを表現した楽器等の音、楽曲を構成するリズムパターンを表現した楽器等の音も含まれる。なお、こうした音源データを、「リズム音源データ」とも記す。

上記の著作権情報ＤＢ８３０は、様々な楽曲の著作権に関する情報を記録している。当該著作権情報ＤＢ８３０には、取得部７３０がアクセス可能となっている。なお、こうした楽曲の著作権に関する情報は、ネットワーク等を介して、不図示の著作権情報サーバから取得するようにしてもよい。

上記の入力部８５０は、キーボードやタッチパネル等を備えて構成されている。入力部８５０は、利用者の入力操作に応答して、当該入力操作に対応する指令を、当該指令の伝達が必要な要素へ送るようになっている。

上記の第１作成部７１０は、入力部８５０から送られた「解析情報」の作成指令を受ける。ここで、本実施形態では、入力部８５０から送られる「解析情報」の作成指令には、「第１拍情報の作成指令」及び「コード情報及びリズムパターン情報の作成指令」の２種類がある。

第１作成部７１０は、作成指令の内容が「第１拍情報の作成指令」である場合には、指定された第１楽曲音に対応する第１楽曲データを解析し、拍についての情報である「第１拍情報」の作成処理を実行して、第１拍情報を作成する。こうして生成された第１拍情報は、解析情報記録部７１５内に記録される。

ここで、第１作成部７１０により作成される「第１拍情報」には、第１拍情報識別子、第１楽曲データ識別子、第１拍構成情報が含まれている。この第１拍構成情報には、第１楽曲音のテンポ（１分間当たりの拍数：ＢＰＭ）、小節の位置情報、小節内における拍の位置情報等が含まれている。

また、第１作成部７１０は、作成指令の内容が「コード情報及びリズムパターン情報の作成指令」である場合には、指定された第１楽曲音に対応する第１楽曲データを解析し、コードについての情報である「コード情報」、及び、リズムパターンについての情報である「リズムパターン情報」を作成する。こうして生成されたコード情報及びリズムパターン情報は、解析情報記録部７１５内に記録される。ここで、「コード情報」とは、例えば、第１楽曲音を構成するギターやピアノ等の連続した和音に関する情報であり、また、「リズムパターン情報」とは、例えば、第１楽曲音中のドラムスが奏でる連続したリズムに関する情報である。

上記の解析情報記録部７１５には、第１作成部７１０により作成された「第１拍情報」、「コード情報」、「リズムパターン情報」を含む解析情報が記録される。こうして解析情報記録部７１５に記録された解析情報は、再生用楽曲データ生成部７５０により読み取り可能となっている。

上記の第２作成部７２０は、入力部８５０から送られた「第２拍情報」の作成指令を受ける。ここで、当該作成指令には、第２楽曲音の指定が含まれている。第２作成部７２０は、入力部８５０から送られた当該指令に従って、音源記録部８２０にアクセスし、指定された第２楽曲音に対応する第２楽曲データを解析して「第２拍情報」の作成処理を実行し、第２拍情報を作成する。こうして生成された第２拍情報は、第２拍情報記録部７２５内に記録される。

ここで、第２作成部７２０により作成される「第２拍情報」には、第２拍情報識別子、第２楽曲データ識別子、第２拍構成情報が含まれている。この第２拍構成情報には、第２楽曲音のテンポ（１分間当たりの拍数：ＢＰＭ）、小節の位置情報、小節内における拍の位置情報等が含まれている。

上記の第２拍情報記録部７２５には、第２作成部７２０により作成された「第２拍情報」が記録される。こうして第２拍情報記録部７２５に記録された「第２拍情報」は、再生用楽曲データ生成部７５０により読み取り可能となっている。

上記の取得部７３０は、アップロード部７４０から送られた「第１楽曲音」を指定した著作権に関する情報（以下、単に「著作権情報」ともいう）の取得指令を受ける。当該指令を受けると、取得部７３０は、著作権情報ＤＢ８３０にアクセスして、指定された「第１楽曲音」の著作権情報を取得する。こうして取得された著作権情報は、アップロード部７４０へ送られる。

上記のアップロード部７４０は、入力部８５０から送られた「複合コンテンツ」を指定したアップロード指令を受ける。当該指令を受けると、アップロード部７４０は、指定された「複合コンテンツ」における第１楽曲データに対応する「第１楽曲音」の著作権情報の取得指令を生成し、当該指令を取得部７３０へ送る。

アップロード部７４０は、取得部７３０から送られた「第１楽曲音」の著作権情報を受ける。そして、アップロード部７４０は、当該「第１楽曲音」が著作権により利用が制限されない場合には、複合コンテンツ記録部８１０にアクセスする。引き続き、アップロード部７４０は、指定された「複合コンテンツ」を、ネットワーク９５０を介して、外部のサーバであるコンテンツサーバ９６０にアップロードする。

一方、当該「第１楽曲音」が著作権により利用が制限される場合には、アップロード部７４０は、再生用複合コンテンツ記録部７７０にアクセスする。そして、アップロード部７４０は、再生用複合コンテンツ記録部７７０内に記録されている「再生用複合コンテンツ」を、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

ここで、「再生用複合コンテンツ」は、後述する再生用楽曲データ、及び、映像データを含む複合コンテンツである。

なお、アップロード部７４０は、「再生用複合コンテンツ」のアップロードに先立って、再生用楽曲音の種別（「第２楽曲音」又は「リズム楽曲音」）の選択を利用者に促す表示データを生成し、不図示の表示部へ送るようになっている。この結果、当該表示部に、利用者に対して再生用楽曲音の種別の選択を促す画面が表示される。

上記の再生用楽曲データ生成部７５０は、入力部８５０から送られた「再生用楽曲データ」の生成指令を受ける。ここで、本実施形態では、当該生成指令には、「楽曲音の生成指令」及び「リズム音の生成指令」の２種類がある。なお、楽曲音の生成指令には、第１楽曲音及び第２楽曲音の指定が含まれている。

再生用楽曲データ生成部７５０は、生成指令の内容が「楽曲音の生成指令」である場合には、解析情報記録部７１５内における当該指定された第１楽曲音に対応する第１拍情報、及び、第２拍情報記録部７２５内における当該指定された第２楽曲音に対応する第２拍情報を取得する。また、再生用楽曲データ生成部７５０は、指定された第１楽曲音に対応する第１楽曲データ、及び、指定された第２楽曲音に対応する第２楽曲データを取得する。そして、再生用楽曲データ生成部７５０は、これらの取得結果に基づいて、指定された第１楽曲音の拍との同期が図られた指定された第２楽曲データに基づく再生用楽曲データを生成する。そして、再生用楽曲データ生成部７５０は、生成された再生用楽曲データを再生用複合コンテンツ生成部７６０へ送る。再生用楽曲データ生成部７５０が実行する処理については、後述する。

また、再生用楽曲データ生成部７５０は、生成指令の内容が「リズム音の生成指令」である場合には、解析情報記録部７１５内における当該指定された第１楽曲音に対応するコード情報及びリズムパターン情報を取得する。そして、再生用楽曲データ生成部７５０は、音源記録部８２０に記録されているリズム音源データを用いて、取得した結果に基づく再生用楽曲データ（第１楽曲音のコード及びリズムパターンに類似した楽曲データ）を生成する。引き続き、再生用楽曲データ生成部７５０は、生成された再生用楽曲データを再生用複合コンテンツ生成部７６０へ送る。

上記の再生用複合コンテンツ生成部７６０は、再生用楽曲データ生成部７５０から送られた「再生用楽曲データ」を受ける。また、再生用複合コンテンツ生成部７６０は、入力部８５０から送られた、「再生用複合コンテンツ」の生成指令を受ける。ここで、当該生成指令には、映像データの指定及び第２楽曲音の指定が含まれている。

そして、再生用複合コンテンツ生成部７６０は、当該指令を受けると、複合コンテンツ記録部８１０にアクセスして、指定された映像データを読み込む。引き続き、再生用複合コンテンツ生成部７６０は、再生用楽曲データ生成部７５０から送られた再生用楽曲データ及び指定された映像データを含む「再生用複合コンテンツ」を生成する。こうして生成された「再生用複合コンテンツ」は、再生用複合コンテンツ記録部７７０内に記録される。

上記の再生用複合コンテンツ記録部７７０には、再生用複合コンテンツ生成部７６０により生成された「再生用複合コンテンツ」が記録される。こうして再生用複合コンテンツ記録部７７０に記録された「再生用複合コンテンツ」は、アップロード部７４０により読み取り可能となっている。

［動作］
上記のように構成されたコンテンツ情報処理装置７００の動作について、複合コンテンツのアップロード処理に主に着目して説明する。

かかる複合コンテンツのアップロード処理は、利用者によるアップロード対象となる「複合コンテンツ」を指定したアップロード指令の入力部８５０への入力に応答して実行される。アップロード指令の入力が行われると、入力部８５０は、当該アップロード指令をアップロード部７４０へ送る。

このアップロード指令を受けたアップロード部７４０は、まず、指定された「複合コンテンツ」における第１楽曲データに対応する「第１楽曲音」の著作権情報の取得指令を生成し、取得部７３０へ送る。取得部７３０は、当該指令を受けると、著作権情報ＤＢ８３０にアクセスし、指定された複合コンテンツにおける第１楽曲データに対応する「第１楽曲音」の著作権情報を取得する。そして、取得部７３０は、指定された「第１楽曲音」の著作権情報を、アップロード部７４０へ送る。

この「第１楽曲音」の著作権情報を受けたアップロード部７４０は、当該情報に基づき、著作権により「第１楽曲音」の利用が制限されているか否かを判断する。そして、著作権により「第１楽曲音」の利用が制限されない場合には、アップロード部７４０は、複合コンテンツ記録部８１０にアクセスし、指定された「複合コンテンツ」を読み取る。引き続き、アップロード部７４０は、当該「複合コンテンツ」を、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

一方、著作権により「第１楽曲音」の利用が制限される場合には、まず、アップロード部７４０は、再生用楽曲音の種別選択（「第２楽曲音」又は「リズム楽曲音」）を利用者に促す表示データを生成し、不図示の表示部へ送る。この結果、当該表示部に、利用者に対して、再生用楽曲音の種別選択を促す画面が表示される。

（１）「第２楽曲音」を選択した場合の処理
利用者が、入力部８５０に対して「第２楽曲音」を指定した「再生用複合コンテンツ」の作成指令の入力を行うと、入力部８５０が、「再生用複合コンテンツ」の作成に関連する指令を、第１作成部７１０、第２作成部７２０、再生用楽曲データ生成部７５０及び再生用複合コンテンツ生成部７６０へ送る。

ここで、入力部８５０が、第１作成部７１０に対して送る指令の内容は、アップロード対象となっている複合コンテンツにおける第１楽曲データに対する第１楽曲音（以下、「対象第１楽曲音」ともいう）を指定した「第１拍情報」の作成指令となっている。また、入力部８５０が、第２作成部７２０に対して送る指令の内容は、利用者が選択した第２楽曲音（以下、「選択第２楽曲音」ともいう）を指定した「第２拍情報」の作成指令となっている。

また、入力部８５０が、再生用楽曲データ生成部７５０に対して送る指令の内容は、当該対象第１楽曲音及び当該選択第２楽曲音を指定した「再生用楽曲データ」の生成指令となっている。さらに、入力部８５０が、再生用複合コンテンツ生成部７６０に対して送る指令の内容は、アップロード対象となっている複合コンテンツにおける映像データ、及び、選択第２楽曲音を指定した「再生用複合コンテンツ」の生成指令となっている。

「第１拍情報」の作成指令を受けた第１作成部７１０は、まず、複合コンテンツ記録部８１０から、指定された第１楽曲音に対応する第１楽曲データを読み取る。そして、第１作成部７１０は、読み取られた第１楽曲データを解析し、第１楽曲音のテンポ、小節の位置情報、小節内における拍の位置情報等を検出し、当該検出結果を含む第１拍情報を作成する。引き続き、第１作成部７１０は、作成された第１拍情報を、指定された第１楽曲音に関する第１拍情報として、解析情報記録部７１５内に記録する。

「第２拍情報」の作成指令を受けた第２作成部７２０は、音源記録部８２０から、指定された第２楽曲音に対応する第２楽曲データを読み取る。そして、第２作成部７２０は、読み取られた第２楽曲データを解析し、第２楽曲音のテンポ、小節の位置情報、小節内における拍の位置情報等を検出し、当該検出結果を含む第２拍情報を作成する。引き続き、第２作成部７２０は、作成された第２拍情報を、指定された第２楽曲音に関する第２拍情報として、第２拍情報記録部７２５内に記録する。

「再生用楽曲データ」の生成指令を受けた再生用楽曲データ生成部７５０は、指定された第１楽曲音に対応する第１拍情報を、解析情報記録部７１５から読み取るとともに、指定された第２楽曲音に対応する第２拍情報を、第２拍情報記録部７２５から読み取る。また、再生用楽曲データ生成部７５０は、複合コンテンツ記録部８１０から、指定された第１楽曲音に対応する第１楽曲データを読み取るとともに、音源記録部８２０から、指定された第２楽曲音に対応する第２楽曲データを読み取る。そして、再生用楽曲データ生成部７５０は、読み取った第１拍情報及び第１楽曲データ、並びに、第２拍情報及び第２楽曲データに基づいて、指定された第１楽曲音の拍との同期が図られた指定された第２楽曲データに基づく再生用楽曲データを生成する。

かかる「再生用楽曲データ」の生成に際して、再生用楽曲データ生成部７５０は、まず、第２楽曲データから、第２楽曲データに対応する第２楽曲音のテンポを、第１楽曲音のテンポに合わせ込んだ第１中間楽曲音データを生成する。引き続き、再生用楽曲データ生成部７５０は、第１中間楽曲音データに対応する中間楽曲音の小節の位置、及び、当該小節内における拍の位置を、第１楽曲音の小節の位置、及び、当該小節内における拍の位置に合わせ込むことにより、第２中間楽曲音データを生成する。そして、再生用楽曲データ生成部７５０は、第２中間楽曲音データに対応する第２中間楽曲音の長さが、第１楽曲音の長さと同じになるように調整した「再生用楽曲データ」を生成する。こうして生成された「再生用楽曲データ」は、再生用複合コンテンツ生成部７６０へ送られる。

「再生用複合コンテンツ」の生成指令を受けた再生用複合コンテンツ生成部７６０は、再生用楽曲データ生成部７５０から送られた再生用楽曲データを受ける。また、再生用複合コンテンツ生成部７６０は、複合コンテンツ記録部８１０から、指定された映像データを読み取る。そして、再生用複合コンテンツ生成部７６０は、再生用楽曲データ生成部７５０から送られた再生用楽曲データ及び指定された映像データを含む「再生用複合コンテンツ」を生成する。引き続き、再生用複合コンテンツ生成部７６０は、生成された再生用複合コンテンツを、指定された映像データ及び第２楽曲音に関する再生用複合コンテンツとして、再生用複合コンテンツ記録部７７０内に記録する。

このようにして、アップロード対象となっている複合コンテンツにおける映像データ、及び、アップロード対象となっている複合コンテンツにおける第１楽曲データに対応する第１楽曲音の拍との同期が図られ、利用者が選択した第２楽曲音に対応する第２楽曲データに基づいて生成された再生用楽曲データを含む「再生用複合コンテンツ」が、再生用複合コンテンツ記録部７７０内に記録される。こうして再生用複合コンテンツ記録部７７０内に、「再生用複合コンテンツ」が記録されると、アップロード部７４０は、再生用複合コンテンツ記録部７７０にアクセスし、アップロード対象となっている複合コンテンツにおける映像データ、及び、利用者が選択した第２楽曲音に対応する第２楽曲データに基づいて生成された再生用楽曲データを含む「再生用複合コンテンツ」を読み取る。そして、アップロード部７４０は、当該「再生用複合コンテンツ」を、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

（２）「リズム楽曲音」を選択した場合の処理
利用者が、入力部８５０に対して「リズム楽曲音」を指定した「再生用複合コンテンツ」の作成指令の入力を行うと、入力部８５０が、「再生用複合コンテンツ」の作成に関連する指令を、第１作成部７１０、再生用楽曲データ生成部７５０及び再生用複合コンテンツ生成部７６０へ送る。

ここで、入力部８５０が、第１作成部７１０に対して送る指令の内容は、対象第１楽曲音を指定した「コード情報及びリズムパターン情報」の作成指令となっている。

また、入力部８５０が、再生用楽曲データ生成部７５０に対して送る指令の内容は、当該対象第１楽曲音及び当該リズム楽曲音を指定した「再生用楽曲データ」の生成指令となっている。さらに、入力部８５０が、再生用複合コンテンツ生成部７６０に対して送る指令の内容は、アップロード対象となっている複合コンテンツにおける映像データ、及び、リズム楽曲音を指定した「再生用複合コンテンツ」の生成指令となっている。

「コード情報及びリズムパターン情報」の作成指令を受けた第１作成部７１０は、まず、複合コンテンツ記録部８１０から、指定された第１楽曲音に対応する第１楽曲データを読み取る。そして、第１作成部７１０は、読み取られた第１楽曲データを解析し、第１楽曲音のコード及びリズムパターンを検出し、コード情報及びリズムパターン情報を作成する。引き続き、第１作成部７１０は、作成されたコード情報及びリズムパターン情報を、指定された第１楽曲音に関するコード情報及びリズムパターン情報として、解析情報記録部７１５内に記録する。

「再生用楽曲データ」の生成指令を受けた再生用楽曲データ生成部７５０は、指定された第１楽曲音に対応するコード情報及びリズムパターン情報を、解析情報記録部７１５から読み取る。また、再生用楽曲データ生成部７５０は、音源記録部８２０から、指定されたリズム音に対応するリズム音源データを読み取る。そして、再生用楽曲データ生成部７５０は、読み取ったコード情報及びリズムパターン情報、並びに、リズム音源データに基づいて、第１楽曲音のコード及びリズムパターンに類似した再生用楽曲データを生成する。こうして生成された「再生用楽曲データ」は、再生用複合コンテンツ生成部７６０へ送られる。

「再生用複合コンテンツ」の生成指令を受けた再生用複合コンテンツ生成部７６０は、再生用楽曲データ生成部７５０から送られた再生用楽曲データを受ける。また、再生用複合コンテンツ生成部７６０は、複合コンテンツ記録部８１０から、指定された映像データを読み取る。そして、再生用複合コンテンツ生成部７６０は、再生用楽曲データ生成部７５０から送られた再生用楽曲データ及び指定された映像データを含む「再生用複合コンテンツ」を生成する。引き続き、再生用複合コンテンツ生成部７６０は、生成された再生用複合コンテンツを、指定された映像データ及びリズム楽曲音に関する再生用複合コンテンツとして、再生用複合コンテンツ記録部７７０内に記録する。

こうして再生用複合コンテンツ記録部７７０内に、「再生用複合コンテンツ」が記録されると、アップロード部７４０は、再生用複合コンテンツ記録部７７０にアクセスし、アップロード対象となっている複合コンテンツにおける映像データ、及び、利用者が選択したリズム楽曲音に対応するリズム音源データに基づいて生成された再生用楽曲データを含む「再生用複合コンテンツ」を読み取る。そして、アップロード部７４０は、当該「再生用複合コンテンツ」を、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

以上説明したように、本実施形態では、アップロード部７４０が、アップロード対象として指定された「複合コンテンツ」における第１楽曲データに対応する「第１楽曲音」の著作権情報を受ける。そして、「第１楽曲音」の利用が「著作権」により制限されない場合には、アップロード部７４０は、指定された「複合コンテンツ」を読み取り、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

「第１楽曲音」の利用が「著作権」により制限される場合には、再生用楽曲音の種別選択（「第２楽曲音」又は「リズム楽曲音」）を利用者に促す。そして、利用者により「第２楽曲音」が指定されると、再生用楽曲データ生成部７５０が、アップロード対象として指定された複合コンテンツにおける第１楽曲音の第１拍情報、及び、「著作権」により利用が制限されない利用者が選択した第２楽曲音の第２拍情報に基づいて、第１楽曲音の拍との同期が図られた第２楽曲データに基づく再生用楽曲データを生成する。そして、再生用複合コンテンツ生成部７６０が、アップロード対象となっている複合コンテンツにおける映像データ、及び、利用者が選択した第２楽曲音に対応する第２楽曲データに基づいて再生用楽曲データ生成部７５０が生成した再生用楽曲データを含む「再生用複合コンテンツ」を生成し、再生用複合コンテンツ記録部７７０内に記録する。こうして再生用複合コンテンツ記録部７７０内に、「再生用複合コンテンツ」が記録されると、アップロード部７４０は、当該「再生用複合コンテンツ」を読み取り、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

一方、利用者により「リズム楽曲音」が指定されると、再生用楽曲データ生成部７５０が、アップロード対象として指定された複合コンテンツにおける第１楽曲音のコード情報及びリズムパターン情報、及び、利用者が選択したリズム音源データに基づいて、第１楽曲音のコード及びリズムパターンに類似した再生用楽曲データを生成する。そして、再生用複合コンテンツ生成部７６０が、アップロード対象となっている複合コンテンツにおける映像データ、及び、利用者が選択したリズム楽曲音に対応するリズム楽曲データに基づいて再生用楽曲データ生成部７５０が生成した再生用楽曲データを含む「再生用複合コンテンツ」を生成し、再生用複合コンテンツ記録部７７０内に記録する。こうして再生用複合コンテンツ記録部７７０内に、「再生用複合コンテンツ」が記録されると、アップロード部７４０は、当該「再生用複合コンテンツ」を読み取り、ネットワーク９５０を介して、コンテンツサーバ９６０にアップロードする。

したがって、本発明の実施形態によれば、元の楽曲音を他の楽曲音に入れ替えたとしても、映像の進行に同期した楽曲音となる複合コンテンツを作成することができる。

［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。

例えば、上記の実施形態に係るコンテンツ情報処理装置において、第１楽曲データに対応する第１楽曲音に拍手や歓声等の背景音が含まれている場合に、第１楽曲データから当該背景音に関する背景音データを抽出する抽出部を更に備えるようにしてもよい。この場合には、再生用楽曲データ生成部は、第１楽曲音の長さと同じになるように調整された第２中間楽曲音データと、抽出部により抽出された背景音データとを合成することにより、再生用楽曲データを生成するようにしてもよい。

また、上記の実施形態では、取得部は、アップロード部から送られた「第１楽曲音」が指定された著作権情報の取得指令に応答して、著作権情報ＤＢにアクセスし、当該指定された「第１楽曲音」の著作権情報を取得することとした。これに対して、取得部は、第１楽曲データを解析して「第１楽曲音」の曲名を推定し、著作権情報ＤＢを参照して、「第１楽曲音」の著作権情報を取得するようにしてもよい。

また、複合コンテンツ記録部の記録に、「第１楽曲音」の著作権情報が含まれるようにしてもよい。この場合には、取得部は、複合コンテンツ記録部から「第１楽曲音」の著作権情報を読み取って、当該情報をアップロード部へ送るようにしてもよい。

また、上記の実施形態では、リズム音源データに基づく再生用楽曲音を作成するに際して、第１楽曲音に関するコード情報及びリズムパターン情報に基づいて作成することとした。これに対して、第１楽曲音に関するコード情報のみに基づいて再生用楽曲音を作成するようにしてもよいし、又、第１楽曲音に関するリズムパターン情報のみに基づいて再生用楽曲音を作成するようにしてもよい。

また、上記の実施形態では、リズム音源データに基づく再生用楽曲音を作成するに際して、第１楽曲音に関する解析情報のうち、コード情報及びリズムパターン情報に基づいて作成することとした。これに対して、第１楽曲音に関する解析情報に含まれる第１拍情報を更に用いて、第１楽曲音の拍との同期が図られるように再生楽曲音を作成するようにしてもよい。また、この場合には、入力部８５０が、第１作成部７１０に対して、「コード情報及びリズムパターン情報」の作成指令に加え、「第１拍情報」の作成指令を送るようにして、再生用楽曲データ生成部７５０は、第１拍情報、並びに、コード情報及びリズムパターン情報を、解析情報記録部７１５から読み取るようにすればよい。

また、上記の実施形態では、利用者の選択に対応して、上述した（１）「第２楽曲音」を選択した場合の処理、又は、（２）「リズム楽曲音」を選択した場合の処理を行うこととした。これに対して、コンテンツ情報処理装置としては、（１）「第２楽曲音」を選択した場合の処理のみを行うこととしてもよい。また、コンテンツ情報処理装置としては、（２）「リズム楽曲音」を選択した場合の処理のみを行うこととしてもよい。

また、上記の実施形態に係るコンテンツ情報処理装置では、複合コンテンツのアップロード処理を行うこととしたが、複合コンテンツのアップロード処理を行わない構成であってもよい。この場合には、コンテンツ情報処理装置の構成要素として、取得部７３０、アップロード部７４０、著作権情報データベース８３０を省略することができる。また、この場合には、私的利用であることを前提として、音源記録部８２０内に記録される第２楽曲データに対応する第２楽曲音としては、著作権により利用が制限されるものであってもよい。

また、上記の実施形態では、コンテンツ情報処理装置とコンテンツサーバ間の通信を無線通信としたが、コンテンツ情報処理装置とコンテンツサーバ間の通信を有線通信とするものであってもよい。

また、上記の実施形態のコンテンツ情報処理装置を、演算部としてのコンピュータを備えたコンピュータ装置として構成し、上述した第１作成部（作成部）、第２作成部、取得部、アップロード部、再生用楽曲データ生成部及び再生用複合コンテンツ生成部の機能の一部又は全部の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。

以下、本発明のコンテンツ情報処理装置の一実施例を、図２〜図１２を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。

［構成］
図２には、一実施例に係るコンテンツ情報処理装置１００の概略的な構成が示されている。なお、コンテンツ情報処理装置１００は、上述した実施形態のコンテンツ情報処理装置７００（図１参照）の一態様となっている。

図２に示されるように、コンテンツ情報処理装置１００は、第１作成部７１０、第２作成部７２０、取得部７３０、アップロード部７４０の一部、再生用楽曲データ生成部７５０、及び、再生用複合コンテンツ生成部７６０としての制御ユニット１１０と、複合コンテンツ記録部８１０としての複合コンテンツ源ユニット１２０と、音源記録部（記録部）８２０としての音源ユニット１２５と、解析情報記録部７１５、第２拍情報記録部７２５、再生用複合コンテンツ記録部７７０及び著作権情報データベース８３０としての記憶ユニット１３０とを備えている。また、コンテンツ情報処理装置１００は、音出力ユニット１４０と、表示ユニット１６０と、入力ユニット１７０と、アップロード部７４０の一部としての無線通信ユニット１９０とを備えている。

上記の制御ユニット１１０は、コンテンツ情報処理装置１００の全体を統括制御するとともに、様々な処理を実行する。この制御ユニット１１０は、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。制御ユニット１１０が様々なプログラムを実行することにより、上述した第１作成部（作成部）７１０、第２作成部７２０、取得部７３０、アップロード部７４０の一部、再生用楽曲データ生成部７５０及び再生用複合コンテンツ生成部７６０の機能が実現されるようになっている。

すなわち、制御ユニット１１０は、第１拍情報の作成処理、コード情報及びリズムパターン情報の解析、第２拍情報の作成処理、著作権に関する情報の取得処理、及び、複合コンテンツのアップロード処理を行う。また、制御ユニット１１０は、再生用楽曲データの生成処理、及び、再生用複合コンテンツの生成処理を行う。かかる制御ユニット１１０が実行する処理の詳細については、後述する。

上記の複合コンテンツ源ユニット１２０は、不揮発性の記憶素子を備えて構成される。この複合コンテンツ源ユニット１２０は、様々な映像及び楽曲に関する複合コンテンツ情報ＣＣＤを記憶する。この複合コンテンツ情報ＣＣＤの内容については、後述する。

上記の音源ユニット１２５は、不揮発性の記憶素子を備えて構成される。この音源ユニット１２５は、様々な音源データＭＣＤを記憶する。この音源データＭＣＤの内容については、後述する。

上記の記憶ユニット１３０は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット１３０は、解析情報ＭＤＡ１、第２拍情報ＭＤＡ２、再生用複合コンテンツ情報ＭＤＣ及び著作権情報データベース（ＤＢ）ＣＤＢを記憶する。これらの解析情報ＭＤＡ１、第２拍情報ＭＤＡ２、再生用複合コンテンツ情報ＭＤＣ及び著作権情報データベース（ＤＢ）ＣＤＢの内容については、後述する。

上記の音出力ユニット１４０は、スピーカを備えて構成される。この音出力ユニット１４０は、制御ユニット１１０から送られた出力音データを受ける。そして、音出力ユニット１４０は、制御ユニット１１０による制御のもとで、当該出力音データに対応する出力音を再生出力する。

上記の表示ユニット１６０は、液晶パネル等の表示デバイスを備えて構成される。この表示ユニット１６０は、制御ユニット１１０から送られた表示データを受ける。そして、表示ユニット１６０は、当該表示データに対応する画像を表示する。

上記の入力ユニット１７０は、コンテンツ情報処理装置１００の本体部に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット１６０の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。また、カメラによる撮影画像についての画像認識や、モーションキャプチャによる動作認識を操作入力に際して利用することもできる。

この入力ユニット１７０を利用者が操作することにより、コンテンツ情報処理装置１００の動作内容の設定や動作指令の入力が行われる。入力ユニット１７０への入力内容は、入力データとして、制御ユニット１１０へ送られる。

上記の無線通信ユニット１９０は、不図示のアンテナ等を備えて構成されている。この無線通信ユニット１９０は、当該アンテナから受信した受信信号を処理して、制御ユニット１１０で処理可能なデジタルデータ信号に変換する。また、無線通信ユニット１９０は、制御ユニット１１０からの送信信号を処理して、無線信号に対応する信号に変換し、アンテナへ送る。

この無線通信ユニット１９０を利用し、制御ユニット１１０から送られた複合コンテンツを、ネットワーク５００を介して、外部のサーバであるコンテンツサーバ６００にアップロードすることができる。

次に、複合コンテンツ源ユニット１２０内に記憶される複合コンテンツ情報ＣＣＤについて、説明する。複合コンテンツ情報ＣＣＤには、図３に示されるように、複合コンテンツ情報＃１，＃２，…が含まれている。かかる複合コンテンツ情報には、複合コンテンツ識別子、複合コンテンツ名、第１楽曲データ識別子、第１楽曲名、映像データ識別子、第１楽曲データ及び映像データが含まれている。

ここで、複合コンテンツ源ユニット１２０内に記録される第１楽曲音及び映像としては、例えば、第１楽曲音をダンス用楽曲音としたストリートダンス等のダンスのパフォーマンス映像等が挙げられる。また、本実施例では、複合コンテンツ源ユニット１２０内に記録される第１楽曲データに対応する第１楽曲音としては、著作権により利用が制限されるものもあるし、著作権により利用が制限されないものもある。

次いで、音源ユニット１２５内に記憶される音源情報ＭＣＤについて、説明する。音源情報ＭＣＤには、図４に示されるように、第２楽曲データ情報＃１，＃２，…、及び、リズム音源データ情報＃１，＃２，…が含まれている。かかる第２楽曲データ情報には、第２楽曲データ識別子、第２楽曲名及び第２楽曲データが含まれている。また、かかるリズム音源データ情報には、リズム音源データ識別子及びリズム音源データが含まれている。

ここで、音源ユニット１２５内に記録される「第２楽曲音」としては、例えば、ダンス用楽曲音、リズムパターン等が挙げられる。また、本実施例では、音源ユニット１２５内に記録される第２楽曲データに対応する第２楽曲音としては、著作権により利用が制限されないものとなっている。

また、音源ユニット１２５内に記録される「リズム音源データ」としては、楽曲を構成するコードを表現した楽器等の音データ、楽曲を構成するリズムパターンを表現した楽器等の音データ等が挙げられる。

次に、記憶ユニット１３０内に記憶される解析情報ＭＤＡ１について、説明する。解析情報ＭＤＡ１には、図５に示されるように、第１拍情報＃１，＃２，…、及び、リズム関連情報＃１，＃２，…が含まれている。かかる第１拍情報には、第１拍情報識別子、第１楽曲データ識別子及び第１拍構成情報が含まれている。ここで、第１拍構成情報には、第１楽曲音のテンポ（１分間当たりの拍数：ＢＰＭ）、小節の位置情報、小節内における拍の位置情報、第１楽曲音の構成情報、第１楽曲音の進行情報等が含まれている。

また、かかるリズム関連情報には、リズム関連情報識別子、コード情報、リズムパターン情報が含まれている。ここで、「コード情報」とは、例えば、第１楽曲音を構成するギターやピアノ等の連続した和音に関する情報であり、「リズムパターン情報」とは、例えば、第１楽曲音中のドラムスが奏でる連続したリズムに関する情報である。

次いで、記憶ユニット１３０内に記憶される第２拍情報ＭＤＡ２について、説明する。第２拍情報ＭＤＡ２には、図６に示されるように、第２拍情報＃１，＃２，…が含まれている。かかる第２拍情報には、第２拍情報識別子、第２楽曲データ識別子及び第２拍構成情報が含まれている。ここで、第２拍構成情報には、第２楽曲音のテンポ（１分間当たりの拍数：ＢＰＭ）、小節の位置情報、小節内における拍の位置情報、第２楽曲音の構成情報、第２楽曲音の進行情報等が含まれている。

次に、記憶ユニット１３０内に記憶される再生用複合コンテンツ情報ＭＤＣについて、説明する。再生用複合コンテンツ情報ＭＤＣには、図７に示されるように、再生用複合コンテンツ情報＃１，＃２，…が含まれている。かかる再生用複合コンテンツ情報には、再生用複合コンテンツ識別子、再生用複合コンテンツ名、再生用楽曲データ識別子、再生用楽曲音名、映像データ識別子、再生用楽曲データ及び映像データが含まれている。

次いで、記憶ユニット１３０内に記憶される著作権情報データベースＣＤＢについて、説明する。この著作権情報データベースＣＤＢには、様々な楽曲の著作権に関する情報（以下、単に「著作権情報」ともいう）を記録している。なお、こうした楽曲の著作権に関する情報は、ネットワーク等を介して、不図示の著作権情報サーバから取得するようにしてもよい。

［動作］
以上のようにして構成されたコンテンツ情報処理装置１００の動作について、制御ユニット１１０による複合コンテンツのアップロード処理に主に着目して説明する。

かかる複合コンテンツのアップロード処理では、図８に示されるように、まず、ステップＳ１１において、複合コンテンツを指定したアップロード指令が、入力ユニット１７０に入力されたか否かを、制御ユニット１１０が判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。

複合コンテンツを指定したアップロード指令が入力されて、ステップＳ１１における判定の結果が肯定的になると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。ステップＳ１２では、制御ユニット１１０が、記憶ユニット１３０内の著作権情報データベースＣＤＢにアクセスし、指定された複合コンテンツにおける第１楽曲データに対応する「第１楽曲音」の著作権情報を取得する。

次に、ステップＳ１３において、制御ユニット１１０が、取得した著作権情報に基づき、「第１楽曲音」の利用が著作権により制限されているか否かを判定する。この判定の結果が否定的であった場合（ステップＳ１３：Ｎ）には、処理はステップＳ１４へ進む。

ステップＳ１４では、制御ユニット１１０が、複合コンテンツ源ユニット１２０にアクセスし、指定された「複合コンテンツ」を読み取る。そして、制御ユニット１１０は、当該「複合コンテンツ」を、ネットワーク５００を介して、外部のコンテンツサーバ６００にアップロードする。こうして「複合コンテンツ」がコンテンツサーバ６００にアップロードされると、今回の複合コンテンツのアップロード処理が終了する。

上述したステップＳ１３における判定の結果が肯定的であった場合（ステップＳ１３：Ｙ）には、処理はステップＳ１５へ進む。ステップＳ１５では、制御ユニット１１０が、再生用楽曲音の種別（「第２楽曲音」又は「リズム楽曲音」）の選択を利用者に促す表示データを生成し、表示ユニット１６０へ送る。この結果、表示ユニット１６０の表示デバイスに、利用者に対して、再生用楽曲音の種別選択を促す画面が表示される。この後、処理はステップＳ１６へ進む。ステップＳ１６では、「再生用楽曲データの生成処理」が行われる。「再生用楽曲データの生成処理」の詳細については、後述する。

次いで、ステップＳ１７において、制御ユニット１１０が、複合コンテンツ源ユニット１２０から、アップロード対象として指定された複合コンテンツにおける映像データを読み取る。そして、制御ユニット１１０は、利用者が選択した「第２楽曲音」又は「リズム楽曲音」に対応する音源データに基づいて生成された再生用楽曲データ、及び、アップロード対象として指定された映像データを含む「再生用複合コンテンツ」を生成する。こうして生成された再生用複合コンテンツは、再生用複合コンテンツ識別子、再生用複合コンテンツ名、再生用楽曲音データ識別子、再生用楽曲音名、映像データ識別子とともに、再生用コンテンツ情報として、記憶ユニット１３０内に格納される。

引き続き、ステップＳ１８において、制御ユニット１１０が、記憶ユニット１３０にアクセスし、アップロード対象となっている複合コンテンツにおける映像データ、及び、第１楽曲音の拍との同期が図られ、利用者が選択した「第２楽曲音」又は「リズム楽曲音」に対応する音源データに基づいて生成された再生用楽曲データを含む「再生用複合コンテンツ」を読み取る。そして、制御ユニット１１０は、当該「再生用複合コンテンツ」を、ネットワーク５００を介して、コンテンツサーバ６００にアップロードする。こうして「再生用複合コンテンツ」がコンテンツサーバ６００にアップロードされると、今回の複合コンテンツのアップロード処理が終了し、処理はステップＳ１１へ戻る。

＜再生用楽曲データの生成処理＞
次に、上述した図８のステップＳ１６における「再生用楽曲データの生成処理」について説明する。

この「再生用楽曲データの生成処理」は、図９に示されるように、まず、ステップＳ２１において、「第２楽曲音」の選択が、入力ユニット１７０に入力されたか否かを、制御ユニット１１０が判定する。この判定の結果が肯定的であった場合（ステップＳ２１：Ｙ）には、処理はステップＳ２２へ進む。ステップＳ２２では、「『第２楽曲音』選択に関する再生用楽曲データの生成処理」が行われる。当該「『第２楽曲音』選択に関する再生用楽曲データの生成処理」の詳細については、後述する。

上述したステップＳ２１における判定の結果が否定的であった場合（ステップＳ２１：Ｎ）には、処理はステップＳ２３へ進む。このステップＳ２３では、制御ユニット１１０が、「リズム楽曲音」の選択が、入力ユニット１７０に入力されたかを判定する。この判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理はステップＳ２１へ戻る。一方、ステップＳ２３における判定の結果が肯定的であった場合（ステップＳ２３：Ｙ）には、処理はステップＳ２４進む。ステップＳ２４では、「『リズム楽曲音』選択に関する再生用楽曲データの生成処理」が行われる。当該「『リズム楽曲音』選択に関する再生用楽曲データの生成処理」の詳細については、後述する。

《『第２楽曲音』選択に関する再生用楽曲データの生成処理》
次に、上述した図９のステップＳ２２における「『第２楽曲音』選択に関する再生用楽曲データの生成処理」について説明する。

この「『第２楽曲音』選択に関する再生用楽曲データの生成処理」は、図１０に示されるように、まず、ステップＳ３１において、制御ユニット１１０が、記憶ユニット１３０内の解析情報ＭＤＡ１を参照し、アップロード対象として指定された複合コンテンツにおける第１楽曲データに対応する第１楽曲音の第１拍情報が、作成済みであるか否かを判定する。ステップＳ３１における判定の結果が肯定的であった場合（ステップＳ３１：Ｙ）には、処理は後述するステップＳ３３へ進む。

一方、ステップＳ３１における判定の結果が否定的であった場合（ステップＳ３１：Ｎ）には、処理はステップＳ３２へ進む。このステップＳ３２では、制御ユニット１１０が、指定された複合コンテンツにおける第１楽曲データに対応する第１楽曲音の第１拍情報を作成する。

かかる第１拍情報の作成に際して、制御ユニット１１０は、まず、複合コンテンツ源ユニット１２０から、指定された複合コンテンツにおける第１楽曲データを読み取る。引き続き、制御ユニット１１０は、当該第１楽曲データを解析し、第１楽曲音のテンポ、小節の位置情報、小節内における拍の位置情等を検出し、当該検出結果を含む第１拍構成情報を作成する。そして、制御ユニット１１０は、作成された第１拍構成情報を、指定された第１楽曲音に関する第１拍構成情報として、第１拍情報識別子及び第１楽曲データ識別子とともに、記憶ユニット１３０内に格納する。

次に、ステップＳ３３において、制御ユニット１１０が、記憶ユニット１３０内の第２拍情報ＭＤＡ２を参照し、指定された第２楽曲音の第２拍情報が、作成済みであるか否かを判定する。ステップＳ３３における判定の結果が肯定的であった場合（ステップＳ３３：Ｙ）には、処理は後述するステップＳ３５へ進む。

ステップＳ３３における判定の結果が否定的であった場合（ステップＳ３３：Ｎ）には、処理はステップＳ３４へ進む。このステップＳ３４では、制御ユニット１１０が、指定された第２楽曲音の第２拍情報を作成する。

かかる第２拍情報の作成に際して、制御ユニット１１０は、まず、音源ユニット１２５から、指定された第２楽曲音に対応する第２楽曲データを読み取る。引き続き、制御ユニット１１０は、当該第２楽曲データを解析し、第２楽曲音のテンポ、小節の位置情報、小節内における拍の位置情等を検出し、当該検出結果を含む第２拍構成情報を作成する。そして、制御ユニット１１０は、作成された第２拍構成情報を、指定された第２楽曲音に関する第２拍構成情報として、第２拍情報識別子及び第２楽曲データ識別子とともに、記憶ユニット１３０内に格納する。

次に、ステップＳ３５において、制御ユニット１１０が、再生用楽曲データを生成する。かかる再生用楽曲データの生成に際して、制御ユニット１１０は、記憶ユニット１３０から、アップロード対象として指定された複合コンテンツにおける第１楽曲データに対応する第１楽曲音に関する第１拍情報を読み取るとともに、指定された第２楽曲音に関する第２拍情報を読み取る。また、制御ユニット１１０は、複合コンテンツ源ユニット１２０から、アップロード対象として指定された複合コンテンツにおける第１楽曲データを読み取るとともに、音源ユニット１２５から、指定された第２楽曲音に対応する第２楽曲データを読み取る。

これらの情報及びデータを読み取ると、制御ユニット１１０は、まず、第２楽曲データから、第２楽曲音のテンポを第１楽曲音のテンポに合わせ込んだ第１中間楽曲音データを生成する。引き続き、制御ユニット１１０は、第１中間楽曲音データに対応する第１中間楽曲音の小節の位置、及び、当該小節内における拍の位置を、第１楽曲音の小節の位置、及び、当該小節内における拍の位置に合わせ込むことにより、第２中間楽曲音データを生成する。そして、制御ユニット１１０は、第２中間楽曲音データに対応する第２中間楽曲音の長さが、第１楽曲音の長さと同じになるように調整した再生用楽曲データを生成する。

ここで、第１楽曲音のテンポが１００ＢＰＭ、第２楽曲音のテンポが１０５ＢＰＭとしたときの複合コンテンツ、第１中間楽曲音、第２中間楽曲音、及び、再生用複合コンテンツの例が、図１１に示されている。

《『リズム楽曲音』選択に関する再生用楽曲データの生成処理》
次に、上述した図９のステップＳ２４における「『リズム楽曲音』選択に関する再生用楽曲データの生成処理」について説明する。

この「『リズム楽曲音』選択に関する再生用楽曲データの生成処理」は、図１２に示されるように、まず、ステップＳ４１において、制御ユニット１１０が、記憶ユニット１３０内の解析情報ＭＤＡ１を参照し、アップロード対象として指定された複合コンテンツにおける第１楽曲データに対応する第１楽曲音のリズム関連情報（コード情報及びリズムパターン情報）が、作成済みであるか否かを判定する。ステップＳ４１における判定の結果が肯定的であった場合（ステップＳ４１：Ｙ）には、処理は後述するステップＳ４３へ進む。

一方、ステップＳ４１における判定の結果が否定的であった場合（ステップＳ４１：Ｎ）には、処理はステップＳ４２へ進む。このステップＳ４２では、制御ユニット１１０が、指定された複合コンテンツにおける第１楽曲データに対応するリズム関連情報を作成する。

かかるリズム関連情報の作成に際して、制御ユニット１１０は、まず、複合コンテンツ源ユニット１２０から、指定された複合コンテンツにおける第１楽曲データを読み取る。引き続き、制御ユニット１１０は、当該第１楽曲データを解析し、第１楽曲音のコード及びリズムパターンを検出し、リズム関連情報を作成する。そして、制御ユニット１１０は、作成されたリズム関連情報を、指定された第１楽曲音に関するリズム関連情報として、リズム関連情報識別子とともに、記憶ユニット１３０内に格納する。

次に、ステップＳ４３において、制御ユニット１１０が、再生用楽曲データを生成する。かかる再生用楽曲データの生成に際して、制御ユニット１１０は、記憶ユニット１３０から、アップロード対象として指定された複合コンテンツにおける第１楽曲データに対応する第１楽曲音に関するリズム関連情報を読み取るとともに、指定されたリズム音に対応するリズム音源データを読み取る。そして、制御ユニット１１０は、読み取ったリズム関連情報（コード情報及びリズムパターン情報）、並びに、リズム音源データに基づいて、第１楽曲音のコード及びリズムパターンに類似した再生用楽曲データを生成する。

複合コンテンツのアップロード指令を受けるごとに、上記のステップＳ１１〜Ｓ１８の処理が実施されて、複合コンテンツのアップロード処理が行われる。

以上説明したように、本実施例では、制御ユニット１１０が、アップロード対象として指定された「複合コンテンツ」における第１楽曲データに対応する「第１楽曲音」の利用が、著作権により制限されているか否かを判定する。そして、「第１楽曲音」の利用が著作権により制限されない場合には、制御ユニット１１０は、複合コンテンツ源ユニット１２０にアクセスし、指定された「複合コンテンツ」を読み取る。引き続き、制御ユニット１１０は、当該「複合コンテンツ」を、ネットワーク５００を介して、外部のコンテンツサーバ６００にアップロードする。

「第１楽曲音」の利用が著作権により制限される場合には、制御ユニット１１０は、再生用楽曲音の種別選択（「第２楽曲音」又は「リズム楽曲音」）を利用者に促す。そして、利用者により「第２楽曲音」が指定されると、制御ユニット１１０は、アップロード対象として指定された複合コンテンツにおける第１楽曲音の第１拍情報、及び、「著作権」により利用が制限されない利用者が選択した第２楽曲音の第２拍情報に基づいて、第１楽曲音の拍との同期が図られた第２楽曲データに基づく再生用楽曲データを生成する。そして、制御ユニット１１０は、アップロード対象となっている複合コンテンツにおける映像データ、及び、利用者が選択した第２楽曲音に対応する第２楽曲データに基づいて生成された再生用楽曲データを含む「再生用複合コンテンツ」を生成し、記憶ユニット１３０内に記録する。こうして記憶ユニット１３０内に、「再生用複合コンテンツ」が記録されると、制御ユニット１１０は、当該「再生用複合コンテンツ」を読み取り、ネットワーク５００を介して、コンテンツサーバ６００にアップロードする。

一方、利用者により「リズム楽曲音」が指定されると、制御ユニット１１０は、アップロード対象として指定された複合コンテンツにおける第１楽曲音のコード情報及びリズムパターン情報、及び、利用者が選択したリズム音源データに基づいて、第１楽曲音のコード及びリズムパターンに類似した再生用楽曲データを生成する。そして、制御ユニット１１０は、アップロード対象となっている複合コンテンツにおける映像データ、及び、利用者が選択したリズム楽曲音に対応するリズム楽曲データに基づいて生成した再生用楽曲データを含む「再生用複合コンテンツ」を生成し、記憶ユニット１３０内に記録する。こうして記憶ユニット１３０内に、「再生用複合コンテンツ」が記録されると、制御ユニット１１０は、当該「再生用複合コンテンツ」を読み取り、ネットワーク５００を介して、コンテンツサーバ６００にアップロードする。

このため、本実施例では、複合コンテンツ作成者の作成意図を反映しつつ、また、複合コンテンツを閲覧する者に対しては違和感を起こさせることのない、映像の進行に対して正確に同期して進行する楽曲音を記録した複合コンテンツを提供することができる。

また、本実施例では、楽曲データ及び映像データを含む複合コンテンツをアップロードするに際して、著作物は保護を図ることができる。

また、本実施例では、「第１楽曲音」の利用が著作権により制限されているかを、コンテンツ作成者（利用者）が判断しなくてよいため、コンテンツ作成者の利便性を高めることもできる。

したがって、本実施例によれば、元の楽曲音を他の楽曲音に入れ替えたとしても、映像の進行に同期した楽曲音となる複合コンテンツを作成することができる。

［実施例の変形］
本発明は、上記の実施例に限定されるものではなく、上述した実施形態の場合と同様に、様々な変形が可能である。

すなわち、上記の実施例に係るコンテンツ情報処理装置において、第１楽曲データに対応する第１楽曲音に拍手や歓声等の背景音が含まれている場合に、第１楽曲データから当該背景音に関する背景音データを抽出する抽出部としての機能を、制御ユニットが更に実現するようにしてもよい。この場合に、制御ユニットは、背景音データが含まれている第１楽曲データを解析する。また、制御ユニットは、当該背景音データが含まれている第１楽曲データに対応する楽曲と同じ楽曲であって、当該背景音データを含まない楽曲データを解析する。そして、制御ユニットは、これらの解析結果を比較することで、背景音に関する背景音データを抽出する。引き続き、制御ユニットは、第１楽曲音の長さと同じになるように調整された第２中間楽曲音データと、抽出された背景音データとを合成することにより、再生用楽曲データを生成する。

こうした構成を採用することで、複合コンテンツをアップロードする際に、複合コンテンツの楽曲音を入れ替えたとしても、拍手や歓声等の背景音が含まれた臨場感溢れる複合コンテンツを、コンテンツサーバにアップロードすることができる。

また、上記の実施例では、制御ユニットは、著作権情報ＤＢにアクセスし、当該指定された「第１楽曲音」の著作権情報を取得することとした。これに対して、制御ユニットは、第１楽曲データを解析して「第１楽曲音」の曲名を推定し、著作権情報ＤＢを参照して、「第１楽曲音」の著作権情報を取得するようにしてもよい。

また、複合コンテンツ源ユニット１２０内に記憶される複合コンテンツ情報ＣＣＤには、「第１楽曲音」の著作権情報が含まれるようにしてもよい。この場合には、制御ユニットは、楽曲コンテンツ情報ＭＣＤから「第１楽曲音」の著作権情報を読み取って、「第１楽曲音」の利用が著作権により制限されているか否かを判定するようにしてもよい。

また、上記の実施例では、リズム音源データに基づく再生用楽曲音を作成するに際して、第１楽曲音に関するコード情報及びリズムパターン情報に基づいて作成することとした。これに対して、第１楽曲音に関するコード情報のみに基づいて再生用楽曲音を作成するようにしてもよいし、又、第１楽曲音に関するリズムパターン情報のみに基づいて再生用楽曲音を作成するようにしてもよい。

また、上記の実施例では、利用者の選択に対応して、上述した（１）「第２楽曲音」を選択した場合の処理、又は、（２）「リズム楽曲音」を選択した場合の処理を行うこととした。これに対して、コンテンツ情報処理装置としては、（１）「第２楽曲音」を選択した場合の処理のみを行うこととしてもよい。また、コンテンツ情報処理装置としては、（２）「リズム楽曲音」を選択した場合の処理のみを行うこととしてもよい。

また、上記の実施例では、リズム音源データに基づく再生用楽曲音を作成するに際して、第１楽曲音に関するコード情報及びリズムパターン情報に基づいて、第１楽曲音のコード及びリズムパターンに類似した再生用楽曲データを生成した。この処理は、小節毎に生成することも可能である。つまり、第１楽曲の小節ごとにコード情報やリズムパターン情報を取得し、その小節に対応したコード及びリズムパターンを割当て、その楽曲データをつなげる事で再生用楽曲データを生成してもよい。

また、上記の実施例に係るコンテンツ情報処理装置では、複合コンテンツのアップロード処理を行うこととしたが、複合コンテンツのアップロード処理を行わない構成であってもよい。この場合には、制御ユニットによる著作権に関する情報の取得処理、及び、複合コンテンツのアップロード処理の実現を省略することができる。また、この場合には、私的利用であることを前提として、音源ユニット１２５内に記録される第２楽曲データに対応する第２楽曲音としては、第１楽曲音と同じ曲名であって、著作権により利用が制限されるものであってもよい。

こうした構成を採用することで、第２楽曲音の音質が、第１楽曲音の音質と比べて高音質のときには、高音質の楽曲データを含む複合コンテンツを作成することができる。

また、上記の実施例では、コンテンツ情報処理装置とコンテンツサーバ間の通信を無線通信としたが、コンテンツ情報処理装置とコンテンツサーバ間の通信を有線通信とするものであってもよい。

なお、上記の実施例では、制御ユニット１１０によるプログラムの実行により、第１拍情報の作成処理、第２拍情報の作成処理、著作権に関する情報の取得処理、複合コンテンツのアップロード処理、再生用楽曲データの生成処理及び再生用複合コンテンツの生成処理を行うようにしたが、これらの処理の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより行うようにしてもよい。

また、制御ユニット１１０が実行するプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。

Claims (7)

1. 第１楽曲データ及び前記第１楽曲データに対応する第１楽曲音が流される環境下で撮影された映像の映像データを含む複合コンテンツにおける、前記第１楽曲音の第１拍情報を作成する第１作成部と；
   記録部に記録された第２楽曲データに対応する第２楽曲音の第２拍情報を作成する第２作成部と；
   前記第１拍情報、前記第２楽曲データ及び前記第２拍情報に基づいて、前記第１楽曲音との同期が図られた再生用楽曲データを生成する再生用楽曲データ生成部と；
   前記再生用楽曲データ及び前記映像データを含む再生用複合コンテンツを生成する再生用複合コンテンツ生成部と；を備え、
   前記第１拍情報には、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置情報、及び、前記第１楽曲音の前記小節内における拍の位置情報が含まれ、
   前記第２拍情報には、前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置情報、及び、前記第２楽曲音の前記小節内における拍の位置情報が含まれ、
   前記再生用楽曲データ生成部は、
   前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置、及び、前記第２楽曲音の前記小節内における拍の位置を、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置、及び、前記第１楽曲音の前記小節内における拍の位置に合わせ込んだ後に、前記第１楽曲音の長さと同じになるように調整した前記再生用楽曲データを生成する、
   ことを特徴とするコンテンツ情報処理装置。
2. 前記第１楽曲データに対応する第１楽曲音には背景音が含まれ、
   前記第１楽曲データから前記背景音に関する背景音データを抽出する抽出部を更に備え、
   前記再生用楽曲データ生成部は、前記抽出された背景音データを合成した再生用楽曲データを生成する、
   ことを特徴とする請求項１に記載のコンテンツ情報処理装置。
3. 前記第１楽曲データに対応する前記第１楽曲音の著作権に関する情報を取得する取得部を更に備え、
   前記第２楽曲データは、著作権により利用の制限を受けない音源データであり、
   前記再生用楽曲データ生成部は、前記取得部による取得結果に基づき、前記第１楽曲データに対応する第１楽曲音が著作権により利用が制限される場合には、前記記録部内に記録された前記第２楽曲データに基づく再生用楽曲データを生成する、
   ことを特徴とする請求項１又は２に記載のコンテンツ情報処理装置。
4. 前記複合コンテンツ又は前記再生用複合コンテンツのいずれかを外部のサーバにアップロードするアップロード部を更に備え、
   前記アップロード部は、
   前記取得部による取得結果に基づき、前記第１楽曲データに対応する前記第１楽曲音が著作権により利用が制限されない場合には、前記複合コンテンツを前記外部のサーバにアップロードし、
   前記第１楽曲データに対応する前記第１楽曲音が著作権により利用が制限される場合には、前記再生用複合コンテンツを前記外部のサーバにアップロードする、
   ことを特徴とする請求項３に記載のコンテンツ情報処理装置。
5. 第１楽曲データ及び前記第１楽曲データに対応する第１楽曲音が流される環境下で撮影された映像の映像データを含む複合コンテンツにおける、前記第１楽曲音の第１拍情報を作成する第１作成工程と；
   記録部に記録された第２楽曲データに対応する第２楽曲音の第２拍情報を作成する第２作成工程と；
   前記第１拍情報、前記第２楽曲データ及び前記第２拍情報に基づいて、前記第１楽曲音との同期が図られた再生用楽曲データを生成する再生用楽曲データ生成工程と；
   前記再生用楽曲データ及び前記映像データを含む再生用複合コンテンツを生成する再生用複合コンテンツ生成工程と；を備え、
   前記第１拍情報には、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置情報、及び、前記第１楽曲音の前記小節内における拍の位置情報が含まれ、
   前記第２拍情報には、前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置情報、及び、前記第２楽曲音の前記小節内における拍の位置情報が含まれ、
   前記再生用楽曲データ生成工程では、
   前記第２楽曲音のテンポ、前記第２楽曲音の小節の位置、及び、前記第２楽曲音の前記小節内における拍の位置を、前記第１楽曲音のテンポ、前記第１楽曲音の小節の位置、及び、前記第１楽曲音の前記小節内における拍の位置に合わせ込んだ後に、前記第１楽曲音の長さと同じになるように調整した前記再生用楽曲データを生成する、
   ことを特徴とするコンテンツ情報処理方法。
6. 請求項５に記載のコンテンツ情報処理方法を演算部に実行させる、ことを特徴とするコンテンツ情報処理プログラム。
7. 請求項６に記載のコンテンツ情報処理プログラムが、演算部により読み取り可能に記録されている、ことを特徴とする記録媒体。

Images