以下、本発明の実施形態について説明する。図1に示すカラオケシステムは、ホスト装置1(サーバー)とカラオケ装置2とユーザー端末3とを有している。そして、これらが通信回線4を介して通信可能に接続されている。ホスト装置1は、歌唱動画コンテンツの基となる歌唱動画データを多数記憶しており、ユーザー端末3からの指示で選択された或る楽曲の歌唱動画コンテンツ(歌唱動画データ)を複数合成し、その楽曲の合成動画コンテンツを生成する。以下、カラオケシステムを構成する各装置1〜3について説明する。
まず、ホスト装置1について説明する。ホスト装置1は、サーバーとして機能し、顧客情報や歌唱動画データといった各種情報を蓄積して管理する。図2に示すように、ホスト装置1は、ホスト側制御部11と、ホスト側通信部12と、ホスト側記憶部13とを有している。ホスト側制御部11は、ホスト装置1における制御の中心となる部分であり、CPU11aやメモリ11bを有している。CPU11aは、メモリ11bに記憶された動作プログラムに従って各種の制御を実行する。メモリ11bは、CPU11aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部12は、ホスト装置1を通信回線4に接続するためのインタフェースを提供する。
ホスト側記憶部13は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。このホスト側記憶部13は、歌唱動画コンテンツの基となる歌唱動画データ(歌唱音声データと歌唱映像データの組,録画用動画データ,閲覧用動画データ)を、カラオケ楽曲毎の識別情報である楽曲IDに関連付けた状態で記憶していることから、歌唱動画コンテンツを楽曲に関連付けて記憶するコンテンツ記憶手段に相当する。
ホスト側記憶部13の一部領域は、顧客情報記憶領域、歌唱音声データ記憶領域、歌唱映像データ記憶領域、録画用動画データ記憶領域、閲覧用動画データ記憶領域、レイアウトテーブル記憶領域として用いられている。
顧客情報記憶領域には、歌唱者毎の識別情報である利用者IDに対応付けられた状態で、性別、年齢、生年月日、住所等の個人情報や、利用店舗、利用日時、歌唱履歴等の履歴データが記憶されている。
歌唱音声データ記憶領域には、カラオケ装置2からアップロードされた歌唱音声データが記憶され、歌唱映像データ記憶領域には、カラオケ装置2からアップロードされた歌唱映像データが記憶されている。これらの歌唱音声データや歌唱映像データは、歌唱動画コンテンツの基となる歌唱動画データであり、楽曲ID、利用者ID、合成回数情報、コンテンツ選択情報等の各種情報に対応付けられた状態で記憶されている。本実施形態において、歌唱音声データはMP3形式のデータが用いられ、歌唱映像データはMPEG2形式のデータが用いられている。そして、前述の各情報は、MP3タグデータを用いて記録されている。
前述した各種情報のうち、合成回数情報は、その歌唱動画データが取得されるまでに行われたコラボレーション歌唱の回数を示している。例えば、最初にアップロードされた歌唱動画データでは、コラボレーション歌唱が行われていないことから、合成回数情報の値は「0」となる。そして、1回目のコラボレーション歌唱で取得された歌唱動画データに関し、合成回数情報の値は「1」となる。同様に、2回目及び3回目のコラボレーション歌唱により取得された歌唱動画データに関し、合成回数情報の値は「2」及び「3」となる。ここで、コラボレーション歌唱が繰り返し行われると、取得される歌唱動画コンテンツ(合成動画コンテンツ)を構成する映像の数は、コラボレーション歌唱の回数に応じて増えてゆく。このため、合成回数情報は、合成対象の映像数を間接的に示す情報である。
また、コンテンツ選択情報は、コラボレーション対象の歌唱動画コンテンツを特定する際に参照される情報であり、歌唱動画コンテンツの識別情報であるコンテンツIDによって構成されている。例えば、最初にアップロードされた歌唱動画データのコンテンツ選択情報は、コラボレーション対象がないことから、その歌唱で取得された歌唱動画コンテンツαを示すコンテンツID「α」が記憶される。そして、この歌唱動画コンテンツαに対して1回目のコラボレーション歌唱が行われた場合、歌唱動画コンテンツαを示すコンテンツID「α」と、1回目のコラボレーション歌唱で取得された歌唱動画コンテンツβを示すコンテンツID「β」とが記憶される。同様に、歌唱動画コンテンツβに対して2回目のコラボレーション歌唱が行われた場合、歌唱動画コンテンツα及びβを示すコンテンツID「α」及び「β」と、2回目のコラボレーション歌唱で取得された歌唱動画コンテンツγを示すコンテンツID「γ」とが記憶される。
録画用動画データ記憶領域には、他の歌唱動画とコラボレーションをする際に、カラオケ装置2へダウンロードされて再生される録画用動画データが記憶される。この録画用動画データは、コラボレーション時にカラオケ装置2で再生される合成動画コンテンツの基となる歌唱動画データである。本実施形態では、映像と音声とが別データとされており、録画用に作成されたMPEG2形式の歌唱映像データ(録画用映像データ,コラボレーション歌唱時の背景映像データ)とMP3形式の歌唱音声データ(録画用音声データ)とが記憶されている。なお、これらの録画用映像データ及び録画用音声データは、ユーザー端末3からの指示に応じ、ホスト側制御部11にて生成される。そして、録画用音声データに関しても、MP3タグデータを用いて、楽曲ID、利用者ID、合成回数情報、コンテンツ選択情報といった各種情報が書き込まれている。
閲覧用動画データ記憶領域には、ユーザー端末3に閲覧させるための閲覧用動画データが記憶される。この閲覧用動画データは、ユーザー端末3で再生される歌唱動画コンテンツの基となるデータである。この歌唱動画コンテンツには、未コラボレーションの単独歌唱で生成された単独動画コンテンツと、コラボレーション歌唱で生成された合成動画コンテンツとが含まれる。本実施形態の閲覧用動画データは、WMV形式やMP4形式の動画データであり、ユーザー端末3からの指示に応じてホスト側制御部11で生成される。
レイアウトテーブル記憶領域には、録画用動画データの表示レイアウト、及び、閲覧用動画データの表示レイアウトを規定するレイアウトテーブルが記憶される。図3(a),(b)に示すように、レイアウトテーブルは、前述した合成回数(コラボレーション歌唱が行われた回数)と合成後の映像レイアウトの関係を規定する。ここで、映像レイアウトとは、合成対象となる歌唱動画コンテンツの映像表示位置や大きさである。本実施形態では、レイアウトA〜F、及び、全画面からなる7種類のレイアウトが定義されている。また、コラボレーション時(録画用動画データ)と閲覧時(閲覧用動画データ)のそれぞれに対応するテーブルが用意されている。なお、各レイアウトについては、後で詳しく説明する。
次に、カラオケ装置2について説明する。このカラオケ装置2はカラオケ演奏や歌唱採点を行う装置であり、図1に示すように、例えばカラオケ店KBの各カラオケルームRMに設置されている。そして、図4に示すように、カラオケ装置2は、カラオケ本体21と、スピーカ22と、モニタ23と、マイク24と、ビデオカメラ25と、リモコン装置26とを有している。
カラオケ本体21は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク24を通じて入力された歌唱音声信号の処理といった、カラオケに関する各種の制御を行う部分である。このカラオケ本体21については、後で詳しく説明する。
スピーカ22は、カラオケ本体21に接続されており、カラオケ本体21からの放音信号に基づいて放音する。モニタ23もカラオケ本体21に接続されており、カラオケ本体21からの映像信号に基づいて映像を画面に表示する。このモニタ23は、カラオケ本体21(本体側制御部31及び表示処理部35)とともに、表示手段として機能する。マイク24もカラオケ本体21に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体21に入力させる。ビデオカメラ25もカラオケ本体21に接続されており、歌唱中の映像を歌唱映像信号に変換してカラオケ本体21に入力させる。
リモコン装置26は、カラオケ本体21との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに操作される。カラオケ楽曲の予約時において、リモコン装置26からは、演奏対象の楽曲を識別するための楽曲IDを含んだ操作信号が送信される。登録された利用者がリモコン装置26を通じてログインした場合、その利用者の利用者IDがホスト装置1に送信される。そして、リモコン装置26には、お気に入り登録された歌唱動画コンテンツや歌唱履歴等の各種情報が表示される。
また、本実施形態のリモコン装置26は、ユーザー端末3としても機能する。この場合、リモコン装置26は、近隣のアクセスポイント(図示せず)、及び、通信回線4を経由してホスト装置1に接続される。このため、利用者は、カラオケ店KBに居ながらにして、マイページにアクセスできる。
次に、カラオケ本体21について詳細に説明する。図5に示すように、カラオケ本体21は、本体側制御部31と、本体側通信部32と、本体側記憶部33と、音響処理部34と、表示処理部35と、映像入力部36と、操作部37とを有している。そして、これらの各部がバスを介して通信可能な状態に接続されている。
本体側制御部31は、カラオケ本体21における制御の中心となる部分であり、CPU31aやメモリ31bを有している。CPU31aは、メモリ31bに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部37からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ31bは、CPU31aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。このため、メモリ31bには、各種のプログラムを記憶する記憶領域が設けられている。
本体側通信部32は、カラオケ本体21(カラオケ装置2)を通信回線4に接続するためのインタフェースを提供する。この本体側通信部32は、本体側制御部31によって動作が制御される。
本体側記憶部33は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部33には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱映像データ記憶領域、歌唱音声データ記憶領域、録画用動画データ記憶領域が設けられる。
楽曲データ記憶領域には、リモコン装置26で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ23に背景映像を表示させるための背景映像データが記憶される。歌唱映像データ記憶領域には、ビデオカメラ25で撮影された歌唱映像データが記憶され、歌唱音声データ記憶領域には、歌唱音声信号をデジタルデータ化した歌唱音声データが記憶される。録画用動画データ記憶領域には、他の歌唱動画コンテンツとのコラボレーション用に、ホスト装置1から送信された録画用動画データ(録画用映像データ,録画用音声データ)が記憶される。
音響処理部34は、カラオケ楽曲に対する演奏の制御を行ったり、マイク24を通じて入力された歌唱音声信号をデジタルの歌唱音声データに変換する等の制御を行ったりする部分である。この音響処理部34では、伴奏データに応じて生成された楽音信号と歌唱音声データとが適当なバランスでミキシングされ、放音信号としてスピーカ22へ出力される。また、音響処理部34は、利用者がコラボレーション歌唱をする際、楽音信号や歌唱音声データに加え、ホスト装置1からの録画用音声データもミキシングする。これにより、利用者は、録画用音声データの再生音声と合唱が行える。
表示処理部35は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部35には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部35は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ23に出力する。その結果、モニタ23には、背景映像に歌詞テロップが重ねられた映像が表示される。
また、表示処理部35は、利用者がコラボレーション歌唱をする際、背景映像データに代えて録画用映像データを用い、モニタ23に録画用映像を表示させる。このとき、モニタ23の所定位置(後述するキャプチャー映像の表示領域)には、ビデオカメラ25で撮影された映像、すなわち歌唱映像データに基づく映像が上書き(スーパーインポーズ)される。従って、録画用映像データは、コラボレーション歌唱時における背景映像データに相当する。
映像入力部36は、ビデオカメラ25からの歌唱映像信号の取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部36は、例えば、ビデオカメラ25と接続するための外部インタフェース、バスを通じて本体側制御部31等と接続するための内部インタフェース、及び、フレームバッファとしてのビデオメモリを有している(何れも図示せず)。
操作部37は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置26の操作に応じた操作信号を本体側制御部31に対して出力する。本体側制御部31は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置26は、操作を選択するための種々のキースイッチ(図示せず)を備えている。
そして、リモコン装置26を通じた操作により、ログインした利用者のマイページから、お気に入り登録された歌唱動画コンテンツを呼び出すことができる。この呼び出し操作により、当該歌唱動画コンテンツに対応する録画用動画データがカラオケ装置2にダウンロードされ、録画用動画データ記憶領域に記憶される。あわせて、当該歌唱動画コンテンツに対応するカラオケ楽曲の楽曲IDが本体側制御部31のメモリ31bに記憶され、演奏処理の待ち行列で管理される。
その後、当該カラオケ楽曲の順序がやってくると、カラオケ伴奏に同期して、録画用映像データに基づく映像にビデオカメラ25で撮影された歌唱映像がスーパーインポーズされ、モニタ23で表示される。また、録画用音声データに基づく歌唱音声がカラオケ伴奏と共にスピーカ22から放音される。さらに、ビデオカメラ25で撮影された歌唱映像が、歌唱映像データとして歌唱映像データ記憶領域に記憶され、かつ、マイク24で集音された歌唱音声に所定の処理が施され、歌唱音声データとして歌唱音声データ記憶領域に記憶される。なお、記憶された歌唱映像データ及び歌唱音声データは、カラオケ楽曲の終了後の操作によりホスト装置1へアップロードされ、ホスト側記憶部13(歌唱映像データ記憶領域,歌唱音声データ記憶領域)に記憶される。
次に、ユーザー端末3について説明する。ユーザー端末3は、カラオケの利用者によって操作される通信端末であり、図1に示すように、パーソナルコンピュータ3A、タブレットコンピュータ3B、携帯電話機3Cなどが含まれる。また、前述したように、リモコン装置26もユーザー端末3に含まれる。
図6に示すように、ユーザー端末3は、端末側制御部41と、端末側通信部42と、端末側記憶部43と、表示部44と、入力部45とを有している。
端末側制御部41は、ユーザー端末3における制御の中心となる部分であり、CPU41aやメモリ41bを有している。CPU41aは、メモリ41bに記憶された動作プログラムに従って各種の制御を実行する。メモリ41bは、CPU41aに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。端末側通信部42は、ユーザー端末3を通信回線4に接続するためのインタフェースを提供する。端末側記憶部43は、各種の情報を記憶する記憶装置であり、不揮発性メモリやハードディスクドライブ等によって構成される。
表示部44及び入力部45は、いずれもユーザインタフェースを提供する部分である。表示部44は、各種メニューや閲覧用の動画コンテンツ等を表示する部分であり、例えば液晶表示装置やブラウン管で構成される。入力部45は、利用者による操作を操作情報として取り込む部分であり、例えばキーボード、マウス、タッチパネルによって構成される。なお、可搬性が要求されるタブレットコンピュータ3Bやリモコン装置26では、表示部44と入力部45とが一体化されたタッチパネル付きの液晶表示パネルが好適に用いられる。
次に、レイアウトテーブル、及び、映像の各種レイアウトについて説明する。図7(a),(b)に示すように、レイアウトAは、2つの映像を合成表示する際のレイアウトであり、レイアウトBは3つの映像を合成する際のレイアウトである。そして、図7(c)〜(f)に示すように、レイアウトCは4つの映像を、レイアウトDは5つの映像を、レイアウトEは6つの映像を、レイアウトFは7つの映像を合成表示する際のレイアウトである。
図7(a)に示すように、レイアウトAでは、カラオケ装置2のモニタ23やユーザー端末3の表示部44の表示範囲を左右方向の中心で2分割し、右側部分に歌唱映像Aを表示させ、左側部分にビデオカメラ25からのキャプチャー映像若しくは歌唱映像Bを表示させる。すなわち、カラオケ装置2でのコラボレーション歌唱時において、モニタ23の右側部分にはコラボレーション対象のダウンロード映像が表示され、左側部分にはビデオカメラ25からのキャプチャー映像(歌唱映像データに基づく映像)が表示される。一方、ユーザー端末3による合成動画コンテンツの閲覧時には、選択された2つの歌唱動画コンテンツのうち一方が歌唱映像Aとして表示部44の右側部分に表示され、他方が歌唱映像Bとして表示部44の左側部分に表示される。
モニタ23や表示部44の画面をレイアウトAのように2分割した場合、分割された画面の縦横比と各映像の縦横比とが相違する可能性が高い。そこで、図8に示すように、レイアウトテーブルでは、各映像の縦横比が維持されるように、映像の表示範囲が規定されている。すなわち、画面左下の座標(xa,ya)から画面左上の座標(xc,yd)の範囲が画面の全範囲と規定され、画面左下の座標(xa,ya)から画面上端中央の座標(xb,yd)の範囲が左側部分の表示範囲に規定され、画面下端中央の座標(xb,ya)から画面左上の座標(xc,yd)の範囲が右側部分の表示範囲に規定されている。
そして、基となる映像の縦横比が維持され、左側部分や右側部分において面積が最大となり、かつ、画面の上下中央に映像が表示されるように、各映像の表示位置が規定されている。この例では、座標(xa,yb)から座標(xb,yc)の範囲がキャプチャー映像若しくは歌唱映像Bの表示位置に規定され、座標(xb,yb)から座標(xc,yc)の範囲が歌唱映像Aの表示位置に規定される。
図7(b)に示すように、レイアウトBでは、画面の左側半部がキャプチャー映像若しくは歌唱映像Cの表示範囲に規定され、右側の上側半部が歌唱映像Aの表示範囲に規定され、右側の下側半部が歌唱映像Bの表示範囲に規定される。図7(c)に示すように、レイアウトCでは、画面の左側半部がキャプチャー映像若しくは歌唱映像Dの表示範囲に規定されるとともに、右側半部が上下方向に3等分されて歌唱映像A〜Cの表示範囲に規定される。すなわち、右上部分が歌唱映像Aの表示範囲に、右中部分が歌唱映像Bの表示範囲に、右下部分が歌唱映像Cの表示範囲に規定される。
図7(d)〜(f)に示すように、レイアウトD〜Fでは、キャプチャー映像等の表示範囲の大きさはレイアウトA等と同じであり、画面の全範囲における左右中央に配置される。そして、他の歌唱映像については、キャプチャー映像等の左右に振り分けられる。
すなわち、図7(d)に示すレイアウトDでは、キャプチャー映像若しくは歌唱映像Eの表示範囲が画面の左右中央に規定される。そして、歌唱映像Aの表示範囲が画面の右上部分に、歌唱映像Bの表示範囲が画面の右下部分に、歌唱映像Cの表示範囲が画面の左上部分に、歌唱映像Dの表示範囲が画面の左下部分に、それぞれ規定される。また、図7(e)に示すレイアウトEでは、キャプチャー映像若しくは歌唱映像Fの表示範囲が画面の左右中央に、歌唱映像A〜Cの表示範囲が画面の右側に、歌唱映像D,Eの表示範囲が画面の左側に、それぞれ規定される。同様に、図7(f)に示すレイアウトFでは、キャプチャー映像若しくは歌唱映像Fの表示範囲が画面の左右中央に、歌唱映像A〜Cの表示範囲が画面の右側に、歌唱映像D〜Fの表示範囲が画面の左側に、それぞれ規定される。
なお、詳細は省略するが、これらのレイアウトB〜Fにおいても、レイアウトAと同様に、各歌唱映像の表示面積が最大となるように表示位置が定められる。また、各歌唱映像が離れて表示されてしまうと、視聴者に対して間延びした印象を与える可能性があるため、これらのレイアウトB〜Fでは、各歌唱映像が互いに隣接するように表示位置が定められる。
次に、図9を参照し、上記構成を有するカラオケシステム(歌唱動画データの取得システム,合成動画コンテンツの生成システム)の動作について説明する。ここで、図9(a)における符号Sn(n=自然数)は、図9(b)に示す各処理のステップに相当する。これらのステップは、ホスト側制御部11、本体側制御部31、及び、端末側制御部41がプログラムを実行することで実現される。また、以下の処理で述べる各手段は、各制御部11、31、41がプログラムを実行することで構成される機能実現手段である。
このカラオケシステムでは、まず、未コラボレーションの単独歌唱で取得された歌唱動画データ(MPEG2形式の歌唱映像データとMP3形式の歌唱音声データの組)がカラオケ装置2からホスト装置1(サーバー)へとアップロードされる(S01)。
具体的に説明すると、まず、リモコン装置26や操作部37でカラオケ楽曲が選択され、かつ、動画を撮影する旨の指示が利用者によって与えられる。これにより、カラオケ装置2はデータ取得手段として機能する。そして、カラオケ本体21は、対象のカラオケ楽曲が演奏されている期間に亘り、ビデオカメラ25からの映像信号をキャプチャーし、キャプチャー映像をモニタ23の全画面に表示させるとともに、歌唱映像データaとして本体側記憶部33の歌唱映像データ記憶領域に記憶させる。また、カラオケ本体21は、対象のカラオケ楽曲が演奏されている期間に亘り、マイク24を通じて入力された歌唱音声信号を歌唱音声データaとして取得し、ミキシング等を施してスピーカ22に出力し、かつ、本体側記憶部33の歌唱音声データ記憶領域に記憶させる。
その際、本体側制御部31は、楽曲ID、利用者ID、合成回数情報、コンテンツ選択情報などの必要な情報を、歌唱音声データaのMP3タグデータに記憶させる。この段階では、コラボレーション歌唱が行われていないことから、合成回数情報は「0」となり、コンテンツ選択情報は自身を示すID「α」となる。
その後、リモコン装置26を通じてアップロードの指示が与えられると、カラオケ装置2は、アップロード手段として機能し、本体側記憶部33に記憶された歌唱映像データa及び歌唱音声データbを、歌唱動画データとしてホスト装置1にアップロードする。ホスト装置1は、受信した歌唱動画データ(歌唱映像データa,歌唱音声データa)をホスト側記憶部13の歌唱映像データ記憶領域及び歌唱音声データ記憶領域に記憶させる。
次に、ホスト装置1は、アップロードされた歌唱動画データに基づいて、未コラボレーションの閲覧用動画コンテンツを生成する(S02)。具体的には、閲覧用の歌唱動画コンテンツの基となる閲覧用動画データを生成する。
まず、ホスト側制御部11は、ホスト側記憶部13から歌唱映像データa及び歌唱音声データaを読み出すとともに、歌唱音声データaのMP3タグデータを参照して合成回数と合成対象の動画コンテンツを認識する。この段階では、前述したように合成回数「0」、ID「α」と認識される。次に、ホスト側制御部11は、レイアウト決定手段として機能し、図3(b)のレイアウトテーブルを参照し、閲覧用動画コンテンツの表示レイアウトを決定する。合成回数「0」であることから、全画面のレイアウトに決定される。そして、ホスト側制御部11は、単独動画コンテンツ生成手段として機能し、歌唱映像データa及び歌唱音声データaから、表示レイアウトを全画面とした閲覧用動画データ(WMV形式,MP4形式)を生成する。生成された閲覧用動画データは、ホスト側記憶部13の閲覧用動画データ記憶領域に記憶される。
閲覧用動画データの生成に伴い、対応する歌唱動画コンテンツが、その利用者のマイページで閲覧可能になる。ユーザー端末3による操作によって利用者がマイページにアクセスし、歌唱動画コンテンツの公開を指示すると、この歌唱動画コンテンツは他の利用者からも閲覧可能な状態になる。その際、コラボレーションによる利用を許可すると、その歌唱動画コンテンツは、コラボレーション可能な状態で公開される。これらの処理S01,S02が繰り返し行われることで、閲覧用動画データ記憶領域には多数の閲覧用動画データが蓄積され、これらの閲覧用動画データに基づく歌唱動画コンテンツが複数の利用者から閲覧可能になる。
次に、ユーザー端末3を通じた操作により、コラボレーション対象の動画コンテンツが利用者によって選択され、その利用者のマイページに登録される(S03)。
この場合、ユーザー端末3を通じてログインした利用者が、コラボレーション許可曲のwebページにアクセスし、登録された歌唱動画コンテンツを適宜視聴する。ID「α」の歌唱動画コンテンツが視聴された場合、ユーザー端末3では、ステップS02で生成された閲覧用動画データに基づく歌唱動画コンテンツが再生される。そして、利用者は、ユーザー端末3を通じた操作により、気に入った歌唱動画コンテンツを選択してお気に入り登録する。これにより、その利用者のマイページには、当該歌唱動画コンテンツが登録される。
次に、ホスト装置1は、選択された歌唱動画コンテンツに対応する録画用動画コンテンツを生成する。(S04)。具体的には、録画用動画コンテンツの基となる録画用動画データを生成する。なお、以下の説明は、ID「α」の歌唱動画コンテンツがお気に入り登録されたものとして行う。
この場合、ホスト側制御部11は、ホスト側記憶部13から歌唱映像データa及び歌唱音声データaを読み出すとともに、合成回数と合成対象の動画コンテンツを認識する。ここでも、前述したように合成回数「0」、ID「α」と認識される。次に、ホスト側制御部11は、レイアウト決定手段として機能し、図3(a)のレイアウトテーブルを参照し、録画用動画コンテンツの表示レイアウトを決定する。合成回数「0」であることから、レイアウトAに決定される。すなわち、画面の右側半部に歌唱映像データaに基づく歌唱映像Aが表示され、画面の左側半部にキャプチャー映像が表示されるレイアウトに決定される。
レイアウトを決定したならば、ホスト側制御部11は、合成動画コンテンツ生成手段として機能し、歌唱映像データa及び歌唱音声データaから、決定された表示レイアウトAの録画用動画データ(MPEG2形式の歌唱映像データ及びMP3形式の歌唱音声データの組)を生成する。生成された録画用動画データは、ホスト側記憶部13の録画用動画データ記憶領域に記憶される。
次に、生成された録画用動画データが、ホスト装置1からカラオケ装置2へとダウンロードされる(S05)。ここでは、カラオケ店KBに赴いた利用者がリモコン装置26を通じた操作により、自身のマイページからお気に入り登録された録画用の合成動画コンテンツを呼び出す。この呼び出し操作により、呼び出し指示を示す指示情報がホスト装置1に送信され、ホスト装置1からカラオケ本体21の本体側記憶部33(録画用動画データ記憶領域)へと録画用動画データ(背景映像データとしての録画用映像データ及び第1歌唱音声データの組)がダウンロードされる。あわせて、当該合成動画コンテンツに対応するカラオケ楽曲の楽曲IDが本体側制御部31のメモリ31bに記憶され、演奏処理の待ち行列で管理される。
次に、ダウンロードされた歌唱動画コンテンツとのコラボレーション歌唱がなされ、歌唱動画データ取得されるとともにホスト装置1へとアップロードされる(S06)。
すなわち、待ち行列で管理されているカラオケ楽曲の順序がやってくると、再生手段としてのカラオケ装置2は、カラオケ伴奏に同期して録画用の合成動画コンテンツを再生す。すなわち、録画用映像データに基づく背景映像が表示手段としてのモニタ23で表示され、録画用音声データに基づく歌唱音声がスピーカ22から放音される。その際、歌唱映像データaに基づく映像Aがモニタ23の右側半部に、ビデオカメラ25で撮影された歌唱者のキャプチャー映像Bがモニタ23の左側半部に、それぞれ表示される。
このとき、カラオケ装置2は、データ取得手段(歌唱映像データ取得手段,歌唱音声データ取得手段)としても機能する。すなわち、ビデオカメラ25で撮影された歌唱映像が歌唱映像データbとして取得され、歌唱映像データ記憶領域に記憶される。また、マイク24で集音された歌唱者の音声とダウンロードした第1歌唱音声データに対応する音声とを合成した合成音声が第2歌唱音声データa+bとして取得され、歌唱音声データ記憶領域に記憶される。
さらに、カラオケ装置2は、第2歌唱音声データに合成回数情報を設定する合成回数情報設定手段としても機能する。すなわち、本体側制御部31は、第1歌唱音声データに含まれる合成回数情報を参照して合成回数を認識し、合成回数のインクリメント(+1更新)で得られた新たな合成回数を、第2歌唱音声データの合成回数情報としてMP3タグデータに書き込む。この例では、第1歌唱音声データの合成回数が「0」であるため、第2歌唱音声データの合成回数は「1」になる。
この他に、本体側制御部31は、1回目のコラボレーション歌唱で取得された歌唱動画データ(歌唱映像データbと第2歌唱音声データa+bの組)に対して新たなコンテンツID(例えばID「α」及び「β」)を設定する。このコンテンツIDもまた、第2歌唱音声データのMP3タグデータに設定される。
次に、カラオケ装置2は、アップロード手段として機能し、1回目のコラボレーション歌唱で得られた歌唱動画データをホスト装置1へアップロードする。ホスト装置1は、受信した歌唱動画データのうち、歌唱映像データbをホスト側記憶部13の歌唱映像データ記憶領域に記憶させ、第2歌唱音声データa+bを同じく歌唱音声データ記憶領域に記憶させる。そして、これらの歌唱映像データbや第2歌唱音声データa+bは、2回目のコラボレーション歌唱時に利用される。すなわち、ホスト装置1は、第2歌唱音声データを新たな第1歌唱音声データとして記憶する。
次に、ホスト装置1は、アップロードされた歌唱動画データに基づいて、コラボレーション歌唱の閲覧用動画コンテンツ(閲覧用動画データ)を生成する(S07)。ここでの手順は前述のステップS02と同様である。簡単に説明すると、ホスト側制御部11は、歌唱音声データa+bのコンテンツIDに基づき、ホスト側記憶部13から歌唱映像データa及び歌唱映像データbを読み出す。また、合成回数情報「1」に基づいてレイアウトAを選択し、右側に歌唱映像データaの映像Aを左側に歌唱映像データbの映像Bを割り振り、歌唱音声データa+bも用いて閲覧用動画データを生成する。生成された閲覧用動画データは、ホスト側記憶部13の閲覧用動画データ記憶領域に記憶される。
前述したように、閲覧用動画データが生成されると、対応する歌唱動画コンテンツがマイページで閲覧可能になる。そして、公開を指示すると他の利用者からも閲覧可能な状態になり、コラボレーションによる利用を許可すると、コラボレーション可能な状態で公開される。
以上は、1回目のコラボレーション歌唱に関する説明であるが、2回目及び3回目のコラボレーション歌唱でも同様の処理が行われる(S08〜S16)。
概略を説明すると、まず、2回目のコラボレーション歌唱のために、1回目のコラボレーション歌唱で作成された合成動画コンテンツが、ユーザー端末3からの指示に従って選択され、お気に入り登録される(S08)。これに伴い、コラボレーション歌唱用の録画用動画データが生成される(S09)。
ここでは、図3(a)に示すように、合成回数が1回であることから映像レイアウトBに決定される。従って、図7(b)に示すように、生成される録画用映像データは、右側上部に歌唱映像データaに基づく歌唱映像Aが表示され、右側下部に歌唱映像データbに基づく歌唱映像Bが表示され、左側半部にキャプチャー映像が表示されるレイアウトになる。また、歌唱音声データa+bが、録画用音声データ(第1歌唱音声データ)として選択される。そして、これらの録画用映像データと録画用音声データの組が録画用動画データとなる。
次に、生成された録画用動画データがダウンロードされ(S10)、カラオケ装置2で再生される。この再生に伴い、歌唱者の映像が歌唱映像データcとして取得される。また、歌唱者の音声が歌唱音声データa+bの再生音声と合成され、歌唱音声データa+b+cとして取得される。そして、この歌唱音声データa+b+cのMP3タグデータには、合成回数情報として「2」が設定され、コンテンツIDとして「α」、「β」及び「γ」が設定される。さらに、これらの歌唱映像データcと歌唱音声データa+b+cの組が、新たな歌唱動画データとしてホスト装置1へアップロードされる(S11)。
そして、ホスト装置1は、アップロードされた歌唱動画データに基づいて、コラボレーション歌唱の閲覧用動画コンテンツ(閲覧用動画データ)を生成する(S12)。すなわち、ホスト側制御部11は、歌唱音声データa+b+cのコンテンツIDに基づき、ホスト側記憶部13から歌唱映像データa〜cを読み出す。また、合成回数情報「2」に基づいてレイアウトBを選択し、右側上部に歌唱映像データaの映像Aを、右側下部に歌唱映像データbの映像Bを、左側半部に歌唱映像データcの映像Cをそれぞれ割り振り、歌唱音声データa+b+cも用いて閲覧用動画データを生成する。
次に、3回目のコラボレーション歌唱のために、2回目のコラボレーション歌唱で作成された合成動画コンテンツが、ユーザー端末3からの指示に従って選択され、お気に入り登録される(S13)。これに伴い、コラボレーション歌唱用の録画用動画データが生成される(S14)。
ここでは、合成回数が2回であることから映像レイアウトCに決定される。従って、生成される録画用映像データは、右側上部に歌唱映像データaに基づく歌唱映像Aが表示され、右側中部に歌唱映像データbに基づく歌唱映像Bが表示され、右側下部に歌唱映像データcに基づく歌唱映像Cが表示され、左側半部にキャプチャー映像が表示されるレイアウトになる。また、歌唱音声データa+b+cが、録画用音声データ(第1歌唱音声データ)として選択される。そして、これらの録画用映像データと録画用音声データの組が録画用動画データとなる。
次に、生成された録画用動画データがダウンロードされ(S15)、カラオケ装置2で再生される。この再生に伴い、歌唱者の映像が歌唱映像データdとして取得される。また、歌唱者の音声が歌唱音声データa+b+cの再生音声と合成され、歌唱音声データa+b+c+dとして取得される。そして、この歌唱音声データa+b+c+dのMP3タグデータには、合成回数情報として「3」が設定され、コンテンツIDとして「α」、「β」、「γ」及び「δ」が設定される。さらに、これらの歌唱映像データdと歌唱音声データa+b+c+dの組が、新たな歌唱動画データとしてホスト装置1へアップロードされる(S16)。なお、以降の処理は、これまでの処理と同様にしてなされることから、説明を省略する。
以上説明したように、本実施形態のカラオケシステムでは、MP3タグデータに設定された合成回数情報に基づいて、コラボレーション歌唱時における背景映像の表示レイアウトが決定される。また、この合成回数情報に基づいて、ユーザー端末3で再生される閲覧用の合成動画コンテンツの表示レイアウトも決定される。前述したように、この合成回数情報は、合成対象の映像数を間接的に示している。このため、合成回数情報を用いて背景映像の表示レイアウトや合成動画コンテンツの表示レイアウトを決定すると、合成対象となる映像の数に適した表示レイアウトにできる。その結果、表示レイアウトの自由度を高めることができ、ひいてはコラボレーション歌唱に対する興趣を高めることができる。
また、本実施形態のカラオケシステムでは、図7のレイアウトB〜Fに示すように、最新のコラボレーション歌唱で表示される映像の表示面積が、他の映像の表示面積の表示面積よりも大きくなるように表示レイアウトが決定されている。すなわち、コラボレーション歌唱時においては、キャプチャー映像の表示面積が、背景となる各映像の表示面積よりも大きくなるように表示レイアウトが決定されている。これにより歌唱者は、コラボレーション歌唱時において気分よく歌唱することができる。また、最新の利用者が目立つ映像の合成動画コンテンツを作成することができる。その結果、コラボレーション歌唱に対する興趣を高めることができる。
そして、歌唱音声データに対し、カラオケ装置2側で合成回数情報を設定しているので、ホスト装置1(サーバー)での監視処理や設定処理が省略され、処理負担が軽減される。また、表示レイアウトを決定するに際し、レイアウトテーブルを用いているので、表示レイアウトを容易に決定することができる。さらに、合成回数情報がMP3タグデータに設定されているので、MP3タグデータを有効に活用することができる。
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。
まず、合成回数情報に関し、前述の実施形態では、合成回数を数値で直接的に表すものを例示したが、この構成に限定されない。例えば、記号を用いて間接的に表すものであってもよい。また、カラオケ装置2で合成回数情報の更新を行う例について説明したが、ホスト装置1で更新するように構成してもよい。加えて、音声の合成をホスト装置1で行ってもよい。この場合、ホスト装置1は、音声の合成に伴って合成回数情報をインクリメントする。
また、歌唱音声データに関し、MP3形式のデータを例示したが、MP3タグデータのように各種情報を書き込むことができれば、他の形式のデータを用いてもよい。
また、カラオケシステムを歌唱動画データの取得システムとして用いる場合、得られた歌唱映像データと第2歌唱音声データの組を、カラオケ装置2を通じてDVDや外部メモリ等の媒体に記録するように構成してもよい。
また、合成動画コンテンツの表示レイアウトに関し、図7に示した例以外の表示レイアウトを採用してもよい。例えば、図10に示すレイアウトD´のように、各映像の表示面積を段階的に小さくするようにしてもよい。さらに、レイアウトテーブルを用いずに表示レイアウトを設定してもよい。