JP5725309B2 - カラオケ投稿システム、カラオケ装置及び複合動画作成方法 - Google Patents

Description

本発明は、サーバ装置と通信回線を介して接続されるカラオケ装置を有するカラオケ投稿システム、カラオケ投稿システムで使用されるカラオケ装置、並びに、カラオケ投稿システムを利用して複数のユーザによる複合動画を作成する複合動画作成方法に関する。

従来、楽曲の演奏に合わせて歌唱を楽しむカラオケ装置が知られている。従来のカラオケ装置は、同じ場所に居合わせた人と一緒に歌唱を楽しむものであったが、通信インフラなどの周辺技術が整った現在、通信回線を介してその場にいない相手とも一緒に歌唱を楽しむサービスが提供されている。

特許文献１にはこのような投稿サービスを利用したカラオケ投稿システムが開示されている。カラオケ装置で録音、録画した投稿情報は、ホスト装置に送信され、再度カラオケ装置に送信されることで、以前に録音、録画された歌唱者の音声、映像とともに歌唱を楽しむことが可能である。

特開２０１２−２７４１７号公報

このような投稿サービスは、サーバ装置に送信された投稿情報を広く公開することで、見知らぬ人との間で行うことが可能である。現在、投稿サービスの一つとして、複数のユーザによる歌唱動画を順次追加することで、１つの歌唱動画（コラボ動画という）を作成するサービスがある。このサービスでは、ユーザが見知らぬ人とコラボ動画を形成していく楽しみがある。一方、自己と関係の無いユーザとコラボ動画を形成することに抵抗感のあるユーザがいることも事実である。また、知人と知人で無い両ユーザを含んだコラボ動画が既に作成されていた場合、たとえ知人とのコラボ動画を作成したいと思っても、既に作成されていたコラボ動画に、ユーザの自己の歌唱動画を追加するため、知人で無いユーザも含まれたコラボ動画を作成することしかできなかった。

上述する課題を解決するため、本発明に係るカラオケ投稿システムは以下の構成を採用するものである。
サーバ装置と、サーバ装置に通信接続可能カラオケ装置と、を備えたカラオケ投稿システムであって、
カラオケ装置は、サーバ装置から受信した複合投稿情報を再生可能とし、
複合投稿情報は、投稿識別情報に対応付けられ、楽曲識別情報と、複数の単位動画を組み合わせて構成された複合動画と、当該単位動画に対応するユーザ識別情報を含み、
ユーザ識別情報に基づいてユーザをログインさせるログイン処理と、
ログインしているユーザのユーザ識別情報と、当該ユーザによって指定された投稿識別情報を対応付ける楽曲指定処理と、
楽曲指定処理で指定された複合投稿情報中、複合投稿情報を指定したユーザに関連するユーザを判定する判定処理と、
楽曲指定処理によって指定された投稿識別情報に対応する複合投稿情報中の複合動画を再生し、当該複合投稿情報中で指定された楽曲識別情報に対応する楽曲情報を演奏手段に演奏させるとともに、撮像手段から入力された映像とマイクロホンから入力される音声を単位動画として記録する動画記録処理と、
動画記録処理で記録した単位動画と、指定された投稿識別情報と、複合投稿情報を指定したユーザ識別情報と、判定処理で判定されたユーザのユーザ識別情報を含む単位投稿情報をサーバ装置に送信する投稿処理と、を実行可能とし、
サーバ装置は、
受信した単位投稿情報に含まれる投稿識別情報に基づいて、判定処理で判定されたユーザ識別情報に対応する単位動画を取得し、取得した単位動画と、単位投稿情報に含まれる単位動画とを含む複合動画を作成し、新たな投稿識別情報を付与して、複合投稿情報を作成する複合投稿情報作成処理を実行可能とする。

さらに本発明に係るカラオケ投稿システムにおいて、
動画記録処理は、判定処理で判定されたユーザ以外のユーザの表示領域をマスクして複合動画を再生する、あるいは、判定処理で判定されたユーザ以外のユーザの単位動画を除いて複合動画を再生する。

さらに本発明に係るカラオケ投稿システムにおいて、
判定処理は、複合投稿情報を指定したユーザのユーザ情報に基づいて特定されるユーザを、関連するユーザとして判定する。

さらに本発明に係るカラオケ投稿システムにおいて、
判定処理は、カラオケ装置に同時にログインしているユーザを、関連するユーザとして判定する。

さらに本発明に係るカラオケ投稿システムにおいて、
サーバ装置は、複合投稿情報に含まれる全ての単位動画と、受信した単位投稿情報に含まれる単位動画を含む複合動画を作成して、第２の複合投稿情報を作成する第２複合投稿情報作成処理を実行可能とする。

さらに本発明に係るカラオケ投稿システムにおいて、
カラオケ装置は、判定処理において関連するユーザが存在することが判定された場合、複合投稿情報作成処理を実行させるためのインターフェイスを表示させる。

また本発明に係るカラオケ装置は、
サーバ装置から受信した複合投稿情報を再生可能とするカラオケ装置であって、
複合投稿情報は、投稿識別情報に対応付けられ、楽曲識別情報と、複数の単位動画を組み合わせて構成された複合動画と、当該単位動画に対応するユーザ識別情報を含み、
ユーザ識別情報に基づいてユーザをログインさせるログイン処理と、
ログインしているユーザのユーザ識別情報と、当該ユーザによって指定された投稿識別情報を対応付ける楽曲指定処理と、
楽曲指定処理で指定された複合投稿情報中、複合投稿情報を指定したユーザに関連するユーザを判定する判定処理と、
楽曲指定処理によって指定された投稿識別情報に対応する複合投稿情報中の複合動画を再生し、当該複合投稿情報中で指定された楽曲識別情報に対応する楽曲情報を演奏手段に演奏させるとともに、撮像手段から入力された映像とマイクロホンから入力される音声を単位動画として記録する動画記録処理と、
動画記録処理で記録した単位動画と、指定された投稿識別情報と、複合投稿情報を指定したユーザ識別情報と、判定処理で判定されたユーザのユーザ識別情報を含む単位投稿情報をサーバ装置に送信する投稿処理と、
判定処理で判定されたユーザ識別情報に対応する単位動画と、投稿処理で投稿した単位投稿情報に含まれる単位動画とを含んだ複合動画をサーバ装置から受信して再生する再生処理と、を実行可能とする。

また本発明に係る複合投稿情報作成方法は、
サーバ装置と、サーバ装置に通信接続可能カラオケ装置と、を備えたカラオケ投稿システムにおいて行われる複合投稿情報作成方法であって、
カラオケ装置は、サーバ装置から受信した複合投稿情報を再生可能とし、
複合投稿情報は、投稿識別情報に対応付けられ、楽曲識別情報と、複数の単位動画を組み合わせて構成された複合動画と、当該単位動画に対応するユーザ識別情報を含み、
ユーザ識別情報に基づいてユーザをログインさせるログイン処理と、
ログインしているユーザのユーザ識別情報と、当該ユーザによって指定された投稿識別情報を対応付ける楽曲指定処理と、
楽曲指定処理で指定された複合投稿情報中、複合投稿情報を指定したユーザに関連するユーザを判定する判定処理と、
楽曲指定処理によって指定された投稿識別情報に対応する複合投稿情報中の複合動画を再生し、当該複合投稿情報中に指定された楽曲識別情報に対応する楽曲情報を演奏手段に演奏させるとともに、撮像手段から入力された映像とマイクロホンから入力される音声を単位動画として記録する動画記録処理と、
動画記録処理で記録した単位動画と、指定された投稿識別情報と、複合投稿情報を指定したユーザ識別情報と、判定処理で判定されたユーザのユーザ識別情報を含む単位投稿情報をサーバ装置に送信する投稿処理と、を行い、
サーバ装置は、
受信した単位投稿情報に含まれる投稿識別情報に基づいて、判定処理で判定されたユーザ識別情報に対応する単位動画を取得し、取得した単位動画と、複合投稿情報に含まれる単位動画とを含む複合動画を作成し、新たな投稿識別情報を付与して、複合投稿情報を作成する複合投稿情報作成処理を行う。

本発明に係るカラオケ投稿システム、カラオケ装置、並びに、複合動画作成方法によれば、複数のユーザによって形成された複合投稿情報に対して、新たに自己の動画を追加して新たな複合動画を作成する場合、複合投稿情報中、自己に関連するユーザの単位動画のみを使用して、新たな複合動画を作成することが可能となる。

さらに本発明に係るカラオケ投稿システムによれば、複合投稿情報を再生する際、判定処理で判定されたユーザ以外のユーザの表示領域がマスクされた映像を再生する、あるいは、判定処理で判定されたユーザ以外のユーザの単位動画を除いて複合動画を再生することで、自己に関連しないユーザを表示させずに、動画記録処理を行うことが可能となる。

さらに本発明に係るカラオケ投稿システムによれば、ユーザ情報に登録されているユーザ、もしくは、カラオケ装置に同時にログインしているユーザの少なくとも一方を、自己に関連するユーザとして判定することとしている。

さらに本発明に係るカラオケ投稿システムによれば、受信した投稿情報に含まれる投稿識別情報に含まれる全てのユーザ識別情報に対応する単位動画を使用して複合動画を作成することで、従来と同様、自己と関連しないユーザも含めた複合動画を作成することが可能となる。

さらに本発明に係るカラオケシステムによれば、判定処理において関連するユーザが存在することが判定された場合、サーバ装置に対して複合投稿情報作成処理を実行させるためのインターフェイスを表示させることで、カラオケ装置側でのユーザの操作性向上を図ることが可能となる。

本発明の実施形態に係るカラオケ投稿の概要を説明する図 本発明の実施形態に係るカラオケシステムの構成を示す図 本発明の実施形態に係るトップ画面を示す図 本発明の実施形態に係るユーザ情報を示す図 本発明の実施形態に係るユーザに対するサービス処理を示す図 本発明の実施形態に係る利用ユーザトップ画面を示す図 本発明の実施形態に係る知り合いコラボ設定処理を示すフロー図 本発明の実施形態に係る楽曲の予約確認画面（関連ユーザなし）を示す図 本発明の実施形態に係る楽曲の予約確認画面（関連ユーザあり）を示す図 本発明の実施形態に係るカラオケ装置のメイン処理を示すフロー図 本発明の実施形態に係る映像再生処理を示すフロー図 本発明の実施形態に係る複合投稿情報のデータ構成を示す図 本発明の実施形態に係る録画時（通常コラボ時）のモニタの様子を示す図 本発明の実施形態に係る録画時（知り合いコラボ時）のモニタの様子を示す図 本発明の実施形態に係る単位投稿情報（通常コラボ時）のデータ構成 本発明の実施形態に係る投稿処理（通常コラボ時）を示すフロー図 本発明の実施形態に係る複合投稿情報（通常コラボ時）のデータ構成 本発明の実施形態に係る再生時（通常コラボ時）のモニタの様子を示す図 本発明の実施形態に係る投稿処理（知り合いコラボ時）を示すフロー図 本発明の実施形態に係る単位投稿情報（知り合いコラボ時）のデータ構成 本発明の実施形態に係る複合投稿情報（知り合いコラボ時）のデータ構成 本発明の実施形態に係る再生時（知り合いコラボ時）のモニタの様子を示す図

本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されることとしている。図１は、このカラオケ投稿システムの概要を説明するための図である。この図を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、実際には、カメラにて記録された映像が伴うこととなる。

まず、歌唱者は、カラオケボックスなど、カラオケシステムが設置される場所で演奏にあわせた歌唱が行われ歌唱音声が記録される（ａ）。カラオケシステムは、カラオケ装置（別称「コマンダ」）、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第１投稿情報として記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿情報の再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿情報は、サーバ装置上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿情報は、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１投稿情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第１投稿情報とのデュエットを楽しむことができる。さ
らに、第１投稿情報と一緒に歌唱を行った歌唱者の歌唱音声は、第２投稿情報としてカラオケ装置に記録される（ｆ）。記録された第２投稿情報は、第１投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿情報をサーバ装置にアップロードすることができる。第２投稿情報は、第１投稿情報と併せて再生することができるものであるが、サーバ装置には第１投稿情報が保存されているため、第２投稿情報のみが送信される。第２投稿情報には、第１投稿情報と対応付けるため、第２投稿情報の識別情報が付与される（ｈ）。

サーバ装置に保存された第１投稿情報、第２投稿情報は、ユーザからの要請により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。以上、第１投稿情報と第２投稿情報に基づくコラボレーションについて説明したが、（ｄ）、（ｆ）〜（ｈ）を繰り返し行うことで、複数人（２名以上）のコラボレーションが可能となる。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ここでは、歌唱音声についてのみ説明したが、本発明に適用する場合には、歌唱音声と一緒にカメラによる撮影、並びに、映像情報の記録がカラオケ装置にて実行されることとなる。

では、歌唱の記録とあわせて、カメラによる撮影を可能とするカラオケシステムの一実施形態について図２を用いて説明する。本実施形態におけるカラオケシステムは、カラオケ装置２（別称「コマンダ」）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。

カラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、選曲処理などを実行可能としている。演奏処理は、操作部２１やリモコン装置１にてユーザーにより、指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカ４２から放音させる処理である。このとき、スピーカ４２からはマイクロホン４３から入力される音声も合わせて放音される。また、コラボ時には、楽曲の演奏に合わせて複合動画情報を合わせて再生するとともに、撮像手段としてのカメラから入力された映像とマイクロホンから入力される音声を記録する動画記録処理が実行される。再生処理は、映像再生部２９にて背景映像、歌詞情報などを再生させ、モニタ４１を介して視覚情報をユーザーに提供する処理である。コラボ時には、録画された録画情報が再生される。

選曲処理は、ユーザーからの指定に基づいて楽曲を選択するための処理である。本実施形態では、リモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してカラオケ装置２に伝達される。カラオケ装置２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。

カラオケ装置２には、歌唱の様子を撮影するための撮像手段としてカメラ４４が接続されている。カメラ４４からのカメラ映像は、映像入出力を担う映像制御部３１を介して、記録手段としてのハードディスク３２に記録、そして、モニタ４１にリアルタイム表示することが可能である。さらに、カメラ４４からの映像情報と同時に、複合投稿情報中に含
まれる動画情報をモニタ４１に表示させることができる。図１４には、コラボする相手が３人の場合のモニタ４１の表示例が示されている。図１４に示されているように、表示領域Ｃ４には、カメラ４４から入力される映像信号がリアルタイムで表示され、表示領域Ｃ１〜Ｃ３には、以前に撮像記録された動画情報に基づく映像が表示される。

図３は、本発明の実施形態に係るトップ画面、すなわち、リモコン装置１を起動した直後の画面を示す図である。本実施形態では、リモコン装置１の表示部１１に表示を行うことで、リモコン装置１を操作するユーザに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種機械的なスイッチの他、表示部１１に表示されたボタン、アイコンなどを直接タッチして操作を行うタッチパネルを採用することができる。

本実施形態のカラオケシステムは、複数のユーザが各リモコン装置１のタッチパネル表示画面から必要な情報（後述するユーザ識別情報やパスワード）を入力し、ログインすることが可能となっている。ユーザのログインに関する情報は画面上方に常時表示される。ログインしたユーザの分身像（アバター）を表示するためのログインユーザ欄１０３が設けられている。なお、分身像としては、人、キャラクターを模した像の他、図形や記号など各種形態を採用することができる。

また、アカウントを有していないユーザのためのゲストアイコン１０２、ユーザを切り替えるためのユーザ切替スイッチ１０１が表示されている。ログインしたユーザは、ログインユーザ欄１０３に表示される分身像を選択、あるいは、ユーザ切替スイッチ１０１を操作することで、自分のユーザ情報を利用した各種サービスを受けることが可能となる。また、アカウントを有していないユーザは、ゲストアイコン１０２を操作することで、選曲など一般的なサービスを受けることが可能となっている。なお、ユーザの切替の際には、パスワードなど認証を行うこととしてもよいが、認証を行うことなく簡易に切り替えることとしてもよい。

図４は、各ユーザ毎に、サーバ装置５に記憶されているユーザ情報を説明するための図である。本実施形態では、ユーザ情報として、個人情報、マイうたテーブル、マイアーティストテーブルといった、ユーザに関する各種情報を含んで構成される。サーバ装置５の記憶部５１に予め記憶されている。ユーザ情報には、ユーザがリモコン装置１からカラオケ用ホスト５へログインしてこれら情報を利用するためのユーザ識別情報、パスワードが対応付けられている。個人情報には、ユーザ名（実際の名前に限ったものでなく、ニックネームであってもよい）、性別、年齢、うた年齢、居住地、趣味などを含んで構成される。これら各種情報は、リモコン装置１、あるいは、インターネットなどのネットワークに接続された図示しないパーソナルコンピュータ、携帯情報端末などにてログインして設定することも可能である。

特に、本実施形態では、ユーザ情報中にフレンド登録されたフレンドユーザのユーザ識別情報が含まれており、ユーザ情報を参照することで、フレンドユーザ（関連するユーザ）を特定することが可能である。このフレンドユーザは、カラオケ業者側で提供するコミュニティサイトなどでユーザ同士が互いに認証することで登録することが可能である。

マイうたテーブルは、ユーザによって登録された楽曲を記憶するテーブルであって、楽曲識別情報、音程調整値、過去の歌唱採点情報（最高点、もしくは、過去複数回のもの）などを含んで構成されている。ユーザは、このマイうたテーブルに基づいて、過去に登録したお気に入りの楽曲を呼び出して予約、演奏することが可能となる。その際、登録した音程調整値を利用することで、自分の歌唱にあった音程で演奏（再生）を行うこともできる。

マイアーティストテーブルは、ユーザによって登録されたアーティスト（歌手）を記憶するテーブルであって、歌手識別情報を含んで構成されている。ユーザは、このマイアーティストテーブルに基づいて、登録したお気に入りのアーティストの楽曲（持ち歌、あるいは、関連楽曲）を呼び出して予約、演奏することが可能となる。

履歴テーブルは、ユーザが過去に演奏した楽曲に関する各種情報を記録した情報であって、本実施形態では、過去に演奏した（当該ユーザが予約、演奏した）楽曲について、楽曲の楽曲識別情報、演奏した日時を示す歌唱日時、歌唱採点情報などを含んで構成されている。ユーザは、この履歴テーブルに基づいて、過去に演奏した楽曲を呼び出して歌唱することができる。

図４は、このユーザ情報の送受信の様子を示した図である。カラオケ店舗に来店したユーザは、自己のユーザ識別情報とパスワードで構成された識別情報を入力、あるいは、リモコン装置１などに設けられたＩＣカードリーダーでＩＣカードに記憶されている識別情報を読み取らせることで認証処理Ｓ１０１を実行する。ユーザの識別情報を読み取った、カラオケ装置２あるいはリモコン装置１は、識別情報をカラオケ用ホスト５に送信し（Ｓ１０２）、識別情報を受信したカラオケ用ホスト５は記憶部５１に記憶されたデータベースから、該当するユーザのユーザ情報を抽出し（Ｓ１２１）、問い合わせのあったカラオケ装置２あるいはリモコン装置１に対して送信する（Ｓ１２２）。

ユーザ情報を受信したカラオケ装置２側では（Ｓ１０３）、受信したユーザ情報に基づいて、選曲処理、演奏処理など各種サービス処理が提供される（Ｓ１０４）。ユーザによりログアウトが要求される（Ｓ１０５）とサービス処理を中断し、サービス処理中における各種履歴（ログ）、あるいは、ユーザによる設定変更を反映したユーザ情報をカラオケ用ホスト５に送信する（Ｓ１０６）。ここで、ユーザ情報は、全ての情報を送信することの他、更新された差分だけを送信してもよい。ユーザ情報を受信したカラオケ用ホスト５では（Ｓ１２３）、受信したユーザ情報に基づいて記憶部１に記憶されたデータベースの更新を実行する（Ｓ１２４）。

以上、１ユーザが認証処理（ログイン処理）してから、ログアウトするまでの流れを説明したが、本実施形態のカラオケ装置２、リモコン装置１は、認証された複数人（認証ユーザ）が同時にログインした状態で使用することが可能となっており、図３で説明したユーザインターフェイスを用いることで、サービスを提供するユーザ（以下、「アクティブユーザ」という）を切り替えて使用することが可能となっている。

図６は、本発明の実施形態に係るアクティブユーザトップ画面を示す図である。この図に示されるように、複数人がログインした状態ではログインユーザ欄１０３にログインしたユーザの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザ欄１０３中、右端に背景がハイライトで示されるユーザは、アクティブユーザ１０３ｅであって、図に示す状態では、このアクティブユーザ１０３ｅに対するサービス、すなわち、アクティブユーザ１０３ｅのユーザ情報を利用したサービスが実行されている状態となっている。このアクティブユーザトップ画面では、「曲を探す」を選択することで、従来の歌本と同様、歌手名、楽曲名に基づく検索を行うことができる。本実施形態では、このアクティブユーザトップ画面中、「投稿動画」を指定することで、これまでに投稿された複合投稿情報の中から、楽曲名、投稿者などに基づいて、所望の複合投稿情報検索指定し、複合投稿情報にあわせて歌唱を楽しむことが可能である。

図７には、本発明の実施形態に係る知り合いコラボ設定処理を示すフロー図が示されている。このコラボ設定処理は、図６で説明した「投稿動画」を指定することで、ユーザに
より一緒に歌唱を楽しむ複合投稿情報を指定することで実行される処理である。特に、本実施形態では、投稿情報を指定したユーザ（図６で説明したアクティブユーザ）が、複合投稿情報の作成に関与したユーザと関係している場合、リモコン装置１の表示部１１に表示させるインターフェイスを変更している。

図６に示される「投稿動画」を選択し、検索等を実行することで、所望の複合投稿情報が指定された場合（Ｓ２０１）、まず、指定された複合投稿情報中に含まれる単位動画を投稿したユーザが、当該投稿情報を指定したアクティブユーザに関係しているか否かを判定する。関係しているか否かの判定は、単位動画を投稿したユーザが同席ユーザであるか否か、あるいは、単位動画を投稿したユーザがアクティブユーザのユーザ情報に基づいて特定可能なユーザであるか否かの少なくとも一方を使用して判定される。同席ユーザである場合（Ｓ２０２：Ｙｅｓ）、あるいは、Ｓ２０４で取得したアクティブユーザのユーザ情報に基づいて特定可能なユーザである場合（Ｓ２０５：Ｙｅｓ）には、図９に示される楽曲確認画面（知り合いコラボ）を表示される（Ｓ２０３）。なお、ユーザ情報に基づく判定は、図４の個人情報に登録されたフレンドユーザとしてのユーザ識別情報に基づいて判定することが可能である。一方、同席ユーザでない場合（Ｓ２０２：Ｎｏ）、かつ、Ｓ２０４で取得したアクティブユーザのユーザ情報に基づいて特定可能なユーザでない場合（Ｓ２０５：Ｎｏ）には、図８に示される楽曲確認画面（通常コラボ）を表示される（Ｓ２０６）。

図８に示される楽曲の予約確認画面（関連ユーザなし）、図９に示される楽曲の予約確認画面（関連ユーザあり）はどちらも、ユーザが指定した楽曲の内容に間違いがないか、予約を確定する前に確認するための画面である。画面内には、指定した楽曲について歌手名、曲名、投稿者名が表示されている。投稿者名は、複合投稿情報の作成に関与したユーザのユーザ名であって、複合動画情報には、ユーザＢ、ユーザＣ、ユーザＤの３名が投稿したある楽曲に関する単位動画が含まれている。なお、本明細書でいう複合動画情報は、必ずしも複数の単位動画によって形成されたものだけでなく、１の単位動画を含んだものであってもよい。

図８と図９に示される予約確認画面は、図９に示される予約確認画面（関連ユーザあり）の場合において、知り合いコラボ設定欄１０５が表示されている点において異なっている。この知り合いコラボ設定欄１０５内には、知り合いコラボの設定オン、オフを設定することが可能である。さらに、複合投稿情報を再生したとき、モニタ４１上に分割表示される単位動画の位置が模式図で示されるとともに、各単位動画の投稿者名が表示されている。模式図中、黒文字で示される投稿者は、アクティブユーザと関連するユーザ（ユーザＢ）であり、単位動画位置が褐色、かつ、白文字で示される投稿者は、関連しないユーザ（ユーザＣ、ユーザＤ）であることを示している。ユーザは、知り合いコラボ設定欄１０５でどのユーザが自分に関連したユーザであるかを確認し、知り合いコラボの設定をオン、オフどちらかに設定することが可能である。

このように本実施形態では、複合投稿情報を指定する際、関連するユーザが存在する場合のみ、知り合いコラボ設定欄１０５を表示することで、インターフェイスが煩雑となることを抑制し、ユーザへの操作性向上が図られている。「視聴予約」を選択した場合には、予約確認画面に表示されている楽曲の投稿識別情報、予約したユーザのユーザ識別情報、そして、視聴予約であることを示す情報を含んだ予約情報がカラオケ装置２が送信され、予約リストに登録される。一方、「コラボ予約」を選択した場合には、同様に、投稿識別情報、ユーザ識別情報、そして、コラボ予約であることを示す情報を含んだ予約情報が送信される。「コラボ予約」の場合、知り合いコラボ設定欄１０５が設定可能な場合には、知り合いコラボのオン、オフ設定が予約情報に含まれることとなる。

図１０は、本発明の実施形態に係るカラオケ装置２におけるメイン処理を示すフロー図である。図８、図９で説明したように、ユーザは、「視聴予約」を選択することで、投稿動画の視聴、あるいは、「コラボ予約」を選択することで、歌唱者の歌唱姿を撮像するとともに、歌唱音声を録音して投稿情報を作成することが可能である。カラオケ装置２では、予約リストを随時確認し、次に実行される予約の種類が判別される（Ｓ３０１）。予約リスト上、次の予約種別が「視聴予約」である場合は、指定された投稿識別情報に対応する複合投稿情報を再生させる通常楽曲再生（Ｓ３０２）を実行する。ユーザは、複合投稿情報の視聴、あるいは、それに合わせた歌唱（録画なし）を楽しむことが可能である。

一方、予約リスト上、次の予約種別がコラボ予約である場合、Ｓ３０３にて初回投稿か否かが判定される。初回投稿である場合には、同時に再生する複合投稿情報が存在しないため楽曲再生（Ｓ３０５）、録画（Ｓ３０６）を開始する。一方、事前に投稿された投稿情報が指定されている場合、すなわち、２回目以降の投稿である場合、当該コラボ予約で指定された複合投稿情報がカラオケ装置２にダウンロードされているか否か判断し、ダウンロードされていない場合は、サーバ装置から対象となる投稿情報のダウンロードを実行する（Ｓ３０４）。

図１２には、ダウンロード時の複合投稿情報（３コラボ時）のデータ構成が示されている。本実施形態の投稿情報は、投稿情報を識別するための投稿識別情報（投稿ＩＤ）、録画時に使用した楽曲の楽曲識別情報（楽曲ＩＤ）、複合動画、コラボ数、コラボユーザ情報が含まれている。複合動画は、複合録画情報と複合録音情報を含んで構成されている。複合録画情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる録画情報（単位録画情報）を組み合わせて形成された映像情報である。複合録音情報は、複数回行われた投稿情報中、各回の複数回行われた投稿情報中、各回の投稿情報に含まれる録音情報（単位録音情報）を組み合わせて形成された音声情報である。本実施形態では、歌唱者の音声を録音した単位録音情報と前回までの録音情報をミキシングすることで複合録音情報を生成している。本実施形態では、サーバ装置にて、複数の単位動画をエンコードすることで１つのファイルの複合動画を生成している。このような形態以外に、複合動画を複数ファイルによる単位動画の集合として形成し、カラオケ装置２にて、複数の単位動画を組み合わせて１画面中に表示する形態としてもよい。

コラボユーザ情報は、投稿、並びに、投稿したユーザに関する情報であり、本実施形態では、コラボＮｏ．、ユーザ識別情報（ユーザＩＤ）を含んで構成されている。コラボＮｏ．は、コラボした順番を示す情報である。図１２に示す複合投稿情報は、４回目のコラボに使用するためダウンロードされる複合投稿情報であって、この複合投稿情報には（１〜３回目の）コラボに関する各種情報が登録されている。

複合投稿情報をダウンロードした（Ｓ３０４）後、ダウンロードした複合投稿情報に基づき、複合投稿情報に含まれる楽曲識別情報を演奏手段に演奏させる（Ｓ３０５）とともに、カメラ４４により歌唱の様子の録画を開始する（Ｓ３０６）。それと同期して投稿再生処理（Ｓ４００）が実行される。この投稿再生処理では、複合投稿情報に含まれる複合動画を再生させる処理であって、複合動画中の複合録画情報を映像再生部２９に再生させるとともに、複合動画中の複合録音情報を音声制御部２５に再生させる。

図１１には、本発明の実施形態に係る映像再生処理を示すフロー図が示されている。複合投稿情報を再生開始（Ｓ４０１）した後、再生中の複合投稿情報に対して、知り合いコラボ指定されている否かが判定される（Ｓ４０２）。この判定は、予約時に知り合いコラボ設定欄１０５で設定したオン、オフ設定に基づいて判定することが可能である。知り合いコラボ指定が無い場合（Ｓ４０２：Ｎｏ）には、複合動画をそのままモニタ４１に表示させる。図１３には、図１２で説明した複合投稿情報を使用した４回目の投稿時における
のモニタ４１の表示画面が示されている。なお、各表示領域Ｃ１〜Ｃ４には、理解を助けるためユーザ名を示している（実際には表示せず、他の図も同様）。モニタ４１中の表示領域Ｃ４にカメラ４４で撮像された映像がリアルタイム表示される。その際、表示領域Ｃ４には撮像された映像を左右判定させた状態で表示させることが好ましい。歌唱するユーザは鏡に映っているのと同じ状態で自己の姿を視認し、違和感のない映像を確認することが可能となる。そして、各表示領域Ｃ１〜Ｃ３には、複合投稿情報中の複合動画が表示される。そして、モニタ４１中には楽曲の歌詞Ｅ（図中「Ｉ ＬＯＶＥ ＹＯＵ Ｉ ＬＯＶＥ
ＹＯＵ」）が重畳して表示される。

一方、知り合いコラボ指定されている場合（Ｓ４０２：Ｙｅｓ）には、図９の知り合いコラボ設定欄１０５で説明したように、予約を行ったユーザと関連しないユーザ、並びに、複合動画上、当該ユーザの単位動画の表示範囲が特定される（Ｓ４０３）。Ｓ４０４では、特定した表示範囲にマスク配置を施している。図１４には、図１２で説明した複合投稿情報を使用した４回目の投稿時におけるモニタ４１の表示画面が示されている。モニタ４１中の表示領域Ｃ４にカメラ４４で撮像された映像が左右反転した状態でリアルタイム表示される。そして、各表示領域Ｃ１〜Ｃ３には、複合投稿情報中の複合動画が表示されることとなるが、関連しないユーザの表示範囲に対してマスクが施される。マスクには、対応する単位動画範囲が全く見えないようにする他、モザイク処理のようにぼかすような各種画像エフェクトを施すこととしてもよい。

また、本実施形態では、カラオケ装置２側でマスクしているが、サーバ装置側で複合投稿情報をマスクした状態で受信することも考えられる。このように複合投稿情報中、関連しないユーザ部分に対してマスクすることで、関連するユーザのみを視認しつつ歌唱を楽しむことが可能となる。また、後で説明するが、表示させたユーザ（関連するユーザ）のみを使用して新たな複合投稿情報を作成するため、新たな複合投稿情報では録画時の状況が再現されることとなる。このよう複合動画中のマスクは、特に、複合動画が単位動画を複数組み合わせてエンコードされている形態では、新たに関連するユーザのみの単位動画を組み合わせてエンコードする必要が無く、サーバ装置あるいはカラオケ装置２側の負荷を削減する点において有利である。

図１４の例では、ユーザＣの表示領域Ｃ２と、ユーザＤの表示領域Ｃ３にマスクが施され、ユーザＢとユーザＣは視認できない状態となっている。なお、本実施形態では、複合動画に含まれるユーザＢ〜Ｄの音声（複合録音情報）は、ミキシングされているため、音声に対してマスクを行うことはできず、ユーザＣ、Ｄの音声はスピーカから再生されることとなる。

以上説明した、歌唱者の録画は、楽曲の再生が終了する（Ｓ３０７：Ｙｅｓ）まで継続され、楽曲の再生終了後、単位録画が生成される。ユーザは、この単位録画を確認するためプレビュー処理を選択することが可能である（Ｓ３０９）。プレビュー処理（Ｓ３１０）は、楽曲情報の再生に同期して、単位録画を再生させる処理である。

ユーザは、生成した単位録画を含む単位投稿情報をサーバ装置にアップロードすることが可能である。単位投稿情報をアップロードすることが選択された場合（Ｓ３１１：Ｙｅｓ）、カラオケ装置２は、生成された単位録画含む単位投稿情報を、通信手段としてのインターフェイス部２４を介し、単位投稿情報をサーバ装置に送信するアップロード処理（Ｓ３１２）を実行する。

図１５には、図１３の形態（通常コラボ時）においてアップロードされる単位投稿情報のデータ構成が示されている。この単位投稿情報には、投稿を行う際に使用した複合投稿情報に付されていた投稿識別情報（投稿ＩＤ）、使用した楽曲の楽曲識別情報（楽曲ＩＤ
）、単位動画、楽曲を指定したユーザに関連するユーザ情報が含まれている。ユーザ情報には、何回目にコラボを行ったかを示すコラボＮＯ．と、コラボを行ったユーザのユーザ識別情報が含まれている。

図１６には、図１３の形態（通常コラボ時）で投稿を行った際の投稿処理が示されている。この投稿処理はカラオケ装置２とサーバ装置の間で行われる一連の処理が示されている。サーバ装置側では、予め、単位投稿情報Ｂ〜Ｄ（添字は、投稿したユーザ名に付された記号を示す）を使用して複合投稿情報を作成し、記憶部５１に記憶している。カラオケ装置２側で複合投稿情報が指定（Ｓ５０１）され、投稿識別情報（投稿ＩＤ）がサーバ装置側に送信される（Ｓ５０２）と、サーバ装置は、投稿識別情報に対応する複合投稿情報を記憶部５１から取得して（Ｓ５５１）、要求のあったカラオケ装置２に送信する（Ｓ５５２）。カラオケ装置２では、受信（Ｓ５０３）した複合投稿情報に基づき、図１０のメイン処理などで説明した行程を経て、図１５に示す単位投稿情報Ａを作成し、サーバ装置に送信する（Ｓ５０４）。単位投稿情報Ａを受信（Ｓ５５３）したサーバ装置は、受信した単位投稿情報Ａ、並びに、投稿に利用した複合投稿情報の作成の基となった単位投稿情報Ｂ〜Ｄを使用して、新たな複合投稿情報（新規複合投稿情報）を作成する（Ｓ５５４）。

図１７には、図１６のＳ５５４で作成された新たな複合投稿情報（通常コラボ時）のデータ構成が示されている。図１２で説明したデータ構成とほぼ同様であるが、コラボ数が１増えた点、コラボユーザ情報中にユーザＡが追加されていること、そして、複合動画の内容が更新されている点で異なっている。図１８には、この複合投稿情報をカラオケ装置２で再生したときのモニタ４１の様子が示されている。本実施形態では、図１８の表示領域Ｃ１〜Ｃ４内に単位投稿情報Ａ〜Ｄに含まれる単位投稿動画が配置するように、エンコード処理を施し、１の複合動画を作成している。なお、録画時には左右反転させていた単位投稿情報Ａについては、録画時の状態を左右反転させて元の状態に戻している。この通常コラボ時で作成された新規複合投稿情報は、それまでの複合投稿情報に代えて使用されるものであり、それまでの複合投稿情報と同じ投稿識別情報が付されている。

図１９には、図１４の形態（知り合いコラボ時）で投稿を行った際の投稿処理が示されている。図１６で説明した通常コラボ時の投稿処理とは、一連の処理の流れは同様であるものの、単位投稿情報Ａの内容、新規単位投稿情報の作成の点において異なっている。ここでは、異なる点についてのみ説明を行う。

図２０には、Ｓ５５４で作成された新たな複合投稿情報（知り合いコラボ時）のデータ構成が示されている。知り合いコラボ時に、カラオケ装置２で作成された単位投稿情報には、投稿を行う際に使用した複合投稿情報に付されていた投稿識別情報（投稿ＩＤ）、使用した楽曲の楽曲識別情報（楽曲ＩＤ）、単位動画、楽曲を指定したユーザに関連するユーザ情報が含まれている。ユーザ情報には、何回目のコラボとなるかを示すコラボＮＯ．、コラボを行ったユーザのユーザ識別情報が含まれている。さらに、知り合いコラボ時においては、単位投稿情報には関連ユーザ設定が含まれている。この関連ユーザ設定は、関連ユーザ、すなわち、複合投稿情報を指定したユーザと関連する（同席している、あるいは、ユーザ情報中から特定可能）ユーザであって、図１４の場合には、ユーザＢがこれに該当する。サーバ装置側で新規に作成される複合投稿情報は、ユーザＢ（コラボＮｏ．１）、ユーザＡ（コラボＮｏ．２）の単位投稿情報に基づいて形成されることとなる。

図１９に示される新規複合投稿情報は、破線で示されるように単位投稿情報Ａと、ユーザＡに関連するユーザＢの単位投稿情報Ｂを使用して作成される（Ｓ５５４）。したがって、この新規複合投稿情報には、単位投稿情報Ｃ、Ｄの単位動画は含まれないことになり、ユーザＡは自分に関連したユーザ（知り合い）のみと、コラボを実現することが可能と
なる。

図２１には、図１９のＳ５５４で作成された新たな複合投稿情報（知り合いコラボ時）のデータ構成が示されている。この複合投稿情報は、コラボユーザ情報から分かるように、ユーザＡの単位投稿情報ＡとユーザＢの単位投稿情報Ｂで形成されている。図２２には、この複合投稿情報をカラオケ装置２で再生したときのモニタ４１の様子が示されている。複合投稿情報中の複合動画は、単位投稿情報Ａに含まれる単位動画と、単位投稿情報Ｂに含まれる単位動画を、図に示される表示領域Ｃ１、Ｃ４に配置してエンコード処理を施すことで形成される。また、知り合いコラボ時の複合投稿情報には、録画時に使用した複合投稿情報とは異なる新規の投稿識別情報が付与される。したがって、ユーザは、この新たな複合投稿情報に加え、図１２で説明した複合投稿情報を、再生、あるいは、新たな複合投稿情報の作成のために指定することが可能である。

本実施形態では、知り合いコラボ時において、投稿するユーザに関連するユーザの単位動画を含んだ複合投稿情報（図２１）を作成することとしているが、知り合いコラボ時には、この複合投稿情報のみならず、通常コラボ時の複合投稿情報（図１７）も併せて作成することとしてもよい。

また、本実施形態では、サーバ装置側で、複数の単位動画を組み合わせてエンコードすることで、複合動画を形成しているが、カラオケ装置２に提供する複合動画は、複数の単位動画（複数ファイル）のままとしてもよい。このような形態では、カラオケ装置２側で、複数の単位動画を組み合わせ、複合動画として再生することが可能となる。したがって、投稿のための録画を行う際、関係しないユーザの表示範囲にマスクすることに代え、関係しないユーザの単位動画を除外し、関係するユーザの単位動画のみを表示することが可能となる。この場合、関係しないユーザの音声を除外し、関係するユーザの音声のみをスピーカ４２から出力させることも可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１ａ、１ｂ…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…カラオケ装置、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカ、４３…歌唱用マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ

Claims (8)

1. サーバ装置と、サーバ装置に通信接続可能カラオケ装置と、を備えたカラオケ投稿システムであって、
   カラオケ装置は、サーバ装置から受信した複合投稿情報を再生可能とし、
   複合投稿情報は、投稿識別情報に対応付けられ、楽曲識別情報と、複数の単位動画を組み合わせて構成された複合動画と、当該単位動画に対応するユーザ識別情報を含み、
   ユーザ識別情報に基づいてユーザをログインさせるログイン処理と、
   ログインしているユーザのユーザ識別情報と、当該ユーザによって指定された投稿識別情報を対応付ける楽曲指定処理と、
   楽曲指定処理で指定された複合投稿情報中、複合投稿情報を指定したユーザに関連するユーザを判定する判定処理と、
   楽曲指定処理によって指定された投稿識別情報に対応する複合投稿情報中の複合動画を再生し、当該複合投稿情報中で指定された楽曲識別情報に対応する楽曲情報を演奏手段に演奏させるとともに、撮像手段から入力された映像とマイクロホンから入力される音声を単位動画として記録する動画記録処理と、
   動画記録処理で記録した単位動画と、指定された投稿識別情報と、複合投稿情報を指定したユーザ識別情報と、判定処理で判定されたユーザのユーザ識別情報を含む単位投稿情報をサーバ装置に送信する投稿処理と、を実行可能とし、
   サーバ装置は、
   受信した単位投稿情報に含まれる投稿識別情報に基づいて、判定処理で判定されたユーザ識別情報に対応する単位動画を取得し、取得した単位動画と、単位投稿情報に含まれる単位動画とを含む複合動画を作成し、新たな投稿識別情報を付与して、複合投稿情報を作成する複合投稿情報作成処理を実行可能とする
   カラオケ投稿システム。
2. 動画記録処理は、判定処理で判定されたユーザ以外のユーザの表示領域をマスクして複合動画を再生する、あるいは、判定処理で判定されたユーザ以外のユーザの単位動画を除いて複合動画を再生する
   請求項１に記載のカラオケ投稿システム。
3. 判定処理は、複合投稿情報を指定したユーザのユーザ情報に基づいて特定されるユーザを、関連するユーザとして判定する
   請求項１または請求項２に記載のカラオケ投稿システム。
4. 判定処理は、カラオケ装置に同時にログインしているユーザを、関連するユーザとして判定する
   請求項１から請求項３の何れか１項に記載のカラオケ投稿システム。
5. サーバ装置は、複合投稿情報に含まれる全ての単位動画と、受信した単位投稿情報に含まれる単位動画を含む複合動画を作成して、第２の複合投稿情報を作成する第２複合投稿情報作成処理を実行可能とする
   請求項１から請求項４の何れか１項に記載のカラオケ投稿システム。
6. カラオケ装置は、判定処理において関連するユーザが存在することが判定された場合、複合投稿情報作成処理を実行させるためのインターフェイスを表示させる
   請求項１から請求項５の何れか１項に記載のカラオケ投稿システム。
7. サーバ装置から受信した複合投稿情報を再生可能とするカラオケ装置であって、
   複合投稿情報は、投稿識別情報に対応付けられ、楽曲識別情報と、複数の単位動画を組み合わせて構成された複合動画と、当該単位動画に対応するユーザ識別情報を含み、
   ユーザ識別情報に基づいてユーザをログインさせるログイン処理と、
   ログインしているユーザのユーザ識別情報と、当該ユーザによって指定された投稿識別情報を対応付ける楽曲指定処理と、
   楽曲指定処理で指定された複合投稿情報中、複合投稿情報を指定したユーザに関連するユーザを判定する判定処理と、
   楽曲指定処理によって指定された投稿識別情報に対応する複合投稿情報中の複合動画を再生し、当該複合投稿情報中で指定された楽曲識別情報に対応する楽曲情報を演奏手段に演奏させるとともに、撮像手段から入力された映像とマイクロホンから入力される音声を単位動画として記録する動画記録処理と、
   動画記録処理で記録した単位動画と、指定された投稿識別情報と、複合投稿情報を指定したユーザ識別情報と、判定処理で判定されたユーザのユーザ識別情報を含む単位投稿情報をサーバ装置に送信する投稿処理と、
   判定処理で判定されたユーザ識別情報に対応する単位動画と、投稿処理で投稿した単位投稿情報に含まれる単位動画とを含んだ複合動画をサーバ装置から受信して再生する再生処理と、を実行可能とする
   カラオケ装置。
8. サーバ装置と、サーバ装置に通信接続可能カラオケ装置と、を備えたカラオケ投稿システムにおいて行われる複合投稿情報作成方法であって、
   カラオケ装置は、サーバ装置から受信した複合投稿情報を再生可能とし、
   複合投稿情報は、投稿識別情報に対応付けられ、楽曲識別情報と、複数の単位動画を組み合わせて構成された複合動画と、当該単位動画に対応するユーザ識別情報を含み、
   ユーザ識別情報に基づいてユーザをログインさせるログイン処理と、
   ログインしているユーザのユーザ識別情報と、当該ユーザによって指定された投稿識別情報を対応付ける楽曲指定処理と、
   楽曲指定処理で指定された複合投稿情報中、複合投稿情報を指定したユーザに関連するユーザを判定する判定処理と、
   楽曲指定処理によって指定された投稿識別情報に対応する複合投稿情報中の複合動画を再生し、当該複合投稿情報中に指定された楽曲識別情報に対応する楽曲情報を演奏手段に演奏させるとともに、撮像手段から入力された映像とマイクロホンから入力される音声を単位動画として記録する動画記録処理と、
   動画記録処理で記録した単位動画と、指定された投稿識別情報と、複合投稿情報を指定したユーザ識別情報と、判定処理で判定されたユーザのユーザ識別情報を含む単位投稿情報をサーバ装置に送信する投稿処理と、を行い、
   サーバ装置は、
   受信した単位投稿情報に含まれる投稿識別情報に基づいて、判定処理で判定されたユーザ識別情報に対応する単位動画を取得し、取得した単位動画と、複合投稿情報に含まれる単位動画とを含む複合動画を作成し、新たな投稿識別情報を付与して、複合投稿情報を作成する複合投稿情報作成処理を行う
   複合動画作成方法。

Images