JP6520549B2 - カラオケ投稿システム、カラオケ装置及び複合映像作成方法 - Google Patents

Description

本発明は、サーバ装置と通信回線を介して接続されるカラオケ装置を有するカラオケ投稿システム、カラオケ投稿システムで使用されるカラオケ装置、並びに、カラオケ投稿システムを利用して複数のユーザによる複合映像を作成する複合映像作成方法に関する。

従来、楽曲の演奏に合わせて歌唱を楽しむカラオケ装置が知られている。従来のカラオケ装置は、同じ場所に居合わせた人と一緒に歌唱を楽しむものであったが、通信インフラなどの周辺技術が整った現在、通信回線を介してその場にいない相手とも一緒に歌唱を楽しむサービスが提供されている。

特許文献１には、複数のユーザによる歌唱を順次追加していくことで、１つの歌唱動画（コラボ動画）を作成するカラオケ投稿システムが開示されている。このカラオケ投稿システムでは、自己に関連するユーザの単位動画のみを使用して、新たな複合動画を作成することが可能である。

特開２０１５−２５９８４号公報

特許文献１に開示されるような従来のカラオケ投稿システムでは、歌唱した様子を撮像した単位動画を順次、組み合わせて複合動画を作成するものであった。そのため、ある複合動画について、同じユーザが複数回、投稿した場合には、複合動画を形成する１つの画面内の複数箇所に同じユーザが登場することとなっていた。このような複合動画の画面は、ユーザによっては違和感を生じることがあった。

上述する課題を解決するため、本発明に係るカラオケ投稿システムは以下の構成を採用する。

本発明に係るカラオケ投稿システムは、
サーバ装置とカラオケ装置を含むカラオケ投稿システムであって、
カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
投稿情報指定処理は、ユーザによる投稿情報の指定を入力部にて受け付け、
投稿情報は、楽曲ＩＤと、複数の単位映像を含んで構成された複合映像と、各単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
サーバ装置もしくはカラオケ装置は、
投稿情報に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応しているか否かを判定する判定処理と、
判定処理において、対応していると判定された場合、複合映像中、ユーザに対応する単位映像を、録画処理で記録された単位映像情報に入れ替えて、新たな複合映像を形成する入れ替え処理を実行することを特徴とする。

さらに本発明に係るカラオケ投稿システムにおいて、
判定処理は、複合映像に含まれる単位映像に付与されているユーザＩＤと、録画処理で記録された単位映像情報に付与されているユーザＩＤに基づいて、ユーザの対応関係を判定することを特徴とする。

さらに本発明に係るカラオケ投稿システムにおいて、
判定処理は、複合映像に含まれる単位映像と、録画処理で記録された単位映像情報に対して顔認識処理を行うことでユーザの対応関係を判定することを特徴とする。

さらに本発明に係るカラオケ投稿システムにおいて、
カラオケ装置は、判定処理において、対応していると判定された場合、入れ替え処理の実行可否をユーザに選択させることを特徴とする。

また本発明に係るカラオケ装置は、
サーバ装置と通信可能なカラオケ装置であって、
投稿情報指定処理と、録画演奏処理と、判定処理と、を実行可能とし、
投稿情報指定処理は、ユーザによる投稿情報の指定を入力部にて受け付け、
投稿情報は、楽曲ＩＤと、複数の単位映像を含んで構成された複合映像と、各単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
判定処理は、投稿情報に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応しているか否かを判定し、
判定処理において、対応していると判定された場合、複合映像中、ユーザに対応する単位映像を、録画処理で記録された単位映像情報に入れ替えて、新たな複合映像を形成する入れ替え処理をカラオケ装置にて実行、もしくは、サーバ装置に実行させることを特徴とする。

また本発明に係る複合映像作成方法は、
サーバ装置と、サーバ装置と通信可能なカラオケ装置と、を備えたカラオケ投稿システムで行われる複合映像作成方法であって、
カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
投稿情報指定処理は、ユーザによる投稿情報の指定を入力部にて受け付け、
投稿情報は、楽曲識別情報と、複数の単位映像を含んで構成された複合映像と、各単位映像に対応する単位歌唱音声を含んで構成され、
録画演奏処理は、演奏処理、再生処理、録画処理を実行し、
演奏処理は、投稿情報に含まれる楽曲識別情報に対応する演奏情報を演奏し、
録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、
サーバ装置もしくはカラオケ装置は、
複合映像に含まれる単位映像に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応しているか否かを判定する判定処理と、
判定処理において、対応していると判定された場合、複合映像中、ユーザに対応する単位映像を、録画処理で記録された単位映像情報に入れ替えて、新たな複合映像を形成する入れ替え処理を実行することを特徴とする。

本発明に係るカラオケ投稿システム、カラオケ装置、並びに、複合映像作成方法によれば、複合映像に含まれる単位映像に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応している場合、ユーザに対応する単位映像を単位映像情報に入れ替えて複合映像を形成することが可能となる。このような構成により、新たに形成した複合映像には、画面中の複数箇所に同じユーザが登場することを抑制することが可能となる。

さらに本発明によれば、判定処理に顔認証を使用することでユーザの対応関係を判定することとしている。このような構成によれば、単位映像、あるいは、単位映像情報に実際に映り込んでいるユーザを特定してユーザの対応関係を判定することが可能となる。

さらに本発明によれば、単位映像に付与されているユーザＩＤと、単位映像情報に付与されているユーザＩＤに基づいて、ユーザの対応関係を判定することとしている。このような構成によれば、顔認証等のような負荷の大きい処理を行うことなく、簡易にユーザの対応関係を判定することが可能である。

さらに本発明によれば、入れ替え処理の実行可否をユーザに選択させることを可能としている。このような構成によれば、単位映像の入れ替えを行うか否かをユーザ自身で選択することが可能である。また、ユーザが入れ替えを行わないことを選択した場合には、従来のように新たに撮像された単位映像を追加する形式で複合映像を形成することも可能である。

カラオケ投稿の概要を説明する図 カラオケシステムの構成を示す図 トップ画面を示す図 ユーザ情報のデータ構成を示す図 ユーザに対するサービス処理を示す図 楽曲の予約確認画面を示す図 楽曲の予約情報のデータ構成を示す図 カラオケ装置のメイン処理を示すフロー図 複合投稿情報（ダウンロード情報）のデータ構成を示す図 録画時のモニタの様子を示す図 ユーザ認証処理を示すフロー図 入れ替え映像選択画面を示す図 単位投稿情報（アップロード情報）のデータ構成を示す図 新たに形成された複合投稿情報のデータ構成を示す図 再生時（入れ替え非選択時）におけるモニタの様子を示す図 再生時（入れ替え選択時）におけるモニタの様子を示す図 他の実施形態について、ユーザ認証処理を示すフロー図 他の実施形態について、録画時のモニタの様子を示す図 他の実施形態について、入れ替え映像選択画面を示す図 他の実施形態について、再生時（入れ替え非選択時）におけるモニタの様子を示す図 他の実施形態について、再生時（１映像の入れ替え非選択時）におけるモニタの様子を示す図 他の実施形態について、再生時（２映像の入れ替え非選択時）におけるモニタの様子を示す図

本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されるものである。図１は、このカラオケ投稿システムの概要を説明するための図である。この図を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、実際には、カメラにて記録された映像が伴うこととなる。

まず、歌唱者は、カラオケボックスなど、カラオケシステムが設置される場所で演奏にあわせた歌唱が行われ歌唱音声が記録される（ａ）。カラオケシステムは、カラオケ装置（別称「コマンダ」）、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第１投稿情報として記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿情報の再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿情報は、サーバ装置上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿情報は、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１投稿情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第１投稿情報とのデュエットを楽しむことができる。さらに、第１投稿情報と一緒に歌唱を行った歌唱者の歌唱音声は、第２投稿情報としてカラオケ装置に記録される（ｆ）。記録された第２投稿情報は、第１投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿情報をサーバ装置にアップロードすることができる。第２投稿情報は、第１投稿情報と併せて再生することができるものであるが、サーバ装置には第１投稿情報が保存されているため、第２投稿情報のみが送信される。第２投稿情報には、第１投稿情報と対応付けるため、第２投稿情報の識別情報が付与される（ｈ）。

サーバ装置に保存された第１投稿情報、第２投稿情報は、ユーザからの要請により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。以上、第１投稿情報と第２投稿情報に基づくコラボレーションについて説明したが、（ｄ）、（ｆ）〜（ｈ）を繰り返し行うことで、複数人（２名以上）のコラボレーションが可能となる。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ここでは、歌唱音声についてのみ説明したが、本発明に適用する場合には、歌唱音声と一緒にカメラによる撮影、並びに、映像情報の記録がカラオケ装置にて実行されることとなる。

では、歌唱の記録とあわせて、カメラによる撮影を可能とするカラオケシステムの一実施形態について図２を用いて説明する。本実施形態におけるカラオケシステムは、カラオケ装置２（別称「コマンダ」）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。

カラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、選曲処理などを実行可能としている。演奏処理は、操作部２１やリモコン装置１にてユーザにより、指定された楽曲に対応する楽曲情報をＭＩＤＩ音源等の音源部にて演奏させ、スピーカ４２から放音させる処理である。このとき、スピーカ４２からはマイクロホン４３から入力される歌唱音声も合わせて放音される。また、コラボ時には、楽曲の演奏に合わせて複合映像情報を合わせて再生するとともに、撮像手段としてのカメラ４４から入力された映像と、マイクロホンから入力される歌唱音声を記録する録画処理が実行される。再生処理は、映像再生部２９にて背景映像、歌詞情報などを再生させ、モニタ４１を介して視覚情報をユーザに提供する処理である。コラボ時には、録画された録画情報が再生される。

選曲処理は、ユーザからの指定に基づいて楽曲を選択するための処理である。本実施形態では、リモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してカラオケ装置２に伝達される。カラオケ装置２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザは選曲のための各種情報を視認することが可能である。

カラオケ装置２には、歌唱の様子を撮影するための撮像手段としてカメラ４４が接続されている。カメラ４４からのカメラ映像は、映像入出力を担う映像制御部３１を介して、記録手段としてのＨＤＤ３２（ハードディスク）に記録、そして、モニタ４１にリアルタイム表示することが可能である。さらに、カメラ４４からの映像情報と同時に、複合投稿情報中に含まれる映像情報をモニタ４１に表示させることができる。図１１には、コラボする相手が２人の場合のモニタ４１の表示例が示されている。図１１に示されているように、表示領域Ｃ３には、カメラ４４から入力される映像信号がリアルタイムで表示され、表示領域Ｃ１、Ｃ２には、以前の投稿で撮像記録された映像が表示される。

図３は、本発明の実施形態に係るトップ画面、すなわち、リモコン装置１を起動した直後の画面を示す図である。本実施形態では、リモコン装置１の表示部１１に表示を行うことで、リモコン装置１を操作するユーザに対して各種情報を提供する。なお、リモコン装置１の操作部１７としては、カーソルキーなどの各種機械的なスイッチの他、表示部１１に表示されたボタン、アイコンなどを直接タッチして操作を行うタッチパネルを採用することができる。

本実施形態のカラオケシステムは、複数のユーザが各リモコン装置１のタッチパネル表示画面から必要な情報（後述するユーザ識別情報やパスワード）を入力し、ログインすることが可能となっている。ユーザのログインに関する情報は画面上方に常時表示される。ログインしたユーザの分身像（アバター）を表示するためのログインユーザ欄１０３が設けられている。なお、分身像としては、人、キャラクターを模した像の他、図形や記号など各種形態を採用することができる。

また、アカウントを有していないユーザのためのゲストアイコン１０２、ユーザを切り替えるためのユーザ切替スイッチ１０１が表示されている。ログインしたユーザは、ログインユーザ欄１０３に表示される分身像を選択、あるいは、ユーザ切替スイッチ１０１を操作することで、自分のユーザ情報を利用した各種サービスを受けることが可能となる。また、アカウントを有していないユーザは、ゲストアイコン１０２を操作することで、選曲など一般的なサービスを受けることが可能となっている。なお、ユーザの切替の際には、パスワードなど認証を行うこととしてもよいが、認証を行うことなく簡易に切り替えることとしてもよい。

図４は、ユーザ毎に、サーバ装置５に記憶されているユーザ情報を説明するための図である。本実施形態では、ユーザ情報として、個人情報、マイうたテーブル、マイアーティストテーブルといった、ユーザに関する各種情報を含んで構成される。サーバ装置５の記憶部５１に予め記憶されている。ユーザ情報には、ユーザがリモコン装置１からサーバ装置５へログインしてこれら情報を利用するためのユーザ識別情報、パスワードが対応付けられている。個人情報には、ユーザ名（実際の名前に限ったものでなく、ニックネームであってもよい）、性別、年齢、うた年齢、居住地、趣味などを含んで構成される。これら各種情報は、リモコン装置１、あるいは、インターネットなどのネットワークに接続された図示しないパーソナルコンピュータ、携帯情報端末などにてログインして設定することも可能である。

マイうたテーブルは、ユーザによって登録された楽曲を記憶するテーブルであって、楽曲識別情報、音程調整値、過去の歌唱採点情報（最高点、もしくは、過去複数回のもの）などを含んで構成されている。ユーザは、このマイうたテーブルに基づいて、過去に登録したお気に入りの楽曲を呼び出して予約、演奏することが可能となる。その際、登録した音程調整値を利用することで、自分の歌唱にあった音程で演奏（再生）を行うこともできる。

マイアーティストテーブルは、ユーザによって登録されたアーティスト（歌手）を記憶するテーブルであって、歌手識別情報を含んで構成されている。ユーザは、このマイアーティストテーブルに基づいて、登録したお気に入りのアーティストの楽曲（持ち歌、あるいは、関連楽曲）を呼び出して予約、演奏することが可能となる。

履歴テーブルは、ユーザが過去に演奏した楽曲に関する各種情報を記録した情報であって、本実施形態では、過去に演奏した（当該ユーザが予約、演奏した）楽曲について、楽曲の楽曲識別情報、演奏した日時を示す歌唱日時、歌唱採点情報などを含んで構成されている。ユーザは、この履歴テーブルに基づいて、過去に演奏した楽曲を呼び出して歌唱することができる。

図４は、このユーザ情報の送受信の様子を示した図である。カラオケ店舗に来店したユーザは、自己のユーザ識別情報とパスワードで構成された識別情報を入力、あるいは、リモコン装置１などに設けられたＩＣカードリーダーでＩＣカードに記憶されている識別情報を読み取らせることで認証処理Ｓ１０１を実行する。ユーザの識別情報を読み取った、カラオケ装置２あるいはリモコン装置１は、識別情報をサーバ装置５に送信し（Ｓ１０２）、識別情報を受信したサーバ装置５は記憶部５１に記憶されたデータベースから、該当するユーザのユーザ情報を抽出し（Ｓ１２１）、問い合わせのあったカラオケ装置２あるいはリモコン装置１に対して送信する（Ｓ１２２）。

ユーザ情報を受信したカラオケ装置２側では（Ｓ１０３）、受信したユーザ情報に基づいて、選曲処理、演奏処理など各種サービス処理が提供される（Ｓ１０４）。ユーザによりログアウトが要求される（Ｓ１０５）とサービス処理を中断し、サービス処理中における各種履歴（ログ）、あるいは、ユーザによる設定変更を反映したユーザ情報をサーバ装置５に送信する（Ｓ１０６）。ここで、ユーザ情報は、全ての情報を送信することの他、更新された差分だけを送信してもよい。ユーザ情報を受信したサーバ装置５では（Ｓ１２３）、受信したユーザ情報に基づいて記憶部５１に記憶されたデータベースの更新を実行する（Ｓ１２４）。

以上、１ユーザが認証処理（ログイン処理）してから、ログアウトするまでの流れを説明したが、本実施形態のカラオケ装置２、リモコン装置１は、認証された複数人（認証ユーザ）が同時にログインした状態で使用することが可能となっており、図３で説明したユーザインターフェイスを用いることで、サービスを提供するユーザ（以下、「アクティブユーザ」という）を切り替えて使用することが可能となっている。

図６は、ユーザが楽曲を検索、選択したときの楽曲予約確認画面である。なお、この楽曲予約確認画面に示されるように、複数人がログインした状態ではログインユーザ欄１０３ａ〜１０３ｅにログインしたユーザの分身像（本実施形態では顔部分）が表示される。またログインユーザ欄１０３中、右端に背景がハイライトで示されるユーザは、アクティブユーザ１０３ｅであって、図に示す状態では、このアクティブユーザ１０３ｅ（Ａさん）に対するサービス、すなわち、アクティブユーザ１０３ｅのユーザ情報を利用したサービスが実行されている状態となっている。

この予約確認画面は、ユーザが指定した楽曲の内容に間違いがないか、予約を確定する前に確認するための画面である。画面内には、指定した楽曲について歌手名、曲名、歌い出しが表示されている。また、楽曲予約確認画面では、音程の設定、オプションとして投稿に関する設定を行うことが可能である。投稿に関する設定では、これまでに投稿された複合投稿情報の中から、楽曲名、投稿者などに基づいて、所望の複合投稿情報を検索指定し、複合投稿情報にあわせて歌唱を楽しむことが可能である。

予約確認画面において、「予約」と表記された予約ボタンを操作することで楽曲の予約が行われる。リモコン装置１を使用して楽曲を予約した場合、リモコン装置１からカラオケ装置２に対して、予約情報が送信される。予約情報を受信したカラオケ装置２は、予約情報を予約リストに追加する。図７には、予約情報のデータ構成が示されている。図７（Ａ）は、通常の予約の場合における予約情報であり、図７（Ｂ）は、投稿に関する設定が行われた場合、すなわち、複合投稿情報が指定された場合の予約情報である。図７（Ａ）に示される通常の予約情報は、楽曲を識別するための楽曲ＩＤ、予約したユーザを示すユーザＩＤ、音程設定値が含まれる。一方、図７（Ｂ）に示される投稿に関する指定が行われた場合、通常の予約情報に含まれる情報以外に、指定された複合投稿情報を示す投稿ＩＤが含まれている。

図８は、本発明の実施形態に係るカラオケ装置２におけるメイン処理を示すフロー図である。ユーザは、図６の予約確認画面において、投稿に関する設定を行うことで、歌唱者の歌唱姿を撮像するとともに、歌唱音声を録音して投稿情報を作成することが可能である。カラオケ装置２では、予約リストを随時確認し、次に実行される予約の種類が判別される（Ｓ３０１）。予約リスト上、次の予約種別が「通常予約」である場合（Ｓ３０１：通常予約）は、指定された楽曲を再生させる通常楽曲再生（Ｓ３０２）を実行する。

一方、予約リスト上、次の予約情報が投稿に関する設定が行われた投稿の設定が行われた予約である場合（Ｓ３０１：投稿予約）、Ｓ３０３にて第１投稿（初回の投稿）か否かが判定される。第１投稿である場合には、同時に再生する複合投稿情報が存在しないため楽曲再生（Ｓ３０５）、録音・録画（Ｓ３０６）を開始する。一方、事前に投稿された投稿情報が指定されている場合、すなわち、２回目以降の投稿である場合、当該予約情報で指定された投稿ＩＤに対応する複合投稿情報がカラオケ装置２にダウンロードされているか否か判断し、ダウンロードされていない場合は、サーバ装置から対象となる投稿情報のダウンロードを実行する（Ｓ３０４）。

図９には、ダウンロード時の複合投稿情報（ダウンロード情報）のデータ構成が示されている。本実施形態の投稿情報は、投稿情報を識別するための投稿識別情報（投稿ＩＤ）、録画時に使用した楽曲の楽曲識別情報（楽曲ＩＤ）、複合記録情報、コラボ数、コラボユーザ情報が含まれている。複合記録情報は、複合映像情報と複合歌唱音声情報を含んで構成されている。複合映像情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる映像情報（単位映像情報）を組み合わせて形成された情報である。複合歌唱音声情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる歌唱音声情報（単位歌唱音声情報）を組み合わせて形成された情報である。本実施形態では、歌唱者の歌唱音声を録音した単位歌唱音声情報と前回までの単位歌唱音声情報をミキシングすることで複合歌唱音声情報を生成している。本実施形態では、サーバ装置にて、複数の単位映像情報をエンコードすることで１つのファイルの複合映像情報を生成している。このような形態以外に、複合歌唱音声情報を単位歌唱音声情報の集合として形成し、カラオケ装置２においてミキシング再生する形態としてもよい。また、複合映像情報についても、単位映像情報の集合として形成し、カラオケ装置２にて、複数の単位映像情報を組み合わせて再生し、１画面中に表示する形態としてもよい。

コラボユーザ情報は、各回の投稿に関する情報であり、本実施形態では、これまでの行われた投稿毎について、コラボＮｏ．、ユーザＩＤ、入れ替えコラボＮｏ．を含んで構成されている。コラボＮｏ．は、投稿の順番を示す情報である。ユーザＩＤは、投稿したユーザを識別する情報である。また、本実施形態では、複合映像情報に含まれる単位映像情報を、新たに記録した単位映像情報に入れ替えることが可能である。入れ替えコラボＮｏ．は、入れ替えの対象となった投稿に対して、新たに入れ替えた投稿のコラボＮｏ．が記述されている。なお、入れ替えられていない投稿については、入れ替えられていないことを示す「０」が記述される。図９の複合投稿情報の例は、それに含まれる両方の投稿が入れ替えられていない場合を示している。

複合投稿情報をダウンロードした（Ｓ３０４）後、ダウンロードした複合投稿情報に基づき、複合投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏手段に演奏させる（Ｓ３０５）とともに、マイクロホン４３に入力される歌唱音声の録音、並びに、カメラ４４により歌唱の様子の録画を開始する（Ｓ３０６）。それと同期して投稿再生処理（Ｓ４００）が実行される。この投稿再生処理では、複合投稿情報に含まれる複合記録情報を再生させる処理であって、本実施形態では、複合記録情報中の複合映像情報を映像再生部２９に再生させるとともに、複合記録情報中の複合歌唱音声情報を音声制御部２５に再生させる。

図１０には、図９で説明した複合投稿情報を使用した３回目の投稿時のモニタ４１の表示画面が示されている。なお、各表示領域Ｃ１〜Ｃ３には、理解を助けるためユーザ名（実際には表示せず、他の図も同様）を示している。表示領域のＣ１〜Ｃ３の添字は、投稿された順番を示した数字である。表示領域Ｃ３は、今回の投稿のために表示される領域であって、カメラ４４で撮像された映像がリアルタイム表示される。その際、表示領域Ｃ３には撮像された映像を左右判定させた状態で表示させることが好ましい。歌唱するユーザは鏡に映っているのと同じ状態で自己の姿を視認し、違和感のない映像を確認することが可能となる。そして、各表示領域Ｃ１、Ｃ２には、複合投稿情報中の複合映像情報が表示される。そして、モニタ４１中には楽曲の歌詞Ｅ（図中「Ｉ ＬＯＶＥ ＹＯＵ Ｉ ＬＯＶＥ ＹＯＵ」）が重畳して表示される。

以上説明した歌唱者の録音・録画は、楽曲の再生が終了する（Ｓ３０８：Ｙｅｓ）まで継続され、楽曲の再生終了後、単位映像情報が生成される。本実施形態では、複合投稿情報においてこれまでに投稿を行ったユーザと、今回投稿を行うユーザ間において、一致しているユーザの有無を判定する判定処理（Ｓ４００）を行うこととしている。図１１には、本実施形態の判定処理（Ｓ４００）を示した図である。本実施形態の判定処理（Ｓ４００）は、まず、楽曲を予約したユーザ（図７（Ｂ）の予約情報に含まれるユーザＩＤ）を抽出（Ｓ４０１）する。次に、ダウンロードした複合投稿情報に含まれるコラボユーザ情報中のユーザＩＤを抽出する（Ｓ４０２）。そして、両ユーザＩＤを比較することで、一致しているユーザの有無を判定している。図９、図１０の例のように１回目の投稿がユーザＡ、２回目の投稿がユーザＢ、今回の新たな投稿が、再度、ユーザＡによって行われた場合、１回目の投稿を行ったユーザと今回の投稿を行ったユーザが一致していると判定される。

判定処理（Ｓ４００）において、一致しているユーザがありと判定された場合（Ｓ３１０：Ｙｅｓ）には、入れ替え映像選択処理が実行される（Ｓ３１１）。この入れ替え映像選択処理は、一致しているユーザによって投稿された映像を、今回の新たな投稿について録画された映像に入れ替えるか否かを選択させる処理である。図１２には、モニタ４１に表示される入れ替え映像選択画面が示されている。この入れ替え映像選択画面には、複合投稿情報中、ユーザが一致していると判定された投稿の１シーンＣ１と、今回の新たに録画された１シーンＣ３が表示されている。また、入れ替え映像選択画面には、「入れ替える」と表示されたボタン４１１と、「入れ替えない」と表示されたボタン４１２が表示されている。ユーザは、カラオケ装置２の操作部２１やリモコン装置１を使用してボタン４１１、４１２を操作することで、入れかの可否を選択することができる。

入れ替え映像選択処理（Ｓ３１１）の終了後、ユーザは今回のコラボで出来上がった映像を確認するプレビュー処理を選択することが可能である（Ｓ３１２）。プレビュー処理（Ｓ３１３）は、楽曲情報の再生に同期して、今回、録音・録画した単位記録情報を再生させる処理である。

ユーザは、生成した単位記録情報を含む単位投稿情報をサーバ装置にアップロードすることが可能である。単位投稿情報をアップロードすることが選択された場合（Ｓ３１４：Ｙｅｓ）、カラオケ装置２は、生成された単位記録情報を含む単位投稿情報を、通信手段としてのインターフェイス部２４を介して、サーバ装置に送信するアップロード処理（Ｓ３１５）を実行する。

図１３には、図９、図１０の例において、アップロードされる単位投稿情報のデータ構成が示されている。この単位投稿情報には、投稿を行う際に使用した複合投稿情報に付されていた投稿ＩＤ、使用した楽曲の楽曲ＩＤ、単位記録情報（今回、録画した単位映像情報と、今回、録音した単位歌唱音声情報）、楽曲を指定したユーザに関連するユーザ情報が含まれている。ユーザ情報には、何回目にコラボを行ったかを示すコラボＮｏ．と、コラボを行ったユーザのユーザＩＤ、入れ替え先コラボＮｏ．が含まれている。入れ替え先コラボＮｏ．は、今回の投稿で形成した単位映像情報を入れ替える先となる投稿のコラボＮｏ．に相当する。図１２の入れ替え映像選択画面において、「入れ替える」と表記されたボタン４１１が選択された場合、今回のコラボで録画した映像を、同じユーザによって録画された１回目のコラボの映像に入れ替えることになり、入れ替え先コラボＮｏ．は「１」となる。

単位投稿情報を受信したサーバ装置は、今回受信した単位投稿情報と、今回、使用した複合投稿情報に対応する単位投稿情報を使用して、新たな複合投稿情報を形成する。本実施形態では、サーバ装置は、複合投稿情報に単位投稿情報を対応付けて管理している。そして、今回、使用した複合投稿情報に対応する単位投稿情報に含まれる単位映像情報と、今回、受信した単位投稿情報に含まれる単位映像情報を所定のレイアウトで配置してエンコードし、新たな複合映像情報を形成する。そして、今回、使用した複合投稿情報に対応する単位投稿情報に含まれる単位歌唱音声情報と、今回、受信した単位投稿情報に含まれる単位歌唱音声情報をミキシングして、新たな複合歌唱音声情報を形成する。なお、今回の投稿に基づく新たな複合歌唱音声情報の形成（入れ替え処理）は、サーバ装置で行うことに代え、カラオケ装置側、あるいは、カラオケ装置とサーバ装置が連携して行うこととしてもよい。また、ユーザの対応関係を判定する判定処理についてもサーバ装置側、あるいは、カラオケ装置とサーバ装置が連携して行うこととしてもよい。

図１４は、新たに形成された複合投稿情報のデータ構成が示されている。この複合投稿情報は、図９の複合投稿情報を使用して、図１３の単位投稿情報を投稿した場合の例である。データ構成は、図９と同様であるが、３回目の投稿が行われたことでコラボ数が１増加している。また、３回目の投稿については、１回目の投稿の映像と入れ替えが指定されたため、コラボユーザ情報中、コラボＮｏ．「１」については、入れ替えコラボＮｏ．「３」となっている。これは１回目の投稿の映像が、今回の投稿の映像に入れ替えられたことを示している。なお、本実施形態では、映像が入れ替えられた投稿について、歌唱音声を入れ替えることなくそのまま使用することとしている。したがって、同じユーザが投稿を繰り返した場合、映像は入れ替えられても、歌唱音声は入れ替えることなく、順次、積み重ねていくことが可能となっている。

図１５、図１６は、新たに形成された複合投稿情報の再生の様子を示した画面である。新たに形成された複合投稿情報は、インターネット上で公開されるとともに、更なる投稿のために使用することが可能である。図１５は、入れ替え映像選択画面において入れ替えが指定されなかった場合であり、図１６は、入れ替えが指定された場合の再生の様子である。図１５は、入れ替えが指定されなかったため、表示領域Ｃ１〜Ｃ３に１回目〜３回目のコラボで撮像された映像が表示される。なお、表示領域Ｃ３については、なお、録画時には左右反転させていた表示領域Ｃ３については、録画時の状態を左右反転させて元の状態に戻している。図１６は、入れ替えが指定された場合であって、１回目の投稿のための表示領域Ｃ１が表示されず、２回目と３回目の投稿時の表示領域Ｃ２、Ｃ３で構成されている。この場合、２つの表示領域であるため表示領域のレイアウトは、図１５の場合と異なっている。

以上、説明したように本実施形態のカラオケ投稿システムでは、以前に投稿を行ったユーザと、今回、投稿を行うユーザが一致すると判定された場合、以前に投稿を行ったユーザの映像を、今回の投稿によるユーザの映像に入れ替えることが可能である。特に、一致しているユーザについて入れ替えを許可するため、他のユーザの映像を入れ替えることを抑制し、不用意に他のユーザによりなされた投稿の改変を防ぐことが可能となっている。なお、本実施形態では、入れ替え映像選択画面を表示して、ユーザに入れ替えの確認を行うこととしているが、この入れ替え映像選択画面による入れ替えの確認を行うことなく、一致するユーザについて、新たな投稿による映像に入れ替えてもよい。その場合、あるユーザについて、常に最新の映像に統一されることになる。

また、本実施形態の判定処理は、複合投稿情報中のユーザＩＤと、予約情報中のユーザＩＤを使用して一致するユーザを判定することとしているが、他の形態を採用することも可能である。図１７は、他の形態の判定処理を示すフロー図である。この判定処理では、撮像された映像に対して顔認識処理を行うことで一致するユーザを判定する。楽曲の再生終了後、判定処理（Ｓ４００）が開始すると、今回、撮影された単位映像情報について顔認識処理を実行する（Ｓ４１１）。図１０の投稿例では、表示領域Ｃ３に対応する映像について顔認識処理が実行されることになる。次に、複合映像情報について所定の認識対象領域を設定し、当該認識対象領域について顔認識処理を実行する（Ｓ４１２）。図１０の投稿例では、まず、表示領域Ｃ１を認識対象領域に設定し、顔認識処理が実行される。

次に、Ｓ４１１の顔認識処理で判定したユーザの顔と、Ｓ４１２の顔認識処理で判定したユーザの顔が一致するか否かを判定する（Ｓ４１３）。一致していると判定された場合は、現在、設定している認識対象領域についてユーザが一致と判定される（Ｓ４１４）。図１０の投稿例において、表示領域Ｃ１が認識対象領域の場合、ユーザは一致していると判定されることになる。一方、表示領域Ｃ２が認識対象領域の場合、ユーザは一致してないと判定される。認識対象領域を変更（Ｓ４１６）しつつ、全ての表示領域Ｃ１、Ｃ２に対して顔認識処理とユーザの一致判定が行われる（Ｓ４１５：Ｙｅｓ）ことで、一連の判定処理が完了する。このような顔認識処理を行うことで、従前に投稿したユーザと、今回、投稿したユーザの一致判定を行うことも可能である。なお、図１１のユーザＩＤによる判定処理と、図１７の顔認識処理による判定処理を組み合わせて、ユーザの一致判定を行うことも可能である。

また、最初に説明した実施形態では、今回、投稿を行うユーザは、予約情報に含まれるユーザＩＤを使用して判定しているが、別の形態を採用することも可能である。カラオケでは、同席している複数のユーザで歌唱するなど、楽曲を予約したユーザ以外のユーザが歌唱し、撮像されることがある。このような場合を想定し、予約を行ったユーザに限らず、同席しているユーザを対象としてもよい。図６で説明したように、本実施形態では、同席しているユーザが同時にログインした状態にあるため、ログイン状態を監視することで、同席しているユーザを判定することが可能である。同席しているユーザのユーザＩＤと、複合投稿情報中のユーザＩＤとを比較することで、ユーザの一致判定を行うことが可能である。この場合、同席しているが撮像されていないユーザがいる可能性が大きくなるため、入れ替え映像選択処理（Ｓ３１１）を実行し、入れ替えの可否の確認を取ることが有効である。

図１０の投稿時の例では、複合投稿情報中、１投稿についてユーザ（表示領域Ｃ１のユーザＡ）が、今回歌唱するユーザ（表示領域Ｃ３のユーザＡ）と一致している形態であったが、場合によっては、複合投稿情報中、複数の投稿についてユーザが一致する場合が考えられる。この場合、ユーザは、各種形態で映像を入れ替えることが考えられる。

図１８は、他の実施形態について、投稿を行う際の録画時のモニタ４１の様子を示した図である。複合投稿情報に基づき、表示領域Ｃ１、Ｃ２が表示され、カメラ４４によって撮影しているカメラ映像が表示領域Ｃ３に表示される。この例では、全ての表示領域Ｃ１〜Ｃ３で撮影されたユーザ（ユーザＡ）が一致していることを想定している。このような場合、（１）表示領域Ｃ１及び表示領域Ｃ２の映像を表示領域Ｃ３に入れ替える。（２）表示領域Ｃ１、表示領域Ｃ２どちらか一方の映像を表示領域Ｃ３に入れ替える。（３）入れ替えを行わない、という形態が考えられる。このような形態は、入れ替え映像選択画面を使用して、ユーザに選択させることとしてもよい。

図１９は、他の実施形態について、入れ替え映像選択画面を示した図である。この入れ替え映像選択画面は、図１２で説明した入れ替え映像選択画面と同様、メイン処理において一致するユーザがあると判定された場合、入れ替え映像選択処理（Ｓ３１１）で表示される画面である。この例では、図１８で説明したように、過去２回で行った投稿のユーザ（ユーザＡ）と、今回の歌唱で撮像されたユーザ（ユーザＡ）が一致しているため、どの映像を入れ替えるかを選択できる点において異なった形態となっている。

この入れ替え映像選択画面には、１回目の投稿時の映像が表示領域Ｃ１に静止画で表示され、２回目の投稿時の映像が表示領域Ｃ２に静止画で表示されている。各表示領域Ｃ１、Ｃ２に対応して、チェックボックス４１３ａ、４１３ｂが設けられており、ユーザはこのチェックボックス４１３ａ、４１３ｂを選択操作することで、今回（３回目）の投稿で撮影した映像に入れ替えるか否かを選択できる。両方のチェックボックスをチェックしない状態で「ＯＫ」と表記されたボタン４１４を操作した場合、映像の入れ替えを行うことなく、新たな複合投稿情報が形成される。図２０は、他の実施形態について、再生時（入れ替え非選択時）におけるモニタ４１の様子を示した図である。入れ替えを行わない場合、
単位投稿情報に、今回の歌唱に使用した複合投稿情報のＩＤ（投稿ＩＤ）、楽曲ＩＤ，歌唱したユーザ情報（入れ替えを行なわないので、入れ替え先コラボＮｏ．は付与されない、もしくは入れ替えないことを示す識別情報が付与されている。）、新たに撮影された単位記録情報が対応付けられてサーバ装置５へ投稿される。サーバ装置５では、投稿された単位投稿情報に含まれた投稿ＩＤから複合投稿情報を特定する。そして、複合投稿情報に含まれる映像（表示領域Ｃ１、Ｃ２）に加えて、新たに撮影された映像（表示領域Ｃ３）がレイアウトされた複合投稿情報が形成される。

一方、片方の映像のみチェックボックス４１３ａ、４１３ｂをチェックした状態で「ＯＫ」と表記されたボタン４１４を操作した場合、単位投稿情報に、今回の歌唱に使用した複合投稿情報のＩＤ（投稿ＩＤ）、楽曲ＩＤ、歌唱したユーザ情報（本実施例では、入れ替え先コラボＮｏ．として１が付与されている。）がサーバ装置５に投稿される。そしてサーバ装置５では、投稿された単位投稿情報に含まれた投稿ＩＤから複合投稿情報を特定し、ユーザがチェックした投稿時の映像が、新たに撮影された映像（表示領域Ｃ３）に入れ替えられた複合投稿情報が形成される。図２１は、他の実施形態について、再生時（１映像の入れ替え非選択時）におけるモニタの様子を示した図である。この例は、入れ替え映像選択画面において、１回目の投稿時の映像（表示領域Ｃ１）をチェックした場合である。新たに形成される投稿情報は、１回目の投稿時の映像（表示領域Ｃ１）が、新たに撮影された映像（表示領域Ｃ３）に入れ替えられ、表示領域Ｃ３と表示領域Ｃ２の２つの表示領域で構成される。

また、両方の映像についてチェックボックス４１３ａ、４１３ｂをチェックした状態で「ＯＫ」と表記されたボタン４１４を操作した場合、投稿時の映像両方が、新たに撮影された映像（表示領域Ｃ３）に入れ替えられて、複合投稿情報が形成される。図２２は、他の実施形態について、再生時（１映像の入れ替え非選択時）におけるモニタの様子を示した図である。この例は、入れ替え映像選択画面において、１回目の投稿時の映像（表示領域Ｃ１）をチェックした場合である。新たに形成される投稿情報は、１、２回目の投稿時の映像（表示領域Ｃ１、Ｃ２）が、新たに撮影された映像（表示領域Ｃ３）に入れ替えられ、表示領域Ｃ３のみの表示領域で構成される。なお、このように映像を入れ替えた形態では、映像の数と歌唱音声の数が一致しないことになる。例えば、図２２ではユーザＡの歌唱音声は３つ重ねられているのに対し、映像上は表示領域Ｃ３のみとなっている。そのため、図２２に示されるようにモニタ４１には、同ユーザが投稿を行った回数表示４１５を表示することとしてもよい。

以上、説明したように、今回撮影された映像に対応するユーザが、複合投稿情報中の複数の投稿のユーザと一致する場合には、（１）全ての投稿について映像を入れ替える。（２）何れかの映像を表示領域Ｃ３に入れ替える。（３）入れ替えを行わない、という形態が考えられる。本実施形態では、図１９に示す入れ替え映像選択画面を使用して、ユーザに選択させる形態としたが、ユーザに選択させることなく（１）もしくは（２）の形態で映像を入れ替えることとしてもよい。

１：リモコン装置 ３２：ＨＤＤ
２：カラオケ装置 ４１：モニタ
５：サーバ装置 ４２：スピーカ
１１：表示部 ４３：マイクロホン
１７：操作部 ４４：カメラ
１９：赤外線通信部 ５１：記憶部
２１：操作部 １０１：ユーザ切替スイッチ
２３：赤外線通信部 １０２：ゲストアイコン
２４：インターフェイス部 １０３ａ〜ｅ：ログインユーザ欄
２５：音声制御部 ４１１、４１２、４１４：ボタン
２９：映像再生部 ４１３ａ、４１３ｂ：チェックボックス
３０：制御部 ４１４：ボタン
３１：映像制御部 ４１５：回数表示

Claims (6)

1. サーバ装置とカラオケ装置を含むカラオケ投稿システムであって、
   カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
   投稿情報指定処理は、ユーザによる投稿情報の指定を入力部にて受け付け、
   投稿情報は、楽曲ＩＤと、複数の単位映像を含んで構成された複合映像と、各単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
   録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
   演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
   録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
   再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
   サーバ装置もしくはカラオケ装置は、
   投稿情報に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応しているか否かを判定する判定処理と、
   判定処理において、対応していると判定された場合、複合映像中、ユーザに対応する単位映像を、録画処理で記録された単位映像情報に入れ替えて、新たな複合映像を形成する入れ替え処理を実行することを特徴とする
   カラオケ投稿システム。
2. 判定処理は、複合映像に含まれる単位映像に付与されているユーザＩＤと、録画処理で記録された単位映像情報に付与されているユーザＩＤに基づいて、ユーザの対応関係を判定することを特徴とする
   請求項１に記載のカラオケ投稿システム。
3. 判定処理は、複合映像に含まれる単位映像と、録画処理で記録された単位映像情報に対して顔認識処理を行うことでユーザの対応関係を判定することを特徴とする
   請求項１または請求項２に記載のカラオケ投稿システム。
4. カラオケ装置は、判定処理において、対応していると判定された場合、入れ替え処理の実行可否をユーザに選択させることを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケ投稿システム。
5. サーバ装置と通信可能なカラオケ装置であって、
   投稿情報指定処理と、録画演奏処理と、判定処理と、を実行可能とし、
   投稿情報指定処理は、ユーザによる投稿情報の指定を入力部にて受け付け、
   投稿情報は、楽曲ＩＤと、複数の単位映像を含んで構成された複合映像と、各単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
   録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
   演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
   録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
   再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
   判定処理は、投稿情報に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応しているか否かを判定し、
   判定処理において、対応していると判定された場合、複合映像中、ユーザに対応する単位映像を、録画処理で記録された単位映像情報に入れ替えて、新たな複合映像を形成する入れ替え処理をカラオケ装置にて実行、もしくは、サーバ装置に実行させることを特徴とする
   カラオケ装置。
6. サーバ装置と、サーバ装置と通信可能なカラオケ装置と、を備えたカラオケ投稿システムで行われる複合映像作成方法であって、
   カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
   投稿情報指定処理は、ユーザによる投稿情報の指定を入力部にて受け付け、
   投稿情報は、楽曲識別情報と、複数の単位映像を含んで構成された複合映像と、各単位映像に対応する単位歌唱音声を含んで構成され、
   録画演奏処理は、演奏処理、再生処理、録画処理を実行し、
   演奏処理は、投稿情報に含まれる楽曲識別情報に対応する演奏情報を演奏し、
   録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
   再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、
   サーバ装置もしくはカラオケ装置は、
   複合映像に含まれる単位映像に対応するユーザが、録画処理で記録された単位映像情報に対応するユーザに対応しているか否かを判定する判定処理と、
   判定処理において、対応していると判定された場合、複合映像中、ユーザに対応する単位映像を、録画処理で記録された単位映像情報に入れ替えて、新たな複合映像を形成する入れ替え処理を実行することを特徴とする
   複合映像作成方法。