JP6601099B2 - カラオケ投稿システム、カラオケ装置及び複合映像作成方法 - Google Patents

Description

本発明は、サーバー装置と通信回線を介して接続されるカラオケ装置を有するカラオケ投稿システム、カラオケ投稿システムで使用されるカラオケ装置、並びに、カラオケ投稿システムを利用して複数のユーザーによる複合映像を作成する複合映像作成方法に関する。

従来、楽曲の演奏に合わせて歌唱を楽しむカラオケ装置が知られている。従来のカラオケ装置は、同じ場所に居合わせた人と一緒に歌唱を楽しむものであったが、通信インフラなどの周辺技術が整った現在、通信回線を介してその場にいない相手とも一緒に歌唱を楽しむサービスが提供されている。

特許文献１には、複数のユーザーによる歌唱を順次追加していくことで、１つの歌唱動画（コラボ動画）を作成するカラオケ投稿システムが開示されている。このカラオケ投稿システムでは、自己に関連するユーザーの単位動画のみを使用して、新たな複合動画を作成することが可能である。

特開２０１５−２５９８４号公報

特許文献１に開示されるような従来のカラオケ投稿システムでは、歌唱した様子を撮像した単位動画を順次、組み合わせて複合動画を作成するものであった。ところで歌唱の様子の撮影は、同窓会等、カラオケボックス等に集った知人同士で行われる場合がある。このような場において歌唱の様子を撮影することで、知人同士の集まりの想い出として作品を作ることが可能である。しかしながら、都合悪く、集まりに参加できなかった友人は、歌唱及びその撮影に参加することはできない。

本発明は、このような課題を解決することを目的とするものであり、カラオケ投稿システムを利用することで、歌唱の場に参加できなかったユーザーも作品に参加可能にするとともに、歌唱の場に参加したユーザーと参加できなかったユーザーが識別可能な作品を形成することを目的とする。

上述する課題を解決するため、本発明に係るカラオケ投稿システムは以下の構成を採用する。
サーバー装置とカラオケ装置を含むカラオケ投稿システムであって、
前記カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
前記投稿情報指定処理は、ユーザーによる投稿情報の指定を入力部にて受け付け、
前記投稿情報は、楽曲ＩＤと、単位映像を含んで構成された複合映像と、単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
前記録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
前記演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
前記録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
前記再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
前記サーバー装置もしくは前記カラオケ装置は、
投稿情報に対応するユーザー中、前記録画処理で記録された単位映像情報に対応するユーザー以外のユーザーを不在ユーザーとして判定する不在ユーザー判定処理と、
複合映像において前記不在ユーザーを識別可能な形態とした映像と、前記録画処理で記録された単位映像情報と、に基づいて新たな複合映像を形成する形成処理を実行することを特徴とする。

さらに本発明に係るカラオケ投稿システムにおいて、
前記サーバー装置もしくは前記カラオケ装置は、
投稿情報に対応するユーザー中、前記録画処理で記録された単位映像情報に対応するユーザーを重複ユーザーとして判定する重複ユーザー判定処理を実行可能とし、
前記形成処理は、複合映像中の重複ユーザーを、単位映像情報中の重複ユーザーに入れ替えて、新たな複合映像を形成することを特徴とする。

さらに本発明に係るカラオケ投稿システムにおいて、
前記不在ユーザー判定処理は、複合映像に含まれる単位映像に付与されているユーザーＩＤと、前記録画処理で記録された単位映像情報に対応するユーザーＩＤに基づいて、不在ユーザーを判定することを特徴とする。

さらに本発明に係るカラオケ投稿システムにおいて、
前記不在ユーザー判定処理は、複合映像と、前記録画処理で記録された単位映像情報に対して顔認識処理を行うことで不在ユーザーを判定することを特徴とする。

また本発明に係るカラオケ装置は、
サーバー装置と通信可能なカラオケ装置であって、
投稿情報指定処理と、録画演奏処理と、不在ユーザー判定処理と、を実行可能とし、
前記投稿情報指定処理は、ユーザーによる投稿情報の指定を入力部にて受け付け、
投稿情報は、楽曲ＩＤと、単位映像を含んで構成された複合映像と、単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
前記録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
前記演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
前記録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
前記再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
前記不在ユーザー判定処理は、投稿情報に対応するユーザー中、前記録画処理で記録された単位映像情報に対応するユーザー以外のユーザーを不在ユーザーとして判定し、
複合映像において不在ユーザーを識別可能な形態とした映像と、前記録画処理で記録された単位映像情報と、に基づいて新たな複合映像を形成する形成処理を前記カラオケ装置にて実行、もしくは、前記サーバー装置に実行させることを特徴とする。

また本発明に係る複合映像作成方法は、
サーバー装置と、前記サーバー装置と通信可能なカラオケ装置と、を備えたカラオケ投稿システムで行われる複合映像作成方法であって、
前記カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
前記投稿情報指定処理は、ユーザーによる投稿情報の指定を入力部にて受け付け、
投稿情報は、楽曲識別情報と、単位映像を含んで構成された複合映像と、単位映像に対応する単位歌唱音声を含んで構成され、
前記録画演奏処理は、演奏処理、再生処理、録画処理を実行し、
前記演奏処理は、投稿情報に含まれる楽曲識別情報に対応する演奏情報を演奏し、
前記録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
前記再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、
前記サーバー装置もしくは前記カラオケ装置は、
投稿情報に対応するユーザー中、録画処理で記録された単位映像情報に対応するユーザー以外のユーザーを不在ユーザーとして判定する不在ユーザー判定処理と、
複合映像において不在ユーザーを識別可能な形態とした映像と、録画処理で記録された単位映像情報と、に基づいて新たな複合映像を形成する形成処理を実行することを特徴とする。

本発明に係るカラオケ投稿システム、カラオケ装置、並びに、複合映像作成方法によれば、投稿情報に含まれる複合映像中、歌唱の場に集うユーザー以外のユーザーを不在ユーザーとして判定し、不在ユーザーを識別可能な形態とした複合映像と、録画処理で記録された単位映像情報に基づいて新たな複合映像を形成することとしている。このような構成により、歌唱の場に参加できなかったユーザーも作品に参加可能にするとともに、歌唱の場に参加したユーザーと参加できなかったユーザーが識別可能な作品を形成することが可能となる。

さらに本発明によれば、複合映像に含まれる単位映像に対応するユーザーが、録画処理で記録された単位映像情報に対応するユーザーに対応している場合、ユーザーに対応する単位映像を単位映像情報に入れ替えて複合映像を形成することが可能となる。このような構成により、新たに形成した複合映像には、画面中の複数箇所に同じユーザーが登場することを抑制することが可能となる。

さらに本発明によれば、判定処理に顔認証を使用することでユーザーの対応関係を判定することとしている。このような構成によれば、単位映像、あるいは、単位映像情報に実際に映り込んでいるユーザーを特定してユーザーの対応関係を判定することが可能となる。

さらに本発明によれば、単位映像に付与されているユーザーＩＤと、単位映像情報に付与されているユーザーＩＤに基づいて、ユーザーの対応関係を判定することとしている。このような構成によれば、顔認証等のような負荷の大きい処理を行うことなく、簡易にユーザーの対応関係を判定することが可能である。

カラオケ投稿の概要を説明する図 カラオケシステムの構成を示す図 楽曲の予約確認画面を示す図 （Ａ）予約情報、（Ｂ）楽曲情報のデータ構成を示す図 カラオケ装置のメイン処理を示すフロー図 複合投稿情報（ダウンロード情報）のデータ構成を示す図 録画時のモニタの様子を示す図 判定処理を示すフロー図 不在ユーザー加工選択画面を示す図 単位投稿情報（アップロード情報）のデータ構成を示す図 新たに形成された複合投稿情報のデータ構成を示す図 再生時（加工選択時）におけるモニタの様子を示す図 再生時（加工非選択時）におけるモニタの様子を示す図 録画時のモニタの様子を示す図 入れ替えユーザー選択画面を示す図 単位投稿情報（アップロード情報）のデータ構成を示す図 新たに形成された複合投稿情報のデータ構成を示す図 再生時（入れ替え選択時）におけるモニタの様子を示す図 再生時（入れ替え非選択時）におけるモニタの様子を示す図 他の実施形態について、ユーザー認証処理を示すフロー図

本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されるものである。図１は、このカラオケ投稿システムの概要を説明するための図である。図１を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、カメラにて記録された映像が伴ってもよい。

まず、歌唱者は、カラオケボックス等で、演奏にあわせた歌唱を行う。その際、歌唱音声が記録される（ａ）。カラオケシステムは、カラオケ装置（別称「コマンダ」）、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第１投稿情報として記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿情報の再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿情報は、サーバー装置５上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿情報は、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１投稿情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第１投稿情報とのデュエットを楽しむことができる。さらに、第１投稿情報と一緒に歌唱を行った歌唱者の歌唱音声は、第２投稿情報としてカラオケ装置に記録される（ｆ）。記録された第２投稿情報は、第１投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿情報をサーバー装置５にアップロードすることができる。第２投稿情報は、第１投稿情報と併せて再生されることになる。新たに形成された第２投稿情報を、第１投稿情報と対応付けるため、第２投稿情報には第１投稿情報の識別情報が付与されて、サーバー装置５にアップロードされる（ｈ）。

サーバー装置５に保存された第１投稿情報、第２投稿情報は、ユーザー−からの要求により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。以上、第１投稿情報と第２投稿情報に基づくコラボレーションについて説明したが、（ｄ）、（ｆ）〜（ｈ）を繰り返し行うことで、複数人（２名以上）のコラボレーションが可能となる。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ところで、図１で説明した投稿では、複数のユーザーによる投稿は、時系列的に行われることになる。すなわち、Ａさんが第１投稿情報を行った後、第１投稿情報を再生しつつ、Ｂさんが歌唱することで第２投稿情報を作成することになる。

図２は、本発明の実施形態に係るカラオケシステムの構成を示す図である。カラオケシステムには、楽曲を演奏するカラオケ装置２の他、カラオケ装置２を遠隔制御するためのリモコン装置１が設けられている。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。

カラオケ装置２は、楽曲を演奏するための演奏手段として音響制御部２５を備えている。音響制御部２５は、歌唱用マイク４３ａ、４３ｂ（マイクロホン）から入力されるユーザーの歌唱音声を取り込み、演奏音とミキシングしてスピーカー４２から放音させる。

また、カラオケ装置２は、ユーザーからの各種入力を受け付けるスイッチなどで構成される入力手段としての操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶するカラオケ装置側記憶手段としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に通信接続してネットワークに加入するためのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果の付与等、各種映像処理を実行可能な映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されたモニタ４１以外に、タッチパネルモニタ３３に対しても各種情報を表示することを可能としている。タッチパネルモニタ３３は、映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。また、カラオケ装置２に対する各種操作は、カラオケ装置２のフロントパネル等に設けられた操作部２１を介して行うことも可能となっている。

本実施形態のタッチパネルモニタ３３は、リモコン装置１の操作手段であるタッチパネルモニタ１１と同様の操作手段として機能することも可能としている。ユーザーはタッチパネルモニタ３３から楽曲を選択して、直接カラオケ装置２に予約をさせるなど、リモコン装置１と同等の操作手段機能を利用することが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するための制御手段として、各種プログラムを実行するＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を有して構成される。

また、カラオケ装置２には、歌唱の様子を撮影するための撮像手段としてカメラ４４が接続されている。カメラ４４で撮像されたカメラ映像は、映像入出力を担う映像制御部３１を介して、記録手段としてのハードディスク３２に記録される。また、カメラ映像はモニタ４１にリアルタイム表示される。その際、カメラ映像と一緒に、複合投稿情報中に含まれる映像情報をモニタ４１に表示させることで、投稿を行ったユーザーと模擬的なデュエット、合唱を楽しむことが可能である。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、再生処理などを実行可能としている。楽曲予約処理は、ユーザーからの指示に基づいて楽曲を予約するための処理であってリモコン装置１と連携して実行される。リモコン装置１から送信された予約情報を、メモリ２７内の予約テーブルに登録する。再生処理は、予約された楽曲を再生させる処理であって、演奏処理と歌詞再生処理が同期して実行される処理である。

演奏処理は、楽曲データに含まれる演奏情報を音響制御部２５にて演奏させる処理である。音響制御部２５にて演奏された楽曲は、歌唱用マイク４３ａ、４３ｂから入力される歌唱音声と一緒にスピーカー４２から放音される。歌詞再生処理は、楽曲データに含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

一方、リモコン装置１は、予約情報などカラオケ装置２に対して各種指示を送信するとともに、カラオケ装置２あるいはインターネット上に接続されたサーバー装置５から各種情報を受信する。本実施形態では、ユーザーインターフェイスとしてボタンなどの操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザーからのタッチ入力を受付可能としている。

さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶するリモコン側記憶手段としてメモリ１４、そして、これら構成を統括して制御するためのリモコン側制御手段を備えて構成される。リモコン側制御手段には、ＣＰＵにて構成される制御部１５、表示部１１ａに対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、操作部１７からの入力を解釈して制御部１５に伝達する操作処理部１８が含まれている。

また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。

このようなリモコン装置１の構成により、ユーザーからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１の表示により各種情報を提供することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能である。

図３には、本実施形態の楽曲確認画面が示されている。本実施形態のカラオケシステムは、複数のユーザーが同時にログインして使用することが可能である。ユーザーはログインすることで、自己のユーザー情報を使用した各種サービスを受けることが可能である。ユーザーが受けることのできるサービスとしては、ユーザーが登録したお気に入り楽曲、履歴、お気に入りアーティスト（歌手）を使用した楽曲検索、あるいは、ユーザーの属性に応じた楽曲の推奨、あるいは、図１で説明した歌唱の投稿等がある。

図３に示す楽曲確認画面の上方には、カラオケシステムにログインしているユーザーに関する情報が表示されている。ログインユーザー欄１０３には、カラオケシステムにログインしているユーザーの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザー欄１０３中、右端に背景がハイライト（白色）で示されるユーザーは、アクティブユーザー１０３ｅ（この例ではＡさん）であって、アクティブユーザー１０３ｅに対するサービス、すなわち、アクティブユーザー１０３ｅのユーザー情報を利用したサービスが実行されている状態となっている。アクティブユーザーの切り替えは、ユーザー切り替えボタン１０１を操作することで行うことが可能である。また、ユーザー登録していないユーザーは、ゲストボタン１０２を操作することで、ゲストユーザーとしてカラオケシステムを使用することが可能である。

アクティブユーザーとして楽曲を選択した場合、この楽曲確認画面にて、予約を行う楽曲に間違いがないか、楽曲名、歌手名、歌い出し等の詳細を表示してユーザーに確認させる。本実施形態の楽曲確認画面には、オプション欄１０５を使用して、投稿に関する設定を行うことが可能である。投稿に関する設定としては、使用する複合投稿情情報の選択がある。複合投稿情報は、楽曲確認画面に表示されている楽曲について、従前に投稿された歌唱音声を含んだ情報である。本実施形態では歌唱音声の他、歌唱映像も含んで構成されている。楽曲の演奏に合わせてこの複合投稿情報を再生することで、従前に投稿したユーザーと一緒に歌唱している感覚を楽しむことが可能である。

楽曲確認画面において、歌唱する楽曲であることを確認するとともに各種設定を終えたユーザーは、予約ボタン１０６を操作することで、楽曲の予約を確定させる。リモコン装置１を使用して楽曲を予約した場合、リモコン装置１からカラオケ装置２に予約情報が送信される。図４（Ａ）は、予約情報のデータ構成を示した図である。予約情報は、予約した楽曲を識別するための楽曲ＩＤ、予約を行ったユーザー（アクティブユーザー）に対応するユーザーＩＤ、また本実施形態では、投稿に関する情報として投稿関連情報を有している。投稿関連情報は、投稿の可否を指定した投稿フラグ（０：投稿なし、１：投稿あり）、指定された複合投稿情報を示す投稿ＩＤを含んで構成されている。カラオケ装置２は、カラオケ装置２のメモリ２７で管理する予約テーブルに、受信した予約情報を順次記憶して、楽曲再生処理を実行する。

図５は、本発明の実施形態に係るカラオケ装置２におけるメイン処理を示すフロー図である。ユーザーは、図３の予約確認画面において、投稿に関する設定を行うことで、歌唱者の歌唱姿を撮像するとともに、歌唱音声を録音して投稿情報を作成することが可能である。カラオケ装置２では、予約リストを随時確認し、次に実行される予約の種類が判別される（Ｓ３０１）。予約リスト上、次の予約情報が投稿指定されていない「通常予約」である場合（Ｓ３０１：通常予約）は、指定された楽曲を再生させる通常楽曲再生（Ｓ３０２）を実行する。

一方、予約リスト上、次の予約情報が投稿指定された予約である場合（Ｓ３０１：投稿予約）、Ｓ３０３にて第１投稿（初回の投稿）か否かが判定される。第１投稿である場合には、同時に再生する複合投稿情報が存在しないため楽曲再生（Ｓ３０５）、録音・録画（Ｓ３０６）を開始する。一方、事前に投稿された投稿情報が指定されている場合、すなわち、２回目以降の投稿である場合、当該予約情報で指定された投稿ＩＤに対応する複合投稿情報がカラオケ装置２にダウンロードされているか否か判断し、ダウンロードされていない場合は、サーバー装置から対象となる投稿情報のダウンロードを実行する（Ｓ３０４）。

図６には、ダウンロード時の複合投稿情報（ダウンロード情報）のデータ構成が示されている。本実施形態の投稿情報は、投稿情報を識別するための投稿識別情報（投稿ＩＤ）、録画時に使用した楽曲の楽曲識別情報（楽曲ＩＤ）、複合記録情報、コラボ数、コラボユーザー情報が含まれている。複合記録情報は、複合映像情報と複合歌唱音声情報を含んで構成されている。複合映像情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる映像情報（単位映像情報）を組み合わせて形成された情報である。複合歌唱音声情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる歌唱音声情報（単位歌唱音声情報）を組み合わせて形成された情報である。本実施形態では、歌唱者の歌唱音声を録音した単位歌唱音声情報と前回までの単位歌唱音声情報をミキシングすることで複合歌唱音声情報を生成している。本実施形態では、サーバー装置５にて、複数の単位映像情報をエンコードすることで１つのファイルの複合映像情報を生成している。このような形態以外に、複合歌唱音声情報を単位歌唱音声情報の集合として形成し、カラオケ装置２においてミキシング再生する形態としてもよい。また、複合映像情報についても、単位映像情報の集合として形成し、カラオケ装置２にて、複数の単位映像情報を組み合わせて再生し、１画面中に表示する形態としてもよい。

コラボユーザー情報は、各回の投稿に関する情報であり、本実施形態では、これまでの行われた投稿毎について、コラボＮｏ．、ユーザーＩＤ、加工対象ユーザー、入れ替えユーザーを含んで構成されている。コラボＮｏ．は、投稿の順番を示す情報である。ユーザーＩＤは、投稿したユーザーを識別する情報である。また、本実施形態では、過去に行われた投稿において、最新の投稿に参加していないユーザーを不在ユーザーとして判定し、不在ユーザーを識別可能な形態で表示することとしている。識別可能な形態で表示される。特に本実施形態では、不在ユーザーを識別可能な形態で表示させるか否かを指定可能としており、識別可能な形態で表示させることが指定されたユーザーは、加工対象ユーザーとして記述される。なお、加工対象ユーザーが無い場合、その旨を示す「０」が記述される。

また、本実施形態では、最新の投稿に参加したユーザーが過去の投稿にも参加していた場合、すなわち、重複して投稿に参加していた場合、最新の映像に入れ替えることが可能である。入れ替えユーザーは、投稿中、入れ替えられるユーザーは、入れ替えユーザーとして記述される。なお、入れ替えられるユーザーが居ない場合は、その旨を示す「０」が記述される。

複合投稿情報をダウンロードした（Ｓ３０４）後、ダウンロードした複合投稿情報に基づき、複合投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏手段に演奏させる（Ｓ３０５）とともに、マイクロホン４３に入力される歌唱音声の録音、並びに、カメラ４４により歌唱の様子の録画を開始する（Ｓ３０６）。それと同期して投稿再生処理（Ｓ３０７）が実行される。この投稿再生処理では、複合投稿情報に含まれる複合記録情報を再生させる処理であって、本実施形態では、複合記録情報中の複合映像情報を映像再生部２９に再生させるとともに、複合記録情報中の複合歌唱音声情報を音響制御部２５に再生させる。

図７には、図６で説明した複合投稿情報を使用した２回目の投稿時のモニタ４１の表示画面を模式的に示した図である。なお、各表示領域Ｃ１、Ｃ２に表示されるユーザーの頭部には、ユーザーを識別するためのアルファベットが示されている。表示領域のＣ１、Ｃ２の添字は、投稿された順番を示した数字である。表示領域Ｃ２は、今回の投稿のために表示される領域であって、カメラ４４で撮像された映像がリアルタイム表示される。その際、表示領域Ｃ２には撮像された映像を左右判定させた状態で表示させることが好ましい。歌唱するユーザーは鏡に映っているのと同じ状態で自己の姿を視認し、違和感のない映像を確認することが可能となる。そして、各表示領域Ｃ１には、複合投稿情報中の複合映像情報が表示される。そして、モニタ４１中には楽曲の歌詞Ｅ（図中「Ｉ ＬＯＶＥ ＹＯＵ Ｉ ＬＯＶＥ ＹＯＵ」）が重畳して表示される。

以上説明した歌唱者の録音・録画は、楽曲の再生が終了する（Ｓ３０８：Ｙｅｓ）まで継続され、楽曲の再生終了後、単位映像情報が生成される。本実施形態では、複合投稿情報においてこれまでに投稿を行ったユーザーと、今回投稿を行うユーザー間における一致、不一致を判定する判定処理（Ｓ４００）を行うこととしている。図８は、本実施形態の判定処理（Ｓ４００）を示したフロー図である。本実施形態の判定処理（Ｓ４００）は、まず、カラオケシステムにログインしているユーザーを抽出（Ｓ４０１）する。次に、ダウンロードした複合投稿情報に含まれるコラボユーザー情報中のユーザーＩＤを抽出する（Ｓ４０２）。そして、両ユーザーＩＤを比較することで、一致しているユーザーの有無を判定している。図７の例のように１回目の投稿がユーザーＡ、今回の新たな投稿がユーザーＢとユーザーＣよって行われた場合、１回目の投稿を行ったユーザーと今回の投稿の間には、一致しているユーザーはいないと判定される。

判定処理（Ｓ４００）において、一致しないユーザーがありと判定された場合（Ｓ３１０：Ｙｅｓ）には、不在ユーザー加工選択処理が実行される（Ｓ３１１）。この不在ユーザー加工選択処理は、過去に行われた投稿において、最新の投稿に参加していない不在ユーザーを識別可能な形態で表示するか否かを、カラオケ装置２を使用しているユーザーに選択させる処理である。図９には、モニタ４１に表示される不在ユーザー加工選択画面が示されている。この不在ユーザー加工選択画面には、最新の投稿に参加していないユーザー（この場合、ユーザーＡ）を含む過去の投稿の１シーンＣ１が表示される。また、不在ユーザー加工選択画面には、「分かるように表示」と表示されたボタン４１１と、「分からないように表示」と表示されたボタン４１２が表示されている。ユーザーは、カラオケ装置２の操作部２１やリモコン装置１を使用してボタン４１１、４１２を操作することで、加工の可否を選択することができる。

また、本実施形態では、判定処理（Ｓ４００）において、一致しているユーザーがありと判定された場合（Ｓ３１２：Ｙｅｓ）には、入れ替えユーザー選択処理が実行される（Ｓ３１３）。この入れ替えユーザー選択処理については、後で詳しく説明する。図７の例のように１回目の投稿がユーザーＡ、今回の新たな投稿がユーザーＢとユーザーＣよって行われた場合、１回目の投稿を行ったユーザーと今回の投稿の間には、一致しているユーザーはいないため、この入れ替え映像選択処理（Ｓ３１３）はスキップされる。

ユーザーは、今回のコラボで出来上がった映像を確認するプレビュー処理を選択することが可能である（Ｓ３１４）。プレビュー処理（Ｓ３１５）は、楽曲情報の再生に同期して、今回、録音・録画した単位記録情報を再生させる処理である。

ユーザーは、生成した単位記録情報を含む単位投稿情報をサーバー装置にアップロードすることが可能である。単位投稿情報をアップロードすることが選択された場合（Ｓ３１６：Ｙｅｓ）、カラオケ装置２は、生成された単位記録情報を含む単位投稿情報を、通信手段としてのＬＡＮ通信部２４を介して、サーバー装置に送信するアップロード処理（Ｓ３１７）を実行する。

図１０には、図６、図７の例において、アップロードされる単位投稿情報のデータ構成が示されている。この単位投稿情報には、投稿を行う際に使用した複合投稿情報に付されていた投稿ＩＤ、使用した楽曲の楽曲ＩＤ、単位記録情報（今回、録画した単位映像情報と、今回、録音した単位歌唱音声情報）、楽曲を指定したユーザーに関連するユーザー情報が含まれている。ユーザー情報には、何回目にコラボを行ったかを示すコラボＮｏ．と、コラボを行ったユーザーのユーザーＩＤ、加工指定、入れ替えユーザーが含まれている。加工指定は、図９で説明した不在ユーザー加工選択画面の選択結果を示す情報である。不在ユーザー加工選択画面において「分かるように表示」と表示されたボタン４１１が選択された場合、加工指定は「１」に設定される。一方、「分からないように表示」と表示されたボタン４１２が選択された場合、加工指定は「０」に設定される。

入れ替えユーザーは、一致するユーザーがいる場合（Ｓ３１２：Ｙｅｓ）において実行される入れ替えユーザー選択処理（Ｓ３１３）において指定される情報である。図６、図７の例では、一致するユーザーがいないため、入れ替えユーザー選択処理（Ｓ３１３）は実行されず、入れ替えユーザーはデフォルトの「０」となっている。入れ替えユーザー選択処理（Ｓ３１３）、及び、入れ替えユーザーについては後で詳しく説明する。

単位投稿情報を受信したサーバー装置は、今回受信した単位投稿情報と、今回、使用した複合投稿情報に対応する単位投稿情報を使用して、新たな複合投稿情報を形成する。本実施形態では、サーバー装置は、複合投稿情報に単位投稿情報を対応付けて管理している。そして、今回、使用した複合投稿情報に対応する単位投稿情報に含まれる単位映像情報と、今回、受信した単位投稿情報に含まれる単位映像情報を所定のレイアウトで配置してエンコードし、新たな複合映像情報を形成する。そして、今回、使用した複合投稿情報に対応する単位投稿情報に含まれる単位歌唱音声情報と、今回、受信した単位投稿情報に含まれる単位歌唱音声情報をミキシングして、新たな複合歌唱音声情報を形成する。なお、今回の投稿に基づく新たな複合歌唱音声情報の形成（入れ替え処理）は、サーバー装置５で行うことに代え、カラオケ装置２側、あるいは、カラオケ装置２とサーバー装置５が連携して行うこととしてもよい。また、ユーザーの対応関係を判定する判定処理（Ｓ４００）についてもサーバー装置５側、あるいは、カラオケ装置２とサーバー装置５が連携して行うこととしてもよい。

図１１には、新たに形成された複合投稿情報のデータ構成が示されている。この複合投稿情報は、図６の複合投稿情報を使用して、図１０の単位投稿情報を投稿した場合の例である。データ構成は、図６と同様であるが、２回目の投稿が行われたことでコラボ数が１増加している。また、２回目の投稿については、不在ユーザーを識別可能な形態で表示する加工指定が行われたため、１回目の投稿（コラボＮｏ．１）のユーザーＡが加工対象ユーザーとして指定される。なお、この例では、入れ替えユーザー選択処理（Ｓ３１３）が行われていないため、入れ替えユーザーは、デフォルトの「０」となっている。

図１２、図１３は、新たに形成された複合投稿情報の再生の様子を示した画面である。新たに形成された複合投稿情報は、インターネット上で公開されるとともに、更なる投稿のために使用することが可能である。図１２は、不在ユーザー加工選択画面において不在ユーザーに対する加工が指定された場合であり、図１３は、不在ユーザーに対する加工が指定されなかった場合の再生の様子である。本実施形態では、過去の投稿からユーザー部分を抽出（切り取り）して、最新の投稿と合成して表示領域Ｄに表示している。図７に示す表示領域Ｃ１中、ユーザーＡを含む領域Ｓが切り取られ、最新の投稿の表示領域Ｃ２と合成され、表示領域Ｄが形成される。

本実施形態では、不在ユーザー（この例では、ユーザーＡ）に対する加工は、枠内に表示することで行うこととしている。図１２に示すように不在ユーザーに対する加工が指定された場合には、表示領域Ｄ１の左上に枠を設け、枠内に不在ユーザーを表示することで、誰が今回の集まりに参加しなかったかを識別可能としている。一方、不在ユーザーに対する加工が指定されなかった場合、図１３に示すように、不在ユーザーは枠内に表示せず、他のユーザーと同様に同じ表示領域Ｄ２内に表示している。なお、不在ユーザーに対する加工は、このように別の枠内に表示する形態に限られるものでは無く、不在ユーザーの色調を変化させる、不在ユーザー画像エフェクトを付与する等、各種形態を採用することとしてもよい。また、本発明は、不在ユーザーが識別できればよいため、不在ユーザー以外のユーザー（この例では、ユーザーＢ、Ｃ）に対して各種加工を行うことで、不在ユーザーとそれ以外のユーザーを識別可能としてもよい。

次に、別の例について説明を行う。この例は、過去に投稿したユーザーと、最新の投稿に参加したユーザー間に重複するユーザーがいる場合である。図１４には、このような場合における録画時のモニタ４１の様子を示した図である。図１４に示す例は、図７の例と同様、２回目の投稿を行う場合の例である。ただし、１回目の投稿では、ユーザーＡとユーザーＢが参加し、今回の投稿では、ユーザーＢとユーザーＣが参加している点において異なっている。なお、図１４中、表示領域Ｃ１、Ｃ２の頭部に表示されるＢ１、Ｂ２は同じユーザーＢであり、添字は投稿の順番を示している。

このような場合、１回目の投稿と今回の投稿の間に、一致するユーザーがいる（Ｓ３１３：Ｙｅｓ）ため、入れ替えユーザー選択処理（Ｓ３１３）が実行される。この入れ替えユーザー選択処理は、一致すると判定されたユーザーを、今回の新たな投稿について録画されたユーザーの映像に入れ替えるか否かを選択させる処理である。図１５には、モニタ４１に表示される入れ替えユーザー選択画面が示されている。この入れ替えユーザー選択画面には、複合投稿情報中、ユーザーが一致していると判定された投稿の１シーンＣ１と、今回の新たに録画された１シーンＣ２が表示されている。また、入れ替え映像選択画面には、「入れ替える」と表示されたボタン４１３と、「入れ替えない」と表示されたボタン４１４が表示されている。ユーザーは、カラオケ装置２の操作部２１やリモコン装置１を使用してボタン４１３、４１４を操作することで、入れ替えの可否を選択することができる。

入れ替えユーザー選択処理（Ｓ３１１）の終了後、前述の例と同様の処理を経て、指定に基づいて生成された単位投稿情報がサーバー装置５にアップロードされる（Ｓ３１７）。なお、この例では、説明を簡潔なものとするため、不在ユーザー加工選択処理（Ｓ３１１）において、加工することが選択された場合について説明する。図１６には、図１４の例において、アップロードされる単位投稿情報のデータ構成が示されている。単位投稿情報のデータ構成は、図１０で説明したものと同様である。ただし、この例では、入れ替えユーザー選択処理（Ｓ３１１）が実行されており、図１５の入れ替えユーザー選択画面において、「入れ替える」と表記されたボタン４１３が選択された場合、入れ替えユーザーには、対象となる入れ替えユーザーのユーザーＩＤが記述される。一方、入れ替えユーザー選択画面において、「入れ替えない」と表記されたボタン４１４が選択された場合、入れ替えユーザーには、デフォルトの「０」のままとなる。

単位投稿情報を受信したサーバー装置５は、今回受信した単位投稿情報と、今回、使用した複合投稿情報に対応する単位投稿情報を使用して、新たな複合投稿情報を形成する。図１７には、新たに形成された複合投稿情報のデータ構成が示されている。この複合投稿情報は、図１４の例について、図１６の単位投稿情報を投稿した場合の例である。データ構成は、図１１と同様であるが、この例では、入れ替えユーザー選択処理（Ｓ３１３）において入れ替え指定されたため、入れ替えユーザーは、入れ替えの対象となるコラボＮｏ．１のユーザーＢとなっている。なお、本実施形態では、映像が入れ替えられた投稿について、歌唱音声を入れ替えることなくそのまま使用することとしている。したがって、同じユーザーが投稿を繰り返した場合、映像は入れ替えられても、歌唱音声は入れ替えることなく、順次、積み重ねていくことが可能となっている。

図１８、図１９は、新たに形成された複合投稿情報の再生の様子を示した画面である。この例は、不在ユーザー加工選択処理（Ｓ３１１）において、加工することが選択された場合であるため、不在ユーザー（この場合、ユーザーＡ）は、何れの場合も表示領域Ｄ１、Ｄ２中、左上の枠内に表示されている。図１５は、入れ替え映像選択画面において入れ替えが指定された場合であり、前回の投稿のユーザーＢ１に代え、ユーザーＢ２が表示されている。一方、図１６は、入れ替えが指定された場合の再生の様子であって、重複するユーザー（ユーザーＢ１とユーザーＢ２）であっても、入れ替えることなく全て表示している。このように本実施形態では、以前に投稿を行ったユーザーと、今回、投稿を行うユーザーが一致すると判定された場合、以前に投稿を行ったユーザーの映像を、今回の投稿によるユーザーの映像に入れ替えることが可能である。特に、一致しているユーザーについて入れ替えを許可するため、他のユーザーの映像を入れ替えることを抑制し、不用意に他のユーザーによりなされた投稿の改変を防ぐことが可能となっている。なお、本実施形態では、入れ替え映像選択画面を表示して、ユーザーに入れ替えの確認を行うこととしているが、この入れ替え映像選択画面による入れ替えの確認を行うことなく、一致するユーザーについて、新たな投稿による映像に入れ替えてもよい。その場合、あるユーザーについて、常に最新の映像に更新されることになる。

また、本実施形態の判定処理は、複合投稿情報中のユーザーＩＤと、ログインしているユーザーのユーザーＩＤを使用してユーザーの一致、不一致を判定することとしているが、他の形態を採用することも可能である。図２０は、他の形態の判定処理を示すフロー図である。この判定処理では、撮像された映像に対して顔認識処理を行うことでユーザーの一致、不一致を判定する。楽曲の再生終了後、判定処理（Ｓ４００）が開始すると、今回、撮影された単位映像情報について顔認識処理を実行する（Ｓ４１１）。例えば、図７の投稿例では、表示領域Ｃ２に対応する映像について顔認識処理が実行される。次に、複合映像情報に対して顔認識処理を実行する（Ｓ４１２）。例えば、図７の投稿例では、表示領域Ｃ１に対応する映像について顔認識処理が実行される。そして、Ｓ４１１の顔認識結果とＳ４１２の顔認識結果を対比する（Ｓ４１３）ことで、ユーザーの一致、不一致を判定することが可能である。なお、図８のユーザーＩＤによる判定処理と、図２０の顔認識処理による判定処理を組み合わせて、ユーザーの一致判定を行うことも可能である。

また、最初に説明した実施形態では、今回、投稿を行うユーザーは、カラオケシステムにログインしているユーザーのユーザーＩＤを使用して判定しているが、別の形態を採用することも可能である。例えば、カラオケシステムにログインしているユーザーであっても、歌唱には参加しない場合が考えられる。このような場合を想定し、例えば、カラオケシステムにログインしているユーザーの中から、実際に歌唱を行っているユーザーを選択させることとしてもよい。また、予約情報に含まれるユーザーＩＤで特定されるユーザーは、歌唱を行う可能性が高いため、当該ユーザーを、今回、投稿を行うユーザーとして判定することとしてもよい。

１：リモコン装置 ３０：ＣＰＵ
２：カラオケ装置 ３１：映像制御部
５：サーバー装置 ３２：ハードディスク
１１：タッチパネルモニタ ３３：タッチパネルモニタ
１１ａ：表示部 ３４：タッチパネル
１１ｂ：タッチパネル ３５：表示部
１２：ビデオＲＡＭ ４１：モニタ
１３：映像制御部 ４２：スピーカー
１４：メモリ ４３：マイクロホン
１５：制御部 ４３ａ、４３ｂ：歌唱用マイク
１６：無線ＬＡＮ通信部 ４３ｂ：歌唱用マイク
１７：操作部 ４４：カメラ
１８：操作処理部 １０１：ユーザー切り替えボタン
２１：操作部 １０２：ゲストボタン
２２：操作処理部 １０３：ログインユーザー欄
２４：ＬＡＮ通信部 １０３ａ〜１０３ｅ：分身像
２５：音響制御部 １０５：オプション欄
２７：メモリ １０６：予約ボタン
２８：ビデオＲＡＭ １１０：アクセスポイント
２９：映像再生部 ４１１〜４１４：ボタン

Claims (6)

1. サーバー装置とカラオケ装置を含むカラオケ投稿システムであって、
   前記カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
   前記投稿情報指定処理は、ユーザーによる投稿情報の指定を入力部にて受け付け、
   前記投稿情報は、楽曲ＩＤと、単位映像を含んで構成された複合映像と、単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
   前記録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
   前記演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
   前記録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
   前記再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
   前記サーバー装置もしくは前記カラオケ装置は、
   投稿情報に対応するユーザー中、前記録画処理で記録された単位映像情報に対応するユーザー以外のユーザーを不在ユーザーとして判定する不在ユーザー判定処理と、
   複合映像において前記不在ユーザーを識別可能な形態とした映像と、前記録画処理で記録された単位映像情報と、に基づいて新たな複合映像を形成する形成処理を実行することを特徴とする
   カラオケ投稿システム。
2. 前記サーバー装置もしくは前記カラオケ装置は、
   投稿情報に対応するユーザー中、前記録画処理で記録された単位映像情報に対応するユーザーを重複ユーザーとして判定する重複ユーザー判定処理を実行可能とし、
   前記形成処理は、複合映像中の重複ユーザーを、単位映像情報中の重複ユーザーに入れ替えて、新たな複合映像を形成することを特徴とする
   請求項１に記載のカラオケ投稿システム。
3. 前記不在ユーザー判定処理は、複合映像に含まれる単位映像に付与されているユーザーＩＤと、前記録画処理で記録された単位映像情報に対応するユーザーＩＤに基づいて、不在ユーザーを判定することを特徴とする
   請求項１または請求項２に記載のカラオケ投稿システム。
4. 前記不在ユーザー判定処理は、複合映像と、前記録画処理で記録された単位映像情報に対して顔認識処理を行うことで不在ユーザーを判定することを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケ投稿システム。
5. サーバー装置と通信可能なカラオケ装置であって、
   投稿情報指定処理と、録画演奏処理と、不在ユーザー判定処理と、を実行可能とし、
   前記投稿情報指定処理は、ユーザーによる投稿情報の指定を入力部にて受け付け、
   投稿情報は、楽曲ＩＤと、単位映像を含んで構成された複合映像と、単位映像に対応する単位歌唱音声を含んで構成された複合歌唱音声を含み、
   前記録画演奏処理は、演奏処理、録画処理、再生処理を実行し、
   前記演奏処理は、投稿情報に含まれる楽曲ＩＤに対応する演奏情報を演奏し、
   前記録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
   前記再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、投稿情報に含まれる単位歌唱音声を再生し、
   前記不在ユーザー判定処理は、投稿情報に対応するユーザー中、前記録画処理で記録された単位映像情報に対応するユーザー以外のユーザーを不在ユーザーとして判定し、
   複合映像において不在ユーザーを識別可能な形態とした映像と、前記録画処理で記録された単位映像情報と、に基づいて新たな複合映像を形成する形成処理を前記カラオケ装置にて実行、もしくは、前記サーバー装置に実行させることを特徴とする
   カラオケ装置。
6. サーバー装置と、前記サーバー装置と通信可能なカラオケ装置と、を備えたカラオケ投稿システムで行われる複合映像作成方法であって、
   前記カラオケ装置は、投稿情報指定処理と、録画演奏処理と、を実行可能とし、
   前記投稿情報指定処理は、ユーザーによる投稿情報の指定を入力部にて受け付け、
   投稿情報は、楽曲識別情報と、単位映像を含んで構成された複合映像と、単位映像に対応する単位歌唱音声を含んで構成され、
   前記録画演奏処理は、演奏処理、再生処理、録画処理を実行し、
   前記演奏処理は、投稿情報に含まれる楽曲識別情報に対応する演奏情報を演奏し、
   前記録画処理は、カメラで撮影されている映像を単位映像情報として記録するとともに、マイクロホンから入力される歌唱音声を単位歌唱音声情報として記録し、
   前記再生処理は、投稿情報に含まれる複合映像と、カメラで撮影されている映像を表示部に表示し、
   前記サーバー装置もしくは前記カラオケ装置は、
   投稿情報に対応するユーザー中、録画処理で記録された単位映像情報に対応するユーザー以外のユーザーを不在ユーザーとして判定する不在ユーザー判定処理と、
   複合映像において不在ユーザーを識別可能な形態とした映像と、録画処理で記録された単位映像情報と、に基づいて新たな複合映像を形成する形成処理を実行することを特徴とする
   複合映像作成方法。