本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されることとしている。図1は、このカラオケ投稿システムの概要を説明するための図である。この図を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、実際には、カメラにて記録された映像が伴うこととなる。
まず、歌唱者は、カラオケボックスなど、カラオケシステムが設置される場所で演奏にあわせた歌唱が行われ歌唱音声が記録される(a)。カラオケシステムは、カラオケ装置(別称「コマンダ」)、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第1投稿情報として記録される。
歌唱者は、記録された歌唱音声を確認するため、第1投稿情報の再生を行うこともできる(b)。歌唱者が希望する場合には、第1投稿情報は、サーバ装置上にアップロードされ、インターネットを介して公開することが可能となる(c)。サーバ装置で公開された第1投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる(d)。
ダウンロードされた第1投稿情報は、楽曲にあわせて再生することで内容を確認することもできる(e)。ダウンロードされた第1歌唱情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第1歌唱情報とのデュエットを楽しむことができる。さらに、第1歌唱情報と一緒に歌唱を行った歌唱者の歌唱音声は、第2投稿情報としてカラオケ装置に記録される(f)。記録された第2投稿情報は、第1投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる(g)。
歌唱者は、新たな投稿として第2投稿情報をサーバ装置にアップロードすることができる。第2投稿情報は、第1投稿情報と併せて再生することができるものであるが、サーバ装置には第1投稿情報が保存されているため、第2投稿情報のみが送信される。第2投稿情報には、第1投稿情報と対応付けるため、第1投稿情報の識別情報が付与される(h)。サーバ装置は第1投稿情報の識別情報が付与された第2投稿情報を受信することで、(f)における歌唱者は、歌唱時に第1投稿情報を併せて再生し、自身の歌唱音声を記録した第2投稿情報を作成したことが判る。第1投稿情報と第2投稿情報とが、(a)における歌唱者と(f)における歌唱者2名のコラボレーションとなる。
サーバ装置に保存された第1投稿情報、第2投稿情報は、ユーザからの要請により、PC(パーソナルコンピュータ)あるいはカラオケシステムにダウンロードされ、第1投稿情報、第2投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる(i)。以上、第1投稿情報と第2投稿情報に基づくコラボレーションについて説明したが、(d)、(f)〜(h)を繰り返し行うことで、複数人(2名以上)のコラボレーションが可能となる。
このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ここでは、歌唱音声についてのみ説明したが、本発明に適用する場合には、歌唱音声と一緒にカメラによる撮影、並びに、映像情報の記録がカラオケ装置にて実行されることとなる。
では、歌唱の記録とあわせて、カメラによる撮影を可能とするカラオケシステムの一実施形態について図2を用いて説明する。本実施形態におけるカラオケシステムは、カラオケ装置2(コマンダ)と、リモコン装置1を含んで構成されている。なお、図1に示す例では、1台のカラオケ装置2に対して、リモコン装置1aとリモコン装置1b、2台のリモコン装置1が使用されている例である。これらリモコン装置1a、1bの構成は同一であるため、リモコン装置1として説明を行う。カラオケ装置2とリモコン装置1は、LAN100及びアクセスポイント110を利用してネットワークを形成するように接続されている。
カラオケボックスなどの店舗に設置されるカラオケ装置2は、楽曲を演奏するための演奏部として音響制御部25を備えている。また、カラオケ装置2は、ユーザからの各種入力を受け付ける操作部21を備える。カラオケ装置2は、操作部21からの入力を解釈してCPU30に伝達する操作処理部22を備える。また、カラオケ装置2は、各種情報を記憶する記憶部としてのハードディスク32を備える。カラオケ装置2は、LAN100に接続してネットワークに加入する通信手段としてのLAN通信部24を備えている。
また、カラオケ装置2は、モニタ41に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部29、再生する映像を一時的に蓄積するビデオRAM28、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部31を備えて構成される。
さらに、このカラオケ装置2では、外部に接続されるモニタ41以外に、タッチパネルモニタ33に対して各種情報を表示することを可能としている。タッチパネルモニタ33は映像制御部31から入力された映像情報を表示する表示部35と、タッチ入力された位置を操作処理部22に出力するタッチパネル34が重畳されて構成されている。このタッチパネルモニタ33は、カラオケ装置2の操作部、あるいは、リモコン装置1のタッチパネルモニタ11などと同様、入力部として機能する。ユーザは、タッチパネルモニタ33にて楽曲を選択することで、直接カラオケ装置2に予約をさせるなど、カラオケ装置2に対する各種操作を行うことが可能である。
さらに、カラオケ装置2は、各構成を統括して制御するためのCPU30、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ27を備えて構成される。
さらに、カラオケ装置2には、撮影を行うための外部機器としてカメラ44が接続されている。カメラ44からのカメラ映像は、映像入出力を担う映像制御部31を介して、記録手段としてのハードディスク32に記録、そして、モニタ41にリアルタイム表示することが可能である。さらに、カメラ44からの映像情報と一緒に、予め記録している歌唱相手の録画情報をモニタ41に表示させることが可能である。
このような構成にてカラオケ装置2は、各種処理を実行することとなるが、カラオケ装置2の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置1と連携して実行される。ユーザの操作により、リモコン装置1などの入力部で指定された予約情報をメモリ27中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞再生処理とが同期して実行される処理である。
楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部25に演奏を実行させる処理である。音響制御部25にて演奏された楽曲は、マイクロホン43から入力される歌唱音声と一緒にスピーカ42から放音される。歌詞再生処理は、楽曲情報に含まれる歌詞情報をモニタ41に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。
一方、リモコン装置1は、歌唱する楽曲を選択する選曲処理を実行可能とし、予約情報などカラオケ装置2に対して各種指示を送信可能としている。また、リモコン装置1は、カラオケ装置2あるいはインターネット上に接続されたサーバ装置5から各種情報を受信し、ユーザに対して各種情報を提供することも可能である。本実施形態では、ユーザから各種指示を受け付けるユーザインターフェイスとして、操作部17と、タッチパネルモニタ11を備えている。タッチパネルモニタ11は、表示部11aとタッチパネル11bを有して構成され、表示部11aに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。
さらにリモコン装置1は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ14、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、CPU15、タッチパネルモニタ11に対して表示する映像を形成する映像制御部13、表示する映像情報を一時的に蓄えるビデオRAM12、タッチパネルモニタ11あるいは操作部17からの入力を解釈してCPU15に伝える操作処理部18が含まれている。
また、リモコン装置1は、無線LAN通信部16によって、アクセスポイント110と無線接続されることで、LAN100によって構成されるネットワークに接続される。なお、各リモコン装置1は、特定のカラオケ装置2に対して事前に対応付けされている。リモコン装置1から出力される各種命令は、対応付けされたカラオケ装置2にて受信される。
このようなリモコン装置1の構成により、ユーザからの各種入力をタッチパネルモニタ11、あるいは、操作部17から受付けるとともに、映像情報をタッチパネルモニタ11に表示することで、カラオケ装置2に対して楽曲予約などの各種指示を行うことが可能とされている。
次に、本発明においてユーザが所持する携帯端末6について説明する。本実施形態のカラオケシステムは、ユーザが所持する携帯端末6と対応付けることで、携帯端末6とカラオケ装置2とを通信接続し、携帯端末6から楽曲を予約する等、対応付けられたカラオケ装置2を遠隔操作することが可能となっている。
図3は、本発明の実施形態に係る携帯端末6の構成を示す図である。この携帯端末6としては、スマートフォン、タブレット端末、携帯電話等を使用することが可能である。この携帯端末6に、本発明に係るプログラム(アプリ)をインストールし、プログラム上において対応付け処理(紐付け処理とも呼ぶことがある)を実行することで、携帯端末6をカラオケ装置2のリモコンとして使用することが可能となる。
本実施形態の携帯端末6は、制御部61、RAM62、記憶部63、画像処理部64、音響処理部66を含んで構成された制御手段を有している。記憶部63には、ハードディスク、NAND型フラッシュメモリ等の不揮発性の記憶手段を採用することが可能である。この記憶部63には、本実施形態における投稿処理を実行可能なプログラム、そして、当該プログラムで使用する各種データが記憶される。
制御部61は、CPU等、携帯端末6全体を統括して制御する手段であり、記憶部63に記憶されたプログラム、データに基づいて各種制御を実行する。RAM62には、制御部61の制御によって生成されたデータを一時的に格納する。
音響処理部66は、携帯端末6の音響関係の入出力を行う手段である。制御部61の制御によりスピーカ67aに放音させる手段である。また、音響処理部66は、マイクロホン67bと接続され、マイクロホン67bから周囲の音声を取り込み可能としている。
タッチパネル表示部68は、画像を表示する表示部68bとその表面あるいは裏面に配設されるタッチパネル68aを有して構成されている。タッチパネル68aには、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。制御部61は、表示部68bに表示を行うとともに、タッチパネル68aからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。
画像処理部64は、携帯端末6の画像関係の入出力を行う手段である。画像処理部64は、制御部61で形成された画像情報を表示部68bに表示出力する。また画像処理部64は、携帯端末6の前面(タッチパネル表示部68側)に配置されたフロントカメラ65F、もしくは、携帯端末6の背面に配置されたリアカメラ65Rから画像を取り込む機能を有する。
本実施形態の携帯端末6は、外部と通信を行うため、携帯網通信部69aと、無線LAN通信部69bを備えている。携帯網通信部69aは、携帯無線網を介した無線通信を行うことが可能であり、無線基地局と無線通信することで、通話、あるいは、インターネットを使用した通信を行うことが可能である。無線LAN通信部69bは、LAN上に接続されたアクセスポイントに無線接続することで無線LAN通信を行うことが可能である。アクセスポイントに無線接続することで、LAN上のネットワーク、あるいは、インターネットに通信接続することが可能である。
携帯端末6は、このような携帯網通信部69a、あるいは、無線LAN通信部69bを使用して、インターネット上のサーバから投稿処理を実行可能なプログラムを含む各種プログラム(「アプリ」とも呼ばれる)をダウンロードすることが可能である。なお、プログラムは、通信回線を利用した形態以外に、外部メモリ接続端子72に接続された外部メモリEXからインストールすることとしてもよい。なお、このような携帯網通信部69a、無線LAN通信部69b以外に、近距離通信手段(赤外線通信、Bluetooth(登録商標)など)をさらに設けることとしてもよい。
本実施形態の携帯端末6は、入力手段としてタッチパネル68a以外に入力スイッチ70を備えて構成されている。この入力スイッチ70には、電源スイッチ、音量調整スイッチ、実行するプログラムによって入力用途が変更されるスイッチ等、各種スイッチを設けることが可能である。
本実施形態の携帯端末6は、カラオケ業者が提供するプログラムをインストール、実行することで、携帯端末6と操作対象となるカラオケ装置2とを対応付け、携帯端末6からカラオケ装置2に対して楽曲の予約コマンド等、各種コマンドを送信することを可能としている。
図2で説明したカラオケ店舗に設置されるカラオケシステムにおいて、カラオケ店舗に来店したユーザは、自己の所持する携帯端末6を使用対象となるカラオケシステムのリモコンとして機能させることを可能としている。そのため、本実施形態のカラオケ管理システムでは、ユーザが所持する携帯端末6と、使用対象となるカラオケシステムを対応付ける対応付け処理を行う。
では、携帯端末6をカラオケ装置2のリモコンとして機能させるための対応付け処理の一例を紹介する。なお、対応付け処理には、ここで紹介する例の他に各種形態が存在する。本発明では、ユーザが所持する携帯端末6と使用対象となるカラオケシステムとを対応付ける対応付け処理であれば、様々な形態の対応付け処理を採用できるものであって、利用通信環境や、サーバ装置5の使用有無等の各種条件を問うものではない。
図4には、本実施形態のカラオケ管理システムにおける対応付け処理を示すフロー図が示されている。また、図5には、カラオケ管理システムにおける対応付け処理を示す模式図が示されている。本実施形態の対応付け処理は、ユーザが使用対象となるカラオケシステムにログインするとともに、同じアカウントを使用して携帯端末6でログインすることでユーザの携帯端末6とカラオケシステムとの対応付けを行うこととしている。
カラオケ店舗に来店したユーザは、リモコン装置1等の入力手段を使用して、自分のアカウント情報を入力する。カラオケシステムは、アカウント情報の入力に基づき、サーバ装置5に対して装置側ログイン要求を送信する(S301)。なお、この装置側ログイン要求には、どのカラオケシステムからの要求であるかを特定するため、カラオケ装置ID(カラオケ装置識別情報)が含まれている。装置側ログイン要求を受信(S201)したサーバ装置5は、受信した端末側ログイン要求に含まれるアカウント情報を利用して認証を行う(S202)。認証は、アカウント情報に含まれるユーザIDとパスワードの対が、サーバ装置5側の記憶部51に記憶しているものと一致するか否かで行われる。認証に成功した場合(S203:Yes)、要求のあったカラオケシステムに対してログイン完了を通知する(S204)。ログインが完了したカラオケシステムでは、ログインしたユーザに対応するユーザ情報を使用した各種サービスを受けることが可能となる(S302)。一方、認証に失敗した場合(S203:No)には、サーバ装置5は、要求のあったカラオケシステムに対して認証エラー情報を送信する。
サーバ装置5は、カラオケシステムからのログインに成功した場合、記憶部51に記憶している対応付けテーブルにカラオケ装置IDとユーザIDとを追加する(S205)。この対応付けテーブルにて、サーバ装置5側では、どのユーザがどのカラオケシステムにログインしているかを判別することが可能となる。
一方、ユーザは、自分が所持する携帯端末6において、プログラムを起動し、端末側ログイン要求をサーバ装置5に送信する(S101)。この端末側ログイン要求には、ユーザのアカウント情報(ユーザIDとパスワード)が含まれている。端末側ログイン要求を受信したサーバ装置5は、装置側ログイン要求の場合と同様、受信した端末側ログイン要求に含まれるアカウント情報を利用して認証を行う(S206)。認証に成功した場合(S207:Yes)、サーバ装置5は、記憶部51に記憶している対応付けテーブルに、端末側ログイン要求を行ったユーザのユーザIDがあるか否かを判定し、当該ユーザIDが有る場合(S208:Yes)、端末側ログイン要求でログインした携帯端末6と、装置側ログイン要求でログインしたカラオケシステムとの対応付けを完了する(S209)。そして、端末側ログイン要求のあった携帯端末6に対応付け完了通知を送信する(S210)。対応付けの完了した携帯端末6では、対応付けられたカラオケシステムを遠隔操作する遠隔操作処理(S110)が実行可能となる。
以上、本実施形態の、携帯端末6をカラオケ装置2のリモコンとして機能させるための対応付け処理について説明を行ったが、装置側ログイン要求と端末側ログイン要求は、どちらが先にあるかを問うものではない。次に、対応付けられた携帯端末6において実行される遠隔操作処理(S110)の詳細について説明を行う。
図6は、本実施形態のカラオケ管理システムにおける遠隔操作処理を示すフロー図であり、図7は、本実施形態のカラオケ管理システムにおける遠隔操作処理を示す模式図である。図7の模式図の例に示されるように、ユーザ(ユーザA)が所持する携帯端末6と、当該ユーザが使用対象とするカラオケ装置2(カラオケ装置a)と、が対応付けられたカラオケ管理システムでは、携帯端末6からカラオケシステムに対して、楽曲の予約等、カラオケシステムを遠隔操作するためのコマンドなど、各種情報を送信することが可能である。
遠隔操作処理は、対応付け処理の完了後、後述するS401〜S403の処理を繰り返し実行することで、携帯端末6によるカラオケシステムの操作を行う。図8には、携帯端末6のタッチパネル表示部68に表示される楽曲確認画面が示されている。楽曲確認画面は、ユーザにより指定された楽曲名、歌手名等に基づいて指定された楽曲の詳細を示す画面であり、ユーザは楽曲確認画面にて楽曲を予約することが可能である。楽曲確認画面には、歌手名、曲名、歌い出し、楽曲に関するサムネイル画像といった楽曲関連情報601の他、キー設定欄、コラボ設定欄、コラボ使用ファイル設定欄を設定可能な再生設定欄602が表示される。キー設定は、予約する楽曲のキー(音程)を設定する欄である。このキー設定欄を操作することで、キーの上下を可能とする子画面が表示され、ユーザは自分の音域に合わせて歌唱する楽曲のキー設定を行うことが可能である。
コラボ設定欄は、コラボ(コラボレーションの略)、すなわち、楽曲再生時に録音した歌唱音声、撮影した映像(図1:第2投稿情報に相当)をサーバ装置に投稿するか否かを設定する欄である。コラボ設定欄では、ユーザの操作に応じて「する」、「しない」の選択を行うことが可能である。また、コラボ設定欄で「する」を設定した場合には、サーバ装置5から、予約対象となる楽曲に対応する複合投稿情報に関するリストを取得し、複合投稿情報を選択することで、コラボの対象となる複合投稿情報を選択することが可能である。コラボ使用ファイル欄は、携帯端末6に記憶しているユーザコンテンツ(図1:第1投稿情報に相当)を設定する欄である。ユーザは、コラボを行う場合、このコラボ使用ファイル欄を選択することで、コラボ時に使用するユーザコンテンツを選択することが可能である。ユーザコンテンツとしては、ユーザが携帯端末6を使用して撮影した動画情報、静止画情報、音声情報の他、外部から携帯端末6に取り込んだ動画情報、静止画情報、音声情報等、各種コンテンツを使用することが可能である。
以上説明した楽曲確認画面において、ユーザは楽曲関連情報601を使用して予約する楽曲を確認するとともに、再生設定欄602を使用して、再生時に関する各種設定を行うことが可能である。確認、設定を行ったユーザは、予約ボタン603を操作することで、表示されている楽曲を対応付けられたカラオケ装置2に予約を行う。予約を行うことで、携帯端末6から、予約した楽曲を示す楽曲識別情報、及び、再生時の各種設定に関する設定情報を含む予約情報が、サーバ装置5を経由してカラオケ装置2に送信される。なお、カラオケシステムには、各種操作を行うリモコン装置1も設けられているため、ユーザは、リモコン装置1を使用して、上述した携帯端末6と同様の楽曲予約を行うことが可能である。
図6に示す遠隔処理において、携帯端末6では、図8の楽曲確認画面上、予約ボタン603をタッチ操作する等の行為により、コマンド入力があったことを判定した場合(S401:Yes)、サーバ装置5に対して送信コマンド情報を送信する(S402)。送信コマンド情報には、コマンド入力に対応するコマンド(コマンドA)と、携帯端末6に記憶しているユーザID(ユーザA)が含まれている。
図7に示すサーバ装置5は、対応付けテーブルに基づいて転送処理を実行する。転送処理では、まず、対応付けテーブル上に、携帯端末6から送られてきた送信コマンド情報内のユーザID(ユーザA)が存在するか否かを判定する。対応付けテーブル上に、送信コマンド情報内のユーザIDがある場合、転送対象となるカラオケ装置2に対して転送コマンド情報を送信する。転送コマンド情報には、送信コマンド情報内のコマンド(コマンドA)と、宛先としてのカラオケ装置ID(カラオケ装置a)と、コマンドを入力したユーザのユーザID(ユーザA)が含まれている。転送コマンド情報を受信したカラオケ装置2(カラオケ装置a)は、転送コマンド情報に含まれるコマンド(コマンドA)に従って処理を実行する。
携帯端末6を使用した遠隔操作処理は、携帯端末6において終了指示(ログアウト、あるいは、対応付け解除の指示)が入力される(S403:Yes)まで、繰り返し実行される。終了指示が入力された場合(S403:Yes)、携帯端末6は、サーバ装置5に対応付け解除指示を送信する(S404)。対応付け解除指示を受信したサーバ装置5は、対応付けテーブルから該当する項目(カラオケ装置IDとユーザIDの対)を削除する。
このように本実施形態では、ユーザがログインしたカラオケシステム、あるいは、携帯端末から、使用対象となるカラオケシステムに対する遠隔操作を行うことが可能である。では、ユーザがログインしたカラオケシステムにおいて、カラオケ装置2で行われるメイン処理について説明を行う。
図9、図10には、カラオケ装置2で行われるメイン処理のフロー図が示されている。なお、図9と図10のフロー図は、同じ符号「A」、「B」にて繋がっている。カラオケ装置2におけるメイン処理では、まず、予約リストに記憶された予約情報を確認し、次に再生すべき予約情報がある場合、予約情報中の設定に基づき、コラボ設定のある予約であるか(S501:コラボ予約)、コラボ設定の無い予約であるか(S501:通常予約)を確認する。通常予約の場合は、予約情報中に指定された楽曲を再生する通常楽曲再生(S506)が実行される。一方、コラボ予約の場合には、楽曲の再生前に準備処理(S502〜S504)を実行する。この準備処理では、予約情報中に複合投稿情報が指定された2番目以降の投稿(第2投稿)か、複合投稿情報が指定されていない初回の投稿(第1投稿)かが判定される(S502)。第1投稿では無い場合(S502)、カラオケ装置2は、予約情報中に指定されている複合投稿情報を、サーバ装置5からダウンロードする(S505)。
そして、ダウンロードした複合投稿情報中にユーザコンテンツが指定されているか否かを判定する(S506)。本実施形態では、コラボ時にユーザが自分の携帯端末6に所持するユーザコンテンツを使用してコラボを行うことが可能である。以前のコラボ時にユーザコンテンツが使用された場合、ダウンロードした複合投稿情報には、当該ユーザコンテンツ識別情報(ファイル名等)が付与されており、このユーザコンテンツ識別情報を使用して当該ユーザコンテンツの探索を行う(S508)。本実施形態では、ユーザコンテンツを所持するユーザのユーザIDが付与されており、ユーザコンテンツを所持するユーザが、カラオケ装置2にログインしていること(S507:Yes)を条件として、ユーザコンテンツの探索(S508)を実行することとしている。このような構成により、ユーザコンテンツ再生の対象となるユーザ以外について、携帯端末にユーザコンテンツを探索するという不要な処理の削減を図っている。また、ユーザコンテンツ再生の対象となるユーザを確実に特定することでセキュリティの向上も図られている。
ユーザコンテンツの探索(S508)を行うことで、カラオケ装置2は携帯端末6からユーザコンテンツを受信する。なお、本実施形態では、カラオケ装置2と携帯端末6はサーバ装置5を介して通信接続されているため、ユーザコンテンツの受信もサーバ装置5を介して行われる。
次に、予約情報中にユーザコンテンツの使用が指定されているか否かが判定される(S503)。このユーザコンテンツは、今回のコラボの予約時、図8の楽曲確認画面で新たに指定されたユーザコンテンツである。予約情報中にユーザコンテンツの使用が指定されている場合(S503:Yes)、カラオケ装置2に対応付けられた携帯端末6からユーザコンテンツを受信する。なお、本実施形態では、この予約情報中に指定されたユーザコンテンツの受信も、複合投稿情報に対応付けられたユーザコンテンツと同様、サーバ装置5を介して行われることになる。
本実施形態では、楽曲再生の直前に準備処理(S502〜S508)を実行することとしているが、準備処理は、楽曲が予約後から楽曲再生前までの期間を利用して行うこととしてもよい。事前に複合投稿情報やユーザコンテンツを受信しておくことで、受信期間を待たずに、楽曲再生を開始することが可能となる。準備期間における各処理の完了後、予約情報中に指定された楽曲の再生が開始される(S510)。コラボ実行時には、カメラ44を使用した撮影が開始される(S511)。また、楽曲再生中には、カメラ44で撮影中の映像、ダウンロードした複合投稿情報、ユーザコンテンツを使用した映像再生処理(S512)が実行される。
図11には、映像再生処理(S512)時のモニタ41の様子が示されている。この例は、ユーザが2番目にコラボを行った場合であって、かつ、携帯端末6に記憶するユーザコンテンツを使用した場合が示されている。したがって、ダウンロードした複合投稿情報中には、以前に投稿した1人のユーザの歌唱音声、及び、歌唱の様子を撮像した映像が含まれている。なお、本明細書では、1人による投稿であっても複合投稿情報という用語を使用する。モニタ41には、第1投稿表示領域C1、撮像表示領域B2、ユーザコンテンツ表示領域Y1が設けられている。また、画面には歌唱補助のために表示される歌詞表示Eが重畳されて表示される。第1投稿表示領域C1には、複合投稿情報に含まれる映像が表示される。そして、撮像表示領域B2には、カメラ44で撮影中の映像がリアルタイムで表示される。なお、本実施形態では、第1投稿表示領域C1に表示される映像、撮像表示領域B2に表示される映像を左右反転して表示している。モニタ41を視認しながら歌唱するユーザは、撮像表示領域B2に自己の姿が鏡像表示されることで、視認上の違和感を抑えることが可能となっている。また、再生時には、両映像を左右反転して、その位置を変更することで、撮像時の状態を再現することが可能である。
楽曲の再生が終了したことが判定される(S513:Yes)と、カメラ44を使用した録画を終了する(S514)。カメラ44に録画された映像、歌唱時の音声は、単位投稿情報として、カラオケ装置2に一時記憶される。本実施形態では、投稿前に単位投稿情報を試聴することが可能となっている。試聴の実行が選択された場合(S515:Yes)には、試聴処理(S516)が実行される。試聴処理(S516)では、今回の歌唱による録音、撮像の状態を確認すると共に、今回のコラボによるアップロードにより、新たに形成される複合投稿情報を確認することが可能である。
図12には、試聴処理時の再生画面が示されている。この再生画面は、サーバ装置5にアップロードされた際に形成される複合投稿情報の再生画面に相当する。第1投稿表示領域C1には、ダウンロードした複合投稿情報に含まれる映像が表示され、第2投稿表示領域C2には、今回、撮影した映像が表示される。なお、映像再生処理(S512)の場合と比較して、第1投稿表示領域C1と第2投稿表示領域C2(撮像表示領域B2に相当)は、左右反転するとともに、その位置を入れ替えた形態となっている。また、ユーザコンテンツ表示領域Y1には、ユーザが所持する携帯端末6に記憶されるユーザコンテンツが表示される。
試聴処理(S516)の後、ユーザは、投稿に関する選択をおこなうことが可能である。すなわち、今回使用したユーザコンテンツを含めて投稿する(S517:Yes)か、含めないで投稿する(S519:Yes)か、投稿を行わない(S519:No)を選択することができる。ユーザコンテンツを含めて投稿を行う場合(S517:Yes)、カラオケ装置2は、サーバ装置5に対して投稿情報を送信する第1アップロード処理(S518)を実行する。図13には、第1アップロード処理に使用する投稿情報のデータ構成が示されている。カラオケ装置2からサーバ装置5に送信される投稿情報は、投稿情報を識別するためカラオケ装置2で割り当てた投稿ID(投稿識別情報)、再生した楽曲を示す楽曲ID(楽曲識別情報)、予約したユーザを示すユーザID(ユーザ識別情報)、今回の楽曲再生で記録した単位投稿情報(カメラ44で録画した録画情報と、マイクロホン43で録音した録音情報を含む)、予約時に指定したユーザコンテンツに関するユーザコンテンツ識別情報を含んで構成されている。
ユーザコンテンツ識別情報は、ユーザコンテンツを識別するための情報であって、ユーザコンテンツを記憶している携帯端末6の携帯ID(携帯識別情報)と、ユーザコンテンツを識別する識別情報としてのファイル名を含んでいる。本実施形態では、このようにユーザコンテンツ自体は投稿情報に含めないこととしている。ユーザコンテンツは、使用許諾に関係する場合もあるため、サーバ装置5での管理は行わず、ユーザの携帯端末6で管理し、使用する際に、ユーザコンテンツ識別情報を参照し、ユーザの携帯端末6から取得することとしている。一方、ユーザコンテンツを含めないで投稿を行う場合(S519:Yes)、カラオケ装置2は、サーバ装置5に対して、ユーザコンテンツ識別情報を含まない投稿情報を送信する第2アップロード処理(S520)を実行する。
以上、カラオケ装置2において実行されるメイン処理について説明を行ったが、投稿時における、カラオケ装置2と周囲構成(サーバ装置5、携帯端末6)の処理例について、図14、図15を用いて説明する。図14、図15のフロー図中、カラオケ装置2が実行する処理は、メイン処理で行う処理と略同様である。図14は、サーバ装置5に記憶する複合投稿情報Bと、携帯端末6に記憶するユーザコンテンツAを使用して投稿を行う場合であって、本発明における「第1の再生処理」に対応した処理である。一方、図15は、図14の投稿により形成された複合投稿情報B’を使用して、再度投稿を実行する場合にであって、本発明における「第2の再生処理」に対応した処理である。
まず、図14の複合投稿情報Bを使用して投稿を行う処理について説明する。カラオケ装置2において、ユーザコンテンツAと複合投稿情報Bを使用したコラボ指示を伴う楽曲再生指示があった場合(S601)、カラオケ装置2は、サーバ装置5から複合投稿情報Bを受信するとともに、携帯端末6からユーザコンテンツAを受信する。なお、本実施形態では、携帯端末6とカラオケ装置2間の情報伝送は、実際には、サーバ装置5を経由して行うことになる。楽曲再生の期間中、カラオケ装置2は、楽曲再生に合わせて、カメラ44による撮影を実行する。また、カラオケ装置2は、図11で説明した画面構成にて映像の再生を行う(S603)。楽曲再生の終了後(S604:Yes)、ユーザコンテンツAを含めて投稿することが選択された場合(S605:Yes)、図13に示すようにユーザコンテンツ識別情報を含んだ投稿情報がサーバ装置5にアップロードされる(第1アップロード処理:S606)。一方、ユーザコンテンツAを含めないで投稿することが選択された場合(S607:Yes)、図13に示す投稿情報においてユーザコンテンツ識別情報を含まない投稿情報がサーバ装置5にアップロードされる(第2アップロード処理:S608)。(S605)と(S607)は順次ではなく、同時に並行して行なわれている処理で、かつ、お互い排他の関係にある。つまり、(S605:Yes)なら(S607:No)となって、(S606)が実行され(S608)は実行されない。(S605:No)なら(S607:Yes)となって、(S608)が実行され(S606)は実行されない。
第1アップロード処理(S606)による投稿情報を受信したサーバ装置5は、受信した投稿情報に含まれる単位投稿情報と、複合投稿情報Bを使用して、図12で説明した画面構成となるような複合投稿情報B’を形成(S611)して、サーバ装置5内のデータベースに記憶する。なお、この複合投稿情報B’には、ユーザコンテンツ自体は含まれず、ユーザコンテンツ識別情報が含まれることになる。後の再生時には、このユーザコンテンツ識別情報を参照して、ユーザが所持する携帯端末6からユーザコンテンツの探索が行われる。
このように新たに形成された複合投稿情報B’は、次の投稿に使用されることとなる。図15は、図14においてユーザコンテンツを含めて投稿された場合に形成された複合投稿情報B’を使用した場合の投稿時の処理例である。ここでは、図14で投稿を行ったユーザが再度、投稿を行う場合について説明する。同じユーザであるため、当該ユーザが所持する携帯端末6には、ユーザコンテンツAが記憶されている。
カラオケ装置2において、複合投稿情報B’を使用したコラボ指示を伴う楽曲再生指示があった場合(S701)、カラオケ装置2は、サーバ装置5から複合投稿情報B’を受信する。その際、複合投稿情報B’内で指定されているユーザコンテンツ識別情報に基づき、ユーザコンテンツAの探索を行う。本実施形態では、メイン処理で説明したように、ユーザコンテンツAを所持しているユーザがログインしていること(図9のS507:Yes)を条件として、ユーザが所持する携帯端末6についてユーザコンテンツAの探索を行うこととしている。なお、本実施形態では、携帯端末6とカラオケ装置2間の情報伝送は、サーバ装置5を経由して行うことになるため、ユーザコンテンツAは、サーバ装置5を経由して取得される。
楽曲再生の期間中、カラオケ装置2は、楽曲再生に合わせて、カメラ44による撮影を実行する(S702)。その際、カラオケ装置2は、図16に示す画面構成にて映像を再生する(S703)。モニタ41には、第1投稿表示領域C1、第2投稿表示領域C2、撮像表示領域B3、ユーザコンテンツ表示領域Y1が設けられている。また、画面には歌唱補助のために表示される歌詞表示Eが重畳されて表示される。第1投稿表示領域C1、第2投稿表示領域C2には、複合投稿情報に含まれる前回までに録画した映像が表示される。そして、撮像表示領域B3には、カメラ44で撮影中の映像がリアルタイムで表示される。そして、ユーザコンテンツ表示領域Y1には、携帯端末6から取得したユーザコンテンツが表示される。
楽曲再生の終了後(S704:Yes)、ユーザは、今回の再生に伴って録音、録画した投稿情報を投稿するか否かを選択することが可能である。投稿することが選択された場合(S705:Yes)、今回の再生に伴って録音、録画された単位投稿情報をサーバ装置5に送信する。このアップロード処理(S706)による投稿情報を受信したサーバ装置5は、受信した投稿情報に含まれる単位投稿情報と、複合投稿情報B’を使用して新たな複合投稿情報B’’を形成(S711)して、サーバ装置5内のデータベースに記憶する。
以上、携帯端末6に記憶するユーザコンテンツAが使用可能な場合について説明を行ったが、ユーザコンテンツAを所持するユーザで無い場合、あるいは、ユーザの携帯端末6にユーザコンテンツAが無い場合など、ユーザコンテンツAが使用できない場合が考えられる。そのような場合、S703における映像再生では、図17に示す画面構成とすることが考えられる。すなわち、ユーザコンテンツAを表示できないユーザコンテンツ表示領域Y1には、禁止マークを表示することで、ユーザコンテンツAが表示できないことをユーザに通知する。なお、このような表示形態に代え、ユーザコンテンツ表示領域Y1を表示しないこととしてもよい。
以上、本発明に関する実施形態について説明したが、上述した実施形態に限られるものではなく、各種変形例を採用することが可能である。たとえば、本実施形態では、カラオケ装置2と携帯端末6の対応付けについて、サーバ装置5を経由した形態を説明したが、カラオケ装置2と携帯端末6の対応付けは、無線LANなどの通信手段を介して直接行うこととしてもよい。この場合、携帯端末6は、カラオケシステム中のアクセスポイント110に通信接続することとなる。
また、本実施形態では、投稿時にユーザコンテンツと、カメラ44により撮像された映像を使用した投稿を行うこととしているが、映像に関する投稿は、ユーザコンテンツのみとしてもよい。例えば、自己の姿を公開したくないユーザは、カメラ44で撮像された映像に代えてユーザコンテンツを使用することで、歌唱の公開時において、映像を使用した自己アピールを行うことが可能である。ユーザコンテンツ、カメラ44により撮像された映像の使用形態は、ユーザにより選択可能とする構成としてもよい。
また、本実施形態における画面のレイアウトは、例えば、図11に示すように、撮像表示領域B2とユーザコンテンツ表示領域Y1とを同じ大きさで並べて表示する形態としているが、この画面のレイアウトは、適宜変更することが可能である。例えば、撮像表示領域B2内に重畳して小さなユーザコンテンツ表示領域Y1を表示する形態や、ユーザコンテンツ表示領域Y1を背景に、撮像表示領域B2を重畳して表示する形態などが考えられる。なお、画面のレイアウトはユーザが選択できるようにすることとしてもよい。