JP5757300B2 - カラオケ装置 - Google Patents

Description

本発明は、通信回線を介して接続されるカラオケ装置に関するものである。特に、録画情報を含む投稿情報を投稿可能なカラオケ装置に関する。

従来、楽曲の演奏に合わせて歌唱を楽しむカラオケ装置が知られている。従来のカラオケ装置は、同じ場所に居合わせた人と一緒に歌唱を楽しむものであったが、通信インフラなどの周辺技術が整った現在、通信回線を介してその場にいない相手とも一緒に歌唱を楽しむサービスが提供されている。

特許文献１にはこのような投稿サービスを利用したカラオケシステムが開示されている。カラオケ装置で録音、録画した投稿情報は、ホスト装置に送信され、再度カラオケ装置に送信されることで、以前に録音、録画された歌唱者の音声、映像とともに歌唱を楽しむことが可能である。

特開２０１２−２７４１７号公報

このような投稿サービスは、サーバ装置に送信された投稿情報を広く公開することで、見知らぬ人との間で行うことも可能である。しかしながら、歌唱音声はともかく、自己の映像を見知らぬ人との間で共有することに抵抗感のあるユーザがいることも事実である。従来、このようなユーザは、カラオケ装置にて投稿情報を作成する際、撮像装置（カメラ）の視野内に入らないようにする、あるいは、撮像装置を覆うなどして、自己の映像が録画されないように配慮していた。

一方でこのようなユーザは、知っている人との間であれば自己の映像を公開することも考えられる。しかしながら、現在のシステムでは、１つの投稿情報について、自己の映像の公開、非公開を選択できるものではない。

上述する課題を解決するため、本発明に係るカラオケ装置は以下の構成を採用するものである。
同一の楽曲に関してアップロードされた単位投稿情報に基づいて、複合投稿情報を作成するサーバ装置に通信接続可能なカラオケ装置であって、
単位投稿情報は、歌唱の様子を撮像した単位録画情報と、歌唱音声を録音した単位録音情報を含み、
複合投稿情報は、単位録画情報の組み合わせによる複合録画情報と、単位録音情報の組み合わせによる複合録音情報と、複合録画情報中の単位録画情報の表示領域を判別するための補助情報と、単位録画情報に対して効果付与の有無を設定した効果設定情報と、を含み、
カラオケ装置は、映像再生手段と、音声再生手段と、制御手段と、を備え、
制御手段は、
複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、
効果設定情報に基づいて効果付与の設定されている単位録画情報を判別し、効果設定情
報に基づいて単位録画情報に対して効果指定されていると判定した場合、補助情報に基づいて当該単位録画情報の表示領域に効果を施す効果付与処理と、
複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行することを特徴とする。

さらに本発明に係るカラオケ装置において、
効果付与処理は、効果付与が指定されている各単位録画情報について、効果付与の有無を切り替え可能としたことを特徴とする。

さらに本発明に係るカラオケ装置において、
複合投稿情報は、単位録画情報を投稿したユーザのユーザ識別情報を含み、
効果付与処理は、カラオケ装置にログインしているユーザのユーザ識別情報と、各単位録画情報に付与されているユーザ識別情報に基づいて、各単位録画情報に対する効果付与の有無を切り替えることを特徴とする。

さらに本発明に係るカラオケ装置は、
効果付与処理において、単位録画情報に付与する効果は、歌唱するユーザの少なくとも一部分をマスクする処理であることを特徴とする。

さらに本発明に係るカラオケ装置において、
制御手段は、
映像再生処理と音声再生処理とに同期して、撮像装置から入力される映像情報を録画して単位録画情報を形成し、マイクロホンから入力される音声情報を録音して単位録音情報を形成し、単位録画情報と単位録音情報を含んだ単位投稿情報をサーバ装置に送信する投稿処理を実行可能としたことを特徴とする。

さらに本発明に係るカラオケ装置において、
サーバ装置は、複数の単位録画情報をエンコードして複合録画情報を生成することを特徴とする。

本発明に係るカラオケ装置は、投稿情報に含まれる複数の単位録画情報が組み合わされた複合録画情報を再生する際、各単位録画情報に指定された効果設定情報と、各単位録画情報の表示領域を判別するための補助情報に基づいて、効果付与が指定された単位録画情報の表示領域内に適切に効果を付与することが可能である。

特に、効果としてマスク処理が設定された場合には、歌唱するユーザの顔などを非公開とすることが可能となる。単位録画情報に対して付与する効果は、マスク処理に限らず、歌唱者をアピールするための装飾効果など各種効果を採用することが考えられる。

本発明の実施形態に係るカラオケ投稿の概要を説明する図 本発明の実施形態に係るカラオケシステムの構成を示す図 本発明の実施形態に係る楽曲の予約確認画面を示す図 本発明の実施形態に係る予約オプション画面を示す図 本発明の実施形態に係るカラオケ装置のメイン処理を示すフロー図 本発明の実施形態に係る投稿情報を示す図（ダウンロード時、１コラボ時） 本発明の実施形態に係る歌唱者撮像時のモニタの様子を示す図 本発明の実施形態に係る投稿情報（アップロード時）の情報構成を示す図 本発明の実施形態に係るカラオケ装置の映像再生処理を示すフロー図 本発明の実施形態に係る歌唱者撮像時のモニタの様子を示す図 本発明の実施形態に係るプレビュー時のモニタの様子を示す図 本発明の実施形態に係るプレビュー時のモニタの様子を示す図 本発明の実施形態に係るコラボ時におけるモニタの表示領域を説明する図 本発明の実施形態に係る投稿情報を示す図（ダウンロード時、２コラボ時） 本発明の実施形態に係る再生時のモニタの様子を示す図 本発明の他の実施形態に係る予約オプション画面を示す図

本実施形態のカラオケ装置は、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されることとしている。図１は、このカラオケ投稿システムの概要を説明するための図である。この図を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、実際には、カメラにて記録された映像が伴うこととなる。

まず、歌唱者は、カラオケボックスなど、カラオケシステムが設置される場所で演奏にあわせた歌唱が行われ歌唱音声が記録される（ａ）。カラオケシステムは、カラオケ装置（別称「コマンダ」）、カラオケ装置から出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をカラオケ装置に伝えるリモコン装置にて構成されている。歌唱音声は、カラオケ装置に内蔵されたハードディスクなどの記録手段に第１投稿情報として記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿情報の再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿情報は、サーバ装置上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿情報は、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿情報は、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１歌唱情報は、楽曲と共にカラオケ装置にて再生され、歌唱者は予め記録された第１歌唱情報とのデュエットを楽しむことができる。さらに、第１歌唱情報と一緒に歌唱を行った歌唱者の歌唱音声は、第２投稿情報としてカラオケ装置に記録される（ｆ）。記録された第２投稿情報は、第１投稿情報、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿情報をサーバ装置にアップロードすることができる。第２投稿情報は、第１投稿情報と併せて再生することができるものであるが、サーバ装置には第１投稿情報が保存されているため、第２投稿情報のみが送信される。第２投稿情報には、第１投稿情報と対応付けるため、第２投稿情報の識別情報が付与される（ｈ）。

サーバ装置に保存された第１投稿情報、第２投稿情報は、ユーザからの要請により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿情報、第２投稿情報、並びに楽曲情報に基づいて複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。以上、第１投稿情報と第２投稿情報に基づくコラボレーションについて説明したが、（ｄ）、（ｆ）〜（ｈ）を繰り返し行うことで、複数人（２名以上）のコラボレーションが可能となる。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ここでは、歌唱音声についてのみ説明したが、本発明に適用する場合には、歌唱音声と一緒にカメラによる撮影、並びに、映像情報の記録がカラオケ装置にて実行されることとなる。

では、歌唱の記録とあわせて、カメラによる撮影を可能とするカラオケシステムの一実施形態について図２を用いて説明する。本実施形態におけるカラオケシステムは、カラオケ装置２（別称「コマンダ」）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００にて、無線、有線で互いに接続されている。

カラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、選曲処理などを実行可能としている。演奏処理は、操作部２１やリモコン装置１にてユーザーにより、指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカ４２から放音させる処理である。このとき、スピーカ４２からはマイクロホン４３から入力される音声も合わせて放音される。また、コラボレーション時には、録音された録音情報が合わせて再生する音声再生処理が同時に実行される。映像再生処理は、映像再生部２９にて背景映像、歌詞情報などを再生させ、モニタ４１を介して視覚情報をユーザーに提供する処理である。コラボレーション時には、録画された録画情報が再生される。

選曲処理は、ユーザーからの指定に基づいて楽曲を選択するための処理である。本実施形態では、リモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してカラオケ装置２に伝達される。カラオケ装置２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。

カラオケ装置２には、撮影を行うための外部機器としてカメラ４４が接続されている。カメラ４４からのカメラ映像は、映像入出力を担う映像制御部３１を介して、記録手段としてのハードディスク３２に記録、そして、モニタ４１にリアルタイム表示することが可能である。さらに、カメラ４４からの映像情報と一緒に、予め記録している歌唱相手の録画情報をモニタ４１に表示させることができる。図１０には、コラボレーションする相手が１人の場合のモニタ４１の表示例が示されている。図１０に示されているように、画面左に位置する撮像表示領域Ｂ２には、カメラ４４から入力される映像信号がリアルタイムで表示され、画面右に位置する第１投稿表示領域Ｃ１には、以前に撮像記録された録画情報が表示される。複数回のコラボレーションを繰り返し行うことで、図１５のモニタ４１の表示例（この場合、５人によるコラボレーション）に示されるような複数の投稿表示領域Ｃ１〜Ｃ５を有する画面が形成される。

図３は、本発明の実施形態に係る楽曲の予約確認画面を示す図である。事前に作成された投稿情報とコラボレーションを行う場合には、投稿情報の選択画面（図示せず）で、希望する投稿情報を選択した後、この予約確認画面に移行する。カラオケ装置２を利用した動画撮影を行う場合、この予約確認画面中、画面左下に表示される「撮影する」、「撮影しない」を選択することで、ユーザは動画撮影の可否を指定することが可能である。動画撮影の設定にはオプション設定が設けられており、図中「変更」を選択することで、図４に示される予約オプション画面Ａ１が予約確認画面上にポップアップ表示される。

この予約オプション画面Ａ１では、録画時の各種オプション設定を行うことが可能である。本実施形態では、録画時のオプション設定としては、ガイドメロディの付与、並びに、その種別変更の他、投稿した録画情報に含まれる映像をマスクするか、しないかを選択
するマスク設定を行うことを可能としている。マスク設定が行われた録画情報に対しては、その再生時、マスク処理（効果付与処理）が実行される。このマスク処理は、投稿した録画情報を、見知らぬ人も対象として公開する場合、当該録画情報に対しその少なくとも一部分を隠す効果付与処理である。自己の歌唱姿の公開を希望しないユーザは、マスク設定を行うことで、顔などの一部分を隠した状態で録画情報を公開することが可能となる。なお、マスク処理には、本実施形態のように録画情報上にアバターなどのマッピング情報で表示領域の一部を覆う処理の他、全面を覆う処理、ぼかし処理、モザイク処理など各種形態を採用することが考えられる。

さらに本実施形態のマスク処理（効果付与処理）は、マスク処理を行うように設定された場合であっても、各種条件に基づきマスク処理の実行、不実行を切り替え可能としている。条件としては、録画情報の録画対象となったユーザがカラオケ装置にログインしていない状況下ではマスク処理を実行し、録画情報を投稿したユーザがカラオケ装置にログインしている状況下ではマスク処理を実行することが考えられる。このような条件を採用することで、録画情報を投稿したユーザがログインしている場、すなわち、その場に居合わせる他のユーザは知り合いと考えられる場合には、マスク処理を行わないことで録画情報中の歌唱姿を公開し、録画情報を投稿したユーザがログインしていない場、すなわち、その場に居合わせる他のユーザは知り合でないと考えられる場合には、マスク処理を行うことで録画情報中の歌唱姿の少なくとも一部を隠すことが可能となる。

なお、本実施形態では効果付与処理として、録画情報の少なくとも一部分を隠すマスク処理を行うこととしているが、効果付与処理には公開を希望しないユーザをマスクするマスク処理とは逆に、ユーザを強調するような装飾処理であってもよい。この装飾処理としては、例えば、録画情報の表示領域内に装飾フレームを施すこと、静的あるいは動的な装飾効果を付与することが考えられる。

図５は、本発明の実施形態に係るカラオケ装置２におけるメイン処理を示すフロー図である。カラオケシステムの利用者は、リモコン装置１を利用して希望する楽曲を指定すること（通常予約）ができる。また、本実施形態では、歌唱者の歌唱姿を撮像するとともに、歌唱音声を録音して投稿情報を作成する予約（コラボ予約）を指定することができる（図３で説明した予約確認画面で予約を行う）。このコラボ予約では、デュエット、合唱を希望する相手が事前に投稿した投稿情報を指定することも可能である。

カラオケ装置２では、予約リストを随時確認し、次に実行される予約の種類が判別される（Ｓ１０１）。予約リスト上、次の予約種別が通常予約である場合は、指定された楽曲識別子に対応する楽曲情報をＭＩＤＩ音源２６に再生させる通常楽曲再生（Ｓ１０２）を実行する。再生された楽音は、マイクロホン４３から入力される歌唱音声と一緒にスピーカ４２から放音される。

一方、予約リスト上、次の予約種別がコラボ予約である場合、Ｓ１０３にて初回投稿か否かが判定される。初回投稿である場合には、同時に再生する投稿情報が存在しないため楽曲再生（Ｓ１０５）、録画（Ｓ１０６）を開始する。一方、事前に投稿された投稿情報が指定されている場合、すなわち、２回目以降の投稿である場合、当該コラボ予約で指定されている投稿情報がカラオケ装置２にダウンロードされているか否か判断し、ダウンロードされていない場合は、サーバ装置から対象となる投稿情報のダウンロードを実行する（Ｓ１０４）。

図６には、ダウンロード時の投稿情報（１コラボ時）のデータ構成が示されている。本実施形態の投稿情報は、投稿情報を識別するための投稿識別情報（投稿ＩＤ）、録画時に使用した楽曲の楽曲識別情報（楽曲ＩＤ）、複合録画情報、複合録音情報、コラボ数、コ
ラボユーザ情報が含まれている。複合録画情報は、複数回行われた投稿情報中、各回の投稿情報に含まれる録画情報（単位録画情報）を組み合わせて形成された映像情報である。本実施形態では、サーバ装置にて、複数の単位録画情報をエンコードすることで１つのファイルの複合録画情報を生成している。このような形態以外に、複合録画情報を複数ファイルによる単位録画情報の集合として形成し、カラオケ装置２にて、複数の単位録画情報を組み合わせて１画面中に表示する形態としてもよい。

複合録音情報は、複数回行われた投稿情報中、各回の複数回行われた投稿情報中、各回の投稿情報に含まれる録音情報（単位録音情報）を組み合わせて形成された音声情報である。本実施形態では、歌唱者の音声を録音した単位録音情報と前回までの録音情報をミキシングすることで複合録音情報を生成している。このような形態以外に、複合録音情報を複数ファイルによる単位録音情報の集合として形成し、カラオケ装置２にて、複数の単位録音情報を組み合わせて再生出力する形態としてもよい。

コラボユーザ情報は、投稿、並びに、投稿したユーザに関する情報であり、本実施形態では、コラボＮｏ．、ユーザ識別情報（ユーザＩＤ）、マスク設定情報（効果設定情報）を含んで構成されている。コラボＮｏ．は、コラボの順番を示す情報である。図６に示す投稿情報は、２回目のコラボに使用するためダウンロードされる投稿情報であって、この投稿情報には前回（１回目の）コラボユーザ情報のみが登録された状態となっている。このコラボＮｏ．１に対応して、１回目の投稿を行ったユーザのユーザＩＤと、投稿の際、図４の予約オプション画面Ａ１で指定したマスク設定情報が対応付けられている。マスク設定情報には、マスク処理するかしないかを示すマスク設定が含まれている。本実施形態では、マスク処理する際に使用されるマッピング情報（静止画像）が含まれた形態となっている。

図７には、１回目の投稿時におけるのモニタ４１の表示画面が示されている。初回投稿時は、コラボする相手がいないため、モニタ４１中の撮像表示領域Ｂ１にカメラ４４で撮像された映像がリアルタイム表示される。その際、撮像表示領域Ｂ１には撮像された映像を左右判定させた状態で表示させることが好ましい。歌唱するユーザは鏡に映っているのと同じ状態で自己の姿を視認することで違和感のない映像を確認することが可能となる。またモニタ４１中には楽曲の歌詞（図中「Ｉ ＬＯＶＥ ＹＯＵ Ｉ ＬＯＶＥ ＹＯＵ」が
撮像表示領域Ｂ１上に重畳した状態で表示される。

このような１回目の投稿時、楽曲再生処理は、予約リストに指定された楽曲識別情報に対応する楽曲情報をハードディスク２２から読み出し、ＭＩＤＩ音源２６に再生させる演奏処理のみを実行する（Ｓ１０５）。そして、録画、録音を行うことで、アップロードする投稿情報に必要な録画情報、録音情報を生成する（Ｓ１０６）。１回目の投稿時の楽曲再生中に実行される映像再生処理Ｓ２００は、図７で説明したようにカメラ４４からの映像信号をリアルタイム表示するのみであり、この場合、マスク処理（効果付与処理）は実行されない。

以上説明した、歌唱者の録画、録音は、楽曲の再生が終了する（Ｓ１０７：Ｙｅｓ）まで継続され、楽曲の再生終了後、録画情報、録音情報が生成される。ユーザは、これら録画情報、録音情報を確認するためプレビュー処理を選択することが可能である（Ｓ１０９）。プレビュー処理（Ｓ１１０）は、楽曲情報の再生に同期して、録音情報、録画情報を再生させる処理である。１回目の投稿時の録画情報のプレビュー処理は、ちょうど、図７で説明した撮像表示領域Ｂ１を左右反転し正像として表示させた形態となる。

ユーザは、生成した録画情報、録音情報を投稿情報としてサーバ装置にアップロードすることが可能である。投稿情報をアップロードすることが選択された場合（Ｓ１１１：Ｙ
ｅｓ）、カラオケ装置２は、生成された録画情報と録音情報を含めて投稿情報を形成し、通信手段としてのインターフェイス部２４を介し、投稿情報をサーバ装置にアップロードするアップロード処理（Ｓ１１２）を実行する。

図８には１回目の投稿においてアップロードされる投稿情報のデータ構成が示されている。この１回目の投稿時における投稿情報は、図６で説明した２回目の投稿の際、ダウンロードする投稿情報とデータ構成、内容において略同一となっている。

以上、１回目の投稿時について、撮像時の様子並びに投稿情報のデータ構成を説明したが、次に２回目の投稿時におけるこれらの内容を説明する。２回目の投稿時におけるメイン処理では、予約リストで指定された投稿情報が楽曲の再生に先駆けてダウンロードされる（Ｓ１０４）。ここでは、図６で説明した投稿情報を使用した場合を例にとって説明する。Ｓ１０５にて開始される楽曲再生処理は、予約リストで指定された投稿情報中に含まれる楽曲識別情報に対応する楽曲情報をＭＩＤＩ音源２６に再生させる演奏処理と、指定された投稿情報に含まれる録音情報を再生させる音声再生処理と、を同期して行う。また、１回目の投稿時と同様、カメラ４４による撮像、並びに、マイクロホン４３に入力される歌唱音声が録音されることとなるが、１回目の投稿時とはモニタ４１への表示形態において異なっている。

モニタ４１への表示は、Ｓ２００に示す映像再生処理にて実行される。図９には、本実施形態に係る映像再生処理のフロー図が示されている。この映像再生処理では、楽曲再生処理に同期して複合録画情報が再生開始される。この複合録画情報は、投稿情報に含まれる複数の録画情報を組み合わせた形態であって、２回目の複合録画情報は、図６に含まれる１回目の録画情報のみで構成された複合録画情報が使用される。図１０には撮影中のモニタ４１の表示の様子が示されている。

モニタ４１の画面左側には撮像表示領域Ｂ２が設けられ、カメラ４４で撮像されている歌唱者の様子がリアルタイム表示される。モニタ４１の画面右側には、投稿情報に含まれる１回目の複合録画情報が表示される。１回目の場合と同様、撮像表示領域Ｂ２は左右反転した状態でカメラ４４からの映像を表示させる。また、第１投稿表示領域Ｃ１には撮像情報を左右反転した状態で表示させている。このような表示形態とすることで、１回目と同様、歌唱者は鏡に映ったと同じ状態で自己の映像を確認することが可能となる。

さらに、この状態では歌唱者は、図に示すように実際のデュエットと同様、第１投稿表示領域Ｃ１に向かって歌唱することとなる。このような形態では、再生時、両映像の位置を入れ換えるとともに、両映像を正転状態に戻すことで、正転状態両歌唱者が向かい合った状態を再現することが可能となる。図１１、図１２には、図１０に示す撮影中のモニタ４１の画面を、再生（プレビュー）したときの様子が示されている。図１１、図１２から分かるように第１、第２投稿表示領域Ｃ１、Ｃ２内の両映像は歌唱者が向かい合った状態を再現したものとなっている。

この映像再生処理では、複合録画情報を再生させる際、マスク処理（効果付与処理）を実行させることとしている。このマスク処理は、投稿情報に含まれるマスク設定情報に基づいて実行される処理であり、図９のＳ２０２〜Ｓ２０７にてコラボ毎の録画情報（以下「単位録画情報」と呼ぶ）に対して実行される。図６に示す投稿情報は、１回目の投稿（コラボ）時のマスク設定情報は「あり」に設定されており、マスク処理のためのマッピング情報が併せて登録されている。本実施形態のマッピング処理は、カラオケ装置２にログインしているユーザのユーザＩＤと、単位録画情報を作成したユーザのユーザＩＤに基づいて、その実行の可否を決定している。

すなわち、単位録画情報を作成したユーザ、すなわち、単位録画情報中で撮影されたユーザが、カラオケ装置２にログインしている（その場に同席している）場合（Ｓ２０３：Ｙｅｓ）には、当該単位録画情報にはマスク処理を行わない。一方、単位録画情報を作成したユーザが、カラオケ装置２にログインしていない（その場に同席していない）場合（Ｓ２０３：Ｎｏ）には、Ｓ２０４〜Ｓ２０６のマスク処理（効果付与処理）を実行する。このマスク処理は、マスク設定情報がマスク指定ありを示す場合に実行される処理である。本実施形態では、マスク付与対象となる単位録画情報に対して、マスク設定情報に含まれるマッピング情報を重畳させる（オーバーレイ処理）こととしている。

本実施形態では、コラボを重ねる毎に１画面中に表示される単位録画情報の数が増えることとなり、各単位録画情報の表示位置、並びに、その大きさが変化することとなる。したがって、コラボの回数に応じてマッピングデータの重畳位置、大きさを変化させ、適正内位置にマスクを施すこととしている。

図１３には、本発明の実施形態に係るコラボ時におけるモニタ４１の表示領域を示した図である。図中Ｂは撮像表示領域に相当し、カメラ４４から撮像された映像がリアルタイム表示される領域である。図中Ｃは投稿表示領域であり、投稿情報に含まれる単位録画情報が表示される領域である。図には録画時のモニタ４１の様子（図中左側）と、プレビュー時を含む再生時のモニタ４１の様子（図中右側）が示されている。撮像表示領域Ｂ、投稿表示領域Ｃの添字（数字）は、コラボ回数に対応している。また、録画時の撮像表示領域Ｂの下には、この映像に対応する投稿表示領域Ｃが括弧書きで示されている。

図１３に示されるようにコラボの回数を重ねる毎に、各投稿表示領域Ｃの位置、大きさは変動することが分かる。本実施形態のマスク処理では、このような各投稿表示領域Ｃの位置、大きさの変化に対応してマスク処理を行うこととしている。図１３に示されるように全体のコラボ回数と各単位録画情報のコラボＮｏ．（Ｃの添字に相当）とに基づいて、各単位録画情報の大きさ位置が判定できる。このように本実施形態では、全体のコラボ回数と各単位録画情報のコラボＮｏ．を、複合録画情報中の単位録画情報の表示領域を判別するための補助情報として使用している。補助情報にはこのような形態以外に、複合録画情報中の単位録画情報の表示領域を判別できる各種形態の補助情報を採用することが可能である。

マスク指定がされた単位録画情報に対しては、図１３で説明したように、単位録画情報の表示領域の大きさに対応してマッピング情報Ｄのサイズを変更し（Ｓ２０５）、単位録画情報の表示領域に対応する位置に配置する（Ｓ２０６）。このマスク処理を全ての単位録画情報に対して行うことで、マスク処理を必要とする単位録画情報に対してマスク処理が実行される。図１０のモニタ４１の表示例は、図６の投稿情報に基づいて実行される撮像中の様子を示した例であり、この撮像を行うカラオケ装置２には、第１投稿表示領域Ｃ１に表示されるユーザ（Ａさん）は同席していない場合である。

この場合、第１投稿表示領域Ｃ１内には、マッピング情報Ｄが第１投稿表示領域Ｃ１上にマスクされ、Ａさんの顔など第１投稿表示領域Ｃ１の一部が隠された状態となる。本実施形態では、マッピング情報Ｄに該当するユーザのアバター情報を採用している。マッピング情報にはこの他、アバター以外にユーザが選択したキャラクタを使用する、あるいは、ぼかし処理、モザイク処理などを使用してもよい。さらに、単位録画情報中の顔や体格を認識することで、アバター情報と撮影された歌唱者の位置合わせを行うこととしてもよい。なお、歌詞表示Ｅは、このマッピング情報上に表示されることで、マッピング情報にて隠されることはない。

このように本実施形態では、コラボの回数に応じて複合録画情報中の位置、大きさが変
化する単位録画情報に対して適切にマスク処理（効果付与処理）を行うことが可能となっている。図１１、図１２にはプレビュー処理（Ｓ１１０）を行った際のモニタ４１の様子が示されている。このプレビュー処理においても映像再生処理（Ｓ２００）と同様、マスク処理が行われることとなり、Ａさんがカラオケ装置２にログインしていない場合には、図１０の場合と同様、Ａさんの第１投稿表示領域Ｃ１には、マッピング情報Ｄに基づくマスク処理が実行される。その際、図１０の撮影時と図１１のプレビュー時では第１投稿表示領域Ｃ１の位置が変動するため、それに応じてマッピング情報Ｄの位置も変動している。

以上、２回目の投稿の際の各種処理、モニタ４１の表示状態について説明したが、２回目以降の複合録画情報の再生時には、複合録画情報中、投稿回数によって変化する単位録画情報の表示領域に対して適切にマスク処理を行うことが可能となる。２回目以降のアップロード処理（Ｓ１１２）にてサーバ装置にアップロードされる投稿情報（単位投稿情報）は、図８で説明した１回目の投稿情報のデータ構成と略同様である。その際、カラオケ装置２にて録音情報のミキシングを行う形態では、アップロードされる投稿情報中の録音情報は、複数の単位録音情報がミキシングされた複合録音情報となる。

図１４には、３回目の投稿時にダウンロードされる投稿情報のデータ構成が示されている。この投稿情報は、図６に示す投稿情報（１回目）についで２回目の投稿が行われたときの投稿情報のデータ構成である。この投稿情報に含まれる複合録画情報は、１回目、２回目の単位録画情報を組み合わせ、図１２のような表示形態となるように構成したものであり、本実施形態では、サーバ装置にて両単位録画情報をエンコードして１ファイルの複合録画情報として形成されたものである。この複合録画情報は、単位録画情報毎のファイル構成で構成し、カラオケ装置２側で組み合わせることとしてもよい。

以上説明した投稿を複数回繰り返すことで、図１５に示すような複合録画情報の表示形態とすることが可能となる。このモニタ４１の表示形態では、第１投稿表示領域Ｃ１と第４投稿表示領域Ｃ４に対して、それぞれマッピング情報Ｄ１、Ｄ２によるマスク処理が施された形態となっている。

図４で説明した予約オプション画面Ａ１におけるマスク設定は、マスクする、しないを選択するだけであったが、このマスク設定について更なる選択事項を設けることとしてもよい。図１６には、本発明の他の実施形態に係る予約オプション画面Ａ２が示されている。ここに表示される予約オプション画面Ａ２では、マスク設定を「マスクする」に設定した場合、公開範囲、並びに、マスク形態を選択することが可能となっている。

公開範囲を選択することで、マスク処理しないユーザを選択可能としている。この例では前述した実施形態のように本人が同席した場合、マスクしない「本人」と、予めフレンド登録されたユーザがログインしている場合にはマスクしない「フレンド」の一方、もしくは両方を選択することが可能となっている。公開範囲は、このような形態に限らず、公開する個別のユーザを指定する、あるいは、公開するユーザの所属グループを指定するなど各種形態を採用することが可能である。

マスク形態は、前述した実施形態のようにアバターによるマスク処理以外に、モザイク処理、全消しを選択する、いわゆるマスク処理の処理形態を選択することを可能としている。ユーザは、マスク処理する際、自己の単位録画情報に対して好みのマスク形態を指定することが可能となっている。

以上、本実施形態のカラオケ装置によれば、単位録画情報を組み合わせた複合録画情報を再生させる際、単位録画情報に対応する効果設定情報に基づき、複合録画情報中の単位
録画情報の表示領域に応じた適切な位置に効果付与することが可能となる。特に、複数回の投稿によって単位録画情報の位置、大きさが変化する形態において有効である。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１ａ、１ｂ…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…カラオケ装置、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御部、３２…ハードディスク、４１…モニタ、４２…スピーカ、４３…歌唱用マイク、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ

Claims (6)

1. 同一の楽曲に関してアップロードされた単位投稿情報に基づいて、複合投稿情報を作成するサーバ装置に通信接続可能なカラオケ装置であって、
   単位投稿情報は、歌唱の様子を撮像した単位録画情報と、歌唱音声を録音した単位録音情報を含み、
   複合投稿情報は、単位録画情報の組み合わせによる複合録画情報と、単位録音情報の組み合わせによる複合録音情報と、複合録画情報中の単位録画情報の表示領域を判別するための補助情報と、単位録画情報に対して効果付与の有無を設定した効果設定情報と、を含み、
   カラオケ装置は、映像再生手段と、音声再生手段と、制御手段と、を備え、
   制御手段は、
   複合投稿情報に含まれる複合録画情報を映像再生手段に再生させる映像再生処理と、
   効果設定情報に基づいて効果付与の設定されている単位録画情報を判別し、効果設定情報に基づいて単位録画情報に対して効果指定されていると判定した場合、補助情報に基づいて当該単位録画情報の表示領域に効果を施す効果付与処理と、
   複合投稿情報に含まれる単位録音情報が組み合わされた複合録音情報を音声再生手段に再生させる音声再生処理と、を実行することを特徴とする
   カラオケ装置。
2. 効果付与処理は、効果付与が指定されている各単位録画情報について、効果付与の有無を切り替え可能としたことを特徴とする
   請求項１に記載のカラオケ装置。
3. 複合投稿情報は、単位録画情報を投稿したユーザのユーザ識別情報を含み、
   効果付与処理は、カラオケ装置にログインしているユーザのユーザ識別情報と、各単位録画情報に付与されているユーザ識別情報に基づいて、各単位録画情報に対する効果付与の有無を切り替えることを特徴とする
   請求項２に記載のカラオケ装置。
4. 効果付与処理において、単位録画情報に付与する効果は、歌唱するユーザの少なくとも一部分をマスクする処理であることを特徴とする
   請求項１から請求項３の何れか１項に記載のカラオケ装置。
   
5. 制御手段は、
   映像再生処理と音声再生処理とに同期して、撮像装置から入力される映像情報を録画して単位録画情報を形成し、マイクロホンから入力される音声情報を録音して単位録音情報を形成し、単位録画情報と単位録音情報を含んだ単位投稿情報をサーバ装置に送信する投稿処理を実行可能としたことを特徴とする
   請求項１から請求項４の何れか１項に記載のカラオケ装置。
6. サーバ装置は、複数の単位録画情報をエンコードして複合録画情報を生成することを特徴とする
   請求項１から請求項５の何れか１項に記載のカラオケ装置。

Images