JP6502728B2 - カラオケシステム及びプログラム - Google Patents

Description

本発明は、カラオケ用の楽音を再生し、ユーザにカラオケを実施させるカラオケシステム及びプログラムに関する。

近年、伴奏のみからなる楽曲データ（いわゆる、カラオケ用楽曲データ）を再生し、当該再生された楽曲データに併せてユーザが歌うカラオケは、娯楽や趣味として認知されている。

また、最近では、カラオケの新たな楽しみ方として、カラオケの歌唱中に歌唱者（すなわち、ユーザ）及び当該歌唱者に関連する撮像対象（例えば、歌唱者とともにカラオケに興じるグループメンバー等）の少なくとも一方を含む撮像画像をカメラにより撮像するサービスも登場している。

特に、このようなサービスは、マイクロホン（以下、「マイク」という。）により集音して得た音声と、当該撮像された歌唱者の撮像画像と、再生された楽曲データとを組み合わせる。これにより、歌唱音声及び伴奏等が、撮像画像とともに再生される画像データを生成し、ネットワーク上のサーバ装置に投稿（すなわち、アップロード）可能としたカラオケ通信システムを用いることによって実用化している。

さらに、このカラオケ通信システムにおいては、サーバ装置に投稿された歌唱者の撮像画像を、他のユーザと共有化し、必要に応じて、投稿済みの撮像画像をユーザによって閲覧可能及びダウンロード可能に構成されているものもある。

一方、このようなサービスを発展させて、ユーザの満足度をさらに向上させるため、他のユーザによってサーバ装置に投稿された歌唱者の撮像画像を用いて当該他のユーザとデュエット（コラボレーション）するカラオケ通信システムも実現されている。

特に、このようなカラオケ通信システムは、投稿済みの歌唱者の撮像画像とコラボレーションを希望するユーザの撮像中の撮像画像とを組み合わせて、異なるタイミングにて歌唱している少なくとも２人以上のユーザを、あたかも一緒に歌い、共演しているかのように見えるコラボレーション画像を生成して表示する構成を有している。

また、このようなカラオケ通信システムにおいては、サーバ装置に既に投稿された歌唱者の撮像画像に合成された効果画像と同一、又は、異なる効果画像を撮像中の歌唱者の撮像画像に合成しつつ、コラボレーション画像を生成することにより、コラボレーション画像の全体の視覚的な統一感を向上させる構成が採用されている（例えば、特許文献１）。

特開２０１２−２０９８５６号公報

しかしながら、特許文献１に記載のシステムにあっては、サーバ装置に既に投稿された歌唱者の撮像画像を閲覧しながら、歌唱時の周囲状況（例えば、グループメンバー全員が盛り上がっている状況、グループメンバーの全員が歌に聴き入っている状況等）を反映させつつ、リアルタイムに、かつ、自由に、撮像中の撮像画像に効果画像を合成することが難しい。

一方、楽曲の進行に合わせて、ユーザが自身の嗜好に合致する効果画像を自由に選択するためには、歌唱中にユーザ自身が撮像されている状態で効果画像を選択する必要があるので、当該選択時におけるユーザの選択動作が撮像されてしまう可能性がある。しがって、特許文献１に記載のシステムにあっては、そのような画像が含まれる自身の撮像画像についてその満足度が低下する可能性も指摘されている。

本発明は、上記課題を解決するためになされたものであり、その目的は、撮像中の撮像画像に効果画像を合成する際の選択動作を排除し、ユーザの満足度を向上させることが可能なカラオケシステムを提供することにある。

上記課題を解決するため、本発明のカラオケシステムは、複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、前記選択された楽曲データの歌詞を表示手段に表示するカラオケシステムであって、前記楽曲データを再生する再生手段と、前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段と、前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段から出力された撮像画像を示す撮像画像データを受け付ける受付手段と、所与の画像データと、当該所与の画像データに合成された効果画像を示す効果画像データ及び効果画像が所与の画像データの画像に合成されるタイミングを示すタイミングデータを含む合成素材データと、を対応付けて記憶された記憶手段を管理する記憶管理手段と、前記楽曲データの再生時に前記記憶されている合成素材データの１つが選択された場合に、当該再生されている楽曲データに合わせて、当該選択された合成素材データに含まれる効果画像データを用いることによって、前記効果画像と前記撮像手段から出力された撮像画像と、を当該合成素材データに含まれるタイミングデータに従って合成する編集手段と、を備えることを特徴とする、を備える構成を有している。

本発明は、ユーザに１の合成素材データを選択させれば、当該合成素材データに含まれる効果画像データ及びタイミングデータに基づいて、楽曲の再生中であって撮像中において、ユーザの操作を行うことなく撮像画像に効果画像を合成することができるとともに、撮像前に効果画像が合成された合成画像を閲覧すれば、合成する効果画像を事前に確認することができる。

このため、本発明は、ユーザの嗜好に合致した効果画像を選択させることができる。

従って、本発明は、撮像中の撮像画像にユーザの選択動作が撮像されることを防止することができるとともに、ユーザの嗜好に合致した効果画像を撮像画像に合成することができる。

この結果、本発明は、歌唱中のユーザを撮像した画像の生成など撮像画像の生成を希望するユーザの満足度を向上させることができる。

本発明に係るカラオケ通信システムにおける第１実施形態の構成を示すシステム構成図である。 第１実施形態の記憶装置に設けられるユーザ管理データベースに記憶されるデータの一例を示す図である。 第１実施形態の記憶装置に設けられる投稿画像データベースに記憶されるデータの一例を示す図である。 第１実施形態の効果画像データが示す効果画像の一例を示す図である。 第１実施形態のカラオケシステムの構成を示すブロック図である。 第１実施形態のカラオケシステムにおいて実行されるお気に入り記憶処理を示すフローチャートである。 第１実施形態の通信端末装置において実行される処理を示すフローチャートである。 第１実施形態のカラオケシステムにおいて実行される処理を示すフローチャート（その１）である。 第１実施形態のカラオケシステムにおいて実行される処理を示すフローチャート（その２）である。

次に、本発明に好適な実施の形態について、図面に基づいて説明する。なお、以下に説明する実施の形態は、歌唱者を撮像しつつ、カラオケ用の楽曲データや歌詞データなどを含むカラオケデータを再生するカラオケシステムに対して本願のカラオケシステムなどを適用した場合の実施形態である。また、以下の実施形態においては、本発明の「所与の画像データ」としてユーザによって投稿された投稿済みの撮像画像データ（以下、「投稿画像データ」という。）を用いて説明するが、本発明は、これに限られない。

［１］カラオケ通信システムの概要
まず、図１〜図４を用いて本実施形態のカラオケ通信システム１の概要について説明する。

なお、図１は、本実施形態におけるカラオケ通信システム１の構成を示すシステム構成図であり、図２及び図３は、それぞれ、ユーザ管理データベース４０１及び投稿画像データベース４０３に記憶されるデータの一例を示す図である。また、図４は、本実施形態の効果画像データが示す効果画像の一例を示す図である。

本実施形態のカラオケ通信システム１は、各種の遊興施設（例えばカラオケボックスＢ）に設置されるカラオケシステム１０と、ユーザによって所持される通信端末装置２０と、ネットワークＮに接続される管理サーバ装置３０と、ネットワークＮに接続された記憶装置４０と、を有している。

なお、図１においては、記憶装置４０内の各データベース（以下、データベースを「ＤＢ」という。）に対して、カラオケシステム１０が、直接アクセスできるようにするため、記憶装置４０をネットワークＮに直接接続する構成例について示しているが、記憶装置４０は、管理サーバ装置３０内に搭載するようにしてもよい。

また、記憶装置４０の管理運営主体は、専用のコンピュータを設けるようにしてもよいが、本実施形態においては、説明を具体化するため、管理サーバ装置３０によって管理運用されるものとして説明を行う。

［１．１］カラオケ通信システムの各機能
本実施形態のカラオケ通信システム１は、上記の構成を有し、かつ、各種の処理を実行することにより、大別して以下の機能を実現する。

［カラオケ機能］
本機能は、カラオケシステム１０によって実現する機能であって、リモコン装置やスマートフォン等の通信端末装置２０を用いて行った指示入力に基づいて、カラオケボックスＢ等の店舗内に設置されたカラオケシステム１０を用いて、単独のユーザ又は複数人のユーザからなるグループによってカラオケを興ずるための機能である。

特に、本機能では、
（１）インターネット上において提供されるＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムなどのネットワークＮ上の記憶装置４０内のカラオケデータ用ＤＢ４０２からユーザが選曲した楽曲のカラオケデータを取得（すなわち、ダウンロード）する機能、
（２）ユーザが歌唱可能に当該カラオケデータを再生する機能、及び
（３）当該再生したカラオケデータに合わせて歌唱する歌唱者の歌唱音声をマイクＭにより集音して拡声する機能、
が実現される。

［撮像画像生成機能］
本機能は、カラオケシステム１０及びカラオケボックスＢ内に設置されたカメラＣによって実現する機能であって、カラオケデータの再生時に、当該再生に合わせて歌唱する歌唱者、グループメンバー、及びカラオケボック内の少なくともいずれか１をリアルタイムに撮像して画像化した撮像画像のデータ（すなわち、撮像画像データ）を生成する機能である。

なお、カメラＣにより撮像されて生成された撮像画像データは、静止画に対応するものであってもよいし、動画であってもよい。ただし、以下の説明においては、複数のフレーム画像により構成される動画像に対応するデータを撮像画像データとするものとして説明を行う。

［お気に入り記憶機能］
本機能は、カラオケシステム１０が通信端末装置２０及び管理サーバ装置３０と連動することによって実現される機能である。特に、本機能は、撮影中の対象物を画像化した撮像画像にユーザの嗜好に合致する効果画像を合成させるため、後述する合成素材データをお気に入りデータとして、ユーザ管理ＤＢ４０１に記憶するための機能である。

特に、本機能では、投稿画像ＤＢ４０３に既に記憶された投稿済みの撮像画像データ（すなわち、投稿画像データ）に合成された所定の効果画像データ（具体的には、効果画像識別データ（以下、「効果画像ＩＤ」という。））と、当該効果画像データが投稿画像データに合成されたタイミングを示すタイミングデータとを含む合成素材データを、投稿画像データに対応付けてユーザ管理ＤＢ４０１に記憶する機能である。

［画像合成機能］
本機能は、カラオケシステム１０によって実現する機能であり、ユーザによって事前に投稿画像データに対応付けられた合成素材データに含まれる効果画像データ及びタイミングデータに基づいて、カメラＣにより生成された撮像画像に効果画像を自動的に合成された撮像画像データ（以下、「合成画像データ」ともいう。）を生成及び表示する機能である。

［１．２］本実施形態における画像合成機能の原理
本実施形態のカラオケ通信システム１は、画像合成機能を実行する際に、ユーザが気に入った効果画像を撮像画像に自動的に合成する編集機能を備えており、歌唱者や聴取者に対して画像編集によってその興趣性を向上させている。

具体的には、本実施形態においては、投稿画像に合成されている効果画像を示す効果画像データ及び当該効果画像を当該投稿画像に合成するタイミングを示すタイミングデータを含む合成素材データを用いるようになっている。

特に、本実施形態においては、投稿画像データとは分離独立して投稿画像に合成された効果画像を撮像画像への合成に用いるために、効果画像データ及びタイミングデータを含む合成素材データを用いている。

そして、投稿画像に合成された効果画像を撮像画像に合成する場合には、撮像開始前に、合成素材データを選択すれば、ユーザが歌唱しようとするカラオケデータ、すなわち楽曲の再生の開始からその終了までの全期間において、選択された合成素材データに基づいて、撮像画像に合成すべき効果画像と合成するタイミングを設定することができるようになっている。

特に、本実施形態においては、「星マーク」及び「兜の被り物」の効果画像を合成するための効果画像データと、楽曲の再生途中（例えば、Ａメロ終了時）に、「星マーク」から「兜の被り物」に効果画像を切り替えることを示すタイミングデータとを含む合成素材データを予め設定しておくと、カラオケシステム１０は、カラオケデータの再生中に、合成素材データに基づいて、撮像画像に「星マーク」の効果画像を合成し、Ａメロ終了のタイミングが到来すると、「星マーク」から「兜の被り物」に効果画像を変更する画像合成を実行するようになっている。

従って、例えば、ユーザの歌唱中に、効果画像をユーザに選択させることなく、撮像画像に所定の効果画像をリアルタイムに合成することができるので、撮像中の撮像画像にユーザの選択動作が撮像されることを防止することができるとともに、ユーザの嗜好に合致した効果画像を撮像画像に合成することができるようになっている。

この結果、歌唱中のユーザを撮像した画像の生成など撮像画像の生成を希望するユーザの満足度を向上させることができるようになっている。

［１．３］カラオケ通信システム１の各部の概略構成
本実施形態のカラオケシステム１０は、上記各機能を実現するため、カラオケデータの再生前にユーザにより選択された合成素材データを取得するとともに、当該取得した合成素材データに含まれるタイミングデータ及び効果画像データとに基づいて、カラオケデータの再生に同期させつつ、カメラＣにより撮像された撮像画像に効果画像を生成して合成表示させる構成を有している。

また、カラオケシステム１０は、カラオケデータの再生終了後（すなわち、楽曲の歌唱終了後）、撮像画像に効果画像が合成された合成画像データを含む後述する楽曲画像データを管理サーバ装置３０に投稿（アップロード）して、投稿画像ＤＢ４０３を更新（記憶）させる構成になっている。

通信端末装置２０は、カラオケシステム１０の一部を構成するリモコン装置、又は、スマートフォン、携帯用電話機、タブレット型情報通信端末等の装置である。

具体的には、通信端末装置２０は、
（１）液晶素子等により構成される表示部と、
（２）当該表示部上に設けられたタッチパネル、又は、表示部外に設けられたテンキー、ＱＷＥＲＴＹキー等からなる入力操作部と、
（３）赤外線ポート、無線ＬＡＮ（ローカルエリアネットワーク）、ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１５．４、等の近距離無線通信インターフェースと、
を有している。

そして、通信端末装置２０は、楽曲の選曲を行うための選曲番号、効果画像データ及び当該効果画像データを識別する効果画像識別データなど、カラオケシステム１０と直接的に、又は、ネットワークＮを介して管理サーバ装置３０及びカラオケシステム１０と間接的にデータの授受を行う。

なお、通信端末装置２０は、ネットワークＮを介して管理サーバ装置３０からカラオケシステム１０により歌唱可能な各カラオケデータを識別するための選曲番号と、楽曲ジャンルと、楽曲タイトルと、アーティスト（歌手名）と、を対応付けたデータをダウンロード、又は、当該カラオケデータを有するアプリケーションをダウンロードする構成を有していてもよい。

この構成により、ユーザは、歌唱するための楽曲（すなわち、カラオケデータ）を選曲する際に、通信端末装置２０を用いることによって、楽曲ジャンルまたは楽曲タイトルを指定しつつ、容易に楽曲の選曲を行うことができるようになっている。

通信端末装置２０は、カラオケデータの再生前に合成素材データを選択するための構成を有している。

なお、通信端末装置２０は、ＵＲＬに基づいてＷｅｂページデータを閲覧可能に表示するブラウザを搭載しており、ネットワークＮ又はカラオケシステム１０を介して後述するユーザＩＤの専用のＷｅｂページにアクセスし、かつ、ＵＲＬアドレスに基づいて、投稿画像データを特定すると、投稿画像（効果画像が合成されている場合には効果画像が合成された合成画像）の閲覧及び投稿画像データと投稿画像データに対応する合成素材データとをダウンロードすることができるようになっている。

記憶装置４０は、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）、等により構成され、その記憶領域内に、図２に例示するユーザ管理ＤＢ４０１と、カラオケデータ用ＤＢ４０２と、図３に例示する投稿画像ＤＢ４０３と、が構築され、管理サーバ装置３０により管理運用されるようになっている。なお、例えば、投稿画像ＤＢ４０３は、本発明の「記憶手段」を構成する。

ユーザ管理ＤＢ４０１は、各ユーザを管理するための情報（以下、「ユーザ情報」という。）がデータとして記憶されるＤＢである。具体的には、ユーザ管理ＤＢ４０１に記憶される複数のユーザ情報は、図２に示すように、各ユーザを識別するためのユーザＩＤ、氏名、住所、アカウント名、パスワード、性別、年齢、メールアドレス及びお気に入りデータ（合成素材データ）が対応付けて記憶される。

なお、前記各ユーザ情報は、ユーザが投稿した投稿画像データ、又は、他のユーザが投稿した投稿画像データを通信端末装置２０により閲覧する際のユーザ認証等に利用される。

また、本実施形態のユーザ情報には、ユーザのお気に入りデータとしての合成素材データの他に、お気に入りの投稿画像も記憶される。

カラオケデータ用ＤＢ４０２は、「邦楽」、「ＪＰＯＰ」、「ロック」等、カラオケデータの階層的な楽曲ジャンルを示すジャンルデータと、各カラオケデータを識別するための選曲番号と、楽曲タイトルと、が対応付けされた複数のカラオケデータが記憶される。

また、各カラオケデータには、カラオケ用の楽曲データと、カラオケデータの再生中に楽曲データの再生に同期して表示させる歌詞データと、当該歌詞データの表示制御を行う制御データと、などが含まれる。

さらに、楽曲データには、複数の楽器の演奏音を再生制御するためのＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データ、Ａメロ、Ｂメロ、サビなど楽曲の構成を示す楽曲構成データ、歌パートの基準音（キー）の音高を示す音高データ、メロディをガイドするためのガイドメロディデータなどが含まれる。

投稿画像ＤＢ４０３は、投稿画像データを管理するためのＤＢである。具体的には、投稿画像ＤＢ４０３には、図３に示すように、
（１）選曲番号と
（２）投稿画像データを識別するための投稿識別データ（以下、「投稿ＩＤ」という。）と、
（３）投稿画像データを投稿したユーザのユーザＩＤと、
（４）投稿画像データ本体と、
（５）合成素材データを識別する合成素材識別データ（以下、「合成素材ＩＤ」という。）と、
（６）投稿画像に効果画像を合成するための効果画像識別データ（以下、「効果画像ＩＤ」という。）及びタイミングデータから構成される合成素材データ本体と、
が対応付けて楽曲画像データとして記憶される。

例えば、図３には、選曲番号「Ｍ００１」に対応するカラオケデータを再生し歌唱した際に撮像された投稿画像データとして、「ＭＰ００１」及び「ＭＰ００２」の投稿ＩＤに対応する投稿画像データが記憶されている構成例が示されている。また、「ＭＰ００１」に対応する投稿画像データには、合成素材ＩＤ「ＣＭ００１」に対応すし、効果画像を特定するための効果画像ＩＤ「Ｅ００１」、「Ｅ００２」、「Ｅ００３」及び「Ｅ００４」が規定された合成素材が投稿画像に合成される場合の構成例が示されている。

特に、図３に示すＣＭ００1の合成素材データには、各効果画像データ１〜４の合成タイミングを示すタイミングデータとして、
（１）効果画像データ１を、楽曲のスタート〜Ａメロ完了（０：００〜００：３０）まで、
（２）効果画像データ２を、Ｂメロ〜サビ（００：３０〜０２：３０）まで、
（３）効果画像データ３を、サビ開始〜サビ完了（０２：３０〜０３：５０）まで、及び、
（４）効果画像データ４を、サビ完了〜楽曲終了（０３：５０〜０４：３５）まで、
投稿画像データに合成させるタイミングが含まれていることを示す。

なお、タイミングデータの形式は、これに限定されず、他の形式にて構成するようにしてもよく、例えば、楽曲データに含まれる楽曲の構成を示す楽曲構成データを用いるようにしてもよい。

この場合には、タイミングデータに時間を規定するための情報を含ませる必要はなく、楽曲構成データにより示される楽曲データの各パートのタイミング（例えば、Ａメロ、Ｂメロ及びサビ）が含まれていれば、当該タイミングを、タイミングデータにしてもよい。

また、効果画像ＩＤは、カラオケデータ用ＤＢ４０２又はカラオケシステム１０の所定の記憶領域（具体的には、後述のシステム用ＤＢ１１９）に記憶されている効果画像に対応付けられている。例えば、効果画像ＩＤは、図４に示す効果画像に対応付けられている。なお、図４には、例えば、「海賊」及び「兜」に対応する効果画像が示されている。

なお、本実施形態においては、効果画像データには、対応する効果画像を描画するための画像データ（例えば、ビットマップデータ等）の他に、撮像画像に当該画像を合成する際における効果画像の合成位置及び合成基準を規定する合成基準データが含まれていてもよい。

例えば、図４（Ａ）及び（Ｃ）に示す効果画像データの場合には、撮像画像に含まれるユーザの顔領域において、目及び鼻の下等に効果画像の一部（眼帯、口髭）等を重畳させて合成するための合成基準データが含まれる。

また、例えば、図４（Ｄ）〜（Ｆ）に示す兜に対応する効果画像データの場合には、撮像画像に含まれるユーザの顔領域周辺の位置に重畳させて合成するための合成基準データ、又は、顔領域を切り取り、かつ、兜の顔が入るべき領域に貼り付けて合成する合成基準データなどの各種の合成基準データが含まれる。

ただし、合成基準データのデータ構成は任意であり、例えば、撮像画像に含まれる顔領域において、フレーム画像上に設定されたＸ軸及びＹ軸にて示す距離を座標値として規定する構成としてもよい。

管理サーバ装置３０は、記憶装置４０を管理し、カラオケ通信システム１にてユーザに提供される各種サービスを管理する構成を有している。

特に、管理サーバ装置３０は、ＵＲＬに基づいて、記憶装置４０に記憶された各種データを管理する。また、カラオケシステム１０及び通信端末装置２０からの要求に従って、要求された各種データを記憶装置４０から読み出し及び配信を行う構成を有している。

また、管理サーバ装置３０は、カラオケシステム１０から、撮像画像データ、選曲番号、ユーザＩＤ、及び合成素材データがアップロードされると、当該撮像画像データに投稿ＩＤを割り当て、当該投稿ＩＤ、選曲番号、ユーザＩＤ、及び合成素材データを対応付け、投稿画像ＤＢ４０３に楽曲画像データとして記憶する。

［２］カラオケシステム
次に、図５を用いて本実施形態のカラオケシステム１０の構成及びその動作について説明する。なお、図５は、本実施形態におけるカラオケシステム１０の構成を示す構成図である。

本実施形態のカラオケシステム１０は、図５に示すように、ネットワークＮを介して管理サーバ装置３０からカラオケデータ及び楽曲画像データ等を取得するための通信を行う通信制御部１１１と、マイクＭから出力された音声信号に対して所定の処理を行う音声入力処理部１１２と、楽曲データを再生するカラオケ再生部１１３と、再生された楽曲データに対応する楽音をスピーカＳＰに拡声させる拡声処理部１１４と、を備えている。

また、カラオケシステム１０は、表示部１１５と、表示部１１５を制御する表示制御部１１６と、通信端末装置２０と近距離無線通信を行う近距離無線通信部１１７と、各部を統合的に制御するシステム制御部１１８と、各種のデータ及びプログラムが記憶されるシステム用ＤＢ１１９と、歌唱者や聴取者を撮像するためのカメラＣと、撮像画像の生成及び当該撮像画像に効果画像を合成する際に必要な処理を実行するデータ処理部１２０と、を備えている。

そして、カラオケシステム１０は、システム制御部１１８を中心にバスや所定の伝送ラインによって接続されている。

なお、例えば、本実施形態のカラオケ再生部１１３は、本発明の「再生手段」を、拡声処理部１１４及びスピーカＳＰは、本発明の「出力手段」を構成する。また、例えば、本実施形態の近距離無線通信部１１７はデータ処理部１２０と連動して、本発明の「受付手段」を構成するとともに、カメラＣは、本発明の「撮像手段」を構成する。

通信制御部１１１は、システム制御部１１８の制御の下、ネットワークＮを介して管理サーバ装置３０と通信回線を構築し、各種データの授受を行う。

特に、通信制御部１１１は、近距離無線通信部１１７を介して通信端末装置２０からのユーザによる選曲指示を受け付けると、当該受け付けた指示により示される選曲番号に基づき、管理サーバ装置３０からカラオケデータを取得する。

そして、通信制御部１１１は、カラオケ再生部１１３にカラオケデータに含まれる楽曲データを供給し、当該楽曲データの再生と同期させつつ、表示制御部１１６に背景画像データとともに歌詞データを出力する。

また、通信制御部１１１は、システム制御部１１８の制御の下、管理サーバ装置３０を介して記憶装置４０からユーザによる選曲指示により示される選曲番号に基づくカラオケデータに関連する投稿画像データと合成素材データとを取得する。また、画像合成機能を用いて生成された投稿画像データを記憶装置４０にアップロードする。具体的には、通信制御部１１１と、管理サーバ装置３０とは通信を行い、投稿画像データを含む楽曲画像データを記憶装置４０にアップロードする。

カラオケ再生部１１３は、ＭＩＤＩ音源を有し、システム制御部１１８の制御の下、管理サーバ装置３０を介して記憶装置４０から取得（ダウンロード）されたカラオケデータに含まれる楽曲データに基づいてＭＩＤＩ音源を制御する再生処理を行うようになっている。

そして、カラオケ再生部１１３は、再生処理によって生成された楽音データを拡声処理部１１４に出力する。

また、カラオケ再生部１１３は、カラオケデータに含まれるジャンルデータを抽出し、抽出したジャンルデータに基づいて、ジャンルデータに対応付けて記憶されている背景画像データをシステム用ＤＢ１１９から取得する。

そして、カラオケ再生部１１３は、取得した背景画像データに基づく背景画像を楽曲データの再生に同期させて表示部１１５に表示するため、画像信号を表示制御部１１６に出力する。

拡声処理部１１４は、システム制御部１１８の制御の下、カラオケ再生部１１３から出力された楽音データをアナログ形式のオーディオ信号に変換する処理及び変換されたオーディオ信号を所定のレベルに増幅してスピーカＳＰに出力する処理を行う。

なお、スピーカＳＰは、カラオケシステム１０が設けられた設置場所によって適したシステムによって構成されている。また、拡声処理部１１４にて、残響処理等の各種信号処理を施し、当該信号処理後のオーディオ信号をスピーカＳＰから出力させる構成としてもよい。

表示部１１５は、例えば、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子、液晶表示素子またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）によって構成され、表示制御部１１６の制御に従って所定の画像を表示する。

具体的には、表示部１１５は、背景画像データ及び歌詞データに基づいて歌詞が重畳された背景画像を表示する。すなわち、表示部１１５は、再生される楽曲データに併せて歌詞及び背景画像を表示する。また、表示部１１５は、背景画像に代えて、撮像画像データに基づいて歌唱者の歌唱中の撮像画像又は当該撮像画像に効果画像が合成された合成画像を表示する。

表示制御部１１６は、システム制御部１１８の制御の下、効果画像が合成された撮像画像データ又は背景画像データに基づく表示処理を実行し、表示部１１５に効果画像が合成された撮像画像又は背景画像を表示するための表示用データを生成して表示部１１５に出力する。

近距離無線通信部１１７は、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）等の赤外線通信、又は、ｂｌｕｅｔｏｏｔｈ，ＩＥＥＥ８０２．１５．４、無線ＬＡＮ等の近距離無線通信規格に従い、通信端末装置２０とデータの授受を行う。

例えば、近距離無線通信部１１７は、通信端末装置２０を用いたユーザの指示入力を受け付け、受け付けた指示に対応する命令コマンドをバスに出力するとともに、データ処理部１２０による制御の下、選択候補となる合成素材データの一覧データ等を通信端末装置２０に供給する。

なお、通信端末装置２０とカラオケシステム１０との間の通信は、ネットワークＮや管理サーバ装置３０を介して実行してもよい。

システム制御部１１８は、主に図示せぬ中央演算処理装置（ＣＰＵ）と、キャッシュメモリと、ＲＡＭとによって構成され各部を統合的に制御する。また、システム制御部１１８は、各部と連動しつつ、前記各機能を実現するための処理を実行する。

カメラＣは、光電変換する撮像素子（以下、「ＣＣＤ」という）と、当該ＣＣＤを格納する筐体及び撮像レンズなどのカメラ機構と、を備え、カラオケ中にＣＣＤに形成された対象物の影像をフレーム毎に所定の画像データに変換し、データ処理部１２０に出力するようになっている。また、カメラＣは、システム制御部１１８によって撮像開始、終了などの各種の動作が制御される。

なお、カメラＣは、カラオケシステム１０内に組み込むようにしてもよく、対象物を最も好適に撮像可能な場所に設置された別体のカメラＣをＨＤＭＩ（登録商標：Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等のインターフェースを介して接続するようにしてもよい。

システム用ＤＢ１１９には、各機能を実現するための処理を実行する際に利用されるプログラムと、ジャンルデータに対応付けられた背景画像データが記憶されている。

なお、システム用ＤＢ１１９には、カラオケデータ用ＤＢ４０２に記憶されている各カラオケデータ又はカラオケデータの一部が記憶されていてもよい。

データ処理部１２０は、システム制御部１１８と同一、又は、独立したＣＰＵ及びワークエリアとしてのＲＯＭ／ＲＡＭ１２２により構成され、アプリケーションを実行することにより、データ取得部１２１と、認識処理部１２３と、合成処理部１２４と、を実行する。

なお、例えば、本実施形態のデータ取得部１２１は、近距離無線通信部１１７と連動しつつ、本発明の「受付手段」及び「記憶管理手段」を構成し、合成処理部１２４は、「編集手段」を構成する。また、例えば、本実施形態の認識処理部１２３は、本発明の「顔認識手段」を構成する。

データ取得部１２１は、カメラＣによって生成された撮像中の撮像画像データを取得するとともに、通信制御部１１１と連動しつつ、管理サーバ装置３０を介して記憶装置４０から投稿画像データと合成素材データとを取得する。

認識処理部１２３は、例えば、フレーム画像からＹ・Ｃｒ・Ｃｂ表色系（Ｙ(輝度)、Ｃｒ(赤さ)、Ｃｂ(青さ)）を用いて肌色領域を検出し、当該検出した部分を顔領域として認識する顔画像認識処理、及びフレーム画像の各領域と予め定められたテンプレートの画像とを比較しマッチング度合いが高い領域を顔領域として認識する顔画像認識処理の少なくとも１つの認識処理を用いてフレーム毎に顔領域を認識する。

また、認識処理部１２３は、一度認識した顔領域については、次のフレームでも現フレームの近傍に存在することを想定して顔領域を追従するための演算処理を実行し、顔領域の認識能力を高める処理を実行する。

なお、認識処理部１２３における顔領域の認識手法は、従来と同様であるため、詳細を省略する。

合成処理部１２４は、図示せぬタイマを有し、データ取得部１２１によって取得された合成素材データに含まれる効果画像データ及びタイミングデータに基づいて、カメラＣにより撮像された撮像画像に効果画像を合成する。合成処理部１２４は、撮像画像に効果画像が合成された合成画像を、表示制御部１１６に供給し、カラオケデータの再生中に表示部１１５に表示させる。

このとき、合成処理部１２４は、認識処理部１２３によって認識された顔領域及び効果画像データに含まれる合成基準データに基づき、効果画像データを合成するフレーム画像上の位置を決定させる。

例えば、効果画像データが、図４（Ｄ）〜（Ｆ）に例示する「兜」である場合には、合成基準データに基づき、撮像画像のフレーム画像におけるユーザの顔領域に合わせて効果画像を重畳させて合成し、あたかも、ユーザが「兜」を被っているかのように見える合成画像を生成する。

また、合成処理部１２４は、カラオケデータの再生と同期させたタイミングデータに基づいて、効果画像の切り替えタイミングの到来を検出した場合に、撮像中の撮像画像に合成する効果画像を切り替える。

なお、合成処理部１２４は、カラオケデータの再生終了時、すなわち、楽曲の歌唱終了時に、楽曲の選曲番号、当該歌唱ユーザのユーザＩＤ、撮像画像データ、撮像画像に合成された効果画像の効果画像データ、当該効果画像データの効果画像ＩＤ、及び撮像画像に効果画像が合成されたタイミングを示すタイミングデータを管理サーバ装置３０にアップロードし、投稿画像ＤＢ４０３に記憶させる。

［３］カラオケ通信システムの動作
［３．１］お気に入り記憶処理
まず、図６を参照しつつ、本実施形態のカラオケシステム１０において実行されるお気に入り記憶処理について説明する。なお、図６は、本実施形態のカラオケシステム１０において実行されるお気に入り記憶処理を示すフローチャートである。

本動作においては、以下の処理に先立って、記憶装置４０内の各種データが記憶された各ＤＢ４０１〜ＤＢ４０３には、それぞれ、図２及び図３に例示する各種データが既に記憶されているものとする。

また、歌唱ユーザとともにカラオケに興じるグループメンバーは、既に、カラオケボックスＢに入場して、カラオケ通信システム１のサービスにログイン済みの状態（すなわち、カラオケを実施可能であって、かつ、投稿画像データの共有が可能な状態）になっているものとする。

さらに、通信端末装置２０には、選曲番号、楽曲ジャンル及び楽曲タイトルを含むカラオケデータの一部、又は、当該カラオケデータの一部を有するアプリケーションが、ダウンロード済みの状態になっているものとし、特定の選曲番号における投稿ＩＤに対応する投稿画像の一覧が表示されているものとする。

まず、データ取得部１２１は、通信端末装置２０から投稿ＩＤを含む投稿画像データの閲覧要求を受信すると（ステップＳ１）、管理サーバ装置３０に投稿ＩＤと投稿画像データの送信要求とを送信し、投稿ＩＤに対応する投稿画像データの受信を待機する状態に移行する（ステップＳ２）。

なお、管理サーバ装置３０は、投稿ＩＤを受信すると、当該受信した投稿ＩＤに基づき、投稿画像ＤＢ４０３より投稿ＩＤと対応付けて記憶された投稿画像データ、合成素材データ、及び合成素材データＩＤをカラオケシステム１０に送信する。

次いで、データ取得部１２１は、管理サーバ装置３０から受信された投稿画像データと合成画像データを受信する（ステップＳ３）。合成処理部１２４は、受信した投稿画像データと合成素材データと合成素材ＩＤとをＲＯＭ／ＲＡＭ１２２に記憶させるとともに（ステップＳ４）、当該合成素材データに含まれるタイミングデータ及び効果画像データに基づき、投稿画像に効果画像を合成しつつ表示部１１５に合成画像を表示させる（ステップＳ５）。なお、データ取得部１２１は、通信端末装置２０から送信される指示を待機する状態に移行する。

この状態において、データ取得部１２１は、通信端末装置２０から送信された指示を受信すると（ステップＳ６）、お気に入り記憶の要求か、次の投稿ＩＤに対応する投稿画像の閲覧要求か、又は、本動作の終了指示かを判定する（ステップＳ７及びステップＳ８）。なお、合成処理部１２４は、データ取得部１２１が指示を受信した時点で、投稿画像に効果画像が合成された合成画像の表示を終了させる。

このとき、データ取得部１２１は、受信した指示が閲覧している投稿画像に合成されている効果画像に対応する合成素材データをお気に入りに記憶するための記憶指示であると判定した場合には、ＲＯＭ／ＲＡＭ１２２に記憶されている合成素材ＩＤと、ログイン時にユーザによって入力されたユーザＩＤと、が付加されたお気に入り記憶要求を管理サーバ装置３０に送信し（ステップＳ９）、ステップＳ６の処理に移行して通信端末装置２０から送信された指示を待機する状態に再度移行する。

データ取得部１２１は、通信端末装置２０から送信された指示が別の投稿ＩＤの閲覧要求であると判定すると、ステップＳ２の処理に移行し、受信した指示がお気に入り記憶処理の終了指示であると判定した場合には、本動作を終了させる。

以上のお気に入り記憶処理が順次、行われる結果、お気に入り記憶要求に付加されたユーザＩＤと合成素材ＩＤとが対応付けられて、ユーザ管理ＤＢ４０１の領域に記憶されていく。

［３．２］カラオケデータの再生に基づく歌唱（カラオケ）時の撮像を伴う動作
次に、図７〜図９を参照しつつ、本実施形態のカラオケ通信システム１のカラオケデータの再生に基づく歌唱（カラオケ）時の撮像を伴う動作について説明する。

なお、図７は、本実施形態の通信端末装置２０において実行される処理を示すフローチャートであり、図８及び９は、カラオケシステム１０において実行される処理を示すフローチャートである。

本動作においては、以下の処理に先立って、記憶装置４０内の各ＤＢ４０１〜ＤＢ４０３には、それぞれ、図２及び図３に例示する各データが既に記憶されているものとし、特に、ユーザ管理ＤＢのユーザ情報には合成素材ＩＤが記憶されているものとする。

また、歌唱ユーザとともにカラオケに興じるグループメンバーは、既に、カラオケボックスＢに入場して、カラオケ通信システム１のサービスにログイン済みの状態（すなわち、カラオケを実施可能であって、かつ、投稿画像データの共有が可能な状態）になっているものとする。

さらに、通信端末装置２０には、選曲番号、楽曲ジャンル及び楽曲タイトルに対応するカラオケデータの一部、又は、当該カラオケデータの一部を有するアプリケーションが、ダウンロード済みの状態になっているものとし、生成した撮像画像データは最終的に管理サーバ装置３０にアップロード（投稿）されて投稿画像ＤＢ４０３に記憶されるものとする。

（通信端末装置における処理）
まず、通信端末装置２０は、カラオケの開始を希望するユーザ（すなわち、歌唱ユーザ又はそれを聴取するユーザ）の入力操作であって、当該ユーザのユーザ情報にお気に入りとして記憶されている合成素材データの一覧の閲覧要求を受け付けると（ステップＳａ１）、当該閲覧要求を、当該ユーザのユーザＩＤとともに、近距離無線、赤外線等により直接、又は、ネットワークＮを介してカラオケシステム１０に送信し、ユーザＩＤに対応付けてお気に入り記憶された合成素材ＩＤに基づく効果画像データと効果画像データを付与するタイミングを示すタイミングデータとの一覧データの受信を待機する（ステップＳａ２）。

なお、合成素材データの一覧データとは、当該ユーザのお気に入り記憶された合成素材ＩＤに基づく効果画像データと効果画像データを付与するタイミングとを示すタイミングデータとの一覧を示すデータであり、管理サーバ装置３０において生成されるデータである。

次いで、通信端末装置２０は、合成素材ＩＤを含む合成素材データの一覧データを受信すると、（ステップＳａ３）、受信した合成素材データの一覧データに基づいて合成素材データの一覧データにおけるサムネイル画像を表示し、ユーザにおける選択指示の入力を待機する（ステップＳａ４）。

次いで、通信端末装置２０は、サムネイル画像の中からユーザによって選択された１の合成素材データの選択を受け付け（ステップＳｂ５）、かつ、選曲番号の入力を受け付けると（ステップＳａ６）、受け付けた合成素材データを識別する合成素材ＩＤと選曲番号とカラオケデータの再生指示と、をカラオケシステム１０に送信して（ステップＳａ７）本動作を終了させる。

（カラオケシステムの処理）
まず、データ取得部１２１は、通信端末装置２０から送信されたユーザＩＤに対応付けられて記憶されているお気に入り合成素材ＩＤに基づく合成素材データの一覧の閲覧要求を受信すると（ステップＳｂ１）、当該受信したユーザＩＤを管理サーバ装置３０に送信し、当該合成素材データの一覧データの受信を待機する（ステップＳｂ２）。

次いで、データ取得部１２１は、合成素材データの一覧データを受信すると（ステップＳｂ３）、通信端末装置２０に当該合成素材データの一覧データを送信し、通信端末装置２０からの合成素材ＩＤ、選曲番号、及びカラオケデータの再生指示の受信を待機する（ステップＳｂ５）。

そして、通信端末装置２０から送信された合成素材ＩＤ、選曲番号及びカラオケデータの再生指示を受信すると（ステップＳｂ６）、データ取得部１２１は、当該受信した選曲番号と、合成素材ＩＤと、を対応付けて管理サーバ装置３０に送信し、合成素材ＩＤに該当する合成素材データ及びカラオケデータの受信を待機する（ステップＳｂ７）。

次いで、通信制御部１１１は、管理サーバ装置３０から送信された選曲番号に対応するカラオケデータと、合成素材ＩＤに対応する合成素材データと、を受信すると（ステップＳｂ８）、システム制御部１１８は、受信したカラオケデータに含まれる楽曲データに基づく再生開始をカラオケ再生部１１３に指示するとともに、表示制御部１１６にカラオケデータに含まれる歌詞データの表示開始を指示する（ステップＳｂ９）。

そして、システム制御部１１８は、カメラＣにより撮像を開始させるとともに（ステップＳｂ１０）、認識処理部１２３は、カメラＣから供給される撮像画像データに認識処理を開始する（ステップＳｂ１１）。

なお、データ取得部１２１は、カメラＣから順次供給されるフレーム画像毎に認識処理を実行し、フレーム画像に含まれる顔領域を検出する。

次いで、合成処理部１２４は、ステップＳｂ８において受信した合成素材データに含まれるタイミングデータ及び効果画像データに基づいて、カメラＣから出力された撮像画像に効果画像を合成する合成処理を開始し、タイミングデータにより規定される次の切り替えタイミングの到来を待機する状態となる（ステップＳｂ１２）。

このとき、合成処理部１２４は、タイミングデータにて最初に合成することが規定される効果画像データに基づいて、効果画像を撮像画像に合成して当該合成画像を表示部１１５に出力する。特に、合成処理部１２４は、認識処理部１２３によって検出された顔領域を避けて、又は、当該顔領域に合致する位置に効果画像を合成する。また、合成処理部１２４は、次の切り替えタイミングが到来するまで、ステップＳｂ１２において生成した合成画像を表示制御部１１６に供給し続ける。

合成処理部１２４は、カラオケデータの再生中にタイミングデータに基づく切り替えタイミングの到来を検出すると（ステップＳｂ１３）、合成する効果画像データを切り替えて、撮像画像データに対してタイミングデータにて規定される次の効果画像データの合成を開始する（ステップＳｂ１４）。

次いで、システム制御部１１８は、カラオケデータの再生終了が検出されたか否かを判定する（ステップＳｂ１５）。このとき、システム制御部１１８は、カラオケデータの再生終了を検出しなかったと判定すると、ステップＳｂ１３の処理に移行し、再生終了を検出したと判定すると、カラオケデータの再生中に生成した撮像画像データを管理サーバ装置３０にアップロード（投稿）して（ステップＳｂ１６）、投稿画像ＤＢ４０３に投稿画像データとして記憶させて、本動作を終了させる。

以上説明したように、本実施形態のカラオケ通信システム１においては、ユーザのお気に入りから選択された合成素材データに含まれるタイミングデータと効果画像データとに従い、効果画像データを順次切り替えつつ効果画像をカメラによって撮像され生成された撮像画像に合成することができる。

従って、本実施形態のカラオケ通信システム１は、ユーザの選択操作が撮像画像に写り込むことを確実に防止し、撮像画像に合成する効果画像を選択するユーザの自由度を向上させつつ、ユーザの満足度を向上させることができる。

［４］第２実施形態
次に、本発明の第２実施形態のカラオケ通信システム１について説明する。なお、本実施形態のカラオケ通信システム１は、基本的に第１実施形態と同様の構成により実現され、同様の処理を実行するものであるため、以下においては、第１実施形態と異なる点についてのみ説明を行う。

本実施形態のカラオケ通信システム１は、合成素材データの生成時に用いられたカラオケデータ、すなわち、投稿画像データの生成時に用いられたカラオケデータが、ユーザの選曲した歌唱対象のカラオケデータと異なる場合などに対応するためのものである。

例えば、投稿画像データのカラオケデータと歌唱対象のカラオケデータが異なる場合とは、それぞれの楽曲の時間長及び楽曲を構成する楽曲構成データの長さや数が異なることをいう。

特に、合成処理部１２４は、合成素材データを生成した際に用いたカラオケデータ（例えば、第１の楽曲）と当該合成素材データに含まれる効果画像データを利用して撮像画像に効果画像を合成する際に用いるカラオケデータ（例えば、第２の楽曲）との再生時間長の差に応じて、合成素材データに含まれるタイミングデータに基づく効果画像を合成するタイミング及び期間の少なくともいずれか一方を変化させる。

具体的には、合成処理部１２４は、Ａメロ、Ｂメロ、サビなどの楽曲の構成上規定される所定の区間を示す楽曲構成データを有するタイミングデータを含む合成素材データを用いるとともに、撮像画像に効果画像を合成する際に、ＭＩＤＩデータ又はカラオケデータに含まれるデータに基づき再生中の楽曲構成データの切り替えタイミングを特定する。

すなわち、合成処理部１２４は、楽曲構成データ毎に、効果画像を合成するタイミング及び期間の少なくともいずれか一方を変化させる。

例えば、合成処理部１２４は、カラオケデータの再生中に、楽曲構成データの切り替えタイミングを検出すると、タイミングデータに規定された同じ楽曲構成データの効果画像データを特定し、当該特定した効果画像データに基づいて、効果画像を撮像画像に合成する。

また、この場合において、合成処理部１２４は、再生中のカラオケデータにおける楽曲構成データとタイミングデータに含まれる楽曲構成データとが同一の場合、カラオケデータの再生開始からの経過時間と無関係に同一の効果画像を撮像画像に合成する。

なお、この場合において、再生中のカラオケデータにおける楽曲構成データとタイミングデータに含まれる楽曲構成データとが同一では楽曲構成データ無い場合には、再生中のカラオケデータにおける楽曲構成データの切り替えタイミングをカウントし、当該カウント数が一致するタイミングデータに規定された効果画像データを用いてもよい。

例えば、合成処理部１２４は、再生中のカラオケデータにおける先頭から「３」回目の楽曲構成データの切り替えタイミングを検出した場合には、タイミングデータにおける先頭から「３」回目の切り替えタイミングの再生位置に規定されている効果画像データを用いる。

さらに、この場合において、第２の楽曲（すなわち、ユーザが歌唱する楽曲）が、合成素材データに対応する第１の楽曲よりも長く、多くの楽曲構成データ数を有している場合には、
（１）当該多い楽曲構成データの再生期間については、タイミングデータの最後に規定されている効果画像データに基づいて、効果画像を撮像画像に合成し、
（２）当該多い楽曲構成データの再生期間については、タイミングデータに含まれる予め定められた区間に合成する効果画像データに基づいて、合成画像を撮像画像に合成し、
（３）当該多い楽曲構成データの再生期間については、合成素材データに含まれる効果画像データから２個以上の効果画像データを抽出し、当該抽出した効果画像データに基づいて効果画像を所定時間毎に順次切り替えつつ、繰り返し合成する、
手法のいずれかを選択して、合成する構成を採用するようにしてもよい。

以上の手法を採用することにより、本実施形態のカラオケ通信システムは、カラオケデータの時間長が異なり、歌唱楽曲の時間長が、合成素材データに対応するカラオケデータの時間長より長い場合及び楽曲構成データ数が多い場合においても、歌唱楽曲の最初から最後まで、確実に効果画像データを撮像画像データに合成することができる。

［５］変形例
［５．１］変形例１
上記第２実施形態においては、合成素材データを生成した際に用いたカラオケデータ（以下、「第１の楽曲」という。）と当該合成素材データを利用して撮像画像に合成画像を合成する際に用いるカラオケデータ（以下、「第２の楽曲」という。）との再生長が異なる場合には、楽曲構成データの切り替えタイミングに基づいて、調整するとしたが、単に、第２の楽曲の再生時間長が、第１の楽曲の再生時間長より長い場合には、第２の楽曲の再生終了まで所定の効果画像データを用いてもよい。

例えば、第１の楽曲の再生時間長が、第２の楽曲の再生時間長より短い場合には、第２の楽曲の第１の楽曲よりも長い部分については、タイミングデータの最後や先頭などの予め定められたタイミングに対応付けられた効果画像データを用いて、効果画像と撮像画像とを合成してもよい。

また、最後や先頭などの特定のタイミングにおけるタイミングデータに対応付けられた効果画像データに関連する効果画像データを用いて、効果画像と撮像画像とを合成してもよい。

例えば、効果画像データに関連する効果画像データとは、形状、色及び装飾などの同一の属性を有する効果画像を示す。そして、この場合には、例えば、各効果画像データには属性ＩＤが記憶されており、システム用ＤＢ１１９には、各属性ＩＤに複数の効果画像データが対応付けて記憶される。

また、合成処理部１２４は、タイミングデータ及び効果画像データに基づいて効果画像を撮像画像に合成している際に、タイミングデータによって先頭や最後などの所定のタイミングに規定された効果画像データの属性ＩＤを読み出し、読み出した属性ＩＤと同一の属性ＩＤを有する効果画像データをシステム用ＤＢ１１９から取得する。そして、合成処理部１２４は、第２の楽曲の第１の楽曲よりも長い部分については、読み出した効果画像データに基づいて、効果画像を撮像画像に合成する。

なお、合成処理部１２４は、第２の楽曲の第１の楽曲よりも長い部分については、複数の効果画像データを特定し、当該特定した効果画像データを切り替えて効果画像と撮像画像とを合成してもよい。この場合には、合成処理部１２４は、先頭と最後に規定された効果画像データや最後の所定数（例えば、３つ）の効果画像データを用いてもよい。

［５．２］変形例２
上記実施形態においては、第１の楽曲の再生時間長が、第２の楽曲の再生時間長より短い場合には、第２の楽曲の第１の楽曲よりも長い部分については、認識処理に基づいて特定された効果画像データを用いて効果画像と撮像画像とを合成してもよい。

すなわち、合成処理部１２４は、認識処理部１２３において認識された顔領域に写ったユーザの顔から、ユーザの性別及び年齢層を推定し、当該性別及び年齢層の他のユーザ（例えば、３０代女性等）により、利用される頻度が高い効果画像データを特定して効果画像と撮像画像とを合成してもよい。

この場合には、記憶装置４０内に各効果画像データの利用頻度を利用履歴データとして記憶するためのＤＢ（以下、「利用履歴ＤＢという。」）を追加する。そして、管理サーバ装置３０は、効果画像を利用（再生及び合成に用いた場合の双方を含む。）する毎に、楽曲画像データに含まれる合成素材データとユーザＩＤとを特定し、特定された合成素材データに含まれる効果画像データの効果画像ＩＤと、ユーザＩＤのユーザ属性とを利用履歴ＤＢに記憶する。

そして、認識処理部１２３は、撮像中に撮像された顔領域に写ったユーザの性別と年齢層を推定すると、合成処理部１２４は、管理サーバ装置３０を介して利用履歴ＤＢから推定した性別及び年齢層において利用頻度の一番高い効果画像データを取得し、第２の楽曲の第１の楽曲よりも長い部分については、取得した効果画像データに基づいて、効果画像を撮像画像に合成する。

なお、合成処理部１２４は、第２の楽曲の第１の楽曲よりも長い部分については、複数の効果画像データを特定し、当該特定した効果画像データを切り替えて、効果画像と撮像画像とを合成してもよい。この場合には、合成処理部１２４は、利用頻度の高い上位（上位３つ又は上位５つなど）の効果画像データを用いればよい。

［５．３］変形例３
上記実施形態においては、カラオケデータの再生中に、投稿画像データを表示部１１５の右半分の表示領域、当該投稿画像の左半分の表示領域に撮像画像データが表示するコラボレーション画像の画像データを生成して、表示部１１５に表示させるようにしてもよい。

この構成により、ユーザの選曲した楽曲と同一の楽曲を過去に歌唱したことのある他のユーザとデュエットしているように見えるコラボレーション画像を生成することが可能となり、カラオケを実施するユーザの満足度をさらに向上させることができる。

なお、この場合におけるコラボレーション画像生成方法は、従来と同様であるが、コラボレーション画像に含まれる合成後撮像画像は、上記実施形態と同様に、ユーザにより選択された１の合成素材データを用いて生成される。

［５．４］変形例４
上記実施形態において、効果画像データの切り替わりタイミングをユーザに提示する構成とすることも可能である。

この場合には、合成処理部１２４に設けたタイマの進行時間と、タイミングデータにより示される切り替えタイミングとを比較し、切り替わりタイミングまでの時間数を通信端末装置２０に提供し、
（１）ストップウォッチ形式にて表示する。
（２）「切り替わりまで残り○秒」というような文字列を通信端末装置２０にて表示する。
（３）、通信端末装置２０にて、メータ形式にて表示する。
のいずれかの方法を採用するようにすればよい。

［５．５］変形例５
上記実施形態においては、カラオケボックスＢ等に設置されたカラオケシステム１０において、撮像画像に効果画像を合成しているが、家庭用のゲーム機器、又は、スマートフォンやタブレット型情報端末装置などの通信機器によっても実現可能である。

また、カラオケシステム１０のデータ処理部１２０の機能を管理サーバ装置３０に設けて、コラボレーション画像の画像データの生成を当該管理サーバ装置３０によって実現してもよい。

さらに、本実施形態の各装置においては、配信されたプログラムによって実行されるものであってもよい。

［５．６］変形例６
上記実施形態においては、歌唱者の歌唱音に基づくカラオケシステム１０について説明したが、ギターやドラムなどの楽器音に基づくカラオケシステム１０又はカラオケ通信システム１に適用することも可能である。この場合には、カラオケシステム１０は、マイクＭや他の入力装置によって楽器音又は演奏信号を取得すればよい。

［５．７］変形例７
上記実施形態においては、撮像画像データ及び投稿画像データが動画像であるとして説明したが、歌唱者等を撮像した静止画像であっても適用することは可能である。

［５．８］変形例８
また、合成素材データは、カラオケデータの選曲番号、楽曲タイトル、及びアーティスト名（投稿時の楽曲に関連するデータ）であるメタデータを含むようにすることにより、合成素材データ選択時にメタデータを表示させ、ユーザの利便性を向上させることができる。

［５．９］変形例９
上記実施形態においては、撮像画像に効果画像を合成する際に、ユーザ管理ＤＢ４０１に予めお気に入り記憶として記憶した合成素材データＩＤの中から１の合成素材データＩＤを選択して当該撮像画像の合成に用いる合成素材データを特定しているが、合成素材データを選択する手法はこれに限られない。

具体的には、ユーザ管理ＤＢ４０１に合成素材データＩＤと投稿ＩＤとが対応付けて記憶させており、カラオケシステム１０は、撮像画像に効果画像を合成する際に、当該ユーザ管理ＤＢ４０１に記憶された合成素材データＩＤと投稿ＩＤに基づいて合成素材データ及び投稿画像データを取得し、通信端末装置２０に提供する。

そして、通信端末装置２０は、ユーザに当該合成素材データ及び投稿画像データに基づく画像を閲覧させつつ、対応する合成素材データＩＤを選択させ、カラオケシステム１０は、当該選択された合成素材データＩＤに基づいて上記の撮像画像の生成を行う。

［５．１０］変形例１０
上記実施形態において、投稿画像データは、合成素材データなど一部のデータが含まれないデータであってもよいし、合成素材データ、選曲番号、ユーザＩＤ、音信号、及び、ユーザが入力したコメントを含むものであってもよい。

また、投稿画像データは、直接、記憶装置４０の投稿画像ＤＢにカラオケシステム１０より送信されるものであってもよい。なお、効果画像データは、静止画像、動画像のどちらであってもよい。

［５．１１］変形例１１
上記実施形態において、撮像画像データ及び投稿画像データは、通信端末装置２０に備えられているカメラによって撮像されて画像化された画像データであってもよいし、カラオケルームの一部が撮像されたユーザが撮像されていない画像データであってもよい。

また、撮像画像データ及び投稿画像データは、ユーザが所有しているスマートフォンなどの携帯型端末装置を利用して撮影された画像データであってもよい。

［５．１２］変形例１２
上記実施形態において、効果画像データは、通信端末装置２０に表示される形態で説明したが、カラオケシステム１０に備えられた表示部１１５に表示されるものであってもよい。この場合には、カラオケシステム１０に備えられた表示部１１５にタッチパネルを設け、ユーザからの効果画像データの選択を受付けることができる構成を有している。

［５．１３］変形例１３
上記実施形態において、カラオケシステム１０は、合成素材データの一覧データを受信した場合に、表示制御部１１６と連動しつつ、表示部１１５に当該合成素材データの一覧データを表示させてもよい。

１ … カラオケ通信システム
１０ … カラオケシステム
２０ … 通信端末装置
３０ … 管理サーバ装置
４０ … 記憶装置
４０１ … ユーザ管理ＤＢ
４０２ … カラオケデータ用ＤＢ
４０３ … 投稿画像ＤＢ
１１１ … 通信制御部
１１２ … 音声入出力部
１１３ … カラオケ再生部
１１４ … 音声拡声部
１１５ … 表示部
１１６ … 表示制御部
１１７ … 近距離無線通信部
１１８ … システム制御部
１１９ … システム用ＤＢ
１１１ … 通信制御部
１２０ … データ処理部
１２１ … データ取得部
１２２ … ＲＯＭ／ＲＡＭ
１２３ … 認識処理部
１２４ … 合成処理部

Claims (9)

1. 複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、前記選択された楽曲データの歌詞を表示手段に表示するカラオケシステムであって、
   前記楽曲データを再生する再生手段と、
   前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段と、
   前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段から出力された撮像画像を示す撮像画像データを受け付ける受付手段と、
   所与の画像データと、当該所与の画像データに合成された効果画像を示す効果画像データ及び効果画像が所与の画像データの画像に合成されるタイミングを示すタイミングデータを含む合成素材データと、を対応付けて記憶された記憶手段を管理する記憶管理手段と、
   前記楽曲データの再生時に前記記憶されている合成素材データの１つが選択された場合に、当該再生されている楽曲データに合わせて、当該選択された合成素材データに含まれる効果画像と前記撮像手段から出力された撮像画像と、を当該合成素材データに含まれるタイミングデータに従って合成する編集手段と、
   を備えることを特徴とする、カラオケシステム。
2. 請求項１に記載のカラオケシステムであって、
   前記選択された合成素材データが生成された際に用いられた第１の楽曲データと、当該合成素材データを前記撮像画像に合成する際に用いる第２の楽曲データと、が異なる場合に、
   前記編集手段が、
   前記効果画像と前記撮像画像とを合成する際に、前記第１の楽曲データの再生時間長と、前記第２の楽曲データの再生時間長と、の時間長の差に応じて、前記合成素材データに含まれる前記効果画像を合成するタイミング及び期間の少なくともいずれか一方を変化させる、カラオケシステム。
3. 請求項２に記載のカラオケシステムであって、
   前記編集手段が、
   前記楽曲の構成上規定される所定の区間毎に、前記効果画像を合成するタイミング及び期間の少なくともいずれか一方を変化させる、カラオケシステム。
4. 請求項２又は３に記載のカラオケシステムにおいて、
   前記第１の楽曲データの再生時間長が、前記第２の楽曲データの再生時間長より短い場合に、
   前記編集手段が、
   前記第２の楽曲データの第１の楽曲データよりも長い部分については、前記第１の楽曲データのタイミングデータが示すタイミングに対応する前記効果画像データに基づく前記効果画像と前記撮像手段から出力された撮像画像とを合成する、カラオケシステム。
5. 請求項２又は３に記載のカラオケシステムにおいて、
   前記第１の楽曲データの再生時間長が、前記第２の楽曲データの再生時間長よりも短い場合に、
   前記編集手段が、
   前記第２の楽曲データの第１の楽曲データよりも長い部分については、前記第１の楽曲データのタイミングデータが示すタイミングに対応する効果画像データに関連する前記効果画像データに基づく記効果画像と前記撮像手段から出力された撮像画像とを合成する、カラオケシステム。
6. 請求項２又は３に記載のカラオケシステムにおいて、
   前記撮像手段から出力された撮像画像に含まれるユーザの顔に対応する顔領域を特定する顔認識手段を有し、
   前記記憶手段には、
   前記効果画像データ毎に、前記効果画像データを用いたユーザの属性を示す属性データと、前記効果画像データの利用履歴を示す利用履歴データと、が対応付けられて記憶されており、
   前記顔認識手段が、
   前記顔領域に含まれる顔に基づき前記ユーザの属性を特定するとともに、
   前記編集手段が、
   前記第１の楽曲データの再生時間長が、前記第２の楽曲データの再生時間長よりも短い場合に、前記第２の楽曲データの第１の楽曲データよりも長い部分については、
   前記特定されたユーザの属性の前記記憶されている利用履歴データに基づいて、利用頻度の高い効果画像データを特定し、
   前記特定した前記効果画像データに基づく前記効果画像と前記撮像手段から出力された撮像画像とを合成する、カラオケシステム。
7. 請求項５又は６に記載のカラオケシステムにおいて、
   前記編集手段が、
   前記第２の楽曲データの第１の楽曲データよりも長い部分については、前記効果画像データを切り替えて前記効果画像と前記撮像画像とを合成する、カラオケシステム。
8. 請求項１〜７のいずれか１項に記載のカラオケシステムにおいて、
   前記撮像画像に含まれるユーザの顔に対応する顔領域を特定する顔認識手段、を有し、
   前記編集手段が、特定された前記顔領域に基づき、前記効果画像と前記撮像画像とを合成する、カラオケシステム。
9. 複数の楽曲データから選択された１の楽曲データを再生して楽音を出力させるとともに、当該楽音の出力に伴って前記選択された楽曲データの歌詞を表示手段に表示するカラオケ装置用のコンピュータを、
   前記楽曲データを再生する再生手段、
   前記再生された楽曲データの楽音と、入力手段によって入力された音と、を出力する出力手段、
   前記楽曲データの再生に合わせて歌唱する歌唱者及び当該歌唱者に関連する撮像対象の少なくともいずれか一方を撮像する撮像手段から出力された撮像画像を示す撮像画像データを受け付ける受付手段、
   所与の画像データと、当該所与の画像データに合成された効果画像を示す効果画像データ及び効果画像が所与の画像データの画像に合成されるタイミングを示すタイミングデータを含む合成素材データと、を対応付けて記憶された記憶手段を管理する記憶管理手段、及び、
   前記楽曲データの再生時に前記記憶されている合成素材データの１つが選択された場合に、当該再生されている楽曲データに合わせて、当該選択された合成素材データに含まれる効果画像データを用いることによって、前記効果画像と前記撮像手段から出力された撮像画像と、を当該合成素材データに含まれるタイミングデータに従って合成する編集手段、
   として機能させることを特徴する、プログラム。