JP5789477B2 - 画像再生装置及び画像再生システム - Google Patents

Description

本発明は、飲食店、カラオケボックス、家庭等に設置される画像再生装置及び画像再生システムに関する。

特許文献１には、カラオケ曲の演奏中又は曲間に、人気曲及び話題性の高い楽曲に関係する広告情報を画像表示装置に表示させることができるカラオケ装置が記載されている。また、特許文献２には、歌唱中に定型の批評メッセージを画像表示装置に表示させることができるカラオケ装置が記載されている。また、カラオケ歌唱中にユーザが撮像及び集音して得た映像データ及び音声データを、カラオケ店舗に設置されたカラオケ端末装置から中央装置へアップロードし、歌唱に係る動画コンテンツとして動画閲覧サイトで閲覧可能に公開するようにしたカラオケシステムが実用化されている。

特開２００３−３４５３２６号公報 特開平３−２９０６９２号公報

しかしながら、従来のカラオケ装置にあっては、歌詞画像の背景に表示される背景画像に含まれる対象物（撮像されている歌唱者を含む）とは関係なく背景画像の一部の領域に広告情報又は定型の批評メッセージ情報を表示させるだけであり、背景画像内に含まれる対象物と一体感のあるメッセージ情報又は広告情報を表示するものではない。そのため、多様な表現形式でメッセージ情報及び広告情報を背景画像内に表示することによりカラオケの娯楽性を高めることができなかった。また、カラオケボックスで歌唱中の歌唱者の撮影画像を背景画像として画像表示装置に表示させる場合、歌唱者の背景が一般的に部屋の壁であることから背景画像が簡素なものになっていた。

本発明は斯かる事情に鑑みてなされたものであり、文字入力可能な遠隔操作装置から文字列データを画像再生装置に送信し、又は装置自身に設けられたタッチパネルにて文字列データを受け付け、その文字列データを、歌唱者画像を表示している表示領域の一部を除く画像の領域に設定されている文字列表示領域内に表示させることにより、背景画像に面白みをもたせることができると共に背景画像と一体感のあるメッセージ情報及び広告情報等をユーザに見せることができる画像再生装置及び画像再生システムを提供することを目的とする。

本発明の画像再生装置は、複数の楽曲のうちから選択された楽曲を出力させる手段及び楽曲の出力と併行して撮影手段により撮影される歌唱者画像を含む画像の表示を制御する表示制御手段を備える画像再生装置において、文字列データを受信する受信手段と、歌唱者画像を表示している表示領域の一部を除く画像の領域に、文字列データに対応する文字列の表示が可能な文字列表示領域を設定する設定手段と、文字列データを記憶する記憶手段と、該記憶手段から文字列データを読み出す読み出し手段とを備え、前記表示制御手段は、前記受信手段が受信した文字列データに対応する文字列を、前記設定手段により設定された文字列表示領域内に表示し、前記受信手段が受信した文字列データに対応付けられていない文字列表示領域がある場合、前記読み出し手段により読み出された文字列データに対応する文字列を該文字列表示領域内に表示させるようにしてあることを特徴とする。

本発明にあっては、歌唱者画像を表示している表示領域の一部を除く画像の領域に文字列表示領域を設定し、その文字列表示領域に外部から受信した文字列を表示するために、画像と一体感のある文字列を表示させることができると共に、文字列を表示したことにより所定領域が見えなくなることはない。

本発明にあっては、文字列表示領域に空きの領域がある場合、その文字列表示領域内にユーザが入力した文字列とは別の文字列（例えば、広告データに関する文字列）を表示するため、文字列表示領域を無駄なく利用することができる。

本発明の画像再生装置は、文字列データを受信したか否かを判定する判定手段を更に備え、前記表示制御手段は、前記判定手段が否と判定した場合、前記読み出し手段により読み出された文字列データに対応する文字列を前記文字列表示領域内に表示させるようにしてあることを特徴とする。

本発明にあっては、外部から文字列データを受信しなかった場合、即ち、外部から文字列データが送信されなかった場合、文字列表示領域内にユーザが入力した文字列とは別の文字列（例えば、広告を表す文字列）を表示するため、全ての文字列表示領域を有効利用することができる。

本発明の画像再生装置は、文字列表示領域の大きさを求める手段と、文字列表示領域の大きさに応じて入力可能文字数を設定する手段と、受信した文字列データに含まれる文字数と、設定された入力可能文字数とを比較する手段とを更に備え、比較した結果に応じて、文字の表示態様及び文字列表示領域の態様の少なくとも一方を変更することを特徴とする。

本発明にあっては、歌唱者の動きに応じて動的に文字列表示領域の表示態様（サイズ及び文字列表示領域に含まれる文字の大きさ等）を設定するため、画像表示装置には、文字列表示領域と入力文字とがバランス良く、かつ、それぞれが適切なサイズで表示される。

本発明の画像再生装置は、複数の楽曲のうちから選択された楽曲を出力させる手段及び楽曲の出力と併行して撮影手段により撮影される歌唱者画像を含む画像の表示を制御する表示制御手段を備える画像再生装置において、画像を表示する表示部と、該表示部の前面に配され、文字列データを受け付けるタッチパネルと、歌唱者画像を表示している表示領域の一部を除く画像の領域に、文字列データに対応する文字列の表示が可能な文字列表示領域を設定する設定手段と、文字列データに対応する文字列を該文字列表示領域内に表示させるときの文字の大きさが所定ポイント以上であるか否かを判定する手段とを備え、前記表示制御手段は、前記文字の大きさが所定ポイント以上であると判定した場合、前記タッチパネルが受け付けた文字列データに対応する文字列を、前記設定手段により設定された文字列表示領域内に表示させる手段と、前記文字の大きさが所定ポイント未満であると判定した場合、撮影される歌唱者画像を含む画像を外部の画像表示装置に表示させ、前記タッチパネルが受け付けた文字列データに対応する文字列を前記表示部に表示させる手段とを備えることを特徴とする。

本発明にあっては、装置自身に設けられたタッチパネルにて、文字列を受け付け、歌唱者画像にメッセージ情報を合成して表示する。

本発明にあっては、歌唱者画像を外部の画像表示装置に表示させ、受け付けたメッセージ情報を自身の表示部に表示する。

本発明にあっては、文字列表示領域の大きさが不十分である場合、歌唱者画像を外部の画像表示装置に表示させ、受け付けたメッセージ情報を自身の表示部に表示する。

本発明の画像再生装置は、前記表示制御手段は、外部の画像表示装置に表示させる画像と、前記表示部に表示させる画像とを切り替える手段を備えることを特徴とする。

本発明にあっては、第１の画像を外部の画像表示装置に表示させ、第２の画像を前記表示部に表示させる表示モードと、第２の画像を外部の画像表示装置に表示させ、第１の画像を前記表示部に表示させる表示モードとを切り替えることが可能である。

本発明の画像再生装置は、歌唱者画像を含む画像を記憶する記憶装置を更に備え、前記表示制御手段は、前記記憶装置から読み出した歌唱者画像を含む画像を外部の画像表示装置に表示させると共に、前記撮影手段により撮影される歌唱者画像を含む画像を前記表示部に併行して表示させる第１制御手段と、前記記憶装置から読み出した歌唱者画像を含む画像を前記表示部に表示させると共に、前記撮影手段により撮影される歌唱者画像を含む画像を外部の画像表示装置に併行して表示させる第２制御手段と、前記第１制御手段又は前記第２制御手段による表示制御を選択する手段とを備えることを特徴とする。

本発明にあっては、撮像した歌唱者画像を外部の画像表示装置に表示させ、記憶手段から読み出した他の歌唱者画像を表示部に表示させる表示モードと、撮像した歌唱者画像を表示部に表示させ、記憶手段から読み出した他の歌唱者画像を外部の画像表示装置に表示させる表示モードとを切り替えることが可能である。

本発明の画像再生システムは、複数の楽曲のうちから選択された楽曲を出力させる手段及び楽曲の出力と併行して撮影手段により撮影される歌唱者画像を含む画像の表示を制御する表示制御手段を備える画像再生装置と、該画像再生装置を遠隔操作すると共に、該画像再生装置から送信されたデータを受信する遠隔操作装置とを備える画像再生システムにおいて、前記画像再生装置は、前記遠隔操作装置から送信された文字列データを受信する受信手段と、歌唱者画像を表示している表示領域の一部を除く画像の領域に、文字列データに対応する文字列の表示が可能な文字列表示領域を設定する設定手段と、文字列データを記憶する記憶手段と、該記憶手段から文字列データを読み出す読み出し手段とを備え、前記表示制御手段は、前記受信手段が受信した文字列データに対応する文字列を、前記設定手段により設定された文字列表示領域内に表示し、前記受信手段が受信した文字列データに対応付けられていない文字列表示領域がある場合、前記読み出し手段により読み出された文字列データに対応する文字列を該文字列表示領域内に表示させるようにしてあり、前記遠隔操作装置は、文字列データを受け付ける受け付け手段と、該受け付け手段が受け付けた文字列データを前記画像再生装置に送信する手段とを備えることを特徴とする。

本発明にあっては、歌唱者画像を表示している表示領域の一部を除く画像の領域に文字列表示領域を設定し、その文字列表示領域に遠隔操作装置から受信した文字列を表示するために、画像と一体感のある文字列を表示させることができると共に、文字列を表示したことにより所定領域が見えなくなることはない。
本発明にあっては、文字列表示領域に空きの領域がある場合、その文字列表示領域内にユーザが入力した文字列とは別の文字列（例えば、広告データに関する文字列）を表示するため、文字列表示領域を無駄なく利用することができる。

本発明の画像再生システムは、歌唱者画像を含む画像を記憶する記憶装置を更に備え、前記表示制御手段は、該記憶装置から読み出した歌唱者画像を含む画像と、前記撮影手段により撮影される歌唱者画像を含む画像とを併行して表示させるようにしてあることを特徴とする。

本発明にあっては、予め記憶装置に記憶してある歌唱者画像を含む画像と、撮影中の歌唱者画像とを併行して画像表示装置に表示させるため、手軽にデュエットができる。

本発明によれば、文字入力可能な遠隔操作装置から文字列データを画像再生装置に送信し、又は装置自身に設けられたタッチパネルにて文字列データを受け付け、その文字列データを、歌唱者画像を表示している表示領域の一部を除く画像の領域に設定されている文字列表示領域内に表示させるため、背景画像に面白みをもたせることができると共に背景画像と一体感のあるメッセージ情報及び広告情報等をユーザに見せることができる。

カラオケシステムの一構成例を模式的に示す説明図である。 中央装置の一構成例を示すブロック図である。 ユーザ情報データベースのレコードレイアウトの一例を模式的に示す説明図である。 楽曲データベースのレコードレイアウトの一例を模式的に示す説明図である。 背景画像データベースのレコードレイアウトの一例を模式的に示す説明図である。 カラオケ装置の構成例を示すブロック図である。 自分撮りモードにて画像表示装置に表示される歌唱者の歌唱風景の画像の一例を示す説明図である。 遠隔操作装置の構成例を示すブロック図である。 表示装置に表示されたメッセージ情報入力画面の一例を示す説明図である。 遠隔操作装置のメッセージ情報入力画面と、画像表示装置に表示される歌唱者の歌唱風景の画像との関係を模式的に示した説明図である。 遠隔操作装置から送信されたメッセージ情報及びカラオケ装置が予め記憶している広告情報をテキスト表示領域内に表示する処理の流れを示すフローチャートである。 遠隔操作装置から送信されたメッセージ情報及びカラオケ装置が予め記憶している広告情報をテキスト表示領域内に表示する処理の流れを示すフローチャートである。 遠隔操作装置から送信されたメッセージ情報及びカラオケ装置が予め記憶している広告情報をテキスト表示領域内に表示する処理の流れを示すフローチャートである。 実施の形態２における中央装置の一構成例を示すブロック図である。 実施の形態２におけるユーザ情報データベースのレコードレイアウトの一例を模式的に示す説明図である。 動画データベースのレコードレイアウトの一例を概念的に示す説明図である。 混成動画データベースのレコードレイアウトの一例を概念的に示す説明図である。 混成動画コンテンツの生成及び登録に係る制御部の処理手順を示すフローチャートである。 混成動画コンテンツの生成及び登録に係る制御部の処理手順を示すフローチャートである。 遠隔操作装置のメッセージ情報入力画面と、画像表示装置に表示される二人の歌唱者の歌唱風景の画像との関係を模式的に示した説明図である。 実施の形態３に係るカラオケ装置の構成例を示すブロック図である。 実施の形態３におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。 実施の形態３におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。 実施の形態３におけるメッセージ情報の表示方法を示す説明図である。 実施の形態３におけるメッセージ情報の表示方法を示す説明図である。 実施の形態４に係る表示モード選択画面の一例及びメッセージ情報の表示方法を示す説明図である。 実施の形態４に係る表示モード選択画面の一例及びメッセージ情報の表示方法を示す説明図である。 実施の形態４に係る表示モード選択画面の一例及びメッセージ情報の表示方法を示す説明図である。 実施の形態４におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。 実施の形態４におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。 実施の形態４におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。 実施の形態４におけるメッセージ情報の表示方法を示す説明図である。 実施の形態５におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。 実施の形態５におけるメッセージ情報の表示に係る制御部の処理手順を示したフローチャートである。

以下、図面を参照して実施の形態を具体的に説明する。
実施の形態１
図１は、カラオケシステムの一構成例を模式的に示す説明図である。
カラオケシステムは、カラオケコンテンツ提供会社に設置されている中央装置１と、カラオケボックス、飲食店等の店舗２（以下、「カラオケ店舗２」と呼ぶ。）に設置されているカラオケ装置４と、中央装置１とカラオケ装置４とを接続する通信網Ｎとを有する。

中央装置１は、主にカラオケに係る情報（以下、「カラオケ情報」と呼ぶ。）をカラオケ装置４に配信すると共にカラオケを利用した多様なサービスをカラオケ店舗２に提供する。
カラオケ装置４は、カラオケ店舗２の各個室２１に通常１台設置され、有線ＬＡＮ（Local Area Network）ケーブル３２を介して、カラオケ店舗２に設置されたルータ３１に接続されている。

また、各個室２１には、カラオケ装置４を遠隔操作することができる遠隔操作装置５（「電子早見本装置」とも呼ぶ）が置かれている。遠隔操作装置５は、ペンタッチ入力可能なタッチパネルから構成されたボード型の情報入力装置である。遠隔操作装置５は、カラオケシステムへのログイン、歌唱曲の選曲、歌唱に関するメッセージ情報、コメント情報等の入力操作に用いられる。カラオケ店舗２内には複数のカラオケ装置４を相互に接続するＬＡＮが敷設されており、遠隔操作装置５とカラオケ装置４との間のデータ送受信はアクセスポイント３３及び有線ＬＡＮケーブル３２を介して行われる。
通信網Ｎは、電話回線又は専用線から成り、中央装置１及びカラオケ装置４は通信網Ｎを介して相互にデータ送受信を行う。

図２は中央装置の一構成例を示すブロック図である。
中央装置１は、楽曲データ、背景画像データ、広告データ等を含むカラオケ情報を記憶すると共に、通信回線Ｎを介してカラオケ情報をカラオケ装置４に定期的に配信するサーバである。楽曲データとは、演奏音を生成するための演奏データ及び歌詞文字画像（「歌詞テロップ」とも呼ぶ。）を生成するための歌詞データ等である。背景画像データとは、楽曲の演奏中に個室に設置された表示装置に表示する画像を生成するための画像データである。広告データとは、例えば、新譜情報、選曲数ランキング、ＣＤの売上げランキング、カラオケ店舗２内で販売している飲食物等に関する広告画像を生成するための画像データである。広告データは、カラオケ店舗内の表示装置を介して歌唱者及び聴取者に対して提供されるカラオケ情報及びカラオケ店舗に関する最新情報である。

中央装置１は、その中央装置１の各構成部の動作を制御する制御部１０、ＲＯＭ１１、ＲＡＭ１２、記憶装置１３及び通信部１４を有し、各部はバス１５を介して接続され相互にデータの送受信を行う。

制御部１０は内部にＣＰＵを含み、中央装置１を統括的に制御すると共にカラオケ装置４へのカラオケ情報の配信を制御する。
ＲＯＭ１１は、制御部１０の動作を指示するプログラムを記憶したマスクＲＯＭ、ＥＥＰＲＯＭ等のメモリである。
ＲＡＭ１２は、制御部１０による処理に必要なデータ及び処理に伴い発生するデータを一時記憶するＤＲＡＭ、ＳＲＡＭ等のメモリである。

記憶装置１３は、コンピュータを、中央装置１として機能させるためのコンピュータプログラムを記憶するハードディスク、不揮発性メモリ等である。また、記憶装置１３には、カラオケシステムのユーザに関するデータを記憶するユーザ情報データベース１３ａ、楽曲データを記憶する楽曲データベース１３ｂ、背景画像データを記憶する背景画像データベース１３ｃ及び広告データベース１３ｄが設けられている。
通信部１４は、通信網Ｎを介して、楽曲データ、背景画像データ、広告データをカラオケ装置４に送信する。

図３はユーザ情報データベースのレコードレイアウトの一例を模式的に示す説明図である。図４は楽曲データベースのレコードレイアウトの一例を模式的に示す説明図である。図５は背景画像データベースのレコードレイアウトの一例を模式的に示す説明図である。

図３に示すユーザ情報データベース１３ａは、カラオケ装置４を利用したユーザに関する情報をユーザ固有の識別情報、即ちユーザＩＤと対応付けて記憶する。
ユーザ情報データベース１３ａのレコードレイアウトは、複数の列、例えば「ユーザＩＤ」列、「ニックネーム」列、各行には、各列に対応した情報が記憶されている。図示しないが、ユーザ情報データベース１３ａは、更に、歌唱者が得意な曲として登録した楽曲に関する情報、歌唱者により選曲された楽曲の履歴情報、例えば、選曲された演奏曲の楽曲ＩＤ、歌唱者の過去の歌唱評価結果に関する情報を記憶する。

ユーザＩＤ、電子メールアドレス、パスワードは、ユーザがカラオケシステムにログインして各種サービスを利用する際に必要となる認証情報である。ニックネームは、ユーザの仮の名称であり、カラオケシステムのユーザはニックネームを用いて互いを識別する。パスワードは複数の英数字文字列から成る。

図４に示す楽曲データベース１３ｂは、カラオケ装置４へ配信する楽曲データ及びそれに関連するデータを記憶する。楽曲データ及びそれに関連するデータは、各演奏曲に固有の識別情報、即ち楽曲ＩＤと対応付けて記憶される。

楽曲データベース１３ｂのテーブルは、複数の列、例えば「楽曲ＩＤ」列、「曲名」列、「歌手名」列、「楽曲データ」列、「ジャンル」列等で構成されており、「楽曲ＩＤ」列と他の列とは対応付けて記憶されている。また、各行には、各列に対応した情報が記憶されている。曲名は楽曲の名称、歌手名は楽曲の歌い手の名前、楽曲データは楽曲の伴奏データを含む楽曲データ、ジャンルは楽曲が属する音楽分野又はその楽曲が使用されるテレビ番組又は映画の種類である。ジャンルとしては、例えば、Ｊ−ＰＯＰ、ドラマ、アニメ、邦楽ポップス、演歌等が挙げられる。

「楽曲データ」列には、例えば、伴奏データ、歌詞データ、主旋律データが記憶されている。伴奏データは、例えば、ＭＩＤＩデータであり、音のオンオフを指定するデータ、音程を指定する音程データ、音量を指定する音量データ、楽器の制御データ、楽器を指定する音色データ、各音の出力時間間隔を指定する時間データ等で構成される。主旋律データは、伴奏に合わせて歌唱すべき音の旋律、即ち、主旋律を構成する音のオンオフを示すデータ、音程データ、音量データ、主旋律の各オンの出力時間間隔を示す時間データ等で構成されている。

図５に示す背景画像データベース１３ｃは、カラオケ装置４へ送信する背景画像データを記憶する。図５Ａに示す例では、背景画像データは、楽曲ＩＤ及び背景画像ＩＤと対応付けて記憶されている。即ち、楽曲ＩＤ及び背景画像ＩＤによって背景画像データが選択される。図５Ｂに示す例では、背景画像データは、歌手名及び背景画像ＩＤと対応付けて記憶されている。即ち、歌手名及び背景画像ＩＤによって背景画像データが選択される。図５Ｃに示す例では、背景画像データは、ジャンル名及び歌手名と対応付けて記憶されている。即ち、ジャンル名及び背景画像ＩＤによって背景画像データが選択される。

広告データベース１３ｄは、広告情報を記憶する。広告情報は、例えば、カラオケ装置４により演奏可能となったカラオケの新譜情報、所定期間における楽曲の選曲数ランキングに関する情報、所定期間におけるＣＤの売り上げランキング、カラオケ店舗で販売されている飲食物及びそれらの価格、カラオケ店舗で実施中又は実施予定のサービス又はキャンペーンの内容等である。

図６はカラオケ装置の構成例を示すブロック図である。
カラオケ装置４は、そのカラオケ装置４の各構成部の動作を制御する制御部４０、ＲＯＭ４１、ＲＡＭ４２、記憶装置４３、通信部４４、送受信部４５、画像エンコーダ４６ａ、画像制御回路４６ｂ、画像デコーダ４６ｃ、画像解析部４６ｇ、採点部４７、音声エンコーダ４８ａ、音源４８ｂ及び音声デコーダ４８ｃを有し、各部はバス４９を介して接続され相互にデータの送受信を行う。

画像ミキサ４６ｄには、画像エンコーダ４６ａ、画像制御回路４６ｂ及び画像デコーダ４６ｃが接続され、音声ミキサ４８ｄには、採点部４７、音声エンコーダ４８ａ、音源４８ｂ及び音声デコーダ４８ｃが接続されている。更に、カラオケ装置４は、図示しない画像入力端子、画像出力端子、音声入力端子、音声出力端子を有しており、各端子にはそれぞれ、撮像装置４６ｅ、画像表示装置４６ｆ、マイク４８ｅ及びスピーカ４８ｆが接続されている。

撮像装置４６ｅは、例えばＣＣＤカメラである。撮像装置４６ｅにより撮影された画像はカラオケ装置４の制御部４０に入力される。
尚、撮像装置４６ｅは、カラオケ装置４によりカラオケ演奏を行う歌唱者の像を撮影し得る位置に予め固定されている。また、画像表示装置４６ｆは、例えば、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等である。

制御部４０は内部にＣＰＵを含み、カラオケ装置４を統括的に制御すると共に中央装置１及び遠隔操作装置５との間のカラオケ情報の送受信を制御する。
制御部４０は、遠隔操作装置５を介して楽曲が選曲された場合、選曲された楽曲をＲＡＭ４２内に設けられた予約曲リストに登録する。次いで、制御部４０は、その予約曲リストに登録された楽曲の演奏順に従って、選曲された楽曲データを記憶装置４３から読み出しＲＡＭ４２に記憶する。また、制御部４０は、楽曲の演奏が進行するのに伴いＲＡＭ４２から楽曲データを読み出し、音源４８ｂへ与える。また、制御部４０は、画像デコーダ４６ｃを制御して所定の背景画像を再生させ、画像表示装置４６ｆに表示させる。更に、制御部４０は、曲間又は演奏中に、新譜情報、選曲ランキング、カラオケ店舗の広告データを記憶装置４３の広告データベース４３ｃから読み取り、画像表示装置４６ｆに表示させる。

ＲＯＭ４１は、コンピュータの動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰＲＯＭ等のメモリである。
ＲＡＭ４２は、制御部４０が処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ、ＳＲＡＭ等のメモリである。

記憶装置４３は、コンピュータを、カラオケ装置４として機能させるためのコンピュータプログラムを記憶するハードディスク、不揮発性半導体メモリ等である。また、記憶装置４３には、楽曲データを記憶する楽曲データベース４３ａ、背景画像データを記憶する背景画像データベース４３ｂ、広告データを記憶する広告データベース４３ｃが設けられている。カラオケ装置４には、定期的に、新たな楽曲データ、背景画像データ、広告データ等が中央装置１から配信され、記憶装置４３の楽曲データベース４３ａ、背景画像データベース４３ｂ、広告データベース４３ｃに記憶される。これらのデータベースの基本的な構成は中央装置１の記憶装置１３に設けられた各種データベースと同様である。

通信部４４は、通信網Ｎを介して接続された他のカラオケ装置４及び中央装置１との間で、カラオケ情報、各種カラオケサービスに関する情報を送受信する。
送受信部４５は、有線ＬＡＮ又は無線ＬＡＮを介して、遠隔操作装置５との間で情報の送受信を行う。例えば、カラオケ装置４は、送受信部４５を介して、遠隔操作装置５からの選曲入力を受け付ける一方、遠隔操作装置５へ所定の処理を実行させるための指令を送信する。尚、通信部４４は、アクセスポイント３３を介して遠隔操作装置５との間で情報の送受信を行うことができる。

画像エンコーダ４６ａは、撮像装置４６ｅから出力され、画像入力端子を通じて入力された画像データを圧縮符号化する回路であり、圧縮符号化された画像データは、一時的にＲＡＭ４２又は記憶装置４３に記憶される。尚、圧縮符号化の形式は、例えばＭＰＥＧであるが、特にこれに限定されない。

画像制御回路４６ｂは、ＲＡＭ４２又は記憶装置４３から画像情報を読み出し、各種画像を表現した画像データを生成し、画像ミキサ４６ｄに与える等、画像に関する各種制御処理を実行する。例えば、楽曲データの再生時、画像制御回路４６ｂは、楽曲データに含まれる歌詞データに基づいて、歌詞を表現した画像データを画像ミキサ４６ｄに与える。また、画像制御回路４６ｂは、カラオケ装置４の操作に関するメニュー画面、歌唱採点結果表示画面等を表現した画像データを画像ミキサ４６ｄに与える。

画像デコーダ４６ｃは、記憶装置４３の背景画像データベース４３ｂから、例えば、歌唱時に画像表示される背景画像データを読み出して復号し、復号された画像データを画像ミキサ４６ｄに与える。背景画像データは、例えば、ＭＰＥＧ形式のデータである。

画像ミキサ４６ｄは、画像制御回路４６ｂと、画像デコーダ４６ｃと、撮像装置４６ｅとから送られた画像の全部又はいずれか２つを合成し、合成して得られた画像データを画像表示装置４６ｆへ出力する。画像表示装置４６ｆは、画像ミキサ４６ｄから出力された画像データに基づいて画像を表示する。

カラオケ装置４は、背景画像データベース４３ｂに予め記憶されている背景画像データを背景画像として画像表示装置４６ｆに表示させるモードと、歌唱者の歌唱風景を背景画像として画像表示装置４６ｆに表示させるモード（以下、「自分撮りモード」と呼ぶ。）を有する。よって、画像ミキサ４６ｄは、制御部４０からの指示に従い、画像デコーダ４６ｃ及び撮像装置４６ｅのいずれか一方から送られた画像データを画像表示装置４６ｆへ出力する。

実施の形態１では、カラオケ装置４は自分撮りモードに設定され、したがって、画像表示装置４６ｆには背景画像が表示されずに歌唱者の歌唱風景が表示されるものとする。
図７は、自分撮りモードにて画像表示装置に表示される歌唱者の歌唱風景の画像の一例を示す説明図である。
図７に示すように、画像表示装置４６ｆには、主に歌唱者の上半身と、その歌唱者の背景として個室の壁とが表示されている。実施の形態１では、カラオケ装置４は、歌唱者の撮影画像の背景部にテキスト表示領域２０を設定し、そのテキスト表示領域２０にユーザが遠隔操作装置５を用いて入力したメッセージ情報を表示する構成をとる。

画像解析部４６ｇは、撮像装置４６ｅにより撮影されている歌唱者の画像を解析し、歌唱者の顔領域を識別する。顔領域の識別には、例えば、公知の顔認識技術を用いることができる。次いで、画像解析部４６ｇは、識別した顔領域を除いた領域を背景領域として設定する。詳細は後述するが、実施の形態１では、ユーザが遠隔操作装置５を用いてメッセージ情報の入力を行うと、その背景領域内の任意又は所定の場所に例えば矩形、ハート型、吹き出し形等のテキスト表示領域２０が設定される。これにより、ユーザは、遠隔操作装置５を操作してテキスト表示領域２０にメッセージ情報を表示させることができる。前述の通り、テキスト表示領域２０は顔領域を除く領域内に設定されているため、テキスト表示領域２０と歌唱者の顔とが重なり歌唱者の顔が見えなくなることはない。ここで、歌唱者の周辺に聴取者がいる場合、その者の顔に対しても顔認識をし、テキスト表示領域がその顔に重ならないようにする。また、人物の胴体部分を更に認識することにより、テキスト表示領域が人物の顔及び胴体と重ならないようにしてもよい。

採点部４７は、マイク４８ｅから出力され音声入力端子を通じて入力された音声データを取得し、また、記憶装置４３の楽曲データベース４３ａから楽曲データを読み出し、音声データ及び楽曲データに含まれる主旋律データに基づいて、歌唱の音声及び主旋律における音程、音量、リズムを評価し、歌唱力をリアルタイムで採点する。

音声エンコーダ４８ａは、マイク４８ｅから出力され音声入力端子を通じて入力された音声データを取得し、取得した音声データを圧縮符号化する。尚、圧縮符号化の形式は、例えばＭＰ３、ＡＡＣ（Advanced Audio Coding）、ＡＣ３（Audio Code number3）等であるが、特にこれらに限定されない。
音源４８ｂは、記憶装置４３の楽曲データベース４３ａから読み出された楽曲データに基づいて楽器の演奏信号等の音声データを作成するＭＩＤＩ（Musical Instrument Digital Interface）音源である。音源４８ｂにより作成された音声データは音声ミキサ４８ｄへ与えられる。
音声デコーダ４８ｃは、ＲＡＭ４２又は記憶装置４３の楽曲データベース４３ａから読み出した音声データを復号し、復号して得た音声データを音声ミキサ４８ｄに与える。
音声ミキサ４８ｄは、音源４８ｂと、音声デコーダ４８ｃとから送られた音声データに基づいて音声を合成し、合成して得た音声データを、音声出力端子を通じてスピーカ４８ｆへ出力する。スピーカ４８ｆは、音声ミキサ４８ｄから出力された音声データに基づいて音声を放音する。

図８は遠隔操作装置の構成例を示すブロック図である。
遠隔操作装置５は、その遠隔操作装置５の各構成部の動作を制御する制御部５０、ＲＯＭ５１、ＲＡＭ５２、記憶部５３、送受信部５４、表示制御部５５及び入力制御部５９を有し、各部はバス１００を介して接続され相互にデータの送受信を行う。また、表示制御部５５及び入力制御部５９にはタッチパネルディスプレイ５６が接続されている。タッチパネルディスプレイ５６は、所定の画像を表示させる表示装置５７と、ユーザがタッチペンを接触させることにより文字等を入力するタッチパネル５８を有する。表示制御部５５は表示装置５７による表示を制御し、入力制御部５９はタッチパネル５８による入力を制御する。

ＲＯＭ５１は、コンピュータの動作に必要な制御プログラムを記憶したマスクＲＯＭ、ＥＥＰＲＯＭ等のメモリである。
ＲＡＭ５２は、制御部５０が処理を実行する際に生ずる各種データを一時記憶するＤＲＡＭ、ＳＲＡＭ等のメモリである。

記憶部５３は、コンピュータを、遠隔操作装置５として機能させるためのコンピュータプログラムを記憶するハードディスク、不揮発性半導体メモリ等である。また、記憶部５３には、カラオケ装置４の楽曲データベース４３ａに記憶された楽曲データそれぞれに対応して曲名、アーティスト名、歌詞の歌い出し部分等の選曲案内情報を楽曲ＩＤ毎に記憶する演奏曲データベース、メッセージ情報を記憶するメッセージ情報データベース等の各種データベースが設けられている。

制御部５０は、記憶部５３から選曲案内情報を読み出し、表示装置５７を介してその選曲案内情報に基づく所定の選曲案内情報をタッチパネル５８上に表示させる。タッチパネル５８上に表示された選曲案内情報に従ってユーザがタッチパネル５８にて選曲入力を行うと、制御部５０は、楽曲を予約するための選曲予約信号をカラオケ装置４に送信するための制御を行う。更に、制御部５０は、メッセージ情報受付／表示制御を実行する。

続いて、遠隔操作装置５の表示装置５７がユーザに示すメッセージ情報入力画面について説明する。
制御部５０は、ユーザによるタッチパネルディスプレイ５６による操作に応じてカラオケ装置４への選曲入力を制御する。すなわち、制御部５０は表示制御部５５を用いて表示装置５７に所定の選曲入力画面を表示させる。次いで、制御部５０は、入力制御部５９を用いて、タッチパネル５８上に表示されている選曲入力画面に対する楽曲ＩＤの入力を受け付け、受け付けた楽曲ＩＤをカラオケ装置４に送信する。送信された楽曲ＩＤは、カラオケ装置４が有するＲＡＭ４２に形成されている予約曲リストに予約曲の番号として記憶される。

選曲した楽曲の演奏が開始されて撮像装置４６ｅが撮影する歌唱者の歌唱風景の画像が表示装置５７に表示されると、聴取者は、その歌唱風景を見ながら遠隔操作装置５に主にその歌手風景に関するコメント、感想、応援等といったメッセージ情報を入力し、画像内のテキスト表示領域にそのメッセージ情報を表示させる。

図９は、表示装置５７に表示されたメッセージ情報入力画面の一例を示す説明図である。
制御部５０は、メッセージ情報の入力に際して表示制御部５５を介して表示装置５７に五十音又はアルファベットといった文字から成るメッセージ情報を入力するための文字ボタン６０を表示させる。次いで、制御部５０は、文字ボタン６０へのタッチペンの接触に応じてタッチパネル５８によりその文字ボタンに対応する文字の入力を受け付ける。制御部５０は、入力されたメッセージ情報を画面上部の表示窓６１に表示させる。表示窓の上部には、「カラオケ画像に好きな言葉を飛ばそう」というタイトルが付けられている。ユーザが画面右下の「この言葉を送信する」と記された送信ボタン６２にタッチペンが接触すると、制御部５０は表示窓６１に表示されているメッセージ情報をカラオケ装置４に送信する。

遠隔操作装置５から送信されたメッセージ情報を受信したカラオケ装置４は、画像解析部４６ｇが識別した背景領域内にテキスト表示領域を設定する。背景領域内におけるテキスト表示領域の設定箇所は、固定されていてもよいし、又は、メッセージ情報を受信する度に変化するようにしてもよい。

一方、メッセージ情報が所定時間経過しても遠隔操作装置５に入力されない場合、背景領域内のテキスト表示領域は空欄となるが、その場合、カラオケ装置４は、そこに広告情報を合成し、広告情報が背景領域に合成された画像を表示する。

図１０は、遠隔操作装置のメッセージ情報入力画面と、画像表示装置に表示される歌唱者の歌唱風景の画像との関係を模式的に示した説明図である。
図１０Ａによると、表示窓６１には、「とても上手いね」というメッセージ情報が入力されている。入力されたメッセージ情報は遠隔操作装置５からカラオケ装置４に送信され、カラオケ装置４は、そのメッセージ情報をテキスト表示領域７０に表示している。
図１０Ｂによると、表示窓６１には、「踊り最高」というメッセージ情報が入力されている。入力されたメッセージ情報は遠隔操作装置５からカラオケ装置４に送信される。カラオケ装置４は、そのメッセージを背景領域内に新たに設定されたテキスト表示領域７１に表示させる。一方、テキスト表示領域７０は削除され、ほぼ同じ箇所に新たなテキスト表示領域７２が設定されている。本例ではテキスト表示領域７２に表示させるメッセージ情報が入力されなかったため、テキスト表示領域７２には、広告データベース４３ｃから読み出した新譜に関する広告情報が表示される。
図１０Ｃによると、表示窓６１には、メッセージ情報が入力されていない。したがって、テキスト表示領域７３及び７４には広告データベース４３ｃから読み出した新譜に関する広告情報が表示される。

図１１から図１３は、遠隔操作装置から送信されたメッセージ情報及びカラオケ装置が予め記憶している広告情報をテキスト表示領域内に表示する処理の流れを示すフローチャートである。
カラオケ装置４の制御部４０は、ユーザの操作を受けて、歌唱者を撮像装置４６ｅで撮った画像を背景画像として画像表示装置４６ｆに表示させる自分撮りモードに設定される（ステップＳ１０）。自分撮りモードに設定された場合、撮像装置４６ｅが撮影した歌唱風景の画像データは画像表示装置４６ｆへ出力される。これにより、画像表示装置４６ｆには、図７に示したような歌唱者の歌唱風景が表示される。

遠隔操作装置５の制御部５０は、記憶部５３から選曲案内情報を読み出し、表示装置５６を介してその選曲案内情報をタッチパネル５８上に表示させる（ステップＳ１１）。上述したとおり、遠隔操作装置５の記憶部５３には、カラオケ装置４の楽曲データベース４３ａに記憶された楽曲データそれぞれに対応して、曲名、アーティスト名等の選曲案内情報が楽曲ＩＤ毎に記憶されている。
制御部５０は、タッチパネル５８上に表示された選曲案内情報に従ってユーザがタッチパネル５８を操作して入力した楽曲を受け付ける（ステップＳ１２）。
制御部５０は、入力された楽曲の楽曲ＩＤを含む楽曲要求データをカラオケ装置４に送信する（ステップＳ１３）。

カラオケ装置４の制御部４０は、遠隔操作装置５から送信された楽曲ＩＤを含む楽曲要求データを受信し（ステップＳ１４）、受信した楽曲要求データを中央装置１へ送信する（ステップＳ１５）。

中央装置１の制御部１０は、カラオケ装置４から送信された楽曲要求データを受信し（ステップＳ１６）、受信した楽曲データに含まれる楽曲ＩＤに対応する楽曲データを記憶装置１３の楽曲データベース１３ｂから読み出す。次いで、制御部１０は、読み出した楽曲データを、楽曲要求元のカラオケ装置４へ送信する（ステップＳ１７）。

カラオケ装置４の制御部４０は、中央装置１から送信された楽曲データを受信し（ステップＳ１８）、受信した楽曲データの再生を開始する（ステップＳ１９）。

一方、遠隔操作装置５の制御部５０は、ユーザの指示に従い、メッセージ入力画面を表示装置５７に表示させ、所定時間内にメッセージ入力画面に含まれる文字ボタンが操作されることによりメッセージ情報を受け付けた否かを判定する（ステップＳ２０、ステップＳ２１）。
制御部５０は、所定時間、メッセージ情報を受け付けるのを待つ（ステップＳ２１：ＮＯ）。
所定時間内にメッセージ情報を受け付けた場合（ステップＳ２０：ＹＥＳ）、制御部５０は、入力されたメッセージ情報を一旦ＲＡＭ５２に記憶させる（ステップＳ２２）。この後、ユーザが送信ボタン６２をタッチペンでタッチすると（ステップＳ２３）、ＲＡＭ５２からメッセージ情報が読み出されカラオケ装置４に送信される（ステップＳ２４）。

一方、カラオケ装置４の画像解析部４６ｇは、撮像装置４６ｅにより撮影される歌唱者の画像の特徴を解析し、公知の手法により歌唱者の顔領域を識別する（ステップＳ２５）。そして、画像解析部４６ｇは、その顔領域を除いた領域を背景領域として特定し（ステップＳ２６）、その背景領域内にテキスト表示領域を設定する（ステップＳ２７）。カラオケ装置４の制御部４０は、表示中のテキスト表示領域の座標情報をＲＡＭ４２に記憶させる（ステップＳ２８）。
カラオケ装置４の制御部４０は、ステップＳ２４にて遠隔操作装置５から送信されたメッセージ情報を受信し（ステップＳ２９）、テキスト表示領域の座標情報を読み出し（ステップＳ３０）、そのテキスト表示領域に受信したメッセージ情報を合成し（ステップＳ３１）、画像表示装置４６ｆに表示させる（ステップＳ３５）。

一方、所定時間内にメッセージ情報を受け付けなかった場合であって（ステップＳ２０：ＮＯ）、所定時間経過した場合（ステップＳ２１：ＹＥＳ）、カラオケ装置４の制御部４０は、広告データベース４３ｃから広告情報を読み出し（ステップＳ３２）、更に、テキスト表示領域の座標情報を読み出し（ステップＳ３３）、テキスト表示領域に広告情報を合成し（ステップＳ３４）、画像表示装置４６ｆに表示させる（ステップＳ３５）。
遠隔操作装置５から送信されたメッセージ情報及び広告データベース４３ｃから読み出された広告情報はテキスト表示領域に表示され、そのテキスト表示領域は背景領域内、即ち、顔領域を除く画像内に設定されるため、テキスト表示領域が歌唱者の顔に重なり、歌唱者の顔が見えなくなることはない。

ここで、カラオケ装置４の制御部４０によるテキスト表示領域の表示態様の制御について説明する。表示態様には、テキスト表示領域の大きさ、テキスト表示領域内の文字の大きさ及び文字数、文字スクロールの有無及びテキスト表示領域の配置場所が含まれる。
制御部４０は、自分撮りモードで撮影されている歌唱者の動きに応じて、テキスト表示領域の表示態様が動的に変化するように制御する。即ち、制御部４０は、歌唱者の顔領域を除いた背景領域の大きさ（面積）及び遠隔操作装置５から送信される入力文字数を算出し、それらの情報に基づいてテキスト表示領域の態様を決定する。
具体的には、制御部４０は、テキスト表示領域の大きさを、歌唱者の顔領域が画像表示装置４６ｆの画面を占める割合に応じて変化するように制御する。例えば、歌唱者の顔領域が画面のほぼ半分を占めている場合、制御部４０は、テキスト表示領域のサイズを画面のほぼ半分位になるように設定する。更に、制御部４０は、そのテキスト表示領域での表示に適した入力可能文字数を求める。例えば、入力可能文字数は、テキスト表示領域のサイズを歌詞文字のサイズで割った数とする。文字の表示サイズは、歌詞文字のサイズと同程度であるのがユーザにとって見やすいと考えられるからである。遠隔操作装置５から送信される入力文字数が例えば２０文字程度の入力可能文字数である場合には、制御部４０は、その文字の表示サイズを歌詞文字のサイズと同程度に設定する。

遠隔操作装置５から送信される入力文字数が例えば３０文字〜４０文字であって入力可能文字数よりも多い場合には、制御部４０は、その文字の表示サイズを歌詞文字のサイズよりも小さくなるように設定する。文字の表示サイズを小さく設定することにより、ユーザが入力した文章全てを１つのテキスト表示領域に収めることができる。この場合、文字の表示サイズは歌詞文字の表示サイズと比べてある程度小さくなるが、文章全体を一望できるためユーザにとっては読みやすく文章内容の把握が容易となる。

遠隔操作装置５から送信される入力文字数が例えば４０文字を大きく超える場合、ユーザが入力した文章を全て１つのテキスト表示領域に収まるようにするためには、文字の表示サイズを非常に小さくする必要があり、そのためユーザにとって大変読みづらい文章が表示されることになる。そこで、その場合は、文字の表示サイズを歌詞文字のサイズと同程度又はそれよりも若干小さめに設定すると共に、表示されている文章を上下にスクロールできるようにする。スクロールの制御は、遠隔操作装置５からの指示を受けて、制御部４０が行う。文章のスクロールを可能にすることにより、ユーザが長文を入力した場合であっても、文章を上から下にスクロールさせることにより全文を読むことができる。

遠隔操作装置５から送信される入力文字数が例えば１０文字弱と少ない場合、テキスト表示領域のサイズを維持しつつ、文字の表示サイズを歌詞文字の表示サイズよりも大きくするように設定する。又は、文字の表示サイズを歌詞文字の表示サイズにしつつ、テキスト表示領域のサイズを小さく設定する。

尚、遠隔操作装置５に入力された文字は、所定のタイミング（所定の時間（例えば５秒）、曲の進行に併せて（Ａメロ、Ｂメロ、サビ・・）、歌詞文字の切り替わり毎、又は、次のコメントが遠隔操作装置５に入力される時等）まで画像表示装置４６ｆの画面に表示され続けるが、そのタイミングに至る前に歌唱者が激しく踊りの振りをつける場合があり得る。例えば、ある一定の場所で殆ど静止した状態で歌っていた歌唱者が突然、前方に進み、撮像装置４６ｅに接近する場合があり得る。そのとき、画像表示装置４６ｆの画面に映っている歌唱者の顔領域が急に拡大し、テキスト表示領域の設定可能領域が狭くなる。このような場合であっても、制御部４０は、顔領域のサイズの拡大に追随して顔領域の認識処理を行うと共に、テキスト表示領域のサイズを顔領域のサイズの変化に応じて変化させる。即ち、顔領域のサイズの拡大率に反比例するようにテキスト表示領域のサイズを縮小すると共に文字の表示サイズも小さくする。このとき、入力文章が著しく長い場合には、制御部４０は、前述した処理と同様に、文章のスクロールが可能なように制御する。

以上のように、実施の形態１では、制御部４０は、画面内に占める歌唱者の顔領域のサイズに応じてテキスト表示領域のサイズを求め、そのテキスト表示領域のサイズに応じて、その領域内の文字の表示サイズ、文字スクロールの有無、及びテキスト表示領域の設定場所を動的に変化させる。尚、文字入力は、遠隔操作装置５の他にユーザが所有する携帯端末からもできるようにしてもよい。

上述した例は、顔領域のサイズが著しく拡大した場合であっても、文字を表示するのに必要最小限のサイズのテキスト表示領域が確保されている場合である。必要最小限のサイズとは、ユーザが視認可能な程度に文字を小さくしたとしても、又はスクロールさせたとしても表示することができない程度に小さな面積のことである。このような場合にあっては、制御部４０は、画面の上下の端又は左右の端のテロップの表示スペースにテキスト表示領域を設定し、入力文字を縦向き又は横向きに表示する。また、制御部４０は、文章が長い場合には、入力文字を縦スクロール又は横スクロールさせて表示してもよい。

実施の形態２
図１４は、実施の形態２における中央装置の一構成例を示すブロック図である。
実施の形態２では、中央装置１の記憶装置１３は、カラオケシステムのユーザに関するデータを記憶するユーザ情報データベース１３ａ、楽曲データを記憶する楽曲データベース１３ｂ、背景画像データを記憶する背景画像データベース１３ｃ、広告データベース１３ｄ、ユーザによって作成された歌唱の動画コンテンツデータを記憶する動画データベース１３ｅ、ユーザによって作成された歌唱の混成動画コンテンツデータを記憶する混成動画データベース１３ｆが設けられている。

図１５は、実施の形態２におけるユーザ情報データベースのレコードレイアウトの一例を模式的に示す説明図である。
ユーザ情報データベース１３ａは、カラオケ装置４を利用したユーザに関する情報をユーザ固有の識別情報、即ちユーザＩＤと対応付けて記憶する。
ユーザ情報データベース１３ａのレコードレイアウトは、複数の列、例えば「ユーザＩＤ」列、「ニックネーム」列、「生年月日」列、「性別」列、「メールアドレス」列、「パスワード」列、「私の動画」列、「私の混成動画」列、「私の混成動画素材」列等で構成されており、「ユーザＩＤ」列と他の列とは対応付けて記憶されている。また、各行には、各列に対応した情報が記憶されている。図示しないが、ユーザ情報データベース１３ａは、更に、歌唱者が得意な曲として登録した楽曲に関する情報、歌唱者により選曲された楽曲の履歴情報、例えば、選曲された演奏曲の楽曲ＩＤ、歌唱者の過去の歌唱評価結果に関する情報を記憶する。「私の動画」列は、そのユーザによって作成された動画コンテンツを特定するための動画ＩＤを記憶する。「私の混成動画」列は、そのユーザによって作成された混成動画を特定するための混成動画ＩＤを記憶する。「私の混成動画素材」列は、そのユーザによって作成された混成動画コンテンツを作成するための素材として登録した動画コンテンツを特定するための動画ＩＤを記憶する。

楽曲データベース１３ｂ、背景画像データベース１３ｃ及び広告データベース１３ｄの構成は実施の形態と略同一であるため説明は省略する。
図１６は、動画データベース１３ｅのレコードレイアウトの一例を概念的に示す説明図である。
動画データベース１３ｅの表は、複数の列、例えば「動画ＩＤ」列、「歌唱者」列、「楽曲ＩＤ」列、「動画コンテンツ」列、「撮影日時」列、「再生回数」列、「公開可否」列、「保存期間」列、「カラオケ配信」列、「コメント」列、「パートナー募集」列、「評価」列等から構成されており、各列に対応した情報が記憶されている。

「動画ＩＤ」列は、動画コンテンツを識別するための動画ＩＤを記憶する。「歌唱者」列は、動画ＩＤに対応付けられた動画コンテンツを作成した歌唱者のユーザＩＤを記憶する。「楽曲ＩＤ」列は、動画ＩＤに対応付けられた動画コンテンツを作成する際に利用した楽曲を識別する楽曲ＩＤを記憶する。「動画コンテンツ」列は、カラオケ店舗２で歌唱している歌唱者の姿を撮像して得た動画データと、歌唱音声を集音して得た音声データとを独立的に含む動画コンテンツデータを記憶する。動画コンテンツデータは、例えばｆｌｖ形式のファイルである。「撮影日時」列は、動画コンテンツに係る動画を撮像した日時を記憶する。「再生回数」列は、動画コンテンツの動画投稿サイトにおける再生回数を記憶する。「公開可否」列は、動画コンテンツの動画投稿サイトにおける公開の可否を示したデータを記憶する。「保存期間」列は、動画コンテンツを中央装置１が記憶及び公開する期間を示したデータを記憶する。「カラオケ配信」列は、動画コンテンツを、混成動画コンテンツ素材としてカラオケ装置４へ配信することの可否を示したデータを記憶する。「コメント」列は、動画コンテンツに対するコメントを記憶する。「パートナー募集」列は、動画コンテンツを用いた混成動画コンテンツの生成を促すべく、動画投稿サイトにおける後述の「パートナー募集」欄に動画コンテンツを掲載するか否かを示したデータを記憶する。「評価」列は、動画コンテンツに対する評価を記憶する。その評価は、例えば、動画コンテンツに対する第三者のコメント文である。また評価は、「かわいい」、「かっこいい」、「そっくり」、「うまい」、「渋い」、「おもしろい」、「泣ける」等の項目に対する投票結果を含む。

図１７は、混成動画データベース１３ｆのレコードレイアウトの一例を概念的に示す説明図である。
混成動画データベース１３ｆの表は、複数の列、例えば「混成動画ＩＤ」列、「歌唱者」列、「パートナー」列、「楽曲ＩＤ」列、「混成動画コンテンツ」列、「撮影日時」列、「再生回数」列、「公開可否」列、「保存期間」列、「コメント」列、「評価」列等から構成されており、各列に対応した情報が記憶されている。

「混成動画ＩＤ」列は、混成動画コンテンツを識別するための混成動画ＩＤを記憶する。「歌唱者」列は、混成動画コンテンツを作成したユーザを識別するデータを記憶する。「パートナー」列は、混成動画コンテンツの素材である動画コンテンツを作成したユーザを識別するデータを記憶する。「楽曲ＩＤ」列は、混成動画コンテンツの作成に利用した楽曲を識別する楽曲ＩＤを記憶する。「混成動画コンテンツ」列は、２組の動画コンテンツデータを記憶する。つまり、２組の動画コンテンツデータそれぞれを構成する動画及び音声データを記憶する。「撮影日時」列は、混成動画コンテンツに係る動画を撮像した日時を示すデータを記憶する。「再生回数」列は、混成動画コンテンツデータの動画投稿サイトにおける再生回数を記憶する。「公開可否」列は、混成動画コンテンツの動画投稿サイトにおける公開の可否を示したデータを記憶する。「保存期間」列は、混成動画コンテンツを中央装置１が記憶及び公開する期間を示したデータを記憶する。「コメント」列は、混成動画コンテンツに対するコメントを記憶する。「評価」列は、混成動画コンテンツに対する評価を記憶する。

図１８及び図１９は、混成動画コンテンツの生成及び登録に係る制御部の処理手順を示すフローチャートである。
カラオケ装置４の制御部４０は、遠隔操作装置５にて楽曲ＩＤを受け付け（ステップＳ４０）、ユーザＩＤ、及び受け付けた楽曲ＩＤを含む楽曲要求データを、通信部４４を介して中央装置１へ送信する（ステップＳ４１）。

中央装置１の制御部１０は、カラオケ装置４から送信された楽曲要求データを、通信部１４を介して受信し（ステップＳ４２）、受信した楽曲要求データに含まれるユーザＩＤ及び楽曲ＩＤに対応する混成動画素材の動画及び音声データを選択する（ステップＳ４３）。つまり、制御部１０は、図１４に示されているように、ユーザＩＤに対応付けて「私の混成動画素材」列に登録されている動画ＩＤより、混成動画素材として登録されている動画コンテンツを特定し、登録されている動画コンテンツの内、受信した楽曲ＩＤと同一の楽曲ＩＤが対応付けられているものを特定する。
そして、制御部１０は、特定された楽曲データ並びに動画及び音声データを、通信部１４を介してカラオケ装置４へ送信する（ステップＳ４４）。

カラオケ装置４の制御部４０は、中央装置１から送信された楽曲データ並びに動画及び音声データを、通信部４４を介して受信する（ステップＳ４５）。そして、制御部４０は、受信した楽曲データ並びに動画及び音声データを並行的に再生し（ステップＳ４６）、再生された動画の合成表示を行う（ステップＳ４７）。具体的には、制御部４０は、動画データを画像デコーダ４６ｃに与え、歌詞データを画像制御回路４６ｂに与える。画像デコーダ４６ｃは、動画データを復号し、復号された画像データを画像ミキサ４６ｄに与える。また、画像制御回路４６ｂは、歌詞データに基づいて、歌詞を表現した画像データを生成し、その画像データを画像ミキサ４６ｄに与える。更に、画像ミキサ４６ｄには、撮像装置４６ｅから現在の歌唱しているユーザを撮像して得た動画データが与えられており、画像ミキサ４６ｄは、現在歌唱しているユーザを撮像して得た動画に対して、混成素材登録された動画と、歌詞映像とを合成し、合成して得た映像データを画像表示装置４６ｆに与える。

次いで、制御部４０は、楽曲データを再生している間に行われた歌唱の動画を入力し（ステップＳ４８）、あわせて歌唱の音声を入力する（ステップＳ４９）。
マイク４８ｅから出力された音声データは、音声ミキサ４８ｄに入力され、音声ミキサ４８ｄは、カラオケの伴奏音と、混成素材動画に係る音声と、マイク４８ｅに入力された音声とを合成し、合成して得た音声データをスピーカへ出力する。従って、カラオケの伴奏に合わせて、二人の歌唱者がデュエット歌唱しているような状態になる。

次いで、制御部４０は、楽曲データの再生を終了する否かを判定する（ステップＳ５０）。再生を終了しないと判定した場合（ステップＳ５０：ＮＯ）、制御部４０は、処理をステップＳ４６へ戻す。再生を終了すると判定した場合（ステップＳ５０：ＹＥＳ）、制御部４０は、遠隔操作装置５の操作状態を監視し、入力された動画データ及び音声データをアップロードするか否かを判定する（ステップＳ５１）。アップロードしないと判定した場合（ステップＳ５１：ＮＯ）、制御部４０は処理を終える。

アップロードすると判定した場合（ステップＳ５１：ＹＥＳ）、制御部４０は、ユーザＩＤ、楽曲ＩＤ、動画データ及び音声データを、通信部４４を介して中央装置１へ送信する（ステップＳ５２）。

中央装置１の制御部１０は、カラオケ端末装置４から送信されたユーザＩＤ、楽曲ＩＤ、動画データ及び音声データを、通信部１４にて受信する（ステップＳ５３）。そして、制御部１０は、受信した動画データ及び音声データと、混成素材として選択された動画データ及び音声データとを含む混成動画コンテンツデータを生成し、生成された混成動画コンテンツデータを、受信したユーザＩＤ、楽曲ＩＤ等と共に混成動画データベース１３ｆに登録し、また混成動画データベース１３ｆへの登録時に発行した混成動画ＩＤをユーザ情報データベース１３ａに登録し（ステップＳ５４）、処理を終える。

図２０は、遠隔操作装置のメッセージ情報入力画面と、画像表示装置に表示される二人の歌唱者の歌唱風景の画像との関係を模式的に示した説明図である。
一のユーザ（以下、「歌唱者ｂ」と呼ぶ。）が自分撮りモードで撮影した画像が動画データベース１３ｅに登録され、別のユーザ（以下、「歌唱者ａ」と呼ぶ。）がその画像をデュエット画像として選択する。その場合、図１０に示すように、画像表示装置４６ｆにその歌唱者ｂのライブ歌唱画像と、選択された歌唱者ａの録画の歌唱画像とが２画面にわたって同時に表示される。それにより、歌唱者ｂは、あたかも歌唱者ａとデュエットで歌唱をしているような感じを得ることができる。

図２０では、左側の歌唱者ａの歌唱風景は図１０に示したものと同じであり、動画データベース１３ｅに登録されている画像である。一方、右側の歌唱者ｂの歌唱風景は自分撮りモードで撮影中の画像である。
図２０Ａによると、表示窓６１には、「最高のコラボ」というメッセージ情報が入力されている。入力されたメッセージ情報は遠隔操作装置５からカラオケ装置４に送信され、カラオケ装置４は、そのメッセージ情報を歌唱者ｂが表示されている画像内のテキスト表示領域８０に表示している。ここで、テキスト表示領域が歌唱者ｂにかぶらないようにする制御を行う点は実施の形態１と同様である。
図２０Ｂによると、表示窓６１には、メッセージ情報が入力されていない。したがって、歌唱者ｂが表示されている画像内のテキスト表示領域８１には広告データベース４３ｃから読み出した新譜に関する広告情報が表示される。
図２０Ｃによると、表示窓６１には、「今日はみんなで楽しもう」というメッセージ情報が入力されている。入力されたメッセージ情報は遠隔操作装置５からカラオケ装置４に送信され、カラオケ装置４は、そのメッセージを歌唱者ｂが表示されている画像内のテキスト表示領域に表示している。
尚、歌唱者ａの歌唱風景の画像内のテキスト表示領域に新譜に関する広告情報が書き込まれている場合には、最新の新譜に関する広告情報が広告データベース４３ｃから読み出され表示されるようにしてもよい。
実施の形態２によれば、画像表示装置４６ｆにて予めデータベースに登録されている他のユーザの歌唱風景と自分撮りモードで撮影した自分の歌唱風景とを分割表示させつつ、同一の楽曲をデュエットすることができ、更に聴取者はメッセージ表示もさせることもできる。そのため、メッセージ情報の内容も多様になりカラオケの娯楽性が一層高まる。

尚、実施の形態２の制御部４０は、実施の形態１と同様に、画面内に占める歌唱者の顔領域のサイズに応じてテキスト表示領域のサイズを求め、そのテキスト表示領域のサイズに応じて、その領域内の文字の表示サイズ、文字スクロールの有無、及びテキスト表示領域の設定場所を動的に変化させる。尚、文字入力は、遠隔操作装置５の他にユーザが所有する携帯端末からもできるようにしてもよい。

実施の形態３
実施の形態３に係るカラオケシステムは、カラオケ装置にタッチパネルディスプレイが設けられ、該タッチパネルディスプレイでメッセージ情報の入力を受け付け、メッセージを合成した歌唱者の画像を表示する点が、実施の形態１と異なるため、以下では主に上記相違点について説明する。
図２１は、実施の形態３に係るカラオケ装置４の構成例を示すブロック図である。実施の形態３に係るカラオケ装置４は、実施の形態１と同様の構成であり、更にタッチパネルディスプレイ４６ｈを備える。タッチパネルディスプレイ４６ｈは、バスに接続されており、歌唱者等の画像を表示する表示部４６ｉと、該表示部４６ｉの前面に配され、文字列データを受け付けるタッチパネル４６ｊとを有する。表示部４６ｉによる画像表示及びタッチパネル４６ｊによる文字列データの受け付け処理は、制御部４０によって行われる。

図２２及び２３は、実施の形態３におけるメッセージ情報の表示に係る制御部４０の処理手順を示したフローチャート、図２４及び図２５は、実施の形態３におけるメッセージ情報の表示方法を示す説明図である。ここでは、メッセージ情報の受け付け処理部分を中心に説明する。具体的には、実施の形態１のステップＳ２０〜ステップＳ２４、ステップＳ２９〜ステップＳ３５の処理に代えて、制御部４０がステップＳ１１１〜ステップＳ１２９の処理を実行する例を説明する。ステップＳ１０〜ステップＳ１９、ステップＳ２５〜ステップＳ２８の処理は実施の形態１と同様である。

遠隔操作装置５の制御部５０は、タッチパネル５８の操作状態を監視しており、ユーザよりメッセージ情報入力の指示があった場合、メッセージ入力画面を表示装置５７に表示させて、メッセージ情報入力モードへ移行し、該メッセージ情報入力モードにおいてメッセージ情報を受け付けたか否かを判定する（ステップＳ１１１）。メッセージ情報を受け付けていないと判定した場合（ステップＳ１１１：ＮＯ）、制御部５０は、メッセージ情報入力モードへ移行してから所定時間が経過したか否かを判定する（ステップＳ１１２）。所定時間が経過していないと判定した場合（ステップＳ１１２：ＮＯ）、制御部５０は、処理をステップＳ１１１へ戻し、メッセージ情報入力モードで待機する。所定時間が経過したと判定した場合（ステップＳ１１２：ＹＥＳ）、制御部５０は、メッセージ情報入力モードを終了する。ステップＳ１１１でメッセージ情報を受け付けたと判定した場合（ステップＳ１１１：ＹＥＳ）、制御部５０は、入力されたメッセージ情報をＲＡＭ５２に記憶させる（ステップＳ１１３）。次いで、制御部５０は、ユーザが送信ボタン６２をタッチする操作をタッチパネル５８で受け付け（ステップＳ１１４）、制御部５０は、ＲＡＭ５２が記憶しているメッセージ情報をカラオケ装置４に送信する（ステップＳ１１５）。

カラオケ装置４の制御部４０は、遠隔操作装置５から送信されたメッセージ情報を受信する（ステップＳ１１６）。
一方、制御部４０は、自身のタッチパネル４６ｊの操作状態を監視しており、ステップＳ１１１と同様、ユーザよりメッセージ情報入力の指示があった場合、メッセージ入力画面を表示装置５７に表示させて、メッセージ情報入力モードへ移行し、該メッセージ情報入力モードにおいてメッセージ情報を受け付けたか否かを判定する（ステップＳ１１７）。なお、説明の便宜上、図２２及び図２３では、ステップＳ１１６の処理を終えた場合、又はステップＳ１１２で、所定時間が経過したと判定した場合（ステップＳ１１２：ＹＥＳ）、制御部４０によってステップＳ１１７以降の処理が実行される処理が描かれているが、言うまでも無く、遠隔操作装置５によるメッセージ情報の受け付け処理と、後述するカラオケ装置４によるメッセージ情報の受け付け処理とを逆順で、又は並行的に行っても良い。

ステップＳ１１７で、メッセージ情報を受け付けていないと判定した場合（ステップＳ１１７：ＮＯ）、制御部４０は、メッセージ情報入力モードへ移行してから所定時間が経過したか否かを判定する（ステップＳ１１８）。所定時間が経過していないと判定した場合（ステップＳ１１８：ＮＯ）、制御部４０は、処理をステップＳ１１７へ戻し、メッセージ情報入力モードで待機する。所定時間が経過したと判定した場合（ステップＳ１１８：ＹＥＳ）、制御部４０は、メッセージ情報入力モードを終了する。ステップＳ１１７でメッセージ情報を受け付けたと判定した場合（ステップＳ１１７：ＹＥＳ）、制御部４０は、入力されたメッセージ情報をＲＡＭ４２に記憶させる（ステップＳ１１９）。

次いで、制御部４０は、歌唱者の画像に合成すべきメッセージ情報があるか否かを判定する（ステップＳ１２０）。具体的には、制御部４０は、メッセージ情報をＲＡＭ４２が記憶しているか否かを判定する。つまり、制御部４０は、遠隔操作装置５又はカラオケ装置４のいずれかで受け付けたメッセージ情報があるかどうかを判定している。

メッセージ情報があると判定した場合（ステップＳ１２０：ＹＥＳ）、制御部４０は、テキスト表示領域の座標情報を読み出す（ステップＳ１２１）。そして、制御部４０は、テキスト表示領域のサイズが十分であるか否かを判定する（ステップＳ１２２）。つまり、制御部４０は、テキスト表示領域にメッセージ情報を合成したときの文字の大きさが所定ポイント以上になるか否かを判定する。所定ポイントは、テキスト表示領域内にメッセージ情報の文字列を合成し、カラオケ装置４の表示部４６ｉに表示した場合に、該文字列が小さくなり過ぎて、ユーザがメッセージを確認し難くなるような文字の大きさを示す値である。また、テキスト表示領域が確保できないような場合も、テキスト表示領域のサイズが不十分であると判定する。テキスト表示領域のサイズが十分であると判定した場合（ステップＳ１２２：ＹＥＳ）、制御部４０は、テキスト表示領域にメッセージ情報を合成し（ステップＳ１２３）、メッセージ情報が合成された歌唱者の画像を表示部４６ｉに表示させる（ステップＳ１２４）。テキスト表示領域のサイズが不十分であると判定した場合（ステップＳ１２２：ＮＯ）、制御部４０は、メッセージ情報のみを表示部４６ｉに表示させる（ステップＳ１２５）。ステップＳ１２０でメッセージ情報が無いと判定した場合（ステップＳ１２０：ＮＯ）、制御部４０は、撮像した歌唱者の画像を表示部４６ｉに表示する（ステップＳ１２４）。

ステップＳ１２４又はステップＳ１２５の処理を終えた場合、制御部４０は、歌唱者の画像における空きのテキスト領域があるか否かを判定する（ステップＳ１２６）。空きのテキスト領域があると判定した場合（ステップＳ１２６：ＹＥＳ）、制御部４０は、広告情報データベースから広告情報を読み出し（ステップＳ１２７）、空きのテキスト領域に広告情報を合成する（ステップＳ１２８）。そして、広告情報が合成された歌唱者の画像を画像表示装置４６ｆに表示させる（ステップＳ１２９）。ステップＳ１２３でメッセージ情報が合成されている場合、メッセージ情報と、広告情報とが合成された歌唱者の画像が画像表示装置４６ｆに表示される。ステップＳ１２３でメッセージ情報が合成されていない場合、広告情報が合成された歌唱者の画像が画像表示装置４６ｆに表示される。また、ステップＳ１２６で空きテキスト領域が無いと判定した場合（ステップＳ１２６：ＮＯ）、制御部４０は、広告情報を合成せずに、歌唱者の画像を画像表示装置４６ｆに表示する（ステップＳ１２９）。ステップＳ１２３でメッセージ情報が合成されている場合、メッセージ情報が合成された歌唱者の画像が画像表示装置４６ｆに表示される。ステップＳ１２３でメッセージ情報が合成されていない場合、メッセージ情報及び広告情報が合成されていない歌唱者の画像が画像表示装置４６ｆに表示される。

実施の形態３に係るカラオケシステムによれば、以上の処理により、メッセージ情報が入力され、広告情報が存在する場合であって、テキスト領域の大きさが十分である場合、図２４に示すように、画像表示装置４６ｆには、メッセージ情報及び広告情報が合成された歌唱者の画像を表示し、カラオケ装置４の表示部４６ｉには、メッセージ情報が合成された歌唱者の画像を表示することができる。
テキスト領域の大きさが十分で無い場合、図２５に示すように、メッセージ情報のみを表示部４６ｉに表示し、メッセージ情報及び広告情報が合成されていない歌唱者の画像を画像表示装置４６ｆに表示することができる。

なお、実施の形態３では、広告情報をカラオケ装置４の表示部４６ｉに表示しないように制御する例を説明したが、該表示部４６ｉにも広告情報を表示するようにしても良い。テキスト表示領域のサイズが十分であるときは、歌唱者の画像に広告情報を合成して表示し、テキスト表示領域のサイズが不十分であるときは、広告情報のみをカラオケ装置４の表示部４６ｉに表示すると良い。
また、実施の形態３は、実施の形態１の変形例としてカラオケ装置４のタッチパネルディスプレイ４６ｈを用いて文字情報の受け付け、表示を行う例を説明したが、同様にして、実施の形態２についてもカラオケ装置４のタッチパネルディスプレイ４６ｈにて文字情報の受け付け、表示処理を実行するように構成しても良い。

実施の形態４
実施の形態４に係るカラオケシステムは、カラオケ装置４にタッチパネルディスプレイ４６ｈが設けられ、混成動画、混成素材の動画、歌唱者の撮像画像を表示する方法が実施の形態１と異なるため、以下では主に上記相違点について説明する。カラオケ装置４の構成は、実施の形態３と同様である。

図２６乃至図２８は、実施の形態４に係る表示モード選択画面の一例及びメッセージ情報の表示方法を示す説明図である。カラオケ装置４の制御部４０は、タッチパネル４６ｊの操作状態を監視しており、表示モードの選択操作を受け付けた場合、図２６に示すように表示モード選択画面を表示部４６ｉに表示させる。表示モード選択画面には、「混成動画を画像表示装置４６ｆに表示」する第１の表示モードと、「混成素材の動画を画像表示装置４６ｆに表示」する第２の表示モードと、「撮像画像」を画像表示装置４６ｆに表示する第３の表示モードとが、選択ボタン画像として表示されている。第１の表示モードは、混成動画、即ちこの場で歌唱している歌唱者の撮像画像と、予め登録しておいた混成素材動画とを並べてなる混成動画を表示するモードである。第２の表示モードは、混成素材動画を画像表示装置４６ｆに表示し、撮像画像をカラオケ装置４の表示部４６ｉに表示するモードである。第３の表示モードは、第２モードとは逆で、撮像画像を画像表示装置４６ｆに表示し、混成素材動画をカラオケ装置４の表示部４６ｉに表示するモードである。そして、制御部４０は、タッチパネル４６ｊで選択操作された表示モードをＲＡＭ４２に記憶させる。
なお、ここでは、カラオケ装置４のタッチパネル４６ｊで表示モードを設定する例を説明したが、言うまでも無く、遠隔操作装置５のタッチパネル４６ｊにて表示モードの選択を受け付け、受け付けた表示モードをカラオケ装置４へ送信することによって、表示モードを設定する構成を採用しても良い。

図２９乃至図３１は、実施の形態４におけるメッセージ情報の表示に係る制御部４０の処理手順を示したフローチャート、図３２は、実施の形態４におけるメッセージ情報の表示方法を示す説明図である。ここでは、メッセージ情報の受け付け処理、表示モードに応じた歌唱画像及びメッセージ情報の表示処理を中心に説明する。具体的には、実施の形態１におけるステップＳ４６〜ステップＳ５４の処理に代えて、ステップＳ２１１〜ステップＳ２４３の処理を実行する。ステップＳ４０〜ステップＳ４５の処理は実施の形態１と同様である。ただし、ステップＳ４５で受信する混成素材の動画データに、メッセージ情報が付加されている場合、動画データと共に、メッセージ情報を受信するものとする。

まず、制御部４０は、ステップＳ４５で受信した楽曲データ及び音声データを並行的に再生する（ステップＳ２１１）。次いで、制御部４０は、楽曲データを再生している間に行われた歌唱の動画を入力し（ステップＳ２１２）、あわせて歌唱の音声を入力する（ステップＳ２１３）。マイク４８ｅから出力された音声データは、音声ミキサ４８ｄに入力され、音声ミキサ４８ｄは、カラオケの伴奏音と、混成素材動画に係る音声と、マイク４８ｅに入力された音声とを合成し、合成して得た音声データをスピーカへ出力する。従って、カラオケの伴奏に合わせて、二人の歌唱者がデュエット歌唱しているような状態になる。

次いで、遠隔操作装置５の制御部５０は、実施の形態３のステップＳ１１１〜ステップＳ１１５同様、メッセージの受け付け処理をステップＳ２１４〜ステップＳ２１８にて実行する。また、カラオケ装置４は、実施の形態３のステップＳ１１６〜ステップＳ１１９同様、メッセージの受け付け処理をステップＳ２１９〜ステップＳ２２２にて実行する。

次いで、制御部４０は、表示モードが、混成動画表示モード、即ち第１の表示モードであるか否かを判定する（ステップＳ２２３）。混成動画表示モードであると判定した場合（ステップＳ２２３：ＹＥＳ）、制御部４０は、混成素材又は現在歌唱している歌唱者の撮像画像に対するメッセージ情報があるか否かを判定する（ステップＳ２２４）。メッセージ情報があると判定した場合（ステップＳ２２４：ＹＥＳ）、制御部４０は、テキスト領域の座標情報を読み出す（ステップＳ２２５）。そして、テキスト表示領域のサイズが十分であるか否かを判定する（ステップＳ２２６）。サイズが十分であるか否かの判定基準等は実施の形態３と同様である。テキスト表示領域のサイズが十分であると判定した場合（ステップＳ２２６：ＹＥＳ）、制御部４０は、テキスト表示領域にメッセージ情報を合成し（ステップＳ２２７）、図２６に示すように、メッセージ情報が合成された混成動画を生成し（ステップＳ２２８）、生成された混成動画をカラオケ装置４の表示部４６ｉに表示する（ステップＳ２２９）。テキスト表示領域のサイズが十分で無いと判定した場合（ステップＳ２２６：ＮＯ）、制御部４０は、図３２に示すように、メッセージ情報のみをカラオケ装置４の表示部４６ｉに表示する（ステップＳ２３０）。この場合、図３２に示すように、混成素材の歌唱者に対するメッセージ情報と、現在歌唱している歌唱者に対するメッセージ情報とを識別可能に表示すると良い。ステップＳ２２４でメッセージ情報が無いと判定した場合（ステップＳ２２４：ＮＯ）、制御部４０は、メッセージが合成されていない混成動画をカラオケ装置４の表示部４６ｉに表示する（ステップＳ２２９）。

ステップＳ２２９又はステップＳ２３０の処理を終えた制御部４０は、ステップＳ２２７でメッセージ情報が合成されている場合、図２６に示すように該メッセージ情報が合成された混成動画を画像表示装置４６ｆに表示し、ステップＳ２２７の処理が実行されていない場合は、図３２に示すようにメッセージ情報が合成されていない混成動画を画像表示装置５７に表示する（ステップＳ２３１）。

ステップＳ２３１の処理を終えた場合、又はステップＳ２２３で混成動画表示モードでは無いと判定した場合（ステップＳ２２３：ＮＯ）、制御部４０は、表示モードが、混成素材動画表示モード、即ち第２の表示モードであるか否かを判定する（ステップＳ２３２）。混成素材動画表示モードであると判定した場合（ステップＳ２３２：ＹＥＳ）、制御部４０は、混成素材又は現在歌唱している歌唱者の撮像画像に対するメッセージ情報があるか否かを判定する（ステップＳ２３３）。メッセージ情報があると判定した場合（ステップＳ２３３：ＹＥＳ）、制御部４０は、テキスト表示領域の座標情報を読み出し（ステップＳ２３４）、テキスト表示領域にメッセージ情報を合成する（ステップＳ２３５）。そして、制御部４０は、図２７に示すように、混成素材動画を画像表示装置４６ｆに表示し（ステップＳ２３６）、現在歌唱している歌唱者の撮像画像をカラオケ装置４の表示部４６ｉに表示する（ステップＳ２３７）。

ステップＳ２３７の処理を終えた場合、又はステップＳ２３２で混成素材動画表示モードでは無いと判定した場合（ステップＳ２３２：ＮＯ）、制御部４０は、表示モードが、撮像画像表示モード、即ち第３の表示モードであるか否かを判定する（ステップＳ２３８）。撮像画像表示モードで無いと判定した場合（ステップＳ２３８：ＮＯ）、制御部４０は、処理を終える。撮像画像表示モードであると判定した場合（ステップＳ２３８：ＹＥＳ）、制御部４０は、混成素材又は現在歌唱している歌唱者の撮像画像に対するメッセージ情報があるか否かを判定する（ステップＳ２３９）。メッセージ情報があると判定した場合（ステップＳ２３９：ＹＥＳ）、制御部４０は、テキスト領域の座標情報を読み出し（ステップＳ２４０）、テキスト表示領域にメッセージ情報を合成する（ステップＳ２４１）。そして、制御部４０は、図２８に示すように、現在歌唱している歌唱者の撮像画像を画像表示装置４６ｆに表示し（ステップＳ２４２）、混成素材動画をカラオケ装置４の表示部４６ｉに表示し（ステップＳ２４３）、処理を終える。

実施の形態４に係るカラオケシステムによれば、第１の表示モードを選択した場合、混成動画を画像表示装置４６ｆ及びカラオケ装置４の表示部４６ｉに表示することができる。メッセージ情報を表示するスペースが十分で無い場合、カラオケ装置４の表示部４６ｉにはメッセージ情報のみを表示することができる。

第２の表示モードを選択した場合、混成素材動画を画像表示装置４６ｆに表示し、撮像画像をカラオケ装置４の表示部４６ｉに表示することができる。

第３の表示モードを選択した場合、撮像画像を画像表示装置４６ｆに表示し、混成素材動画をカラオケ装置４の表示部４６ｉに表示することができる。

実施の形態５
実施の形態５に係るカラオケシステムは、表示モードを自動で選択することができるように構成した点が実施の形態４と異なるため、以下では主に上記相異点について説明する。

図３３及び図３４は、実施の形態５におけるメッセージ情報の表示に係る制御部４０の処理手順を示したフローチャートである。ここでは、表示モードの選択及び選択された表示モードに応じた歌唱画像及びメッセージ情報の表示処理を中心に説明する。具体的には、実施の形態４におけるステップＳ２２３〜ステップＳ２４３の処理に代えて、ステップＳ３１１〜ステップＳ３３１の処理を実行する。

制御部４０は、再生されている楽曲のパートがデュエット部分であるか否かを判定する（ステップＳ３１１）。楽曲を構成する各パートがデュエット部分であるか、一方の歌唱者が歌唱すべきパートか、他の歌唱者が歌唱すべきパートかを示す情報が楽曲データに含まれており、制御部４０は該情報を参照することにより、現在、再生されているパートがデュエット部分であるか否かを判定することができる。

デュエット部分であると判定した場合（ステップＳ３１１：ＹＥＳ）、制御部４０は、実施の形態４のステップＳ２２４〜ステップＳ２３１と同様、テキスト表示領域が十分である場合、メッセージ情報が合成された混成動画を画像表示装置４６ｆ及びカラオケ装置４の表示部４６ｉに表示し、テキスト表示領域が不十分である場合、混成動画を画像表示装置４６ｆに表示し、メッセージ情報のみを表示部４６ｉに表示する処理をステップＳ３１２〜ステップＳ３１９で実行する。

ステップＳ３１９の処理を終えた場合、又はステップＳ３１１で、デュエット部分で無いと判定した場合（ステップＳ３１１：ＮＯ）、制御部４０は、現在再生されている楽曲のパートが混成素材の歌唱者が歌唱すべきパートであるか否かを判定する（ステップＳ３２０）。例えば、制御部４０は、混成素材動画に付随する音声データ、特に前記パートに対応する部分に一定量の音声が含まれており、カラオケ装置４に一定量の音声が入力されていない場合、混成素材の歌唱者が歌唱すべきパートであると判定する。混成素材の歌唱者が歌唱すべきパートであると判定した場合（ステップＳ３２０：ＹＥＳ）、制御部４０は、実施の形態４のステップＳ２３３〜ステップＳ２３７と同様、メッセージ情報がある場合、テキスト表示領域にメッセージ情報を合成し、混成素材動画を画像表示装置４６ｆに表示し、撮像画像を表示部４６ｉに表示する処理をステップＳ３２１〜ステップＳ３２５で実行する。

ステップＳ３２５の処理を終えた場合、又はステップＳ３２０で、混成素材の歌唱者が歌唱すべきパートで無いと判定した場合（ステップＳ３２０：ＮＯ）、制御部４０は、現在再生されている楽曲のパートが撮像画像の歌唱者が歌唱すべきパートであるか否かを判定する（ステップＳ３２６）。例えば、制御部４０は、混成素材動画に付随する音声データ、特に前記パートに対応する部分に一定量の音声が含まれておらず、カラオケ装置４に一定量の音声が入力されているような場合、撮像画像の歌唱者が歌唱すべきパートであると判定する。撮像画像の歌唱者が歌唱すべきパートであると判定した場合（ステップＳ３２６：ＹＥＳ）、制御部４０は、実施の形態４のステップＳ２３９〜２４３と同様、メッセージ情報がある場合、テキスト表示領域にメッセージ情報を合成し、撮像画像を画像表示装置４６ｆに表示し、混成素材動画を表示部４６ｉに表示する処理をステップＳ３２７〜３３１で実行する。

実施の形態５によれば、デュエット楽曲を再生している場合、二人が同時に歌唱すべきパートでは、混成動画を画像表示装置４６ｆに表示し、混成素材の歌唱者が歌唱すべきパートでは、混成素材動画を画像表示装置４６ｆに表示し、撮像画像の歌唱者が歌唱すべきパートでは、撮像画像を画像表示装置４６ｆに表示することができる。

なお、実施の形態５においては、楽曲のパートを歌唱すべき歌唱者が誰であるかを基準にして表示モードを切り替える例を説明したが、表示モードの切り替え基準はこれに限定されない。例えば、楽曲データには、前奏、Ａメロディー、Ｂメロディー・・・と、複数の区間に区切られており、各区間の区切り目にフラグが付加されているため、制御部４０は、該フラグを検出した際、表示モードを切り替えるように構成しても良い。また、混成素材動画に対応する音声データに係る音声の音量と、カラオケ装置４に入力される音声の音量とを比較し、歌唱音量が大きい方の画像を画像表示装置４６ｆに表示するように構成しても良い。更に、混成素材動画に対応する音声データに係る音声と、カラオケ装置４に入力される音声とに対してそれぞれ採点を行い、採点結果が高い歌唱者の画像を画像表示装置４６ｆに表示するように構成しても良い。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 中央装置
２ カラオケ店舗
４ カラオケ装置
５ 遠隔操作装置
１０ 制御部
１３ 記憶装置
１３ａ ユーザ情報データベース
１３ｂ 楽曲データベース
１３ｃ 背景画像データベース
１３ｄ 広告データベース
１３ｅ 動画データベース
１３ｆ 混成動画データベース
４０ 制御部
４３ 記憶装置
４３ａ 楽曲データベース
４３ｂ 背景画像データベース
４３ｃ 広告データベース
５０ 制御部
５３ 記憶部
５６ タッチパネルディスプレイ
５７ 表示装置
５８ タッチパネル

Claims (8)

1. 複数の楽曲のうちから選択された楽曲を出力させる手段及び楽曲の出力と併行して撮影手段により撮影される歌唱者画像を含む画像の表示を制御する表示制御手段を備える画像再生装置において、
   文字列データを受信する受信手段と、
   歌唱者画像を表示している表示領域の一部を除く画像の領域に、文字列データに対応する文字列の表示が可能な文字列表示領域を設定する設定手段と、
   文字列データを記憶する記憶手段と、
   該記憶手段から文字列データを読み出す読み出し手段と
   を備え、
   前記表示制御手段は、前記受信手段が受信した文字列データに対応する文字列を、前記設定手段により設定された文字列表示領域内に表示し、前記受信手段が受信した文字列データに対応付けられていない文字列表示領域がある場合、前記読み出し手段により読み出された文字列データに対応する文字列を該文字列表示領域内に表示させるようにしてある
   ことを特徴とする画像再生装置。
2. 文字列データを受信したか否かを判定する判定手段
   を更に備え、
   前記表示制御手段は、前記判定手段が否と判定した場合、前記読み出し手段により読み出された文字列データに対応する文字列を前記文字列表示領域内に表示させるようにしてある
   ことを特徴とする請求項１に記載の画像再生装置。
3. 文字列表示領域の大きさを求める手段と、
   文字列表示領域の大きさに応じて入力可能文字数を設定する手段と、
   受信した文字列データに含まれる文字数と、設定された入力可能文字数とを比較する手段と
   を更に備え、
   比較した結果に応じて、文字の表示態様及び文字列表示領域の態様の少なくとも一方を変更することを特徴とする請求項１又は請求項２に記載の画像再生装置。
4. 複数の楽曲のうちから選択された楽曲を出力させる手段及び楽曲の出力と併行して撮影手段により撮影される歌唱者画像を含む画像の表示を制御する表示制御手段を備える画像再生装置において、
   画像を表示する表示部と、
   該表示部の前面に配され、文字列データを受け付けるタッチパネルと、
   歌唱者画像を表示している表示領域の一部を除く画像の領域に、文字列データに対応する文字列の表示が可能な文字列表示領域を設定する設定手段と、
   文字列データに対応する文字列を該文字列表示領域内に表示させるときの文字の大きさが所定ポイント以上であるか否かを判定する手段と
   を備え、
   前記表示制御手段は、
   前記文字の大きさが所定ポイント以上であると判定した場合、前記タッチパネルが受け付けた文字列データに対応する文字列を、前記設定手段により設定された文字列表示領域内に表示させる手段と、
   前記文字の大きさが所定ポイント未満であると判定した場合、撮影される歌唱者画像を含む画像を外部の画像表示装置に表示させ、前記タッチパネルが受け付けた文字列データに対応する文字列を前記表示部に表示させる手段と
   を備えることを特徴とする画像再生装置。
5. 前記表示制御手段は、
   外部の画像表示装置に表示させる画像と、前記表示部に表示させる画像とを切り替える手段を備える
   ことを特徴とする請求項４に記載の画像再生装置。
6. 歌唱者画像を含む画像を記憶する記憶装置を更に備え、
   前記表示制御手段は、
   前記記憶装置から読み出した歌唱者画像を含む画像を外部の画像表示装置に表示させると共に、前記撮影手段により撮影される歌唱者画像を含む画像を前記表示部に併行して表示させる第１制御手段と、
   前記記憶装置から読み出した歌唱者画像を含む画像を前記表示部に表示させると共に、前記撮影手段により撮影される歌唱者画像を含む画像を外部の画像表示装置に併行して表示させる第２制御手段と、
   前記第１制御手段又は前記第２制御手段による表示制御を選択する手段と
   を備えることを特徴とする請求項４又は請求項５に記載の画像再生装置。
7. 複数の楽曲のうちから選択された楽曲を出力させる手段及び楽曲の出力と併行して撮影手段により撮影される歌唱者画像を含む画像の表示を制御する表示制御手段を備える画像再生装置と、該画像再生装置を遠隔操作すると共に、該画像再生装置から送信されたデータを受信する遠隔操作装置とを備える画像再生システムにおいて、
   前記画像再生装置は、
   前記遠隔操作装置から送信された文字列データを受信する受信手段と、
   歌唱者画像を表示している表示領域の一部を除く画像の領域に、文字列データに対応する文字列の表示が可能な文字列表示領域を設定する設定手段と、
   文字列データを記憶する記憶手段と、
   該記憶手段から文字列データを読み出す読み出し手段と
   を備え、
   前記表示制御手段は、前記受信手段が受信した文字列データに対応する文字列を、前記設定手段により設定された文字列表示領域内に表示し、前記受信手段が受信した文字列データに対応付けられていない文字列表示領域がある場合、前記読み出し手段により読み出された文字列データに対応する文字列を該文字列表示領域内に表示させるようにしてあり、
   前記遠隔操作装置は、
   文字列データを受け付ける受け付け手段と、
   該受け付け手段が受け付けた文字列データを前記画像再生装置に送信する手段と
   を備えることを特徴とする画像再生システム。
8. 歌唱者画像を含む画像を記憶する記憶装置を更に備え、
   前記表示制御手段は、該記憶装置から読み出した歌唱者画像を含む画像と、前記撮影手段により撮影される歌唱者画像を含む画像とを併行して表示させるようにしてあることを特徴とする請求項７に記載の画像再生システム。

Images