JP6366469B2 - 映像データの汎用性を有する通信カラオケシステム - Google Patents

Description

本発明は通信カラオケシステムに関するものであり、詳しくは、利用者がサーバにアップロードした映像データのフォーマットに汎用性を持たせるようにした通信カラオケシステムに関するものである。

カラオケルームに設置された通信カラオケ端末は、演奏に合わせて歌唱する利用者の音声と映像を入力することにより、音声データ及び映像データを生成してサーバにアップロードする機能を有しているものがある。このような通信カラオケ端末を利用して、サーバにアップロードされた音声データと映像データがミックスされた歌唱動画データをサーバにて公開することにより、サーバにアクセスした利用者が歌唱動画データを視聴できるサービスが知られている。

上述したサービスでは、パーソナルコンピュータやスマートフォンを利用してサーバにアクセスした利用者がコラボ歌唱動画を作成するために、公開されている歌唱動画データの中から気に入った歌唱動画データを「お気に入り登録」することで、この歌唱動画データに対応付けられている音声データと映像データを任意の通信カラオケ端末にダウンロードすることが可能となる。そして、通信カラオケ端末にダウンロードされた音声データと映像データは、カラオケ楽曲の演奏と共に再生される。通信カラオケ端末は、ダウンロードした音声データと映像データに基づく音声、映像、及びカラオケ演奏に合わせて歌唱する利用者の音声と映像を入力し、音声データ、及び映像データを生成してサーバにアップロードする。サーバでは、アップロードされたコラボ用の音声データと映像データ、及びお気に入り登録した歌唱動画データに対応付けられている音声データと映像データがミックスされたコラボ歌唱動画データを公開することにより、コラボ歌唱動画データについても視聴できるようになる。

ところで、新しい機種の通信カラオケ端末が開発される際には、その時期において主流である映像データのフォーマット（コーデック）が採用されることから、通信カラオケ端末の機種によって生成、及び再生可能な映像データのフォーマット（コーデック）が異なることになるが、各フォーマットの映像データについてサーバにて汎用性を持たせるように管理することが必要となる。

例えば、特許文献１（特開２０１０−２７２９号公報）には、カメラが接続されたカラオケ録画装置において、録画処理にて所定フォーマットの録画ファイルを作成し、録画ファイル作成直後に、記録媒体、携帯情報端末、動画投稿サイト等の多様な出力先に対応した複数のフォーマットにて録画ファイルを変換し、それぞれのフォーマットに対応した複数の録画ファイルを予め記憶しておく技術が開示されている。このような操作を行うことにより、利用者が指定した出力先の機器に対応したフォーマットの録画ファイルを即時に用意することができるため、迅速な出力処理を行うことができるとしている。

また、特許文献２（特開２００４−１１８２５６号公報）には、コンテンツ配信システムにおいて、クライアントへのコンテンツ配信のために、コンテンツ配信装置の記憶手段に第１フォーマットの第１コンテンツ素材と、第２コンテンツ素材を記憶しておき、配信先クライアントが第２フォーマットの第１コンテンツ素材を利用可能である場合は、第１フォーマットの第１コンテンツ素材を第２フォーマットの第１コンテンツ素材に変換し、これと第２コンテンツ素材を含む一つの複合コンテンツを作成して、当該クライアントに配信する技術が開示されている。このコンテンツ配信システムによれば、複合コンテンツを効率的に配信するとともに、コンテンツ記憶容量を低減することができるとしている。

特開２０１０−２７２９号公報 特開２００４−１１８２５６号公報

しかしながら、特許文献１に記載された技術のように、通信カラオケ端末からのお気に入り登録された歌唱動画データに対応付けられた映像データのダウンロード要求を受信した際の応答時間短縮に重きを置くと、全てのフォーマットについて映像データを保存することになり、記憶容量が増大してしまう。

また、特許文献２に記載された技術のように、保存する映像データを所定のフォーマットのみにしておけば、保存すべき映像データは最小限となり記憶容量を低減できる。しかし、通信カラオケ端末からお気に入り登録された歌唱動画データのダウンロード要求を受信した際に、保存している歌唱動画データに対応付けられた映像データのフォーマットがその通信カラオケ端末の機種に対応するフォーマットでなかった場合には、映像データのフォーマットを変換して、映像データを作成し直す必要がある。このため、フォーマット変換のための時間を要するだけはなく、応答時間も遅くなってしまう。

このように、従来技術には記憶容量の低減と、ダウンロード要求への応答時間短縮といったそれぞれの問題点を解決する技術が開示されているが、それぞれの問題点を同時に解決する技術については開示されておらず、その示唆もない。

さらに、コラボ歌唱動画の作成のためにダウンロードを目的としてお気に入り登録される歌唱動画データは、基本的に歌が上手い歌唱者の歌唱動画データの登録頻度が高く、逆に歌が下手な歌唱者の歌唱動画データの登録頻度は低いという傾向がある。したがって、このようなダウンロードを目的とする歌唱動画データの登録頻度の実情についても考慮する必要があるが、従来技術ではこの点について考慮しておらず、その示唆もない。

本発明は、上述した事情に鑑み提案されたもので、歌唱者が作成した歌唱動画データに対応付けられた映像データについて、その歌唱の巧拙に応じてフォーマットの汎用性を調整することにより、映像データを記憶する記憶装置における記憶容量の低減と、ダウンロード要求への応答時間の短縮を同時に実現可能な映像データの汎用性を有する通信カラオケシステムを提供することを目的とする。

本発明に係る映像データの汎用性を有する通信カラオケシステム（以下、通信カラオケシステムと略記することがある）は、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明に係る映像データの汎用性を有する通信カラオケシステムは、異なる映像データフォーマットが混在する複数のカラオケ演奏端末と通信回線を介して接続されたサーバからなる通信カラオケシステムに関する技術である。

この通信カラオケシステムのカラオケ演奏端末は、端末受信手段と、音声データ生成手段、映像データ生成手段と、採点データ生成手段と、端末送信手段とを備えている。また、サーバは、サーバ受信手段と、記憶手段と、変換映像データ生成手段とを備えている。

端末受信手段は、利用者のログイン操作に基づいて、サーバから該当する利用者ＩＤを受信するための手段である、音声データ生成手段は、カラオケ演奏時の歌唱音声を入力して、音声データを生成するための手段である。映像データ生成手段は、カラオケ演奏時の歌唱映像を入力して、当該カラオケ演奏端末の機種に対応するフォーマットの映像データを生成するための手段である。採点データ生成手段は、カラオケ演奏時に入力される歌唱音声から歌唱の巧拙を評価して採点データを生成するための手段である。端末送信手段は、カラオケ楽曲の楽曲ＩＤと利用者ＩＤと音声データと映像データ、及び採点データとをサーバに送信するための手段である。

サーバ受信手段は、カラオケ演奏端末から送信された楽曲ＩＤと利用者ＩＤと音声データと映像データ、及び採点データとを受信するための手段である。記憶手段は、サーバ受信手段にて受信した楽曲ＩＤと利用者ＩＤに、音声データと映像データ、及び採点データとを対応付けして記憶するための手段である。変換映像データ生成手段は、記憶手段に記憶した映像データを所定のフォーマットに変換して新たな映像データを生成するための手段である。

そして、変換映像データ生成手段は、記憶手段に記憶した採点データの値が所定の閾値以上の場合に、記憶した映像データのフォーマット以外のフォーマットに変換して、映像データと同一内容の新たな映像データを生成する。記憶手段は、変換映像データ生成手段によって映像データが新たに生成された場合に、当該映像データを楽曲ＩＤと利用者ＩＤに対応付けして記憶する。

また、変換映像データ生成手段は、記憶している映像データのフォーマット以外のフォーマットが採用されているカラオケ演奏端末から歌唱動画データの送信要求があると、記憶している映像データを歌唱動画データの送信要求を行ったカラオケ演奏端末で採用しているフォーマットに変換して、記憶している映像データと同一内容の新たな映像データを生成することが可能である。

上述した構成からなる映像データの汎用性を有する通信カラオケシステムでは、通信カラオケ端末の機種で採用されているフォーマットで生成された映像データと、通信カラオケ端末に搭載された採点機能による歌唱の巧拙を採点した採点データを受信したサーバは、映像データを記憶手段に記憶するとともに、記憶した採点データが所定の閾値以上であれば、記憶した映像データとは異なる種々のフォーマットの映像データを新たに生成し、これらを対応付けして記憶する。

本発明の通信カラオケシステムでは、ダウンロードを目的としてお気に入り登録される頻度が高い採点結果が高得点の歌唱者の歌唱動画データに対応付けられる映像データついて、予め多種類のフォーマットにて映像データを作成して保持するようになっている。したがって、このような映像データについては、ダウンロード要求を行ったカラオケ演奏端末が対応しているフォーマットがどのようなものであっても、ダウロード要求時にフォーマットの変換処理等を行う必要がないので、迅速な対応を行うことができる。

さらに、ダウンロードを目的としてお気に入り登録される頻度が低い採点結果が低得点の歌唱者の歌唱動画データに対応付けられる映像データについては、アップロードされたフォーマットのまま映像データを保持するようになっている。そして、サーバに保持している映像データのフォーマットがダウンロード要求を行ったカラオケ演奏端末で採用されているフォーマットと異なっていた場合にのみ、ダウンロード要求を行ったカラオケ演奏端末で採用されているフォーマットに変換して、新たに映像データを生成することで、記憶領域を節約することが可能となる。

本発明の実施形態に係る通信カラオケシステムの概略構成を示すブロック図。 歌唱動画データの作成及び記憶の手順を示すタイミングチャート。 コラボ歌唱動画データのダウンロードの手順を示すタイミングチャート。 コラボ歌唱動画データの作成及び記憶の手順を示すタイミングチャート。

以下、図面を参照して、本発明の通信カラオケシステムの実施形態について説明する。図１〜図４は本発明の実施形態に係る通信カラオケシステムを説明するもので、図１は通信カラオケシステムの概略構成を示すブロック図、図２は歌唱動画データの作成及び記憶の手順を示すタイミングチャート、図３はコラボ歌唱動画データのダウンロードの手順を示すタイミングチャート、図４はコラボ歌唱動画データの作成及び記憶の手順を示すタイミングチャートである。

＜通信カラオケシステムの概要＞
本発明の実施形態に係る通信カラオケシステム１００は、図１に示すように、サーバ６０及びカラオケ演奏端末１０により構成されるシステムである、そして、カラオケ演奏端末１０は、端末受信手段及び端末送信手段として機能する端末送受信制御手段２５、音声データ生成手段２７、映像データ生成手段２９、採点データ生成手段２８を備えている。一方、サーバ６０は、サーバ受信手段として機能するサーバ送受信制御手段６２、記憶手段６５、変換映像データ生成手段６３を備えている。

この通信カラオケシステム１００では、カラオケ演奏端末１０から送信される楽曲ＩＤと利用者ＩＤと音声データと映像データ、及び採点データを記憶手段６５の歌唱動画データベース６５ｂに記憶し、変換映像データ生成手段６３の機能により、記憶手段６５の歌唱動画データベース６５ｂに記憶した採点データの値が所定の閾値以上の場合に、記憶した映像データのフォーマット以外のフォーマットに変換して、記憶した映像データと同一内容の新たな映像データを生成する。そして、記憶手段６５は、変換映像データ生成手段６３によって映像データが新たに生成された場合に、当該映像データを楽曲ＩＤと利用者ＩＤに対応付けして歌唱動画データベース６５ｂに記憶する。

以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜カラオケ演奏端末＞
本発明の実施形態に係る通信カラオケシステム１００を適用するカラオケ演奏端末１０は、図１に示すように、カラオケ本体１１、カラオケリモコン装置１２、マイクロホン１３、カメラ１４、表示装置１５、ミキシングアンプ１６、スピーカ１７を備えている。また、カラオケ演奏端末１０は、ルータ４０、及びインターネット、専用電話回線、一般電話回線、無線通信回線等のデータ通信回線５０を介して、サーバ６０とネットワーク接続されている。

＜サーバ＞
サーバ６０は、複数のカラオケ演奏端末１０と通信を行うことにより、種々の制御信号及びデータを送受信するための装置であり、カラオケ演奏端末１０を総合的に管理するようになっている。また、図示しないが、サーバ６０は、データ通信回線５０及び通信基地局を介して、利用者が所持する携帯情報端末とデータ通信を行うことができるように構成してもよい。

サーバ６０は、図１に示すように、サーバ６０として機能するための主要な機器として、ＣＰＵ等を含むサーバ制御手段６１、サーバ送受信制御手段６２、変換映像データ生成手段６３、利用者情報記憶管理手段６４、記憶手段６５を備えている。

＜サーバ送受信制御手段＞
サーバ送受信制御手段６２は、サーバ受信手段及びサーバ送信手段として機能する手段であり、カラオケ演奏端末１０との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。このサーバ送受信制御手段６２により、カラオケ演奏端末１０との間で送受信するデータ及び信号の同期や誤り制御等を行う。

サーバ送受信制御手段６２のサーバ受信手段としての機能により、例えば、利用者からの指示に基づいて歌唱動画データを作成するために、カラオケ演奏端末１０から送信された楽曲ＩＤと利用者ＩＤと音声データと映像データ、及び採点データとを受信する。また、サーバ送受信制御手段６２のサーバ送信手段としての機能により、例えば、カラオケ演奏端末１０からのコラボ歌唱動画データの作成のための歌唱動画データの送信要求に対して、送信要求歌唱動画データに対応する利用者ＩＤと音声データと映像データ、及び採点データを送信する。

＜変換映像データ生成手段＞
変換映像データ生成手段６３は、サーバ送受信制御手段６２にて受信し、記憶手段６５の歌唱動画データベース６５ｂに記憶した採点データの値が所定の閾値以上の場合に、記憶した映像データのフォーマット以外のフォーマットに変換して、記憶した映像データと同一内容の新たな映像データを生成するためのプログラムからなる。例えば、受信した各データを記憶手段６５の歌唱動画データベース６５ｂに記憶した際に、記憶した採点データが所定の閾値（例えば、８５点）以上であり、当該歌唱動画データ６５に対応付けられた映像データがＭＰＥＧ２フォーマットで作成されていたとすると、変換映像データ生成手段６３の機能により、当該映像データのフォーマット変換を行い、新たにＨ．２６４フォーマットの映像データを生成する。

＜利用者情報記憶管理手段＞
利用者情報記憶管理手段６４は、利用者の属性情報を利用者ＩＤに対応付けして利用者情報管理データベースを作成し、この利用者情報管理データベース６５ａを記憶手段６５に記憶し管理するためのプログラムからなる。すなわち、利用者情報記憶管理手段６４は、各利用者の氏名（ニックネーム）、性別、生年月日、住所等の属性情報を、当該利用者の利用者ＩＤと対応付けして利用者情報管理データベース６５ａを作成し、記憶手段６５に記憶する。

＜記憶手段＞
記憶手段６５は、サーバ６０において管理する各種のデータを記憶するための装置であり、例えばＨＤＤにより構成する。本実施形態の記憶手段６５は、変換映像データ生成手段６３によって映像データが新たに生成された場合に、当該映像データを楽曲ＩＤと利用者ＩＤに対応付けして歌唱動画データベース６５ｂに記憶する。すなわち、記憶手段６５には、利用者に関する各種情報を記憶した利用者情報管理データベース６５ａ、歌唱動画データに関する音声データ、映像データ、採点データに楽曲ＩＤ及び利用者ＩＤを対応付けた歌唱動画データベース６５ｂが格納されている。歌唱動画データベース６５ｂについては、後に詳述する。

＜カラオケリモコン装置＞
カラオケリモコン装置１２は、ユーザインタフェース機能を備えており、ルータ４０及びデータ通信回線５０を介して、カラオケ本体１１との間でデータの送受信を行うようになっている。このカラオケリモコン装置１２は、楽曲検索手段１２ａとして機能するプログラム、楽曲索引データベース１２ｂ、種々のデータを記憶するためのデータ記憶部１２ｃ、データの入出力を行うための入出力表示部１２ｄを備えている。このカラオケリモコン装置１２に付帯するスイッチ類や、入出力表示部１２ｄに表示される各種のアイコン等を操作することにより、選曲操作等が行われる。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段１２ａは、利用者の指示に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース１２ｂは、カラオケ演奏端末１０で演奏に供されるカラオケ楽曲について、その属性情報を記述したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル・デュエット曲か否かなど、種々の属性情報がこれに含まれている。楽曲検索手段１２ａは、利用者による指示入力に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索する。

＜マイクロホン／スピーカ＞
マイクロホン１３は、歌唱音声の入力を行うための装置である。マイクロホン１３から入力された歌唱音声信号は、ミキシングアンプ１６により、音楽再生制御手段３１から送出されるカラオケ演奏信号とミキシングされるとともに増幅され、スピーカ１７へ出力される。また、マイクロホン１３からの音声入力信号は、Ａ／Ｄコンバータ３２によりデジタル変換し、採点データ生成手段２８における採点値の生成に使用される。

＜表示装置／カメラ＞
表示装置１５は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。カメラ１４は、歌唱者の歌唱姿態を撮影するための装置であり、例えば、ビデオカメラにより構成することができる。また、カメラ１４は、撮影方向を固定するとともに、焦点距離の調整を行わない固定焦点式であってもよいし、合焦機能、ズーム機能、パンチルト機能等を備えていてもよい。

＜カラオケ本体＞
カラオケ本体１１は、中央制御手段２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、端末送受信制御手段２５、予約楽曲管理手段２６、音声データ生成手段２７、採点データ生成手段２８、映像データ生成手段２９、映像再生制御手段３０、音楽再生制御手段３１、Ａ／Ｄコンバータ３２を備えている。

＜中央制御手段＞
中央制御手段２１は、カラオケ本体１１を総合的に制御するための電子機器であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ２２等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ２２は、カラオケ本体１１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための電子機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ２３は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。本実施形態では、ＲＡＭ２３に、予約楽曲管理テーブル２３ａ、サーバ６０へ送信するための音声データ及び映像データ２３ｂが一時的に記憶される。

＜ＨＤＤ＞
ＨＤＤ２４は、大容量記憶装置として機能するもので、楽曲データベース２４ａ、背景映像データベース２４ｂが格納されている。なお、ＨＤＤ２４に替えて、あるいはＨＤＤ２４と共に、データを書き替え可能なＤＶＤ等の大容量記憶手段を用いてもよい。

＜楽曲データベース／背景映像データベース＞
楽曲データベース２４ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞描出データが同期されて構成される楽曲データについて、楽曲ＩＤと対応付けしてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。背景映像データベース２４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた背景映像ファイルとして所定数格納したデータベースである。

＜端末送受信制御手段＞
端末送受信制御手段２５は、端末受信手段及び端末送信手段として機能する手段であり、サーバ６０との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。この端末送受信制御手段２５の機能により、カラオケ演奏端末１０との間で送受信するデータ及び信号の同期や誤り制御等を行う。本実施形態の端末送受信制御手段２５は、端末受信手段の機能として、利用者のログイン操作に基づいて、サーバ６０から該当する利用者ＩＤを受信する。

ログイン操作とは、例えば、利用者が所持する携帯情報端末を用いてシステムログインするためのデータ（例えば、カラオケ演奏端末１０や携帯情報端末の識別情報）をサーバ６０に送信する操作のことである。システムログインするためのデータを受信したサーバ６０は、該当するカラオケ演奏端末１０に対して、当該利用者の利用者ＩＤ等を送信する。なお、ログイン操作は、このような態様に限られず、システムログインした利用者を特定して、利用者ＩＤを取得するための操作であれば、どのような態様であってもよい。

＜予約楽曲管理手段／予約楽曲管理テーブル＞
予約楽曲管理手段２６は、任意の利用者がカラオケ楽曲の予約を行う際に、当該利用者の利用者ＩＤと予約楽曲の楽曲ＩＤとを対応付けして、予約楽曲管理テーブル２３ａにて管理するためのプログラムからなる。すなわち、予約楽曲管理手段２６は予約楽曲管理テーブル２３ａを作成し、この予約楽曲管理テーブル２３ａをＲＡＭ２３に格納して管理する。予約楽曲管理テーブル２３ａは、利用者により楽曲検索手段１２ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて作成したデータテーブルである。

＜音声データ生成手段＞
音声データ生成手段２７は、カラオケ演奏時の歌唱音声を入力して、音声データを生成するためのプログラムからなる。すなわち、音声データ生成手段２７は、カラオケ演奏時にマイクロホン１３から入力される歌唱音声に基づいて、音声データを生成する。生成された音声データは、当該歌唱音声の入力を行った利用者の映像データとともにＲＡＭ２３に記憶される。なお、音声データは、各カラオケ演奏端末１０で再生することができれば、どのようなフォーマット（コーデック）で生成してもよい。

＜映像データ生成手段＞
映像データ生成手段２９は、カラオケ演奏時の歌唱映像を入力して、カラオケ演奏端末１０で採用されているフォーマットの映像データを生成するためのプログラムからなる。上述したように、生成された映像データは、当該利用者の音声データとともにＲＡＭ２３に記憶される。この映像データ生成手段２９は、例えば、ＭＰＥＧ２に対応しているカラオケ演奏端末１０ではＭＰＥＧ２のフォーマットにより映像データを生成し、Ｈ．２６４に対応しているカラオケ演奏端末１０ではＨ．２６４のフォーマットにより映像データを生成する。

＜採点データ生成手段＞
採点データ生成手段２８は、カラオケ演奏時に入力される歌唱音声から歌唱の巧拙を評価して採点データを生成するためのプログラムからなる。すなわち、採点データ生成手段２８は、歌唱採点用リファレンスデータと歌唱音声を所定の歌唱区間ごとに比較することにより、歌唱の巧拙を評価した結果である歌唱得点を演奏終了とともに採点データとして出力する。

この採点データ生成手段２８は、通常のカラオケ演奏の場合、利用者がカラオケリモコン装置１２の入出力表示部１２ｄを用いて歌唱採点指示入力を行った場合に歌唱採点を行う。歌唱採点を行うための指示入力は、例えば、楽曲の予約時に行うが、演奏の楽曲が開始するまでの間であれば、選曲予約後に歌唱採点を行うための指示入力を行ってもよい。また、本発明の採点データ生成手段２８は、歌唱撮影モードにて予約された楽曲の演奏開始時に自動的に起動する。

＜音楽再生制御手段＞
音楽再生制御手段３１は、楽曲ＩＤに対応する楽曲データから抽出された演奏制御データに基づいて、音源（シンセサイザ）を駆動しカラオケ演奏信号を構成する楽音信号を生成するとともにアナログ変換してミキシングアンプ１６に出力するための電子機器である。また、ミキシングアンプ１６は、マイクロホン１３から入力された歌唱者の歌唱音声信号と、音楽再生制御手段３１から送出されるカラオケ演奏信号とをミキシングすると共に、アンプ機能により増幅してスピーカ１７より出力するための装置である。

＜映像再生制御手段＞
映像再生制御手段３０は、カラオケ楽曲の演奏中に、背景映像データベース２４ｂから抽出した背景映像データと、楽曲データに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させて表示装置１５に出力するための電子機器である。また、コラボ歌唱動画データを作成する場合には、背景映像データベース２４ｂから抽出した背景映像データではなく、ダウンロードされた映像データを当該カラオケ楽曲の楽曲データに同期させて表示装置１５に出力する。なお、ダウンロードされた映像データのフォーマットは、当該カラオケ演奏端末１０にて採用されているフォーマットの映像データである必要がある。

＜歌唱動画データに関する各データの作成処理＞
上述したように、カラオケ演奏端末１０には複数の機種が存在し、それぞれＧＵＩ機能（入出力表示部１２ｄ）を搭載するカラオケリモコン装置１２及びカメラ１４が接続されている。また、複数のカラオケ演奏端末１０はデータ通信回線５０によりサーバ６０と接続されている。

図２に示すように、利用者がカラオケリモコン装置１２を用いてカラオケシステムにログインすると（Ａ１−１）、サーバ６０では当該利用者の利用者ＩＤを該当するカラオケ演奏端末１０に送信し（Ｂ１−１）、カラオケ演奏端末１０は送信されてきた利用者ＩＤを受信する（Ａ１−２）。これにより、システムログインした利用者を特定することができる。

そして、当該利用者がカラオケリモコン装置１２の入出力表示部１２ｄを用いて歌唱撮影モードを選択して楽曲を予約し（Ａ１−３）、予約楽曲の演奏に合わせて歌唱すると、マイクロホン１３から入力される歌唱音声及びカメラ１４から入力される歌唱映像が、音声データ及び映像データとしてＲＡＭ２３に記録される（Ａ１−４）。なお、音声データについては、例えばＭＰ３、映像データについては、当該カラオケ演奏にて採用されているフォーマット（例えば、ＭＰＥＧ２）にて生成される。

また、歌唱撮影モードにて予約された楽曲の演奏開始時に、カラオケ演奏端末１０に搭載されている採点機能（採点データ生成手段２８）が自動的に起動し、歌唱採点用リファレンスデータと歌唱音声を所定の歌唱区間ごとに比較することにより、歌唱の巧拙を評価した結果である歌唱得点を演奏終了とともに採点データとして出力する（Ａ１−５）。

そして、利用者がカラオケリモコン装置１２の入出力表示部１２ｄを用いて、歌唱撮影モードにて記録された音声データ、映像データ、及び採点データをサーバ６０にアップロードするように指示すると（Ａ１−６）、各データがサーバ６０にアップロードされる（Ａ１−７）。この際、各データと同時に、利用者ＩＤと楽曲ＩＤがサーバ６０にアップロードされる。

＜歌唱動画データの記憶処理＞
上述したように、初回撮影時に記録された音声データ、映像データ（ＭＰＥＧ２）、採点データに加え、利用者ＩＤ、楽曲ＩＤがカラオケ演奏端末１０からサーバ６０にアップロードされると（Ａ１−７）、サーバ６０では、各データを対応付けして、記憶手段６５の歌唱動画データベース６５ｂに記憶する（Ｂ１−２）。そして、採点データと閾値（例えば、８５点）とを比較する（Ｂ１−３）。ここで、採点データが閾値である８５点以上の場合には、記憶した映像データとは異なるフォーマット（例えば、Ｈ．２６４）の映像データに変換して新たな映像データを生成し、既に記憶している各データと対応付けして記憶する（Ｂ１−４）。この場合、ＭＰＥＧ２に加えてＨ．２６４の映像データが生成され、利用者ＩＤ、楽曲ＩＤ、音声データ、採点データと関連付けられることになる。一方、採点データが８５点に満たない場合は、特に新たな映像データは生成されることなく、アップロードされたフォーマット（ＭＰＥＧ２）の映像データがそのまま記憶される。

そして、記憶手段６５の歌唱動画データベース６５ｂに記憶された音声データと映像データに基づき、公開用としてパソコン向けの歌唱動画データ（ＷＭＶなど）や、スマートフォン向けの歌唱動画データ（ＭＰ４など）に変換することで新たに生成し、先に記憶した各データと対応付けして記憶（Ｂ１-５）する。

歌唱動画データが記憶手段６５の歌唱動画データベース６５ｂに記憶されると、利用者は、パーソナルコンピュータやスマートフォンを利用して公開サーバ（図示せず）にアクセスし、歌唱動画公開サイトにログインすることで、公開されている歌唱動画データを視聴したり、コラボしたい歌唱動画データを検索してお気に入り登録したりすることができる。

＜歌唱動画データのダウンロード要求処理＞
そして、図３に示すように、任意のカラオケ演奏端末１０においてコラボ歌唱動画データを作成するために歌唱動画データのダウンロード要求を行うと（Ａ２−１）、サーバ６０は当該カラオケ演奏端末１０に対して、予め歌唱動画公開サイトにてお気に入り登録しておいた歌唱動画データと、当該歌唱動画データに対応付けられている利用者ＩＤ、楽曲ＩＤからなる歌唱動画データリストを送信する（Ｂ２−１）。当該カラオケ演奏端末１０では、サーバ６０から受信した歌唱動画データリストを表示する（Ａ２−２）。すなわち、利用者が、カラオケリモコン装置１２を用いてカラオケシステムにログインし、カラオケリモコン装置１２の入出力表示部１２ｄからコラボ撮影モードを選択することにより、予め歌唱動画公開サイトにてお気に入り登録しておいた歌唱動画データリストが表示される。

この状態で、利用者が歌唱動画データリストの中からコラボ撮影する歌唱動画データを選択し、選択した歌唱動画データに対応するカラオケ楽曲を予約登録すると（Ａ２−３）、カラオケ演奏端末１０はサーバ６０に対して、該当する歌唱動画データのダウンロード要求を、選択した歌唱動画データの利用者ＩＤ、楽曲ＩＤ、及びカラオケ演奏端末１０の動画フォーマット情報（例えば、Ｈ．２６４）とともに送信する（Ａ２−４）。

＜歌唱動画データのダウンロード要求への対応処理＞
サーバ６０では、カラオケ演奏端末１０からダウンロード要求とともに送信されてきた利用者ＩＤ、楽曲ＩＤに基づいて記憶手段６５に記憶されている歌唱動画データに対応付けられた映像データを特定し（Ｂ２−２）、送信されてきた動画フォーマット情報に基づいて、送信元のカラオケ演奏端末１０の動画フォーマット（例えば、Ｈ．２６４）の映像データが記憶されていないかを確認する（Ｂ２−３）。ここで、送信元のカラオケ演奏端末１０で採用されている動画フォーマットの映像データが記憶されていなければ、記憶されている他の動画フォーマット（例えば、ＭＰＥＧ２）の映像データを送信元のカラオケ演奏端末１０で採用されている動画フォーマット（例えば、Ｈ．２６４）に変換して新たな映像データを生成する（Ｂ２−４）。

サーバ６０は、動画フォーマット情報に基づく動画フォーマットの映像データと、歌唱動画データに対応付けられている音声データ、及び採点データを送信元のカラオケ演奏端末１０に送信する（Ｂ２−５）。一方、カラオケ演奏端末１０では、ダウンロード要求に対して送信されてきた映像データ、音声データ、及び採点データを所定の記憶領域（例えば、ＲＡＭ２３）に記憶する（Ａ２−５）。なお、送信元のカラオケ演奏端末１０で採用されている動画フォーマットに変換して新たな映像データを作成した場合、この映像データを歌唱動画データに対応付けして一時的に保存しておくことで、後述するようにコラボ映像データを生成する際にこの保存しておいた映像データを特定することができ、カラオケ演奏端末１０からアップロードされるカラオケ演奏端末１０で採用されている動画フォーマットの映像データと合成することができる。一時的に保存しておいた映像データは合成後に削除すればよい。

＜コラボ歌唱動画データに関する各データの作成処理＞
図４に示すように、カラオケ演奏端末１０では、予約登録した歌唱動画データに対応するカラオケ楽曲を演奏するとともに、受信して記憶した音声データと映像データを同期再生する（Ａ３−１）。そして、利用者が楽曲の演奏に合わせて歌唱すると、マイクロホン１３から入力される歌唱音声と同期再生されている音声データがミックスされた歌唱音声、及びカメラ１４から入力される歌唱映像を、コラボ音声データ、及び映像データとして記録する（Ａ３−２）。なお、映像データは、当該カラオケ演奏端末１０にて生成可能なフォーマット（Ｈ．２６４）により生成される。

歌唱撮影モードと同様に、コラボ撮影モードにおいても演奏終了とともに採点データが出力されるが、コラボ撮影モードの場合には、利用者の歌唱に基づいて出力された採点データと、ダウンロードされた採点データとの平均値をコラボ採点データとして出力する（Ａ３−３）。

利用者がカラオケリモコン装置１２を利用して、コラボ撮影モードにて記録されたコラボ音声データ、映像データ、及びコラボ採点データをサーバ６０にアップロードする指示入力を行うと（Ａ３−４）、各データがサーバ６０にアップロードされる（Ａ３−５）。なお、各データのアップロード時には、利用者ＩＤと楽曲ＩＤ、及び選択した歌唱映像データの利用者ＩＤが同時にアップロードされる。

＜コラボ歌唱動画データの記憶処理＞
サーバ６０では、カラオケ演奏端末１０からアップロードされた利用者ＩＤ、楽曲ＩＤ、コラボ音声データ、映像データ（Ｈ．２６４フォーマット）、コラボ採点データ、及び歌唱動画データリストにて選択した歌唱動画データに対応する利用者ＩＤを関連付けて記憶手段６５の歌唱動画データベース６５ｂに記憶する（Ｂ３−１）。この際、歌唱動画データリストにて選択した歌唱動画データに対応する利用者ＩＤと楽曲ＩＤに基づいて記憶手段６５に記憶されている映像データ（ＭＰＥＧ２フォーマット）を特定し、それぞれの映像データを合成してコラボ映像データを作成する（Ｂ３−２）。

ここで、記憶したコラボ採点データが閾値（例えば、８５点）以上であるか否かを判断し（Ｂ３−３）、コラボ採点データが閾値（８５点）以上である場合には、複数種類のフォーマット（例えば、Ｈ．２６４及びＭＰＥＧ２）のコラボ映像データを新たに生成して、先に記憶した各データと対応付けして記憶し（Ｂ３−４）、代わりにアップロードされて記憶した映像データ（Ｈ．２６４フォーマットの映像データ）を削除する（Ｂ３−５）。

一方、コラボ採点データが８５点に満たない場合には、アップロードされた映像データのフォーマット（例えば、Ｈ．２６４）のコラボ映像データのみを新たに生成する。さらに、図示しないが、記憶されたコラボ音声データとコラボ映像データは公開用としてパソコン向けのコラボ歌唱動画データ（ＷＭＶなど）や、スマートフォン向けのコラボ歌唱動画データ（ＭＰ４など）に変換することで新たに生成し、各データと対応付けして記憶する。

コラボ歌唱動画データが記憶手段６５の歌唱動画データベース６５ｂに記憶されると、利用者は、パーソナルコンピュータやスマートフォンを利用して公開サーバ（図示せず）にアクセスし、歌唱動画公開サイトにログインすることで、公開されているコラボ歌唱動画データを視聴したり、さらにコラボしたいコラボ歌唱動画データを検索してお気に入り登録したりすることができる。

１００ 通信カラオケシステム
１０ カラオケ演奏端末
１１ カラオケ本体
１２ カラオケリモコン装置
１２ａ 楽曲検索手段
１２ｂ 楽曲索引データベース
１２ｃ データ記憶部
１２ｄ 入出力表示部
１３ マイクロホン
１４ カメラ
１５ 表示装置
１６ ミキシングアンプ
１７ スピーカ
２１ 中央制御手段
２２ ＲＯＭ
２３ ＲＡＭ
２３ａ 予約楽曲管理テーブル
２３ｂ 音声データ及び映像データ
２４ ＨＤＤ
２４ａ 楽曲データベース
２４ｂ 背景映像データベース
２５ 端末送受信制御手段
２６ 予約楽曲管理手段
２７ 音声データ生成手段
２８ 採点データ生成手段
２９ 映像データ生成手段
３０ 映像再生制御手段
３１ 音楽再生制御手段
３２ Ａ／Ｄコンバータ
４０ ルータ
５０ データ通信回線
６０ サーバ
６１ サーバ制御手段
６２ サーバ送受信制御手段
６３ 変換映像データ生成手段
６４ 利用者情報記憶管理手段
６５ 記憶手段
６５ａ 利用者情報管理データベース
６５ｂ 歌唱動画データベース

Claims (2)

1. 異なる映像データフォーマットが混在する複数のカラオケ演奏端末と通信回線を介して接続されたサーバからなる通信カラオケシステムにおいて、
   前記カラオケ演奏端末は、
   利用者のログイン操作に基づいて、前記サーバから該当する利用者ＩＤを受信する端末受信手段と、
   カラオケ演奏時の歌唱音声を入力して、音声データを生成する音声データ生成手段と、
   カラオケ演奏時の歌唱映像を入力して、当該カラオケ演奏端末の機種に対応するフォーマットの映像データを生成する映像データ生成手段と、
   カラオケ演奏時に入力される歌唱音声から歌唱の巧拙を評価して採点データを生成する採点データ生成手段と、
   前記カラオケ楽曲の楽曲ＩＤと前記利用者ＩＤと前記音声データと前記映像データ、及び前記採点データとを前記サーバに送信する端末送信手段と、
   を備え
   前記サーバは、
   前記カラオケ演奏端末から送信された前記楽曲ＩＤと前記利用者ＩＤと前記音声データと前記映像データ、及び前記採点データとを受信するサーバ受信手段と、
   前記サーバ受信手段にて受信した前記楽曲ＩＤと前記利用者ＩＤに、前記音声データと前記映像データ、及び前記採点データとを対応付けして記憶する記憶手段と、
   前記記憶手段に記憶した前記映像データを所定のフォーマットに変換して新たな映像データを生成する変換映像データ生成手段と、
   を備え、
   前記変換映像データ生成手段は、前記記憶手段に記憶した前記採点データの値が所定の閾値以上の場合に、前記記憶した映像データのフォーマット以外のフォーマットに変換して、前記映像データと同一内容の新たな映像データを生成し、
   前記記憶手段は、前記変換映像データ生成手段によって映像データが新たに生成された場合に、当該映像データを前記楽曲ＩＤと前記利用者ＩＤに対応付けして記憶する、
   ことを特徴とする映像データの汎用性を有する通信カラオケシステム。
2. 前記変換映像データ生成手段は、前記記憶した映像データのフォーマット以外のフォーマットを採用しているカラオケ演奏端末から映像データの送信要求があると、前記記憶した映像データを前記映像データの送信要求を行った前記カラオケ演奏端末で採用しているフォーマットに変換して、前記映像データと同一内容の新たな映像データを生成する、
   ことを特徴とする請求項１に記載の映像データの汎用性を有する通信カラオケシステム。

Images