JP6315568B2 - 通信カラオケシステム及びサーバ - Google Patents

Description

本発明は通信カラオケシステム及びサーバに関するものであり、詳しくは、利用者が所持する携帯情報端末にカラオケ楽曲データをストリーミング配信すると共に、歌唱者の歌唱音声データと歌唱者の歌唱映像データとを受信して、種々のデータ加工を行うことが可能な通信カラオケシステム及びサーバに関するものである。

携帯情報端末を利用した通信カラオケシステムに関する技術が知られている（例えば、特許文献１〜特許文献５参照）。特に近年、携帯情報端末は広く普及しており、このような技術を用いれば、誰でもどこでも好きな楽曲を手軽にカラオケ歌唱することができるようになっている。

特許文献１には、格納したカラオケ楽曲データを歌唱者の携帯電話機に配信するサーバと、カラオケ楽曲を再生するとともに歌唱者の歌唱を採点し、採点結果をサーバに送信する携帯電話機とからなる携帯電話システムが開示されている。この技術を用いれば、手軽にカラオケ歌唱できることに加えて、サーバで採点結果が管理されるので、歌唱力の上達に役立つという効果が得られる。

また、カラオケルームにおいて、歌唱者の同伴者が携帯情報端末で撮影した歌唱者の歌唱映像を利用して、カラオケの色々な楽しみ方を提案する技術が開示されている。例えば、特許文献２に記載された技術は、カラオケルームに設置されたデジタルビデオカメラで撮影された歌唱映像と、カラオケルーム内で携帯電話機を用いて撮影した映像とを合成して、背景映像としてカラオケルーム内のディスプレイに表示したり、動画データとして公開サーバに投稿したりする。

また、カラオケルームにおいて、背景映像や歌詞を表示するディスプレイに、利用者が選択したアバターを表示するサービスに関する技術が開示されている。このようなサービスとして、バーチャル・リアリティや、オンラインのＲＰＧ（ロールプレイングゲーム）において、仮想空間に設けられたカラオケルームでアバターに歌唱させるサービスがある。

例えば、特許文献３に記載された技術は、２人の歌唱者が歌唱の採点経過を競い合いながら歌唱を楽しむカラオケバトルゲームにおいて、２人の歌唱者に対応させたキャラクタが格闘するアニメーションを表示し、歌唱区間毎の採点結果に応じて双方のキャラクタの優劣が変化するようになっている。

また、モーション・キャプチャリング技術により歌唱者の動き（振り付け）を抽出し、仮想空間の中のアバターの動きを制御して表示する技術が知られている。家庭用ゲーム機器の中には、６人のゲーム参加者の動作を同時にキャプチャできるものもある。

例えば、特許文献４に記載された技術は、撮影された被写体人物の姿勢を推定し、同じ姿勢をとるアバターをモニター上の仮想空間に表示するようになっている。

また、カラオケルームにおいて、カラオケ装置に加えて撮影手段や録音録画手段などを備え、歌唱者の歌唱動画を撮影し、サーバにアップロードして閲覧可能に公開するサービスが知られている。例えば、特許文献５に記載された技術は、撮影された歌唱動画を録画して公開する際に、歌唱動画のインデックス（サムネイル）画像を適切に抽出するようになっている。

特開２００１−１９７１６８号公報 特開２０１３−２１０４６４号公報 特開平１０−２６８８７６号公報 特開２００１−１９５５９５号公報 特開２０１４−１７５７０号公報

上述したように、携帯情報端末を利用した通信カラオケシステムにおいて、サーバが歌唱者の携帯情報端末と通信したり、撮影者の携帯情報端末と通信したりする技術は知られている。しかし、サーバが同時に歌唱者及び撮影者の携帯情報端末の双方と通信し、歌唱者が携帯情報端末を使ってカラオケ歌唱を楽しみ、撮影者が携帯情報端末を使って歌唱動画を撮影して、仮想空間に表示させる技術は存在せず、その開発が望まれていた。

また、カラオケの歌唱動画を撮影して投稿するには、カラオケルームに足を運ばねばならならず、利用者にとって面倒であるという問題もあった。例えば、カラオケルームに出向くことなく自宅等において、携帯情報端末を用いてカラオケ歌唱及び歌唱動画の撮影を行い、カラオケの歌唱動画を投稿（公開）することができれば、さらに一層、カラオケの楽しみを広げることができる。

本発明は、上述した事情に鑑み提案されたもので、サーバが同時に歌唱者及び撮影者の携帯情報端末の双方と通信可能とし、カラオケ利用態様のバリエーションを増やすことが可能な通信カラオケシステム及びサーバを提供することを目的とする。

本発明の通信カラオケシステム及びサーバは、上述した事情に鑑み提案されたもので、以下の特徴点を有している。すなわち、本発明の通信カラオケシステムのサーバは、カラオケ楽曲データを記憶する第１記憶手段と、第１記憶手段に記憶されたカラオケ楽曲データを読み出して、歌唱者の所持する携帯情報端末及び当該歌唱者を撮影する撮影者の所持する携帯情報端末にストリーミング配信する配信手段と、ストリーミング配信終了後に、歌唱者の所持する携帯情報端末から歌唱音声データを受信する音声データ受信手段と、ストリーミング配信終了後に、撮影者の所持する携帯情報端末から歌唱映像データを受信する映像データ受信手段とを備えたことを特徴とするものである。

また、上述した構成に加えて、仮想空間を構成するための背景映像データ及び複数の異なるアバターを表示するためのアバターデータを記憶する第２記憶手段と、歌唱者の所持する携帯情報端末からの入力に基づいて、複数の異なるアバターのうちの１つを歌唱者アバターとして指定することを受け付ける受付手段と、映像データ受信手段が受信した歌唱映像データから歌唱者の動きを抽出する抽出手段と、抽出手段により抽出された歌唱者の動きに応じて歌唱者アバターの動きを制御し、当該歌唱者アバターと第２記憶手段に記憶された背景映像データに基づく背景映像とにより仮想空間を構成し、音声データ受信手段により受信した歌唱音声データ及び当該カラオケ楽曲データと同期させてバーチャル・カラオケルーム映像を生成する生成手段とを備えることが可能である。

また、上述した構成に加えて、音声データ受信手段により受信した音声データを評価して歌唱者の歌唱を採点する採点手段を備えることが可能である。このような構成の場合、第２記憶手段は、少なくともカラオケルームを表現するための映像データを含む複数の背景映像データを記憶し、生成手段は、さらに、採点手段による採点結果に応じて複数の背景映像データのうちの１つを選択してバーチャル・カラオケルーム映像を生成することが可能である。

また、上述した構成に加えて、受付手段は、さらに、撮影者の所持する携帯情報端末から、複数の異なるアバターのうちの１つを歌唱者アバターの聴衆である観客アバターとして指定することを受け付け、生成手段は、さらに、歌唱映像データに基づいて、歌唱者アバターと観客アバターの位置関係を決定して、観客アバターを含むバーチャル・カラオケルーム映像を生成することが可能である。

また、上述した構成に加えて、映像データ受信手段は、さらに、撮影者の所持する携帯情報端末から歌唱映像データと共に歌唱映像の撮影と同時に集音された撮影者の音声データを受信し、生成手段は、さらに、映像データ受信手段により受信した撮影者の音声データを、音声データ受信手段により受信した歌唱音声データ及び当該カラオケ楽曲データと同期させて混合し、バーチャル・カラオケルーム映像を生成することが可能である。

また、上述した構成に加えて、バーチャル・カラオケルーム映像を閲覧可能に公開する公開手段を備えることが可能である。

本発明の通信カラオケシステムは、サーバと、当該サーバとデータ通信可能な携帯情報端末とからなることを特徴とするものである。そして、サーバは、カラオケ楽曲データを記憶する第１記憶手段と、第１記憶手段に記憶されたカラオケ楽曲データを読み出して、歌唱者の所持する携帯情報端末又は当該歌唱者を撮影する撮影者の所持する携帯情報端末のいずれか一方のみにストリーミング配信する配信手段と、ストリーミング配信終了後に、歌唱者の所持する携帯情報端末から歌唱音声データを受信する音声データ受信手段と、ストリーミング配信終了後に、撮影者の所持する前記携帯情報端末から歌唱映像データを受信する映像データ受信手段とを備えている。

また、携帯情報端末は、カラオケ楽曲データのストリーミング配信を受けた一方の携帯情報端末から他方の携帯情報端末（カラオケ楽曲データのストリーミング配信を受けていない携帯情報端末）に、当該カラオケ楽曲データを転送する転送手段を備えている。

このような構成からなる通信カラオケシステム及びサーバでは、歌唱者の携帯情報端末（例えば、スマートフォン）にカラオケ楽曲データをストリーミング配信し、歌唱者がカラオケ演奏に合わせて歌唱し、録音した歌唱音声データをサーバに送信する。また、サーバは同時に、撮影者の携帯情報端末にカラオケ楽曲データをストリーミング配信し、撮影者は歌唱動画を撮影し、録画した歌唱映像データをサーバに送信する。なお、カラオケ楽曲データのストリーミング配信は、歌唱者の携帯情報端末又は撮影者の携帯情報端末のいずれか一方のみに行い、カラオケ楽曲データのストリーミング配信を受けた一方の携帯情報端末から、他方の携帯情報端末に対して、受信したカラオケ楽曲データを転送してもよい。

そして、サーバは、歌唱者が指定したアバターに、歌唱映像データから抽出された歌唱者の動きを反映させ、カラオケルームあるいはステージなどの背景と合成して、カラオケ演奏音や歌唱音声と同期させてバーチャル・カラオケルーム映像を生成する。

また、サーバは、歌唱音声データに基づく歌唱採点を行い、採点結果に応じてバーチャル・カラオケルームの仕様（グレード）を決定する。

また、サーバは、撮影者が指定したアバターを観客として配したバーチャル・カラオケルーム映像を生成する。その際、歌唱映像データに基づいて歌唱者アバターと観客アバターの位置関係を決定する。例えば、歌唱者の顔が正面から映っている場合には、撮影者は歌唱者の正面に位置して撮影を行っており、歌唱者の右横顔が映っている場合には、撮影者は歌唱者の正面に向かって左側（ステージに向かって左側）に位置して撮影を行っている等、歌唱映像データに基づいて歌唱者アバターと観客アバターの位置関係を決定することができる。

また、撮影と同時に集音された撮影者の音声を、カラオケ演奏音や歌唱音声と同期さてミキシングし、バーチャル・カラオケルーム映像を生成することができる。

本発明の通信カラオケシステム及びサーバでは、カラオケルームに足を運ぶことなく、例えば友人の部屋などで、気軽に携帯情報端末を利用してカラオケ歌唱を楽しみ、歌唱音声や歌唱映像を録音録画してサーバに送信して共有することができる。さらに、これらの歌唱音声や歌唱映像を元にして、歌唱者や撮影者のアバターが配されたバーチャル・カラオケルームでの歌唱映像を生成し、第三者に公開して楽しむことができる。また、プライベートな撮影場所や歌唱者の顔は公開したくないが、歌唱を動画付きで公開したいという要望にも応えることができる。

このように、本発明の通信カラオケシステム及びサーバによれば、サーバが同時に歌唱者及び撮影者の双方と通信可能であるため、カラオケ利用態様のバリエーションを増やすことができ、カラオケの楽しさをより一層高めることが可能となる。

本発明の実施形態に係る通信カラオケシステムのサーバの概略構成を示すブロック図。 バーチャル・カラオケルーム映像の生成手順を示す説明図。 生成したバーチャル・カラオケルーム映像を示す模式図。 本発明の他の実施形態に係る通信カラオケシステムの携帯情報端末の概略構成を示すブロック図。 バーチャル・カラオケルーム映像の生成手順の他の例を示す説明図。

図面を参照して、本発明の通信カラオケシステム及びサーバの実施形態について説明する。図１〜図５は本発明の実施形態に係る通信カラオケシステム及びサーバを説明するもので、図１はサーバの概略構成を示すブロック図、図２はバーチャル・カラオケルーム映像の生成手順を示す説明図、図３（Ａ）、図３（Ｂ）は生成したバーチャル・カラオケルーム映像を示す模式図、図４は他の実施形態に係る通信カラオケシステムの携帯情報端末の概略構成を示すブロック図、図５はバーチャル・カラオケルーム映像の生成手順の他の例を示す説明図である。

以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜通信カラオケシステム及びサーバの概要＞
本発明の実施形態に係る通信カラオケシステム及びサーバは、図１に示すように、カラオケルーム等に設置されたカラオケ演奏装置７０を用いることなく、利用者が所持する携帯情報端末３０（例えば、スマートフォン）を利用してカラオケを楽しむことができるようにした技術であり、当該機能を実現するための通信カラオケシステム及びサーバ１０に関するものである。

＜携帯情報端末＞
本発明の実施形態に係る通信カラオケシステムでは、利用者（歌唱者及び撮影者）の所有する携帯情報端末３０に、カラオケアプリケーションソフトをダウンロードしてインストールする。カラオケアプリケーションソフトのダウンロード方法は、周知の技術を用いればよく、例えば、携帯情報端末３０のデータ通信機能を用いてアプリケーション配信サーバ（図示せず）にアクセスし、カラオケアプリケーションソフトをダウンロードすることにより、当該カラオケアプリケーションソフトを携帯情報端末３０にインストールすることができる。

また、本発明の実施形態に係る通信カラオケシステムでは、利用者（歌唱者及び撮影者）の所有する携帯情報端末３０を用いて、サーバ１０にシステムログインすることができる。サーバ１０にシステムログインする方法は、周知のログイン方法を用いればよい。例えば、携帯情報端末３０のデータ通信機能を用いてサーバ１０にアクセスし、携帯情報端末３０の機器ＩＤ等に基づく認証を行うことにより、サーバ１０にシステムログインすることができる。なお、携帯情報端末３０を用いたカラオケアプリケーションソフトのダウンロードやインストール、利用者（歌唱者及び撮影者）のサーバ１０へのシステムログインやデータ登録は、どのような順序であってもよい。

＜携帯情報端末＞
図４に示すように、携帯情報端末３０には、転送手段３１を備えることが可能である。この転送手段３１は、歌唱者の所持する携帯情報端末３０又は当該歌唱者を撮影する撮影者の所持する携帯情報端末３０のいずれか一方のみがカラオケ楽曲データのストリーミング配信を受けた場合に、他方の携帯情報端末３０に、当該カラオケ楽曲データを転送するための電子機器及びプログラムからなる。この転送手段３１には、例えば近距離無線通信を用いることができる。この転送手段３１により、携帯情報端末３０の間で無線データ通信を行い、一方の携帯情報端末３０でストリーム配信を受けたカラオケ楽曲データを他方の携帯情報端末３０に転送することにより、双方の携帯情報端末３０で同時にカラオケ演奏を行うことができる。なお、カラオケ楽曲データのストリーミング配信を受ける携帯情報端末３０が１台で、この携帯情報端末３０からカラオケ楽曲データの転送を受ける携帯情報端末３０が複数台存在してもよい。

利用者（歌唱者及び撮影者）の所有する携帯情報端末３０の双方で、サーバ１０からカラオケ楽曲データのストリーミング配信を受ける場合には、装置構成及びカラオケ楽曲データのストリーム配信がシンプルになるという利点がある。しかし、このような構成の場合に、各利用者が所有する携帯情報端末３０のキャリア（通信サービス提供会社）が異なると、カラオケ楽曲データの配信にタイムラグが生じるおそれがある。この場合に、携帯情報端末３０の一方でカラオケ楽曲データのストリーミング配信を受けるとともに、他方の携帯情報端末３０に対して当該カラオケ楽曲データを転送する構成とすれば、殆どタイムラグが生じることはない。したがって、利用者（歌唱者及び撮影者）の所有する携帯情報端末３０の双方で、ほぼ同時にカラオケ演奏を行うことができる。

＜サーバ＞
サーバ１０は、上述した機能を実現するための基本的な手段として、第１記憶手段１３と、配信手段１４と、音声データ受信手段１５と、映像データ受信手段１６とを備えている。また、これらの手段に加えて、第２記憶手段１７と、受付手段１８と、抽出手段１９と、生成手段２０とを備えることが可能であり、さらに、採点手段２１を備えていてもよいし、公開手段２２を備えていてもよい。また、１台のサーバ１０により上述したすべての機能手段を実現するのではなく、複数のサーバ１０により上述した機能手段を分割して実現してもよく、この場合には仮想化技術により１台のサーバ１０を複数のサーバ１０として稼働させてもよい。

また、サーバ１０は、複数のカラオケ演奏装置７０を総合的に管理するとともに、携帯情報端末３０との間でデータの送受信を行うための装置であり、インターネット、専用電話回線、一般電話回線、無線通信回線等のデータ通信回線５０及び通信基地局４０を介して、利用者が所持する携帯情報端末３０とデータ通信を行うことができる。また、サーバ１０は、データ通信回線５０及びルータ６０を介して、複数のカラオケ演奏装置７０と接続されている。

このサーバ１０は、図１に示すように、サーバ１０として機能するための主要な機器として、ＣＰＵ等を含む中央制御手段１１、通信制御手段１２を備えている。さらに、上述したように、本発明に係る通信カラオケシステムを実現するための手段として、第１記憶手段１３、配信手段１４、音声データ受信手段１５、映像データ受信手段１６、第２記憶手段１７、受付手段１８、抽出手段１９、生成手段２０、採点手段２１、公開手段２２を備えている。

＜第１記憶手段＞
第１記憶手段１３は、ＨＤＤ等の大容量記憶装置からなり、複数のカラオケ楽曲データ１３ａを記憶している。このカラオケ楽曲データ１３ａは、利用者（歌唱者及び撮影者）が所持する携帯情報端末３０に配信されるが、サーバ１０とネットワーク接続されたカラオケ演奏装置７０に配信してもよい。なお、本実施形態の第１記憶手段１３は、カラオケ楽曲データ１３ａと共に歌詞表示データ１３ｂを記憶している。

＜配信手段＞
配信手段１４は、第１記憶手段１３に記憶されたカラオケ楽曲データ１３ａを読み出して、歌唱者の所持する携帯情報端末３０及び当該歌唱者を撮影する撮影者の所持する携帯情報端末３０にストリーミング配信するためのプログラムからなる。なお、配信手段１４は、本実施形態において、利用者（歌唱者及び撮影者）の所持する携帯情報端末３０にカラオケ楽曲データ１３ａを配信するための手段であるが、上述したように、サーバ１０とネットワーク接続されたカラオケ演奏装置７０にカラオケ楽曲を配信するように機能させることもできる。

第１記憶手段１３に歌詞表示データ１３ｂが記憶されている場合に、配信手段１４は、予め歌唱者が所持する携帯情報端末３０に歌詞表示データ１３ｂを送信し、その後にカラオケ楽曲データ１３ａをストリーミング配信することにより、歌唱者は携帯情報端末３０のディスプレイで歌詞表示を見ながら歌唱することができる。この時、歌唱者は、ワイヤレスヘッドセットを装着して、カラオケ演奏をモニターしながら、歌唱音声を入力することにより、無理な体勢をとることなく、自然な体勢で歌唱を行うことができる。さらに、撮影者もヘッドフォンでカラオケ演奏をモニターすることにより、撮影動作を容易に行うことができるようになる。なお、後述するように歌唱者の映像は仮想空間のアバターに置き換えられるため、歌詞表示に見入って歌唱したり大きなヘッドフォンを装着して歌唱したりしても最終的な映像には残らない。よって歌唱姿態を気にすることなく歌唱に集中することができる。

＜音声データ受信手段＞
音声データ受信手段１５は、カラオケ楽曲データ１３ａのストリーミング配信終了後に、歌唱者の所持する携帯情報端末３０から歌唱音声データを受信するためのプログラムからなる。すなわち、音声データ受信手段１５は、歌唱者がストリーミング配信されたカラオケ楽曲データ１３ａを再生して歌唱を行った場合に、歌唱音声データの送信を携帯情報端末３０に要求して受信する。受信した歌唱音声データは、ＨＤＤ等からなる記憶装置（図示せず）において、所定のデータ記憶領域に記憶される。

＜映像データ受信手段＞
映像データ受信手段１６は、カラオケ楽曲データ１３ａのストリーミング配信終了後に、撮影者の所持する携帯情報端末３０から歌唱映像データを受信するためのプログラムからなる。すなわち、映像データ受信手段１６は、撮影者がストリーミング配信されたカラオケ楽曲データ１３ａを再生すると共に、歌唱者の歌唱姿態を撮影した場合に、歌唱映像データの送信を携帯情報端末３０に要求して受信する。受信した歌唱映像データは、ＨＤＤ等からなる記憶装置（図示せず）において、所定のデータ記憶領域に記憶される。

また、映像データ受信手段１６の機能として、撮影者の所持する携帯情報端末３０から歌唱映像データと共に歌唱映像の撮影と同時に集音された撮影者の音声データを受信する機能を持たせることが可能である。このような構成の場合には、生成手段２０により、音声データを含むバーチャル・カラオケルーム映像を生成することができる。

＜第２記憶手段＞
第２記憶手段１７は、ＨＤＤ等の大容量記憶装置からなり、仮想空間を構成するための背景映像データ１７ａ及び複数の異なるアバターを表示するためのアバターデータ１７ｂを記憶する。すなわち、第２記憶手段１７に記憶された背景映像データ１７ａ及びアバターデータ１７ｂを用いて、受信した歌唱音声データ及び歌唱映像データに基づく映像及び音声合成を行い、仮想的空間からなるカラオケルーム（バーチャル・カラオケルーム）を構成する。

また、第２記憶手段１７に記憶する背景映像データ１７ａは、少なくともカラオケルームを表現するための映像データを含む複数のデータとすることが可能である。このような構成とした場合には、生成手段２０において生成するバーチャル・カラオケルーム映像の態様をさらに充実したものとすることができる。

＜受付手段＞
受付手段１８は、歌唱者の所持する携帯情報端末３０からの入力に基づいて、複数の異なるアバターのうちの１つを歌唱者アバターとして指定することを受け付けるためのプログラムからなる。すなわち、受付手段１８では、携帯情報端末３０を用いた歌唱者の指示入力に基づいて、歌唱者が所望する歌唱者アバターの指定を受け付ける。これにより、歌唱者が所望する歌唱者アバターを使用して、仮想空間を構成することができる。

また、受付手段１８の機能として、撮影者の所持する携帯情報端末３０から、複数の異なるアバターのうちの１つを歌唱者アバターの聴衆である観客アバターとして指定することを受け付ける機能を持たせることが可能である。このような構成とした場合には、生成手段２０により、バーチャル・カラオケルーム映像として、観客アバターを含む映像を生成することができる。

＜抽出手段＞
抽出手段１９は、映像データ受信手段１６が受信した歌唱映像データから歌唱者の動きを抽出するためのプログラムからなる。歌唱者の動きを抽出するには、公知のモーションキャプチャ技術を用いればよい。特に、本実施形態では、受信した歌唱映像データから歌唱者の動きを抽出するため、歌唱映像データを解析して３Ｄモーションファイルとして取り込む技術を用いることが好ましい。

＜生成手段＞
生成手段２０は、抽出手段１９により抽出された歌唱者の動きに応じて歌唱者アバターの動きを制御し、当該歌唱者アバターと第２記憶手段１７に記憶された背景映像データ１７ａに基づく背景映像とにより仮想空間を構成し、音声データ受信手段１５により受信した歌唱音声データ及び当該カラオケ楽曲データ１３ａと同期させてバーチャル・カラオケルーム映像を生成するためのプログラムからなる。

すなわち、生成手段２０は、歌唱映像データから抽出した歌唱者の動きを歌唱者アバターの動きに反映させ、この歌唱者アバターと背景映像データ１７ａとを合成して仮想空間データを生成する。さらに、受信した歌唱音声データとカラオケ楽曲とを同期させて、カラオケ歌唱の音声データを生成し、仮想空間データと音声データとを同期させることにより、バーチャル・カラオケルーム映像を生成する。

これにより、利用者（歌唱者及び撮影者）が実際のカラオケルームに出向くことなく、携帯情報端末３０を用いて取得した歌唱音声データ及び歌唱映像データに基づく映像合成及び音声合成を行うことにより、気軽にカラオケを楽しむことができる。

また、第２記憶手段１７において、カラオケルームを表現するための映像データを含む複数の背景映像データ１７ａを記憶している場合に、生成手段２０は、採点手段２１による採点結果に応じて複数の背景映像データ１７ａのうちの１つを選択してバーチャル・カラオケルーム映像を生成する。すなわち、採点手段２１における歌唱採点値に応じて、バーチャル・カラオケルームの態様を変化させる。例えば、歌唱採点値を複数の段階に区分し、最低値の区分から最高値の区分にゆくにしたがって、バーチャル・カラオケルームの豪華さが増加するような映像を生成する。

また、受付手段１８により、撮影者の所持する携帯情報端末３０から、複数の異なるアバターのうちの１つを歌唱者アバターの聴衆である観客アバターとして指定することを受け付けた場合に、生成手段２０は、歌唱映像データに基づいて、歌唱者アバターと観客アバターの位置関係を決定して、観客アバターを含むバーチャル・カラオケルーム映像を生成する。ここで、歌唱映像データに基づいて歌唱者アバターと観客アバターの位置関係を決定する方法として、例えば、歌唱者の顔が正面から映っている場合には、撮影者は歌唱者の正面に位置して撮影を行っており（図３（ａ）参照）、歌唱者の右横顔が映っている場合には、撮影者は歌唱者の正面に向かって左側（ステージに向かって左側）に位置して撮影を行っていると判断する（図３（ｂ）参照）。そして、歌唱者の位置に応じた歌唱者アバターと、撮影者の位置に応じた観客アバターとを、両者の位置関係に基づいて配置したバーチャル・カラオケルーム映像を生成する。

また、映像データ受信手段１６が、撮影者の所持する携帯情報端末３０から歌唱映像データと共に歌唱映像の撮影と同時に集音された撮影者の音声データを受信する機能を有する場合に、生成手段２０は、映像データ受信手段１６により受信した撮影者の音声データを、音声データ受信手段１５により受信した歌唱音声データ及び当該カラオケ楽曲データ１３ａと同期させて混合し、バーチャル・カラオケルーム映像を生成する。すなわち、生成手段２０で生成するバーチャル・カラオケルーム映像は、歌唱音声データ及び当該カラオケ楽曲データ１３ａに加えて、撮影者の音声データを同期して合成したものとなる。

＜採点手段＞
採点手段２１は、音声データ受信手段１５により受信した音声データを評価して歌唱者の歌唱を採点するためのプログラムからなる。歌唱採点は、歌唱者音声データとリファレンスデータとを比較して、その近似度に基づいて採点値を算出する技術であり、公知の歌唱採点技術を用いることができる。歌唱採点では、リズムや音高等の基本的事項についての採点だけではなく、ビブラート、しゃくり、フォール等、他のテクニックを加味して採点値を算出してもよい。

＜公開手段＞
公開手段２２は、バーチャル・カラオケルーム映像を閲覧可能に公開するためのプログラムからなる。すなわち、生成手段２０の機能により各種のバーチャル・カラオケルーム映像が生成されるが、生成されたバーチャル・カラオケルーム映像を映像公開サーバ（図示せず）等の記憶装置（図示せず）に記憶し、歌唱者及び撮影者のいずれか一方又は双方の公開指示があると、公開手段２２の機能により、当該記憶装置に記憶したバーチャル・カラオケルーム映像を閲覧可能に公開する。なお、公開手段２２によるバーチャル・カラオケルーム映像の公開は、歌唱者や撮影者の公開指示だけではなく、公開サーバ１０の管理者による公開許可があった場合に行うことが好ましい。

＜バーチャル・カラオケルーム映像の生成手順＞
次に、図２及び図５を参照して、本発明の実施形態においてバーチャル・カラオケルーム映像を生成する手順について説明する。図２は、歌唱者の所有する携帯情報端末（ａ）３０と撮影者の所有する携帯情報端末（ｂ）３０の双方に、それぞれカラオケ楽曲データ１３ａをストリーミング配信する場合を示し、図５は、歌唱者又は撮影者の所有する携帯情報端末（ａ）３０、携帯情報端末（ａ）３０のいずれか一方にのみカラオケ楽曲データ１３ａをストリーミング配信する場合を示すものである。なお、両者に共通する手順については、同一のステップ番号を付している。

まず初めに、バーチャル・カラオケルーム映像を生成する前提として、歌唱者は自ら所有する携帯情報端末（ａ）３０にカラオケアプリケーションソフトをインストールし、撮影者は自ら所有する携帯情報端末（ｂ）３０にカラオケアプリケーションソフトをインストールしておく。そして、歌唱者と撮影者が、それぞれの携帯情報端末３０のデータ通信機能を用いてサーバ１０にログインし（Ａ１、Ｂ１）、サーバ１０において両者の携帯情報端末３０をペアリングする（Ｓ１）。携帯情報端末３０をペアリングするには、例えば、各携帯情報端末３０の機器ＩＤを紐付けて管理すればよい。

歌唱者又は撮影者の携帯情報端末３０で選曲が行われる（選曲信号が送信される）と（Ａ２）、サーバ１０は当該選曲を受け付ける（当該選曲信号を受信する）（Ｓ２）。選曲操作は、例えばサーバ１０からの指示によりサーバ１０の第１記憶手段１３のカラオケ楽曲データ１３ａの中から任意の楽曲を利用者に検索させ、特定させるように構成することができる。また、選曲された楽曲の演奏を開始するための操作（演奏開始指示信号の送信）が行われると（Ａ３）、サーバ１０は、当該演奏開始指示信号を受信し（Ｓ３）、カラオケ楽曲のストリーム配信を開始する（Ｓ４）。これにより、歌唱者及び撮影者の携帯情報端末３０で同時にカラオケ演奏（カラオケ楽曲のストリーム再生）が始まる（Ａ４、Ｂ２）。なお、楽曲を１曲ずつ選曲して再生してもよいし、複数の楽曲を選択予約して予約待ち行列に登録し順次再生して行ってもよい。

また、図５に示すように、サーバ１０は、歌唱者又は撮影者の携帯情報端末３０のいずれか一方にのみカラオケ楽曲のストリーム配信を行ってもよい。この場合、選曲された楽曲の演奏を開始するための操作（演奏開始指示信号の送信）が行われると（Ａ３）、サーバ１０は、当該演奏開始指示信号を受信し（Ｓ３）、一方の携帯情報端末（ａ）３０にのみカラオケ楽曲のストリーム配信を開始する（Ｓ４）。そして、カラオケ楽曲のストリーム配信を受けた携帯情報端末（ａ）３０は、カラオケ楽曲をストリーム再生するとともに、転送手段３１の機能により、他方の携帯情報端末（ｂ）３０に対して当該カラオケ楽曲を転送する（Ａ４−２）。これにより、双方の携帯情報端末（ａ）３０、携帯情報端末（ｂ）３０において、殆どライムラグを生じることなく、同時にカラオケ演奏を行うことができる。

なお、歌唱者が携帯情報端末（ａ）３０を所持しカラオケ楽曲のストリーム配信を受ける場合には、カラオケ楽曲に歌唱者の歌唱音声を混合しながら撮影者の携帯情報端末（ｂ）３０に対して転送してもよい。

歌唱者は携帯情報端末（ａ）３０を持って歌唱し、携帯情報端末（ａ）３０は歌唱者の歌唱音声を集音して、歌唱音声データとして記憶する（Ａ５）。一方、撮影者は携帯情報端末（ｂ）３０で歌唱者の歌唱映像を撮影すると共に、携帯情報端末（ｂ）３０は撮影者による合いの手や声援、コーラス音声などの音声を集音して、歌唱映像データとして記憶する（Ｂ３）。なお、撮影者の音声の集音は任意である。

カラオケ演奏が終了すると、サーバ１０が歌唱者の携帯情報端末（ａ）３０に歌唱音声データの送信を要求するとともに、撮影者の携帯情報端末（ｂ）３０に歌唱映像データの送信を要求する（Ｓ５）。各携帯情報端末３０が、歌唱音声データ又は歌唱映像データの送信要求を受信すると（Ａ６、Ｂ４）、各携帯情報端末３０は、それぞれから歌唱音声データ又は歌唱映像データを送信し（Ａ７、Ｂ５）、サーバ１０は、当該歌唱音声データ及び歌唱映像データを受信する（Ｓ６）。

サーバ１０は、受信した歌唱音声データに基づいて、ピッチ検出等の分析を行い、カラオケ楽曲データ１３ａに含まれる歌唱採点用リファレンスデータと比較して、歌唱採点値を算出する（Ｓ７）。そして、サーバ１０は、記憶している複数の背景映像データ１７ａの中から、採点結果に応じて１つの背景映像データ１７ａを決定する（Ｓ８）。この際、歌唱採点値に応じて背景映像のグレードを変化させることができる。例えば、歌唱採点値が５０点未満の場合には、定員５名程度の小さな部屋で什器類も地味な背景映像とする。また、歌唱採点値が５０点以上８０点未満の場合には、定員１０名程度の客席と小さなステージがある部屋を背景映像とする。このように歌唱採点値に応じて背景映像のグレードを順次上げて、歌唱採点値が９８点以上の場合には、豪華なＶＩＰルームで、照明付きのステージがある部屋を背景映像とする。

また、歌唱者は携帯情報端末（ａ）３０を用いて、サーバ１０が記憶している複数のアバターの中の１つを選択して、歌唱者アバターとして指定することができ（Ａ８）、撮影者は携帯情報端末（ｂ）３０を用いて、サーバ１０が記憶している複数のアバターの中から１つを選択して、観客アバターとして指定することができる（Ｂ６）。なお、歌唱者により選択された歌唱者アバター及び撮影者により選択された観客アバターは、それぞれ歌唱者及び撮影者の携帯情報端末３０の機器ＩＤ等と紐付けして記憶し、次回からはアバターを選択する手順を省略してもよい。

この場合、サーバ１０は、受信した歌唱映像データに基づいて、歌唱者と撮影者の位置関係を推定し、推定した位置関係に基づいて、歌唱者アバターと観客アバターの位置関係を決定し、歌唱者アバターは歌唱者席またはステージ上に配置され、観客アバターは客席に配置される（Ｓ９）。

そして、サーバ１０は、受信した歌唱映像データを解析して、カラオケ楽曲に同期した歌唱者の動きを抽出し、抽出された歌唱者の動きデータにより、歌唱者が指定した歌唱者アバターの動きを制御するとともに（Ｓ１０）、歌唱者アバターと観客アバターと選択された背景映像とを合成し、さらに受信した歌唱音声データと当該カラオケ楽曲データ１３ａと撮影者の音声とを同期させながらミキシングして、バーチャル・カラオケルーム映像を生成する（Ｓ１１）。なお、上述したように、生成手段２０により生成されるバーチャル・カラオケルーム映像は、種々の態様のものとすることができる。

バーチャル・カラオケルーム映像が生成された場合、サーバ１０は当該バーチャル・カラオケルーム映像を歌唱者及び撮影者の携帯情報端末３０に配信してもよい（図示せず）。また、バーチャル・カラオケルーム映像の公開機能を有する場合に、サーバ１０は、バーチャル・カラオケルーム映像を公開する（Ｓ１２）。

＜他の実施形態＞
本発明のシステム及びその周辺装置を構成する機器や手段は上述したものに限定されず、その利用目的に応じて、必要な機器や手段のみの構成としたり、適宜他の機器や手段を付加したりすることができる。また、各手段をそれぞれ別個のものとして構成するのではなく、複数の機能を統合した手段として構成してもよい。

なお、上述した実施形態では、それぞれ一人の歌唱者と撮影者を例にとって説明を行ったが、一人の歌唱者に対して複数の撮影者が存在していてもよく、また、複数の歌唱者に対して一人の撮影者が存在していてもよい。さらに、複数の歌唱者と複数の撮影者が存在していてもよい。この場合には、歌唱者とその歌唱者を撮影する撮影者を一組として複数の組が存在していてもよく、さらに、各組は、必ずしも一箇所に集合している必要はなく、組毎に離れた場所に居てもよい。

また、サーバ１０が歌唱者及び撮影者の操作を誘導するのではなく、予め携帯情報端末３０にインストールされたカラオケアプリケーションソフトの機能により、歌唱者及び撮影者の選曲予約動作、演奏開始指示動作、アバター選択動作を誘導し、歌唱音声データ及び歌唱映像データを自動的にサーバ１０に送信する構成としてもよい。

また、歌唱者アバター及び観客アバターは、携帯情報端末３０からの指示入力を受けて決定するのではなく、サーバ１０の機能により自動的に決定してもよい。例えば、歌唱者及び撮影者の会員情報（生年月日、性別など）に基づいて、歌唱者アバター及び観客アバターを決定し、あるいは、ランダムに歌唱者アバター及び観客アバターを決定してもよい。さらに、歌唱採点の結果に応じて、歌唱者アバター及び観客アバターを決定してもよい。例えば、歌唱採点値が高ければビジュアル系アーティストのアバターを選択肢、こぶしが多ければ和服姿の演歌歌手のアバターを選択する等である。

１０ サーバ
１１ 中央制御手段
１２ 通信制御手段
１３ 第１記憶手段
１３ａ カラオケ楽曲データ
１３ｂ 歌詞表示データ
１４ 配信手段
１５ 音声データ受信手段
１６ 映像データ受信手段
１７ 第２記憶手段
１７ａ 背景映像データ
１７ｂ アバターデータ
１８ 受付手段
１９ 抽出手段
２０ 生成手段
２１ 採点手段
２２ 公開手段
３０ 携帯情報端末
４０ 通信基地局
５０ データ通信回線
６０ ルータ
７０ カラオケ演奏装置

Claims (7)

1. 通信カラオケシステムのサーバであって、
   カラオケ楽曲データを記憶する第１記憶手段と、
   前記第１記憶手段に記憶された前記カラオケ楽曲データを読み出して、歌唱者の所持する携帯情報端末及び当該歌唱者を撮影する撮影者の所持する携帯情報端末にストリーミング配信する配信手段と、
   前記ストリーミング配信終了後に、前記歌唱者の所持する前記携帯情報端末から歌唱音声データを受信する音声データ受信手段と、
   前記ストリーミング配信終了後に、前記撮影者の所持する前記携帯情報端末から歌唱映像データを受信する映像データ受信手段と、
   を備えることを特徴とする通信カラオケシステムのサーバ。
2. 仮想空間を構成するための背景映像データ及び複数の異なるアバターを表示するためのアバターデータを記憶する第２記憶手段と、
   前記歌唱者の所持する前記携帯情報端末からの入力に基づいて、前記複数の異なるアバターのうちの１つを歌唱者アバターとして指定することを受け付ける受付手段と、
   前記映像データ受信手段が受信した歌唱映像データから前記歌唱者の動きを抽出する抽出手段と、
   前記抽出手段により抽出された歌唱者の動きに応じて前記歌唱者アバターの動きを制御し、当該歌唱者アバターと前記第２記憶手段に記憶された背景映像データに基づく背景映像とにより前記仮想空間を構成し、前記音声データ受信手段により受信した歌唱音声データ及び当該カラオケ楽曲データと同期させてバーチャル・カラオケルーム映像を生成する生成手段と、
   を備えることを特徴とする請求項１に記載の通信カラオケシステムのサーバ。
3. 前記音声データ受信手段により受信した音声データを評価して前記歌唱者の歌唱を採点する採点手段を備え、
   前記第２記憶手段は、少なくともカラオケルームを表現するための映像データを含む複数の背景映像データを記憶し、
   前記生成手段は、さらに、前記採点手段による採点結果に応じて前記複数の背景映像データのうちの１つを選択して前記バーチャル・カラオケルーム映像を生成する、
   ことを特徴とする請求項２に記載の通信カラオケシステムのサーバ。
4. 前記受付手段は、さらに、前記撮影者の所持する前記携帯情報端末から、前記複数の異なるアバターのうちの１つを前記歌唱者アバターの聴衆である観客アバターとして指定することを受け付け、
   前記生成手段は、さらに、前記歌唱映像データに基づいて、前記歌唱者アバターと前記観客アバターの位置関係を決定して、前記観客アバターを含むバーチャル・カラオケルーム映像を生成する、
   ことを特徴とする請求項２又は３に記載の通信カラオケシステムのサーバ。
5. 前記映像データ受信手段は、さらに、前記撮影者の所持する前記携帯情報端末から歌唱映像データと共に前記歌唱映像の撮影と同時に集音された前記撮影者の音声データを受信し、
   前記生成手段は、さらに、前記映像データ受信手段により受信した前記撮影者の音声データを、前記音声データ受信手段により受信した前記歌唱音声データ及び当該カラオケ楽曲データと同期させて混合し、前記バーチャル・カラオケルーム映像を生成する、
   ことを特徴とする請求項４に記載の通信カラオケシステムのサーバ。
6. 前記バーチャル・カラオケルーム映像を閲覧可能に公開する公開手段を備える、
   ことを特徴とする請求項２〜５のいずれか１項に記載の通信カラオケシステムのサーバ。
7. サーバと、当該サーバとデータ通信可能な携帯情報端末とからなる通信カラオケシステムであって、
   前記サーバは、
   カラオケ楽曲データを記憶する第１記憶手段と、
   前記第１記憶手段に記憶された前記カラオケ楽曲データを読み出して、歌唱者の所持する携帯情報端末又は当該歌唱者を撮影する撮影者の所持する携帯情報端末のいずれか一方のみにストリーミング配信する配信手段と、
   前記ストリーミング配信終了後に、前記歌唱者の所持する前記携帯情報端末から歌唱音声データを受信する音声データ受信手段と、
   前記ストリーミング配信終了後に、前記撮影者の所持する前記携帯情報端末から歌唱映像データを受信する映像データ受信手段と、を備え、
   前記携帯情報端末は、
   前記カラオケ楽曲データのストリーミング配信を受けた一方の携帯情報端末から他方の携帯情報端末に、当該カラオケ楽曲データを転送する転送手段を備える、
   ことを特徴とする通信カラオケシステム。

Images