JP5293712B2 - カラオケ装置、及び、カラオケシステム - Google Patents

Description

本発明は、カラオケ演奏に際し、予め蓄積された歌唱データを並行して再生する技術に関する。

従来、ユーザからの要求に基づき楽曲を順次演奏するカラオケ装置において、一人でデュエット曲を歌う場合であってもデュエットする相手の映像を表示してデュエットしている雰囲気を味わえる装置が提案されている（例えば、特許文献１参照）。

具体的には、デュエット曲においては、２種類の歌唱パート（以下、「パート」という）が用意されている。ここでいう「パート」とは、いわゆる声部（歌唱する区間）であり、合唱で各奏者が受け持つ部分をいう。例えば、男性用のＡパート、女性用のＢパートがある、という具合である。

上述の装置は、例えば男性が一人で歌う場合にＡパートを選択すると、女性用のＢパートを、映像とともに再生するものである。これによって、一人で歌っている場合でも、あたかもデュエットしているかのような雰囲気を味わえる。

特開１０−１７１４８１号公報（第７頁、図９〜１１）

しかしながら、上記特許文献に記載される技術では、次のような場合には問題が生じる。例えば、Ａパートを歌うはずの男性が、間違えてＢパートを担当してしまったような場合である。この場合、Ｂパートとのハーモニーの部分では、歌唱者も映像もＢパートを歌うことになり、ハーモニーが台無しになる。また、Ａパートのみの部分では、男性がＢパートを担当することで、誰も歌わない部分が生じる。

つまり、歌唱者がＡパートを歌いＢパートを映像とともに再生する場合、歌唱者がＡパートを完全に歌える保障がないため、不自然な動画再生となることがある。なお、この問題は、デュエット曲に限られず、複数のパートを有する楽曲であれば同様に生じる問題である。

本発明は、上述した問題を解決するためになされたものであり、その目的は、複数のパートを有する楽曲において、一部のパートを装置側で受け持つにあたり、全体として自然な楽曲の演奏を実現することにある。

上述した課題を解決するためになされた請求項１に係るカラオケ装置は、複数のパートを有する楽曲のカラオケ演奏に際して、複数の歌唱データを並行して再生可能とするものである。

ここでは、複数の歌唱データが、楽曲の各パートの全てを網羅している。例えば、楽曲に男性用のＡパートと女性用のＢパートがある場合、例えば、Ａパートに対応する歌唱データ、Ｂパートに対応する歌唱データの２つの歌唱データで各パートが網羅されるという具合である。また例えば、ある歌唱データは、途中までがＡパートで、その後はＢパートとなっていることが考えられる。この場合、途中までがＢパートでその後がＡパートとなっている歌唱データがあれば、これら２つの歌唱データで各パートを網羅してもよい。もちろん、３つ以上のパートを有する楽曲であっても、同様である。

また、歌唱データは、少なくとも歌唱音声を含むものである。歌唱音声の他には歌唱映像を含むものとすることが考えられる。歌唱映像が含まれる場合、歌唱映像がカラオケ演奏に並行して再生され、例えばデュエットの相手が実際にいるような臨場感が演出されるため、好ましい。

ここで特に、本カラオケ装置では、パート推定手段が、歌唱者が現に担当している担当パートを当該歌唱者の音声に基づき推定する。推定手法の一例としては、歌唱者の音声の有無を検出することが考えられる。例えば、Ａパートを担当しているはずの歌唱者が、Ａパートの部分を歌っているか否かを判断するという具合である。また、推定手法の別例としては、歌唱者の音声の音程を検出することが考えられる。例えば、Ａパートの音程で歌っているのか、Ｂパートの音程で歌っているのかを判断するという具合である。なお、「音声」には、歌唱音声だけでなく、楽曲中の台詞などの音声も含まれる。

そして、本カラオケ装置では、歌唱データ再生手段によって、推定される担当パートに応じ歌唱データが切り換えられて再生されることにより、担当パートを除く残りのパートに対応する歌唱データが再生される。例えば、Ａパートを歌うはずの男性が途中からＢパートを歌ってしまった場合、途中まではＢパートの歌唱データが再生されるが、途中からは推定される担当パートが替わることで、Ａパートの歌唱データが再生される。

つまり、歌唱者のパートに対しても歌唱データを用意することにより、歌唱者がどのパートを歌った場合でも、そのパート以外の歌唱データが再生されるのである。なお、「担当パートを除く残りのパート」とあるが、担当パートがない場合、残りのパートが全パートとなることもあり得る。

これにより、複数のパートを有する楽曲において、一部のパートを装置側で受け持つにあたり、全体として自然な楽曲の演奏を実現することができる。
ところで、上述した歌唱データは、例えば、複数のパートを有する楽曲に対し予め用意されるものとしてもよい。
本発明では、蓄積手段に記憶された歌唱データの中からカラオケ演奏に先立ち所定の検索条件で検索手段によって検索される。そして、検索指示手段によって、検索手段による歌唱データの検索が指示される。

蓄積手段は、例えばハードディスク装置などとして具現化される。このような蓄積手段は、カラオケ装置が備えることとしてもよいし、カラオケ装置と通信可能に接続される外部のカラオケサーバが備えることとしてもよい。検索手段についても同様である。外部のカラオケサーバが蓄積手段を備える場合、カラオケ装置の検索指示手段は、通信回線を介して検索を指示（要求）することとなる。また、この場合、歌唱データについては、例えばカラオケ装置側で作成して、カラオケサーバへアップロードすることが考えられる。このようにすれば、十分な量の歌唱データを蓄積することができる。
本発明では、カラオケ装置がカメラなどの撮影手段を備え、歌唱者の映像がモニタなどに表示される。このとき、歌唱データが歌唱映像を含むものであれば、歌唱者の映像に並べて、歌唱データの歌唱映像を再生することが考えられる。
ところが、撮影手段による映像の明度と歌唱データの歌唱映像の明度とが大きく異なると、歌唱映像の再生に違和感を抱く虞がある。そこで、撮影手段が映像撮影時の映像の明度を測定する機能を有しており、歌唱データは、歌唱映像を含むものとし、当該歌唱映像の明度を示す明度情報を対応付ける。検索指示手段は、検索条件として、撮影手段による映像の明度と、歌唱データの有する明度情報に基づく明度とを比較し、お互いの明度差がもっとも小さい歌唱データの検索を検索手段に指示する。このようにすれば、自然な楽曲の演奏に寄与する。

このように歌唱データを検索することを考えると、適切な歌唱データの検索は、自然な楽曲の演奏を行うために重要である。
例えば、歌唱データに、当該歌唱データの楽曲を特定可能な楽曲情報及び当該楽曲のパートを特定可能なパート情報を対応付けることが考えられる。この場合、検索指示手段は、上述の検索条件として、演奏対象の楽曲を指定し、楽曲情報及びパート情報に基づく歌唱データの検索を検索手段に指示する（請求項２）。このようにすれば、演奏対象となる楽曲に対し適切な歌唱データが検索されるため、自然な楽曲の演奏に寄与する。なお、楽曲情報は、曲名や曲番号として具現化される。

ところで、演奏対象の楽曲の演奏速度と歌唱データの再生速度とが合致しない場合、歌唱データの再生速度を楽曲の演奏速度に合わせて変更することが考えられるが、両者の速度が大きく異なると、歌唱データの再生に違和感を生じる虞がある。

そこで、歌唱データに、当該歌唱データの再生速度を示す速度情報を対応付けることが考えられる。この場合、検索指示手段は、検索条件として、演奏対象の楽曲の演奏速度を指定し、当該演奏速度と同じ演奏速度の速度情報が対応付けられた歌唱データの検索を検索手段に指示する（請求項３）。つまり、演奏対象の楽曲の演奏速度に合致する再生速度を持つ歌唱データを検索するのである。このようにすれば、自然な楽曲の演奏に寄与する。なお、演奏対象の楽曲の演奏速度は、歌唱者によって設定されることが考えられる。また、歌唱者による設定がなされない場合にはデフォルト値を使用してもよい。

また、演奏対象の楽曲の演奏キーと歌唱データのキーとが合致しない場合も、再生速度の場合と同様、歌唱データの再生に違和感を生じる虞がある。そこで、歌唱データに、当該歌唱データの音階の種類であるキーを示すキー情報を対応付けることが考えられる。この場合、検索指示手段は、検索条件として、演奏対象の楽曲の演奏キーを指定し、当該演奏キーと同じキーのキー情報が対応付けられた歌唱データの検索を検索手段に指示する（請求項４）。つまり、演奏対象の楽曲の演奏キーと合致するキーを持つ歌唱データを検索するのである。このようにすれば、自然な楽曲の演奏に寄与する。なお、演奏対象の楽曲の演奏キーは、歌唱者によって設定されることが考えられる。歌唱者による設定がなされない場合にはデフォルト値を使用してもよい。

なお、ここまではカラオケ装置の発明として説明してきたが、カラオケ装置とカラオケサーバとを備えるカラオケシステムの発明として実現することもできる（請求項５）。もちろん、このようなカラオケシステムによっても、上記カラオケ装置と同様の効果が奏される。また、上記カラオケ装置の構成（請求項２〜４）と同様の構成を採用することができる。

カラオケシステムの構成を示すブロック図である。 歌唱データのデータ構造を示す説明図である。 カラオケ装置とカラオケサーバとの通信処理を示す説明図である。 カラオケ装置の検索指示処理を示すフローチャートである。 カラオケサーバの動画データ送信処理を示すフローチャートである。 カラオケサーバの動画データ送信処理における検索処理を示すフローチャートである。 カラオケ装置の演奏処理を示すフローチャートである。 画面表示例を示す説明図である。

以下、図面に基づき、一実施形態を説明する。
図１は、カラオケシステム１を示すブロック図である。
図１に示すように、カラオケシステム１は、複数台のカラオケ装置１０と、カラオケサーバ３０とを備えている。複数台の各カラオケ装置１０は、カラオケボックス内ＬＡＮ（以下、単に「ＬＡＮ」という）４０に接続されている。ＬＡＮ４０は、ルータ５０に接続されている。これにより、各カラオケ装置１０は、ＬＡＮ４０、ルータ５０を介し、インターネット６０によって、カラオケサーバ３０とのデータ通信が可能となっている。

カラオケ装置１０は、装置全体の制御を司る制御部１１を中心に構成されている。制御部１１は、バスライン１２に接続されている。また、制御部１１には、音声制御部１３が接続されている。

バスライン１２には、操作処理部１４、画像入力部１５、インターフェース部１６、ビデオＲＡＭ１７、映像再生部１８、及び、ＨＤＤ１９が接続されている。一方、音声制御部１３には、２本のマイク２０ａ，２０ｂ、音声分析部２１、ＭＩＤＩ音源２２、及び、スピーカ２３が接続されている。

操作処理部１４は、操作部１４ａからの信号を処理する。操作部１４ａからは、演奏する楽曲データを特定する曲番号、楽曲データの演奏速度、演奏キーなどの情報がユーザによって入力される。操作部１４ａは、例えば、装置本体と無線通信を行うリモコンとして具現化される。

画像入力部１５には、カメラ１５ａが接続されている。カメラ１５ａは、カラオケ装置１０が設置される室内に設置され、歌唱者の映像を撮影可能となっている。カメラ１５ａからの信号は、画像入力部１５にて処理される。また、画像入力部１５は、カメラ１５ａから取得される映像の明度を測定可能となっている。なお、画像入力部１５が映像の明度を測定するものとしたが、映像の明度として、カメラ１５ａの露出計が示す露出値を取得する構成としてもよい。

インターフェース部１６は、カラオケ装置１０をＬＡＮ４０に接続するための構成である。これにより、上述したように、インターネット６０によるカラオケサーバ３０とのデータ通信が可能となる。

ビデオＲＡＭ１７は、映像情報を一時的に記憶する。このビデオＲＡＭ１７は、映像再生部１８にも接続されており、映像再生部１８は、ビデオＲＡＭ１７からの映像情報及びバスライン１２を介して送信されてくる映像データに基づく映像の再生を行う。映像再生部１８には、映像制御部２４が接続されている。また、映像制御部２４には、表示部２４ａが接続されている。表示部２４ａは、モニタ装置として具現化される。かかる構成により、映像制御部２４は、映像再生部１８から出力される映像を表示部２４ａに表示可能となっている。

ＨＤＤ１９は、いわゆるハードディスクドライブ装置であり、カラオケサーバ３０から配信される楽曲データなどを記憶している。また、後述するように、デュエット曲においては、一人で歌った場合でもデュエットの雰囲気が味わえるように、相手パートの動画データを予めいくつか記憶している。

次に、音声制御部１３に接続される構成について述べると、２本のマイク２０ａ，２０ｂは、音声を入力するためのものである。歌唱者の歌唱音声は、これらのマイク２０ａ，２０ｂを介して入力される。

音声分析部２１は、歌唱音声の分析を行う。ここでは、音声の有無を検出できることはもちろん、音程なども検出できる。音声分析部２１には、音声制御部１３を介して、マイク２０ａ，２０ｂから入力された音声が出力される。

ＭＩＤＩ音源２２は、ＭＩＤＩ（Musical Instrument Digital Interface）データに基づく楽音を発生する。上述したＨＤＤ１９に記憶される楽曲データは、ＭＩＤＩデータ、デュエット曲か否かを判別する情報、デュエット曲であれば、声部のパート種別を判別するパート情報、演奏速度の初期値（原曲の「演奏速度」）、演奏キーの初期値（原曲の「演奏キー」）、とからなっている。演奏速度及び演奏キーは、ＭＩＤＩデータのＭＩＤＩパラメータとして設定されていることもある。

スピーカ２３は、音声制御部１３から出力されるオーディオ信号を音に変える。
音声制御部１３は、マイク２０ａ，２０ｂから入力される音声をオーディオ信号に変換し、また、ＨＤＤ１９に記憶される楽曲データを、ＭＩＤＩ音源２２を介してオーディオ信号に変換してスピーカ２３へ出力する。

次にカラオケサーバ３０の構成について説明する。カラオケサーバ３０は、周知のサーバ装置であり、コンピュータシステムを構成している。カラオケサーバ３０は楽曲データを配信するのであるが、ここでは特に、データベース３１を有しており、このデータベース３１に、動画データが蓄積されている。この動画データは、デュエット曲の各パートに対応するものである。

動画データは、図２に示すように、楽曲情報、パート情報、速度情報、キー情報、及び、明度情報と対応付けられており、これらの情報を基に検索可能となっている。この動画データは、歌唱音声及び歌唱映像からなっている。

楽曲情報は、楽曲を特定可能な情報である。ここでは、曲番号となっている。もちろん、曲名としてもよい。また、検索の便宜などから、楽曲情報に歌手名を含めるようにしてもよい。

パート情報は、上述したように、デュエット曲であれば、例えば、男性用の「Ａパート」情報、女性用の「Ｂパート」情報が設定されている。他に、楽曲の歌唱パートの種別を特定するものとして、「主旋律」、「副旋律」、「ソプラノ」、「アルト」、「歌手○○のパート」という情報であってもよい。

また、速度情報は、動画データの再生速度を示す情報である。さらにまた、キー情報は、動画データのキーを示す情報である。また、明度情報は、動画データにおける歌唱映像の明度を示す情報である。

このような動画データ及び対応付けられる各情報は、カラオケ装置１０でカラオケ演奏が行われる際に作成することが例示される。例えば、動画データに関しては、カメラ１５ａから画像入力部１５を介して入力された歌唱者の歌唱映像及び、マイク２０ａ，２０ｂにて入力された歌唱者の歌唱音声から作成すればよい。また、このとき入力される曲番号を楽曲情報とし、音声分析部２１にて、音声の有無などを検出することで、どのパートを歌ったものかを特定すれば、パート情報も作成できる。さらに、カラオケ演奏における演奏速度を速度情報とし、選択された演奏キーをキー情報とし、画像入力部１５にて測定される明度を明度情報とする。このようにして作成された動画データは、ＨＤＤ１９に一時的に記憶しておき、歌唱者の了承を得た上で、カラオケサーバ３０にアップロードすることが考えられる。このようにすれば、十分な動画データをカラオケサーバ３０のデータベース３１に蓄積することが可能となる。

次に、カラオケシステム１における特徴的な処理を説明する。なお、以下では、デュエット曲が選択された場合について説明し、デュエット曲が選択された場合の相手パートの動画データのいくつかがＨＤＤ１９に既に記憶されているものとして説明する。

最初に全体の処理の流れを説明する。図３に示すように、カラオケ装置１０では、最初に検索指示処理が実行される。この検索指示処理では、動画データの検索をカラオケサーバ３０へ指示する（記号Ａで示す通信処理）。これに基づき、カラオケサーバ３０は、動画データ送信処理を実行する。この動画データ送信処理によって、データベース３１に蓄積された動画データが検索されて、カラオケ装置１０へ送信される（記号Ｂで示す通信処理）。カラオケ装置１０では、送信された動画データに基づき、演奏処理を実行する。

次に、検索指示処理の詳細を、図４のフローチャートに基づいて説明する。この検索指示処理は、利用者によって楽曲が選択されると制御部１１によって実行される。
最初のＳ１００では、デュエット曲であるか否かを判断する。この処理は、利用者によって選択された楽曲がデュエット曲であるか否かを判断するものである。ここでデュエット曲であると判断された場合（Ｓ１００でＹＥＳ）、Ｓ１１０へ移行する。一方、デュエット曲でないと判断された場合（Ｓ１００でＮＯ）、以降の処理を実行せず、検索指示処理を終了する。

Ｓ１１０では、デュエット曲の一方のパートが選択されたか否かを判断する。この処理は、デュエット曲を一人で歌う場合などに、２つのパートのうちの一方を歌唱する旨が指示されたか否かを判断するものである。例えばリモコンなどで楽曲選択を行う際に、歌うパートを併せて入力させることが考えられる。ここでパートが選択されたと判断された場合（Ｓ１１０でＹＥＳ）、Ｓ１２０へ移行する。一方、パートが選択されていないと判断された場合（Ｓ１１０でＮＯ）、例えば２人の歌唱者がデュエット曲を歌う場合などには、以降の処理を実行せず、検索指示処理を終了する。

Ｓ１２０では、相手パートの動画を表示する。相手パートとは、選択されたパートとは異なる別のパートである。上述したように、デュエット曲が選択された場合の相手パートの動画データのいくつかがＨＤＤ１９に既に記憶されている。そこで、ここでは、ＨＤＤ１９に記憶されている相手パートの動画データを読み出し、相手パートの動画データを再生する。これはデュエットの相手として誰がよいかを選択させるための動画データ再生である。例えば、図８（ａ）には、表示部２４ａに表示される画面の一例として画面Ｇを示した。この画面Ｇでは、左画面ＧＬに歌唱者の映像が表示され、右画面ＧＲに相手パートの動画が表示されている。このような分割表示は、映像制御部２４によって実現される。ここで、左画面ＧＬの「歌唱者の映像」は、カメラ１５ａを介し画像入力部１５から入力されるものである。一方、右画面ＧＲの動画はＨＤＤ１９に記憶された動画データに基づくものであり、デュエットの相手を選択できるように、数秒毎に切り替えられて、複数の動画が表示される。相手の選択は、操作部１４ａを介して指示するものとすることが考えられる。例えば、気に入った相手の動画が再生されている最中に選択ボタンを押す、という具合である。

次のＳ１３０では、動画が選択されたか否かを判断する。この処理は、相手パートの動画が選択されたか否かを判断するものである。ここで相手パートの動画が選択されたと判断された場合（Ｓ１３０でＹＥＳ）、Ｓ１４０へ移行する。一方、相手パートの動画が選択されなかったと判断された場合（Ｓ１３０でＮＯ）、Ｓ１４０及びＳ１５０の処理を実行せず、検索指示処理を終了する。

Ｓ１４０では、特徴量を取得する。この処理は、利用者によって選択された楽曲の「曲番号」、歌唱者の「担当パート」、楽曲の「演奏速度」、「演奏キー」、及び、カメラ１５ａから入力される信号に基づき画像入力部１５で測定される「カメラ映像の明度」を、特徴量として取得するものである。利用者によって「演奏速度」及び「演奏キー」が特に指定されていない場合は、原曲の「演奏速度」及び「演奏キー」を特徴量とすることが例示される。

Ｓ１５０では、カラオケサーバ３０へ検索を指示する。この処理は、Ｓ１４０にて取得した特徴量を指定し、これら特徴量に基づく動画データの検索をカラオケサーバ３０へ指示するものである。この検索指示が、図３中に記号Ａで示した通信処理に該当する。

次に、カラオケサーバ３０にて実行される動画データ送信処理を、図５のフローチャートに基づいて説明する。動画データ送信処理は、所定タイミングで繰り返し実行される。
最初のＳ２００では、検索指示があったか否かを判断する。この処理は、カラオケ装置１０からの検索指示（図３中に記号Ａで示した通信処理）があったか否かを判断するものであり、図４中のＳ１５０の処理に対応するものである。ここで検索指示があったと判断された場合（Ｓ２００でＹＥＳ）、Ｓ２１０へ移行する。一方、検索指示がないと判断された場合（Ｓ２００でＮＯ）、以降の処理を実行せず、動画データ送信処理を終了する。

Ｓ２１０では、特徴量を取得する。この処理は、カラオケ装置１０から指定された特徴量を取得するものである。具体的には、歌唱者によって選択された楽曲の「曲番号」、歌唱者の「担当パート」、楽曲の「演奏速度」、「演奏キー」、及び、カメラ１５ａから入力される信号に基づき画像入力部１５で測定される「カメラ映像の明度」を取得する。

Ｓ２２０では、検索処理を実行する。図６は、検索処理の一例を示すフローチャートである。この検索処理は、データベース３１に蓄積された動画データの検索を行うものである。

最初のＳ２２１では、楽曲情報での検索を行う。楽曲情報は「曲番号」であり、動画データの中で「曲番号」が一致するものを検索する。もちろん、楽曲情報を「曲名」とし、「曲名」での一致を判断するようにしてもよい。また、「歌手名」を楽曲情報に含めるようにしてもよい。

続くＳ２２２では、パート情報で検索を行う。相手パートの動画データは、ＨＤＤ１９に予め記憶されたものの中から選択されているため、ここでは、歌唱者の「担当パート」の動画データを検索する。

次のＳ２２３では、速度情報で検索する。この処理は、Ｓ２２２で検索された動画のうちで、その動画の再生速度を示す速度情報を用い、カラオケ装置１０から送信された特徴量の一つである演奏速度と同じ再生速度の動画を検索する。

続くＳ２２４では、キー情報で検索する。この処理は、Ｓ２２３で検索された動画のうちで、その動画のキーを示すキー情報を用い、カラオケ装置１０から送信された特徴量の一つである演奏キーと同じキーの動画を検索する。

次のＳ２２５では、明度情報で検索する。この処理は、Ｓ２２４で検索された動画のうちで、その動画の明度を示す明度情報を用い、カラオケ装置１０から送信された特徴量の一つである「カメラ映像の明度」に最も近い明度の動画を検索する。

動画データが検索されると、その後、図５中のＳ２３０へ移行し、検索された「担当パート」の動画データをカラオケ装置１０へ送信する。この動画データの送信が、図３中に記号Ｂで示した通信処理に該当する。

このようにして、最初に選択する「相手パート」、すなわちデュエット曲の相手パートだけでなく、これから歌唱しようとする担当パートの動画が所定の検索条件で検索されてカラオケ装置１０へ送信されてくる。その後、カラオケ装置１０では、演奏処理が実行される。

次に、カラオケ装置１０にて実行される演奏処理を、図７のフローチャートに基づいて説明する。
最初のＳ３００では、「相手パート」の動画データを再生する。この処理は、楽曲のカラオケ演奏に同期させ、歌唱者自らが選択した相手パートの動画データを再生するものである。このときは、例えば図８（ｂ）に示すように、左画面ＧＬに歌唱者の「カメラ映像」を表示すると共に右画面ＧＲに「相手パート」の動画を表示して、画面Ｇが構成される。

次のＳ３１０では、歌唱者の音声を分析する。この処理は、マイク２０ａ，２０ｂから入力される歌唱者の音声を、音声分析部２１にて分析するものである。具体的には、音声の有無、及び、音程などを取得する。

そしてＳ３２０では、「担当パート」を担当しているか否かを判断する。この判断は、例えば「担当パート」の部分で音声が有ること、「相手パート」の部分で音声がないこと、「担当パート」の音程で歌っていること（「相手パート」の音程で歌っていないこと）、などから総合的に判断される。ここで「担当パート」を担当していると判断された場合（Ｓ３２０でＹＥＳ）、Ｓ３３０にて「相手パート」の動画データを再生する。図８（ｂ）に示すごとくである。このとき、「担当パート」の動画データが再生されている場合には、動画データを切り替えて再生することになる。一方、「担当パート」を担当していないと判断された場合（Ｓ３２０でＮＯ）、例えば「相手パート」を歌っているような場合には、Ｓ３４０にて「担当パート」の動画データを再生する。図８（ｃ）に示すごとくである。ここで、「相手パート」の動画データが再生されている場合には、動画データを切り替えて再生することになる。

Ｓ３３０及びＳ３４０のいずれかから移行するＳ３５０では、カラオケ演奏が終了したか否かを判断する。ここで演奏が終了したと判断された場合（Ｓ３５０でＹＥＳ）、演奏処理を終了する。一方、演奏が終了していないうちは（Ｓ３５０でＮＯ）、Ｓ３１０からの処理を繰り返す。

以上詳述したように、本実施形態では、歌唱者が担当しようとする「担当パート」の動画がカラオケサーバ３０から予め取得され（図４中のＳ１５０，図５中のＳ２３０）、その後の演奏処理では、歌唱者の音声が分析されて（図７中のＳ３１０）、「担当パート」を担当しているか否かが判断される（Ｓ３２０）。そして、「担当パート」を担当している場合は（Ｓ３２０でＹＥＳ）「相手パート」の動画データが再生され（Ｓ３３０）、担当パートとは異なる「相手パート」を担当している場合には（Ｓ３２０：ＮＯ）「担当パート」の動画データが再生される（Ｓ３４０）。

つまり、歌唱者の担当する「担当パート」に対しても動画データを用意することにより、歌唱者がどちらのパートを歌った場合でも、残ったパートの動画データが再生されるのである。これにより、デュエット曲において、片方のパートを装置側で受け持つにあたり、全体として自然な楽曲の演奏を実現することができる。

また、本実施形態では、楽曲情報での検索を行っている（図６中のＳ２２１）。また、パート情報で検索を行っている（Ｓ２２２）。このようにすれば、演奏対象となる楽曲に対し適切な歌唱データが検索されるため、自然な楽曲の演奏に寄与する。

ところで、演奏対象の楽曲の演奏速度と動画データの再生速度とが合致しない場合、動画データの再生速度を楽曲の演奏速度に合わせて変更することが考えられるが、両者の速度が大きく異なると、動画データの再生に違和感を生じる虞がある。

そこで、本実施形態では、速度情報で検索を行っている。すなわち、動画の再生速度を示す速度情報を用い、カラオケ装置１０から送信された特徴量の一つである演奏速度と同じ再生速度の動画を検索する（図６中のＳ２２３）。これによって、自然な楽曲の演奏が実現される。

また、演奏対象の楽曲の演奏キーと動画のキーとが合致しない場合も、再生速度の場合と同様、動画データの再生に違和感を生じる虞がある。
そこで、本実施形態では、キー情報で検索を行っている。すなわち、動画のキーを示すキー情報を用い、カラオケ装置１０から送信された特徴量の一つである演奏キーと同じキーの動画を検索する（図６中のＳ２２４）。これによって、自然な楽曲の演奏が実現される。

さらにまた、カメラ１５ａを介して入力される歌唱者のカメラ映像と動画データの再生に基づく歌唱映像とを並べて表示するような場合、カメラ映像の明度と歌唱映像の明度とが大きく異なると、動画データの再生に違和感を抱く虞がある。

そこで、本実施形態では、明度情報で検索を行っている。すなわち、動画の明度を示す明度情報を用い、カラオケ装置１０から送信された特徴量の一つである「カメラ映像の明度」に最も近い明度の動画を検索する（図６中のＳ２２５）。これによって、自然な楽曲の演奏が実現される。

なお、本実施形態におけるカラオケシステム１が「カラオケシステム」に相当し、カラオケ装置１０が「カラオケ装置」に相当し、カラオケサーバ３０が「カラオケサーバ」に相当する。

また、カラオケ装置１０の制御部１１が「パート推定手段」、「歌唱データ再生手段」及び「検索指示手段」に相当し、図７中のＳ３１０の処理が「パート推定手段」の機能としての処理に相当し、Ｓ３２０〜Ｓ３４０の処理が「歌唱データ再生手段」の機能としての処理に相当し、図４中のＳ１５０の処理が「検索指示手段」の機能としての処理に相当する。

さらにまた、カラオケ装置１０のカメラ１５ａ及び画像入力部１５が「撮影手段」に相当し、画像入力部１５が「撮影時の映像の明度を測定する」機能を備える。
また、データベース３１が「蓄積手段」に相当し、データベース３１に蓄積される動画データが「歌唱データ」に相当し、カラオケサーバ３０の有するＣＰＵが「検索手段」に相当し、図６に示した検索処理が「検索手段」の機能としての処理に相当する。

以上、本発明は、上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる形態で実施することができる。
（イ）上記実施形態では、デュエット曲を例に挙げ、「担当パート」と「相手パート」とを切り替えて再生することを説明した。これに対し、パートが３つ以上ある場合にも同様に適用できる。

（ロ）上記実施形態ではデュエット曲の相手パートのいくつかが既にＨＤＤ１９に記憶されているものとしていたが、「担当パート」及び「相手パート」の両方の動画データがカラオケサーバ３０から送信される構成としてもよい。

この場合、図４中のＳ１１０で肯定判断されたとき、特徴量を取得し（Ｓ１４０）、カラオケサーバへ検索を指示する（Ｓ１５０）。カラオケサーバ３０では、上記実施形態と同様、特徴量に基づく検索処理を実行するのであるが（図５中のＳ２２０）、このとき、選択された楽曲の全てのパートを網羅するように、複数の動画データを検索する。そして、全てのパートを網羅する動画データを送信する。カラオケ装置１０では、これら複数の動画データを受信した後、図４中のＳ１２０と同様の処理を実行する。

（ハ）上記実施形態では、「担当パート」を担当している場合は（図７中のＳ３２０でＹＥＳ）「相手パート」の動画データを再生し、「担当パート」以外の「相手パート」を担当している場合は（Ｓ３２０でＮＯ）「担当パート」の動画データを再生している。これに対し、例えば歌うことを忘れてしまったような場合、いずれのパートも担当しないような状況も考えられる。この場合には、図８（ｄ）に示すように、左画面ＧＬに「担当パート」の動画が表示され、右画面ＧＲに「相手パート」の動画が表示された画面Ｇを構成するようにしてもよい。

（ニ）上記実施形態では、図６に示すように、速度情報、キー情報、明度情報での検索を行い（Ｓ２２３〜Ｓ２２５）、動画データを絞り込むようにしていた。
なお、図６では、Ｓ２２５の明度情報の検索によって最終的な動画データが検索されることを前提としているが、途中で動画データが検索できないような場合、途中の条件までの動画データを用いることが考えられる。このときも、Ｓ２２３，Ｓ２２４，Ｓ２２５の順序で検索を行い、動画データが検索されない場合、検索されたステップの動画データを採用する。

この絞り込み（Ｓ２２３，Ｓ２２４，Ｓ２２５の実行順序）は、通常の絞り込み検索とは異なり、カラオケ分野固有の順序であることを、以下に説明する。
一般的にカラオケは、楽曲の演奏進行の心地よさが重要であり、楽曲の演奏速度と歌唱映像の動画データの再生速度が一致していなければ、相手パートとして意味をなさない。このため、速度情報、キー情報、明度情報が検索条件が設定された場合は、最初にＳ２２３を実行する。

次に、演奏の進行に問題のない速度の動画データが複数検索できた場合を考える。カラオケは音を楽しむものであるから、音は心地よく聞こえる必要がある。そこで、歌唱曲の演奏キーと同じキーを有するキー情報の動画データを抽出する。もしくは、同じキーの動画データが抽出できない場合には、楽曲の演奏キーとの差が３度又は５度となるキーのキー情報を有する動画データを抽出してもよい。この場合、歌唱者と動画データとがハーモニー（例えば、アカペラ）を奏でながら演奏が進行するので、音は心地よく聞こえる。このため、Ｓ２２３の次に実行する処理はＳ２２４がよい。よってＳ２２５の処理はＳ２２３，Ｓ２２４の後で実行するのがよい。

ところで、速度情報、キー情報及び明度情報の少なくともいずれか２つを用いる検索を行うような場合でも、上述した優先順序とすることが望ましい。上述したように、演奏速度が同じであることは最重要となるが、予め速度が一致していることを前提とすれば、キー情報、又は明度情報だけで検索することも考えられる。

また、検索結果が少ない場合には検索条件を減らし、検索結果が多い場合には検索条件を増やすようにしてもよい。さらにまた、特徴量として、動画データの歌唱音声に関する「歌唱音声の大きさ」、歌唱映像に関する「振り（踊り）の有無」、歌唱者に関する「採点値」、「地域」、「年齢」、「性別」などを採用してもよい。歌唱映像に関する「振り（踊り）の有無」は、例えば歌唱映像の差分などによって動きがあるか否かを判断することが例示される。歌唱者に関する情報は、例えば歌唱者の識別情報（ＩＤ）などによってデータベースから検索することが例示される。

（ホ）上記実施形態では、カラオケサーバ３０のデータベース３１に蓄積された動画データを検索していた。これに対し、カラオケ装置１０の内部にデータベースを構築し、カラオケ装置１０の内部で動画データを検索するようにしてもよい。

１：カラオケシステム
１０：カラオケ装置
１１：制御部
１２：バスライン
１３：音声制御部
１４：操作処理部
１４ａ：操作部
１５：画像入力部
１５ａ：カメラ
１６：インターフェース部
１７：ビデオＲＡＭ
１８：映像再生部
１９：ＨＤＤ
２０ａ，２０ｂ：マイク
２１：音声認識部
２２：ＭＩＤＩ音源
２３：スピーカ
２４：映像制御部
２４ａ：表示部
３０：カラオケサーバ
３１：データベース
４０：カラオケボックス内ＬＡＮ
５０：ルータ
６０：インターネット

Claims (5)

1. 複数のパートを有する楽曲のカラオケ演奏に際し、少なくとも歌唱音声を含み前記各パートの全てを網羅する複数の歌唱データを並行して再生可能なカラオケ装置であって、
   歌唱者が現に担当している担当パートを当該歌唱者の音声に基づき推定するパート推定手段と、
   前記パート推定手段にて推定される前記担当パートに応じ前記歌唱データを切り換えて再生することにより、前記担当パートを除く残りのパートに対応する歌唱データを再生する歌唱データ再生手段と、
   前記歌唱データが蓄積手段に記憶された歌唱データの中から前記カラオケ演奏に先立ち検索手段によって所定の検索条件で検索されるよう、前記検索手段による前記歌唱データの検索を指示する検索指示手段と、
   歌唱者を撮影可能な撮影手段と、を備え、
   前記撮影手段は、撮影時の映像の明度を測定する機能を有し、
   前記歌唱データには、歌唱映像が含まれると共に、当該歌唱映像の明度を示す明度情報が対応付けられており、
   前記検索指示手段は、前記検索条件として、前記撮影手段による映像の明度と、前記歌唱データの有する明度情報に基づく明度とを比較し、お互いの明度差がもっとも小さい歌唱データの検索を前記検索手段に指示すること
   を特徴とするカラオケ装置。
2. 請求項１に記載のカラオケ装置において、
   前記歌唱データには、当該歌唱データの楽曲を特定可能な楽曲情報及び当該楽曲のパートを特定可能なパート情報が対応付けられており、
   前記検索指示手段は、前記検索条件として、演奏対象の楽曲を指定し、前記楽曲情報及び前記パート情報に基づく前記歌唱データの検索を前記検索手段に指示すること
   を特徴とするカラオケ装置。
3. 請求項１又は２に記載のカラオケ装置において、
   前記歌唱データには、当該歌唱データの再生速度を示す速度情報が対応付けられており、
   前記検索指示手段は、前記検索条件として、演奏対象の楽曲の演奏速度を指定し、当該演奏速度と同じ演奏速度の速度情報が対応付けられた前記歌唱データの検索を前記検索手段に指示すること
   を特徴とするカラオケ装置。
4. 請求項１〜３の何れか一項に記載のカラオケ装置において、
   前記歌唱データには、当該歌唱データの音階の種類であるキーを示すキー情報が対応付けられており、
   前記検索指示手段は、前記検索条件として、演奏対象の楽曲の演奏キーを指定し、当該演奏キーと同じキーのキー情報が対応付けられた前記歌唱データの検索を前記検索手段に指示すること
   を特徴とするカラオケ装置。
5. 複数のパートを有する楽曲のカラオケ演奏に際し、少なくとも歌唱音声を含み前記各パートの全てを網羅する複数の歌唱データを並行して再生可能なカラオケ装置と、
   前記カラオケ演奏に用いられる楽曲データとともに前記カラオケ演奏に先立って検索される前記歌唱データを配信可能なカラオケサーバと、
   を備えるカラオケシステムであって、
   前記カラオケサーバは、
   前記歌唱データを蓄積する蓄積手段と、
   前記蓄積手段に蓄積された前記歌唱データを検索する検索手段と、を有し、
   前記カラオケ装置は、
   前記検索手段に対し所定の検索条件で歌唱データの検索を指示する検索指示手段と、
   歌唱者が現に担当している担当パートを当該歌唱者の音声に基づき推定するパート推定手段と、
   前記パート推定手段にて推定される前記担当パートに応じ前記歌唱データを切り換えて再生することにより、前記担当パートを除く残りのパートに対応する歌唱データを再生する歌唱データ再生手段と、
   歌唱者を撮影可能な撮影手段と、を有し、
   前記撮影手段は、撮影時の映像の明度を測定する機能を有し、
   前記歌唱データには、歌唱映像が含まれると共に、当該歌唱映像の明度を示す明度情報が対応付けられており、
   前記検索指示手段は、前記検索条件として、前記撮影手段による映像の明度と、前記歌唱データの有する明度情報に基づく明度とを比較し、お互いの明度差がもっとも小さい歌唱データの検索を前記検索手段に指示すること
   を特徴とするカラオケシステム。

Images