JP5342842B2 - 合唱曲のカラオケ映像作品を利用者の歌唱パートに応じて変化させるカラオケ装置 - Google Patents

Description

この発明は、カラオケ装置の背景映像に関し、特に、合唱曲の背景映像を利用者が歌唱するパートにより変化させる技術に関する。

あるカラオケ楽曲の背景映像として、マルチスト−リー性をもつ映像の中から、歌唱状況に応じていずれかが選択され映像出力されるカラオケ装置が知られている。
特開平３−２８８１９３号公報、特開平８−１６６７８０号公報、特開平１１−１０９９８４号公報に記載のカラオケ装置は、歌唱の採点結果に基づいてマルチストーリー映像から出力する映像を選択する。
特開２００３−１３１６７５号公報に記載のカラオケ装置は、選曲方式により映像番組を選択する。

また、マイクロホンに入力される歌唱音声を抽出して、歌唱しているパートを判定する技術が知られている。
特許第３４５２７９１号公報のカラオケ装置は、デュエット曲についてマイクロホンから入力された歌声信号の歌唱パートを判定し、パート別に歌唱採点する。
特許第４０６８０６９号公報のカラオケ装置は、マイクロホンから入力された歌声信号がバックコーラスパートを歌唱していると判定した場合に、バックコーラスの音量を低減する。
特開２００７−７２３１５号公報のカラオケ装置は、ポリフォニックな重唱曲についてマイクロホンから入力された歌声信号の歌唱パートを判定し、そのパートの模範ボーカルの音量を低減して、歌声と他の声部の模範ボーカルと程よく混合させる。
特開平３−２８８１９３号公報 特開平８−１６６７８０号公報 特開平１１−１０９９８４号公報 特開２００３−１３１６７５号公報 特許第３４５２７９１号公報 特許第４０６８０６９号公報 特開２００７−７２３１５号公報

この発明は、合唱曲をカラオケで歌う場合に、歌唱パートに応じて映像が変化すると、カラオケが楽しくなるだろうと、本発明者が考えて創作したものである。歌唱者も歌を聴いている人たちも、合唱曲ならではの変化に富んだ背景映像を楽しむことができるだろうと考えた。たとえばそれがグループユニットの楽曲である場合に、歌唱パートごとにそのパートを歌っているグループメンバーの本人映像が出ると、カラオケの場の雰囲気が多いに盛り上がるだろう。その曲やグループが好きで選曲した歌唱者自身が楽しめるのはもちろんのことであるが、その場で聴いている人たちも映像を見ながらライブコンサートさながらの雰囲気を楽しむことができるだろう。本発明者はそのようなことを考えて、本発明を創作した。

この発明は、つぎの事項（１）〜（８）により特定されるカラオケ装置である。
（１）楽曲データベースと、映像データベースと、歌唱パート判定手段と、映像再生手段を備え、希望曲のカラオケ伴奏音楽とカラオケ映像作品を同期して音響映像出力するカラオケ装置であること
（２）楽曲データベースは、楽曲ＩＤに対応付けされた合唱曲カラオケデータを格納すること
（３）合唱曲カラオケデータは、歌唱パートＩＤに対応付けされた旋律データを複数パート分含むとともに、その時間軸上に歌唱パート判定区間が複数設定されていること
（４）映像データベースは、楽曲ＩＤに対応付けされたカラオケ映像作品を格納すること
（５）カラオケ映像作品は、その時間軸上にマルチ映像区間が複数含まれていること
（６）マルチ映像区間は、複数の異なる動画ストリームを選択的に再生可能な区間であり、この区間の複数の動画ストリームのそれぞれに歌唱パートＩＤが対応付けされていること
（７）歌唱パート判定手段は、合唱曲カラオケデータに基づく伴奏音楽の演奏中、前記歌唱パート判定区間において、マイクロホンからの歌声信号と各歌唱パートの旋律データに基づいてマイクロホン利用者がどの歌唱パートを歌っているのかを判定して１つの歌唱パートＩＤを出力すること
（８）映像再生手段は、カラオケ伴奏音楽と同期してカラオケ映像作品を再生する動作中、前記マルチ映像区間において、歌唱パート判定手段が出力する歌唱パートＩＤに対応付けされた動画ストリームを再生すること

この発明において、複数のマイクロホンを備え、選択指定されたマイクロホンからの歌声信号を歌唱パート判定手段に入力することが望ましい。

また、複数のマイクロホンと、各マイクロホンに対応する複数の映像再生手段とを備え、各映像再生手段は、対応する各マイクロホンからの歌声信号の歌唱パートＩＤに対応する動画ストリームを出力することが望ましい。

本発明によれば、歌唱パートに応じて背景映像が変化するので、合唱曲ならではの変化に富んだ背景映像を楽しむことができる。背景映像がグループユニットの本人映像であれば、歌唱パートごとに歌唱メンバーの本人映像が楽しめるので、ライブ感にあふれた背景映像を楽しむことができる。したがってカラオケの娯楽性が増大し、カラオケ利用者が増大する効果を期待できる。

＝＝＝カラオケ装置の基本構成＝＝＝
本実施例のカラオケ装置は、周知の通信カラオケシステムの一部であり、複数の客室を備えたカラオケ店舗において、同室内にあるカラオケ演奏端末（以下、演奏端末１０）と、当該演奏端末１０を操作するための客室端末とで構成される。

演奏端末１０は、汎用パソコンの応用装置である。図１にそのブロック構成を例示した。ＣＰＵ・ＲＡＭ・ＲＯＭを含む中央制御部１１は周辺構成部を制御して演奏端末１０を統括する。ハードディスク装置１２には、メインコンピュータのプログラムのほか、伴奏音楽や歌詞画像の起源となるカラオケデータをカラオケ楽曲ＩＤに対応付けして集約した楽曲データベースが記憶されている。またユーザインタフェース装置として、装置本体の操作／表示パネル１３を備えるほか、通信処理部１４を介してカラオケ店舗内のＬＡＮに接続されている。

演奏端末１０の中央制御部１１は、客室端末から送信されてきた楽曲ＩＤを受け付けたり、操作／表示パネル１３に入力された楽曲ＩＤを受け付けたりすると、その楽曲ＩＤに該当するカラオケデータを取り出して、カラオケ演奏を開始する。取り出されたカラオケデータに基づいて、演奏処理部１５が伴奏音楽の音楽信号を生成し、マイクロホンに入力された歌声信号とミキシングアンプ１６で混合・増幅してスピーカより音響出力する。また、映像処理部１７が、背景映像を再生するとともに、背景映像に演奏の進行に同期して色変わりする歌詞字幕をスーパーインポーズ処理して、ディスプレイ１８に映像出力する。

＝＝＝楽曲データベース＝＝＝
楽曲データベースは上述したように、楽曲ＩＤをキー情報にしてカラオケデータを格納し管理している。各曲用のカラオケデータは、ＭＩＤＩデータを主体とした伴奏音楽データと、歌詞字幕の生成起源となる歌詞描出データと、背景映像の処理シーケンスを規定した台本データを含み、それらを楽曲ＩＤに対応付けしたデータ集合である。

カラオケ楽曲には複数の歌唱パートを含む合唱曲が含まれており、カラオケデータには、合唱曲用の合唱曲カラオケデータが含まれている。図２に合唱曲カラオケデータの論理構成を例示している。合唱曲カラオケデータは、複数の歌唱パート用の旋律データを含み、各旋律データには歌唱パートＩＤが対応付けされ識別されている。なお、合唱曲カラオケデータは、複数の歌唱パートＩＤが含まれていることで、合唱曲であることが判別可能であるが、他の合唱曲判別方式として、楽曲ＩＤに対応づけして合唱曲である旨のフラグを付加しておいてもよい。

＝＝＝映像データベース＝＝＝
演奏端末１０は、適宜な記憶部に所定形式の動画データ（カラオケ映像作品）を格納し、楽曲ＩＤと対応づけして映像データベースとして管理している。また映像データベースの記憶資源として、光ディスク再生装置などを含む。

図３に映像作品の論理構成イメージを例示している。各映像作品は、適宜な区切り符号により再生時間軸上の区間を特定可能に構成され、また、よく知られたインタラクティブなマルチストーリー機能を利用可能に構成されている。とくに本実施例にかかる合唱曲用の映像作品は、複数の歌唱パートに対応した複数の異なる動画ストリームからなるマルチ映像区間を含んで構成されている。マルチ映像区間の動画ストリームのそれぞれには、歌唱パートＩＤが対応付けされて記憶されている。これにより、マルチ映像区間の動画ストリームの再生に際しては、歌唱パートに応じて再生経路が分岐して変化する。すなわち、マルチ映像区間においては歌唱パートＩＤが特定されることにより、対応する動画ストリームを選択して再生することが可能に構成されている。

なお、各曲用の背景映像としてのカラオケ映像作品は、映像台本データによっても規定可能である。台本データはカラオケデータに含まれており、演奏の再生時間軸に沿って、再生すべき動画ストリームのデータ格納場所を規定している。したがって合唱曲の映像作品の台本データは、再生時間軸上のマルチ映像区間の開始位置や終了位置を特定し、またマルチ映像区間において、歌唱パートＩＤごとに再生すべき動画ストリームの格納場所を特定するものとして構成される。

＝＝＝合唱曲再生処理＝＝＝
本実施例の演奏端末１０は、演奏するカラオケ楽曲が合唱曲である場合に、マイクロホンから入力される歌唱音声を採取してその歌唱パートを判定し、歌唱パートごとに異なる映像が用意されている背景映像のマルチ映像区間において、判定された歌唱パート用の動画ストリームを背景映像として出力するものである。

すなわち、演奏端末１０の待ち行列から取り出した楽曲ＩＤが合唱曲である場合に、中央制御部１１の制御により、以下に説明する合唱曲再生処理を行うことを特徴とする。図４に例示したようにまず、演奏中にカラオケデータの再生時間軸上に適宜に設定されている歌唱パート判定区間に差し掛かると（ｓ１）、歌唱パート判定処理部１９がマイクロホンから入力される歌唱音声に基づいて、歌唱している歌唱パートを判定する歌唱パート判定処理を行う。この歌唱パート判定処理には、よく知られているように、マイクロホンの歌唱音声のピッチを時系列にしたがって抽出して、そのピッチ推移を逐次カラオケデータと比較して類似度を判定する技術を適用する。本実施例では、抽出した歌唱音声のピッチ推移を、カラオケデータに含まれる各歌唱パートの旋律データのピッチと逐次比較して（ｓ２）、それぞれの歌唱パートとの類似度（相似度）を判定し、もっとも類似度の高い歌唱パートのパートＩＤを出力する（ｓ３）。

歌唱パート判定処理部１９のモジュール内ソフトウェア構成については、ここでは詳細な説明は省略するが、たとえば、特開２００７−１２１９１７号公報に開示されている技術と同様に、ピッチ検出部・ピッチ比較部・比較判定部で構成する。ピッチ検出部は、歌唱音声信号のピッチを逐次検出し、ＭＩＤＩ形式の旋律データと比較するために便利な形式にデジタルデータ化し、ピッチ比較部に入力する。ピッチ比較部は、カラオケデータに含まれる各歌唱パートの旋律データに対応する複数の比較部の集合であり、各比較部が音楽再生処理に同期して対応の旋律データを受け取っている。各比較部は、旋律データのピッチ推移と歌唱音声のピッチ推移との時間的相似性に相関したピッチ相似度データを逐次生成し、比較判定部に入力する（ｓ２）。比較判定部は、各比較部からそれぞれの旋律データとのピッチ相似度データを受け取って相互比較し、ピッチ相似度データが最大値となる旋律データを特定する。特定された旋律を歌唱者が歌唱しているものと判定して、その歌唱パートＩＤを出力する（ｓ３）。

映像処理部１７は、歌唱パート判定処理部１９から受け取った歌唱パートＩＤに基づいて、マルチ映像区間に含まれる複数の動画ストリームのうち、当該歌唱パートＩＤに対応するものを選択して再生出力する（ｓ４〜ｓ５）。

なお、歌唱パート判定区間は、カラオケデータの再生時間軸上に、適宜なタイミング符号により区間の始まり箇所と終わり箇所が設定されているものとする。たとえば、歌唱パートの旋律が斉唱から合唱に分かれる（異なった旋律になる）区間や、背景映像のマルチ映像区間に対応する区間の直前などに設定しておく。

また、演奏端末１０に複数マイクロホンが備わっている場合には、いずれか１本を本実施例の歌唱音声採取用マイクロホンとする。
複数のマイクロホンが備わっている場合に、いずれかを本実施例の歌唱音声採取用マイクロホンとして、利用者が選択指定できるように構成することもできる。たとえば、演奏開始前に所定の操作により選択指定するマイクロホンから音声信号を入力して、歌唱音声採取用マイクロホンをカラオケ装置に認識させる。

以上のようにして、歌唱パートによりマルチ映像区間の映像が変化するので、歌唱者が合唱曲のどのパートを歌うかという選択の楽しみも新たに加わることになる。当然に見ている人も単一でない映像を楽しむことができるので、カラオケの娯楽性が高まる。

＝＝＝その他＝＝＝
マルチ映像区間において、歌唱パートと映像とは１対１である必要はない。たとえば、３以上の歌唱パートを含む楽曲において、マルチ映像区間の映像は、ある歌唱パート用の映像とその他の歌唱パート用の映像の２つの動画ストリームを含むものであってもよい。３人以上のグループユニットの楽曲について、メインボーカル用の映像とそれ以外のメンバー用の映像の２種類を用意する場合などが、これに相当する。その場合、カラオケ映像作品はマルチ映像区間において、メインボーカル用の映像にはメインボーカルの歌唱パートＩＤが対応づけされ、もう一方の映像にはその他の複数の歌唱パートＩＤを対応づけして構成する。

また同一曲中に複数のマルチ映像区間を含めてもよく、それぞれの区間で異なる歌唱パートＩＤ用の動画ストリームを選択可能に構成してもよい。その場合、各マルチ映像区間の直前など、適宜に歌唱パート判定区間を設定しておけばよい。

映像を表示させるディスプレイ１８を複数台設置して、各ディスプレイ１８に対応するマイクロホンをそれぞれに対応づけるように設定しておき、それぞれのマイクロホンから入力される歌唱音声の歌唱パートに対応する映像を、それぞれのディスプレイ１８に表示させるようにすることもできる。その場合、歌唱パート判定手段は各マイクロホンに対応した複数の歌唱パート判定処理部１９で構成し、各歌唱パート判定処理部１９が対応するディスプレイ１８用の映像処理部１７にそれぞれ歌唱パートＩＤを出力するように構成する。こうすれば、複数の歌唱者がそれぞれに自分の歌唱に応じた映像を楽しむことができる。

本実施例に係るカラオケ装置を構成する演奏端末の構成を例示している。 本実施例に係る合唱曲カラオケデータのデータ論理構成を例示している。 本実施例に係るカラオケ映像作品のデータ論理構成を例示している。 本実施例に係る合唱曲再生処理のフロー図である。

符号の説明

１０ 演奏端末
１１ 中央制御部
１８ ディスプレイ

Claims (3)

1. 楽曲データベースと、映像データベースと、歌唱パート判定手段と、映像再生手段を備え、希望曲のカラオケ伴奏音楽とカラオケ映像作品を同期して音響映像出力するカラオケ装置であって、
   楽曲データベースは、楽曲ＩＤに対応付けされた合唱曲カラオケデータを格納し、
   合唱曲カラオケデータは、歌唱パートＩＤに対応付けされた旋律データを複数パート分含むとともに、その時間軸上に歌唱パート判定区間が複数設定されており、
   映像データベースは、楽曲ＩＤに対応付けされたカラオケ映像作品を格納し、
   カラオケ映像作品は、その時間軸上にマルチ映像区間が複数含まれており、
   マルチ映像区間は、複数の異なる動画ストリームを選択的に再生可能な区間であり、この区間の複数の動画ストリームのそれぞれに歌唱パートＩＤが対応付けされており、
   歌唱パート判定手段は、合唱曲カラオケデータに基づく伴奏音楽の演奏中、前記歌唱パート判定区間において、マイクロホンからの歌声信号と各歌唱パートの旋律データに基づいてマイクロホン利用者がどの歌唱パートを歌っているのかを判定して１つの歌唱パートＩＤを出力し、
   映像再生手段は、カラオケ伴奏音楽と同期してカラオケ映像作品を再生する動作中、前記マルチ映像区間において、歌唱パート判定手段が出力する歌唱パートＩＤに対応付けされた動画ストリームを再生する
   カラオケ装置。
2. 複数のマイクロホンを備え、選択指定されたマイクロホンからの歌声信号を歌唱パート判定手段に入力する
   請求項１に記載のカラオケ装置。
3. 複数のマイクロホンと、各マイクロホンに対応する複数の映像再生手段とを備え、
   各映像再生手段は、対応する各マイクロホンからの歌声信号の歌唱パートＩＤに対応する動画ストリームを出力する
   請求項１または２に記載のカラオケ装置。

Images