JP6316099B2 - カラオケ装置 - Google Patents

Description

本発明は、カラオケ楽曲のデータを蓄積しないカラオケ装置に関する。

近年、業務用通信カラオケシステムは、カラオケ楽曲データを制作してサーバで管理し、伝送路を介してカラオケ端末に配信し、カラオケ端末が蓄積、再生して放音する構成が一般的であり、これらを基本機能として、歌唱採点、動画の撮影・投稿・公開、ゲーム、遠隔地デュエットなどの付随コンテンツが提供されている。このような、カラオケ端末（カラオケ装置）は、ハード的な簡易化、低コスト化が望まれる。

従来、通信カラオケシステムにおいては、カラオケ楽曲データ（ＭＩＤＩ（登録商標）データ）や歌詞データの制作、サーバでのデータの管理、カラオケ端末へのデータの配信、カラオケ端末でのデータの蓄積に要するコストは莫大である。さらにカラオケ端末には、ＭＩＤＩデータにより楽音を生成するＭＩＤＩ音源が必要であり、初期（ハードウェア）コストを押し上げているという実情がある。

このような通信カラオケシステムに対して、例えば、楽曲の音声再生と連動して歌詞を表示させるための表示歌詞データを自動的に作成してデータ制作の作業効率を高めるための技術（特許文献１）や、複数のカラオケ装置のうち１つを親端末として配信センタが楽曲データ等を配信することでサーバの負担を少なくして効率的にデータ配信を行うための技術（特許文献２）や、カラオケ端末において複数台のハードディスク装置を使用し、一のハードディスク装置に楽曲データを記憶すると共に他のハードディスク装置に該楽曲データの複製データを記憶することで効率良くカラオケデータを蓄積する技術（特許文献３）や、ホスト装置がサーバから未エンコード楽曲データ（ＭＩＤＩデータ）を取得してエンコードし、当該エンコード済楽曲データを端末装置に配信することで複数台のカラオケ端末装置のそれぞれにＭＩＤＩ音源を設ける必要がないカラオケシステムに関する技術（特許文献４）が知られている。

一方で、カラオケ利用者個人の携帯情報端末には、利用者本人の嗜好にマッチした楽曲データ（ＭＰ３形式などのオーディオデータや動画データ）が大量に蓄積されており、例えば、一般のオーディオＣＤの音源からボーカル成分を除去して伴奏音を生成し、さらにＭＩＤＩデータに変換して、これにより歌詞データ及び背景映像データの表示制御を行うカラオケ装置に関する技術も知られている（特許文献５）。

特開２００１−１７５２６７号公報 特開２００６−３３２７９４号公報 特開２００５−２５８００９号公報 特開２００７−２２５９３３号公報 特開２００４−２１２４７３号公報

しかしながら、何れの特許文献においても、カラオケ楽曲データとしてＭＩＤＩデータを制作、管理、配信することに変わりはなく、カラオケ端末では再生時の音源を必要とし、また、カラオケ楽曲データを蓄積させるハードウェアを必要としている。特に、特許文献２，４では総ての端末でＭＩＤＩ音源が不要となるわけではなく、データ蓄積も不要となるわけではないものであり、スタンドアローンでのカラオケ端末では対処することができないという問題がある。ここで、歌詞入り動画を伴ったオーディオ・ファイルをオンデマンドでストリーム配信することによるカラオケ演奏が、従来技術により実用化されている。この手法によれば、ＭＩＤＩデータの制作、カラオケ端末におけるＭＩＤＩ音源の内蔵及びデータの蓄積といった課題は解決できるものの、当該オーディオ・ファイルのサーバにおける管理や配信に係る課題は解決できていない。

そこで、本発明は上記課題に鑑みなされたもので、スタンドアローンのカラオケ端末で再生のための特殊音源を必要とせず、さらにカラオケ楽曲データのカラオケ端末での蓄積やサーバでの管理を不要とするカラオケ装置を提供することを目的とする。

上記課題を解決するために、請求項１の発明では、楽曲ＩＤで特定される楽曲データ及びこれら楽曲に関する利用者楽曲リストを記憶している携帯端末と通信自在であると共に、少なくとも当該携帯端末の端末ＩＤが利用者の利用者ＩＤに関連付けられた利用者情報を備えるサーバと通信自在であるカラオケ装置であって、ログインした利用者の利用者ＩＤに基づいて、前記サーバより当該利用者の所持する携帯端末の端末ＩＤを少なくとも含む利用者情報を取得する利用者情報取得手段と、前記取得した端末ＩＤに基づいて、前記利用者の所持する携帯端末にアクセスして前記記憶されている利用者楽曲リストを取得する楽曲リスト取得手段と、前記取得した利用者楽曲リストに基づいて、少なくとも楽曲の楽曲ＩＤと当該楽曲を記憶している携帯端末の端末ＩＤとが紐付けられた選曲用楽曲リストを生成する楽曲リスト生成手段と、前記生成した選曲用楽曲リストに基づいて、カラオケ演奏する楽曲を前記利用者に選曲させる選曲楽曲登録手段と、前記選曲された楽曲の楽曲ＩＤを少なくとも登録する予約待ち行列と、前記登録された楽曲ＩＤと当該楽曲ＩＤに紐付けられた携帯端末の端末ＩＤとに基づいて、当該携帯端末にアクセスして前記楽曲データを取得する楽曲データ取得手段と、前記取得した楽曲データより少なくとも伴奏データを抽出してカラオケ演奏用データに加工する加工手段と、少なくとも前記カラオケ演奏用データを再生する再生手段と、前記カラオケ演奏用データの再生終了後、当該カラオケ演奏用データに対応する楽曲ＩＤが前記予約待ち行列に残っていない場合に、当該カラオケ演奏用データ及びこれに付随する生成データ並びに当該カラオケ演奏用データに対応する楽曲データを消去する消去手段と、を有する構成とする。

請求項２〜６の発明では、「前記加工手段は、前記楽曲データから主旋律の歌唱データである主ボーカルデータを抽出する主ボーカルデータ抽出手段と、前記楽曲データからリズム楽器演奏のデータを抽出するリズムトラックデータ抽出手段と、前記楽曲データからボーカルデータと前記リズムトラックデータを除した残りである伴奏データを抽出する伴奏データ抽出手段と、を備える」構成とし、
「前記加工手段は、さらに、前記主ボーカルデータから、表示用の歌詞データを生成する表示用歌詞データ生成手段を備える」構成であり、
「前記加工手段は、さらに、前記主ボーカルデータから、歌唱を採点する際の基準となるリファレンスデータを生成するリファレンスデータ生成手段と、前記加工手段の他に、歌唱信号を当該加工手段で生成したリファレンスデータと比較して採点する採点手段と、を備える」構成とし、
「前記加工手段は、さらに、前記楽曲データから主旋律以外の歌唱データである副ボーカルデータを抽出する副ボーカルデータ抽出手段、及び、前記主ボーカルデータから利用者の歌唱を支援するためのガイドボーカルデータを生成するガイドボーカルデータ生成手段の少なくとも何れかを備える備えるこ」構成とし、
「前記加工手段は、さらに、前記楽曲データに基づいて当該楽曲のコード進行を分析するコード進行分析手段と、前記主ボーカルデータと前記コード進行に基づいて当該主ボーカルデータのハーモニーデータを生成するハーモニーデータ生成手段と、を備える」構成とする。

請求項７の発明では、利用者にテンポ及びキーコントロールを設定させる設定入力手段を備え、前記再生手段が、前記設定されたキーコントロールからピッチシフト量を特定し、前記リズムトラックデータを前記テンポに応じて再生し、前記伴奏データを当該テンポと当該ピッチシフト量とに応じて再生し、前記副ボーカルデータ、ガイドボーカルデータ及びハーモニーデータの少なくとも何れかを当該テンポと当該ピッチシフト量とに応じて再生する構成とする。

本発明によれば、ログインした利用者の利用者ＩＤから利用者の所持する携帯端末の端末ＩＤをサーバより取得し、当該端末ＩＤに基づき携帯端末に記憶されている利用者楽曲リストを取得して楽曲ＩＤと端末ＩＤとが紐付けられた選曲用楽曲リストを生成し、当該選曲用楽曲リストに基づき楽曲を選曲させて予約待ち行列に登録し、登録された楽曲ＩＤと端末ＩＤとに基づき携帯端末より該当の楽曲データを取得し、取得した楽曲データより少なくとも伴奏データを抽出してカラオケ演奏用データとして再生する構成とすることにより、スタンドアローンのカラオケ用の装置で再生のための特殊音源を必要とせず、カラオケ楽曲データを予め蓄積させておくことを不要とさせることができ、低コスト化を図ることができるものである。

請求項４の発明によれば、主ボーカルデータから、歌唱を採点する際の基準となるリファレンスデータを生成し、採点手段が歌唱信号を当該リファレンスデータと比較して採点する構成とすることにより、歌唱採点機能をも備えさせることができるものである。

請求項７の発明によれば、利用者にテンポ及びキーコントロールを設定させ、再生手段において設定されたキーコントロールからピッチシフト量を特定することで、リズムトラックデータをテンポに応じて再生し、伴奏データを当該テンポと当該ピッチシフト量とに応じて再生し、副ボーカルデータ、ガイドボーカルデータ及びハーモニーデータの少なくとも何れかを当該テンポと当該ピッチシフト量とに応じて再生する構成とすることにより、副ボーカルデータ、ガイドボーカルデータ及びハーモニーデータを再生する機能をも備えさせることができるものである。

本発明に係るカラオケ装置のブロック構成図である。 図１の加工手段、再生手段のブロック構成図である。 図１のサーバの構成説明図である。 図１の携帯端末の構成説明図である。 選曲用楽曲リスト生成の説明図である。 楽曲選曲の説明図である。 楽曲データ取得のフローチャートである。 加工手段によるカラオケ演奏用データ生成のフローチャートである。 楽曲データに含まれる映像データ取得のフローチャートである。 リファレンスデータ生成のフローチャートである。 演奏楽曲再生のフローチャートである。 楽曲再生時の映像表示のフローチャートである。 付加的再生対象の再生フローチャートである。 生成データ等の消去に関するフローチャートである。

以下、本発明の実施形態を図により説明する。
図１に本発明に係るカラオケ装置のブロック構成図を示すと共に、図２に図１の加工手段、再生手段のブロック構成図を示す。図１において、カラオケ装置１１は、主要装置としてのカラオケ本体１２に、有線又は無線で外部接続されるものとして、表示手段としての表示部１３、ミキシングアンプ１４、マイク１５、スピーカ１６、遠隔入出力装置１７が接続される。

上記表示部１３は、通常の楽曲選曲表示やカラオケ演奏時の背景映像等を表示するもので、例えば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、その他種々のディスプレイを採用することができる。上記ミキシングアンプ１４は、カラオケ本体１２より送られてくる音楽演奏信号に、マイク１５からの音声信号をミキシングし、増幅してスピーカ１６より放音する。

上記遠隔入出力装置１７は、図示しない端末送受信部により、カラオケ本体１２に対して有線方式ないし無線方式（ＩＲ方式やブルートゥース（登録商標）機構のピコネット接続方式など）を利用してデータ授受を行うためのもので、少なくともログイン・ログアウト処理手段１７Ａ及び選曲楽曲登録手段１７Ｂを適宜備える。当該選曲楽曲登録手段１７Ｂは、選曲用楽曲リスト１７Ｃ（リスト生成については図５で説明する）及び設定入力手段１７Ｄ（図６で説明する）を備える。なお、図示しない端末表示手段を備えるもので、当該端末表示手段としては、液晶ディスプレイ（ＬＣＤ）とタッチセンサとを積層して入出力用とし、表示されるアイコン等に対応して当該タッチセンサにより楽曲の選択などのデータを入力することができるＧＵＩのユーザインタフェース機能を有するものである。

上記ログイン・ログアウト処理手段１７Ａは、利用者情報取得手段のプログラムが含まれ、利用者によるログイン操作に応じて当該利用者より利用者ＩＤを取得してログインを許可し、当該利用者ＩＤに基づいて後述のサーバ６２に対して当該利用者の所持する携帯端末６３の端末ＩＤを要求して取得し、カラオケ本体１２のＲＡＭ２３の利用者情報４２の記憶領域に記憶する処理を行うと共に、ログアウト操作に応じて利用終了の処理を行うプログラムである。

選曲楽曲登録手段１７Ｂは後述の選曲用楽曲リスト１７Ｃを備え、利用者に当該選曲用楽曲リスト１７Ｃより楽曲を選曲させるプログラムであり、選曲時に設定入力手段１７Ｄで後述の移調キーやテンポなどの設定を行わせる機能を有するもので、選曲された楽曲は、後述のカラオケ本体１２におけるＲＡＭ２３の予約待ち行列４１の記憶領域に登録される（詳細は図６で説明する）。

上記カラオケ本体１２は、バス２０、中央制御部２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、送受信部２５Ａ，２５Ｂ、携帯端末送受信部２５Ｃ、映像表示制御手段２６、採点手段２７、Ａ／Ｄ変換部２８、楽曲リスト取得手段３０、楽曲リスト生成手段３１、楽曲データ取得手段３２、加工手段３３、再生手段３４及び消去手段３５を備える。上記ＲＡＭ２３には予約待ち行列４１及び利用者情報４２の記憶領域が形成され、記憶部２４には、楽曲データ５１、カラオケ演奏用データ５２、リファレンスデータ５３及び映像データ５４が記憶される記憶領域を備える。なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケシステムにおいても大部分が適用可能であることを示すために、構成要素の全体を説明する。

上記中央制御部２１は、この装置全体を統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ２２に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ２３は、予約待ち行列４１及び利用者情報４２の記憶領域が形成される他に、上記種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。記憶部２４には、楽曲データ５１、カラオケ演奏用データ５２、リファレンスデータ５３及び映像データ５４が記憶されるもので、例えば半導体メモリで構成され、ハードディスク上に構築される場合をも含む概念である。

上記送受信部２５Ａは、遠隔入出力装置１７との間で有線方式ないし無線方式（ＩＲ方式やブルートゥース（登録商標）機構のピコネット接続方式など）を利用してデータ授受を行うためのもので、そのための電子回路及びプログラムである。上記送受信部２５Ｂは、カラオケ本体１２とサーバ６２とが通信ネットワーク６１を介してデータ授受を行うための物理的な通信用回路やプラットフォーム等のソフトウエアにより構成されるものである。また、携帯端末送受信部２５Ｃは、携帯端末６３と通信を行うための送受信回路及びプログラムである。携帯端末送受信部２５Ｃと携帯端末６３との通信は、一般的な通信回線を用いてもよいし、近距離無線通信を用いてもよい。

上記映像表示制御手段２６は、演奏時に、後述の加工手段３３で生成されたカラオケ演奏用データに含まれる表示用歌詞データや映像データを表示部１３に出力するプログラム乃至電子回路である。

上記採点手段２７は、楽曲歌唱に対して楽曲の所定の歌唱区間毎に歌唱音声を分析して採点するもので、マイク１５からの音声信号がミキシングアンプ１４をスルーしてＡ／Ｄ変換部２８でデジタル変換された音声信号に対して後述の加工手段３３で生成されて記憶部２４に記憶されたリファレンスデータに基づいて採点処理を行うプログラムである。具体的には、例えば特許第４２２２９１５号公報に記載されている手法を用いることができる。採点手段２７で処理された採点値は、その区間までの途中採点値を含めて映像表示制御手段２６より表示部１３で表示される。

上記楽曲リスト取得手段３０は、利用者ＩＤに基づいてサーバ６２より取得した当該利用者の所持する携帯端末６３の端末ＩＤにより、携帯端末送受信部２５Ｃを介してアクセスして当該携帯端末６３に記憶されている利用者楽曲リスト（図４で説明する）を取得するプログラムである。上記楽曲リスト生成手段３１は、各携帯端末６３より取得した利用者楽曲リストに基づいて、少なくとも楽曲の楽曲ＩＤと当該楽曲を記憶している携帯端末の端末ＩＤとが紐付けられた選曲用楽曲リストを生成するプログラムである（詳細は図５で説明する）。なお、楽曲リスト生成手段３１を遠隔入出力装置１７に備えさせてもよい。

上記楽曲データ取得手段３２は、予約待ち行列４１に登録された楽曲ＩＤと当該楽曲ＩＤに紐付けられた携帯端末６３の端末ＩＤとに基づいて、当該携帯端末６３にアクセスして記憶されている対応の楽曲データを取得し、記憶部２４の楽曲データ５１の記憶領域に例えば楽曲ＩＤをファイル名として記憶するプログラムである（図７で説明する）。

上記加工手段３３は、詳細は図２（Ａ）で説明するが、楽曲データ取得手段３２より取得して記憶部２４に記憶された楽曲データに基づいて少なくとも伴奏データを抽出してカラオケ演奏用データに加工して記憶部２４のカラオケ演奏用データ５２の記憶領域に記憶するプログラムである。上記再生手段３４は、詳細は図２（Ｂ）で説明するが、上記加工手段３３で加工されて記憶されたカラオケ演奏用データを再生するプログラムである。

そこで、図２（Ａ）において、加工手段３３は、主ボーカルデータ抽出手段７１、副ボーカルデータ抽出手段７２、リズムトラックデータ抽出手段７３、伴奏データ抽出手段７４、映像データ抽出手段７５、コード進行分析手段７６、表示用歌詞データ生成手段７７、リファレンスデータ生成手段７８、ガイドボーカルデータ生成手段７９及びハーモニーデータ生成手段８０を備える。なお、加工対象の楽曲データが、携帯端末６３に記憶される一般的なファイル形式であるＭＰ３形式のファイルとして説明する。

上記主ボーカルデータ抽出手段７１は、楽曲データから主旋律の歌唱データである主ボーカルデータを抽出するプログラムである。例えば、特開平１１−０３８９８０号公報や特開２０１３−１０９２０７号公報に記載されている技術などを用いて、楽曲データの歌唱データ中、センター定位されているボーカル信号の帯域をキャンセルし、残りのデータを元データ（歌唱データ）より減算すれば主ボーカルデータとして抽出することができる。

上記副ボーカルデータ抽出手段７２は、楽曲データから主旋律以外の歌唱データである副ボーカルデータを抽出するプログラムである。例えば、上記技術を用いてセンター定位されていないボーカル信号（ＬチャンネルやＲチャンネル）の帯域をキャンセルし、残りのデータを元データ（歌唱データ）より減算すれば副ボーカルデータとして抽出することができる。

上記リズムトラックデータ抽出手段７３は、楽曲データからリズム楽器演奏のデータを抽出するプログラムである。例えば、特開２０１３−１６４５８４号公報に記載されているような音響信号から特定の成分の打楽器音信号を分離するときの処理遅延を低減するための技術などを用いてリズムトラックデータを抽出することができる。

上記伴奏データ抽出手段７４は、楽曲データからボーカルデータ（主ボーカルデータ及び副ボーカルデータ）とリズムトラックデータを除した残りである伴奏データを抽出するプログラムである。例えば、上記技術を組み合わせることで伴奏データを抽出することができる。

上記映像データ抽出手段７５は、楽曲データが映像データを伴う場合に当該映像データのみを抽出若しくは分離して記憶部２４の映像データ５４の記憶領域に記憶するプログラムである。上記コード進行分析手段７６は、楽曲データのコード進行を分析するプログラムである。例えば、特開２０１０−１３４２３１号公報に記載されているような楽曲の音声信号を解析し学習アルゴリズムに基づいてコード進行を検出することができる。

上記表示用歌詞データ生成手段７７は、上記抽出した主ボーカルデータから表示用の歌詞データを生成するプログラムである。例えば、特開２００５−２５０２４２号公報に記載されているように主ボーカルデータを元にして、音声認識により歌詞情報をオーディオ信号に進行に関連付けて生成することができる。なお、表示部１３では、表示用歌詞データを後述の再生手段３４の表示用歌詞データ処理手段８４により公知の技術である色変え処理し、進行に沿って色変え表示される。

上記リファレンスデータ生成手段７８は、上記抽出した主ボーカルデータから、歌唱を採点する際の基準となるリファレンスデータを生成するプログラムである。主ボーカルデータから発音タイミングの量子化処理や、検出ピッチや音量レベルの平滑化などにより生成することができる。具体的には、例えば、特開平０９−１０６２９４号公報に記載されているようなマイクから入力された音声信号をＭＩＤＩデータに変換する技術を主ボーカルデータに用いて原曲歌手による歌唱をＭＩＤＩデータに変換し、このＭＩＤＩデータを所定の分解能で量子化処理すれば原曲の楽譜に近いリファレンスデータを得ることができる。

上記ガイドボーカルデータ生成手段７９は、上記抽出した主ボーカルデータから利用者の歌唱を支援するためのガイドボーカルデータを生成するプログラムである。例えば、コンプレッサやイコライザなどの公知の技術を用いて、主ボーカルデータの全体の音量レベルを下げると同時に音量レベルの変動を抑え、周波数特性を変えることにより、聴き取り易く歌唱者の歌唱の邪魔にならないようなガイドボーカルデータを得ることができる。

上記ハーモニーデータ生成手段８０は、上記抽出した主ボーカルデータを上記分析したコード進行に合わせた音程にピッチ変更して当該主ボーカルデータのハーモニーデータを生成するプログラムである。具体的には、例えば、特開平１０−１４３１８０号公報に記載されているような楽曲データに含まれたハーモニーデータに従ってボーカル音をピッチシフトしてハーモニー音声を生成する技術を用いて、コード進行に基づいて主ボーカルデータあるいは歌唱者の歌唱データをピッチシフトすればハーモニーデータを得ることができる。

なお、上記ハーモニーデータ、ガイドボーカルデータ、表示用歌詞データ、リファレンスデータの一部または全てを、主ボーカルデータ（及びコード進行データ）から生成せずに、予め用意されたものを取得するような構成としてもよい。例えばサーバ６２からカラオケ装置１１に配信することとしてもよい。

また、図２（Ｂ）において、再生手段３４は、カラオケ演奏用データ入力手段８１、ピッチシフト量特定手段８２、楽曲再生処理手段８３、表示用歌詞データ処理手段８４及び表示用映像データ処理手段８５を備える。

上記カラオケ演奏用データ入力手段８１は、予約待ち行列４１に登録された順番に応じて再生対象となるカラオケ演奏用データを記憶部２４に記憶されているカラオケ演奏用データ５２中より入力するプログラムである。上記ピッチシフト量特定手段８２は、利用者の選曲時に設定したキーコントロール値に応じてピッチシフト量を特定するプログラムである。

上記楽曲再生処理手段８３は、上記抽出したリズムトラックデータをテンポに応じて再生し、上記抽出した伴奏データを当該テンポと当該ピッチシフト量とに応じて再生し、上記生成した副ボーカルデータ、ガイドボーカルデータ及びハーモニーデータの少なくとも何れかを当該テンポと当該ピッチシフト量とに応じて再生するプログラム及び電子回路（Ｄ／Ａ変換回路等）である。例えば、特開平０６−１４９２８８号公報に記載されているような簡単な構成で波形の連続性を損なわないピッチ変換を行うような技術や、例えば、特開平０６−２２２７９４号公報に記載されているようなオーディオ信号の振幅や位相の不連続が少なく信号の欠落も少ない信号の再生速度変換に関する技術を用いてピッチ、テンポ、フォルマント（音質）を独立して制御する。

上記表示用歌詞データ処理手段８４は、表示用歌詞データを色変え処理し、進行に沿って色変え表示させるプログラムであり、映像データを再生表示している場合には重ね表示とさせる。上記表示用映像データ処理手段８５は、上記抽出、分離して記憶部２４の映像データ５４の記憶領域に記憶した映像データを、演奏進行に応じて表示部１３の表示に合致させるために加工処理して映像表示制御手段２６に送出するプログラムである。

続いて、図３に図１のサーバの構成説明図を示すと共に、図４に図１の携帯端末の構成説明図を示す。図３（Ａ）において、サーバ６２は、制御部９１、ネットワーク送受信部９２、利用者情報抽出手段９３及び利用者データベース（利用者ＤＢ）９４を少なくとも備える。上記制御部９１は、この装置全体を統括的に処理制御する物理的なＣＰＵであり、図示しないＲＯＭに記憶されているプログラムに基づくアルゴリズム処理を行う。

上記ネットワーク送受信部９２は、通信ネットワーク６１に接続された各カラオケ装置１１（カラオケ端末）との通信（データ授受）を行うために、当該通信ネットワーク６１の通信方式と整合性をとるための例えば物理的な通信用回路やプラットフォーム等のソフトウエアにより構成される。上記利用者情報抽出手段９３は、カラオケ装置１１からの利用者ＩＤに基づく端末ＩＤの要求に対して利用者ＤＢ９４より抽出し、ネットワーク送受信部９２を介して対応のカラオケ装置１１に送信するプログラムである。

利用者ＤＢ９４は、図３（Ｂ）に示すように、各利用者を利用者ＩＤに関連付けて当該利用者の住所等の付属情報が関連付けられると共に、少なくとも当該利用者が所持する携帯端末６３の端末ＩＤを関連付けて記憶しておくものである。

また、図４において、携帯端末６３は、送受信部１０１及び記憶部１０３を少なくとも備え、カラオケアプリケーションソフト１０２を備える。記憶部１０３はメモリやハードディスクであり、ここには少なくとも利用者が記憶した楽曲（ＭＰ３形式のファイル）１０４が楽曲ＩＤをファイル名として所定数記憶されると共に、記憶した楽曲（楽曲ＩＤ）の利用者楽曲リスト（例えば、サムネイル用として作成される）１０５が作成されて記憶されているものである。

上記カラオケアプリケーションソフト１０２は、少なくとも、カラオケ装置１１より利用者楽曲リストを要求されたときに送受信部１０１を介して当該カラオケ装置１１に送信し、また、楽曲ＩＤに基づいてカラオケ装置１１より楽曲データを要求されたときに送受信部１０１を介して当該カラオケ装置１１に送信するためのものである。

ここで、図５に選曲用楽曲リスト生成の説明図を示すと共に、図６に楽曲選曲の説明図を示し、図７に楽曲データ取得のフローチャートを示す。図５（Ａ）において、遠隔入出力装置１７に対して利用者によるログイン要求があると、ログイン操作に応じて当該利用者より利用者ＩＤを取得してログインを許可し、当該利用者ＩＤに基づいてサーバ６２に対して当該利用者の所持する携帯端末６３の端末ＩＤを要求する。サーバ６２において当該要求に応じて利用者情報抽出手段９３が利用者ＤＢ９４より当該利用者ＩＤに関連付けられた端末ＩＤを抽出してカラオケ装置１１に送信する。そして、カラオケ装置１１では端末ＩＤを取得し、当該端末ＩＤを利用者ＩＤに関連付けてカラオケ本体１２のＲＡＭ２３の利用者情報４２の記憶領域に記憶する。

カラオケ装置１１では、楽曲リスト取得手段３０が、取得した端末ＩＤに基づいて対応の携帯端末６３にアクセスして利用者楽曲リストを要求する。携帯端末６３では、カラオケアプリケーションソフト１０２が記憶部１０３に記憶されている利用者楽曲リストを読み出してカラオケ装置１１に送信する。カラオケ装置１１では、楽曲リスト生成手段３１が取得した利用者楽曲リスト基づいて選曲用楽曲リスト１７Ｃを生成して選曲楽曲登録手段１７Ｂに供される。

このような利用者楽曲リストの取得をログインした利用者全員に対して行い、順次取得した利用者楽曲リストを、図５（Ｂ）に示すように、まとめた選曲用楽曲リスト１７Ｃを生成する。なお、選曲用楽曲リスト１７Ｃの生成タイミングは、利用者楽曲リストを取得する毎に作成され、利用者楽曲リストの取得のタイミングは、各利用者がログインした毎に行うこととするが、最初の利用者のログインから一定時間経過した後に当該時間内にログインした利用者に対してまとめて行うこととしてもよい。複数の利用者楽曲リストの間で同一楽曲が重複した場合には、選曲用楽曲リスト１７Ｃ上で重複しないよう適宜処理をする。重複があった楽曲については、選曲用楽曲リスト１７Ｃの表示の際に表示態様を変えて複数の利用者のお気に入りであることを強調してもよい。

次に、ログインした利用者より利用者ＩＤの提示に基づいて楽曲選曲が要求されると、図６（Ａ）に示すように、遠隔入出力装置１７に選曲用楽曲リスト１７Ｃが表示され、このリスト中から所定の楽曲が選択されると、図６（Ｂ）に示すように、選曲された楽曲ＩＤに紐付けされている端末ＩＤと共に、当該楽曲に対応する情報が表示される。当該表示画面では、設定入力手段１７Ｄも実行され、移調キー（キーコントロール）の設定やテンポの設定を可能としている。また、副ボーカルの再生、ハーモニーの再生、ガイドボーカルの再生の有無及びこれらの音量の設定も可能としている。

そして、転送ボタンが選択されると当該楽曲（楽曲ＩＤ）が選曲されたこととなり、ＲＡＭ２３の予約待ち行列４１に登録される。予約待ち行列４１は、図６（Ｃ）に示すように、登録順に、楽曲ＩＤに付帯して利用者の設定したキー、テンポの値、副ボーカル、ハーモニー、ガイドボーカルの再生の有無のフラグ及びこれらの再生音量値が登録されると共に、当該利用者ＩＤに付帯された端末ＩＤの情報も登録される。

そこで、図７に示すように、予約待ち行列４１に選曲楽曲が登録された時点で（ステップ１（Ｓ１））、楽曲データ取得手段３２は、予約登録された楽曲ＩＤに関連付けられた端末ＩＤに基づいて、対応の携帯端末６３にアクセスして当該楽曲ＩＤの楽曲データを要求する（Ｓ２）。楽曲データを要求された携帯端末６３では、カラオケアプリケーションソフト１０２が記憶部１０３に記憶されている楽曲データを読出し送受信部１０１を介してカラオケ装置１１に送信する。そして、当該携帯端末６３より取得した楽曲データを記憶部２４の楽曲データ５１の記憶領域に記憶していく（Ｓ３）。

次に、図８に、加工手段によるカラオケ演奏用データ生成のフローチャートを示す。加工手段３３では、上記取得した楽曲データについて、順次カラオケ演奏用データ５２を生成する。図８において、記憶部２４に記憶された楽曲データを読み出し、主ボーカルデータ抽出手段７１が当該楽曲データから例えばセンター定位されているボーカル信号の帯域に基づき主旋律の歌唱データを主ボーカルデータとして抽出すると共に（Ｓ１１）、副ボーカルデータ抽出手段７２が当該楽曲データから例えばセンター定位されていないボーカル信号（ＬチャンネルやＲチャンネル）の帯域に基づき主ボーカルデータ以外の歌唱データを副ボーカルデータとして抽出し（Ｓ１２）、リズムトラックデータ抽出手段７３が当該楽曲データから例えば特定の成分の打楽器音信号を分離してリズムパートをリズムトラックデータとして抽出する（Ｓ１３）。

そして、伴奏データ抽出手段７４が当該楽曲データから歌唱データ及びリズムパートを除いた残りを伴奏データとして抽出する（Ｓ１４）。なお、上記抽出処理は、処理順を問うものではないが、処理効率を考慮した順としている。

そこで、表示用歌詞データ生成手段７７が、抽出された主ボーカルデータから音声認識処理により色変えタイミング情報を含む表示用歌詞データを生成すると共に（Ｓ１５）、ガイドボーカルデータ生成手段７９が、抽出された主ボーカルデータの周波数特性や音量レベルを変えてモディファイすることでガイドボーカルデータを生成し（Ｓ１６）、ハーモニーデータ生成手段８０が楽曲データのコード進行を分析し、抽出された主ボーカルデータをコード進行に合わせた音程にピッチ変更してハーモニーデータを生成する（Ｓ１７）。なお、上記生成処理は、処理順を問うものではない。

そして、生成した主ボーカルデータ、副ボーカルデータ、リズムトラックデータ、伴奏データ、表示用歌詞データ、ガイドボーカルデータ及びハーモニーデータをカラオケ演奏用データとして記憶部２４のカラオケ演奏用データ５２の記憶領域に記憶する（Ｓ１８）。これらの抽出処理、生成処理を予約待ち行列４１に登録された総ての楽曲（楽曲ＩＤ）に対して行い、カラオケ演奏用データを生成して記憶部２４のカラオケ演奏用データ５２の記憶領域に記憶していくものである。

次に、図９に、楽曲データに含まれる映像データ取得のフローチャートを示す。図９において、取得した楽曲データ中に映像データが含まれる場合には（Ｓ２１）、映像データ抽出手段７５が当該映像データを分離して楽曲ＩＤに関連付けて記憶部２４の映像データ５４の記憶領域に記憶するものである（Ｓ２２）。この処理は取得した総ての楽曲データについてなされる。

また、図１０に、リファレンスデータ生成のフローチャートを示す。図１０において、上記抽出した主ボーカルデータから、リファレンスデータ生成手段７８が発音タイミングの量子化処理、検出ピッチや音量レベルの平滑化等を行って歌唱採点のためのリファレンスデータを生成し（Ｓ３１）、当該生成したリファレンスデータを楽曲ＩＤに関連付けて記憶部２４のリファレンスデータ５３の記憶領域に記憶するものである（Ｓ３２）。この処理は取得した総ての楽曲データについてなされる。

次に、図１１に、演奏楽曲再生のフローチャートを示す。図１１において、楽曲再生に際して再生手段３４では、カラオケ演奏用データ入力手段８１が予約待ち行列の順番に応じた再生対象の楽曲について、楽曲ＩＤに基づき、記憶部２４よりカラオケ演奏用データ、リファレンスデータを取得し（Ｓ４１）、ピッチシフト量特定手段８２が選曲者の設定したキー及びテンポに応じたピッチシフト量及び再生テンポを決定する（Ｓ４２）。

そこで、楽曲再生処理手段８３が上記決定されたピッチシフト量及び再生テンポに基づき伴奏データを再生し、当該テンポに基づきリズムトラックデータを再生する。このとき、表示用歌詞データ処理手段８４がテンポに基づき表示用歌詞データを色変え処理して映像表示制御手段２６に送出することで表示部１３で表示させ、また、採点手段２７がマイク１５より入力されてＡ／Ｄ変換部２８でデジタル変換された歌唱者の歌唱信号とリファレンスデータ、ピッチシフト量とテンポに基づいて歌唱採点処理を行う（Ｓ４３）。

そして、演奏が終了すると（Ｓ４４）、最終的な採点結果が導かれ、採点値を表示部１３で表示させるものである（Ｓ４５）。なお、歌唱区間毎の採点結果を歌唱中に表示させることとしてもよい。

続いて、図１２に、楽曲再生時の映像表示のフローチャートを示すと共に、図１３に付加的再生対象の再生フローチャートを示す。図１２において、再生手段３４の表示用映像データ処理手段８５が、再生対象の楽曲（楽曲ＩＤ）のカラオケ演奏用データに対応する映像データが記憶部２４の映像データ５４の記憶領域に記憶されている場合には（Ｓ５１）、当該映像データを抽出し、選曲者が設定したテンポに基づいて映像データを映像表示制御手段２６に送出して表示部１３で表示させる（Ｓ５２）。なお、演奏中、表示用歌詞データ処理手段８４による色変え処理された歌詞データが、表示されている映像中にスーパーインポーズして表示される。

そして、演奏が終了すると（Ｓ５３）、採点手段２７で導かれた最終的な採点結果の採点値を、表示している映像中にスーパーインポーズして表示部１３で表示させるものである（Ｓ５４）。

また、図１３において、再生手段３４の楽曲再生処理手段８３が、付加的再生対象である副ボーカル、ハーモニー、ガイドボーカルの選曲者による設定の有無が予約待ち行列４１により認識され、例えばこれらが設定されている場合には（Ｓ６１）、ピッチシフト量特定手段８２で決定したピッチシフト量及び選曲者が設定したテンポに応じて、カラオケ演奏用データ中の副ボーカル、ハーモニー、ガイドボーカルを再生するものである（Ｓ６２）。

次に、図１４に、生成データ等の消去に関するフローチャートを示す。図１４において、楽曲演奏が終了すると（Ｓ７１）、消去手段３５が予約待ち行列４１に同一の楽曲（楽曲ＩＤ）が存在するか否かを判別し（Ｓ７２）、存在しないときには、記憶部２４に記憶されている当該楽曲ＩＤの楽曲データ、カラオケ演奏用データ、リファレンスデータ及び映像データを消去する（Ｓ７３）。存在する場合には（Ｓ７２）、該楽曲ＩＤの楽曲データ、カラオケ演奏用データ、リファレンスデータ及び映像データを消去せずに、予約待ち行列４１に登録されている当該楽曲ＩＤの楽曲演奏の際に供するものである。

このように、利用者の所持する携帯端末６３に保持されている楽曲データを取得してカラオケ再生に必要なカラオケ演奏用データ等を生成することから、スタンドアローンのカラオケ装置であっても再生のための特殊音源を必要とせず、カラオケ楽曲データを予め蓄積させておくことを不要とさせることができ、低コスト化を図ることができるものである。

本発明のカラオケ装置は、カラオケ楽曲データを蓄積せずにカラオケ利用させる装置の製造、利用、並びに、ソフトウェア作成、販売の産業に利用可能である。

１１ カラオケ装置
１２ カラオケ本体
１７ 遠隔入出力端末
２４ 記憶部
２５ 通信用送受信部
３０ 楽曲リスト取得手段
３１ 楽曲リスト生成手段
３２ 楽曲データ取得手段
３３ 加工手段
３４ 再生手段
３５ 消去手段
４１ 予約待ち行列
５２ カラオケ演奏用データ記憶領域
５３ リファレンスデータ記憶領域
６２ サーバ
６３ 携帯端末
７１ 主ボーカルデータ抽出手段
７４ 伴奏データ抽出手段
７８ リファレンスデータ生成手段
８２ ピッチシフト量特定手段
８３ 楽曲再生処理手段
９４ 利用者データベース
１０２ カラオケアプリケーションソフト
１０３ 記憶部
１０４ 楽曲データ
１０５ 利用者楽曲リスト

Claims (7)

1. 楽曲ＩＤで特定される楽曲データ及びこれら楽曲に関する利用者楽曲リストを記憶している携帯端末と通信自在であると共に、少なくとも当該携帯端末の端末ＩＤが利用者の利用者ＩＤに関連付けられた利用者情報を備えるサーバと通信自在であるカラオケ装置であって、
   ログインした利用者の利用者ＩＤに基づいて、前記サーバより当該利用者の所持する携帯端末の端末ＩＤを少なくとも含む利用者情報を取得する利用者情報取得手段と、
   前記取得した端末ＩＤに基づいて、前記利用者の所持する携帯端末にアクセスして前記記憶されている利用者楽曲リストを取得する楽曲リスト取得手段と、
   前記取得した利用者楽曲リストに基づいて、少なくとも楽曲の楽曲ＩＤと当該楽曲を記憶している携帯端末の端末ＩＤとが紐付けられた選曲用楽曲リストを生成する楽曲リスト生成手段と、
   前記生成した選曲用楽曲リストに基づいて、カラオケ演奏する楽曲を前記利用者に選曲させる選曲楽曲登録手段と、
   前記選曲された楽曲の楽曲ＩＤを少なくとも登録する予約待ち行列と、
   前記登録された楽曲ＩＤと当該楽曲ＩＤに紐付けられた携帯端末の端末ＩＤとに基づいて、当該携帯端末にアクセスして前記楽曲データを取得する楽曲データ取得手段と、
   前記取得した楽曲データより少なくとも伴奏データを抽出してカラオケ演奏用データに加工する加工手段と、
   少なくとも前記カラオケ演奏用データを再生する再生手段と、
   前記カラオケ演奏用データの再生終了後、当該カラオケ演奏用データに対応する楽曲ＩＤが前記予約待ち行列に残っていない場合に、当該カラオケ演奏用データ及びこれに付随する生成データ並びに当該カラオケ演奏用データに対応する楽曲データを消去する消去手段と、
   を有することを特徴とするカラオケ装置。
2. 請求項１記載のカラオケ装置であって、
   前記加工手段は、
   前記楽曲データから主旋律の歌唱データである主ボーカルデータを抽出する主ボーカルデータ抽出手段と、
   前記楽曲データからリズム楽器演奏のデータを抽出するリズムトラックデータ抽出手段と、
   前記楽曲データからボーカルデータと前記リズムトラックデータを除した残りである伴奏データを抽出する伴奏データ抽出手段と、
   を備えることを特徴とするカラオケ装置。
3. 請求項２記載のカラオケ装置であって、
   前記加工手段は、さらに、前記主ボーカルデータから、表示用の歌詞データを生成する表示用歌詞データ生成手段を備えることを特徴とするカラオケ装置。
4. 請求項１、２又は３記載のカラオケ装置であって、
   前記加工手段は、さらに、前記主ボーカルデータから、歌唱を採点する際の基準となるリファレンスデータを生成するリファレンスデータ生成手段と、
   前記加工手段の他に、歌唱信号を当該加工手段で生成したリファレンスデータと比較して採点する採点手段と、
   を備えることを特徴とするカラオケ装置。
5. 請求項２〜４の少なくとも何れかに記載のカラオケ装置であって、
   前記加工手段は、さらに、前記楽曲データから主旋律以外の歌唱データである副ボーカルデータを抽出する副ボーカルデータ抽出手段、及び、前記主ボーカルデータから利用者の歌唱を支援するためのガイドボーカルデータを生成するガイドボーカルデータ生成手段の少なくとも何れかを備えることを特徴とするカラオケ装置。
6. 請求項２〜５の少なくとも何れかに記載のカラオケ装置であって、
   前記加工手段は、さらに、
   前記楽曲データに基づいて当該楽曲のコード進行を分析するコード進行分析手段と、
   前記主ボーカルデータと前記コード進行に基づいて当該主ボーカルデータのハーモニーデータを生成するハーモニーデータ生成手段と、
   を備えることを特徴とするカラオケ装置。
7. 請求項２、５及び６の少なくとも何れかに記載のカラオケ装置であって、
   利用者にテンポ及びキーコントロールを設定させる設定入力手段を備え、
   前記再生手段が、前記設定されたキーコントロールからピッチシフト量を特定し、前記リズムトラックデータを前記テンポに応じて再生し、前記伴奏データを当該テンポと当該ピッチシフト量とに応じて再生し、前記副ボーカルデータ、ガイドボーカルデータ及びハーモニーデータの少なくとも何れかを当該テンポと当該ピッチシフト量とに応じて再生することを特徴とするカラオケ装置。

Images