JP4506748B2 - コンテンツ再生装置 - Google Patents

Description

この発明は、外部から入力されるオーディオ信号に同期した映像を表示するコンテンツ再生装置に関する。

カラオケ装置による演奏では、楽曲の演奏と同期して歌詞テロップが表示される（たとえば特許文献１）。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。

特開２０００−９９０４４号公報

この歌詞テロップの表示は、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継（いわゆるライブ中継）などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等をテロップとしてスーパーインポーズ表示しているものではなかった。

また、ライブ演奏では、レコーディングされ、カラオケ曲の楽曲データにインプリメントされている曲の進行とは異なる曲の進行（ジャンプ）がされることがよくある。たとえば、聴衆の盛り上がりに合わせてリフレインの繰り返し回数を増やす場合等がある。このような場合、楽曲データの歌詞テロップをそのまま表示していたのでは、演奏と歌詞テロップがずれてしまうという問題点があった。

この発明は、ライブ演奏等のリアルタイムに入力される外部演奏音に対応づけ、且つ曲がジャンプした場合でもこれに追従して歌詞テロップの映像を同期再生することができるコンテンツ再生装置を提供することを目的とする。

請求項１の発明は、楽曲の楽音の時系列データである演奏トラック、および、楽曲の進行に同期して歌詞テロップを生成するための時系列データであって歌詞テロップをその歌唱期間の所定時間前から先行して表示するとともにその歌唱期間の所定時間後まで表示を残すよう記述されている歌詞トラックを含む楽曲データを記憶する記憶部と、外部から前記楽曲を前記時系列データと異なる進行であるジャンプを含んで演奏される外部演奏音をストリーミング入力する外部演奏音入力部と、前記外部演奏音を所定時間遅延させて出力する遅延部と、前記外部演奏音入力部からストリーミング入力された外部演奏音と前記演奏トラックとをリアルタイムに対比することによって、前記外部演奏音に同期した演奏位置情報を生成し、生成した演奏位置情報を前記所定時間遅延させて出力するとともに、前記外部演奏音のジャンプを検出し、前記外部演奏音のジャンプを検出したとき、このジャンプ先の演奏位置情報を遅延させることなく出力する演奏位置検出部と、前記演奏位置検出部が出力した演奏位置情報に基づいて前記楽曲データの歌詞トラックを読み出して歌詞テロップを生成し、前記歌詞トラックの記述にかかわらず、ジャンプ直前に、ジャンプ元の演奏位置後に歌唱期間がある歌詞テロップは先行して表示せず、ジャンプ先の演奏位置後に歌唱期間がある歌詞テロップを先行して表示する歌詞テロップ生成部と、を備えたことを特徴とする。

請求項２の発明は、楽曲の楽音の時系列データである演奏トラック、および、楽曲の進行に同期して歌詞テロップを生成するための時系列データであって歌詞テロップをその歌唱期間の所定時間前から先行して表示するとともにその歌唱期間の所定時間後まで表示を残すよう記述されている歌詞トラックを含む楽曲データを記憶する記憶部と、外部から前記楽曲を前記時系列データと異なる進行であるジャンプを含んで演奏される外部演奏音をストリーミング入力する外部演奏音入力部と、前記外部演奏音を所定時間遅延させて出力する遅延部と、前記外部演奏音入力部からストリーミング入力された外部演奏音と前記演奏トラックとをリアルタイムに対比することによって、前記外部演奏音に同期した演奏位置情報を生成し、生成した演奏位置情報を前記所定時間遅延させて出力するとともに、前記外部演奏音のジャンプを検出し、前記外部演奏音のジャンプを検出したとき、このジャンプ先の演奏位置情報を遅延させることなく出力する演奏位置検出部と、前記演奏位置検出部が生成した演奏位置情報に基づいて前記楽曲データの歌詞トラックを読み出して歌詞テロップを生成し、前記歌詞トラックの記述にかかわらず、ジャンプ直後に、ジャンプ先の演奏位置前に歌唱期間がある歌詞テロップは表示を残さず、ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残して表示する歌詞テロップ生成部と、を備えたことを特徴とする。

請求項３の発明は、請求項２の発明において、前記歌詞テロップ生成部は、前記ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残す処理に合わせて、その後の歌詞テロップを先行して表示するタイミングを制御することを特徴とする。

この発明では、外部演奏音（主として生演奏の演奏音）から歌詞トラックのクロック信号を生成することにより、ライブ演奏であっても歌詞テロップを表示することができる。さらに、演奏位置検出部が外部演奏音のジャンプを検出して、これに歌詞テロップの表示を追従させるため、ライブ演奏特有の同じフレーズの繰り返し等のジャンプが発生しても、歌詞テロップをこれに追従させることができる。

図１を参照してこの発明の実施形態であるネットワークライブシステムについて説明する。
このシステムは、たとえば、バンドが生演奏しているライブ会場やスタジオとカラオケボックスとをネットワークで接続し、カラオケボックス側の装置であるカラオケ装置でその生演奏の映像・音声を再生するとともに、カラオケ演奏用の曲データを用いて、生演奏に歌詞テロップを表示するシステムである。

図１において、ライブ演奏が行われるスタジオに設置されたスタジオ装置３は、ネットワーク２を介してカラオケボックス側の装置であるカラオケ装置１に接続されている。
スタジオ装置３は、映像・音声エンコード部４、曲情報入力部５、ソングポインタ生成部６を備えている。映像・音声エンコード部４は、マイクで収音されたライブ演奏の演奏音およびビデオカメラで撮影されたライブ映像をＭＰＥＧ４等のデジタルストリーミングフォーマットにエンコードする。曲情報生成部５は、ライブ演奏されている曲を検索するために参照される情報、および／または、曲のビートを検出するために参照される情報を生成する。曲を検索するために参照される情報としては、たとえばカラオケ装置で楽曲を指定する番号である曲番号や曲名，歌い出しの歌詞等がある。また、曲のビートを検出するために参照される情報としては、たとえば大まかなテンポやビートタイプ等の情報である。ここで、ビートタイプとは、リズムの種類やアフタービートか否か等の情報である。この曲情報は、ライブ演奏の演奏者や係員の操作によって生成されてもよく、生成エンジンによって自動的に生成されるものであってもよい。ソングポインタ生成部６は、ソングポインタを生成する。ソングポインタとは、ライブ演奏の演奏位置を示す情報であり、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等の区間情報等からなる。ライブ演奏の場合、時間の制約で３コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。このような場合に、演奏が通常の演奏順から外れてどこにジャンプしたか（またはどこにジャンプしそうかという予測）をソングポインタ情報として生成する。ソングポインタ生成部は歌唱区間リスト参照部７を含み、このソングポインタを生成するときに、カラオケ装置１から送られてきた歌唱区間リストを参照する。このソングポインタも、上記曲情報と同様に、ライブ演奏の演奏者や係員の操作によって生成されてもよく、生成エンジンによって自動的に生成されるものであってもよい。

一方、カラオケ装置１は、通常のカラオケ曲演奏機能（この実施形態では通常のカラオケ装置の機能説明は省略する。）に加えて、以下の機能部を備えている。すなわち、バッファ１１、映像・音声デコード部１２、スーパーインポーズ部１３、ビート検出部１５、タイムコード生成部１６、曲検索・歌詞トラック抽出部１７、歌詞テロップ生成部（歌詞レンダラー）１８を備えている。

スタジオ装置３から送られてきた映像・音声データは、映像・音声デコード部１２でデコードされ、バッファ１１に入力される。また、映像・音声データのうち音声データは、さらに、ライブ演奏音に基づいて演奏のビート（拍）を検出するために、ビート検出部１５に入力される。ここで、ビートは、テンポ（周期）と拍タイミングからなる演奏情報である。ビート検出部１５は、音声信号波形 （特にエンベロープ）から、ビートすなわち音声の脈動を抽出し、この脈動の周期とタイミングを検出することにより、ビートを検出する。音声信号中のドラム等のリズム楽器の楽音にフィルタリングして取り出すことにより、このビート検出が容易になる。音声信号がマルチトラックで送られてくる場合には、リズムパートのトラックを用いてビートを検出すればよい。

さらに、ビート検出部１５は、スタジオ装置３から送られてくる曲情報および／または曲検索部１７から送られてくる楽曲データを用いてビート検出の精度を高める。曲情報には、ライブ演奏されている曲の大まかなテンポ情報が含まれているため、そのテンポ情報で基本のビート間隔を推定する。これにより、リズムが細かく刻まれているときに１／２拍を１拍とカウントしないように、またリズムが粗く刻まれているときに２拍を１拍とカウントしないようにすることができる。また、カラオケ演奏用の楽曲データは、ライブ演奏されている曲のメロディや伴奏の楽音を発生するための楽音トラックを含んでいるため（図３参照）、この楽音トラックで発生されるべき楽音とスタジオ装置３から送られてきた音声信号とを対比することにより、ビートの検出精度を高くすることができる。また、楽音トラックを読めば曲のフレーズが分かるため、ドラムのフィルイン（いわゆる「おかず」）の箇所を予測することができ、フィルインのドラム音でビートを誤カウントしてしまうことを防止することができる。

ビート検出部１５は、上記のような手法で検出したビートに基づいた周期，クロックタイミングでテンポクロック信号を生成する。テンポクロック信号は、タイムコード生成部１６および歌詞テロップ生成部１８に入力される。タイムコード生成部１６および歌詞テロップ生成部１８には、曲検索部１７から、現在ライブ演奏中の曲のカラオケ演奏用のデータである楽曲データが入力されている。

タイムコード生成部１６は、ビート検出部１５から入力されたテンポクロック信号およびスタジオ装置３の曲情報入力部５から送られてくる曲情報、ソングポインタ生成部６から送られてくるソングポインタに基づいて、楽曲データ上の演奏位置を示すタイムコードを生成する。タイムコードは、小節番号／拍／ＴｉｃｋからなるＭＴＣコード（MIDI Time Code）である。ここでＴｉｃｋとは、１拍を８分割したクロックカウント値である。タイムコード生成部１６は、ビート検出部１５から入力されるテンポクロック信号にしたがってＴｉｃｋを進めて行くが、現在の演奏位置がどこであるかを上記曲情報やソングポインタ情報に基づいて割り出す。このＭＴＣコードは、歌詞テロップ生成部１８に入力される。なお、タイムコード生成部が生成するタイムコードは、ＭＴＣコードに限定されない。

曲情報には、リズムの種類（２ビート、アフタービートなど）を示す情報が含まれているため、楽曲データの演奏トラックが異なるリズムの種類でアレンジされたものであっても、曲情報で示されたリズムの種類でテンポクロック信号に基づき楽音トラックをトレースすることにより正確なＭＴＣコードを生成することができる。また、ソングポインタ情報は、上述したように、現在のライブ演奏の演奏位置を示す情報であり、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等の区間情報等からなる。このソングポインタ情報により、同じメロディが演奏されていても、その演奏が１番の演奏であるか２番の演奏であるかを識別することができる。

ここで、タイムコード生成部１６は、バッファ（ディレイ）１１と連動して、送られてきた映像・音声を数秒（５秒程度）遅らせる。すなわち、バッファ１１が入力部２０から入力した映像信号・音声信号を数秒遅延させ、これに連動して、タイムコード生成部１６は、同じ時間だけ遅れたＭＴＣコードを出力する。

さらに、タイムコード生成部１６は、ライブ演奏されている曲のジャンプ、すなわち楽曲データに記録されている進行と異なる曲の進行を検出し、事前に歌詞テロップ生成部１８に入力する。曲のジャンプは、上述したように、スタジオ装置３から送られてくる曲情報やソングポインタに基づいて検出する。上記のように演奏位置を示すＭＴＣコードは、バッファ１１と連動して数秒遅らせているため、曲のジャンプが事前に判明している場合は勿論、突然曲がジャンプした場合でもＭＴＣコードがそのジャンプ位置に進行する前に、歌詞テロップ生成部１８に対して、曲がジャンプする旨およびそのジャンプ先等のジャンプ情報を伝えることができる。

歌詞テロップ生成部１８は、タイムコード生成部１６から入力されたＭＴＣコードで読出位置を決定し、ビート検出部１５から入力されたテンポクロックに従って歌詞テロップを生成し出力する。この歌詞テロップは、図４に示すように曲の進行に同期して色変えされるものである。

歌詞テロップ生成部１８は、ビート検出部１５から入力されるテンポクロック信号およびタイムコード生成部１６から入力されるＭＴＣコードに基づいて歌詞テロップの映像を生成する。歌詞テロップは、図３，図４に示す歌詞表示データのＭＴＣコードで指示される位置をテンポクロック信号に従ってレンダリングすることによって生成される。

ここで、歌詞テロップ生成部１８は、タイムコード生成部１６から、曲のジャンプ情報が入力されたとき、ジャンプ直前の歌詞テロップの表示およびジャンプ直後の歌詞テロップの表示を歌詞表示データによって指示される態様から、そのジャンプに適した態様に変更する。この表示態様の変更の詳細については後述する。

歌詞テロップ生成部１８が生成し出力した歌詞テロップは、スーパーインポーズ部１３に入力される。映像・音声デコード部１２でデコードされた映像・音声データは、バッファ１１で所定時間遅延されたのち、音声データは、音声信号としてそのまま出力され、映像データは、スーパーインポーズ部１３に入力される。スーパーインポーズ部１３は、デコードされた映像に歌詞テロップをスーパーインポーズ合成してモニタに出力する。デコードされた音声もスピーカに出力される。

ここで、バッファ１１は、スタジオ装置３から入力された映像・音声データを、タイムコード生成部１６と連動して数秒間遅延させる。この遅延時間は、タイムコード生成部１６がＭＴＣコードの出力を遅らせる遅延時間に加えて、ビート検出部１５→タイムコード生成部１６→歌詞テロップ生成部１８の処理時間に相当する時間である。これにより、映像・音声デコード部１２でデコードされた音声信号に同期して生成出力された歌詞テロップと、映像・音声デコード部１２でデコードされた映像・音声信号とを正確に同期させることができるとともに、曲がジャンプした場合でも、歌詞テロップの表示をそのジャンプ位置に同期して追従させることができる。

なお、曲検索部１７は、スタジオ装置３から入力された曲情報に基づいて現在演奏されている曲を検索し、その曲の楽曲データをタイムコード生成部１６および歌詞テロップ生成部１８に入力する。また、図３に示すように、楽曲データに１番，２番等の歌唱区間の開始点を示すジャンプマークが書き込まれたマークトラックが含まれている。曲検索部１７は、このマークトラックの内容を歌唱区間リスト１９としてリスト化してスタジオ装置３に送信する。スタジオ装置３のソングポインタ生成部６は、送信された歌唱区間リスト１９を記憶し、この歌唱区間リスト１９に含まれるジャンプマーク等を指定することによりソングポインタ情報を生成する。

図２は前記カラオケ装置１の構成を示すブロック図である。カラオケ装置１は、ハードディスク１１１に記憶している楽曲データに基づいてカラオケ曲を演奏することができるとともに、上述したように、スタジオ装置３から送られてきた映像・音声を再生する。

カラオケ装置１は、装置全体の動作を制御するＣＰＵ１１０と、このＣＰＵ１１０に接続された各種機器で構成されている。ＣＰＵ１１０には、ハードディスク１１１、ＲＡＭ１１２、音源１１３、ミキサ（エフェクタ）１１４、音声デコーダ１１９、映像デコーダ１２０、合成回路１２１、操作部１２３、ネットワークインタフェース１２４等が接続されている。

ハードディスク１１１は、カラオケ曲を演奏するための楽曲データ１４０やモニタ１２２に背景映像として表示するための映像データ１４１などを記憶している。図１のバッファ１１は、ＲＡＭ１１２およびハードディスク１１１に設定される。
ＣＰＵ１１０は、プログラムで実行される機能部として、曲演奏部、同期処理部、歌詞テロップ生成部を備えている。曲演奏部は、楽曲データ１４０を用いてカラオケ曲を演奏する。同期処理部は、図１に示した再生クロックの生成を実行する。歌詞テロップ生成部は、カラオケ曲の演奏および図１の再生クロックに同期して歌詞テロップを生成する。音声デコーダ１１９および映像デコーダ１２０は、図１の映像・音声デコード部１２に対応する。また、合成回路１２１は、図１のスーパーインポーズ部１３に対応する。

音源１１３は、ＣＰＵ１１０から入力されたデータ（楽音トラックやガイドメロディトラックのノートイベントデータ）に応じて楽音信号を生成する。生成した楽音信号はミキサ１１４に入力される。ミキサ１１４は、音源１１３から出力された楽音信号または音声デコーダ１１９がデコードした音声信号、および、マイク１１７−Ａ／Ｄコンバータ１１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタル音声データはサウンドシステム１１５に入力される。サウンドシステム１１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル音声データをアナログ信号に変換して増幅し、スピーカ１１６から放音する。ミキサ１１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１１０によって制御される。

なお、ライブ演奏の映像・音声データの再生時、映像デコーダ１２０は、スタジオ装置３から送られてきたライブ映像を再生するが、通常のカラオケ曲の演奏時には、映像デコーダ１２０は、ＨＤＤ１１１に記憶されている映像データ１４１を読み出して背景映像を再生する。

操作部１２３は、操作パネル面に設けられた各種キースイッチおよびこのキースイッチの操作を検出するパネルスイッチインタフェースを有している。上記各種キースイッチは、カラオケ曲を指定する曲番号を入力するためのテンキーを含んでいる。ネットワークインタフェース１２４は、ネットワークを介して、スタジオ装置３やサーバ装置と通信するためのインタフェースである。

図３，図４は、ハードディスク１１１に記憶されている楽曲データの構成を示す図である。
図３において、楽曲データは、同図（Ａ）に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、１番、２番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１１３に入力することにより、音源１１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図４（Ａ）に示すように、タイミングデータに基づいて読み出される歌詞表示データを有している。

歌詞表示データは１行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ（表示ポイント数、表示座標、文字間データなどを含む）、色１データ、色２データ、歌詞の色変えデータなどからなっている。

同図（Ｂ）を参照して、歌詞表示データによる歌詞テロップの表示態様について説明する。この図のグラフは、縦軸が時間、横軸が歌詞テロップ（モニタ画面）のｘ座標を表している。曲の演奏がこの歌詞の箇所に到達するｔｏｎ前に、１行分の歌詞を色１で先行表示する。歌唱者は、歌詞テロップを見て解釈して歌唱するため、事前に歌詞を表示することが必要である。そして、曲の演奏がこの歌詞の箇所まで進行してくるまでの間色１で表示し続ける。曲の演奏がこの歌詞の箇所に到達すると、曲の進行に合わせて表示色を左から順に色１から色２に色変え（ワイプ）してゆく。ワイプが終了したのちも暫くの間（ｔｅ）色２で残表示したのちこの歌詞テロップを消去する。

歌詞の色変えデータは同図（Ｂ）に示すようにワイプの（時間−ｘ座標）曲線の主要な点を示す複数のプロッティングデータで構成されている。ＣＰＵ１１０が機能的に内蔵する歌詞テロップ生成部１８は、このプロッティングデータを２次曲線で補間して色変え（ワイプ）を行う。歌詞テロップ生成部１８は、ビート検出部１５およびタイムコード生成部１６により、ライブ演奏の映像・音声と正確に同期し、且つ曲のジャンプに追従した歌詞テロップを生成する。すなわち、歌詞テロップの色変えも、演奏の進行に正確に同期している。

ここで、図５，図６を参照して、複数行の歌詞テロップの表示態様および曲がジャンプした場合の歌詞テロップの表示態様の変更について説明する。
図５は、通常の歌詞テロップの表示態様を説明する図である。この図において横軸は、時間経過を表しており、ポイントＡは、たとえば１番の歌いだし、ポイントＢは、たとえばサビの開始、などの歌唱区間の切れ目（ジャンプポイント）を示している。また、この図の縦軸は、モニタのＹ座標に対応しており、図中に記載した帯状の図形が１行ずつの歌詞テロップａ１，ａ２，・・・，ｅ１の表示位置および表示時間を表している。歌詞テロップａ，ｂ，ｃ，・・・の符号は、同じフレーズ（表示ページ）の歌詞テロップを表し、そのあとの番号は、そのフレーズの行数を表す。各歌詞テロップの表示時間帯において、中央のハッチング部が、その歌詞テロップの色変え時間帯すなわちその歌詞テロップの歌唱時間帯を示しており、ハッチング部の左側の白帯部分が先行表示区間（ｔｏｎ）、ハッチング部の右側の白帯部分が残表示区間（ｔｅ）を表している。

同図において、１番の歌いだしの数秒ΔＴ５前に３行の表示ページａの歌詞テロップａ１，ａ２，ａ３を同時に表示する。そして、歌いだしポイントＡから歌詞テロップａ１の色変えを開始し、順次重なることなく連続して、曲の進行に合わせてａ２，ａ３の色変えを行う。１段目の歌詞テロップａ１の歌唱（色変え）が終了しても直ぐにこの歌詞テロップの表示を消去せず、歌唱が３段目の歌詞テロップａ３に移行して数秒が経過したのち、１段目の歌詞テロップａ１，２段目の歌詞テロップａ２を同時に消去する。これは、各歌詞テロップを歌唱が終了する毎に即座に消去してしまうと、歌唱者に画面がチラついている印象を与えるため、歌唱が終了したのち若干時間を置いて、可能であれば複数行同時に消去することで、画面がチラつく印象を少なくしている。

歌詞テロップａ１，ａ２の消去ののち、次の表示ページの歌詞テロップｂ１を先行表示する。そして、歌唱が歌詞テロップｂ１に移行したのち、歌詞テロップａ３を数秒間残表示して消去し、そのあとに歌詞テロップｂ２を先行表示する。歌詞テロップａ１の歌唱が終了して、歌唱が歌詞テロップｂ２に移行したのち、歌詞テロップｂ１を消去する。

次のページｃは、４行表示であるが、歌詞テロップｂ２が歌唱期間中に１行目の歌詞テロップｃ１のみを先行表示する。そして、歌唱が歌詞テロップｃ１に移行し、歌詞テロップｂ２が消去されたのち、歌詞テロップｃ２，ｃ３，ｃ４を先行表示する。このように、歌唱が前ページの最終行（ｂ２）から次ページの第１行（ｃ１）に移行するときは、次ページの第１行の歌詞テロップのみを表示して２行目以後の歌詞テロップ（ｃ２，ｃ３）は、歌詞テロップｃ１の歌唱中に先行表示する。これは、歌唱者の視線が下の歌詞テロップｂ２から上の歌詞テロップｃ１に移動するとき、途中に別の歌詞テロップが表示されていると、スムーズに歌詞テロップｃ１に視線を移せない可能性があるためであり、歌唱者の視線が歌詞テロップｃ１に集中するようになったのち、すなわち歌詞テロップｃ１の歌唱が始まったのち、２行目以後の歌詞テロップｃ２，ｃ３，ｃ４を表示するようにしている。
表示ページｃから表示ページｄへの移行時も、前ページの最終行（ｃ４）から次ページの第１行 （ｄ１）への視線の移動を考慮して２行目以後の歌詞テロップｄ２，ｄ３の先行表示を歌詞テロップｄ１の歌唱がスタートしてからにしている。

なお、表示ページｄの最後は、歌唱区間の境目であり、ポイントＢの前後では、歌詞テロップｄ３の残表示と歌詞テロップｅ１の先行表示があるが、歌唱（色変え）は行われていない。

以上の態様で歌詞テロップを表示するよう作成された歌詞トラックを用いて、歌詞テロップを表示しているときに曲がジャンプした場合の表示態様の制御を図６を用いて説明する。

図６は、曲がポイントＢからポイントＡへジャンプした場合の歌詞テロップの表示制御を説明する図である。上記のように、映像信号・音声信号を数秒間遅延させることにより、映像・音声の進行に先立って、歌詞テロップ生成部１８には、ジャンプ情報が通知されている。このジャンプ情報に基づき、ジャンプ直前の歌詞テロップの表示とジャンプ直後の歌詞テロップの表示が違和感なくつながるように表示制御を行う。

同図（Ａ）は、第１の態様の表示制御を示す図である。この表示制御では以下の処理をしている。

通常はポイントＢ直前に表示をスタートする歌詞テロップｅ１の先行表示を取りやめる。歌唱されない歌詞の先行表示は不要だからである。

ポイントＢ直前に（ポイントＡ直前と同様に）歌詞テロップａ１，ａ２の先行表示を行う。歌唱者が歌いだしに遅れないためには先行表示が必要だからである。

ポイントＡ直後に（ポイントＢ直後と同様に）歌詞テロップｄ３の残表示を行う。チラつき感なく歌詞を消去するためである。

このため、歌詞テロップｄ３の残表示と重ならないように歌詞テロップａ３の先行表示タイミングを遅らせる。

同図（Ｂ）は、第２の態様の表示制御を示す図である。この表示態様では、上記第１の態様の表示制御に加えて、以下の処理をしている。

歌詞テロップｄ３の残表示を歌詞表示データの設定時間よりも早く切り上げる。ジャンプした歌唱区間の切れ目であることを示すためである。なお、同図ではポイントＢ→Ａのジャンプタイミングで消去するようにしているが、タイミングはこれに限定しない。

歌詞テロップａ２の先行表示タイミングを、上記歌詞テロップａ３の先行表示タイミングまで遅らせる。上述したように、前ページの最終行の歌詞テロップｄ３から次ページの第１行の歌詞テロップａ１への歌唱者の視線移動をスムーズに行わせるためには、中間行の歌詞テロップが表示されていないほうがよいからである。

このような表示態様の制御を行うことにより、ライブ演奏等の演奏位置がジャンプした場合でも違和感のない歌詞テロップの表示を実現することができる。

なお、上記説明では、曲のジャンプが、歌詞テロップの表示ページの境目から境目に行われる場合について説明しているが、一般的に曲のジャンプは、フレーズの境目すなわち歌詞テロップのページの境目にジャンプすることが通常であるため、上記表示態様制御でほぼ全ての曲のジャンプに対応することができる。

なお、上記実施形態では、スタジオ装置３とカラオケ装置１を接続したネットワークライブシステムを示したが、より広い会場でのライブ演奏を配信するようにしてもよい。また、この発明は、ストック映像・音声を再生するシステムや通常のカラオケ曲の演奏時の曲のジャンプにも適用することができる。

この発明の実施形態であるネットワークライブシステムの機能ブロック図 前記ネットワークライブシステムに用いられるカラオケ装置のブロック図 前記カラオケ装置が記憶する楽曲データの構成を示す図 前記楽曲データの歌詞トラックの構成を示す図 前記複数ページにわたる歌詞トラックの表示態様を説明する図 前記曲がジャンプした場合の歌詞トラックの表示態様制御を説明する図

符号の説明

１ カラオケ装置
２ ネットワーク
３ スタジオ装置

Claims (3)

1. 楽曲の楽音の時系列データである演奏トラック、および、楽曲の進行に同期して歌詞テロップを生成するための時系列データであって歌詞テロップをその歌唱期間の所定時間前から先行して表示するとともにその歌唱期間の所定時間後まで表示を残すよう記述されている歌詞トラックを含む楽曲データを記憶する記憶部と、
   外部から前記楽曲を前記時系列データと異なる進行であるジャンプを含んで演奏される外部演奏音をストリーミング入力する外部演奏音入力部と、
   前記外部演奏音を所定時間遅延させて出力する遅延部と、
   前記外部演奏音入力部からストリーミング入力された外部演奏音と前記演奏トラックとをリアルタイムに対比することによって、前記外部演奏音に同期した演奏位置情報を生成し、生成した演奏位置情報を前記所定時間遅延させて出力するとともに、前記外部演奏音のジャンプを検出し、前記外部演奏音のジャンプを検出したとき、このジャンプ先の演奏位置情報を遅延させることなく出力する演奏位置検出部と、
   前記演奏位置検出部が出力した演奏位置情報に基づいて前記楽曲データの歌詞トラックを読み出して歌詞テロップを生成し、前記歌詞トラックの記述にかかわらず、ジャンプ直前に、ジャンプ元の演奏位置後に歌唱期間がある歌詞テロップは先行して表示せず、ジャンプ先の演奏位置後に歌唱期間がある歌詞テロップを先行して表示する歌詞テロップ生成部と、
   を備えたコンテンツ再生装置。
2. 楽曲の楽音の時系列データである演奏トラック、および、楽曲の進行に同期して歌詞テロップを生成するための時系列データであって歌詞テロップをその歌唱期間の所定時間前から先行して表示するとともにその歌唱期間の所定時間後まで表示を残すよう記述されている歌詞トラックを含む楽曲データを記憶する記憶部と、
   外部から前記楽曲を前記時系列データと異なる進行であるジャンプを含んで演奏される外部演奏音をストリーミング入力する外部演奏音入力部と、
   前記外部演奏音を所定時間遅延させて出力する遅延部と、
   前記外部演奏音入力部からストリーミング入力された外部演奏音と前記演奏トラックとをリアルタイムに対比することによって、前記外部演奏音に同期した演奏位置情報を生成し、生成した演奏位置情報を前記所定時間遅延させて出力するとともに、前記外部演奏音のジャンプを検出し、前記外部演奏音のジャンプを検出したとき、このジャンプ先の演奏位置情報を遅延させることなく出力する演奏位置検出部と、
   前記演奏位置検出部が生成した演奏位置情報に基づいて前記楽曲データの歌詞トラックを読み出して歌詞テロップを生成し、前記歌詞トラックの記述にかかわらず、ジャンプ直後に、ジャンプ先の演奏位置前に歌唱期間がある歌詞テロップは表示を残さず、ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残して表示する歌詞テロップ生成部と、
   を備えたコンテンツ再生装置。
3. 前記歌詞テロップ生成部は、前記ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残す処理に合わせて、その後の歌詞テロップを先行して表示するタイミングを制御する請求項２に記載のコンテンツ表示装置。

Images