JP4458096B2 - データ再生装置、データ再生方法およびプログラム - Google Patents

Description

本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：登録商標）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。

また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
特開２００３−１５６７５号公報 特開２０００−３４７６７６号公報

しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。

本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れに追従したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント手段と、前記タイムアライメント手段によって順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段とを具備することを特徴とするデータ再生装置を提供する。

また、本発明は、音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント手段と、前記タイムアライメント手段によって順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータであってもよい。

また、別の好ましい態様において、前記記憶手段に記憶される第１のオーディオデータは、複数のトラックを有し、前記データ読出手段は、さらに前記時刻情報と前記第１のオーディオデータのデータ各部に規定された時刻の対応関係に基づいて、前記記憶手段から前記第１のオーディオデータを読み出してもよい。

また、別の好ましい態様において、操作によって利用者の指示を入力する操作手段と、前記操作手段の操作に基づいて前記第１のオーディオデータの各トラックのうち、一部のトラックを選択するトラック選択手段と、前記データ読出手段によって読み出された第１のオーディオデータは、前記トラック選択手段によって選択されたトラック以外のデータであってもよい。

また、別の好ましい態様において、操作によって利用者の指示を入力する操作手段と、前記操作手段の操作に基づいて前記第１のオーディオデータの各トラックのうち、一部のトラックを選択するトラック選択手段と、前記タイムアライメント手段は、前記取得した第２のオーディオデータの各部と、前記第１のオーディオデータのうち前記トラック選択手段によって選択されたトラックの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成してもよい。

また、別の好ましい態様において、前記予め設定された設定時間は、前記タイムアライメント手段に第２のオーディオデータが取得されてから前記映像データ生成手段によって第１の映像データを生成するまでの時間として設定されていてもよい。

また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記映像合成手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズしてもよい。

また、本発明は、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント過程と、前記タイムアライメント過程において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程おいて生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測過程と、前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程とを備えることを特徴とするデータ再生方法を提供する。

また、本発明は、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント過程と、前記タイムアライメント過程において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程において生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測過程と、前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程とを備えることを特徴とするデータ再生方法を提供する。

また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント機能と、前記タイムアライメント機能において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能において生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能とを実現させるためのプログラムを提供する。

また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント機能と、前記タイムアライメント機能において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能において生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測機能と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能とを実現させるためのプログラムを提供する。

本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れに追従したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２の映像データ）、ライブ楽音データ（第２のオーディオデータ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報のデータ（以下、楽曲情報データという）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。

記憶部（記憶手段）１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（第１のオーディオデータ）と歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（同期情報）が付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報データを読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部（タイムアライメント手段）１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部（データ読出手段）１０３に読み出されるまでＲＡＭ１３にバッファしておく。

タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（対応情報）を出力する機能を有している。

ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。

タイムアライメント部１０２は、図３に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。

そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。

そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。

次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。

図２に戻って、説明を続ける。タイムコード予測部（予測手段）１０５は、タイムアライメント部１０２から順次出力されるタイムコードを参照し、タイムアライメント部１０２から予め設定された設定時間後に出力されると予測されるタイムコードを算出して出力する機能を有している。本実施形態においては、以下に説明するようにして予測を行う。なお、設定時間は、タイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間として設定されている。このようにすると、ＣＰＵ１１によって読み出されたライブ楽音データ、ライブ映像データと、後述するデータ処理部１０４から出力された歌詞映像データは時間同期したものとすることができる。

図４は、縦軸にはタイムアライメント部１０２から出力されるタイムコードが表す時刻を表し、横軸には時間軸として、タイムアライメント部１０２からタイムコードが出力された時点の絶対的な時刻を表した図である。ここで、図中のＴ０、Ｔ１、Ｔ２、・・・は、タイムアライメント部１０２から出力されたタイムコードについて、当該タイムコードが出力された時刻と当該タイムコードが表す時刻をプロットしたものである。以下、タイムコードが出力される時間間隔については「１ＣＫ」とし、Ｔｎにおける出力されるタイムコードはＴＣｎとし、Ｔｎが示す座標は（ｎＣＫ，ＴＣｎ）と表記する。

また、Ｔ’１、Ｔ’２、・・・は、タイムアライメント部１０２からタイムコードが出力されてから、設定時間後（本実施形態においては、２ＣＫ後とする）に出力されるとタイムコード予測部１０５によって予測されたタイムコード（以下、予測タイムコード（時刻情報）という）について、当該予測タイムコードがタイムアライメント部１０２から出力されるべき時刻と当該予測タイムコードが表す時刻をプロットしたものである。そして、上記同様にＴ’ｎが示す座標は（ｎ＋２ＣＫ，ＴＣ’ｎ）と表記する。ここで、ＴＣ’ｎは、時刻ｎ＋２ＣＫに出力されると予測されるタイムコードであって、タイムコード予測部１０５からＴ’１が出力される時刻がｎ＋２ＣＫであることを意味するものではない。すなわち、タイムコード予測部１０５は、タイムアライメント部１０２からの出力から２ＣＫ後のタイムコードを予測して出力するから、ＴＣ’ｎが出力されるタイミングは、タイムアライメント部１０２からＴＣｎが出力されて、ＴＣ’ｎの算出が終了した時点となる。

Ｔｅｍｐｏ（１）は、Ｔ０からＴ１におけるテンポを示すものであり、２点の傾き（ＴＣ１−ＴＣ０）／１ＣＫに相当している。ここで、図中における破線部分は、Ｔｅｍｐｏが示す２点の傾きを表す線である。以下、Ｔ１からＴ２におけるテンポはＴｅｍｐｏ（２）とし、同様にしてＴｎ−１からＴｎにおけるテンポはＴｅｍｐｏ（ｎ）という。

タイムコード予測部１０５は、本実施形態においては、以下の式（１）に基づいて予測を行う。
ＴＣ’ｎ ＝ （ＴＣ’’ｎ ＋ ＴＣ’’’ｎ）／２ ・・・（１）
ＴＣ’’ｎ ＝ ＴＣ’ｎ−１ ＋ Ｔｅｍｐｏ（ｎ−１）
ＴＣ’’’ｎ ＝ ＴＣｎ ＋ ２×Ｔｅｍｐｏ（ｎ）

すなわち、ＴＣ’’ｎは、ＴＣ’ｎ−１において、直前のテンポＴｅｍｐｏ（ｎ−１）が維持された場合に、次に出力されるべきタイムコードである。また、ＴＣ’’’ｎは、ＴＣｎがタイムアライメント部１０２から出力され、ＴＣｎからそのときのテンポＴｅｍｐｏ（ｎ）で２ＣＫ後まで維持された場合に出力されるべきタイムコードである。そして、ＴＣ’ｎは、ＴＣ’’ｎとＴＣ’’’ｎの平均を取って算出されるものである。ここで、（ｎ＋２ＣＫ，ＴＣ’’ｎ）のプロットはＴ’’ｎとし、（ｎ＋２ＣＫ，ＴＣ’’’ｎ）のプロットはＴＣ’’’ｎとして表記する。なお、タイムコード予測部１０５から最初に出力されるタイムコード（図４（ａ）の場合には、ＴＣ’１）は、直前に出力されるべきタイムコードが存在しないから、ＴＣ’１＝ＴＣ’’’１とすればよい。

以下、上記式に基づいて、タイムコード予測部１０５から出力される予測タイムコードについて、図４（ａ）〜（ｃ）を用いて、順に説明する。図４の各図は、図４（ａ）の状態において、１ＣＫ経過ごとの状態変化を示したものである。まず、図４（ａ）における状況の説明を行う。図４（ａ）は、タイムアライメント部１０２から時刻２ＣＫまでタイムコードが出力された状態の図である。タイムアライメント部１０２から時刻１ＣＫにＴＣ１（Ｔ１に相当）が出力され、タイムコード予測部１０５からＴＣ’１が出力される。さらに、タイムアライメント部１０２から時刻２ＣＫにＴＣ２（Ｔ２に相当）が出力され、タイムコード予測部１０５は、２ＣＫ後に出力されると予測されるＴＣ’２を算出して出力する。図４（ａ）においては、テンポの変動が無い（Ｔｅｍｐｏ（１）＝Ｔｅｍｐｏ（２））ため、ＴＣ’’２＝ＴＣ’’’２＝ＴＣ’２となる。

次に、図４（ｂ）においては、図４（ａ）の状態の後、ライブ演奏がリファレンス演奏に比べ遅れたとき、すなわちＴｅｍｐｏ（３）がＴｅｍｐｏ（２）に比べて小さくなったときの状態を示している。タイムアライメント部１０２から時刻３ＣＫにＴＣ３が出力されると、タイムコード予測部１０５は、ＴＣ’３を算出して出力する。ここで、上述したように、ＴＣ’’３は、タイムコード予測部１０５がＴＣ’２を出力した後に、Ｔｅｍｐｏ（２）が維持された場合に出力されるべきタイムコードであり、ＴＣ’’’３は、タイムアライメント部１０２からＴＣ３を出力した後に、Ｔｅｍｐｏ（３）が２ＣＫ後まで維持された場合に出力されるべきタイムコードである。そして、Ｔ’３は、ＴＣ’’３とＴＣ’’’３を平均したものである。このようにすると、図示のように、ＴＣ’３は、ライブ演奏の遅れに追従して、ＴＣ’’３に比べて前の時刻を示すようになる。

図４（ｃ）は、図４（ｂ）の状態の後、ライブ演奏のテンポが戻った場合を示している。そして、図４（ｂ）の時と同様にして、タイムアライメント部１０２から時刻４ＣＫにＴＣ４が出力されると、タイムコード予測部１０５は、ＴＣ’’４とＴＣ’’’４の平均をとることによりＴＣ’４を算出して出力する。そして、タイムアライメント部１０２からタイムコードＴＣ５、ＴＣ６、・・・と順次出力されると、タイムコード予測部１０５は、当該出力されたタイムコードの２ＣＫ後に出力されると予測される予測タイムコードＴＣ’５、ＴＣ’６、・・・を順次算出して出力する。以上がタイムコード予測部１０５の説明である。

図２に戻って、説明を続ける。データ読出部１０３は、タイムコード予測部１０５から順次出力される予測タイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部（映像データ生成手段）１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データ（第１の映像データ）を生成し、映像合成部（映像合成手段）１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムコード予測部１０５から出力された予測タイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行に追従して表示されるとともに、タイムアライメント部１０２から設定時間後に出力されると予測されるタイムコードである予測タイムコードによって読み出しているから、ＣＰＵ１１によって読み出されたライブ楽音データ、ライブ映像データと時間同期した映像のデータとして生成される。

映像合成部１０６は、ＣＰＵ１１によって読み出されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、ＣＰＵ１１によって読み出されたライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行に追従して表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に追従した映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に追従した歌詞映像が合成された映像と楽曲とを再生することができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態においては、タイムコード予測部１０５は、タイムアライメント部１０２から順次出力されたタイムコードに基づいて、予測タイムコードを算出して出力していた。この際、タイムアライメント部１０２は、タイムコードを順次出力する代わりに認識した再生位置（対応情報）を順次出力し、タイムコード予測部１０５は、当該再生位置に基づいて、予測タイムコードを算出して出力してもよい。この場合には、タイムコード予測部１０５は、予測タイムコードの算出と同様にして設定時間後の再生位置を予測すればよい。そして、当該予測した再生位置に基づいて、予測タイムコードを算出して生成すればよい。なお、タイムアライメント部１０２は、認識した再生位置に加えて、認識したテンポについても出力してもよい。この場合には、タイムコード予測部１０５は、再生位置とテンポに基づいて予測タイムコードを算出すればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例２＞
タイムコード予測部１０５における予測タイムコードを算出する方法は、実施形態に説明した方法に限られる必要は無く、所定時間後のタイムコードを予測するものであればどのようなものであってもよい。例えば、実施形態における式（１）は、ＴＣ’ｎ ＝ （ＴＣ’’ｎ ＋ ＴＣ’’’ｎ）／２として、ＴＣ’’ｎとＴＣ’’’ｎの平均値をＴＣ’ｎとしていたが、ＴＣ’ｎ ＝ （α×ＴＣ’’ｎ ＋ β×ＴＣ’’’ｎ）／（α＋β）として、ＴＣ’’ｎとＴＣ’’’ｎの加重平均をとってもよい。これは、設定時間の長さに応じて、αとβとを適切な値とすればよい。この値を変えることで、予測タイムコードをタイムコードの変化に緩やかに追従させることも、急激に追従させることもできる。

また、タイムコード予測部１０５は、タイムアライメント部１０２から出力されたタイムコードにおいて、Ｔｎ−１とＴｎの２点の傾きからＴｅｍｐｏ（ｎ）を算出していたが、何点かの移動平均をとってもよい。この場合は、例えば、ＴＣｎ−１をＴＣｎ−３からＴＣｎ−１までの平均、ＴＣｎをＴＣｎ−２からＴＣｎまでの平均とみなし、移動平均からＴｅｍｐｏ（ｎ）を算出すればよい。このようにすれば、Ｔｅｍｐｏ（ｎ）の急激な変化が少なくなり、より自然に変化する予測タイムコードを算出することができる。

さらに、ライブ演奏において、楽曲の一部が省略されるなど、再生位置が大きく変化して、タイムアライメント部１０２から順次出力されるタイムコードの示す時刻が所定の変化量より大きく変化した場合には、タイムコード予測部１０５における予測タイムコードの算出を一旦中止し、所定時間経過後に再度予測タイムコードの算出を行なうようにしてもよい。このようにすると、中止せずに算出し続ける場合よりも、予測タイムコードをタイムアライメント部１０２から出力されるタイムコードと大きく乖離することなく、追従させることができる。所定の変化量、所定時間は、それぞれプログラムに設定されていてもよいし、利用者が操作部１６を介して、設定するようにしてもよい。

その他、Ｔｅｍｐｏのように１次関数によって予測するだけでなく、予め定められたＴｅｍｐｏの変化などを考慮した関数（例えば、Ｔｅｍｐｏが徐々に大きくなっている場合には、今後も大きくなっていくような変化量を考慮するなど）に基づいて予測するようにしてもよく、タイムアライメント部１０２におけるライブ楽音データとリファレンス楽音データの対応付けの結果に基づいて、所定時間後の対応を予測できるものであればどのような処理を行ってもよい。

＜変形例３＞
実施形態においては、通信部１７がライブ楽音データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファしていたが、ライブ楽音データを用いる代わりに利用者が入力する音声データを用いてもよい。この場合は、図５のように、映像表示装置１に、マイクロフォンなどの収音手段と収音手段によって収音された音から音声データを生成する音声データ生成手段とを有する音声入力部２１を具備させればよい。なお、音声入力部２１において生成された音声データは、ライブデータバッファ領域１３ａにバッファされる。なお、音声データは、直接タイムアライメント部１０２などに出力してもよい。また、入力する音声データに楽曲情報データが含まれていない場合、例えば、マイクロフォンで収音した場合などは、利用者は操作部１６を操作して、収音に対応した楽曲情報データを入力すればよい。このようにすると、例えば、利用者が演奏する楽曲に追従して歌詞映像を表示することもできる。

＜変形例４＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図６に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。

＜変形例５＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ（第１のデータ）であってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したように予測タイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データ（第１の映像データ）として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ（実施形態においてはライブ楽音データ）の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。

＜変形例６＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図７に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データ（第２のデータ）を有するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコード（同期情報）が付されている。

そして、図８に示すように、実施形態における楽曲データ選択部１０１の動作に加えて、楽曲データ記憶領域１４ａに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムコード予測部１０５から順次出力される予測タイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした制御信号データを読み出し、制御信号出力部１９に順次出力していく。このようにすると、データ再生装置を有する映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行に追従して外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。

＜変形例７＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図９に示すように、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、ＭＩＤＩデータ（第２のデータ）を有するようにする。ここで、ＭＩＤＩデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報（同期情報）が付されている。

そして、図１０に示すように、楽曲データ選択部１０１は、実施形態における動作に加えて、楽曲データ記憶領域１４ａに記憶されているＭＩＤＩデータを読み出す。そして、ＭＩＤＩデータをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムコード予測部１０５から順次出力される予測タイムコードと、ＭＩＤＩデータに付された時間情報とを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファしたＭＩＤＩデータを読み出し、再生部（音源部）１０７に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、ＣＰＵ１１はリファレンス楽音データと時刻同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部１０３から順次出力されたＭＩＤＩデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部１０７に出力される。そして、再生部１０７は、このＭＩＤＩデータを再生してオーディオデータであるＭＩＤＩ楽音データを生成し、音声合成部１０８へ出力する。一方、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データも音声合成部１０８へ出力される。そして、音声合成部１０８は、ライブ楽音データに係るライブ演奏とＭＩＤＩ楽音データに係るＭＩＤＩ演奏とをミキシングした音を合成楽音データとして生成し、音声出力部１８へ出力する。なお、ライブ楽音データとＭＩＤＩ楽音データとをミキシングせずに別々に音声出力部１８に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部１８においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部１０７は、ＭＩＤＩデータを再生することができる音源部を有することによって、ＭＩＤＩ楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもＭＩＤＩデータでなくてもよい。

また、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データのＭＩＤＩデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコード（同期情報）の付されたオーディオデータである追加楽音データ（第２のデータ）としてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部１０１は、楽曲データ記憶領域１４ａに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムコード予測部１０５から順次出力される予測タイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした追加楽音データを読み出し、再生部１０７に順次出力する。これにより、データ読出部１０３から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部１０８へ出力する。その後はＭＩＤＩデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。

＜変形例８＞
変形例３においては、音声入力部２１によって、利用者が演奏する楽曲に合わせて歌詞映像を表示することができたが、さらに楽曲の演奏を再生することにより、カラオケ装置のようにして用いることもできる。この場合には、以下のような構成とすればよい。まず、図１１に示すように、記憶部１４の楽曲データ記憶領域１４ａに記憶されているリファレンス楽音データを楽曲のパートごとに録音したトラック（本変形例においては、ボーカルトラック、ギタートラック、ピアノトラック、ベーストラック、ドラムトラック）を有するオーディオデータとする。また、利用者は、操作部（トラック選択手段）１６を操作して、演奏するトラック（本変形例においてはボーカル）を選択する。

そして、図１２に示すソフトウエアの構成において、楽曲データ選択部１０１は、読み出したリファレンス楽音データについて、タイムアライメント部１０２へ出力するとともに、データ読出部１０３に読み出されるまでＲＡＭ１３に歌詞データとともにバッファしておく。タイムアライメント部１０２は、操作部１６を操作して選択されたボーカルトラックと、音声入力部２１によって収音されて生成した音声データ（以下、本変形例においては、当該音声データをライブ楽音データという）とを比較する。一方、データ読出部１０３は、実施形態における歌詞データを読み出す場合と同様にして予測タイムコードに基づいてリファレンス楽音データを読み出し、当該リファレンス楽音データを再生部１０７へ順次出力する。これにより、データ読出部１０３から順次出力されたリファレンス楽音データは、読み出されるときに利用者によるボーカルの進行に追従するように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮されたリファレンス楽音データを再生楽音データとして、音声合成部１０８へ出力する。以下、音声合成部１０８の構成について、図１３を用いて説明する。

音声合成部１０８は、リファレンストラック選択部１０８２、およびトラック合成部１０８３を有する。リファレンストラック選択部１０８２は、入力された再生楽音データのうち、操作部１６の操作によって選択されたボーカルトラック以外のトラックを有する再生楽音データをトラック合成部１０８３に出力する。

トラック合成部１０８３は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データと、リファレンストラック選択部１０８２から出力されたボーカルトラック以外のトラックを有する再生楽音データをミキシングして、合成楽音データを音声出力部１８へ出力する。このようにして生成された合成楽音データを音声出力部１８から放音すると、利用者のボーカルの進行にあわせて時間伸縮されたボーカル以外のリファレンス演奏が放音されるから、ボーカルの進行に追従して演奏が時間同期するカラオケ装置のようにすることもできる。なお、リファレンストラック選択部１０８２の処理は必ずしも音声合成部１０８において行なわれなくてもよい。この場合は、リファレンストラック選択部１０８２の処理は、リファレンス楽音データが楽曲データ記憶領域１４ａから読み出されてから音声出力部１８において放音されるまでのどのタイミングでもよい。また、必ずしもボーカルトラックを除外しなくてもよいし、除外する代わりに音量を低減する処理を行なってもよい。さらに、リファレンス楽音データに代えて、またはリファレンス楽音データとともに、変形例７のようにＭＩＤＩデータを用いても同様な効果を得ることができる。

＜変形例９＞
変形例３、変形例８においては、楽曲情報データは操作部１６を操作して利用者によって入力されていたが、音声入力部２１によって収音されて生成した音声データ（以下、本変形例においては、当該音声データをライブ楽音データという）に基づいて、楽曲情報データを生成してもよい。この場合は、図１４に示すように楽曲検索部１００を設ければよい。ここで、楽曲検索部１００は、入力されたライブ楽音データの一部と楽曲データ記憶領域１４ａに記憶されているリファレンス楽音データの一部（トラック単位でもよい）とを比較して、対応する楽曲を特定し、特定した楽曲の楽曲情報データを出力すればよい。このようにすれば、利用者が自ら楽曲を指定することなく、楽曲情報データを生成して楽曲を特定することができる。なお、これは変形例３、８に限らず実施形態、他の変形例において、楽曲情報データが提供されなかった場合においても適用することができる。

＜変形例１０＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例１１＞
実施形態においては、タイムアライメント部１０２は、楽曲の進行のずれを検出する機能について、ＤＰマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。このようにしても、実施形態と同様な効果を得ることができる。

実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。 実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。 ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。 タイムコード予測部における処理の説明図である。 変形例３に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例４に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例６に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例６に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例７に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例７に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例８に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例８に係る映像表示装置のソフトウエアの構成を示すブロック図である。 音声合成部のソフトウエアの構成を示すブロック図である。 変形例９に係る映像表示装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…映像表示装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、２１…音声入力部、１００…楽曲検索部、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…タイムコード予測部、１０６…映像合成部、１０７…再生部、１０８…音声合成部、１０８２…リファレンストラック選択部、１０８３…トラック合成部

Claims (12)

1. 音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、
   外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント手段と、
   前記タイムアライメント手段によって順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と
   を具備することを特徴とするデータ再生装置。
2. 音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、
   外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント手段と、
   前記タイムアライメント手段によって順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント手段が生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と
   を具備することを特徴とするデータ再生装置。
3. 前記データ読出手段によって読み出された第２のデータに基づいてオーディオデータを生成する音源部をさらに具備し、
   前記第２のデータは、前記音源部によって生成されるオーディオデータに係る楽音の発音内容を示すシーケンスデータである
   ことを特徴とする請求項２に記載のデータ再生装置。
4. 前記記憶手段に記憶される第１のオーディオデータは、複数のトラックを有し、
   前記データ読出手段は、さらに前記時刻情報と前記第１のオーディオデータのデータ各部に規定された時刻の対応関係に基づいて、前記記憶手段から前記第１のオーディオデータを読み出す
   ことを特徴とする請求項１乃至請求項３のいずれかに記載のデータ再生装置。
5. 操作によって利用者の指示を入力する操作手段と、
   前記操作手段の操作に基づいて前記第１のオーディオデータの各トラックのうち、一部のトラックを選択するトラック選択手段と、
   前記データ読出手段によって読み出された第１のオーディオデータは、前記トラック選択手段によって選択されたトラック以外のデータである
   ことを特徴とする請求項４に記載のデータ再生装置。
6. 操作によって利用者の指示を入力する操作手段と、
   前記操作手段の操作に基づいて前記第１のオーディオデータの各トラックのうち、一部のトラックを選択するトラック選択手段と、
   前記タイムアライメント手段は、前記取得した第２のオーディオデータの各部と、前記第１のオーディオデータのうち前記トラック選択手段によって選択されたトラックの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成する
   ことを特徴とする請求項４または請求項５に記載のデータ再生装置。
7. 前記予め設定された設定時間は、前記タイムアライメント手段に第２のオーディオデータが取得されてから前記映像データ生成手段によって第１の映像データを生成するまでの時間として設定されている
   ことを特徴とする請求項１乃至請求項６のいずれかに記載のデータ再生装置。
8. 複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、
   前記映像合成手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズする
   ことを特徴とする請求項１乃至請求項７のいずれかに記載のデータ再生装置。
9. 外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント過程と、
   前記タイムアライメント過程において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程おいて生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測過程と、
   前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、
   前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と
   を備えることを特徴とするデータ再生方法。
10. 外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と記憶手段に記憶された音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント過程と、
    前記タイムアライメント過程において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント過程において生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測過程と、
    前記第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する前記記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータと前記第２のデータとを読み出すデータ読出過程と、
    前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と
    を備えることを特徴とするデータ再生方法。
11. 記憶手段を有するコンピュータに、
    前記記憶手段に音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、
    外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント機能と、
    前記タイムアライメント機能において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能において生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測機能と、
    前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、
    前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と
    を実現させるためのプログラム。
12. 記憶手段を有するコンピュータに、
    前記記憶手段に音声の波形を示しデータ各部に時刻が規定された第１のオーディオデータを記憶させるとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶させる記憶機能と、
    外部から供給される音声の波形を示す第２のオーディオデータの各部を順次取得し、当該取得した第２のオーディオデータの各部と前記第１のオーディオデータの各部とを比較することによりデータ各部を対応付けて、当該取得した第２のオーディオデータの各部に対応する前記第１のオーディオデータに規定された時刻に応じた対応情報を順次生成するタイムアライメント機能と、
    前記タイムアライメント機能において順次生成された対応情報の変化に基づいて、予め定められた設定時間後に前記タイムアライメント機能において生成すると予測される対応情報を算出し、算出した対応情報を時刻情報として生成する予測機能と、
    前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出機能と、
    前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と
    を実現させるためのプログラム。

Images