JP4470947B2 - データ再生装置、データ再生方法およびプログラム - Google Patents

Description

本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：登録商標）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。

また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
特開２００３−１５６７５号公報 特開２０００−３４７６７６号公報

しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。

本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント手段と、前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を出力する時刻情報出力手段と、前記時刻情報出力手段によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、本発明は、複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント手段と、前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を決定する時刻情報出力手段と、前記時刻情報出力手段によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、前記第２のデータは、外部に接続される装置の制御の内容を示すデータであり、前記確信度の大きさにより前記制御の内容が変化するように、前記データ読出手段によって読み出された第２のデータの内容を変化させる変更手段をさらに具備してもよい。
また、別の好ましい態様において、前記第２のデータは、楽音の内容を示すデータであり、前記確信度の大きさにより前記楽音の内容が変化するように、前記データ読出手段によって読み出された第２のデータの内容を変化させる変更手段をさらに具備してもよい。

また、別の好ましい態様において、前記外部から供給される第２のオーディオデータは、複数のトラックを有し、前記タイムアライメント手段は、外部から供給される第２のオーディオデータの各トラックと前記第１のオーディオデータの各トラックとをトラックごとにそれぞれ所定時間長のフレーム単位で対応付けて、対応する部分を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成してもよい。

また、別の好ましい態様において、前記トラックごとに生成された確信度に基づいて前記第２のオーディオデータの各トラックのうち、一部のトラックを選択する第２のトラック選択手段と、前記遅延手段によって遅延された第２のオーディオデータの各トラックから、前記第２のトラック選択手段によって選択されたトラック以外のトラックを除外する第２の除外手段とをさらに具備してもよい。

また、別の好ましい態様において、前記トラックごとに生成された確信度に基づいて前記第２のオーディオデータのトラック間の音量バランスを変更する第２のトラック音量変更手段をさらに具備してもよい。

また、別の好ましい態様において、前記記憶手段に記憶された第１のオーディオデータは、データ各部についての時刻を規定する同期情報を有し、前記データ読出手段は、さらに前記時刻情報出力手段によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のオーディオデータを読み出してもよい。

また、別の好ましい態様において、前記トラックごとに生成された確信度に基づいて前記第１のオーディオデータの各トラックのうち、一部のトラックを選択する第１のトラック選択手段と、前記データ読み出し手段によって読み出された第１のオーディオデータの各トラックから、前記第１のトラック選択手段によって選択されたトラック以外のトラックを除外する第１の除外手段とをさらに具備してもよい。

また、別の好ましい態様において、前記トラックごとに生成された確信度に基づいて前記第１のオーディオデータのトラック間の音量バランスを変更する第１のトラック音量変更手段をさらに具備してもよい。

また、別の好ましい態様において、前記時刻情報出力手段は、前記特定した時刻情報の出力に替えて、前記複数の確信度に基づいて、前記複数の時刻情報の加重平均をとることにより新たに生成した時刻情報を出力してもよい。

また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズしてもよい。

また、本発明は、外部から供給される第２のオーディオデータと記憶手段に記憶された複数のトラックを有する第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント過程と、前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を出力する時刻情報出力過程と、複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段から、前記時刻情報出力過程によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。

また、別の好ましい態様において、前記時刻情報出力過程は、前記特定した時刻情報の出力に替えて、前記複数の確信度に基づいて、前記複数の時刻情報の加重平均をとることにより新たに生成した時刻情報を出力してもよい。

また、本発明は、記憶手段を有するコンピュータに、前記記憶手段に複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、外部から供給される第２のオーディオデータと前記第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント機能と、前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定された時刻情報を出力する時刻情報出力機能と、前記時刻情報出力機能によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。

また、別の好ましい態様において、前記時刻情報出力機能は、前記特定した時刻情報の出力に替えて、前記複数の確信度に基づいて、前記複数の時刻情報の加重平均をとることにより新たに生成した時刻情報を出力してもよい。

本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２の映像データ）、ライブ楽音データ（第２のオーディオデータ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報のデータ（以下、楽曲情報データという）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏（以下、ライブ演奏）を楽曲のパートごとに録音したトラック（本実施形態においては、ボーカルトラック、ギタートラック、ピアノトラック、ベーストラック、ドラムトラック）を有するオーディオデータである。そのため、ボーカルトラックのみを再生すればボーカルパートの楽音（以下、ライブボーカルという）のみが、後述する音声出力部１８から放音される。そして、全てのトラックを再生すればライブ演奏が、音声出力部１８から放音されることになる。

記憶部（記憶手段）１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（第１のオーディオデータ）と歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声（以下、リファレンスボーカルという）や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコード（同期情報）が付されている。リファレンス楽音データもライブ楽音データと同様に楽曲のパートごとに録音したトラック（本実施形態においては、ボーカルトラック、ギタートラック、ピアノトラック、ベーストラック、ドラムトラック）を有している。ここで、ライブ楽音データのトラックとリファレンス楽音データのトラックを区別するために、以下、ライブ楽音データのトラックにはライブボーカルトラック、ライブギタートラックなどと最初に「ライブ」の文字を付し、リファレンス楽音データのトラックにはリファレンスボーカルトラック、リファレンスギタートラックなどと最初に「リファレンス」の文字を付していうものとする。また、トラック番号や識別子などを参照することにより、それぞれの楽音データのトラックを対応させることが可能であり、例えば、ライブボーカルトラックとリファレンスボーカルトラックを対応させるなど、同じパート同士で対応をとることが可能になっている。

また、歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコードが付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報データを読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部（データ読出手段）１０３に読み出されるまでＲＡＭ１３にバッファしておく。

タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（時刻情報）を出力する機能を有している。

ここで、タイムアライメント部１０２は、図３に示すように、ボーカルタイムアライメント部１０２１、ギタータイムアライメント部１０２２、ピアノタイムアライメント部１０２３、ベースタイムアライメント部１０２４、ドラムタイムアライメント部１０２５、およびタイムコード選択出力部（時刻情報出力手段）１０２６を有する。以下、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５とタイムコード選択出力部１０２６について説明するが、各パートのタイムアライメント部（タイムアライメント手段）１０２１、１０２２、・・・、１０２５については、楽曲の進行のずれを検出するために比較するパートのトラックが異なるだけで機能としては同じものであるので、ボーカルタイムアライメント部１０２１を例として説明する。

ボーカルタイムアライメント部１０２１は、ライブ楽音データのライブボーカルトラックとリファレンス楽音データのリファレンスボーカルトラックを比較してライブ演奏とリファレンス演奏との楽曲の進行のずれ、より正確にはライブボーカルとリファレンスボーカルのずれを検出し、当該楽曲の進行のずれに基づいてタイムコード選択出力部１０２６に対して、タイムコード（時刻情報）を出力するとともに、楽曲の進行のずれを検出したときの検出の信頼性を示す確信度を出力する機能を有している。なお、確信度の出力は、出力する時間間隔、タイミングをタイムコードの出力と合わせる必要はない。

ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。

ボーカルタイムアライメント部１０２１は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブボーカルトラックをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンスボーカルトラックについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブボーカルトラックの一連のフレームのうち最初のフレームから得たパラメータとリファレンスボーカルトラックの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。

そして、ボーカルタイムアライメント部１０２１は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。

そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブボーカルトラックの全てのフレームに対して、リファレンスボーカルトラックのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。

次に、ボーカルタイムアライメント部１０２１が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。ボーカルタイムアライメント部１０２１は、上述したように、ライブボーカルトラックの各フレームに対してリファレンスボーカルトラックのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。

次に、ボーカルタイムアライメント部１０２１が検出した楽曲の進行のずれに基づいて確信度を出力する機能について説明する。上述したように、ボーカルタイムアライメント部１０２１は、ライブボーカルトラックとリファレンスボーカルトラックのＤＰマッチングにおいて、ＤＰマッチングスコアの累算値が最小となるような経路をＤＰプレーン上から特定するが、この際の最小となるＤＰマッチングスコアの累積値に基づいて確信度を算出する。そして、ボーカルタイムアライメント部１０２１は、算出した確信度を所定の時間間隔で出力する。ここで、確信度は、ＤＰマッチングスコアの累積値が小さければ、マッチングの信頼性が高いため大きな値となり、ＤＰマッチングスコアの累積値が大きければ、マッチングの信頼性が低いため小さな値となる。また、ＤＰマッチングスコアの累積値の算出は、確信度を出力する時間間隔に対応するＤＰプレーンの経路長から算出するようにすればよい。なお、確信度は、マッチングスコアの累積値から算出しなくても、各データの比較による対応の程度を示し、マッチングの信頼性を示す値から算出できれば、どのような値から算出してもよい。

タイムコード選択出力部１０２６は、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５から出力された各確信度を参照し、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５のうち、最も高い確信度を出力しているタイムアライメント部のパートを特定する。そして、特定されたパートのタイムアライメント部から出力されているタイムコード（時刻情報）をデータ読出部１０３へ出力する。例えば、ボーカルタイムアライメント部１０２１から出力された確信度が最も高ければ、ボーカルアライメント部１０２１から出力されたタイムコードをデータ読出部１０３へ出力する。ここで、最も高い確信度を出力しているタイムアライメント部のパートの特定は、所定の時間間隔で行われ、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５から出力された確信度のうち、特定を行う時点における最新の確信度を参照して行われる。このようにすると、信頼性の高いパートにおけるＤＰマッチング結果から得られたタイムコードを出力することができるため、各パートのうち信頼性が低いＤＰマッチング結果となったパートがあっても、より精度の高いＤＰマッチング結果としてのタイムコードを出力することができる。

図２に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部（映像データ生成手段）１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データ（第１の映像データ）を生成し、映像データ合成部（映像合成手段）１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。

遅延部（遅延手段）１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述したタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。

映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態においては、タイムコード選択出力部１０２６は、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５から出力された各確信度を参照し、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５のうち、最も高い確信度を出力しているタイムアライメント部のパートを特定し、特定されたパートのタイムアライメント部から出力されているタイムコードをデータ読出部１０３へ出力していたが、確信度に基づいてタイムコードを出力するようにすれば、この方法に限られない。例えば、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５から出力されたタイムコードに対して、当該タイムコードを出力したパートのタイムアライメント部から出力された確信度を重み付けして平均をとることにより、加重平均されたタイムコードを生成して出力するようにしてもよい。また、一定値以上の確信度を出力したパートのタイムアライメント部から出力されたタイムコードを平均化したタイムコードを生成して出力するようにしてもよいし、本実施形態のように歌詞映像を表示させる目的である場合には、ボーカルタイムアライメント部１０２１から出力されたタイムコードを重視するようにしてもよく、これらの方法は操作部１６を操作することにより変更できるようにしてもよい。このようにしても、本実施形態と同様な効果を得ることができる。

＜変形例２＞
実施形態においては、タイムコード選択出力部１０２６は、最も高い確信度を出力しているタイムアライメント部のパートの特定について、所定の時間間隔で行っていたが、所定の条件を満たした場合に改めて特定を行なうようにしてもよい。例えば、ある時点において特定されているパートのタイムアライメント部から出力されている確信度が所定の値以下、または前回特定された時点の確信度に対して所定の割合以下の値に減少した場合に、改めて特定を行なうようにしてもよい。また、タイムコード選択出力部１０２６は、楽曲の最初の部分においてパートの特定を行い、そのパートのタイムアライメント部から出力されているタイムコードをデータ読出部１０３に出力し続けてもよい。この場合は、利用者が操作部１６を操作することによって、タイムコード選択出力部１０２６に再度パートを特定する処理をさせるようにしてもよい。

＜変形例３＞
実施形態においては、タイムコード選択出力部１０２６は、パートの特定について当該特定を行う時点における最新の確信度を参照して行っていたが、最新の確信度を用いる代わりに最新の数回分の確信度を平均した値を用いてもよい。この場合は、タイムコード選択出力部１０２６は、各パートのタイムアライメント部から出力されている確信度を数回分ＲＡＭ１３にバッファするようにしておくようにすればよい。このようにすると、特定されていたパートにおいて、ちょっとした演奏ミスがあった場合に一時的に確信度が下がっても、その影響を受けにくくなるため、タイムコード選択出力部１０２６は、より精度の高いパートの特定を可能とすることもできる。

＜変形例４＞
実施形態においては、ライブ楽音データは、パートごとに録音されたトラックを有していたが、ライブ演奏をそのまま録音してライブ楽音データとすることにより、パートごとに分かれていないものであってもよい。この場合は、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５は、ライブ楽音データをリファレンス楽音データの各トラックと比較して楽曲の進行のずれを検出するようにすればよい。このようにしても、全体的に確信度が低下する可能性があるものの、各パート間において相対比較ができるため、本実施形態と同様な効果を得ることができる。

＜変形例５＞
実施形態においては、ライブ楽音データは、遅延部１０５において遅延されて音声出力部１８に入力され、リファレンス楽音データはタイムアライメント部１０２に入力されてライブ楽音データと比較するために用いられていたが、ライブ楽音データの各トラックとリファレンス楽音データの各トラックをミキシングして、音声出力部１８に出力するようにしてもよい。この場合は、以下のような構成にすればよい。図５に示すように、楽曲データ選択部１０１は、読み出したリファレンス楽音データについて、タイムアライメント部１０２へ出力するとともに、データ読出部１０３に読み出されるまでＲＡＭ１３に歌詞データとともにバッファしておく。データ読出部１０３は、実施形態における歌詞データを読み出す場合と同様にしてリファレンス楽音データを読み出し、当該リファレンス楽音データを再生部１０７へ順次出力する。これにより、データ読出部１０３から順次出力されたリファレンス楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮されたリファレンス楽音データを再生楽音データとして、音声合成部１０８へ出力する。また、タイムアライメント部１０２のタイムコード選択出力部１０２６は、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５から出力された確信度について、音声合成部１０８へ出力する。以下、音声合成部１０８の構成について、図６を用いて説明する。

音声合成部１０８は、ライブトラック選択部（第２のトラック選択手段、第２の除外手段）１０８１、リファレンストラック選択部（第１のトラック選択手段、第１の除外手段）１０８２、およびトラック合成部１０８３を有する。ライブトラック選択部１０８１は、遅延部１０５からライブ楽音データが入力されるとともに、タイムアライメント部１０２のタイムコード選択出力部１０２６から各パートの確信度が入力される。そして、ライブトラック選択部１０８１は、入力された確信度のうち所定の値以上の確信度のパートを特定し、入力されたライブ楽音データのうち特定したパートのトラックをトラック合成部１０８３に出力する。また、リファレンストラック選択部１０８２は、入力された確信度のうち所定の値以上の確信度のパートを特定し、入力された再生楽音データのうち特定したパート以外のトラックをトラック合成部１０８３に出力する。

トラック合成部１０８３は、ライブトラック選択部１０８１において特定されたトラックを有するライブ楽音データと、リファレンストラック選択部１０８２において特定されたトラックを有する再生楽音データをミキシングして、合成楽音データを音声出力部１８へ出力する。このようにして生成された合成楽音データを音声出力部１８から放音すると、確信度の低いパート、すなわちライブ演奏がうまくいっていないパートは、ライブ演奏の進行に合わせて時間伸縮されたリファレンス演奏のパートとされているから、ライブ演奏の完成度をより向上させたものとすることもできる。なお、ライブトラック選択部１０８１およびリファレンストラック選択部１０８２の処理は必ずしも音声合成部１０８において行なわれなくてもよい。この場合は、ライブトラック選択部１０８１の処理は、ライブ楽音データがライブデータバッファ領域１３ａから読み出されてから音声出力部１８において放音されるまでのどのタイミングでもよい。同様に、リファレンストラック選択部１０８２の処理は、リファレンス楽音データが楽曲データ記憶領域１４ａから読み出されてから音声出力部１８において放音されるまでのどのタイミングでもよい。

また、ライブトラック選択部１０８１、リファレンストラック選択部１０８２は、タイムコード選択出力部１０２６から出力された確信度の大きさに基づいて、出力するトラックを選択するようにしたが、所定のアルゴリズムに基づいて各楽音データを出力するようにしてもよい。所定のアルゴリズムの一例として、ライブトラック選択部（第２のトラック音量変更手段）１０８１は、確信度の大きさに応じて各トラックの音量を重み付け、すなわち確信度が大きいパートほど、当該パートのトラックの音量が大きくなるような処理をしたライブ楽音データを出力するようにし、リファレンストラック選択部（第１のトラック音量変更手段）１０８２は、確信度が大きいパートほど、当該パートのトラックの音量が小さくなるような処理をすることにより音量バランスを変更した再生楽音データを出力する。そしてトラック合成部１０８３は、当該ライブ楽音データと当該再生楽音データをミキシングして、合成楽音データとして出力するようにしてもよい。この場合、所定のアルゴリズムを記憶部１４に記憶させておき、ライブトラック選択部１０８１、リファレンストラック選択部１０８２が記憶部１４に記憶されたアルゴリズム用いて処理してもよいし、ＣＰＵ１１がプログラムを実行したときに、ライブトラック選択部１０８１、リファレンストラック選択部１０８２にそのアルゴリズムを処理させる機能を備えるようにしてもよい。また、利用者が操作部１６を操作することにより、ライブトラック選択部１０８１、リファレンストラック選択部１０８２の処理を指示できるようにしてもよい。なお、上記の処理を行うとき、または、上記の処理に代えて、ライブトラック選択部１０８１、リファレンストラック選択部１０８２は、ライブ楽音データおよび再生楽音データのそれぞれのボーカルトラックを出力しないようにして、ライブボーカルとリファレンスボーカルが出力されないようにすることにより、カラオケ装置のように用いてもよい。

＜変形例６＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図７に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。

＜変形例７＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ（第１のデータ）であってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データ（第１の映像データ）として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ（実施形態においてはライブ楽音データ）の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。

＜変形例８＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図８に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データ（第２のデータ）を有するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコード（同期情報）が付されている。

そして、図９に示すように、実施形態における楽曲データ選択部１０１の動作に加えて、楽曲データ記憶領域１４ａに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした制御信号データを読み出し、制御信号出力部１９に順次出力していく。このようにすると、データ再生装置を有する映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。なお、タイムアライメント部１０２からデータ読出部１０３に確信度を出力するようにして、データ読出部（データ読出手段、変更手段）１０３は当該確信度に基づいて、制御信号出力部１９に制御信号データを出力するようにしてもよいし、制御信号データの内容を変化させるようにしてもよい。このようにすると、確信度の大小、すなわちライブ演奏の程度に基づいて制御信号を変化させることができ、例えば、ライブ演奏がうまい場合、またはライブ演奏のうまさに応じて、外部に接続された装置を制御できるにようにすることもできる。

＜変形例９＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図１０に示すように、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、ＭＩＤＩデータ（第２のデータ）を有するようにする。ここで、ＭＩＤＩデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報（同期情報）が付されている。

そして、図１１に示すように、楽曲データ選択部１０１は、実施形態における動作に加えて、楽曲データ記憶領域１４ａに記憶されているＭＩＤＩデータを読み出す。そして、ＭＩＤＩデータをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、ＭＩＤＩデータに付された時刻情報とを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファしたＭＩＤＩデータを読み出し、再生部１０７に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、ＣＰＵ１１はリファレンス楽音データと時間同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部１０３から順次出力されたＭＩＤＩデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部１０７に出力される。そして、再生部１０７は、このＭＩＤＩデータを再生してオーディオデータであるＭＩＤＩ楽音データを生成し、音声合成部１０８へ出力する。一方、遅延部１０５によって遅延処理されたライブ楽音データも音声合成部１０８へ出力される。そして、音声合成部１０８は、ライブ楽音データに係るライブ演奏とＭＩＤＩ楽音データに係るＭＩＤＩ演奏とをミキシングした音を合成楽音データとして生成し、音声出力部１８へ出力する。なお、ライブ楽音データとＭＩＤＩ楽音データとをミキシングせずに別々に音声出力部１８に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部１８においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部１０７は、ＭＩＤＩデータを再生することができる音源部を有することによって、ＭＩＤＩ楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもＭＩＤＩデータでなくてもよい。

また、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データのＭＩＤＩデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコード（同期情報）の付されたオーディオデータである追加楽音データ（第２のデータ）としてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部１０１は、楽曲データ記憶領域１４ａに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした追加楽音データを読み出し、再生部１０７に順次出力する。これにより、データ読出部１０３から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部１０８へ出力する。その後はＭＩＤＩデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。なお、変形例９でも述べたように、タイムアライメント部１０２からデータ読出部１０３に確信度を出力するようにして、データ読出部１０３は当該確信度に基づいて、再生部１０７にＭＩＤＩデータまたは追加楽音データを出力するようにしてもよいし、当該データの内容を変化させるようにしてもよい。このようにすると、確信度の大小、すなわちライブ演奏の程度に基づいてＭＩＤＩデータまたは追加楽音データを変化させることができ、例えば、ライブ演奏がうまい場合、またはライブ演奏のうまさに応じて、ライブ演奏に追加して出力される音声を制御できるにようにすることもできる。

＜変形例１０＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例１１＞
実施形態においては、遅延部１０５を設け、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データにタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間（以下、遅延時間という）の遅延処理を行って出力していた。一方、図１２に示すように、タイムアライメント部１０２からのタイムコードの出力は、タイムコード予測部１０９を介してデータ読出部１０３に出力されるようにしてもよい。この場合は、タイムコード予測部１０９は、タイムアライメント部１０２から順次出力されるタイムコードを参照して、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測する。そして、タイムコード予測部１０９は、予測したタイムコードをデータ読出部１０３に順次出力すればよい。ここで、タイムコードの予測は、タイムアライメント部１０２から順次出力されたタイムコードのうち、過去の所定の数のタイムコードを参照し、これらのタイムコードの示す時間軸上の位置の変化量から、遅延時間後のタイムコードを推定すればよい。なお、タイムコードの予測は、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測すればよいから、上記方法に限らず、所定のアルゴリズムに基づいて行なえばよい。このようにすれば、遅延部１０５を用いたライブ楽音データ、ライブ演奏データの遅延をさせずに、実施形態の効果を得ることができる。

＜変形例１２＞
実施形態においては、各パートのタイムアライメント部１０２１、１０２２、・・・、１０２５は、楽曲の進行のずれを検出する機能について、ＤＰマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。そして、類似する部分の類似の程度を表す指標に基づいて確信度を生成するようにすればよい。このようにすれば、実施形態と同様な効果を得ることができる。

実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。 実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。 タイムアライメント部のソフトウエアの構成を示すブロック図である。 ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。 変形例５に係る映像表示装置のソフトウエアの構成を示すブロック図である。 音声合成部のソフトウエアの構成を示すブロック図である。 変形例６に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例８に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例８に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例９に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例９に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例１１に係る映像表示装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…映像表示装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０２１…ボーカルタイムアライメント部、１０２２…ギタータイムアライメント部、１０２３…ピアノタイムアライメント部、１０２４…ベースタイムアライメント部、１０２５…ドラムタイムアライメント部、１０２６…タイムコード選択出力部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…再生部、１０８…音声合成部、１０８１…ライブトラック選択部、１０８２…リファレンストラック選択部、１０８３…トラック合成部、１０９…タイムコード予測部

Claims (16)

1. 複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段と、
   外部から供給される第２のオーディオデータと前記第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント手段と、
   前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を出力する時刻情報出力手段と、
   前記時刻情報出力手段によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
2. 複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータおよび第２のデータを記憶する記憶手段と、
   外部から供給される第２のオーディオデータと前記第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント手段と、
   前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を出力する時刻情報出力手段と、
   前記時刻情報出力手段によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータと前記第２のデータとを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
3. 前記第２のデータは、外部に接続される装置の制御の内容を示すデータであり、
   前記確信度の大きさにより前記制御の内容が変化するように、前記データ読出手段によって読み出された第２のデータの内容を変化させる変更手段をさらに具備する
   ことを特徴とする請求項２に記載のデータ再生装置。
4. 前記第２のデータは、楽音の内容を示すデータであり、
   前記確信度の大きさにより前記楽音の内容が変化するように、前記データ読出手段によって読み出された第２のデータの内容を変化させる変更手段をさらに具備する
   ことを特徴とする請求項２に記載のデータ再生装置。
5. 前記外部から供給される第２のオーディオデータは、複数のトラックを有し、
   前記タイムアライメント手段は、外部から供給される第２のオーディオデータの各トラックと前記第１のオーディオデータの各トラックとをトラックごとにそれぞれ所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載のデータ再生装置。
6. 前記トラックごとに生成された確信度に基づいて前記第２のオーディオデータの各トラックのうち、一部のトラックを選択する第２のトラック選択手段と、
   前記遅延手段によって遅延された第２のオーディオデータの各トラックから、前記第２のトラック選択手段によって選択されたトラック以外のトラックを除外する第２の除外手段と
   をさらに具備する
   ことを特徴とする請求項５に記載のデータ再生装置。
7. 前記トラックごとに生成された確信度に基づいて前記第２のオーディオデータのトラック間の音量バランスを変更する第２のトラック音量変更手段
   をさらに具備する
   ことを特徴とする請求項５に記載のデータ再生装置。
8. 前記記憶手段に記憶された第１のオーディオデータは、データ各部についての時刻を規定する同期情報を有し、
   前記データ読出手段は、さらに前記時刻情報出力手段によって決定された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のオーディオデータを読み出す
   ことを特徴とする請求項１乃至請求項７のいずれかに記載のデータ再生装置。
9. 前記トラックごとに生成された確信度に基づいて前記第１のオーディオデータの各トラックのうち、一部のトラックを選択する第１のトラック選択手段と、
   前記データ読み出し手段によって読み出された第１のオーディオデータの各トラックから、前記第１のトラック選択手段によって選択されたトラック以外のトラックを除外する第１の除外手段と
   をさらに具備する
   ことを特徴とする請求項８に記載のデータ再生装置。
10. 前記トラックごとに生成された確信度に基づいて前記第１のオーディオデータのトラック間の音量バランスを変更する第１のトラック音量変更手段
    をさらに具備することを特徴とする請求項８に記載のデータ再生装置。
11. 前記時刻情報出力手段は、前記特定した時刻情報の出力に替えて、前記複数の確信度に基づいて、前記複数の時刻情報の加重平均をとることにより新たに生成した時刻情報を出力する
    ことを特徴とする請求項１乃至請求項１０のいずれかに記載のデータ再生装置。
12. 複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、
    前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、
    前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズする
    ことを特徴とする請求項１乃至請求項１１のいずれかに記載のデータ再生装置。
13. 外部から供給される第２のオーディオデータと記憶手段に記憶された複数のトラックを有する第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント過程と、
    前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を出力する時刻情報出力過程と、
    複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶する記憶手段から、前記時刻情報出力過程によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記第１のデータを読み出すデータ読出過程と、
    前記データ読出過程において読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成過程と、
    前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程と
    を備えることを特徴とするデータ再生方法。
14. 前記時刻情報出力過程は、前記特定した時刻情報の出力に替えて、前記複数の確信度に基づいて、前記複数の時刻情報の加重平均をとることにより新たに生成した時刻情報を出力する
    ことを特徴とする請求項１３に記載のデータ再生方法。
15. 記憶手段を有するコンピュータに、
    前記記憶手段に複数のトラックを有する第１のオーディオデータを記憶するとともに、データ各部についての時刻を規定する同期情報を有した第１のデータを記憶させる記憶機能と、
    外部から供給される第２のオーディオデータと前記第１のオーディオデータの各トラックとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報をトラックごとに生成するとともに、前記対応付けの程度を示す確信度をトラックごとに生成するタイムアライメント機能と、
    前記複数の確信度に基づいて、前記複数の時刻情報から一の時刻情報を特定し、当該特定した時刻情報を出力する時刻情報出力機能と、
    前記時刻情報出力機能によって出力された時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から前記第１のデータを読み出すデータ読出機能と、
    前記データ読出機能によって読み出された第１のデータに基づいて第１の映像データを生成する映像データ生成機能と、
    前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能と
    を実現させるためのプログラム。
16. 前記時刻情報出力機能は、前記特定した時刻情報の出力に替えて、前記複数の確信度に基づいて、前記複数の時刻情報の加重平均をとることにより新たに生成した時刻情報を出力する
    ことを特徴とする請求項１５に記載のプログラム。

Images