JP5092589B2 - 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム - Google Patents

Description

本発明は、入力されたデータと同期して、他のデータを再生させるためのクロック生成技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータである歌詞データおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。
特開２００３−１５６７５号公報 特開２０００−３４７６７６号公報

カラオケの楽音データに対して歌詞データを同期して再生するなど、異なる２つのデータを同期して再生することがしばしば要求される。このとき楽音データがライブ演奏などである場合には、楽曲の進行におけるテンポ変動にあわせて歌詞データを再生する必要がある。このような再生を実現するには、楽曲の進行の基準となるデータと楽音データとを比較することによって同期処理を行って歌詞データを読み出すクロックを生成する方法が考えられるが、基準となるデータと楽曲の演奏によって生成された楽音データとの違いが大きくなると、同期処理の精度が悪くなる場合がある。

本発明は、上述の事情に鑑みてなされたものであり、楽曲の進行にあわせた演奏クロックを精度よく生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶する記憶手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。

また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。

また、別の好ましい態様において、前記更新手段は、前記履歴データベースが有する履歴データのうち、前記特定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と一致の程度を示す一致度が所定値以上となる履歴データが存在する場合には、当該履歴データの信頼性指標を前記一致度に基づいて修正し、前記一致度が所定値以上となる履歴データが存在しない場合には、前記特定演奏位置情報が示す演奏位置と信頼性指標との時刻の進行に応じた変化を履歴データとして前記履歴データベースに登録してもよい。

また、別の好ましい態様において、前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段をさらに具備し、前記履歴データベースは、演奏位置と信頼性指標とに対して補助情報を対応付けた履歴データを有し、前記更新手段は、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方と、前記補助情報取得手段が取得した補助情報とに基づいて、前記履歴データベースの内容を更新してもよい。

また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方を前記サーバに送信する送信手段と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。

また、別の好ましい態様において、前記演奏位置推定手段は、演奏位置と信頼性指標との組を複数示す推定演奏位置情報を生成してもよい。

また、別の好ましい態様において、前記演奏位置推定手段は、演奏位置を所定範囲で推定し、信頼性指標を当該所定範囲の正確性の程度の分布としてもよい。

また、別の好ましい態様において、前記演奏位置特定手段は、前記推定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様に基づいて、前記履歴データベースが有する履歴データを選択し、当該選択した履歴データが示す演奏位置に基づいて前記特定演奏位置情報を生成してもよい。

また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、前記特定演奏位置情報が示す信頼性指標に基づいて、前記演奏クロックの正確性の程度を示す信頼性情報を生成してもよい。

また、本発明は、上記記載の演奏クロック生成装置と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、本発明は、上記記載の演奏クロック生成装置を複数具備し、前記複数の演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段とを具備し、前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得することを特徴とするデータ再生装置を提供する。

また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とを備えることを特徴とする演奏クロック生成方法を提供する。

また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程とを具備することを特徴とするデータ再生方法を提供する。

また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能とを実現させるためのプログラムを提供する。

また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。

本発明によれば、楽曲の進行にあわせた演奏クロックを精度よく生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２に記憶されているプログラムを読み出して、ＲＡＭ（Random Access Memory）１３にロードして実行することにより、データ再生装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（楽曲関連データ）、ライブ楽音データ（楽曲関連データ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報（以下、楽曲情報という）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。

記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データと、歌詞データ（同期データ）と、履歴データベースとを有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（時刻情報）が付されている。そして、リファレンス楽音データと歌詞データとは、同じ時刻を示すタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。履歴データベースは、過去の履歴について記録するデータベースであって、本実施形態においては、後述するような方法によって過去に生成した特定演奏位置情報に関する内容について記録した履歴データを蓄積するデータベースである。履歴データベースについての詳細は後述する。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、データ再生装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、データ再生装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報を受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現するデータ再生の機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報を読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データを演奏クロック生成部１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。

演奏クロック生成部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、所定のアルゴリズムおよび楽曲データ記憶領域１４ａに記憶されている当該楽曲の履歴データベースを用いて、ライブ楽音データを解析し、取得したときのライブ楽音データに係るライブ演奏が楽曲のどの部分の演奏に対応（以下、演奏位置という）しているかを検出し、当該演奏位置に基づいて楽曲の演奏位置に対応した時刻を示す演奏クロックを後述するデータ読出部１０３に出力する機能を有している。また、検出した演奏位置に基づいて履歴データベースを更新する機能を有している。なお、演奏位置については、時刻で示したものであってもよいし、拍、小節、楽曲全体の進行割合などで示したものであってもよく、楽曲のうち所定の位置を特定できるものであれば、どのようなものであってもよい。以下、演奏クロック生成部１０２について、図３を用いて説明する。図３は、演奏クロック生成部１０２における構成を示したブロック図である。

演奏クロック生成部１０２は、演奏位置推定部１０２１、演奏位置特定部１０２２、履歴更新部１０２３およびクロック生成部１０２４を有する。演奏位置推定部１０２１は、ライブ楽音データを所定のアルゴリズムを用いて解析することによって推定した演奏位置（以下、推定演奏位置という）と、当該推定演奏位置の正確性の程度を示す信頼性指標とを示す推定演奏位置情報を出力する。この際、演奏位置推定部１０２１は、後述する演奏位置特定部１０２２から出力された特定演奏位置情報が示す演奏位置（以下、特定演奏位置という）を基準にして、演奏位置を推定する。演奏位置推定部１０２１の所定のアルゴリズムについて説明する。

演奏位置推定部１０２１は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいて演奏位置を推定する。

ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Fast Fourier Transform）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Dynamic Programming：動的計画法）マッチングを用いる。具体的には以下のような処理となる。

演奏位置推定部１０２１は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。

そして、演奏位置推定部１０２１は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。

そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図４に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。このようにして演奏位置推定部１０２１は、演奏位置を推定する。

一方、信頼性指標については、生成した推定演奏位置の正確性の程度、すなわち推定した推定演奏位置の正確性の程度を示す信頼性指標として算出する。具体的には、上述したように、ライブ楽音データとリファレンス楽音データのＤＰマッチングにおいて、ＤＰマッチングスコアの累算値が最小となるような経路をＤＰプレーン上から特定するが、この際の最小となるＤＰマッチングスコアの累積値に基づいて信頼性指標を算出する。なお、信頼性指標については、このような方法における算出に限られず、推定した推定演奏位置の正確性の程度を示していれば、どのような方法で算出してもよい。

そして、演奏位置推定部１０２１は、上述したようなアルゴリズムを用いて推定した推定演奏位置と算出した信頼性指標とを示す推定演奏位置情報を生成し、演奏位置特定部１０２２に出力する。

図３に戻って説明を続ける。演奏位置特定部１０２２は、ライブデータバッファ領域１３ａから楽曲情報を取得し、楽曲データ記憶領域１４ａに記憶されるリファレンス楽曲データのうち、取得した楽曲情報によって特定される楽曲に対応する履歴データベースと、演奏位置推定部１０２１から出力された推定演奏位置情報とを比較し、演奏位置を特定し、特定演奏位置と当該特定演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を生成し、演奏位置推定部１０２１、履歴更新部１０２３およびクロック生成部１０２４に出力する。以下、演奏位置特定部１０２２の動作と履歴データベースについて説明する。

履歴データベースに登録された履歴データは、過去に演奏位置特定部１０２２において生成された特定演奏位置情報に基づいて生成されたデータであって、特定演奏位置情報が示す特定演奏位置と信頼性指標とが、楽曲が開始されてから経過した時間（以下、経過時間という）に対応したデータとなっている。すなわち、履歴データは、所定の経過時間において、演奏位置特定部１０２２が特定した特定演奏位置とその信頼性指標について、これらの経過時間、特定演奏位置、信頼性指標を対として記録するデータである。図５は、横軸に経過時間、縦軸に演奏位置を示した図である。そして、図中の実線および破線は、履歴データの経過時間、特定演奏位置を示し、合計４の履歴データ（ａ、ｂ、ｃ、ｄ）を表している。なお、信頼性指標については省略している。

また、図５（ａ）におけるＣ１、Ｃ２、Ｃ３、Ｃ４は、各経過時間において演奏位置特定部１０２２が特定した特定演奏位置を示す点である。演奏位置特定部１０２２は、Ｃ４を特定した時点において、過去の数点（本実施形態においては４点）から、各履歴データと類似性の高いデータを選択する。ここでは、Ｃ１、Ｃ２、Ｃ３、Ｃ４の変化と類似している実線で示した履歴データａが選択される。

そして、演奏位置特定部１０２２は、演奏位置推定部１０２１から出力された推定演奏位置情報が示す最新の推定演奏位置Ｃ５−Ａと、履歴データａにおけるＣ５−Ａの経過時間に対応する演奏位置Ｃ５−Ｂとを比較する。ここで、演奏位置特定部１０２２は、Ｃ５−Ｂに対応する信頼性指標に対して上記類似性に応じて増減（例えば、類似性が低ければ正確性の程度を低く）させた信頼性指標と、Ｃ５−Ａに対応する信頼性指標とを比較し、正確性の程度が高い信頼性指標に対応する演奏位置を特定し、特定演奏位置とする。そして、当該特定演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を生成する。

上記において、演奏位置特定部１０２２がＣ５−Ａを特定演奏位置Ｃ５として特定した場合について図５（ｂ）に示す。演奏位置特定部１０２２は、Ｃ２、Ｃ３、Ｃ４、Ｃ５の変化と類似している実線で示した履歴データｄを選択する。そして、演奏位置推定部１０２１から出力された推定演奏位置情報が示す最新の推定演奏位置Ｃ６−Ａと、履歴データｄにおけるＣ６−Ａの経過時間に対応する演奏位置Ｃ６−Ｂとを比較し、上述のようにして演奏位置を特定する。このようにして、順次処理を継続して、特定演奏位置情報を出力する。これにより、演奏位置特定部１０２２は、過去の履歴を示す履歴データを参考にして現在の演奏位置を特定できるから、演奏位置の特定における正確性の程度を高めることできる。以上が、演奏位置特定部１０２２の動作である。

図３に戻って説明を続ける。履歴更新部１０２３は、特定演奏位置情報が示す特定演奏位置と信頼性指標とを経過時間に対応付けてＲＡＭ１３にバッファする。そして、楽曲が終了した後に、バッファしたデータを履歴データとして、履歴データベースに登録する。一方、履歴データベースに登録された履歴データが所定の数以上になった場合には、これらの履歴データのうち、信頼性指標が示す正確性の程度の平均が最も低い履歴データを削除する。

クロック生成部１０２４は、演奏位置特定部１０２２から出力された特定演奏位置情報が示す特定演奏位置に基づいて、当該特定演奏位置に対応するように決定した楽曲の演奏位置に対応した時刻を示すタイムコードを有する演奏クロックを生成して出力する。このようにして、出力された演奏クロックを参照して、仮にリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。

図２に戻って説明を続ける。データ読出部１０３は、演奏クロック生成部１０２から出力される演奏クロックのタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。

データ処理部１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータとを有する歌詞データは、演奏クロック生成部１０２から出力された演奏クロックを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。

遅延部１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述した演奏クロック生成部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。

映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、過去の履歴を示す履歴データを参考にして特定された特定演奏位置に基づいて生成されているから、データ再生装置１は、楽曲の進行にあわせた演奏クロックを精度よく生成することができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態における演奏クロック生成部１０２の演奏位置推定部１０２１は、他の方式で演奏位置を推定してもよい。例えば、ライブ楽音データに係るライブ演奏の音量レベルを検出し、その音量レベルの変化（例えば、急激に音量レベルが大きくなる部分）に基づいてビートを抽出し、ライブ演奏のＢＰＭ（Beats Per Minute）値を計算する。そして、ＢＰＭ値とライブ演奏が開始されてから経過した時間とに基づいて、楽曲の演奏位置を推定すればよい。一方、信頼性指標については、ＢＰＭ値を計算するときの精度、ビートの抽出の精度（例えば、音量レベルの変化から検出可能なアタック検出レベルなど）、ＢＰＭ値の所定時間内の変動量や安定性などに基づいて生成すればよい。演奏位置推定部１０２１は、このようなビート検出手段としてもよい。

また、ライブ楽音データに係るライブ演奏の周波数分布などからピッチを検出し、当該ピッチに基づいて和音コードを認識する。そして、認識した和音コードの変化（コード進行）と、楽曲データ選択部１０１から出力された参照用データが示すコード進行とを比較することにより、楽曲の演奏位置を推定すればよい。一方、信頼性指標については、ピッチ検出の精度、和音コードの認識の精度などに基づいて生成すればよい。演奏位置推定部１０２１は、このようなコード進行検出手段としてもよい。

また、ビート検出手段と同様にしてＢＰＭ値を計算し、楽曲において、ＢＰＭ値が変化したり、ビートが変化したりする演奏位置を示す参照用データと比較することによって、演奏位置を推定するようなビート変化検出手段、ライブ楽音データにおける特徴的な音（例えば、シンバルの音、特定楽器のソロ演奏、電子音など周波数分布の解析などによって特定できるような音）を検出し、楽曲において特徴的な音が発生する演奏位置を示す参照用データと比較することによって、演奏位置を推定する特徴音検出手段など、様々なアルゴリズムによって演奏位置を推定することができる。そして、推定演奏位置の正確性の程度を示す信頼性指標を生成すればよい。このように、演奏位置推定部１０２１は、ライブ楽音データに基づいて、演奏位置を推定することができれば、どのようなアルゴリズムを用いてもよい。なお、参照用データは、リファレンス楽音データと同様に、楽曲データ記憶領域１４ａに記憶するようにすればよい。

＜変形例２＞
実施形態における演奏位置推定部１０２１の演奏位置の推定は、一定時間ごとに行なわれてもよいし、非定期で行なわれてもよい。非定期で行われる場合には、信頼性指標が示す正確性の程度が所定値より高くなった場合、低くなった場合、大きく変化した場合、推定演奏位置が所定量以上変化した場合、また、これらの条件によって所定時間以上推定が行われなかった場合など、どのような間隔で行なわれてもよい。

＜変形例３＞
実施形態においては、演奏位置推定部１０２１は、１つの演奏位置を推定していたが、複数の演奏位置を推定するようにしてもよい。そして、演奏位置推定部１０２１は、複数の推定演奏位置の各々の正確性の程度を示す信頼性指標を生成し、複数の推定演奏位置と信頼性指標を示す推定演奏位置情報を対応付けて生成してもよい。このとき、信頼性指標が同じ推定演奏位置はまとめて対応付けてもよい。なお、推定演奏位置を所定の範囲で推定し、それぞれの信頼性指標を確率密度関数として示した推定演奏位置情報を生成してもよい。

この場合、演奏位置特定部１０２２は、演奏位置推定部１０２１から出力された推定演奏位置情報が示す推定演奏位置のうち、正確性の程度が低い推定演奏位置であっても、履歴データが示す演奏位置と一致する演奏位置であれば、その演奏位置の正確性の程度を高くして認識する。このようにすると、演奏位置特定部１０２２は、演奏位置を精度よく特定することができる。

＜変形例４＞
演奏位置特定部１０２２における演奏位置の特定は、実施形態における態様に限られない。例えば、履歴データが示す演奏位置および特定演奏位置に対応する信頼性指標がともに正確性の程度が低いことを示している場合には、直前までに特定した演奏位置の変化量（テンポ）を維持しているとして、演奏位置を特定してもよい。また、過去の数点の特定演奏位置から各履歴データと類似性の高いデータを１つ選択して推定演奏位置と比較していたが、複数の履歴データを用いて推定演奏位置と比較してもよい。また、演奏位置について、推定演奏位置か履歴データが示す演奏位置のいずれかを選択して特定していたが、それぞれの信頼性指標が示す正確性の程度に基づいて、重み付けして平均をとることにより、加重平均された演奏位置を算出し、これを特定演奏位置としてもよい。

また、変形例３に示す推定演奏位置情報のように、演奏位置特定部１０２２は、複数の演奏位置を特定し、当該複数の特定演奏位置と対応する信頼性指標を示す特定演奏位置情報を生成してもよい。なお、特定演奏位置を所定の範囲で推定し、それぞれの信頼性指標を確率密度関数として示した特定演奏位置情報を生成してもよい。

この場合、クロック生成部１０２４は、信頼性指標が示す正確性の程度が最も高い特定演奏位置に基づいて演奏クロックを生成すればよい。また、演奏位置推定部１０２１は、複数の特定演奏位置を基準にして、演奏位置を推定すればよい。そして、履歴更新部１０２３は、特定の経過時間において、複数の特定演奏位置と信頼性指標を記録する履歴データを生成して履歴データベースに登録してもよいし、正確性の程度が最も高い特定演奏位置とその信頼性指標を抜き出した履歴データとしてもよい。このようにすると、クロック生成部１０２４は、精度の高い演奏クロックを生成することができる。

＜変形例５＞
クロック生成部１０２４は、特定演奏位置を取得してから次に特定演奏位置を取得するまでの間は、直前までに取得した特定演奏位置の変化量に基づいて決定したテンポで演奏クロックを生成するようにしてもよい。また、本実施形態のような遅延部１０５を有するデータ再生装置１で用いられる場合には、遅延部１０５における遅延時間を利用し、次の特定演奏位置を取得してから、その時点までの演奏クロックを生成してもよい。このようにすれば、テンポの変動があっても、テンポが滑らかに変化したとして演奏クロックを生成することもできる。

＜変形例６＞
実施形態においては、履歴更新部１０２３は、特定演奏位置情報が示す特定演奏位置と信頼性指標とを経過時間に対応付けた履歴データを生成して、履歴データベースに登録していたが、推定演奏位置情報が示す推定演奏位置と信頼性指標とを経過時間に対応付けた履歴データとしてもよいし、両者を対応させた履歴データを生成してもよい。また、履歴データは、楽曲の全体の履歴を示すものでなくてもよく、例えば、信頼性指標が示す正確性の程度が高い部分だけを抜き出したデータとしてもよい。また、楽曲の終了時に、信頼性指標が示す正確性の程度の楽曲全体の平均が所定値以上であったときに履歴データを履歴データベースに登録するようにしてもよい。

また、履歴データベースに登録された履歴データのうち、特定演奏位置情報が示す演奏位置の時刻の変化に応じた変化の態様と、一致の程度を示す一致度が高い履歴データが登録されている場合、履歴更新部１０２３は、当該履歴データの信頼性指標を一致度に基づいて修正することによって、履歴データベースを更新してもよい。例えば、一致度が高いほど、正確性の程度が高くなるように信頼性指標を修正すればよい。

一方、履歴更新部１０２３は、履歴データベースから履歴データを削除する場合には、正確性の程度の楽曲全体の平均が低い履歴データから削除していたが、単に古い履歴データから削除してもよい。また、履歴データ間で、一致度が高いデータが多くなった場合には、これらを統合して１の履歴データとし、統合した数に応じて信頼性指標を修正してもよい。なお、このような統合は楽曲全体で一致度を判定しなくてもよく、楽曲の一部で判定してもよい。このようにすれば、履歴データにより記憶部１４の記憶容量の圧迫を低減することができる。また、同じような履歴が多い場合は、正確性の程度が高い履歴として統合できるから、演奏位置特定部１０２２における演奏位置の特定の精度を向上させることができる。

＜変形例７＞
実施形態の構成に加えて、図６に示すように、ライブ演奏に係る情報である補助情報を取得し、これを利用して演奏クロックを生成するようにしてもよい。ここで、補助情報とは、例えば、ライブ演奏の開始時刻、停止時刻、演奏位置が大きく変化することを示すジャンプ情報、大まかな演奏位置を示す演奏位置情報等、ライブ楽音データに係るライブ演奏の演奏シーケンスを示す情報であってもよいし、楽曲情報のように、楽曲を特定する情報、楽曲の分野などの種別情報、演奏パート構成の情報、演奏者の情報などの楽曲の内容に関する情報であってもよい。そして、図７のように、演奏位置特定部１０２２、履歴更新部１０２３またはクロック生成部１０２４に補助情報が入力されるようにしてもよい。

このようにすると、例えば、履歴データベースの履歴データに演奏者の情報も対応付けて記録しておき、演奏位置特定部１０２２は、演奏者の情報を有する補助情報を取得すれば、同じ楽曲であっても、演奏者に応じて履歴データベース内の履歴データを使うことができる。これにより、演奏者によって楽曲の演奏に癖があっても、演奏位置特定部１０２２は、演奏者の違いに対応して履歴データを使い分けて精度よく演奏位置を特定することができる。また、履歴更新部１０２３は、当該補助情報を取得し、演奏者の情報を対応付けて記録した履歴データを履歴データベースに登録すればよい。なお、補助情報が演奏パート構成の情報などであっても同様である。このように、履歴データは、さらに補助情報を対応付けて記録して、履歴データベースに登録されることによって、演奏クロック生成部１０２は、精度の高い演奏クロックの生成を行うことができる。

また、クロック生成部１０２４に補助情報が入力される場合には、例えば、補助情報が演奏シーケンスを示す情報とすれば、演奏クロックについて、ライブ演奏の開始時刻や、停止時刻、ジャンプ情報などに基づいて生成することもできる。また、大まかな演奏位置を示す演奏位置情報であれば、当該演奏位置情報を特定演奏位置情報に基づいて補正して演奏クロックを生成することもできる。すなわち、補正情報を用いることで演奏クロック生成部１０２は、精度の高い演奏クロックの生成を行うことができる。

＜変形例８＞
実施形態におけるクロック生成部１０２４は、生成する演奏クロックの正確性の程度を示す信頼性情報を生成して、演奏クロックとともに出力してもよい。このようにすると、図８に示すように、総合演奏クロック生成部１０７を用いて、以下に説明するような構成とすることができる。総合演奏クロック生成部１０７は、図９に示すように、実施形態における演奏クロック生成部１０２に信頼性情報を生成することができる演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃを有する。

本変形例においては、ライブ楽音データおよびリファレンス楽音データは、ボーカルトラック、伴奏トラック、リズムトラックから構成され、演奏クロック生成部１０２−Ａは、ライブ各音データおよびリファレンス楽音データのボーカルトラックが入力される。同様にして、演奏クロック生成部１０２−Ｂには伴奏トラックが、演奏クロック生成部１０２−Ｃにはリズムトラックが入力される。そして、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、入力されたライブ楽音データの各トラックに対して、各々実施形態において説明した演奏クロック生成部１０２における処理を行い、さらに演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、各々が生成した演奏クロックの正確性の程度を示す信頼性情報をクロック調整部１０８に出力する。ここで、履歴データベースは、トラックを示す情報が対応付けられた履歴データを有し、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、トラックに対応した履歴データを用いて処理を行う。また、信頼性情報は、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃにおける演奏位置特定部１０２２から出力される特定演奏位置情報が示す信頼性指標に基づいて生成される。

クロック調整部１０８は、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃから出力された演奏クロックと信頼性情報とに基づいて、新たに演奏クロックを生成し、データ読出部１０３に出力する。クロック調整部１０８における演奏クロックの生成は、信頼性情報が示す正確性の程度が最も高い演奏クロックに基づいて生成してもよいし、加重平均などの他の方法で演奏クロックを生成してもよい。このようにすると、生成される演奏クロックはさらに精度を高いものとすることができる。

＜変形例９＞
実施形態においては、歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。また、歌詞データではなく、他のシーケンスデータ、例えば、ＡＵＸ（Auxiliary）端子などに接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータや、ＭＩＤＩデータのように楽音の発音を示すシーケンスデータであってもよい。この場合は、データ再生装置１は、これらのデータを読み出すことができるように演奏クロックを変換する変換部、ＡＵＸ端子などの制御信号出力部、ＭＩＤＩデータを再生する音源部などを具備するようにすればよい。

＜変形例１０＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報などを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Digital Versatile Disc）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例１１＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図１０に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。

＜変形例１２＞
実施形態においては、演奏クロック生成部１０２は、ライブ楽音データに基づいて演奏クロックを生成していたが、ライブ映像データに基づいて演奏クロックを生成してもよい。この場合も、ライブ楽音データのときと同様にして、所定のアルゴリズムおよび履歴データベースを用いてライブ映像データを解析した結果に基づいて、演奏クロックを生成するようにすればよい。ライブ映像データを解析するアルゴリズムの一例としては、ライブ映像に係るライブ映像と、楽曲の進行における映像の見本となるリファレンス映像データとを比較することにより、実施形態において説明したＤＰマッチングを行い、演奏位置を推定すればよい。この際、映像の一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較してもよい。このように、演奏クロック生成部１０２は、楽曲の内容に対応し時刻の進行に応じて変化するデータであれば、どのようなデータに基づいても、所定のアルゴリズムで解析して、その結果に基づいて演奏クロックを生成することができる。

＜変形例１３＞
実施形態における履歴データベースについては、データ再生装置１と通信可能なサーバに記憶させておいてもよい。この場合には、演奏クロック生成部１０２の演奏位置特定部１０２２は、通信部１７を介してサーバと通信し、履歴データベースを用いればよい。同様にして、履歴更新部１０２３は、通信部１７を介してサーバと通信し、履歴データベースを更新すればよい。さらに履歴更新部１０２３についても、サーバにその機能を持たせるようにしてもよい。この場合には、演奏位置特定部１０２２は、通信部１７を介してサーバと通信し、特定演奏位置情報を送信するようにすればよい。このように、履歴データベースをサーバが記憶することで、大量の履歴データを履歴データベースに登録することができるから、データ再生装置１は大量の記憶容量の記憶部を用いなくてもよい。また、履歴更新部１０２３の機能をサーバに持たせることにより、複雑な処理を行って履歴データベースの更新を行うこともでき、データ再生装置１は、高度な処理能力を有するＣＰＵを用いなくてもよい。

実施形態に係るデータ再生装置のハードウエアの構成を示すブロック図である。 実施形態に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 実施形態に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。 実施形態に係る演奏位置特定部の動作の説明図である。 変形例７に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 変形例７に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 変形例８に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 変形例８に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 変形例１１に係るデータ再生装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…データ再生装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２、１０２−Ａ、１０２−Ｂ、１０２−Ｃ…演奏クロック生成部、１０２１…演奏位置推定部、１０２２…演奏位置特定部、１０２３…履歴更新部、１０２４…クロック生成部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…総合演奏クロック生成部、１０８…クロック調整部

Claims (15)

1. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
   時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶する記憶手段と、
   演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、
   前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、
   前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、
   前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
   を具備することを特徴とする演奏クロック生成装置。
2. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
   時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、
   演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、
   前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、
   前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、
   前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
   を具備することを特徴とする演奏クロック生成装置。
3. 前記更新手段は、前記履歴データベースが有する履歴データのうち、前記特定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と一致の程度を示す一致度が所定値以上となる履歴データが存在する場合には、当該履歴データの信頼性指標を前記一致度に基づいて修正し、前記一致度が所定値以上となる履歴データが存在しない場合には、前記特定演奏位置情報が示す演奏位置と信頼性指標との時刻の進行に応じた変化を履歴データとして前記履歴データベースに登録する
   ことを特徴とする請求項１または請求項２に記載の演奏クロック生成装置。
4. 前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段をさらに具備し、
   前記履歴データベースは、演奏位置と信頼性指標とに対して補助情報を対応付けた履歴データを有し、
   前記更新手段は、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方と、前記補助情報取得手段が取得した補助情報とに基づいて、前記履歴データベースの内容を更新する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の演奏クロック生成装置。
5. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
   時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、
   演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、
   前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、
   前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方を前記サーバに送信する送信手段と、
   前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
   を具備することを特徴とする演奏クロック生成装置。
6. 前記演奏位置推定手段は、演奏位置と信頼性指標との組を複数示す推定演奏位置情報を生成する
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の演奏クロック生成装置。
7. 前記演奏位置推定手段は、演奏位置を所定範囲で推定し、信頼性指標を当該所定範囲の正確性の程度の分布とする
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の演奏クロック生成装置。
8. 前記演奏位置特定手段は、前記推定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様に基づいて、前記履歴データベースが有する履歴データを選択し、当該選択した履歴データが示す演奏位置に基づいて前記特定演奏位置情報を生成する
   ことを特徴とする請求項１乃至請求項７のいずれかに記載の演奏クロック生成装置。
9. 前記クロック生成手段は、前記演奏クロックを生成するとともに、前記特定演奏位置情報が示す信頼性指標に基づいて、前記演奏クロックの正確性の程度を示す信頼性情報を生成する
   ことを特徴とする請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置。
10. 請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
    前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
    前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段と
    を具備することを特徴とするデータ再生装置。
11. 請求項９に記載の演奏クロック生成装置を複数具備し、
    前記複数の演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
    前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
    外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段と
    を具備し、
    前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、
    各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得する
    ことを特徴とするデータ再生装置。
12. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
    を備えることを特徴とする演奏クロック生成方法。
13. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、
    前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程と
    を具備することを特徴とするデータ再生方法。
14. コンピュータに、
    楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と
    を実現させるためのプログラム。
15. コンピュータに、
    楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、
    前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能と
    を実現させるためのプログラム。

Images