JP5012269B2 - 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム - Google Patents

Description

本発明は、入力されたデータと同期して、他のデータを再生させるためのクロック生成技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。

また、伴奏データの代わりにライブ演奏などを録音した楽音データを用いる場合、その楽曲のテンポが必ずしも一定でないため、その楽曲のビートを抽出して算出したＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ）値に基づいてクロックを生成し、当該クロックに基づいてシーケンスデータを読み出すことによって、歌詞テロップを楽曲の進行に合わせて表示可能なカラオケ装置を提供する技術が開示されている（例えば、特許文献１）。一方、データ処理の負荷を低減するため、事前に楽音データを分析して得られたキーポイントとなる情報を示す分析情報を用いて、入力された楽音データに同期して再生を行う技術が開示されている（例えば、特許文献２）。
特開２００７−３３８５１号公報 特開２００５−１２２６６４号公報

しかし、特許文献１に開示された技術を用いる場合には、楽曲のビートを抽出することによって、テンポの変化を認識していることから、ビートが不明確である楽曲など、楽曲の内容によっては、正常に機能しないことがあった。また、特許文献２に開示された技術においては、分析情報は、事前に生成されている楽音データを分析して生成された情報であるから、実際に入力される楽音データが示す演奏内容が、分析情報の生成に用いた楽音データが示す演奏内容と異なる場合には、入力された楽音データと同期して画像を表示させる機能が正常に働かないことがあった。

本発明は、上述の事情に鑑みてなされたものであり、楽曲の進行にあわせた演奏クロックを精度よく生成することができるとともに、処理を行う度により精度を向上させることができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースを記憶する記憶手段と、前記データ取得手段が取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出手段と演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を取得し、当該取得した演奏位置情報と、前記履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成手段と、前記特徴量抽出手段が抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出手段と、前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新手段と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。

また、本発明は、時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、前記データ取得手段が取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を取得し、当該取得した演奏位置情報と、前記履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成手段と、前記特徴量抽出手段が抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出手段と、前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新手段と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。

また、別の好ましい態様において、前記更新手段は、前記履歴データベースが有する履歴データのうち、前記演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と一致の程度を示す一致度が所定値以上となる履歴データが存在する場合には、当該履歴データの信頼性指標を前記一致度に基づいて修正し、前記一致度が所定値以上となる履歴データが存在しない場合には、前記演奏位置情報が示す演奏位置と当該演奏位置に対応する特徴量と信頼性指標との時刻の進行に応じた変化を履歴データとして前記履歴データベースに登録してもよい。

また、別の好ましい態様において、前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段をさらに具備し、前記履歴データベースは、特徴量と演奏位置と信頼性指標とに対して補助情報を対応付けた履歴データを有し、前記更新手段は、前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報と、前記補助情報取得手段が取得した補助情報とに基づいて、前記履歴データベースの内容を更新してもよい。

また、本発明は、時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、前記データ取得手段が取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を取得し、当該取得した演奏位置情報と、前記履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成手段と、前記特徴量抽出手段が抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出手段と、前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報とを前記サーバに送信する送信手段と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。

また、別の好ましい態様において、前記参照データ生成手段は、時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標の組を複数示す参照データを生成してもよい。

また、別の好ましい態様において、前記参照データ生成手段は、時刻の進行に応じて変化する所定範囲の特徴量、当該特徴量に対応する所定範囲の楽曲の演奏位置および当該演奏位置の正確性の程度の分布を示す信頼性指標を示す参照データを生成してもよい。

また、別の好ましい態様において、前記参照データ生成手段は、前記演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と、前記履歴データベース内の履歴データが示す楽曲の演奏位置の時刻の進行に応じた変化の態様との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて参照データを生成してもよい。

また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、前記演奏位置情報が示す信頼性指標に基づいて、前記演奏クロックの正確性の程度を示す信頼性情報を生成してもよい。

また、本発明は、上記記載の演奏クロック生成装置と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、本発明は、複数の上記記載の演奏クロック生成装置と、複数の前記演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段とを具備し、前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得することを特徴とするデータ再生装置を提供する。

また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、前記データ取得過程において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出過程と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成過程と、前記特徴量抽出過程において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出過程と、前記特徴量抽出過程において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新過程と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とを備えることを特徴とする演奏クロック生成方法を提供する。

また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、前記データ取得過程において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出過程と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成過程と、前記特徴量抽出過程において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出過程と、前記特徴量抽出過程において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新過程と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程とを具備することを特徴とするデータ再生方法を提供する。

また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、前記データ取得機能において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出機能と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成機能と、前記特徴量抽出機能において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出機能と、前記特徴量抽出機能において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新機能と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能とを実現させるためのプログラムを提供する。

また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、前記データ取得機能において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出機能と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成機能と、前記特徴量抽出機能において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出機能と、前記特徴量抽出機能において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新機能と、前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。

本発明によれば、楽曲の進行にあわせた演奏クロックを精度よく生成することができるとともに、処理を行う度により精度を向上させることができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、データ再生装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらにＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（楽曲関連データ）、ライブ楽音データ（楽曲関連データ）を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報（以下、楽曲情報という）についても、通信部１７において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。

記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、歌詞データ（同期データ）と履歴データベースとを有している。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（時刻情報）が付されている。履歴データベースは、過去の履歴について記録するデータベースであって、本実施形態においては、後述するような方法によって過去に生成した特徴量データおよび演奏位置情報に関する内容について記録した履歴データを蓄積するデータベースである。履歴データベースについての詳細は後述する。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、データ再生装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、データ再生装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報を受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現するデータ再生の機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

楽曲データ選択部１０１は、ライブデータバッファ領域１３ａから楽曲情報を読み取り、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データの歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出した歌詞データを後述するデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。

演奏クロック生成部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、所定のアルゴリズムおよび楽曲データ記憶領域１４ａに記憶されている当該楽曲の履歴データベースを用いて、ライブ楽音データを解析し、取得したときのライブ楽音データに係るライブ演奏が楽曲のどの部分の演奏に対応（以下、演奏位置という）しているかを検出し、当該演奏位置に基づいて楽曲の演奏位置に対応した時刻を示す演奏クロックを後述するデータ読出部１０３に出力する機能を有している。また、検出した演奏位置に基づいて履歴データベースを更新する機能を有している。なお、演奏位置については、時刻で示したものであってもよいし、拍、小節、楽曲全体の進行割合などで示したものであってもよく、楽曲のうち所定の位置を特定できるものであれば、どのようなものであってもよい。以下、演奏クロック生成部１０２について、図３を用いて説明する。図３は、演奏クロック生成部１０２における構成を示したブロック図である。

演奏クロック生成部１０２は、特徴量抽出部１０２１、演奏位置検出部１０２２、参照データ生成部１０２３、履歴更新部１０２４およびクロック生成部１０２５を有する。

特徴量抽出部１０２１は、ライブ楽音データに基づいて、ライブ楽音データに係るライブ演奏の特徴量を抽出する機能を有している。本実施形態においては、ライブ楽音データに係るライブ演奏の周波数分布をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などを用いて測定する、そして、測定した周波数分布からピッチを検出し、当該ピッチに基づいて和音コード（Ｃ、Ｄｍ７，Ｆ、Ｇ７など）を特徴量として抽出する。特徴量として抽出した和音コードを特徴量データとして生成し、演奏位置検出部１０２２および履歴更新部１０２４に出力する。

演奏位置検出部１０２２は、特徴量抽出部１０２１から出力された特徴量データが示す特徴量と、後述する参照データ生成部１０２３において生成される参照データが示す特徴量とを比較することにより対応付け、演奏位置を検出する。そして、検出した演奏位置と、当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を生成し、参照データ生成部１０２３、履歴更新部１０２４およびクロック生成部１０２５に出力する。ここで、信頼性指標は、例えば、特徴量データが示す特徴量と、参照データが示す特徴量との一致の程度、参照データから推測される演奏位置とのずれ等に基づいて生成される。なお、特徴量データにも特徴量の抽出の正確性を示す信頼性指標を持たせるようにした場合には、演奏位置情報が示す信頼性指標に、特徴量データが示す信頼性指標を加味してもよい。

参照データ生成部１０２３は、ライブデータバッファ領域１３ａから楽曲情報を取得し、楽曲データ記憶領域１４ａに記憶されるリファレンス楽曲データのうち、取得した楽曲情報によって特定される楽曲に対応する履歴データベースと、演奏位置検出部１０２２から出力された演奏位置情報とを取得して、参照データを生成する。以下、履歴データベースと参照データについて説明する。

履歴データベースに登録された履歴データは、過去に特徴量抽出部１０２１において生成された特徴量データと、演奏位置検出部１０２２において生成された演奏位置情報とに基づいて生成されたデータであって、特徴量データが示す特徴量（本実施形態においては和音コード）と、演奏位置情報が示す演奏位置と信頼性指標とが、楽曲が開始されてから経過した時間（以下、経過時間という）に対応したデータとなっている。すなわち、履歴データは、経過時間、特徴量、演奏位置、信頼性指標を対として記録され、時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示すデータである。

また、参照データは、本実施形態においては、履歴データとほぼ同じ構成であり、信頼性指標を除いた、経過時間、特徴量、演奏位置を対として記録され、時刻の進行に応じて変化する楽曲の特徴量と、当該特徴量に対応する楽曲の演奏位置とを示すデータとなっている。

以下、参照データ生成部１０２３における参照データの生成について図４を用いて説明する。図４は、横軸に経過時間、縦軸に演奏位置を示した図である。そして、図中の実線および破線は、履歴データの経過時間、演奏位置を示し、合計４の履歴データ（ａ、ｂ、ｃ、ｄ）を表している。なお、特徴量、信頼性指標については省略しているが、実際には各時点における演奏位置に対応して特徴量、信頼性指標もデータとして存在する。

また、図４（ａ）におけるＣ１、Ｃ２、Ｃ３、Ｃ４は、各経過時間において、参照データ生成部１０２３に出力された演奏位置情報が示す演奏位置を表す点である。参照データ生成部１０２３は、演奏位置情報が示す演奏位置がＣ４となった時点において、過去の数点（本実施形態においては４点）から、その演奏位置の変化の態様と各履歴データとを比較し、類似性の高い履歴データを選択する。ここでは、Ｃ１、Ｃ２、Ｃ３、Ｃ４の変化と類似している実線で示した履歴データａが選択される。そして、参照データ生成部１０２３は、選択した履歴データａに対応した参照データを生成する。

そして、次に演奏位置情報が示す演奏位置がＣ５−Ａの場合、Ｃ５−Ｂの場合について説明する。まず、演奏位置情報が示す演奏位置がＣ５−Ａの場合、参照データ、すなわち選択した履歴データａが示す演奏位置とほぼ一致している。これは、現在のライブ楽音データに係るライブ演奏の演奏位置の変化の態様が、履歴データａが示す時刻の進行に応じた演奏位置の変化の態様とほぼ同じものであるといえるから、今後も同様な変化の態様であることが推定される。そのため、参照データを他の履歴データへ変更することなく、現状の参照データのまま維持する。

一方、演奏位置情報が示す演奏位置がＣ５−Ｂの場合、履歴データａが示す演奏位置とは離れた演奏位置となっている。この場合、演奏位置検出部１０２２における演奏位置の検出の正確性によって状況が変化する。すなわち、この演奏位置に対応する信頼性指標が示す正確性の程度が所定値より高ければ演奏位置の信頼性が高く、現在のライブ楽音データに係るライブ演奏の演奏位置の変化の態様が、履歴データａが示す時刻の進行に応じた演奏位置の変化の態様とは異なっていることを示しているから、今後も異なった変化の態様であることが推定される。逆に、正確性の程度が所定地より低ければ、一時的に演奏位置の検出の正確性が低下し、履歴データａが示す演奏位置から一時的に離れただけである可能性が高いことを示している。

そのため、正確性の程度が低い場合には、上記同様、参照データを他の履歴データへ変更することなく、現状の参照データのまま維持する。そして、正確性の程度が高い場合には、参照データ生成部１０２３が選択した履歴データａが間違っていた可能性が高いから、参照データの元となる履歴データを選択しなおす。

図４（ｂ）は、図４（ａ）において参照データ生成部１０２３に出力された演奏位置情報がＣ５−Ｂ（図４（ｂ）においてはＣ５とする）であり、信頼性指標が示す正確性の程度が所定値以上であった場合を示している。参照データ生成部１０２３は、演奏位置情報が示す演奏位置がＣ５となった後、参照データを変更する。すなわち、参照データ生成部１０２３は、演奏位置Ｃ２、Ｃ３、Ｃ４、Ｃ５の変化と類似している実線で示した履歴データｄを選択する。そして、参照データ生成部１０２３は、選択した履歴データｄに基づいて、参照データを生成して、すでに生成されている参照データと置き換えることによって変更する。

このようにすると、参照データ生成部１０２３が生成する参照データが示す特徴量のうち、ある経過時間に対応する特徴量は、当該経過時間において演奏位置検出部１０２２に入力された特徴量データが示す特徴量と近いものとなる。そのため、演奏位置検出部１０２２は、特徴量抽出部１０２１から出力された特徴量データが示す特徴量と、参照データ生成部１０２３において生成される参照データが示す特徴量とを比較して対応付けるときに、正確性の程度が高い演奏位置の検出を行うことができる。なお、演奏位置情報が示す演奏位置の変化の態様と類似している履歴データが複数存在することにより、選択すべき履歴データが複数存在した場合には、履歴データの信頼性指標に基づいて選択すればよい。以上が、参照データ生成部１０２３における参照データの生成の説明である。

図３に戻って説明を続ける。履歴更新部１０２４は、特徴量抽出部１０２１から出力された特徴量データが示す特徴量と、演奏位置検出部１０２２から出力された演奏位置情報が示す演奏位置と信頼性指標とを経過時間に対応付けてＲＡＭ１３にバッファする。そして、楽曲が終了した後に、バッファしたデータを履歴データとして、履歴データベースに登録する。一方、履歴データベースに登録された履歴データが所定の数以上になった場合には、これらの履歴データのうち、信頼性指標が示す正確性の程度の平均が最も低い履歴データを削除する。

クロック生成部１０２５は、演奏位置検出部１０２２から出力された演奏位置情報が示す演奏位置に基づいて、当該演奏位置に対応するように決定した楽曲の演奏位置に対応した時刻を示すタイムコードを有する演奏クロックを生成して出力する。

図２に戻って説明を続ける。データ読出部１０３は、演奏クロック生成部１０２から出力される演奏クロックのタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。

データ処理部１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータとを有する歌詞データは、演奏クロック生成部１０２から出力された演奏クロックを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。

遅延部１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述した演奏クロック生成部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。

映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置１は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、過去の履歴を示す履歴データから生成された参照データが示す特徴量とライブ楽音データが示す特徴量とを対応させて検出された演奏位置に基づいて生成されているから、データ再生装置１は、楽曲の進行にあわせた演奏クロックを精度よく生成することができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態における演奏クロック生成部１０２の特徴量抽出部１０２１は、他の方式で特徴量を抽出してもよい。例えば、ライブ楽音データに係るライブ演奏の音量レベルを検出し、その音量レベルの変化（例えば、急激に音量レベルが大きくなる部分）に基づいてビートを抽出し、ライブ演奏のＢＰＭ値を計算する。そして、計算したＢＰＭ値からＢＰＭ値の変化量、変化率など特徴量とした特徴量データを生成すればよい。

また、ライブ楽音データにおける特徴的な音（例えば、シンバルの音、特定楽器のソロ演奏、電子音など周波数分布の解析などによって特定できるような音）を特徴量として抽出してもよい。その他、抽出する特徴量としては、ピッチ、音量、フォルマント、音声スペクトル（周波数分布など）、音声種別（ライブボーカルの声質、楽器の種類、これらの組み合わせなど）、ライブボーカルの歌唱技法（ビブラート、しゃくり、フォールなど）、楽器奏法など様々な特徴量を用いることができる。どのような場合であっても、参照データが示す特徴量は、特徴量データが示す特徴量に対応させるようにすればよい。なお、これらの特徴量は一つが選択されるだけでなく、複数並列で抽出してもよい。

＜変形例２＞
実施形態における演奏位置検出部１０２２の演奏位置の検出は、一定時間ごとに行なわれてもよいし、非定期で行なわれてもよい。非定期で行われる場合には、信頼性指標が示す正確性の程度が所定値より高くなった場合、低くなった場合、大きく変化した場合、演奏位置が所定量以上変化した場合、また、これらの条件によって所定時間以上検出が行われなかった場合など、どのような間隔で行なわれてもよい。

＜変形例３＞
実施形態においては、演奏位置検出部１０２２は、１つの演奏位置を推定していたが、複数の演奏位置を推定するようにしてもよい。そして、演奏位置検出部１０２２は、複数の演奏位置の各々の正確性の程度を示す信頼性指標を生成し、複数の演奏位置と信頼性指標を示す演奏位置情報を対応付けて生成してもよい。このとき、信頼性指標が同じ演奏位置はまとめて対応付けてもよい。なお、演奏位置を所定の範囲で推定し、それぞれの信頼性指標を確率密度関数として示した演奏位置情報を生成してもよい。

この場合、参照データ生成部１０２３は、演奏位置検出部１０２２から出力された演奏位置情報が示す演奏位置と信頼性指標とに基づいて、履歴データベースの履歴データを選択するようにすればよい。履歴更新部１０２４は、演奏位置検出部１０２２から出力された演奏位置情報が示す演奏位置と信頼性指標とに基づいて、複数の演奏位置と信頼性指標を有する履歴データを生成すればよい。

そして、演奏クロック生成部１０２に、演奏位置決定部１０２６を設けて図５に示すような構成にすればよい。ここで、演奏位置決定部１０２６は、演奏位置検出部１０２２から出力された演奏位置情報が示す演奏位置と信頼性指標のうち、正確性の程度が最も高い信頼性指標に対応する演奏位置を決定し、当該演奏位置を示す情報をクロック生成部１０２５に出力するようにすればよい。なお、複数の信頼性指標が示す正確性の程度に基づいて、重み付けして平均をとることにより、加重平均された演奏位置を算出し、当該算出した演奏位置を示す情報をクロック生成部１０２５に出力してもよい。このとき、信頼性指標が示す正確性の程度が所定値以下であった場合には、直前までに特定した演奏位置の変化量（テンポ）を維持しているとして、演奏位置を決定してもよいし、演奏位置を出力しないようにしてもよい。このようにすると、クロック生成部１０２５は、精度の高い演奏クロックを生成することができる。

＜変形例４＞
参照データ生成部１０２３は、演奏位置情報が示す演奏位置の過去の数点から各履歴データと類似性の高いデータを１つ選択し、当該選択した履歴データに基づいて参照データを生成していたが、複数の履歴データに基づいて参照データを生成してもよい。この場合、参照データは、１の経過時間に対応して演奏位置を複数有するようにし、これらの演奏位置に対応して信頼性指標を持たせるようにすればよい。すなわち、参照データは、１の経過時間に対して、複数の特徴量、複数の演奏位置、複数の信頼性指標を対として記録するデータとなるである。

このようにすると、演奏位置検出部１０２２は、参照データが示す複数の特徴量と、特徴量データが示す特徴量とを比較することができ、対応する信頼性指標が示す正確性の程度を加味して対応付けることができるから、精度よく演奏位置を検出することができる。

＜変形例５＞
クロック生成部１０２５は、演奏位置を取得してから次に演奏位置を取得するまでの間は、直前までに取得した演奏位置の変化量に基づいて決定したテンポで演奏クロックを生成するようにしてもよい。また、本実施形態のような遅延部１０５を有するデータ再生装置１で用いられる場合には、遅延部１０５における遅延時間を利用し、次の演奏位置を取得してから、その時点までの演奏クロックを生成してもよい。このようにすれば、テンポの変動があっても、テンポが滑らかに変化したとして演奏クロックを生成することもできる。

＜変形例６＞
実施形態においては、履歴更新部１０２４が生成する履歴データは、楽曲の全体の履歴を示すものであったが、信頼性指標が示す正確性の程度が高い部分だけを抜き出したデータとしてもよい。また、楽曲の終了時に、信頼性指標が示す正確性の程度の楽曲全体の平均が所定値以上であったときに履歴データを履歴データベースに登録するようにしてもよい。

また、履歴データベースに登録された履歴データのうち、演奏位置情報が示す演奏位置の時刻の変化に応じた変化の態様と、一致の程度を示す一致度が高い履歴データが登録されている場合、履歴更新部１０２４は、当該履歴データの信頼性指標を一致度に基づいて修正することによって、履歴データベースを更新してもよい。例えば、一致度が高いほど、正確性の程度が高くなるように信頼性指標を修正すればよい。

一方、履歴更新部１０２４は、履歴データベースから履歴データを削除する場合には、正確性の程度の楽曲全体の平均が低い履歴データから削除していたが、単に古い履歴データから削除してもよい。また、履歴データ間で、一致度が高いデータが多くなった場合には、これらを統合して１の履歴データとし、統合した数に応じて信頼性指標を修正してもよい。なお、このような統合は楽曲全体で一致度を判定しなくてもよく、楽曲の一部で判定してもよい。このようにすれば、履歴データにより記憶部１４の記憶容量の圧迫を低減することができる。また、同じような履歴が多い場合は、正確性の程度が高い履歴として統合できるから、演奏位置検出部１０２２における演奏位置の特定の精度を向上させることができる。

＜変形例７＞
実施形態の構成に加えて、図６に示すように、ライブ演奏に係る情報である補助情報を取得し、これを利用して演奏クロックを生成するようにしてもよい。ここで、補助情報とは、例えば、ライブ演奏の開始時刻、停止時刻、演奏位置が大きく変化することを示すジャンプ情報、大まかな演奏位置を示す演奏位置情報等、ライブ楽音データに係るライブ演奏の演奏シーケンスを示す情報であってもよいし、楽曲情報のように、楽曲を特定する情報、楽曲の分野などの種別情報、演奏パート構成の情報、演奏者の情報などの楽曲の内容に関する情報であってもよい。そして、演奏クロック生成部１０２に補助情報が入力されるようにすればよい。

このようにすると、例えば、履歴データベースの履歴データに演奏者の情報も対応付けて記録しておき、参照データ生成部１０２３は、演奏者の情報を有する補助情報を取得すれば、同じ楽曲であっても、演奏者に応じて履歴データベース内の履歴データを使うことができる。これにより、演奏者によって楽曲の演奏に癖があっても、参照データ生成部１０２３は、演奏者の違いに対応して履歴データを使い分けて参照データを生成することができる。また、履歴更新部１０２４は、当該補助情報を取得し、演奏者の情報を対応付けて記録した履歴データを履歴データベースに登録すればよい。なお、補助情報が演奏パート構成の情報などであっても同様である。このように、履歴データは、さらに補助情報を対応付けて記録して、履歴データベースに登録されることによって、演奏クロック生成部１０２は、精度の高い演奏クロックの生成を行うことができる。

また、特徴量抽出部１０２１に補助情報が入力される場合には、例えば、補助情報が演奏パート構成の情報であれば、特定のパートの音に対応するピッチを測定することで和音コードを抽出することができるから、特徴量抽出部１０２１は、精度よく特徴量を抽出することができる。クロック生成部１０２５に補助情報が入力される場合には、例えば、補助情報が演奏シーケンスを示す情報とすれば、演奏クロックについて、ライブ演奏の開始時刻や、停止時刻、ジャンプ情報などに基づいて生成することもできる。また、大まかな演奏位置を示す演奏位置情報であれば、補助情報が示す演奏位置情報を演奏位置検出部１０２２が示す演奏位置情報に基づいて補正して演奏クロックを生成することもできる。すなわち、補正情報を用いることで演奏クロック生成部１０２は、精度の高い演奏クロックの生成を行うことができる。

＜変形例８＞
実施形態におけるクロック生成部１０２５は、生成する演奏クロックの正確性の程度を示す信頼性情報を生成して、演奏クロックとともに出力してもよい。このようにすると、図７に示すように、総合演奏クロック生成部１０７を用いて、以下に説明するような構成とすることができる。総合演奏クロック生成部１０７は、図８に示すように、実施形態における演奏クロック生成部１０２に信頼性情報を生成することができる演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃを有する。

本変形例においては、ライブ楽音データおよびリファレンス楽音データは、ボーカルトラック、伴奏トラック、リズムトラックから構成され、演奏クロック生成部１０２−Ａは、ライブ楽音データおよびリファレンス楽音データのボーカルトラックが入力される。同様にして、演奏クロック生成部１０２−Ｂには伴奏トラックが、演奏クロック生成部１０２−Ｃにはリズムトラックが入力される。そして、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、入力されたライブ楽音データの各トラックに対して、各々実施形態において説明した演奏クロック生成部１０２における処理を行い、さらに演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、各々が生成した演奏クロックの正確性の程度を示す信頼性情報をクロック調整部１０８に出力する。ここで、履歴データベースは、トラックを示す情報が対応付けられた履歴データを有し、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃは、トラックに対応した履歴データを用いて処理を行う。また、信頼性情報は、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃにおける演奏位置検出部１０２２から出力される演奏位置情報が示す信頼性指標に基づいて生成される。

クロック調整部１０８は、各演奏クロック生成部１０２−Ａ、１０２−Ｂ、１０２−Ｃから出力された演奏クロックと信頼性情報とに基づいて、新たに演奏クロックを生成し、データ読出部１０３に出力する。クロック調整部１０８における演奏クロックの生成は、信頼性情報が示す正確性の程度が最も高い演奏クロックに基づいて生成してもよいし、加重平均などの他の方法で演奏クロックを生成してもよい。このようにすると、生成される演奏クロックはさらに精度を高いものとすることができる。

＜変形例９＞
実施形態においては、歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。また、歌詞データではなく、他のシーケンスデータ、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などに接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータや、ＭＩＤＩデータのように楽音の発音を示すシーケンスデータであってもよい。この場合は、データ再生装置１は、これらのデータを読み出すことができるように演奏クロックを変換する変換部、ＡＵＸ端子などの制御信号出力部、ＭＩＤＩデータを再生する音源部などを具備するようにすればよい。

＜変形例１０＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データなどを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例１１＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図９に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。

＜変形例１２＞
実施形態においては、演奏クロック生成部１０２は、ライブ楽音データに基づいて演奏クロックを生成していたが、ライブ映像データに基づいて演奏クロックを生成してもよい。この場合も、ライブ楽音データのときと同様にして、所定のアルゴリズムおよび履歴データベースを用いてライブ映像データを解析した結果に基づいて、演奏クロックを生成するようにすればよい。ライブ映像データを解析するアルゴリズムの一例としては、ライブ映像に係るライブ映像と、楽曲の進行における映像の特徴量を示す参照データとを比較することにより、演奏位置を検出すればよい。この際、映像の一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較してもよい。このように、演奏クロック生成部１０２は、楽曲の内容に対応し時刻の進行に応じて変化するデータであれば、どのようなデータに基づいても、所定のアルゴリズムで解析して、その結果に基づいて演奏クロックを生成することができる。

＜変形例１３＞
実施形態における履歴データベースについては、データ再生装置１と通信可能なサーバに記憶させておいてもよい。この場合には、演奏クロック生成部１０２の参照データ生成部１０２３は、通信部１７を介してサーバと通信し、履歴データベースを用いればよい。同様にして、履歴更新部１０２４は、通信部１７を介してサーバと通信し、履歴データベースを更新すればよい。さらに履歴更新部１０２４についても、サーバにその機能を持たせるようにしてもよい。この場合には、特徴量抽出部１０２１および演奏位置検出部１０２２は、通信部１７を介してサーバと通信し、特徴量データおよび演奏位置情報を送信するようにすればよい。このように、履歴データベースをサーバが記憶することで、大量の履歴データを履歴データベースに登録することができるから、データ再生装置１は大量の記憶容量の記憶部を用いなくてもよい。また、履歴更新部１０２４の機能をサーバに持たせることにより、複雑な処理を行って履歴データベースの更新を行うこともでき、データ再生装置１は、高度な処理能力を有するＣＰＵを用いなくてもよい。なお、同様にして参照データ生成部１０２３の機能についてもサーバに持たせてもよい。この場合は、演奏位置検出部１０２２は、参照データをサーバから取得すればよい。

実施形態に係るデータ再生装置のハードウエアの構成を示すブロック図である。 実施形態に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 実施形態に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 実施形態に係る参照データ生成部の動作の説明図である。 変形例３に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 変形例７に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 変形例８に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 変形例８に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 変形例１１に係るデータ再生装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…データ再生装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、２０…データ入力部、１０１…楽曲データ選択部、１０２、１０２−Ａ、１０２−Ｂ、１０２−Ｃ…演奏クロック生成部、１０２１…特徴量抽出部、１０２２…演奏位置検出部、１０２３…参照データ生成部、１０２４…履歴更新部、１０２５…クロック生成部、１０２６…演奏位置決定部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…総合演奏クロック生成部、１０８…クロック調整部

Claims (15)

1. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
   時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースを記憶する記憶手段と、
   前記データ取得手段が取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出手段と、
   演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を取得し、当該取得した演奏位置情報と、前記履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成手段と、
   前記特徴量抽出手段が抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出手段と、
   前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新手段と、
   前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
   を具備することを特徴とする演奏クロック生成装置。
2. 時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、
   楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
   前記データ取得手段が取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出手段と、
   演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を取得し、当該取得した演奏位置情報と、前記履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成手段と、
   前記特徴量抽出手段が抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出手段と、
   前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新手段と、
   前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
   を具備することを特徴とする演奏クロック生成装置。
3. 前記更新手段は、前記履歴データベースが有する履歴データのうち、前記演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と一致の程度を示す一致度が所定値以上となる履歴データが存在する場合には、当該履歴データの信頼性指標を前記一致度に基づいて修正し、前記一致度が所定値以上となる履歴データが存在しない場合には、前記演奏位置情報が示す演奏位置と当該演奏位置に対応する特徴量と信頼性指標との時刻の進行に応じた変化を履歴データとして前記履歴データベースに登録する
   ことを特徴とする請求項１または請求項２に記載の演奏クロック生成装置。
4. 前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段をさらに具備し、
   前記履歴データベースは、特徴量と演奏位置と信頼性指標とに対して補助情報を対応付けた履歴データを有し、
   前記更新手段は、前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報と、前記補助情報取得手段が取得した補助情報とに基づいて、前記履歴データベースの内容を更新する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の演奏クロック生成装置。
5. 時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、
   楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
   前記データ取得手段が取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出手段と、
   演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報を取得し、当該取得した演奏位置情報と、前記履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成手段と、
   前記特徴量抽出手段が抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出手段と、
   前記特徴量抽出手段が抽出した特徴量と、前記演奏位置情報とを前記サーバに送信する送信手段と、
   前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
   を具備することを特徴とする演奏クロック生成装置。
6. 前記参照データ生成手段は、時刻の進行に応じて変化する楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標の組を複数示す参照データを生成する
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の演奏クロック生成装置。
7. 前記参照データ生成手段は、時刻の進行に応じて変化する所定範囲の特徴量、当該特徴量に対応する所定範囲の楽曲の演奏位置および当該演奏位置の正確性の程度の分布を示す信頼性指標を示す参照データを生成する
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の演奏クロック生成装置。
8. 前記参照データ生成手段は、前記演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と、前記履歴データベース内の履歴データが示す楽曲の演奏位置の時刻の進行に応じた変化の態様との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて参照データを生成する
   ことを特徴とする請求項１乃至請求項７のいずれかに記載の演奏クロック生成装置。
9. 前記クロック生成手段は、前記演奏クロックを生成するとともに、前記演奏位置情報が示す信頼性指標に基づいて、前記演奏クロックの正確性の程度を示す信頼性情報を生成する
   ことを特徴とする請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置。
10. 請求項１乃至請求項８のいずれかに記載の演奏クロック生成装置と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
    前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
    前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段と
    を具備することを特徴とするデータ再生装置。
11. 複数の請求項９に記載の演奏クロック生成装置と、
    複数の前記演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと信頼性情報とに基づいて、１の演奏クロックを生成するクロック調整手段と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
    前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
    外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段と
    を具備し、
    前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの１のトラックを取得し、
    各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得する
    ことを特徴とするデータ再生装置。
12. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
    前記データ取得過程において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出過程と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成過程と、
    前記特徴量抽出過程において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出過程と、
    前記特徴量抽出過程において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新過程と、
    前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
    を備えることを特徴とする演奏クロック生成方法。
13. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
    前記データ取得過程において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出過程と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成過程と、
    前記特徴量抽出過程において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出過程と、
    前記特徴量抽出過程において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新過程と、
    前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、
    前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程と
    を具備することを特徴とするデータ再生方法。
14. コンピュータに、
    楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
    前記データ取得機能において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出機能と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成機能と、
    前記特徴量抽出機能において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出機能と、
    前記特徴量抽出機能において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新機能と、
    前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と
    を実現させるためのプログラム。
15. コンピュータに、
    楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
    前記データ取得機能において取得した楽曲関連データから所定のアルゴリズムを用いて特徴量を抽出する特徴量抽出機能と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す演奏位置情報と、時刻の進行に応じて変化する前記楽曲の特徴量、当該特徴量に対応する楽曲の演奏位置および当該演奏位置の正確性の程度を示す信頼性指標を示す履歴データを有する履歴データベースとを取得し、当該取得した演奏位置情報と、履歴データベース内の履歴データが示す楽曲の演奏位置および信頼性指標との比較に基づいて履歴データを選択し、当該選択した履歴データに基づいて、時刻の進行に応じて変化する楽曲の特徴量と当該特徴量に対応する楽曲の演奏位置とを示す参照データを生成する参照データ生成機能と、
    前記特徴量抽出機能において抽出した特徴量と、前記参照データが示す特徴量とを対応付けて、前記楽曲の演奏位置を検出し、当該検出した演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す情報を前記演奏位置情報として生成する演奏位置検出機能と、
    前記特徴量抽出機能において抽出した特徴量と、前記演奏位置情報とに基づいて、前記履歴データベースの内容を更新する更新機能と、
    前記演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、
    前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能と
    を実現させるためのプログラム。

Images