JP5092589B2 - 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム - Google Patents

演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム Download PDF

Info

Publication number
JP5092589B2
JP5092589B2 JP2007175338A JP2007175338A JP5092589B2 JP 5092589 B2 JP5092589 B2 JP 5092589B2 JP 2007175338 A JP2007175338 A JP 2007175338A JP 2007175338 A JP2007175338 A JP 2007175338A JP 5092589 B2 JP5092589 B2 JP 5092589B2
Authority
JP
Japan
Prior art keywords
performance position
performance
data
music
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007175338A
Other languages
English (en)
Other versions
JP2009014923A (ja
Inventor
卓朗 曽根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2007175338A priority Critical patent/JP5092589B2/ja
Publication of JP2009014923A publication Critical patent/JP2009014923A/ja
Application granted granted Critical
Publication of JP5092589B2 publication Critical patent/JP5092589B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本発明は、入力されたデータと同期して、他のデータを再生させるためのクロック生成技術に関する。
一般的なカラオケ装置においては、例えば、MIDI(Musical Instrument Digital Interface)形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータである歌詞データおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献1には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献2においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。
特開2003−15675号公報 特開2000−347676号公報
カラオケの楽音データに対して歌詞データを同期して再生するなど、異なる2つのデータを同期して再生することがしばしば要求される。このとき楽音データがライブ演奏などである場合には、楽曲の進行におけるテンポ変動にあわせて歌詞データを再生する必要がある。このような再生を実現するには、楽曲の進行の基準となるデータと楽音データとを比較することによって同期処理を行って歌詞データを読み出すクロックを生成する方法が考えられるが、基準となるデータと楽曲の演奏によって生成された楽音データとの違いが大きくなると、同期処理の精度が悪くなる場合がある。
本発明は、上述の事情に鑑みてなされたものであり、楽曲の進行にあわせた演奏クロックを精度よく生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することを目的とする。
上述の課題を解決するため、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶する記憶手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。
また、別の好ましい態様において、前記更新手段は、前記履歴データベースが有する履歴データのうち、前記特定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と一致の程度を示す一致度が所定値以上となる履歴データが存在する場合には、当該履歴データの信頼性指標を前記一致度に基づいて修正し、前記一致度が所定値以上となる履歴データが存在しない場合には、前記特定演奏位置情報が示す演奏位置と信頼性指標との時刻の進行に応じた変化を履歴データとして前記履歴データベースに登録してもよい。
また、別の好ましい態様において、前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段をさらに具備し、前記履歴データベースは、演奏位置と信頼性指標とに対して補助情報を対応付けた履歴データを有し、前記更新手段は、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方と、前記補助情報取得手段が取得した補助情報とに基づいて、前記履歴データベースの内容を更新してもよい。
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方を前記サーバに送信する送信手段と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段とを具備することを特徴とする演奏クロック生成装置を提供する。
また、別の好ましい態様において、前記演奏位置推定手段は、演奏位置と信頼性指標との組を複数示す推定演奏位置情報を生成してもよい。
また、別の好ましい態様において、前記演奏位置推定手段は、演奏位置を所定範囲で推定し、信頼性指標を当該所定範囲の正確性の程度の分布としてもよい。
また、別の好ましい態様において、前記演奏位置特定手段は、前記推定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様に基づいて、前記履歴データベースが有する履歴データを選択し、当該選択した履歴データが示す演奏位置に基づいて前記特定演奏位置情報を生成してもよい。
また、別の好ましい態様において、前記クロック生成手段は、前記演奏クロックを生成するとともに、前記特定演奏位置情報が示す信頼性指標に基づいて、前記演奏クロックの正確性の程度を示す信頼性情報を生成してもよい。
また、本発明は、上記記載の演奏クロック生成装置と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。
また、本発明は、上記記載の演奏クロック生成装置を複数具備し、前記複数の演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと信頼性情報とに基づいて、1の演奏クロックを生成するクロック調整手段と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段とを具備し、前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの1のトラックを取得し、各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得することを特徴とするデータ再生装置を提供する。
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程とを備えることを特徴とする演奏クロック生成方法を提供する。
また、本発明は、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程とを具備することを特徴とするデータ再生方法を提供する。
また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能とを実現させるためのプログラムを提供する。
また、本発明は、コンピュータに、楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能とを実現させるためのプログラムを提供する。
本発明によれば、楽曲の進行にあわせた演奏クロックを精度よく生成することができる演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラムを提供することができる。
以下、本発明の一実施形態について説明する。
<実施形態>
図1は、本発明の本実施形態に係るデータ再生装置1のハードウエアの構成を示すブロック図である。
CPU(Central Processing Unit)11は、ROM(Read Only Memory)12に記憶されているプログラムを読み出して、RAM(Random Access Memory)13にロードして実行することにより、データ再生装置1の各部について、バス10を介して制御する。また、RAM13は、CPU11が記憶された各データの加工などを行う際のワークエリアとして機能する。
さらにRAM13は、内部に有するライブデータバッファ領域13aに、通信部17から受信するストリーミング再生するためのライブ映像データ(楽曲関連データ)、ライブ楽音データ(楽曲関連データ)を一時的にバッファする機能を有するとともに、当該各データに対応する楽曲に関する情報(以下、楽曲情報という)についても、通信部17において受信して記憶する。なお、楽曲に関する情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。そして、CPU11は、RAM13にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。
ここで、ライブ映像データは、楽曲の生演奏を撮影した映像(以下、ライブ映像という)の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声(以下、ライブ演奏)のオーディオデータであって、ライブ演奏には、歌手の歌声(以下、ライブボーカルという)や伴奏などが含まれている。
記憶部14は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域14aに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データと、歌詞データ(同期データ)と、履歴データベースとを有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏(以下、リファレンス演奏という)を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード(時刻情報)が付されている。そして、リファレンス楽音データと歌詞データとは、同じ時刻を示すタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。履歴データベースは、過去の履歴について記録するデータベースであって、本実施形態においては、後述するような方法によって過去に生成した特定演奏位置情報に関する内容について記録した履歴データを蓄積するデータベースである。履歴データベースについての詳細は後述する。
表示部15は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、データ再生装置1を操作するためのメニュー画面などの各種画面を表示する。操作部16は、例えばキーボードやマウスなどであり、データ再生装置1の利用者が操作部16を操作すると、その操作内容を表すデータがCPU11へ出力される。
通信部17は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データ、楽曲情報を受信して、RAM13のライブデータバッファ領域13aにバッファする機能を有している。
音声出力部18は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。
次に、CPU11が、ROM12に記憶されたプログラムを実行することによって実現するデータ再生の機能について説明する。図2は、CPU11が実現する機能を示したソフトウエアの構成を示すブロック図である。
楽曲データ選択部101は、ライブデータバッファ領域13aから楽曲情報を読み取り、通信部17が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域14aに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部101は、読み出したリファレンス楽音データを演奏クロック生成部102へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部103に読み出されるまでRAM13にバッファしておく。
演奏クロック生成部102は、CPU11によってライブデータバッファ領域13aから読み出されたライブ楽音データを取得し、所定のアルゴリズムおよび楽曲データ記憶領域14aに記憶されている当該楽曲の履歴データベースを用いて、ライブ楽音データを解析し、取得したときのライブ楽音データに係るライブ演奏が楽曲のどの部分の演奏に対応(以下、演奏位置という)しているかを検出し、当該演奏位置に基づいて楽曲の演奏位置に対応した時刻を示す演奏クロックを後述するデータ読出部103に出力する機能を有している。また、検出した演奏位置に基づいて履歴データベースを更新する機能を有している。なお、演奏位置については、時刻で示したものであってもよいし、拍、小節、楽曲全体の進行割合などで示したものであってもよく、楽曲のうち所定の位置を特定できるものであれば、どのようなものであってもよい。以下、演奏クロック生成部102について、図3を用いて説明する。図3は、演奏クロック生成部102における構成を示したブロック図である。
演奏クロック生成部102は、演奏位置推定部1021、演奏位置特定部1022、履歴更新部1023およびクロック生成部1024を有する。演奏位置推定部1021は、ライブ楽音データを所定のアルゴリズムを用いて解析することによって推定した演奏位置(以下、推定演奏位置という)と、当該推定演奏位置の正確性の程度を示す信頼性指標とを示す推定演奏位置情報を出力する。この際、演奏位置推定部1021は、後述する演奏位置特定部1022から出力された特定演奏位置情報が示す演奏位置(以下、特定演奏位置という)を基準にして、演奏位置を推定する。演奏位置推定部1021の所定のアルゴリズムについて説明する。
演奏位置推定部1021は、CPU11によってライブデータバッファ領域13aから読み出されたライブ楽音データと、楽曲データ選択部101から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいて演奏位置を推定する。
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してFFT(Fast Fourier Transform)を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではDP(Dynamic Programming:動的計画法)マッチングを用いる。具体的には以下のような処理となる。
演奏位置推定部1021は、図4に示すような座標平面(以下、DPプレーンという)をRAM13に形成する。このDPプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してFFTを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ(ケプストラム)をa1、a2、a3・・・anとして、時間軸に従って並べたものである。また、横軸のb1、b2、b3・・・bnは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のa1、a2、a3・・・anの間隔と横軸のb1、b2、b3・・・bnの間隔は、いずれもフレームの時間長と対応している。このDPプレーンにおける各格子点の各々には、a1、a2、a3・・・anの各パラメータと、b1、b2、b3・・・bnの各パラメータのユークリッド距離を夫々示す値であるDPマッチングスコアが対応付けられている。例えば、a1とb1とにより位置決めされる格子点(a1,b1)には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
そして、演奏位置推定部1021は、このような構造を成すDPプレーンを形成した後、a1とb1とにより位置決めされる始端にあたる格子点(a1,b1)からanとbnとにより位置決めされる終端にあたる格子点(an,bn)に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のDPマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
そして、DPマッチングスコアの累算値が最小となる経路をDPプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図4に示すDPプレーン上に記された経路においては、a1とb1により位置決めされる格子点(a1,b1)からその右上のa2とb2により位置決めされる格子点(a2,b2)に進んでいることが分かる。この場合、a2のフレームとb2のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、a2とb2により位置決めされる格子点(a2,b2)からその右のa2とb3により位置決めされる格子点(a2,b3)に進んでいる。楽曲の進行のずれが無ければ格子点(a3,b3)へ進み、b3のフレームの時間軸上の位置に対応すべきフレームはa3のフレームとなるものであるが、格子点(a2,b3)に進んでいることから、b3のフレームはa3ではなくa2のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームb3までに進行する演奏の内容が、ライブ楽音データのフレームa2までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がDPマッチングの仕組みである。このようにして演奏位置推定部1021は、演奏位置を推定する。
一方、信頼性指標については、生成した推定演奏位置の正確性の程度、すなわち推定した推定演奏位置の正確性の程度を示す信頼性指標として算出する。具体的には、上述したように、ライブ楽音データとリファレンス楽音データのDPマッチングにおいて、DPマッチングスコアの累算値が最小となるような経路をDPプレーン上から特定するが、この際の最小となるDPマッチングスコアの累積値に基づいて信頼性指標を算出する。なお、信頼性指標については、このような方法における算出に限られず、推定した推定演奏位置の正確性の程度を示していれば、どのような方法で算出してもよい。
そして、演奏位置推定部1021は、上述したようなアルゴリズムを用いて推定した推定演奏位置と算出した信頼性指標とを示す推定演奏位置情報を生成し、演奏位置特定部1022に出力する。
図3に戻って説明を続ける。演奏位置特定部1022は、ライブデータバッファ領域13aから楽曲情報を取得し、楽曲データ記憶領域14aに記憶されるリファレンス楽曲データのうち、取得した楽曲情報によって特定される楽曲に対応する履歴データベースと、演奏位置推定部1021から出力された推定演奏位置情報とを比較し、演奏位置を特定し、特定演奏位置と当該特定演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を生成し、演奏位置推定部1021、履歴更新部1023およびクロック生成部1024に出力する。以下、演奏位置特定部1022の動作と履歴データベースについて説明する。
履歴データベースに登録された履歴データは、過去に演奏位置特定部1022において生成された特定演奏位置情報に基づいて生成されたデータであって、特定演奏位置情報が示す特定演奏位置と信頼性指標とが、楽曲が開始されてから経過した時間(以下、経過時間という)に対応したデータとなっている。すなわち、履歴データは、所定の経過時間において、演奏位置特定部1022が特定した特定演奏位置とその信頼性指標について、これらの経過時間、特定演奏位置、信頼性指標を対として記録するデータである。図5は、横軸に経過時間、縦軸に演奏位置を示した図である。そして、図中の実線および破線は、履歴データの経過時間、特定演奏位置を示し、合計4の履歴データ(a、b、c、d)を表している。なお、信頼性指標については省略している。
また、図5(a)におけるC1、C2、C3、C4は、各経過時間において演奏位置特定部1022が特定した特定演奏位置を示す点である。演奏位置特定部1022は、C4を特定した時点において、過去の数点(本実施形態においては4点)から、各履歴データと類似性の高いデータを選択する。ここでは、C1、C2、C3、C4の変化と類似している実線で示した履歴データaが選択される。
そして、演奏位置特定部1022は、演奏位置推定部1021から出力された推定演奏位置情報が示す最新の推定演奏位置C5−Aと、履歴データaにおけるC5−Aの経過時間に対応する演奏位置C5−Bとを比較する。ここで、演奏位置特定部1022は、C5−Bに対応する信頼性指標に対して上記類似性に応じて増減(例えば、類似性が低ければ正確性の程度を低く)させた信頼性指標と、C5−Aに対応する信頼性指標とを比較し、正確性の程度が高い信頼性指標に対応する演奏位置を特定し、特定演奏位置とする。そして、当該特定演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を生成する。
上記において、演奏位置特定部1022がC5−Aを特定演奏位置C5として特定した場合について図5(b)に示す。演奏位置特定部1022は、C2、C3、C4、C5の変化と類似している実線で示した履歴データdを選択する。そして、演奏位置推定部1021から出力された推定演奏位置情報が示す最新の推定演奏位置C6−Aと、履歴データdにおけるC6−Aの経過時間に対応する演奏位置C6−Bとを比較し、上述のようにして演奏位置を特定する。このようにして、順次処理を継続して、特定演奏位置情報を出力する。これにより、演奏位置特定部1022は、過去の履歴を示す履歴データを参考にして現在の演奏位置を特定できるから、演奏位置の特定における正確性の程度を高めることできる。以上が、演奏位置特定部1022の動作である。
図3に戻って説明を続ける。履歴更新部1023は、特定演奏位置情報が示す特定演奏位置と信頼性指標とを経過時間に対応付けてRAM13にバッファする。そして、楽曲が終了した後に、バッファしたデータを履歴データとして、履歴データベースに登録する。一方、履歴データベースに登録された履歴データが所定の数以上になった場合には、これらの履歴データのうち、信頼性指標が示す正確性の程度の平均が最も低い履歴データを削除する。
クロック生成部1024は、演奏位置特定部1022から出力された特定演奏位置情報が示す特定演奏位置に基づいて、当該特定演奏位置に対応するように決定した楽曲の演奏位置に対応した時刻を示すタイムコードを有する演奏クロックを生成して出力する。このようにして、出力された演奏クロックを参照して、仮にリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
図2に戻って説明を続ける。データ読出部103は、演奏クロック生成部102から出力される演奏クロックのタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部101がRAM13にバッファした歌詞データを読み出し、データ処理部104に順次出力していく。
データ処理部104は、データ読出部103から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部106に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータとを有する歌詞データは、演奏クロック生成部102から出力された演奏クロックを参照して読み出すことによりデータ読出部103から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。
遅延部105は、CPU11によってライブデータバッファ領域13aから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述した演奏クロック生成部102がライブ楽音データを取得してから、データ処理部104が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部105から出力されたライブ楽音データ、ライブ映像データと、データ処理部104から出力された歌詞映像データは時間同期したものとなる。
映像合成部106は、遅延部105から出力されたライブ映像データに係るライブ映像に対して、データ処理部104から出力された歌詞映像データに係る歌詞の映像(以下、歌詞映像という)をスーパーインポーズした合成映像データを生成して表示部15へ出力する。ここで、合成映像データは、遅延部105において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。
このようにして、表示部15には合成映像データが出力され、音声出力部18にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置1は、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、歌詞データを読み出す際に用いる演奏クロックは、過去の履歴を示す履歴データを参考にして特定された特定演奏位置に基づいて生成されているから、データ再生装置1は、楽曲の進行にあわせた演奏クロックを精度よく生成することができる。
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
<変形例1>
実施形態における演奏クロック生成部102の演奏位置推定部1021は、他の方式で演奏位置を推定してもよい。例えば、ライブ楽音データに係るライブ演奏の音量レベルを検出し、その音量レベルの変化(例えば、急激に音量レベルが大きくなる部分)に基づいてビートを抽出し、ライブ演奏のBPM(Beats Per Minute)値を計算する。そして、BPM値とライブ演奏が開始されてから経過した時間とに基づいて、楽曲の演奏位置を推定すればよい。一方、信頼性指標については、BPM値を計算するときの精度、ビートの抽出の精度(例えば、音量レベルの変化から検出可能なアタック検出レベルなど)、BPM値の所定時間内の変動量や安定性などに基づいて生成すればよい。演奏位置推定部1021は、このようなビート検出手段としてもよい。
また、ライブ楽音データに係るライブ演奏の周波数分布などからピッチを検出し、当該ピッチに基づいて和音コードを認識する。そして、認識した和音コードの変化(コード進行)と、楽曲データ選択部101から出力された参照用データが示すコード進行とを比較することにより、楽曲の演奏位置を推定すればよい。一方、信頼性指標については、ピッチ検出の精度、和音コードの認識の精度などに基づいて生成すればよい。演奏位置推定部1021は、このようなコード進行検出手段としてもよい。
また、ビート検出手段と同様にしてBPM値を計算し、楽曲において、BPM値が変化したり、ビートが変化したりする演奏位置を示す参照用データと比較することによって、演奏位置を推定するようなビート変化検出手段、ライブ楽音データにおける特徴的な音(例えば、シンバルの音、特定楽器のソロ演奏、電子音など周波数分布の解析などによって特定できるような音)を検出し、楽曲において特徴的な音が発生する演奏位置を示す参照用データと比較することによって、演奏位置を推定する特徴音検出手段など、様々なアルゴリズムによって演奏位置を推定することができる。そして、推定演奏位置の正確性の程度を示す信頼性指標を生成すればよい。このように、演奏位置推定部1021は、ライブ楽音データに基づいて、演奏位置を推定することができれば、どのようなアルゴリズムを用いてもよい。なお、参照用データは、リファレンス楽音データと同様に、楽曲データ記憶領域14aに記憶するようにすればよい。
<変形例2>
実施形態における演奏位置推定部1021の演奏位置の推定は、一定時間ごとに行なわれてもよいし、非定期で行なわれてもよい。非定期で行われる場合には、信頼性指標が示す正確性の程度が所定値より高くなった場合、低くなった場合、大きく変化した場合、推定演奏位置が所定量以上変化した場合、また、これらの条件によって所定時間以上推定が行われなかった場合など、どのような間隔で行なわれてもよい。
<変形例3>
実施形態においては、演奏位置推定部1021は、1つの演奏位置を推定していたが、複数の演奏位置を推定するようにしてもよい。そして、演奏位置推定部1021は、複数の推定演奏位置の各々の正確性の程度を示す信頼性指標を生成し、複数の推定演奏位置と信頼性指標を示す推定演奏位置情報を対応付けて生成してもよい。このとき、信頼性指標が同じ推定演奏位置はまとめて対応付けてもよい。なお、推定演奏位置を所定の範囲で推定し、それぞれの信頼性指標を確率密度関数として示した推定演奏位置情報を生成してもよい。
この場合、演奏位置特定部1022は、演奏位置推定部1021から出力された推定演奏位置情報が示す推定演奏位置のうち、正確性の程度が低い推定演奏位置であっても、履歴データが示す演奏位置と一致する演奏位置であれば、その演奏位置の正確性の程度を高くして認識する。このようにすると、演奏位置特定部1022は、演奏位置を精度よく特定することができる。
<変形例4>
演奏位置特定部1022における演奏位置の特定は、実施形態における態様に限られない。例えば、履歴データが示す演奏位置および特定演奏位置に対応する信頼性指標がともに正確性の程度が低いことを示している場合には、直前までに特定した演奏位置の変化量(テンポ)を維持しているとして、演奏位置を特定してもよい。また、過去の数点の特定演奏位置から各履歴データと類似性の高いデータを1つ選択して推定演奏位置と比較していたが、複数の履歴データを用いて推定演奏位置と比較してもよい。また、演奏位置について、推定演奏位置か履歴データが示す演奏位置のいずれかを選択して特定していたが、それぞれの信頼性指標が示す正確性の程度に基づいて、重み付けして平均をとることにより、加重平均された演奏位置を算出し、これを特定演奏位置としてもよい。
また、変形例3に示す推定演奏位置情報のように、演奏位置特定部1022は、複数の演奏位置を特定し、当該複数の特定演奏位置と対応する信頼性指標を示す特定演奏位置情報を生成してもよい。なお、特定演奏位置を所定の範囲で推定し、それぞれの信頼性指標を確率密度関数として示した特定演奏位置情報を生成してもよい。
この場合、クロック生成部1024は、信頼性指標が示す正確性の程度が最も高い特定演奏位置に基づいて演奏クロックを生成すればよい。また、演奏位置推定部1021は、複数の特定演奏位置を基準にして、演奏位置を推定すればよい。そして、履歴更新部1023は、特定の経過時間において、複数の特定演奏位置と信頼性指標を記録する履歴データを生成して履歴データベースに登録してもよいし、正確性の程度が最も高い特定演奏位置とその信頼性指標を抜き出した履歴データとしてもよい。このようにすると、クロック生成部1024は、精度の高い演奏クロックを生成することができる。
<変形例5>
クロック生成部1024は、特定演奏位置を取得してから次に特定演奏位置を取得するまでの間は、直前までに取得した特定演奏位置の変化量に基づいて決定したテンポで演奏クロックを生成するようにしてもよい。また、本実施形態のような遅延部105を有するデータ再生装置1で用いられる場合には、遅延部105における遅延時間を利用し、次の特定演奏位置を取得してから、その時点までの演奏クロックを生成してもよい。このようにすれば、テンポの変動があっても、テンポが滑らかに変化したとして演奏クロックを生成することもできる。
<変形例6>
実施形態においては、履歴更新部1023は、特定演奏位置情報が示す特定演奏位置と信頼性指標とを経過時間に対応付けた履歴データを生成して、履歴データベースに登録していたが、推定演奏位置情報が示す推定演奏位置と信頼性指標とを経過時間に対応付けた履歴データとしてもよいし、両者を対応させた履歴データを生成してもよい。また、履歴データは、楽曲の全体の履歴を示すものでなくてもよく、例えば、信頼性指標が示す正確性の程度が高い部分だけを抜き出したデータとしてもよい。また、楽曲の終了時に、信頼性指標が示す正確性の程度の楽曲全体の平均が所定値以上であったときに履歴データを履歴データベースに登録するようにしてもよい。
また、履歴データベースに登録された履歴データのうち、特定演奏位置情報が示す演奏位置の時刻の変化に応じた変化の態様と、一致の程度を示す一致度が高い履歴データが登録されている場合、履歴更新部1023は、当該履歴データの信頼性指標を一致度に基づいて修正することによって、履歴データベースを更新してもよい。例えば、一致度が高いほど、正確性の程度が高くなるように信頼性指標を修正すればよい。
一方、履歴更新部1023は、履歴データベースから履歴データを削除する場合には、正確性の程度の楽曲全体の平均が低い履歴データから削除していたが、単に古い履歴データから削除してもよい。また、履歴データ間で、一致度が高いデータが多くなった場合には、これらを統合して1の履歴データとし、統合した数に応じて信頼性指標を修正してもよい。なお、このような統合は楽曲全体で一致度を判定しなくてもよく、楽曲の一部で判定してもよい。このようにすれば、履歴データにより記憶部14の記憶容量の圧迫を低減することができる。また、同じような履歴が多い場合は、正確性の程度が高い履歴として統合できるから、演奏位置特定部1022における演奏位置の特定の精度を向上させることができる。
<変形例7>
実施形態の構成に加えて、図6に示すように、ライブ演奏に係る情報である補助情報を取得し、これを利用して演奏クロックを生成するようにしてもよい。ここで、補助情報とは、例えば、ライブ演奏の開始時刻、停止時刻、演奏位置が大きく変化することを示すジャンプ情報、大まかな演奏位置を示す演奏位置情報等、ライブ楽音データに係るライブ演奏の演奏シーケンスを示す情報であってもよいし、楽曲情報のように、楽曲を特定する情報、楽曲の分野などの種別情報、演奏パート構成の情報、演奏者の情報などの楽曲の内容に関する情報であってもよい。そして、図7のように、演奏位置特定部1022、履歴更新部1023またはクロック生成部1024に補助情報が入力されるようにしてもよい。
このようにすると、例えば、履歴データベースの履歴データに演奏者の情報も対応付けて記録しておき、演奏位置特定部1022は、演奏者の情報を有する補助情報を取得すれば、同じ楽曲であっても、演奏者に応じて履歴データベース内の履歴データを使うことができる。これにより、演奏者によって楽曲の演奏に癖があっても、演奏位置特定部1022は、演奏者の違いに対応して履歴データを使い分けて精度よく演奏位置を特定することができる。また、履歴更新部1023は、当該補助情報を取得し、演奏者の情報を対応付けて記録した履歴データを履歴データベースに登録すればよい。なお、補助情報が演奏パート構成の情報などであっても同様である。このように、履歴データは、さらに補助情報を対応付けて記録して、履歴データベースに登録されることによって、演奏クロック生成部102は、精度の高い演奏クロックの生成を行うことができる。
また、クロック生成部1024に補助情報が入力される場合には、例えば、補助情報が演奏シーケンスを示す情報とすれば、演奏クロックについて、ライブ演奏の開始時刻や、停止時刻、ジャンプ情報などに基づいて生成することもできる。また、大まかな演奏位置を示す演奏位置情報であれば、当該演奏位置情報を特定演奏位置情報に基づいて補正して演奏クロックを生成することもできる。すなわち、補正情報を用いることで演奏クロック生成部102は、精度の高い演奏クロックの生成を行うことができる。
<変形例8>
実施形態におけるクロック生成部1024は、生成する演奏クロックの正確性の程度を示す信頼性情報を生成して、演奏クロックとともに出力してもよい。このようにすると、図8に示すように、総合演奏クロック生成部107を用いて、以下に説明するような構成とすることができる。総合演奏クロック生成部107は、図9に示すように、実施形態における演奏クロック生成部102に信頼性情報を生成することができる演奏クロック生成部102−A、102−B、102−Cを有する。
本変形例においては、ライブ楽音データおよびリファレンス楽音データは、ボーカルトラック、伴奏トラック、リズムトラックから構成され、演奏クロック生成部102−Aは、ライブ各音データおよびリファレンス楽音データのボーカルトラックが入力される。同様にして、演奏クロック生成部102−Bには伴奏トラックが、演奏クロック生成部102−Cにはリズムトラックが入力される。そして、各演奏クロック生成部102−A、102−B、102−Cは、入力されたライブ楽音データの各トラックに対して、各々実施形態において説明した演奏クロック生成部102における処理を行い、さらに演奏クロック生成部102−A、102−B、102−Cは、各々が生成した演奏クロックの正確性の程度を示す信頼性情報をクロック調整部108に出力する。ここで、履歴データベースは、トラックを示す情報が対応付けられた履歴データを有し、各演奏クロック生成部102−A、102−B、102−Cは、トラックに対応した履歴データを用いて処理を行う。また、信頼性情報は、各演奏クロック生成部102−A、102−B、102−Cにおける演奏位置特定部1022から出力される特定演奏位置情報が示す信頼性指標に基づいて生成される。
クロック調整部108は、各演奏クロック生成部102−A、102−B、102−Cから出力された演奏クロックと信頼性情報とに基づいて、新たに演奏クロックを生成し、データ読出部103に出力する。クロック調整部108における演奏クロックの生成は、信頼性情報が示す正確性の程度が最も高い演奏クロックに基づいて生成してもよいし、加重平均などの他の方法で演奏クロックを生成してもよい。このようにすると、生成される演奏クロックはさらに精度を高いものとすることができる。
<変形例9>
実施形態においては、歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。また、歌詞データではなく、他のシーケンスデータ、例えば、AUX(Auxiliary)端子などに接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータや、MIDIデータのように楽音の発音を示すシーケンスデータであってもよい。この場合は、データ再生装置1は、これらのデータを読み出すことができるように演奏クロックを変換する変換部、AUX端子などの制御信号出力部、MIDIデータを再生する音源部などを具備するようにすればよい。
<変形例10>
実施形態においては、通信部17は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報などを受信していたが、図1に破線で示したように、データ入力部20を設けて、これらのデータがデータ入力部20から入力されるようにしてもよい。例えば、これらのデータが、DVD(Digital Versatile Disc)などの記録メディアに記録されたデータであれば、データ入力部は、DVDに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。
<変形例11>
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図10に示すように、映像合成部106を用いずに、データ処理部104は、歌詞映像データをそのまま表示部15へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部17をそれぞれのデータ入力に対応した通信手段とすればよい。
<変形例12>
実施形態においては、演奏クロック生成部102は、ライブ楽音データに基づいて演奏クロックを生成していたが、ライブ映像データに基づいて演奏クロックを生成してもよい。この場合も、ライブ楽音データのときと同様にして、所定のアルゴリズムおよび履歴データベースを用いてライブ映像データを解析した結果に基づいて、演奏クロックを生成するようにすればよい。ライブ映像データを解析するアルゴリズムの一例としては、ライブ映像に係るライブ映像と、楽曲の進行における映像の見本となるリファレンス映像データとを比較することにより、実施形態において説明したDPマッチングを行い、演奏位置を推定すればよい。この際、映像の一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較してもよい。このように、演奏クロック生成部102は、楽曲の内容に対応し時刻の進行に応じて変化するデータであれば、どのようなデータに基づいても、所定のアルゴリズムで解析して、その結果に基づいて演奏クロックを生成することができる。
<変形例13>
実施形態における履歴データベースについては、データ再生装置1と通信可能なサーバに記憶させておいてもよい。この場合には、演奏クロック生成部102の演奏位置特定部1022は、通信部17を介してサーバと通信し、履歴データベースを用いればよい。同様にして、履歴更新部1023は、通信部17を介してサーバと通信し、履歴データベースを更新すればよい。さらに履歴更新部1023についても、サーバにその機能を持たせるようにしてもよい。この場合には、演奏位置特定部1022は、通信部17を介してサーバと通信し、特定演奏位置情報を送信するようにすればよい。このように、履歴データベースをサーバが記憶することで、大量の履歴データを履歴データベースに登録することができるから、データ再生装置1は大量の記憶容量の記憶部を用いなくてもよい。また、履歴更新部1023の機能をサーバに持たせることにより、複雑な処理を行って履歴データベースの更新を行うこともでき、データ再生装置1は、高度な処理能力を有するCPUを用いなくてもよい。
実施形態に係るデータ再生装置のハードウエアの構成を示すブロック図である。 実施形態に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 実施形態に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 DPマッチングを行う際のDPプレーンを示す説明図である。 実施形態に係る演奏位置特定部の動作の説明図である。 変形例7に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 変形例7に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 変形例8に係るデータ再生装置のソフトウエアの構成を示すブロック図である。 変形例8に係る演奏クロック生成部のソフトウエアの構成を示すブロック図である。 変形例11に係るデータ再生装置のソフトウエアの構成を示すブロック図である。
符号の説明
1…データ再生装置、10…バス、11…CPU、12…ROM、13…RAM、13a…ライブデータバッファ領域、14…記憶部、14a…楽曲データ記憶領域、15…表示部、16…操作部、17…通信部、18…音声出力部、20…データ入力部、101…楽曲データ選択部、102、102−A、102−B、102−C…演奏クロック生成部、1021…演奏位置推定部、1022…演奏位置特定部、1023…履歴更新部、1024…クロック生成部、103…データ読出部、104…データ処理部、105…遅延部、106…映像合成部、107…総合演奏クロック生成部、108…クロック調整部

Claims (15)

  1. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶する記憶手段と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、
    前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
    を具備することを特徴とする演奏クロック生成装置。
  2. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、
    前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新手段と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
    を具備することを特徴とする演奏クロック生成装置。
  3. 前記更新手段は、前記履歴データベースが有する履歴データのうち、前記特定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様と一致の程度を示す一致度が所定値以上となる履歴データが存在する場合には、当該履歴データの信頼性指標を前記一致度に基づいて修正し、前記一致度が所定値以上となる履歴データが存在しない場合には、前記特定演奏位置情報が示す演奏位置と信頼性指標との時刻の進行に応じた変化を履歴データとして前記履歴データベースに登録する
    ことを特徴とする請求項1または請求項2に記載の演奏クロック生成装置。
  4. 前記楽曲の内容に関する情報を示す補助情報を取得する補助情報取得手段をさらに具備し、
    前記履歴データベースは、演奏位置と信頼性指標とに対して補助情報を対応付けた履歴データを有し、
    前記更新手段は、前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方と、前記補助情報取得手段が取得した補助情報とに基づいて、前記履歴データベースの内容を更新する
    ことを特徴とする請求項1乃至請求項3のいずれかに記載の演奏クロック生成装置。
  5. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得手段と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す履歴データを有する履歴データベースを記憶するサーバと通信を行う通信手段と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得手段が取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定手段と、
    前記推定演奏位置情報と、前記履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定手段と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方を前記サーバに送信する送信手段と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成手段と
    を具備することを特徴とする演奏クロック生成装置。
  6. 前記演奏位置推定手段は、演奏位置と信頼性指標との組を複数示す推定演奏位置情報を生成する
    ことを特徴とする請求項1乃至請求項5のいずれかに記載の演奏クロック生成装置。
  7. 前記演奏位置推定手段は、演奏位置を所定範囲で推定し、信頼性指標を当該所定範囲の正確性の程度の分布とする
    ことを特徴とする請求項1乃至請求項5のいずれかに記載の演奏クロック生成装置。
  8. 前記演奏位置特定手段は、前記推定演奏位置情報が示す演奏位置の時刻の進行に応じた変化の態様に基づいて、前記履歴データベースが有する履歴データを選択し、当該選択した履歴データが示す演奏位置に基づいて前記特定演奏位置情報を生成する
    ことを特徴とする請求項1乃至請求項7のいずれかに記載の演奏クロック生成装置。
  9. 前記クロック生成手段は、前記演奏クロックを生成するとともに、前記特定演奏位置情報が示す信頼性指標に基づいて、前記演奏クロックの正確性の程度を示す信頼性情報を生成する
    ことを特徴とする請求項1乃至請求項8のいずれかに記載の演奏クロック生成装置。
  10. 請求項1乃至請求項8のいずれかに記載の演奏クロック生成装置と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
    前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
    前記データ取得手段が取得した楽曲関連データを所定量遅延させる遅延手段と
    を具備することを特徴とするデータ再生装置。
  11. 請求項9に記載の演奏クロック生成装置を複数具備し、
    前記複数の演奏クロック生成装置のクロック生成手段によって生成された演奏クロックと信頼性情報とに基づいて、1の演奏クロックを生成するクロック調整手段と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段と、
    前記クロック生成手段によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記記憶手段から前記同期データを読み出すデータ読出手段と、
    外部から供給される複数トラックを有する楽曲関連データを所定量遅延させる遅延手段と
    を具備し、
    前記演奏クロック生成装置のデータ取得手段は、前記外部から供給される楽曲関連データの1のトラックを取得し、
    各々の前記演奏クロック生成装置のデータ取得手段は、互いに異なるトラックを取得する
    ことを特徴とするデータ再生装置。
  12. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と
    を備えることを特徴とする演奏クロック生成方法。
  13. 楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得過程と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得過程において取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定過程と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定過程と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新過程と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成過程と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成過程によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出過程と、
    前記データ取得過程において取得した楽曲関連データを所定量遅延させる遅延過程と
    を具備することを特徴とするデータ再生方法。
  14. コンピュータに、
    楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と
    を実現させるためのプログラム。
  15. コンピュータに、
    楽曲の内容に対応し時刻の進行に応じて変化する楽曲関連データを取得するデータ取得機能と、
    演奏位置と当該演奏位置の正確性の程度を示す信頼性指標とを示す特定演奏位置情報を取得し、所定のアルゴリズムを用いて前記データ取得機能によって取得した楽曲関連データを解析した結果と、当該取得した特定演奏位置情報とに基づいて前記楽曲の演奏位置を推定し、当該推定した演奏位置と信頼性指標とを示す推定演奏位置情報を生成する演奏位置推定機能と、
    時刻の進行に応じて変化する前記楽曲の演奏位置と信頼性指標とを示す履歴データを有する履歴データベースを取得し、前記推定演奏位置情報と当該取得した履歴データベースとに基づいて前記楽曲の演奏位置を特定し、当該特定した演奏位置と信頼性指標を示す演奏位置情報を前記特定演奏位置情報として生成する演奏位置特定機能と、
    前記推定演奏位置情報および前記特定演奏位置情報の少なくともいずれか一方に基づいて、前記履歴データベースの内容を更新する更新機能と、
    前記特定演奏位置情報が示す演奏位置に基づいて、前記楽曲の演奏位置に対応した時刻を示す演奏クロックを生成するクロック生成機能と、
    データ各部についての時刻を規定する時刻情報を有した同期データを記憶する記憶手段から、前記クロック生成機能によって生成された演奏クロックと前記時刻情報の対応関係に基づいて、前記同期データを読み出すデータ読出機能と、
    前記データ取得機能において取得した楽曲関連データを所定量遅延させる遅延機能と
    を実現させるためのプログラム。
JP2007175338A 2007-07-03 2007-07-03 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム Expired - Fee Related JP5092589B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007175338A JP5092589B2 (ja) 2007-07-03 2007-07-03 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007175338A JP5092589B2 (ja) 2007-07-03 2007-07-03 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2009014923A JP2009014923A (ja) 2009-01-22
JP5092589B2 true JP5092589B2 (ja) 2012-12-05

Family

ID=40355902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007175338A Expired - Fee Related JP5092589B2 (ja) 2007-07-03 2007-07-03 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5092589B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5287617B2 (ja) * 2009-09-04 2013-09-11 ヤマハ株式会社 音響処理装置およびプログラム
JP5287616B2 (ja) * 2009-09-04 2013-09-11 ヤマハ株式会社 音響処理装置およびプログラム
JP5391939B2 (ja) * 2009-09-04 2014-01-15 ヤマハ株式会社 音響処理装置およびプログラム
JPWO2022190403A1 (ja) * 2021-03-09 2022-09-15

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263546B2 (ja) * 1994-10-14 2002-03-04 三洋電機株式会社 音響再生装置
JPH1124679A (ja) * 1997-07-03 1999-01-29 Daiichi Kosho:Kk デジタル多チャンネル放送における音楽番組の配信方法および受信再生装置
JP2001060099A (ja) * 1999-08-24 2001-03-06 Sony Corp 情報処理装置および方法、並びに媒体
JP2004212473A (ja) * 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd カラオケ装置及びカラオケ再生方法
JP2006195385A (ja) * 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd 音楽再生装置および音楽再生プログラム
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法

Also Published As

Publication number Publication date
JP2009014923A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
US8027631B2 (en) Song practice support device
US7288710B2 (en) Music searching apparatus and method
JP4916947B2 (ja) リズム検出装置及びリズム検出用コンピュータ・プログラム
JP2012103603A (ja) 情報処理装置、楽曲区間抽出方法、及びプログラム
JP6759560B2 (ja) 調律推定装置及び調律推定方法
JP5151245B2 (ja) データ再生装置、データ再生方法およびプログラム
JP5092589B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP5012263B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP4458096B2 (ja) データ再生装置、データ再生方法およびプログラム
JP2009169103A (ja) 練習支援装置
JP5005445B2 (ja) コード名検出装置及びコード名検出用プログラム
JP5782972B2 (ja) 情報処理システム,プログラム
JP4595948B2 (ja) データ再生装置、データ再生方法およびプログラム
JP5012269B2 (ja) 演奏クロック生成装置、データ再生装置、演奏クロック生成方法、データ再生方法およびプログラム
JP4170279B2 (ja) 歌詞表示方法および装置
JP5287617B2 (ja) 音響処理装置およびプログラム
JP4595947B2 (ja) データ再生装置、データ再生方法およびプログラム
JP4470947B2 (ja) データ再生装置、データ再生方法およびプログラム
JP6056799B2 (ja) プログラム、情報処理装置、及びデータ生成方法
JP3879524B2 (ja) 波形生成方法、演奏データ処理方法および波形選択装置
JP5672960B2 (ja) 音響処理装置
JP5287616B2 (ja) 音響処理装置およびプログラム
JP2005107332A (ja) カラオケ装置
JP6365483B2 (ja) カラオケ装置,カラオケシステム,及びプログラム
JP5983670B2 (ja) プログラム、情報処理装置、及びデータ生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees