JP3846122B2 - Playback control device and medium - Google Patents

Playback control device and medium Download PDF

Info

Publication number
JP3846122B2
JP3846122B2 JP26348399A JP26348399A JP3846122B2 JP 3846122 B2 JP3846122 B2 JP 3846122B2 JP 26348399 A JP26348399 A JP 26348399A JP 26348399 A JP26348399 A JP 26348399A JP 3846122 B2 JP3846122 B2 JP 3846122B2
Authority
JP
Japan
Prior art keywords
audio data
data
pitch
timing
tempo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26348399A
Other languages
Japanese (ja)
Other versions
JP2001083969A (en
Inventor
秀一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP26348399A priority Critical patent/JP3846122B2/en
Publication of JP2001083969A publication Critical patent/JP2001083969A/en
Application granted granted Critical
Publication of JP3846122B2 publication Critical patent/JP3846122B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、オーディオデータの再生テンポを自由に変更することの可能なオーディオデータの再生制御装置に関する。
【0002】
【従来の技術】
サンプラー等の電子楽器や楽音信号処理装置では、タイムストレッチ処理により、楽音のピッチを変化させずに楽音信号波形の時間軸の圧縮又は伸張を行い、楽音信号の再生時間を変えることが行われている。
【0003】
タイムストレッチは、音声信号を間引いたり補間する事により、ピッチを変化させずに時間軸を圧縮したり伸縮したりする処理である。再生時間を短くするには、音声信号の間引きを行い、長くするには音声信号を補間する。
【0004】
サンプラー等の電子楽器や楽音信号処理装置は、一曲のデータを再生する用途のものではないために、基本的に、テンポ情報であるタイミングデータを持っていない。このため、一曲の再生を制御する目的での使用は困難である。
【0005】
また、一曲のオーディオデータの再生テンポを変化させることの可能なオーディオデータの再生制御装置に関して、2チャンネルテープの一方のチャンネルにオーディオデータを、他方のチャンネルにオーディオデータの速度に関連したテンポ信号を録音し、このテンポ信号と、ユーザからの所定の間隔で入力されるタッチ信号とを比較しテープの再生速度を制御する技術が特開昭55−67967号に開示されている。
【0006】
【発明が解決しようとする課題】
従来のオーディオデータ再生制御装置のように単純に再生速度を変えると、それに応じて、ピッチが変わってしまい、録音時のピッチと異なるものになってしまう。また、一度入力した、テンポ情報を次回再生時に再現することが求められる。さらに、また、テンポ変化等が記載されている楽譜を認識して、その認識結果に基づいて、再生テンポの制御をすることが求められる。また、サンプラーのように、ピッチを変えずに、再生速度が変えられるオーディオデータの再生制御装置が求められる。
【0007】
本発明の目的は、オーディオデータの再生テンポを自由に変更することの可能なオーディオデータの再生制御装置を提供することである。
【0008】
また、本発明の他の目的は、一度入力した、テンポ情報を保存して、次回再生時に保存したテンポ情報と、オーディオデータと共にあらかじめ保存されているテンポ信号とを比較して、再生テンポの制御をすることの可能なオーディオデータの再生制御装置を提供することである。
【0009】
さらに、本発明の他の目的は、テンポ変化等が記載されている楽譜を認識して、その認識結果に基づいて、再生テンポの制御をすることの可能なオーディオデータの再生制御装置を提供することである。
【0010】
【課題を解決するための手段】
本発明の一観点によれば、オーディオデータの再生制御装置は、オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶手段と、楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成手段と、前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し手段と、前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較手段と、前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御手段とを有する。
【0013】
【発明の実施の形態】
図1は、オーディオデータ再生制御装置の構成を示すブロック図である。
【0014】
オーディオデータ再生制御装置1は、オーディオデータ記憶部2、読出/再生部7、タイミング入力部3、タイミング記録/再生部4、楽譜画像入力部5、楽譜認識/タイミング生成部6を有する。D/A変換部8を有していてもよい。
【0015】
オーディオデータ記憶部2は、オーディオデータをCD−ROM等の光ディスクや、MO等の光磁気ディスク、ハードディスク等の磁気ディスク、ROMやRAM等の半導体メモリ、磁気テープなどの記録媒体に記憶する。
【0016】
また、記録媒体は、ネットワークを介して、ストリーム配信されたオーディオデータを一時的に記憶したキャッシュメモリのようなものでもよい。ストリーム配信は、一括ダウンロードが、一曲分又は複数曲分のオーディオデータを一括して、他のコンピュータから、ネットワークを介してダウンロードするのに対して、一部のデータを受信しだい再生するタイプのダウンロード形式である。キャッシュメモリを使用したストリーム配信の場合、一曲分全体を一度には記憶しないが、時間の経過を考慮すれば、結果的に一曲分を記憶したと考えられる。
【0017】
オーディオデータ記憶部2は、デジタル形式のオーディオデータを、一曲分又は複数曲分記憶する。オーディオデータは、波形データと、所定のタイミング毎(例えば一拍毎や一小節毎)に、オーディオデータ中における該タイミングの位置を示すタイミングデータで構成される。タイミングデータの記憶形式については後述する。
【0018】
このオーディオデータ記憶部2が記憶するオーディオデータは、あらかじめ記憶されたものでもよいし、外部から入力されたオーディオデータを記憶したものでもよい。さらに、ネットワークを介して他のコンピュータからダウンロードされたものでもよい。記憶されるオーディオデータは、楽器演奏、歌唱など、一定のテンポに基づいて再生されるものならどのようなものでもよい。さらに、タイミングデータを持たないオーディオデータには、後述の方法でタイミングデータが付加される。
【0019】
読出/再生部7は、オーディオデータ記憶部2に記憶されたオーディオデータを読み出して、出力する。この出力は、デジタル形式のまま行ってもいいし、アナログ形式に変換して行ってもよい。読出/再生部7の構成については後述する。
【0020】
この際、オーディオデータの出力テンポは、タイミング入力部3、タイミング記録/再生部4、楽譜認識/タイミング生成部6のいずれかからのタイミング信号に基づいてリアルタイムに制御可能になっている。このとき、テンポは変化するが、ピッチは変化せず元のままである。
【0021】
タイミング入力部3は、キーボードやマウス等のスイッチ入力、加速度センサやジャイロセンサ等を用いて演奏者(指揮者)が手で揺動操作するハンドコントローラ又は指揮棒タイプの操作子(例えば特開平8−305334の実施例に記載の操作子)の操作、指揮等の動作を撮像しての画像認識、マイクなどによる音声入力等に応じて所定タイミング毎(一拍毎あるいは一小節毎)にタイミング信号を入力する。入力するタイミングを、例えば、一拍毎や一小節毎等、ユーザが任意に選択できるようにしてもよい。タイミング入力部3で入力されたタイミング信号は、タイミング記録/再生部4に出力されるか、又は直接、読出/再生部7に出力される。また、何も入力されない場合に、前回までに入力されたタイミング信号と同様の同期を持つタイミング信号を自動的に生成できるようにしてもよい。
【0022】
タイミング記録/再生部4はタイミング入力部3から入力されたタイミング信号を時系列的に、例えば一曲分を記録媒体に記録し、後に記録されたタイミング信号を読み出して、再生する。タイミング信号を記録する記録媒体は、オーディオデータ記憶部2と同様のものである。
【0023】
なお、記録/再生されるタイミング信号は、1つのオーディオデータに対応して1つに限らず、タイミング信号は1つのオーディオデータに対応して複数種類あってもよい。
【0024】
このようにすると、同じオーディオデータを異なるテンポで(テンポを変化させて)再生することが可能になる。また、あらかじめオーディオデータに対応したタイミング信号が記憶されている場合は、それを再生するだけのものでもよい。さらに、タイミング信号列の再生テンポを、再生前又は再生中に、変更できるようにしてもよい。
【0025】
オーディオデータ記憶部2及びタイミング記録/再生部4に記録されるデータは、記録媒体上に、時系列の連続する領域に記録されてもよいし、飛び飛びの領域に散在して記憶して、別途連続するデータとして管理してもよい。すなわち、時系列的に連続するデータとして管理可能ならばよく、記録媒体上で連続して記録されているか否かは問題ではない。
【0026】
楽譜画像入力部5は、スキャナ等により印刷又は手書きの楽譜を読み取り、楽譜画像を作成して入力する。又は、既に読み取られて、記録媒体に記録された楽譜画像を入力してもよい。なお、ここで読み取る楽譜は、オーディオデータ記憶部2に記録されるオーディオデータに対応した楽譜である。入力された楽譜画像は、楽譜認識/タイミング生成部6に出力される。
【0027】
楽譜認識/タイミング生成部6は、入力された楽譜画像を分析し、音符や各種音楽記号を、認識する。楽譜認識の技術は公知であり、例えば特開平6−332443号の実施例に開示されている方法等によって認識する。そして、認識した音楽記号のうち、拍子やテンポ変化に関する音楽記号に基づいて、所定タイミング毎(一拍毎や一小節毎)にタイミング信号を生成する。
【0028】
例えば、「テンポ=120、4/4拍子」と認識されたとすると、一拍毎にタイミング信号を生成する場合は、0.5秒ごとにタイミング信号を生成し、一小節毎の場合は、2秒ごとに生成する。また、テンポ変化記号として、「Rit.(リタルダンド)」が認識されたら、タイミング信号の周期を徐々に長くして行き、「Acc.(アッチェレランド)」が認識されたら、タイミング信号の周期を徐々に短くしていく。その他の拍子や、テンポ変化に関する記号についても、それらに対応するように、タイミング信号が生成される。ここで生成されたタイミング信号は、読出/再生部7に送られる。なお、生成されたタイミング信号を、タイミング記録/再生部4に出力して、記録媒体に記録しておき、後程、読出/再生してもよい。
【0029】
D/A変換部8は、読出/再生部7の出力を、デジタルデータからアナログ信号に変換する。読出/再生部7の出力は、このD/A変換部8を介さずに、デジタルデータのまま出力されてもよい。
【0030】
図2は、オーディオデータの記憶形式の例を示す構成図である。
【0031】
オーディオデータADの記憶形式としては、波形サンプルデータSDとタイミングデータTDを混在させて記憶する形式と、波形サンプルデータSDとタイミングデータTDを別々に記憶して管理する形式等、種々の形式を取ることができる。
【0032】
図2(a)は、波形サンプルデータSDとタイミングデータTDを混在させて記憶するオーディオデータADの記憶形式の一例を示す構成図である。
【0033】
波形サンプルデータSDとタイミングデータTDを混在させる場合は、例えば、一拍毎あるいは一小節毎のような所定のタイミングに対応した位置にタイミングデータTDが記憶される。1つのタイミングデータTD1と次のタイミングデータTD2の間には、前記所定のタイミング間隔分の波形サンプルデータSDが記憶される。
【0034】
図2(b)は、波形サンプルデータSDとタイミングデータTDを別々に記憶して管理するオーディオデータADの記憶形式の一例を示す構成図である。
【0035】
この形式の場合は、波形サンプルデータSDは連続して記憶される。そして、タイミングデータTDは、波形サンプルデータSDの配列とは別に、所定タイミング毎に、それぞれのタイミングに対応する波形サンプルデータSDの位置情報を示すデータとして記憶される。この場合の位置情報は、所定タイミングに対応する波形サンプルデータSDの記憶アドレスやサンプル数等である。
【0036】
図3は、オーディオ信号とタイミング信号を同時に記録する方法の一例を表すブロック図である。この例では、オーディオ信号の非可聴帯域にタイミング信号を重畳的に記録する。
【0037】
図3(a)は、オーディオ信号の非可聴帯域にタイミング信号を重畳的に記録する方法を表すブロック図である。
【0038】
タイミング信号TSは、例えば一拍や一小節を一周期としたサイン波である。これを変調部12aに送り、非可聴帯域以下(例えば20Hz)の変調波で変調し、低域濾波器(LPF)13でノイズを除去した後、ミキシング部15へと供給する。
【0039】
オーディオ信号ASは、高域濾波器(HPF)14で上記非可聴帯域以下(20Hz以下)を除去した後、ミキシング部15へと供給される。
【0040】
変調されたタイミング信号TSとオーディオ信号ASは、ミキシング部15でミキシングされ、A/D変換部16aでアナログ信号からデジタルデータへと変換される。その後、オーディオデータとして、オーディオデータ記憶部2にオーディオデータとして記憶される。
【0041】
図3(b)は、上記方法で記録されたオーディオデータを再生する方法を表すブロック図である。
【0042】
オーディオデータ記憶部2に記憶されたオーディオデータは、読み出されてD/A変換部16bに送られ、D/A変換されて、アナログ信号となる。その後、HPF14及びLPF13に送られる。
【0043】
HPF14に送られたアナログ信号は、非可聴帯域以下(記録時の設定による。ここでは20Hz以下)を除去され、オーディオ信号ASとして出力される。
【0044】
LPF13に送られたアナログ信号は、上記非可聴帯域の信号のみを抽出され、復調部12bに送られる。復調部12bでは、記録時に用いた周波数(20Hz)の信号でLPF13により抽出された信号を復調し、タイミング信号TSとして出力する。
【0045】
波形データSDにタイミングデータTDを付加する方式の例を以下に説明する。これは、上記いずれの記憶形式で記憶する場合にも実施することが可能である。また、波形データSDにタイミングデータTDを付加する方式は以下のものに限られるものではない。
【0046】
(1)楽曲の音(楽器演奏や歌唱など)を記録する際に、それを聞いている人の操作(例えばスイッチ操作等)によりタイミング信号を発生させ、発生させたタイミング信号をデータとして記録媒体に同時に記録する方式。人の操作によりタイミング信号を発生させる方法としては、例えば実開平4−77196の実施例に開示されているテンポコントローラ等を用いることができる。
【0047】
(2)楽曲の音を一旦記録媒体に記録し、それを再生する際に、それを聞いている人の操作(例えばスイッチ操作等)によりタイミング信号を発生させ、発生させたタイミング信号をデータとして記録媒体に追加記録する方式。
【0048】
(3)楽曲の音を一旦記録媒体に記録した後、それを解析して所定のタイミングを自動的に抽出し、抽出したタイミング信号をデータとして記録媒体に追加記録する方式。自動抽出の仕方は、例えば、強拍と次の強拍の間の時間間隔を計測して、テンポを計算する等、種々のものが考えられる。
【0049】
(4)前記(1)から(3)で記録したタイミングデータを、人の操作により、前後に修正する方式。例えば、タイミング信号を音に変換し、それを聞きながら修正する。また、例えば、楽曲の音とタイミング信号を表示データに変換し、それを見ながら変換する等、種々の方式による修正が可能である。
【0050】
図4は、読出/再生部7の構成を示すブロック図である。
【0051】
読出/再生部7は、読み出し制御部9、比較部10を有し、さらにピッチ変換部11を有していてもよい。
【0052】
読み出し制御部9は、タイムストレッチ回路を有し、オーディオデータ記憶部2から、オーディオデータADを読み出す。読み出したオーディオデータADのうちタイミングデータTDを比較部10に送る。また、比較部10からの指示に従い、波形サンプルデータSDを再生する。
【0053】
読み出し制御部9は、比較部10からの指示に対応して、再生速度を変えることができる。再生速度を変化させるとピッチが変わってしまうので、波形データは、後段に配置されるピッチ変換部11に送られ記録時のピッチに修正される。
【0054】
再生速度を変化させない場合は、タイムストレッチ処理により、波形データの読み飛ばし、重複読み出しを行う。この場合、波形データのピッチは変化しないので、ピッチ変換部11を必要としないか、又は、ピッチ変換部11を介さずに出力される。
【0055】
比較部10からの指示により、又は新たな指示がない場合、次の指示があるまで、変更された再生テンポを維持するため前回と同じ処理を繰り返す様にしてもよいし、元のテンポに戻すため通常の読み出し/再生を行う様にしてもよい。基本的に、新たな指示がくるまで、処理を継続して行う。
【0056】
比較部10は、タイミングデータTDを受け取り、入力されたタイミング信号と比較する。比較結果に従い、読み出し制御部9に対し、重複読み出し、読み飛ばし、又は読み出し速度の変更等を指示する。ピッチ変換部11に対しては、ピッチ変換を指示する。比較部10での処理については、後にフローチャートを用いて説明する。
【0057】
ピッチ変換部11は、比較部10の指示に従い、ピッチ変換処理によりピッチを変換し、記録時と同じピッチにして波形データを出力する。ピッチ変換処理は、対象となる音声信号や波形データを所定の周波数で順次サンプリングして、サンプリングしたデータを、ランダムアクセスメモリ(RAM)に書き込み、読み出しを行う際に書き込み時と異なる周波数で読出すことによりピッチを変える。比較部10からの指示により、又は新たな指示がない場合、次の指示があるまで、変更された再生ピッチを維持するため前回と同じ処理を繰り返す様にしてもよいし、元のピッチに戻すため通常の再生を行う様にしてもよい。
【0058】
図5は波形サンプルデータSDの読み出し速度を一定にした場合の比較部10が行う割り込み処理を示すフローチャートである。当該割り込み処理は、タイマに応じた所定時間間隔で行われる。この時間間隔は、任意に設定することができる。
【0059】
ステップSA1では、タイミング信号の入力の有無が検出される。所定時間内に入力があれば、“YES”の矢印で示す次のステップSA2に進む。所定時間内に入力がなければ、“NO”の矢印で示すステップSA5に進む。入力がないときに、点線の矢印で示すステップSA6に進むようにしてもよい。ステップSA5又はステップSA6のどちらに進むかは、ユーザが適宜選択できるようにしてもよい。一度入力したテンポを、以降の再生にも反映させる場合は、ステップSA5に進むように選択し、入力したテンポが、一時的な変更である場合は、ステップSA6に進むようにすればよい。また、タイミング信号の入力がない場合は、破線で示すように、ステップSA7に進むようにしてもよい。
【0060】
ステップSA2では、入力されたタイミング信号と、それに対応する読み出し制御部9から送られてくるオーディオデータAD中のタイミングデータTDが時間的に一致しているかが検出される。
【0061】
ここで、一致しているというのは、タイミング信号とそれに対応するタイミングデータTDが同時に比較部10に入力された場合である。一致していないというのは、タイミング信号とそれに対応するタイミングデータTDの一方が、時間的に他方よりも早く比較部10に入力されるか、遅れて入力される場合である。
【0062】
一致している場合は、“JUST”の矢印で示す次のステップSA5に進む。タイミング信号が、対応するタイミングデータTDに対して遅れて入力された場合は、“BEHIND”の矢印で示すステップSA3に進む。タイミング信号が、対応するタイミングデータTDに対して先に入力された場合は、“FAST”の矢印で示すステップSA4に進む。
【0063】
ステップSA3では、読み出し制御部9に対して、重複読み出しで、オーディオデータADを再生するように指示を出す。重複読み出しは、同一波形サンプルデータを連続して読み出し、ピッチを変えずに再生時間を長くするものである。これにより、オーディオデータADの再生テンポを、入力されたタイミング信号のテンポに合わせるように遅くする。ここで行われるタイムストレッチ処理は、タイミング信号とタイミングデータTDのテンポの差又は比を元に所望の再生時間を計算して、タイミング信号のテンポにリアルタイムで合わせるようにする。その後、次のステップSA7に進む。
【0064】
ステップSA4では、読み出し制御部9に対して、読み飛ばしで、オーディオデータADを再生するように指示を出す。読み飛ばしは、波形サンプルデータSDの一部を、再生せずに読み飛ばすことにより、ピッチを変えずに再生時間を短くするものである。これにより、オーディオデータADの再生テンポを、入力されたタイミング信号のテンポに合わせるように早くする。ここで行われるタイムストレッチ処理は、タイミング信号とタイミングデータTDのテンポの差又は比を元に所望の再生時間を計算して、タイミング信号のテンポにリアルタイムで合わせるようにする。その後、次のステップSA7に進む。
【0065】
ステップSA5では、読み出し制御部9に対して、前回の指示と同一の動作を行うことを指示する。つまり、タイミング信号の入力により変更されたテンポを維持して再生を続けるということである。これは、例えば、前回の指示が、読み飛ばし再生をするというものであった場合に、さらに多くの波形サンプルデータSDを読み飛ばすというものではなく、前回の指示で変更した再生速度のままで再生するということである。その後、次のステップSA7に進む。
【0066】
ステップSA6では、読み出し制御部9に対して、オーディオデータADを通常に再生するように指示を出す。ここで、通常の再生とは、オーディオデータADの記録時のテンポに従った再生のことであり、重複読み出しあるいは読み飛ばしを行わないということである。すなわち、時系列的な加工を何もしないということである。これにより、入力されたタイミング信号によるテンポの変更は、初期化される。その後、次のステップSA7に進む。
【0067】
ステップSA7では、比較部処理をステップSA1から繰り返すため再起動する。以上の比較部処理を繰り返すことにより、常にタイミング信号の入力を監視することができる。また、これにより、タイミング信号の入力があった場合は、即座に、タイミング信号のテンポに合わせることができる。つまり、この比較部処理により、タイミング信号の入力状況により、適宜所望のテンポに合わせて再生することが可能になる。
【0068】
図6は、波形サンプルデータSDの読み出し速度を可変にした場合の比較部10が行う割り込み処理を示すフローチャートである。当該割り込み処理は、タイマに応じた所定時間間隔で行われる。この時間間隔は、任意に設定することができる。
【0069】
ステップSB1では、タイミング信号の入力の有無が検出される。所定時間内に入力があれば、“YES”の矢印で示す次のステップSB2に進む。所定時間内に入力がなければ、“NO”の矢印で示すステップSB7に進む。入力がないときに、点線の矢印で示すステップSB9に進むようにしてもよい。ステップSB7又はステップSB9のどちらに進むかは、ユーザが適宜選択できるようにしてもよい。一度入力したテンポを、以降の再生にも反映させる場合は、ステップSB7に進むように選択し、入力したテンポが、一時的な変更である場合は、ステップSB9に進むようにすればよい。また、タイミング信号の入力がない場合は、波線で示すように、ステップSB11に進むようにしてもよい。
【0070】
ステップSB2では、入力されたタイミング信号と、それに対応する読み出し制御部9から送られてくるオーディオデータAD中のタイミングデータTDが時間的に一致しているかが検出される。ここで、一致しているというのは、タイミング信号とそれに対応するタイミングデータTDが同時に比較部10に入力された場合である。一致していないというのは、タイミング信号とそれに対応するタイミングデータTDの一方が、時間的に他方よりも早く比較部10に入力されるか、遅れて入力される場合である。一致している場合は、“JUST”の矢印で示す次のステップSB7に進む。タイミング信号が、対応するタイミングデータTDに対して遅れて入力された場合は、“BEHIND”の矢印で示すステップSB3に進む。タイミング信号が、対応するタイミングデータTDに対して先に入力された場合は、“FAST”の矢印で示すステップSB5に進む。
【0071】
ステップSB3では、読み出し制御部9に対して、オーディオデータADの再生速度を下げるように指示を出す。これにより、オーディオデータADの再生テンポを、入力されたタイミング信号のテンポに合わせるように遅くする。ここでは、いわゆるタイムストレッチ処理は行われず、単に再生速度を遅くするだけである。このため、再生速度を遅くした分ピッチが下がることになる。これを記録時のピッチに戻すために、次のステップSB4に進む。
【0072】
ステップSB4では、ピッチ変換部11に対して、オーディオデータADのピッチを上げるように指示を出す。ここで出される指示は、ピッチ変換後のピッチが記録時のピッチと同一になるようにピッチ変換を行うという指示である。その後、次のステップSB11に進む。
【0073】
ステップSB5では、読み出し制御部9に対して、オーディオデータADの再生速度を上げるように指示を出す。これにより、オーディオデータADの再生テンポを、入力されたタイミング信号のテンポに合わせるように早くする。ここでは、いわゆるタイムストレッチ処理は行われず、単に再生速度を早くするだけである。このため、再生速度を早くした分ピッチが上がることになる。これを記録時のピッチに戻すために、次のステップSB6に進む。
【0074】
ステップSB6では、ピッチ変換部11に対して、オーディオデータADのピッチを下げるように指示を出す。ここで出される指示は、ピッチ変換後のピッチが記録時のピッチと同一になるようにピッチ変換を行うという指示である。その後、次のステップSB11に進む。
【0075】
ステップSB7では、読み出し制御部9に対して、前回の指示と同一の動作を行う又は維持することを指示する。つまり、タイミング信号の入力により変更されたテンポを維持して再生を続けるということである。これは、例えば、前回の指示が、再生速度を上げるというものであった場合に、さらに再生速度を上げるというものではなく、前回の指示で変更した再生速度のままで再生するということである。次にステップSB8に進む
ステップSB8では、ピッチ変換部11に対して、前回の指示と同一の動作を行う又は維持することを指示する。これは、例えば、前回の指示が、ピッチを上げるというものであった場合に、さらにピッチを上げるというものではなく、前回の指示で変更したピッチのままで再生するということである。その後、次のステップSB11に進む。
【0076】
ステップSB9では、読み出し制御部9に対して、オーディオデータADを通常に再生するように指示を出す。ここで、通常の再生とは、オーディオデータADの記録時のテンポに従った再生のことであり、再生速度を変化させないということである。すなわち、時系列的な加工を何もしないということである。これにより、入力されたタイミング信号によるテンポの変更は、初期化される。さらに次のステップSB10に進む。
【0077】
ステップSB10では、ピッチ変換部11に対して、ピッチ変換を行わないように指示を出す。その後、次のステップSB11に進む。
【0078】
ステップSB11では、比較部処理をステップSB1から繰り返すため再起動する。以上の比較部処理を繰り返すことにより、常にタイミング信号の入力を監視することができる。また、これにより、タイミング信号の入力があった場合は、即座に、タイミング信号のテンポに合わせることができる。つまり、この比較部処理により、タイミング信号の入力状況により、適宜所望のテンポに合わせて再生することが可能になる。
【0079】
図7は再生制御装置1を構成する汎用コンピュータ又はパーソナルコンピュータ20の具体的なハードウェア構成を示す図である。
【0080】
汎用コンピュータ又はパーソナルコンピュータ20の構成を説明する。バス21には、CPU22、RAM23、外部記憶装置24、外部に対してMIDIデータを送受信するためのMIDIインターフェース25、サウンドカード26、ROM27、表示装置28、キーボードやスイッチやマウス等の入力手段29、インターネットに接続するための通信インターフェース30、拡張スロット31が接続されている。
【0081】
サウンドカード26は、バッファ26aとコーデック回路26bを有する。バッファ26aは、外部に対して入力又は出力するためのデータをバッファリングする。コーデック回路26bは、A/D変換器及び、D/A変換器を有し、アナログ形式とデジタル形式両者間の変換を行うことが出来る。さらに、コーデック回路26bは、圧縮/伸張回路を有し、データの圧縮及び伸張を行うことができる。
【0082】
外部記憶装置24は、例えばハードディスクドライブ、フロッピーディスクドライブ、CD−ROMドライブ、光磁気ディスクドライブ等であり、MIDIデータ、オーディオデータ、画像データ又はコンピュータプログラム等を記憶することができる。
【0083】
ROM27は、コンピュータプログラム及び各種パラメータを記憶することができる。RAM23は、バッファやレジスタ等のワーキングエリアを有し、外部記憶装置24に記憶されている内容をコピーして記憶することができる。
【0084】
CPU22は、ROM27又はRAM23に記憶されているコンピュータプログラムに従って、各種演算又は処理を行う。システムクロック32は、時間情報を生成する。CPU22はシステムクロック32から時間情報を得て、タイマ割り込み処理を行うことができる。
【0085】
インターネット回線33には、汎用コンピュータ又はパーソナルコンピュータ20の通信インターフェース30が接続される。通信インターフェース30は、インターネットにより、MIDIデータ、オーディオデータ、画像データ及びコンピュータプログラム等を送受信するためのインターフェースである。
【0086】
MIDIインターフェース25には、MIDI音源35が接続され、サウンドカード26には、音声出力装置36が接続される。また、サウンドカード26には図示しない音声入力装置を接続してもよい。また、MIDI音源35を音声出力装置36に接続してもよい。CPU22は、通信インターフェース30を介して、インターネット回線33上からMIDIデータとオーディオデータと画像データとコンピュータプログラム等を受信する。
【0087】
通信インターフェース30は、インターネット用インターフェースのほか、イーサネット用インターフェース、IEEE1394規格のデジタル通信インターフェース、RS−232C用インターフェースでもよく、種々のネットワークに接続することができる。
【0088】
汎用コンピュータ又はパーソナルコンピュータ20は、オーディオデータの受信や再生等をするためのコンピュータプログラムを記憶する。コンピュータプログラムや各種パラメータ等を外部記憶装置24に記憶させておき、それをRAM23に読み込むことにより、コンピュータプログラム等の追加やバージョンアップ等が容易に行える。
【0089】
CD−ROM(コンパクトディスク−リード・オンリー・メモリー)ドライブは、CD−ROMに記憶されているコンピュータプログラム等を読み出す装置である。読み出したコンピュータプログラム等は、ハードディスクにストアされる。コンピュータプログラムの新規インストールやバージョンアップ等が容易に行える。
【0090】
通信インターフェース30はLAN(ローカルエリアネットワーク)やインターネット、電話回線等の通信ネットワーク33に接続されており、該通信ネットワーク33を介して、他のコンピュータ34と接続される。
【0091】
外部記憶装置24内に上記のコンピュータプログラム等が記憶されていない場合、コンピュータ34からコンピュータプログラム等をダウンロードすることができる。汎用コンピュータ又はパーソナルコンピュータ20は、通信インターフェース30及び、通信ネットワーク33を介してコンピュータ34へコンピュータプログラム等のダウンロードを要求するコマンドを送信する。
【0092】
コンピュータ34は、このコマンドを受け、要求されたコンピュータプログラム等を、通信ネットワーク32を介して、汎用コンピュータ又はパーソナルコンピュータ20へ配信する。汎用コンピュータ又はパーソナルコンピュータ20が、通信インターフェース30を介して、コンピュータプログラム等を受信して外部記憶装置24に蓄積することにより、ダウンロードが完了する。
【0093】
なお、本実施例は、本実施例に対応するコンピュータプログラム等をインストールした市販の汎用コンピュータ又はパーソナルコンピュータ等によって、実施させるようにしてもよい。
【0094】
その場合には、本実施例に対応するコンピュータプログラム等を、CD−ROMやフロッピーディスク等の、コンピュータが読み込むことが出来る記憶媒体に記憶させた状態で、ユーザに提供してもよい。
【0095】
その汎用コンピュータ又はパーソナルコンピュータ等が、LAN、インターネット、電話回線等の通信ネットワークに接続されている場合には、通信ネットワークを介して、コンピュータプログラムや各種データ等を汎用コンピュータ又はパーソナルコンピュータ等に提供してもよい。
【0096】
また、オーディオデータを再生する前に、オーディオデータ中のタイミングデータと、記録されているタイミング信号とを比較し、テンポを変更したオーディオデータを作成した後に、該テンポ変更がなされたオーディオデータを再生するようにしてもよい。
【0097】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組合せ等が可能なことは当業者に自明であろう。
【0098】
【発明の効果】
以上説明したように、本発明によれば、オーディオデータの再生テンポをピッチを変えずに自由に変更することが可能になる。
【0099】
また、一度入力した、テンポ情報を保存して、次回再生時に保存したテンポ情報と、オーディオデータと共にあらかじめ保存されているテンポ信号とを比較して、再生テンポの制御をすることが可能になる。
【0100】
さらに、テンポ変化等が記載されている楽譜を認識して、その認識結果に基づいて、再生テンポの制御をすることが可能になる。
【図面の簡単な説明】
【図1】オーディオデータ再生制御装置の構成を示すブロック図である。
【図2】オーディオデータの記憶形式の例を示す線図である。
【図3】オーディオデータの記憶方法の例を示すブロック図である。
【図4】読出/再生部の構成を示すブロック図である。
【図5】比較部での処理を示すフローチャートである。
【図6】比較部での処理を示すフローチャートである。
【図7】汎用コンピュータ又はパーソナルコンピュータの具体的なハードウェア構成を示すブロック図である。
【符号の説明】
1…再生制御装置、2…オーディオデータ記憶部、3…タイミング入力部、4…タイミング記録/再生部、5…楽譜画像入力部、6…楽譜画像認識/タイミング生成部、7…読出/再生部、8…D/A変換部、9…読み出し制御部、10…比較部、11…ピッチ変換部、12a…変調部、12b…復調部、13…LPF、14…HPF、15…ミキシング部、16a…A/D、16b…D/A変換部、20…汎用コンピュータ又はパーソナルコンピュータ、21…バス、22…CPU、23…RAM、24…外部記憶装置、25…MIDIインターフェース、26…サウンドカード、26a…バッファ、26b…コーデック回路、27…ROM、28…表示装置、29…入力手段、30…通信インターフェース30、31拡張スロット…、32…システムクロック、33…通信ネットワーク、34…コンピュータ、35…MIDI音源、36…音声出力装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an audio data playback control apparatus capable of freely changing the playback tempo of audio data.
[0002]
[Prior art]
In an electronic musical instrument such as a sampler or a musical sound signal processing device, a time stretch process is performed to compress or expand the time axis of a musical sound signal waveform without changing the pitch of the musical sound, thereby changing the reproduction time of the musical sound signal. Yes.
[0003]
Time stretching is a process of compressing or expanding / contracting the time axis without changing the pitch by thinning out or interpolating the audio signal. To shorten the reproduction time, the audio signal is thinned out, and to increase the reproduction time, the audio signal is interpolated.
[0004]
An electronic musical instrument such as a sampler or a musical tone signal processing apparatus is not intended for reproducing a piece of data, and therefore basically does not have timing data that is tempo information. For this reason, it is difficult to use it for the purpose of controlling the reproduction of one song.
[0005]
In addition, regarding an audio data playback control device capable of changing the playback tempo of one piece of audio data, a tempo signal related to the speed of the audio data in one channel of the two-channel tape and in the other channel. Japanese Patent Laid-Open No. 55-67967 discloses a technique for controlling the tape playback speed by comparing the tempo signal with a touch signal input at a predetermined interval from the user.
[0006]
[Problems to be solved by the invention]
If the playback speed is simply changed as in the conventional audio data playback control device, the pitch changes accordingly, which is different from the pitch at the time of recording. In addition, it is required to reproduce the tempo information once input at the next reproduction. Furthermore, it is required to recognize a musical score describing tempo changes and to control the playback tempo based on the recognition result. There is also a need for an audio data playback control device that can change the playback speed without changing the pitch, such as a sampler.
[0007]
An object of the present invention is to provide an audio data reproduction control device capable of freely changing the reproduction tempo of audio data.
[0008]
Another object of the present invention is to control the playback tempo by storing tempo information once input and comparing the tempo information stored at the next playback with the tempo signal stored in advance together with the audio data. It is an object of the present invention to provide an audio data reproduction control apparatus capable of performing the above.
[0009]
Furthermore, another object of the present invention is to provide an audio data reproduction control device capable of recognizing a musical score describing tempo changes and controlling the reproduction tempo based on the recognition result. That is.
[0010]
[Means for Solving the Problems]
According to one aspect of the present invention, an audio data reproduction control apparatus recognizes a score image and a storage unit that stores audio data and timing data for each beat or measure corresponding to the progress of the audio data, and recognizes a result of the recognition. Timing signal generating means for generating a timing signal for each beat or measure based on the above, reading means for reading the audio data and timing data for each beat or measure, the generated timing signal and the read timing data Comparing means for judging whether or not they coincide with each other in time, and changing the pitch so that the progress of the audio data coincides with the generated timing signal in accordance with the judgment result. And control means for controlling the playback tempo of the audio data.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration of an audio data reproduction control apparatus.
[0014]
The audio data reproduction control device 1 includes an audio data storage unit 2, a reading / reproducing unit 7, a timing input unit 3, a timing recording / reproducing unit 4, a score image input unit 5, and a score recognition / timing generation unit 6. The D / A converter 8 may be included.
[0015]
The audio data storage unit 2 stores audio data in a recording medium such as an optical disk such as a CD-ROM, a magneto-optical disk such as an MO, a magnetic disk such as a hard disk, a semiconductor memory such as ROM or RAM, and a magnetic tape.
[0016]
In addition, the recording medium may be a cache memory that temporarily stores audio data stream-distributed via a network. Stream distribution is a type in which batch download downloads audio data for one song or multiple songs from another computer via a network, while playing a part of the data as soon as it is received. Download format. In the case of stream distribution using a cache memory, the entire music piece is not stored at a time, but considering the passage of time, it is considered that one music piece is stored as a result.
[0017]
The audio data storage unit 2 stores one or more pieces of digital audio data. The audio data is composed of waveform data and timing data indicating the position of the timing in the audio data at every predetermined timing (for example, every beat or every measure). The timing data storage format will be described later.
[0018]
The audio data stored in the audio data storage unit 2 may be stored in advance or may be stored audio data input from the outside. Further, it may be downloaded from another computer via a network. The stored audio data may be any data that is reproduced based on a certain tempo, such as musical instrument performance and singing. Further, timing data is added to audio data having no timing data by a method described later.
[0019]
The read / play unit 7 reads out and outputs the audio data stored in the audio data storage unit 2. This output may be performed in a digital format or may be performed after being converted into an analog format. The configuration of the reading / reproducing unit 7 will be described later.
[0020]
At this time, the output tempo of the audio data can be controlled in real time based on a timing signal from any of the timing input unit 3, the timing recording / reproducing unit 4, and the score recognition / timing generating unit 6. At this time, the tempo changes, but the pitch does not change and remains unchanged.
[0021]
The timing input unit 3 is a hand controller or a command bar type operator (for example, Japanese Patent Laid-Open No. Hei 8) in which a player (conductor) swings by hand using a switch input of a keyboard or a mouse, an acceleration sensor, a gyro sensor, or the like. -305334 (operator described in the embodiment), timing signal at every predetermined timing (every beat or every bar) in accordance with image recognition by imaging the operation such as operation, command, voice input by microphone, etc. Enter. The input timing may be arbitrarily selected by the user, for example, every beat or every measure. The timing signal input from the timing input unit 3 is output to the timing recording / reproducing unit 4 or directly to the reading / reproducing unit 7. Further, when nothing is input, a timing signal having the same synchronization as the timing signal input up to the previous time may be automatically generated.
[0022]
The timing recording / reproducing unit 4 records the timing signal input from the timing input unit 3 in time series, for example, one piece of music on a recording medium, and reads and reproduces the timing signal recorded later. The recording medium for recording the timing signal is the same as that of the audio data storage unit 2.
[0023]
Note that the timing signal to be recorded / reproduced is not limited to one corresponding to one audio data, and there may be a plurality of types of timing signals corresponding to one audio data.
[0024]
In this way, it is possible to reproduce the same audio data at different tempos (changing the tempo). If a timing signal corresponding to the audio data is stored in advance, it may be reproduced only. Furthermore, the playback tempo of the timing signal sequence may be changed before or during playback.
[0025]
The data recorded in the audio data storage unit 2 and the timing recording / reproducing unit 4 may be recorded on a recording medium in a continuous area in time series, or scattered and stored in a discrete area separately. You may manage as continuous data. That is, it is only necessary to manage the data as time-sequential data, and it does not matter whether the data is continuously recorded on the recording medium.
[0026]
The score image input unit 5 reads a printed or handwritten score by a scanner or the like, and creates and inputs a score image. Alternatively, a score image that has already been read and recorded on a recording medium may be input. Note that the score read here is a score corresponding to the audio data recorded in the audio data storage unit 2. The input score image is output to the score recognition / timing generator 6.
[0027]
The score recognition / timing generator 6 analyzes the input score image and recognizes notes and various music symbols. A technique for recognizing a musical score is known, and is recognized by, for example, a method disclosed in an embodiment of Japanese Patent Laid-Open No. 6-332443. Then, a timing signal is generated for each predetermined timing (every beat or every bar) based on the music symbols related to time signature and tempo change among the recognized music symbols.
[0028]
For example, if it is recognized that “tempo = 120, 4/4 time signature”, when generating a timing signal for each beat, the timing signal is generated every 0.5 seconds, and for each bar, 2 is used. Generate every second. When “Rit. (Ritardando)” is recognized as the tempo change symbol, the timing signal cycle is gradually lengthened, and when “Acc. (Accelerando)” is recognized, the timing signal cycle is gradually increased. Keep it short. For other time signatures and symbols related to tempo changes, timing signals are also generated so as to correspond to them. The timing signal generated here is sent to the reading / reproducing unit 7. The generated timing signal may be output to the timing recording / reproducing unit 4 and recorded on a recording medium, and read / reproduced later.
[0029]
The D / A converter 8 converts the output of the read / reproducer 7 from digital data to an analog signal. The output of the reading / reproducing unit 7 may be output as digital data without going through the D / A converting unit 8.
[0030]
FIG. 2 is a configuration diagram illustrating an example of a storage format of audio data.
[0031]
The audio data AD is stored in various formats such as a format in which the waveform sample data SD and the timing data TD are mixed and a format in which the waveform sample data SD and the timing data TD are separately stored and managed. be able to.
[0032]
FIG. 2A is a configuration diagram showing an example of a storage format of audio data AD in which waveform sample data SD and timing data TD are mixed and stored.
[0033]
When the waveform sample data SD and the timing data TD are mixed, the timing data TD is stored at a position corresponding to a predetermined timing such as every beat or every measure. Between one timing data TD1 and the next timing data TD2, waveform sample data SD for the predetermined timing interval is stored.
[0034]
FIG. 2B is a configuration diagram showing an example of a storage format of audio data AD for separately storing and managing the waveform sample data SD and the timing data TD.
[0035]
In the case of this format, the waveform sample data SD is continuously stored. The timing data TD is stored as data indicating the position information of the waveform sample data SD corresponding to each timing at a predetermined timing, separately from the arrangement of the waveform sample data SD. The position information in this case is the storage address of the waveform sample data SD corresponding to the predetermined timing, the number of samples, and the like.
[0036]
FIG. 3 is a block diagram illustrating an example of a method for simultaneously recording an audio signal and a timing signal. In this example, the timing signal is recorded in a superimposed manner in the non-audible band of the audio signal.
[0037]
FIG. 3A is a block diagram showing a method for recording a timing signal in a superimposed manner in the non-audible band of the audio signal.
[0038]
The timing signal TS is, for example, a sine wave having one beat or one bar as one cycle. This is sent to the modulation unit 12 a, modulated with a modulated wave of a non-audible band or lower (for example, 20 Hz), noise is removed by a low-pass filter (LPF) 13, and then supplied to the mixing unit 15.
[0039]
The audio signal AS is supplied to the mixing unit 15 after the high-frequency filter (HPF) 14 removes the inaudible band or less (20 Hz or less).
[0040]
The modulated timing signal TS and audio signal AS are mixed by the mixing unit 15 and converted from analog signals to digital data by the A / D conversion unit 16a. Thereafter, it is stored as audio data in the audio data storage unit 2 as audio data.
[0041]
FIG. 3B is a block diagram showing a method for reproducing the audio data recorded by the above method.
[0042]
The audio data stored in the audio data storage unit 2 is read out and sent to the D / A conversion unit 16b where it is D / A converted into an analog signal. Thereafter, it is sent to the HPF 14 and the LPF 13.
[0043]
The analog signal sent to the HPF 14 is removed from the non-audible band or less (depending on the setting at the time of recording. Here, 20 Hz or less) and output as the audio signal AS.
[0044]
From the analog signal sent to the LPF 13, only the signal in the inaudible band is extracted and sent to the demodulator 12b. The demodulator 12b demodulates the signal extracted by the LPF 13 with the signal (20 Hz) used at the time of recording and outputs it as a timing signal TS.
[0045]
An example of a method for adding the timing data TD to the waveform data SD will be described below. This can be carried out when storing in any of the above storage formats. Further, the method of adding the timing data TD to the waveform data SD is not limited to the following.
[0046]
(1) When recording a music sound (musical instrument performance, singing, etc.), a timing signal is generated by an operation (for example, a switch operation) of a person who is listening to the music, and the generated timing signal is recorded as data. Recording at the same time. As a method for generating a timing signal by a human operation, for example, a tempo controller disclosed in the embodiment of Japanese Utility Model Laid-Open No. 4-77196 can be used.
[0047]
(2) When a sound of a music is once recorded on a recording medium and reproduced, a timing signal is generated by an operation (for example, a switch operation) of a person who listens to the sound, and the generated timing signal is used as data. A method of additionally recording on a recording medium.
[0048]
(3) A method in which after a sound of a music is once recorded on a recording medium, it is analyzed to automatically extract a predetermined timing, and the extracted timing signal is additionally recorded as data on the recording medium. Various automatic extraction methods are conceivable, such as measuring the time interval between a strong beat and the next strong beat and calculating the tempo.
[0049]
(4) A method of correcting the timing data recorded in (1) to (3) before and after by a human operation. For example, the timing signal is converted into sound and corrected while listening. Further, for example, it is possible to make corrections by various methods such as converting the sound and timing signal of the music into display data and converting it while viewing it.
[0050]
FIG. 4 is a block diagram showing a configuration of the reading / reproducing unit 7.
[0051]
The read / playback unit 7 includes a read control unit 9 and a comparison unit 10, and may further include a pitch conversion unit 11.
[0052]
The read control unit 9 has a time stretch circuit and reads the audio data AD from the audio data storage unit 2. Of the read audio data AD, the timing data TD is sent to the comparison unit 10. Further, the waveform sample data SD is reproduced in accordance with an instruction from the comparison unit 10.
[0053]
The read control unit 9 can change the reproduction speed in response to an instruction from the comparison unit 10. Since the pitch changes when the reproduction speed is changed, the waveform data is sent to the pitch converter 11 arranged in the subsequent stage and corrected to the pitch at the time of recording.
[0054]
When the reproduction speed is not changed, the waveform data is skipped by the time stretch process, and duplicate reading is performed. In this case, since the pitch of the waveform data does not change, the pitch conversion unit 11 is not required or is output without going through the pitch conversion unit 11.
[0055]
In response to an instruction from the comparison unit 10 or when there is no new instruction, the same processing as the previous time may be repeated until the next instruction is issued, or the previous tempo may be restored. Therefore, normal reading / reproduction may be performed. Basically, processing continues until a new instruction is received.
[0056]
The comparator 10 receives the timing data TD and compares it with the input timing signal. In accordance with the comparison result, the readout control unit 9 is instructed to perform duplicate reading, skip reading, or change the reading speed. The pitch converter 11 is instructed to convert the pitch. The processing in the comparison unit 10 will be described later using a flowchart.
[0057]
The pitch conversion unit 11 converts the pitch by the pitch conversion process according to the instruction of the comparison unit 10, and outputs the waveform data with the same pitch as that during recording. In the pitch conversion process, the target audio signal and waveform data are sequentially sampled at a predetermined frequency, and the sampled data is written to a random access memory (RAM) and read at a frequency different from that at the time of writing. Change the pitch. In response to an instruction from the comparison unit 10 or when there is no new instruction, the same processing as the previous time may be repeated until the next instruction is issued, or the original pitch may be restored. Therefore, normal playback may be performed.
[0058]
FIG. 5 is a flowchart showing an interrupt process performed by the comparison unit 10 when the reading speed of the waveform sample data SD is constant. The interrupt process is performed at predetermined time intervals according to the timer. This time interval can be set arbitrarily.
[0059]
In step SA1, the presence / absence of a timing signal is detected. If there is an input within the predetermined time, the process proceeds to the next step SA2 indicated by an arrow “YES”. If there is no input within the predetermined time, the process proceeds to step SA5 indicated by an arrow “NO”. When there is no input, the process may proceed to step SA6 indicated by a dotted arrow. Whether to proceed to step SA5 or step SA6 may be appropriately selected by the user. If the tempo once input is to be reflected in subsequent reproduction, it is selected to proceed to step SA5, and if the input tempo is a temporary change, the process proceeds to step SA6. If no timing signal is input, the process may proceed to step SA7 as indicated by a broken line.
[0060]
In step SA2, it is detected whether the input timing signal and the timing data TD in the audio data AD sent from the corresponding read control unit 9 are temporally coincident.
[0061]
Here, the term “match” means that the timing signal and the corresponding timing data TD are simultaneously input to the comparison unit 10. The case where they do not coincide is a case where one of the timing signal and the timing data TD corresponding thereto is input to the comparison unit 10 earlier or later than the other in terms of time.
[0062]
If they match, the process proceeds to the next step SA5 indicated by the arrow “JUST”. When the timing signal is input with a delay from the corresponding timing data TD, the process proceeds to step SA3 indicated by an arrow “BEHIND”. When the timing signal is input first with respect to the corresponding timing data TD, the process proceeds to step SA4 indicated by the arrow “FAST”.
[0063]
In step SA3, the readout control unit 9 is instructed to reproduce the audio data AD by duplicate readout. Overlapping readout is to continuously read out the same waveform sample data and lengthen the reproduction time without changing the pitch. Thus, the playback tempo of the audio data AD is delayed so as to match the tempo of the input timing signal. In the time stretch processing performed here, a desired reproduction time is calculated based on the difference or ratio between the tempo of the timing signal and the timing data TD so as to match the tempo of the timing signal in real time. Thereafter, the process proceeds to next Step SA7.
[0064]
In step SA4, the read controller 9 is instructed to reproduce the audio data AD by skipping. In skipping, a part of the waveform sample data SD is skipped without being played back, thereby shortening the playback time without changing the pitch. Thus, the playback tempo of the audio data AD is accelerated so as to match the tempo of the input timing signal. In the time stretch processing performed here, a desired reproduction time is calculated based on the difference or ratio between the tempo of the timing signal and the timing data TD so as to match the tempo of the timing signal in real time. Thereafter, the process proceeds to next Step SA7.
[0065]
In step SA5, the read control unit 9 is instructed to perform the same operation as the previous instruction. That is, the reproduction is continued while maintaining the tempo changed by the input of the timing signal. This is because, for example, if the previous instruction is to skip skipping playback, more waveform sample data SD is not skipped, but playback is performed at the playback speed changed by the previous instruction. Is to do. Thereafter, the process proceeds to next Step SA7.
[0066]
In step SA6, the read control unit 9 is instructed to normally reproduce the audio data AD. Here, the normal reproduction is reproduction in accordance with the tempo at the time of recording the audio data AD, and means that duplicate reading or skipping is not performed. That is, no time-series processing is performed. Thereby, the tempo change by the input timing signal is initialized. Thereafter, the process proceeds to next Step SA7.
[0067]
In step SA7, the comparison unit process is restarted to repeat from step SA1. By repeating the above comparison unit processing, it is possible to always monitor the timing signal input. This also makes it possible to immediately match the tempo of the timing signal when a timing signal is input. In other words, the comparison unit process enables reproduction according to a desired tempo according to the input state of the timing signal.
[0068]
FIG. 6 is a flowchart illustrating an interrupt process performed by the comparison unit 10 when the reading speed of the waveform sample data SD is variable. The interrupt process is performed at predetermined time intervals according to the timer. This time interval can be set arbitrarily.
[0069]
In step SB1, whether or not a timing signal is input is detected. If there is an input within a predetermined time, the process proceeds to the next step SB2 indicated by the arrow “YES”. If there is no input within the predetermined time, the process proceeds to step SB7 indicated by the “NO” arrow. When there is no input, the process may proceed to step SB9 indicated by a dotted arrow. The user may appropriately select whether to proceed to step SB7 or step SB9. If the tempo once input is to be reflected in subsequent reproduction, it is selected to proceed to step SB7, and if the input tempo is a temporary change, the process proceeds to step SB9. Further, when there is no timing signal input, the process may proceed to step SB11 as indicated by a broken line.
[0070]
In step SB2, it is detected whether the input timing signal and the timing data TD in the audio data AD sent from the corresponding read control unit 9 are temporally coincident. Here, the term “match” means that the timing signal and the corresponding timing data TD are simultaneously input to the comparison unit 10. The case where they do not coincide is a case where one of the timing signal and the timing data TD corresponding thereto is input to the comparison unit 10 earlier or later than the other in terms of time. If they match, the process proceeds to the next step SB7 indicated by the arrow “JUST”. When the timing signal is input with a delay from the corresponding timing data TD, the process proceeds to step SB3 indicated by an arrow “BEHIND”. If the timing signal is input first with respect to the corresponding timing data TD, the process proceeds to step SB5 indicated by the arrow “FAST”.
[0071]
In step SB3, the readout control unit 9 is instructed to reduce the reproduction speed of the audio data AD. Thus, the playback tempo of the audio data AD is delayed so as to match the tempo of the input timing signal. Here, the so-called time stretch process is not performed, and the playback speed is merely slowed down. For this reason, the pitch decreases as the playback speed is reduced. In order to return this to the recording pitch, the process proceeds to the next step SB4.
[0072]
In step SB4, the pitch converter 11 is instructed to increase the pitch of the audio data AD. The instruction issued here is an instruction to perform pitch conversion so that the pitch after pitch conversion is the same as the pitch at the time of recording. Thereafter, the process proceeds to next Step SB11.
[0073]
In step SB5, the read control unit 9 is instructed to increase the reproduction speed of the audio data AD. Thus, the playback tempo of the audio data AD is accelerated so as to match the tempo of the input timing signal. Here, the so-called time stretch process is not performed, and the playback speed is merely increased. For this reason, the pitch is increased by increasing the reproduction speed. In order to return this to the pitch at the time of recording, the process proceeds to the next step SB6.
[0074]
In step SB6, the pitch conversion unit 11 is instructed to lower the pitch of the audio data AD. The instruction issued here is an instruction to perform pitch conversion so that the pitch after pitch conversion is the same as the pitch at the time of recording. Thereafter, the process proceeds to next Step SB11.
[0075]
In step SB7, the read control unit 9 is instructed to perform or maintain the same operation as the previous instruction. That is, the reproduction is continued while maintaining the tempo changed by the input of the timing signal. For example, when the previous instruction is to increase the reproduction speed, the reproduction speed is not increased further, but the reproduction is performed at the reproduction speed changed by the previous instruction. Next, go to step SB8
In step SB8, the pitch converter 11 is instructed to perform or maintain the same operation as the previous instruction. For example, when the previous instruction is to increase the pitch, the pitch is not increased further, but is reproduced with the pitch changed according to the previous instruction. Thereafter, the process proceeds to next Step SB11.
[0076]
In step SB9, the read control unit 9 is instructed to normally reproduce the audio data AD. Here, normal playback is playback in accordance with the tempo at the time of recording the audio data AD, and means that the playback speed is not changed. That is, no time-series processing is performed. Thereby, the tempo change by the input timing signal is initialized. Further, the process proceeds to the next step SB10.
[0077]
In step SB10, the pitch conversion unit 11 is instructed not to perform pitch conversion. Thereafter, the process proceeds to next Step SB11.
[0078]
In step SB11, the comparison unit process is restarted to repeat from step SB1. By repeating the above comparison unit processing, it is possible to always monitor the timing signal input. This also makes it possible to immediately match the tempo of the timing signal when a timing signal is input. In other words, the comparison unit process enables reproduction according to a desired tempo according to the input state of the timing signal.
[0079]
FIG. 7 is a diagram showing a specific hardware configuration of a general-purpose computer or personal computer 20 constituting the playback control apparatus 1.
[0080]
A configuration of the general-purpose computer or the personal computer 20 will be described. The bus 21 includes a CPU 22, a RAM 23, an external storage device 24, a MIDI interface 25 for transmitting / receiving MIDI data to / from the outside, a sound card 26, a ROM 27, a display device 28, an input means 29 such as a keyboard, a switch and a mouse, A communication interface 30 and an expansion slot 31 for connecting to the Internet are connected.
[0081]
The sound card 26 includes a buffer 26a and a codec circuit 26b. The buffer 26a buffers data for input or output to the outside. The codec circuit 26b includes an A / D converter and a D / A converter, and can convert between an analog format and a digital format. Further, the codec circuit 26b includes a compression / decompression circuit, and can compress and decompress data.
[0082]
The external storage device 24 is, for example, a hard disk drive, a floppy disk drive, a CD-ROM drive, a magneto-optical disk drive, or the like, and can store MIDI data, audio data, image data, a computer program, or the like.
[0083]
The ROM 27 can store computer programs and various parameters. The RAM 23 has a working area such as a buffer or a register, and can copy and store the contents stored in the external storage device 24.
[0084]
The CPU 22 performs various calculations or processes according to the computer program stored in the ROM 27 or the RAM 23. The system clock 32 generates time information. The CPU 22 can obtain time information from the system clock 32 and perform timer interrupt processing.
[0085]
A communication interface 30 of a general-purpose computer or personal computer 20 is connected to the Internet line 33. The communication interface 30 is an interface for transmitting and receiving MIDI data, audio data, image data, computer programs, and the like over the Internet.
[0086]
A MIDI sound source 35 is connected to the MIDI interface 25, and an audio output device 36 is connected to the sound card 26. Further, a sound input device (not shown) may be connected to the sound card 26. Further, the MIDI sound source 35 may be connected to the audio output device 36. The CPU 22 receives MIDI data, audio data, image data, a computer program, and the like from the Internet line 33 via the communication interface 30.
[0087]
In addition to the Internet interface, the communication interface 30 may be an Ethernet interface, an IEEE 1394 standard digital communication interface, or an RS-232C interface, and can be connected to various networks.
[0088]
The general-purpose computer or personal computer 20 stores a computer program for receiving and reproducing audio data. By storing computer programs and various parameters in the external storage device 24 and reading them into the RAM 23, it is possible to easily add or upgrade computer programs.
[0089]
A CD-ROM (compact disk-read only memory) drive is a device that reads a computer program or the like stored in a CD-ROM. The read computer program or the like is stored in the hard disk. New installation and version upgrade of computer programs can be done easily.
[0090]
The communication interface 30 is connected to a communication network 33 such as a LAN (local area network), the Internet, or a telephone line, and is connected to another computer 34 via the communication network 33.
[0091]
When the above computer program or the like is not stored in the external storage device 24, the computer program or the like can be downloaded from the computer 34. The general-purpose computer or personal computer 20 transmits a command for requesting download of a computer program or the like to the computer 34 via the communication interface 30 and the communication network 33.
[0092]
The computer 34 receives this command and distributes the requested computer program or the like to the general-purpose computer or the personal computer 20 via the communication network 32. The general-purpose computer or personal computer 20 receives a computer program or the like via the communication interface 30 and stores it in the external storage device 24, whereby the download is completed.
[0093]
Note that this embodiment may be implemented by a commercially available general-purpose computer or personal computer installed with a computer program or the like corresponding to this embodiment.
[0094]
In that case, the computer program or the like corresponding to the present embodiment may be provided to the user in a state of being stored in a storage medium that can be read by the computer, such as a CD-ROM or a floppy disk.
[0095]
When the general-purpose computer or personal computer is connected to a communication network such as a LAN, the Internet, or a telephone line, the computer program and various data are provided to the general-purpose computer or personal computer via the communication network. May be.
[0096]
Also, before playing back the audio data, compare the timing data in the audio data with the recorded timing signal, create the audio data with the changed tempo, and then play back the audio data with the changed tempo You may make it do.
[0097]
Although the present invention has been described with reference to the embodiments, the present invention is not limited thereto. It will be apparent to those skilled in the art that various modifications, improvements, combinations, and the like can be made.
[0098]
【The invention's effect】
As described above, according to the present invention, the reproduction tempo of audio data can be freely changed without changing the pitch.
[0099]
In addition, it is possible to control the playback tempo by storing the tempo information once input and comparing the tempo information stored at the next playback with the tempo signal stored in advance together with the audio data.
[0100]
Furthermore, it is possible to recognize a musical score describing tempo changes and the like, and to control the playback tempo based on the recognition result.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an audio data reproduction control device.
FIG. 2 is a diagram showing an example of a storage format of audio data.
FIG. 3 is a block diagram illustrating an example of a method for storing audio data.
FIG. 4 is a block diagram showing a configuration of a read / playback unit.
FIG. 5 is a flowchart showing processing in a comparison unit.
FIG. 6 is a flowchart showing processing in a comparison unit.
FIG. 7 is a block diagram illustrating a specific hardware configuration of a general-purpose computer or a personal computer.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Playback control apparatus, 2 ... Audio data storage part, 3 ... Timing input part, 4 ... Timing recording / reproduction part, 5 ... Musical score image input part, 6 ... Musical score image recognition / timing generation part, 7 ... Reading / reproduction part 8 ... D / A converter, 9 ... reading controller, 10 ... comparator, 11 ... pitch converter, 12a ... modulator, 12b ... demodulator, 13 ... LPF, 14 ... HPF, 15 ... mixing unit, 16a ... A / D, 16b ... D / A converter, 20 ... general-purpose computer or personal computer, 21 ... bus, 22 ... CPU, 23 ... RAM, 24 ... external storage device, 25 ... MIDI interface, 26 ... sound card, 26a ... buffer, 26b ... codec circuit, 27 ... ROM, 28 ... display device, 29 ... input means, 30 ... communication interface 30, 31 expansion slot ... 3 ... system clock, 33 ... communication network, 34 ... computer, 35 ... MIDI sound source 36 ... sound output unit

Claims (9)

オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶手段と、
楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成手段と、
前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し手段と、
前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較手段と、
前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御手段と、
を有するオーディオデータの再生制御装置。
Storage means for storing audio data and timing data for each beat or measure corresponding to the progress of the audio data;
Timing signal generating means for recognizing a score image and generating a timing signal for each beat or measure based on the recognition result;
Reading means for reading out the audio data and timing data for each beat or measure;
Comparing means for comparing the generated timing signal and the read timing data to determine whether they coincide in time;
Control means for controlling the playback tempo of the audio data without changing the pitch so that the progress of the audio data coincides with the generated timing signal in time according to the determination result;
An audio data playback control device.
前記再生テンポを制御する制御手段は、オーディオデータの読み出し速度を一定にし、オーディオデータを繰り返し読み出すか、あるいは読み飛ばすことによってピッチを変えずに再生テンポを制御する請求項1記載のオーディオデータの再生制御装置。  2. The reproduction of audio data according to claim 1, wherein the control means for controlling the reproduction tempo controls the reproduction tempo without changing the pitch by making the reading speed of the audio data constant and repeatedly reading or skipping the audio data. Control device. 前記再生テンポを制御する制御手段は、オーディオデータの読み出し速度を変更し、該変更によるピッチの変化分をピッチ変換によって相殺することにより、ピッチを変えずに再生テンポを制御する請求項1記載のオーディオデータの再生制御装置。  The control means for controlling the playback tempo controls the playback tempo without changing the pitch by changing the read speed of the audio data and canceling out the change in pitch due to the change by pitch conversion. Audio data playback control device. オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶手順と、
楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成手順と、
前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し手順と、
前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較手順と、
前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御手順と、
を有するオーディオデータの再生制御手順をコンピューターに実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。
A storage procedure for storing audio data and timing data for each beat or measure corresponding to the progress of the audio data;
A timing signal generation procedure for recognizing a score image and generating a timing signal for each beat or measure based on the recognition result;
A readout procedure for reading out the audio data and timing data for each beat or measure;
A comparison procedure for comparing the generated timing signal and the read timing data to determine whether they coincide in time;
In accordance with the determination result, a control procedure for controlling the playback tempo of the audio data without changing the pitch so as to temporally match the progress of the audio data with the generated timing signal;
The computer-readable recording medium which recorded the program for making a computer perform the reproduction | regeneration control procedure of the audio data which has.
前記再生テンポを制御する制御手順は、オーディオデータの読み出し速度を一定にし、オーディオデータを繰り返し読み出すか、あるいは読み飛ばすことによってピッチを変えずに再生テンポを制御する請求項4記載のオーディオデータの再生制御手順をコンピューターに実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。  5. The reproduction of audio data according to claim 4, wherein the control procedure for controlling the reproduction tempo controls the reproduction tempo without changing the pitch by repeatedly reading the audio data or skipping the audio data while keeping the reading speed of the audio data constant. A computer-readable recording medium recording a program for causing a computer to execute a control procedure. 前記再生テンポを制御する制御手順は、オーディオデータの読み出し速度を変更し、該変更によるピッチの変化分をピッチ変換によって相殺することにより、ピッチを変えずに再生テンポを制御する請求項4記載のオーディオデータの再生制御手順をコンピューターに実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。  5. The control procedure for controlling the playback tempo controls the playback tempo without changing the pitch by changing a reading speed of audio data and canceling a pitch change caused by the change by pitch conversion. A computer-readable recording medium having recorded thereon a program for causing a computer to execute an audio data reproduction control procedure. オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶工程と、
楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成工程と、
前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し工程と、
前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較工程と、
前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御工程と、
を有するオーディオデータの再生制御方法。
A storage step of storing audio data and timing data for each beat or measure corresponding to the progress of the audio data;
A timing signal generating step of recognizing a score image and generating a timing signal for each beat or measure based on the recognition result;
A reading step of reading out the audio data and timing data for each beat or measure;
A comparison step of comparing the generated timing signal and the read timing data to determine whether they coincide in time;
A control step of controlling the playback tempo of the audio data without changing the pitch so that the progress of the audio data coincides with the generated timing signal in time according to the determination result;
A method for controlling the reproduction of audio data.
前記再生テンポを制御する制御工程は、オーディオデータの読み出し速度を一定にし、オーディオデータを繰り返し読み出すか、あるいは読み飛ばすことによってピッチを変えずに再生テンポを制御する請求項7記載のオーディオデータの再生制御方法。  8. The reproduction of audio data according to claim 7, wherein the control step of controlling the reproduction tempo controls the reproduction tempo without changing the pitch by repeatedly reading the audio data or skipping the audio data while keeping the reading speed of the audio data constant. Control method. 前記再生テンポを制御する制御工程は、オーディオデータの読み出し速度を変更し、該変更によるピッチの変化分をピッチ変換によって相殺することにより、ピッチを変えずに再生テンポを制御する請求項7に記載のオーディオデータの再生制御方法。  8. The control step of controlling the playback tempo controls the playback tempo without changing the pitch by changing a read speed of the audio data and canceling a change in pitch due to the change by pitch conversion. Audio data playback control method.
JP26348399A 1999-09-17 1999-09-17 Playback control device and medium Expired - Fee Related JP3846122B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26348399A JP3846122B2 (en) 1999-09-17 1999-09-17 Playback control device and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26348399A JP3846122B2 (en) 1999-09-17 1999-09-17 Playback control device and medium

Publications (2)

Publication Number Publication Date
JP2001083969A JP2001083969A (en) 2001-03-30
JP3846122B2 true JP3846122B2 (en) 2006-11-15

Family

ID=17390147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26348399A Expired - Fee Related JP3846122B2 (en) 1999-09-17 1999-09-17 Playback control device and medium

Country Status (1)

Country Link
JP (1) JP3846122B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3873654B2 (en) 2001-05-11 2007-01-24 ヤマハ株式会社 Audio signal generation apparatus, audio signal generation system, audio system, audio signal generation method, program, and recording medium
EP1760689B1 (en) * 2004-06-09 2016-03-09 Toyota Motor Kyushu Inc. Musical sound producing apparatus and musical sound producing method
JP4626376B2 (en) * 2005-04-25 2011-02-09 ソニー株式会社 Music content playback apparatus and music content playback method

Also Published As

Publication number Publication date
JP2001083969A (en) 2001-03-30

Similar Documents

Publication Publication Date Title
JP4940588B2 (en) Beat extraction apparatus and method, music synchronization image display apparatus and method, tempo value detection apparatus and method, rhythm tracking apparatus and method, music synchronization display apparatus and method
US20020105359A1 (en) Waveform generating metohd, performance data processing method, waveform selection apparatus, waveform data recording apparatus, and waveform data recording and reproducing apparatus
JP2003208170A (en) Musical performance controller, program for performance control and recording medium
JP4012691B2 (en) Waveform data processing apparatus, waveform data processing method, and recording medium readable by waveform data processing apparatus
JP3846122B2 (en) Playback control device and medium
JP2009063714A (en) Audio playback device and audio fast forward method
JP4539594B2 (en) Playback recording device
WO2006046817A1 (en) Apparatus and method for reproducing midi file
JPH11259066A (en) Musical acoustic signal separation method, device therefor and program recording medium therefor
JP2001100756A (en) Method for waveform editing
JPH11282483A (en) Karaoke device
JP2970396B2 (en) Waveform processing device
JP2002091443A (en) Automatic player
JP2008518248A (en) Apparatus and method for reproducing MIDI file
JP4537490B2 (en) Audio playback device and audio fast-forward playback method
JP5338312B2 (en) Automatic performance synchronization device, automatic performance keyboard instrument and program
JP3794805B2 (en) Music performance device
JP2004085609A (en) Apparatus and method for performing synchronous reproduction of audio data and performance data
JP3654227B2 (en) Music data editing apparatus and program
JP3656584B2 (en) Performance data processing apparatus and program
JP3680756B2 (en) Music data editing apparatus, method, and program
JP3659121B2 (en) Music signal analysis / synthesis method, music signal synthesis method, music signal synthesis apparatus and recording medium
JP4238807B2 (en) Sound source waveform data determination device
JPH1031486A (en) Method and device for performance data storage and reproducing
JP3778036B2 (en) Waveform generating apparatus and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees