JP2677062B2 - 時系列データの編集装置 - Google Patents

時系列データの編集装置

Info

Publication number
JP2677062B2
JP2677062B2 JP21478691A JP21478691A JP2677062B2 JP 2677062 B2 JP2677062 B2 JP 2677062B2 JP 21478691 A JP21478691 A JP 21478691A JP 21478691 A JP21478691 A JP 21478691A JP 2677062 B2 JP2677062 B2 JP 2677062B2
Authority
JP
Japan
Prior art keywords
data
word
signal processing
time
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21478691A
Other languages
English (en)
Other versions
JPH0536245A (ja
Inventor
芳尚 小林
美昭 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP21478691A priority Critical patent/JP2677062B2/ja
Publication of JPH0536245A publication Critical patent/JPH0536245A/ja
Application granted granted Critical
Publication of JP2677062B2 publication Critical patent/JP2677062B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ビデオやオーディオ等
における時系列データの編集装置に関するもので、特に
データ信号の信号処理に関する。
【0002】
【従来の技術】ディジタルオーディオデータ等の編集及
びミキシング処理において、ユーザが意図するイベント
点で信号処理内容の変化をタイムコード等のデータナン
バ情報に従って正確にしかも再現性良く実行する機能が
必要である。図3は代表的なデータ構造を示すもので、
mというデータフレームナンバがふられたデータフレー
ム内にはそのデータフレームナンバに続いてnワードの
データ本体が配置される。
【0003】ディジタルオーディオ等の編集機では、一
般的に30msec期間程度のオーディオデータ本体を単位デ
ータフレームとし、これらに対しいわゆるタイムコード
が一対一にふられているようなデータフォーマットを使
う。精度の要求される分野では、信号処理においてはイ
ベント点のデータナンバとして、データフレームナンバ
すなわちタイムコードとフレーム内のデータワードナン
バとを使用し、これに従って正確に信号処理を実行する
機能が要求される。
【0004】例えば、2つの音楽素材を時間的につなぐ
ような編集作業においては、つなぎ目の部分すなわち編
集点が無音でない限り、一般的にここはデータの不連続
点になりクリックノイズが発生する。通常、この対策と
しては、1秒以内の短い時間に前素材のレベルをなだら
かに低下させながら、逆に後素材のレベルをなだらかに
上昇させるいわゆるクロスフェードが行われる。
【0005】このイベント点における正確な信号処理制
御のために、例えばプロ用ディジタルオーディオ編集機
では、図4に示す編集システム構成及び図5に示すデー
タ処理制御機構を備えている。図4において、1はコン
トローラ5に接続されたシステムコントローラ、2はデ
ィスクインタフェース部、3はデータ信号プロセッサ、
4はテープレコーダ7及びモニタ8に接続された外部入
出力部である。
【0006】また、図5において、10はイベント点を
予約するコンソールであり、信号処理ユニットとして
は、フレームナンバメモリ21、ワードナンバメモリ2
2、フレームナンバメモリ23、インタラプタ24、こ
のインタラプタ24による比較実行指示に基づいてフレ
ームナンバメモリ21と23とのフレームナンバを比較
するフレームナンバ比較器25、ワードナンバメモリ2
2からのワードナンバとワードクロック入力をカウント
するワードカウンタ32によるカレントワードカウント
とを比較するワードカウント比較器31、その比較結果
一致したときに与えられる指示に基づいて係数メモリ3
4の係数をロードして信号処理係数を更新することによ
り信号処理内容を切り替える信号プロセッサ33を有す
る。
【0007】次に、イベント点における信号処理制御に
ついて主に図5に示すデータ処理コントロール機構を参
照して説明する。まず、イベント点の指定は、そのオー
ディオデータのデータナンバ、すなわちタイムコード
(編集点のフレームナンバ)とワードナンバ(編集点の
ワードナンバ)とを、例えばコンソール10から入力す
ることによって行う。これらのデータは、フレームナン
バメモリ21とワードナンバメモリ22とにそれぞれ保
存される。一方、現在処理中のオーディオデータにふら
れたデータナンバはテープメディア等から読み出され、
復調されてフレームナンバメモリ23に入力される。
【0008】メインデータとして入力されるオーディオ
データと共に、フレーム同期信号入力として同期基準信
号とワードクロックとが入力される。その中で、フレー
ム同期信号入力はインタラプトコントローラ24に入力
されてMPUの割り込み入力として働く。この割り込み
が起こると、フレームナンバ比較器25は、フレームナ
ンバメモリ21にストアされているプロセス実行用フレ
ームナンバとフレームナンバメモリ23にストアされて
いるカレントフレームナンバとを比較し、もし一致した
ならば、エクゼキュート比較指示をワードカウント比較
器31に送り、データワードカウントの比較を行わせ
る。この際、比較するワードカウントは、ワードナンバ
メモリ22にストアされているプロセス実行用ワードナ
ンバと、ワードクロックをワードカウンタ32でカウン
トしたカレントワードカウントである。
【0009】データワードカウントが一致したならば、
ワードカウント比較器31は係数転送指示を信号プロセ
ッサ33に送り、係数メモリ34から係数をロードし
て、信号処理係数を更新することによって、信号処理内
容を切り替える。例えばクロスフェード処理の場合、入
力されるメインデータに対し自動的にレベル変化を与え
メインデータ出力端から出力するために使われるデータ
の乗数処理に必要な乗数の初期値と乗数の増分とを与え
る。
【0010】
【発明が解決しようとする課題】このような編集点のク
ロスフェードのように高い精度を要求される処理の実行
には、前述したようにデータワードを正確にカウントし
て正しいイベント点を検知して処理内容を実行する必要
がある。しかし、例えばイベント点に指定されたイコラ
イザの特性変化の様なイベントである場合を考えると、
音色の変化が人間の聴覚に認知されるまでにはある程度
の時間が必要であり、データワード単位の制御精度は必
ずしも必要でない。
【0011】前述した従来技術では、データワード管理
のために専用のハードウエアを要する。一方、図5のワ
ードカウンタ32及びワードカウント比較器31の機能
を信号プロセッサ33いわゆるDSPのソフトウエアで
実現しようとした場合、割り込み線の不足等によって不
可能な場合が多い。
【0012】また、前述した従来技術では、信号処理内
容の変更を1回だけ行う例を示したが、実際には多数の
イベントを連続的に処理する必要が生じ得る。図5の構
成では、再生用と記録用のテープレコーダを使用してい
わゆるアッセンブリ及びインサート処理を行うものであ
るから、編集点において必要になるクロスフェード処理
を1回行うとテープの巻き戻しなどを行ってから再度設
定し直すので連続的に処理する必要がない。しかし、例
えば図4に示すディスクベースの編集機などでは、編集
リストに基づいて短時間の間に多数のクロスフェードを
連続的に実行できる能力が要求される。要求される機能
を実現するためには、ワードカウント比較器31の数を
増す等管理ハードウエアの複雑化が避けられない。
【0013】本発明は、上記のような問題点を解消する
ためになされたもので、イコライザノの特性変化の様な
イベントを現実的に問題のない時間精度で実行制御で
き、かつ実行制御のための処理サイクルがハードウエア
ロジックに比べ比較的低速で、ワードクロック毎の割り
込み処理が一般的に不可能なMPUに対して現実的な時
間間隔になるようにすることによって、信号処理制御機
構の大部分をMPUのソフトウエアによって実現でき、
したがってハードウエアの規模を大幅に削減できる時系
列データの編集装置を提供することを第1の目的とす
る。
【0014】また、通常のMPUに実装されている割り
込み制御等の機能が利用できる高機能化されたディジタ
ルシグナルプロセッサいわゆるDSPを利用し、従来の
ハードウエアロジックにおいて行われていた処理を効率
よくソフトウエアに置き換えてハードウエアの量を極力
削減し多数の処理内容の変更を連続的に行うことができ
る時系列データの編集装置を提供することを第2の目的
とする。
【0015】
【課題を解決するための手段】上記第1の目的を達成す
るために、第1発明に係る時系列データの編集装置は、
時系列データをこれにふられたデータナンバに従って信
号処理内容を予約して信号処理を実行する機能を有する
時系列データの編集装置において、データワードクロッ
クを分周するワードクロック分周器と、予約された信号
処理のタイミングを示すデータナンバ情報を前記分周器
による分周信号の周期に等しい時間間隔とするデータナ
ンバ情報を得るラウンダと、そのデータナンバ情報と前
記分周信号をカウントしたデータナンバとの比較に基づ
いて信号処理内容の変化指示を信号プロセッサに与える
ティックカウント比較器とを備えたことを特徴とするも
のである。
【0016】また、第2の目的を達成するための第2発
明に係る時系列データの編集装置は、ディジタルシグナ
ルプロセッサに信号処理内容の変化を起こすべきデータ
ワーカウントをあらかじめロード予約する手段と、デー
タワードクロックをディジタルシグナルプロセッサの割
り込みまたはポーリング入力として用いカウントされる
データワードのカウントと前記予約されたデータワード
カウントとの比較に基づいて信号処理内容の変化指示を
信号プロセッサに与える比較手段とを備えたことを特徴
とするものである。
【0017】
【作用】第1発明においては、ワードクロック分周器に
よりデータワードクロックを分周し、予約された信号処
理のタイミングを示すデータナンバ情報を前記分周信号
の周期に等しい時間間隔としたデータナンバ情報をラウ
ンダにより得て、そのデータナンバ情報と前記分周信号
をカウントしたデータナンバとをティックカウント比較
器により比較してその比較に基づいて信号処理内容の変
化指示を信号プロセッサに与える。
【0018】また、第2発明においては、ディジタルシ
グナルプロセッサに信号処理内容の変化を起こすべきデ
ータワードカウントをあらかじめロード予約し、データ
ワードクロックをディジタルシグナルプロセッサの割り
込みまたはポーリング入力として用い、カウントされる
データワードのカウントと前記予約されたデータワード
カウントとの比較に基づいて信号処理内容の変化指示を
信号プロセッサに与える。
【0019】
【実施例】以下、本発明の一実施例を図に基づいて説明
する。図1は図5に示す従来例のデータ処理コントロー
ル機構に対応する本発明の一実施例を示すものである。
この図1において、図5と同一部分は同一符号を示し、
異なる点は、新たな構成として、入力されるワードクロ
ックを分周するワードクロック分周器35と、その分周
出力をインタラプト信号としてティックナンバカウント
アップ信号を出力するインタラプトコントローラ27
と、ティックナンバをカウントするティックナンバカウ
ンタ28と、ワードナンバメモリ22からのワードナン
バをティックインタラプト信号の周期と一致する様に丸
めるラウンダ29と、ティックナンバカウンタ28とラ
ウンダ29の出力を比較して係数更新指示を信号プロセ
ッサ33に出力するティックカウント比較器26を備え
る。
【0020】次に、図1の構成に係るイベント点におけ
る信号処理制御について説明する。まず、イベント点の
指定は、そのオーディオデータのデータナンバ、すなわ
ちタイムコード(編集点のフレームナンバ)とワードナ
ンバ(編集点のワードナンバ)とを、例えばコンソール
10から入力することによって行う。これらのデータ
は、フレームナンバメモリ21とワードナンバメモリ2
2とにそれぞれ保存される。一方、現在処理中のオーデ
ィオデータにふられたデータナンバはテープメディア等
から読み出され、復調されてフレームナンバメモリ23
に入力される。
【0021】メインデータとして入力されるオーディオ
データと共に、フレーム同期入力としての同期基準信号
とワードクロックとが入力される。その中で、フレーム
同期入力はインタラプトコントローラ24に入力されて
MPUの割り込み入力として働く。この割り込みが起こ
ると、フレームナンバ比較器25は、フレームナンバメ
モリ21にストアされているプロセス実行用フレームナ
ンバとフレームナンバメモリ23にストアされているカ
レントフレームナンバとを比較し、もし一致したなら
ば、比較実行指示をティックカウント比較器26に送
り、データティックカウントの比較を行わせる。
【0022】この際、ティックカウント比較器26で比
較するのは、ワードクロック分周器35によってワード
クロック入力を分周してつくられたティックインタラプ
ト信号を、インタラプトコントローラ27を介してティ
ックナンバカウンタ28によってカウントしたカレント
ティックカウントと、ワードナンバメモリ22にストア
されているワードナンバをラウンダ29によってティッ
クインタラプト信号の周期と一致するようにしたプロセ
ス実行用ティックナンバとである。
【0023】ティックカウントが一致したならば、ティ
ックカウント比較器26は係数転送指示を信号プロセッ
サ33に送り、係数メモリ34から係数をロードして、
信号処理係数を更新することによって、信号処理内容を
切り替える。例えばイコライの特性変更処理の場合、入
力されるメインデータに対しイコライザ処理を与えるメ
インデータ出力端から出力する過程で行われるデータの
積和演算処理に使用される係数を更新することによって
変更処理を実現する。
【0024】このようにして、指定されたイベント点に
おける信号処理内容の切り替えは、指定された点に最も
近いティックナンバに相当する時点で実行され、その時
間精度は現実的に問題ないものにできる。また、信号プ
ロセッサ及びワードクロック分周器以外はMPUのソフ
トウエアで実現可能であり、ハードウエアの大幅な簡略
化が可能である。
【0025】なお、本発明は、データフレーム構造を持
たず、各データワードにデータワードナンバがふられて
いるような構造のデータ編集装置においても適用可能で
あるのは言うまでもない。また、単一のイベント点に対
する処理に限らず、複数のイベント点を設定し、順次処
理を行うような実装も可能であり、これも本発明の範囲
に含まれる。
【0026】次に、図2は第2発明に係るデータ処理コ
ントロール機構の一実施例を示すものである。この図2
において、図1と同一部分は同一符号を示し、異なる点
は、新たな構成として、ディジタルシグナルプロセッサ
DSP側に、フレームナンバ比較器25から与えられる
ロード指示に基づいてワードナンバメモリ22の内容を
蓄えるワードナンバメモリ35と、ワードクロックをカ
ウントするインタラプトコントローラ37と、同期基準
信号を入力するインタラプトコントローラ39と、イン
タラプトコントローラ37によるワードカウントを入力
してカレントワードナンバを出力するワードナンバカウ
ンタ38と、ワードナンバメモリ35とワードナンバカ
ウンタ38との出力を比較して信号プロセッサ33に信
号処理係数を更新すべき指示を与えるワードナンバ比較
器36を備えている。
【0027】次に、図2の構成に係るイベント点におけ
る信号処理制御について説明する。まず、イベント点の
指定は、そのオーディオデータのデータナンバ、すなわ
ちタイムコード(編集点のフレームナンバ)とワードナ
ンバ(編集点のワードナンバ)とを、例えばコンソール
10から入力することによって行う。これらのデータ
は、フレームナンバメモリ21とワードナンバメモリ2
2とにそれぞれ保存される。一方、現在処理中のオーデ
ィオデータにふられたデータナンバはテープまたはディ
スクメディア等から読み出され、復調されてフレームナ
ンバメモリ23に入力される。
【0028】メインデータとして入力されるオーディオ
データと共に、フレーム同期入力としての同期基準信号
とワードクロックとが入力される。その中で、フレーム
同期入力はインタラプトコントローラ24に入力されて
MPUの割り込み入力として働く。この割り込みが起こ
ると、フレームナンバ比較器25は、フレームナンバメ
モリ21にストアされているプロセス実行用フレームナ
ンバとフレームナンバメモリ23にストアされているカ
レントフレームナンバとを比較し、もし一致したなら
ば、係数更新ロード指示をワードナンバメモリ35に送
る。
【0029】すると、ワードナンバメモリ35はワード
ナンバメモリ22のワードナンバをロードしてフル状態
となり、比較実行指示をワードナンバ比較器36に送
り、、ワードカウントの比較を行わせる。この際、ワー
ドナンバ比較器36によるワードカウントの比較は、ワ
ードナンバメモリ35にストアされている係数更新用ワ
ードナンバと、ワードクロックによって発生したインタ
ラプトコントローラ37による割り込みによってカウン
トアップされたワードナンバカウンタ38のカレントワ
ードナンバ出力とによって行う。
【0030】データワードカウントが一致したならば、
ワードナンバ比較器36は係数転送指示を信号プロセッ
サ33に送り、係数メモリ34から係数をロードして、
信号処理係数を更新することによって、信号処理内容を
切り替える。例えばクロスフェード処理の場合、入力さ
れるメインデータに対し自動的にレベル変化を与えメイ
ンデータ出力端から出力するために使われるデータの乗
数処理に必要な乗数の初期値と乗数の増分とを与える。
【0031】また、ディジタルシグナルプロセッサDS
Pのアーキテクチャによっては、信号プロセッサ33に
与える指示は係数転送指示の代わりに、係数更新指示の
形態をとることが可能である。その場合の動作は、プロ
グラムコントローラがこの指示を判断し、DSPのメモ
リ空間にマップされた係数メモリ領域のアドレスを、目
的の信号処理に相当するものに切り替えることによって
行われる。したがって、係数の転送によって生じる時間
遅れがこの場合は除去でき、信号処理内容の切り替え動
作をより正確なタイミングで行うことができる。
【0032】なお、以上は、MPU及び割り込み処理を
使って機能を実現する方法を説明したが、IOポーリン
グによって同様の動作を実現することも可能であること
は自明である。また、本発明は、データフレーム構造を
持たず、各データワードにデータワードナンバがふられ
ているような構造のデータ編集装置においても適用可能
であるのは言うまでもない。逆に、フレーム内のワード
ナンバの管理が不要な場合でも同様である。
【0033】
【発明の効果】以上の様に、第1発明によれば、データ
ワードクロックを分周し、分周信号のカウントと信号処
理を予約したイベント点とを比較することにより、処理
の制御を行うので、ワード単位制御の不要な処理を制御
する際は処理の大部分をソフト化することができ、した
がって、ハードウエアの規模を大幅に削減できる。
【0034】また、第2発明によれば、ディジタルシグ
ナルプロセッサに信号処理内容の変化を起こすワードカ
ウントを予約ロードし、これをディジタルシグナルプロ
セッサで割り込み処理によってカウントしたワードクロ
ックと比較して、信号処理のタイミングを制御するの
で、ハードロジックを極力減らし、かつワード単位の精
密な制御を実現できるという効果を奏する。
【図面の簡単な説明】
【図1】第1発明の一実施例に係るデータ処理コントロ
ール機構の回路ブロック図である。
【図2】第2発明の一実施例に係るデータ処理コントロ
ール機構の回路ブロック図である。
【図3】データフレームの構成図である。
【図4】編集システムの構成図である。
【図5】従来例のデータ処理コントロール機構の図1対
応図である。
【符号の説明】
21 フレームナンバメモリ 22 ワードナンバメモリ 23 フレームナンバメモリ 24 インタラプトコントローラ 25 フレームナンバ比較器 26 ティックカウント比較器 27 インタラプトコントローラ 28 ティックナンバカウンタ 29 ラウンダ 33 信号プロセッサ 34 係数メモリ 35 ワードクロック分周器 36 ワードナンバ比較器 37 インタラプトコントローラ 38 ワードナンバカウンタ

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 時系列データをこれにふられたデータナ
    ンバに従って信号処理内容を予約して信号処理を実行す
    る機能を有する時系列データの編集装置において、デー
    タワードクロックを分周するワードクロック分周器と、
    予約された信号処理のタイミングを示すデータナンバ情
    報を前記分周器による分周信号の周期に等しい時間間隔
    とするデータナンバ情報を得るラウンダと、そのデータ
    ナンバ情報と前記分周信号をカウントしたデータナンバ
    との比較に基づいて信号処理内容の変化指示を信号プロ
    セッサに与えるティックカウント比較器とを備えたこと
    を特徴とする時系列データの編集装置。
  2. 【請求項2】 時系列データをこれにふられたデータナ
    ンバに従って信号処理内容を予約して信号処理を実行す
    る機能を有する時系列データの編集装置において、ディ
    ジタルシグナルプロセッサに信号処理内容の変化を起こ
    すべきデータワードカウントをあらかじめロード予約す
    る手段と、データワードクロックをディジタルシグナル
    プロセッサの割り込みまたはポーリング入力として用い
    カウントされるデータワードのカウントと前記予約され
    たデータワードカウントとの比較に基づいて信号処理内
    容の変化指示を信号プロセッサに与える比較手段とを備
    えたことを特徴とする時系列データの編集装置。
JP21478691A 1991-07-31 1991-07-31 時系列データの編集装置 Expired - Lifetime JP2677062B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21478691A JP2677062B2 (ja) 1991-07-31 1991-07-31 時系列データの編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21478691A JP2677062B2 (ja) 1991-07-31 1991-07-31 時系列データの編集装置

Publications (2)

Publication Number Publication Date
JPH0536245A JPH0536245A (ja) 1993-02-12
JP2677062B2 true JP2677062B2 (ja) 1997-11-17

Family

ID=16661515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21478691A Expired - Lifetime JP2677062B2 (ja) 1991-07-31 1991-07-31 時系列データの編集装置

Country Status (1)

Country Link
JP (1) JP2677062B2 (ja)

Also Published As

Publication number Publication date
JPH0536245A (ja) 1993-02-12

Similar Documents

Publication Publication Date Title
US4924745A (en) Automatic performance recording apparatus
JPS61125641A (ja) デ−タ圧縮制御方式
JPH05188947A (ja) 演奏情報インターフェース
JP2976429B2 (ja) アドレス制御回路
JP2677062B2 (ja) 時系列データの編集装置
JPH11133991A (ja) デジタル信号処理装置及び標本化周波数の切り替え時の制御方法
US20030171933A1 (en) Method and device for recording in cyclic loops several sound sequences
JP2000021137A (ja) 編集装置
JPH10285558A (ja) 記録再生装置および映像情報の変速再生方法
EP0376342B1 (en) Data processing apparatus for electronic musical instruments
JP2657372B2 (ja) 音程制御装置
JP2576616B2 (ja) 処理装置
JP3252296B2 (ja) 波形データ出力装置
JP2576615B2 (ja) 処理装置
JP3323877B2 (ja) 音声発生制御装置
JP3066282B2 (ja) メモリのライト制御回路
JP2576613B2 (ja) 処理装置
JP2530695Y2 (ja) 電子楽器のアドレス制御装置
JP2576618B2 (ja) 処理装置
JP3083526B2 (ja) オーディオ信号データ処理装置
JP3211829B2 (ja) 音声信号処理装置
JP4120979B2 (ja) 波形再生装置
JP4238614B2 (ja) ストリームデータ処理システム、ストリームデータ処理方法、ストリームデータ処理プログラム、及びこのプログラムを格納したコンピュータで読み取り可能な記録媒体
JP3083527B2 (ja) オーディオ信号データ処理装置
KR930001700B1 (ko) 오디오 신호 재생장치

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970624

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090725

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090725

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100725

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 15

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 15