JP3555224B2 - オーディオ信号表示装置 - Google Patents

オーディオ信号表示装置 Download PDF

Info

Publication number
JP3555224B2
JP3555224B2 JP05471195A JP5471195A JP3555224B2 JP 3555224 B2 JP3555224 B2 JP 3555224B2 JP 05471195 A JP05471195 A JP 05471195A JP 5471195 A JP5471195 A JP 5471195A JP 3555224 B2 JP3555224 B2 JP 3555224B2
Authority
JP
Japan
Prior art keywords
audio signal
display
display data
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05471195A
Other languages
English (en)
Other versions
JPH08249000A (ja
Inventor
聡 高木
正仁 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP05471195A priority Critical patent/JP3555224B2/ja
Publication of JPH08249000A publication Critical patent/JPH08249000A/ja
Application granted granted Critical
Publication of JP3555224B2 publication Critical patent/JP3555224B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は、周波数軸上に複数の符号化パラメータを有するオーディオ信号が入力され、このオーディオ信号を表示するオーディオ信号表示装置に関する。
【0002】
【従来の技術】
一般に、デジタルオーディオ信号をその編集する際に、図5に示すように、編集する箇所におけるオーディオ信号の時間軸での信号振幅幅を波形表示し、この波形30に基づいて編集作業を行っている。また、編集するオーディオ信号が圧縮符号化処理されていないパルス符号変調された(PCM:pulse−code modulation )オーディオ信号であれば、図5に示したような波形30が得られる。
【0003】
この図5において、縦軸が上記信号振幅を示す軸であり、また横軸が上記時間軸である。また、ユーザが指定した箇所の位置を所定位置からの経過時間で示したものが選択位置表示部31に、画面35で表示される一画面当たりが示す時間が一画面時間表示部32に、また、編集しているオーディオ信号全体が占める時間が全体時間表示部33にそれぞれ表示されている。また、スクロールバー34を動かすことで、画面35に表示されている波形30の前後の位置でのオーディオ信号の振幅波形が画面35に表示される。
【0004】
ユーザは、画面35に表示された波形30にてオーディオ信号の時間軸における振幅の分布を確認しながら、このオーディオ信号の編集を行うことができる。
【0005】
【発明が解決しようとする課題】
ところで、編集するオーディオ信号がデータ量を削減するために圧縮符号化処理された符号化信号である場合、図5に示したような波形30が表示された画面35を得るには、上記符号化信号を復号化処理する必要がある。
【0006】
ここで、オーディオ信号を圧縮符号化するアルゴリズムの一例として、帯域分割符号化方式による符号化アルゴリズムを説明する。なお、帯域分割符号化方式として従来より様々な方式が提案されているが、ここでは、その代表的なものとして蓄積用動画像符号化の検討組織(moving picture image coding experts group :MPEG)にて標準化されているMPEG/オーディオのレイヤ1について説明する。
【0007】
先ず、16ビット直線量子化された入力PCMオーディオ信号が、帯域分析フィルタで32帯域のサブバンド信号に分割される。各帯域12サブバンド信号毎にスケールファクタが計算される。このスケールファクタは、各帯域12サンプルの絶対値の最大値に応じて、与えられたスケールファクタの表からこの最大値より大きい最小の値として求められる。
【0008】
また、一方入力PCMオーディオ信号を高速フーリエ変換処理した結果を用いてマスキングが計算され、各帯域に対してのビット割り当てが決定される。続いて、このビット割り当てに従ってサブバンド信号が量子化される。以上のようにして、符号化信号が得られる。
【0009】
上記符号化信号を復号化処理するには、先ず量子化されたサブバンド信号を逆量子化処理し、得られるサブバンド信号を帯域合成フィルタにて帯域合成し、PCMオーディオ信号が復元される。
【0010】
このように、圧縮符号化処理された符号化信号では、上述したようにこの符号化信号に一度復号化処理を施し、PCMオーディオ信号に変換しないと図4に示した波形30のような上記オーディオ信号の時間軸における振幅の分布を得ることができない。
【0011】
この復号化処理に必要な演算量は大変大きいものであると共に、この演算処理に時間が掛かる。従って、復号化処理用のハードウェア規模が大きくなること及び復号化処理の演算処理時間分だけ波形の表示が遅れること等の改善が望まれている。
【0012】
【課題を解決するための手段】
本発明のオーディオ信号表示装置は、周波数軸上に設けた複数の符号化パラメータに応じて圧縮符号化されたオーディオ信号が入力され、この入力されたオーディオ信号を表示するオーディオ信号表示装置であって、上記圧縮符号化されたオーディオ信号の上記周波数軸上に設けた複数の符号化パラメータを取り出すパラメータ取出手段と、このパラメータ取出手段により取り出された周波数軸上の複数の符号化パラメータを時間軸上に展開することにより表示用のデータを出力する表示用データ配列手段と、上記表示用データ配列手段からのデータを視覚的に表示する表示部とを有して成るものである。
【0013】
【課題を解決するための手段】
本発明のオーディオ信号表示装置は、周波数軸上に設けた複数の符号化パラメータに応じて圧縮符号化されたオーディオ信号が入力され、この入力されたオーディオ信号を表示するオーディオ信号表示装置であって、上記オーディオ信号の上記符号化パラメータを取り出すパラメータ取出手段と、上記符号化パラメータを時間軸上に展開することにより表示用のデータを出力する表示用データ配列手段と、上記表示用データ配列手段からのデータを視覚的に表示する表示部とを有して成るものである。
【0014】
また、上記表示用データ配列手段は、上記各符号化パラメータの周波数軸と時間軸との座標を計算する座標計算部と、上記座標計算部からのデータに基づいて上記表示用のデータを作成する表示用データ作成部とを有することが挙げられる。
【0015】
また、上記表示用のデータの任意の位置を設定し入力する位置指定手段を設け、上記表示部は、上記位置指定手段にて指定された部分の符号化パラメータを用いて形成される表示用のデータを表示することが挙げられる。
【0016】
さらに、上記表示部は、上記オーディオ信号を出力するオーディオ信号出力手段を有して成るオーディオ信号編集装置における上記オーディオ信号出力手段からのオーディオ信号を編集するための編集用データとして上記表示用のデータを表示することが挙げられる。
【0017】
【作用】
本発明のオーディオ信号表示装置によれば、入力されるオーディオ信号からパラメータ取出手段にて周波数軸上の符号化パラメータが取り出され、表示用データ配列手段にてこの符号化パラメータが時間軸上に展開されることで表示用のデータが得られ、表示部にて上記表示用のデータが表示される。
【0018】
また、表示用データ配列手段として座標計算部と表示用データ作成部とを設ける場合、上記座標計算部にて上記各符号化パラメータの周波数軸と時間軸との座標が計算され、これら座標が上記表示用データ作成部にて配列され、表示用のデータが作成される。
【0019】
また、位置指定手段を設ける場合、使用者は上記位置指定手段にて上記オーディオ信号の任意の位置を指定することで、指定された位置近傍のオーディオ信号の符号化パラメータから上記表示用データ配列手段にて表示用のデータが得られる。
【0020】
さらに、上記オーディオ信号表示装置を上記オーディオ信号を出力するオーディオ信号出力手段を有して成るオーディオ信号編集装置に設ける場合、使用者は上記オーディオ信号出力手段からのオーディオ信号の編集位置を上記位置指定手段にて指定することで、上記表示用データ配列手段にてこの指定された位置近傍のオーディオ信号の符号化パラメータから表示用のデータが得られ、この表示用のデータが上記表示部にて上記オーディオ信号を編集するための編集用データとして表示される。
【0021】
【実施例】
以下、本発明のオーディオ信号表示装置について、図面を参照しながら説明する。
【0022】
上記オーディオ信号表示装置は、図1に示すように、周波数軸上に設けた複数の符号化パラメータに応じて圧縮符号化されたオーディオ信号を表示するオーディオ信号表示装置において、上記オーディオ信号の上記符号化パラメータ例えばスケールファクタを取り出すパラメータ取出手段としてのスケールファクタ取り出し部2と、上記符号化パラメータを時間軸上に展開することにより表示用のデータを出力する表示用データ配列手段である表示用データ配列部6と、上記表示用データ配列手段からのデータを表示する表示部である表示部5とを有して成るものである。
【0023】
また、上記表示用データ配列部6は、上記各符号化パラメータの周波数軸と時間軸との座標を計算する座標計算部3と、座標計算部3からのデータに基づいて上記表示用のデータを作成する表示用データ作成部4とを有するものである。
【0024】
上記オーディオ信号表示装置において、圧縮オーディオ信号出力部1から、周波数帯域に分割され各帯域毎に符号化処理されたオーディオ信号がスケールファクタ取り出し部2に出力される。なお、この符号化として、例えば蓄積用動画像符号化の検討組織(moving picture image coding experts group :MPEG)にて標準化されているMPEG/オーディオのレイヤ1の符号化アルゴリズムで符号化する帯域分割符号化方式による符号化が挙げられる。
【0025】
スケールファクタ取り出し部2は、上記オーディオ信号の符号化パラメータの内、上記各帯域毎のスケールファクタを取り出して、座標計算部3に出力する。
【0026】
座標計算部3は、スケールファクタ取り出し部2で取り出された各帯域毎のスケールファクタから時間データを計算し、このスケールファクタを時間軸と周波数軸との座標点上の強度で表した強度データを計算し表示用データ作成部4に出力する。また、表示用データ作成部4は上記強度データを時間軸方向と周波数軸方向とに配列して、各座標点上の強度を濃淡で表す表示用データを作成し表示部5に出力する。
【0027】
表示部5は、上記表示用データを表示する。
【0028】
以上のように、オーディオ信号表示装置を構成することで、圧縮符号化されたオーディオ信号を表示させるのに、このオーディオ信号を復号化する特別なハードウェアを設けなくても、上記オーディオ信号のスケールファクタの周波数成分の分布状態を、時間軸及び周波数軸で表される各座標点における強度を濃淡にて表示することができる。
【0029】
ここで、上記オーディオ信号表示装置を有して成るオーディオ信号編集装置の一例を図3に示す。
【0030】
上記オーディオ信号編集装置は、図1の圧縮オーディオ信号出力部1であるオーディオ信号出力手段としての通信装置11、テープ再生装置12及びディスク再生装置13と、上記オーディオ信号表示装置としての表示部5及び制御部15とを有している。
【0031】
また、上記オーディオ信号編集装置において、表示部5と通信装置11とテープ再生装置12とディスク再生装置13と編集バッファ14と制御部15とはデータバス7に接続している。また、通信装置11、テープ再生装置12、ディスク再生装置13、編集バッファ14及び制御部15とデータバス17との間で双方向のデータのやりとりが可能である。
【0032】
通信装置11は、送信所より送られる例えば上記帯域分割符号化方式にて符号化処理されたオーディオ信号を受信し、受信したオーディオ信号をデータバス17を介して編集バッファ14に送る。
【0033】
また、テープ再生装置12は、例えば上記帯域分割符号化方式にて符号化処理されたオーディオ信号を記録したテープ状記録媒体を再生して得られる再生信号をデータバス17を介して編集バッファ14に送る。ディスク再生装置13は、例えば上記帯域分割符号化方式にて符号化処理されたオーディオ信号を記録したディスク状記録媒体を再生して得られる再生信号をデータバス17を介して編集バッファ14に送る。
【0034】
また、編集バッファ14は、通信装置11から送られるオーディオ信号やテープ再生装置12あるいはディスク再生装置13から送られる各記録媒体の再生信号を取り込んで一時的に記憶する。また、後述する編集用データとしての表示用データが制御部15より送られると、この編集用データを取り込み一時的に記憶し、上記表示用データをデータバス17を介して表示部5に送る。
【0035】
制御部15内部には、図3で示されるような表示制御部18が設けられている。
【0036】
また、表示制御部18は、上記オーディオ信号の上記符号化パラメータ例えばスケールファクタを取り出すパラメータ取出手段としてのスケールファクタ取り出し部2と、上記符号化パラメータを時間軸上に展開することにより表示用のデータを出力する表示用データ配列手段である表示用データ配列部6とを有している。また、上記表示用データ配列部6は、上記各符号化パラメータの周波数軸と時間軸との座標を計算する座標計算部3と、座標計算部3からのデータに基づいて上記表示用のデータを作成する表示用データ作成部4とから成るものである。
【0037】
また、図3において、入力装置25からの出力は入力制御部21に送られ、入力制御部21からの出力は編集バッファ14と表示用データ作成部4とに送られる。編集バッファ14からの出力はスケールファクタ取り出し部2に送られ、スケールファクタ取り出し部2からの出力は座標計算部3に送られる。座標計算部3からの出力は編集バッファ14及び表示用データ作成部4に送られ、表示用データ作成部4からの出力は表示部5に送られる。
【0038】
入力装置25は、ユーザが例えば予め編集バッファ14に取り込んでおいたオーディオ信号で編集しようとするオーディオ信号を選択したり、あるいは編集中のオーディオ信号で編集したい部分を拡大するためにこの拡大位置を指定し入力するデバイスであり、例えばキーボードやマウス等が用いられる。
【0039】
入力制御部21は、入力装置25からの入力信号に基づいて、編集バッファ14に取り込んでおいたオーディオ信号の内ユーザが選択したオーディオ信号を指定したり、編集中のオーディオ信号でユーザが選択した部分を指定するための制御信号を発生し出力する。
【0040】
座標計算部23は、スケールファクタ取り出し部2で取り出された各帯域毎のスケールファクタから時間データを計算し、このスケールファクタを時間軸と周波数軸との座標点上の強度で表した強度データを計算し表示用データ作成部4及び編集バッファ14に出力する。なお、編集バッファ14に送られる上記各座標点のデータは、編集バッファ14に取り込まれているオーディオ信号の編集部分のアドレスに対応しており、編集バッファ14ではこのアドレスで指定された前あるいは後のオーディオ信号がスケールファクタ2に送られる。
【0041】
また、表示用データ作成部4は上記強度データを時間軸方向と周波数軸方向とに配列して、各座標点上の強度を濃淡で表す表示用データを作成し表示部5に出力する。さらに、入力制御部21からの制御信号に基づいて、ユーザにより指定された位置の近傍の強度データに基づいた表示用データを表示部5に出力する。
【0042】
表示部5は、例えば図4に示すように、上記表示用データを編集用データとして表示する。なお、図4においては、上記表示用データの濃淡は、ブロック毎に施した斜線の数で表されている。
【0043】
上記オーディオ信号編集装置によれば、ユーザはオーディオ信号を編集する際に、予め通信装置11にてオーディオ信号を受信したり、テープ状記録媒体をテープ再生装置12にて再生したり、ディスク状記録媒体をディスク再生装置13にて再生したりして編集バッファ14にオーディオ信号を取り込んでおく。編集バッファ14に取り込んでおいたオーディオ信号の中から、入力装置25にて所望のオーディオ信号を選択すると、時間軸と周波数軸とで表される各座標点での濃淡で示される編集用データが表示部5に表示され、上記オーディオ信号の符号化パラメータであるスケールファクタすなわち上記信号振幅の周波数成分の分布の視覚化が可能になる。従って、ユーザは上記オーディオ信号の信号振幅の周波数成分における分布状態をもって編集点を決定することで、比較的容易にオーディオ信号の編集を行うことが可能である。
【0044】
以上のように本発明のオーディオ信号表示装置が適用されるオーディオ信号編集装置を構成することで、圧縮符号化されたオーディオ信号を編集する際に、このオーディオ信号を復号化するためのハードウェアを設けなくても、符号化パラメータであるスケールファクタの周波数成分の分布状態を、時間軸及び周波数軸で表される各座標点における強度を濃淡にて表示することができ、さらに位置指定手段として入力装置25を設けることで、上記オーディオ信号の任意の位置における信号振幅の周波数成分の分布の確認が容易になる。従って、オーディオ信号の編集を行う際の操作性が向上する。さらに、上記圧縮符号化されたオーディオ信号の復号化に必要な演算量の削減が可能になり、ハードウェアに対する負担の低減が可能になる。
【0045】
なお、本実施例においては、帯域分割符号化方式にて符号化処理されたオーディオ信号を編集する際に、このオーディオ信号の周波数成分での分布状態を視覚化するのに、符号化パラメータであるスケールファクタを用いる例を挙げたが、これに限定されることはなく、周波数分布を示す符号化パラメータであれば、どのような符号化パラメータを用いても差し支えない。
【0046】
また、本実施例においては、表示するオーディオ信号として予め帯域分割符号化方式にて符号化されたオーディオ信号を用いる例を挙げたが、これに限定されることはなく、周波数分布を示す符号化パラメータを用いた圧縮符号化方式で符号化されたオーディオ信号を用いる範囲では本発明と同様の効果を得る。
【0047】
また、本実施例においては、スケールファクタの強度分布を時間軸及び周波数軸で示される座標点での濃淡で表したが、こちらもこれに限定されることはなく、例えば色分けで表したり、またはさらに強度を示す軸を設けて3次元表示例えば等高線表示にて表してもよい。
【0048】
また、本実施例においては、本発明のオーディオ信号表示装置をオーディオ信号編集装置に適用した例を挙げたが、これに限定されることはなく、例えば出力レベル調整等の他の用途に適用しても差し支えない。
【0049】
【発明の効果】
以上説明したように、本発明のオーディオ信号表示装置によれば、圧縮符号化処理されたオーディオ信号を復号化処理するための復号化手段を設けなくても、圧縮符号化した際の符号化パラメータを用いて、この符号化パラメータを時間軸方向と周波数軸方向とで展開された強度分布として視覚化することで、上記オーディオ信号の信号振幅の周波数成分における分布を容易に確認することが可能になる。
【0050】
さらに、位置指定手段を設けた場合、上記オーディオ信号でこの位置指定手段にて任意に指定された位置の近傍の信号振幅の周波数成分の分布を容易に確認することが可能になる。
【0051】
また、本発明のオーディオ信号表示装置をオーディオ信号編集装置に適用した場合、上記オーディオ信号の信号振幅の周波数成分の分布を容易に確認でき、この分布をもってオーディオ信号の編集が可能になるため、復号化処理に必要な演算量を削減できると共に、オーディオ信号編集時の操作性も向上する。
【図面の簡単な説明】
【図1】本発明のオーディオ信号表示装置の概略を示すブロック図である。
【図2】上記オーディオ信号表示装置をオーディオ信号編集装置に適用した例を示すブロック図である。
【図3】上記オーディオ信号の制御部での動作を説明するブロック図である。
【図4】上記オーディオ信号編集装置にて編集する際に表示されるオーディオ信号の一例を示す図である。
【図5】従来のオーディオ信号編集装置にて編集する際に表示されるオーディオ信号の一例を示す図である。
【符号の説明】
2 スケールファクタ取り出し部
3、23 座標計算部
4 表示用データ作成部
5 表示部
6 表示用データ配列部
11 通信装置
12 テープ再生装置
13 ディスク再生装置
15 制御部
25 入力装置

Claims (4)

  1. 周波数軸上に設けた複数の符号化パラメータに応じて圧縮符号化されたオーディオ信号が入力され、この入力されたオーディオ信号を表示するオーディオ信号表示装置であって、
    上記圧縮符号化されたオーディオ信号の上記周波数軸上に設けた複数の符号化パラメータを取り出すパラメータ取出手段と、
    このパラメータ取出手段により取り出された周波数軸上の複数の符号化パラメータを時間軸上に展開することにより表示用のデータを出力する表示用データ配列手段と、
    上記表示用データ配列手段からのデータを視覚的に表示する表示部と
    を有して成ることを特徴とするオーディオ信号表示装置。
  2. 上記表示用データ配列手段は、
    上記各符号化パラメータの周波数軸と時間軸との座標を計算する座標計算部と、
    上記座標計算部からのデータに基づいて上記表示用のデータを作成する表示用データ作成部と
    を有することを特徴とする請求項1記載のオーディオ信号表示装置。
  3. 上記表示用のデータの任意の位置を設定し入力する位置指定手段を設け、
    上記表示部は、上記位置指定手段にて指定された部分の符号化パラメータを用いて形成される表示用のデータを表示することを特徴とする請求項1記載のオーディオ信号表示装置。
  4. 上記表示部は、上記オーディオ信号を出力するオーディオ信号出力手段を有して成るオーディオ信号編集装置における上記オーディオ信号出力手段からのオーディオ信号を編集するための編集用データとして上記表示用のデータを表示することを特徴とする請求項3記載のオーディオ信号表示装置。
JP05471195A 1995-03-14 1995-03-14 オーディオ信号表示装置 Expired - Fee Related JP3555224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05471195A JP3555224B2 (ja) 1995-03-14 1995-03-14 オーディオ信号表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05471195A JP3555224B2 (ja) 1995-03-14 1995-03-14 オーディオ信号表示装置

Publications (2)

Publication Number Publication Date
JPH08249000A JPH08249000A (ja) 1996-09-27
JP3555224B2 true JP3555224B2 (ja) 2004-08-18

Family

ID=12978396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05471195A Expired - Fee Related JP3555224B2 (ja) 1995-03-14 1995-03-14 オーディオ信号表示装置

Country Status (1)

Country Link
JP (1) JP3555224B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094234A (ja) 2005-09-30 2007-04-12 Sony Corp データ記録再生装置、データ記録再生方法及びそのプログラム
JP6009447B2 (ja) * 2011-08-26 2016-10-19 Pioneer DJ株式会社 表示装置、表示方法、およびプログラム

Also Published As

Publication number Publication date
JPH08249000A (ja) 1996-09-27

Similar Documents

Publication Publication Date Title
JP2596420B2 (ja) ビデオアナログ信号をデジタル形式で記録する方法及びその再生方法
US6920181B1 (en) Method for synchronizing audio and video streams
US5471239A (en) Detecting scene changes
US6339760B1 (en) Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
JP3053541B2 (ja) デジタル記録音声及びビデオの同期式可変速度再生
JP2976860B2 (ja) 再生装置
JP2006317972A (ja) オーディオデータ編集方法とこれを適用した記録媒体及びデジタルオーディオプレーヤー
KR20110110093A (ko) 디코딩 장치, 디코딩 방법, 인코딩 장치, 인코딩 방법, 및 편집 장치
WO2006069248A2 (en) Audio fidelity meter
JP4359499B2 (ja) オーディオ信号の編集
US20050213943A1 (en) Reproducing apparatus and reproducing method
US20010051870A1 (en) Pitch changer for audio sound reproduced by frequency axis processing, method thereof and digital signal processor provided with the same
JP3555224B2 (ja) オーディオ信号表示装置
JP2000330599A (ja) 信号処理方法及び装置、並びに情報提供媒体
EP1569228A2 (en) Data processing apparatus, data processing method, reproducing apparatus, and reproducing method
CN102148938A (zh) 视频数据处理装置、视频数据处理方法和程序
US5889917A (en) Method and apparatus for editing an audio-visual signal having audio data that is in the form of block units which are not synchronous with the fields/frames of video data
JPH08293157A (ja) 可変フレーム長高能率符号化データの記録再生方法
US20040047608A1 (en) Digital recording/reproducing apparatus
JP2002538503A (ja) ディジタルオーディオデータの逆方向デコーディング方法
JP2987246B2 (ja) マルチメディアデータの編集方法
JPH04352582A (ja) 映像信号の記録・再生装置
JP3887890B2 (ja) 映像信号再生方法および映像信号再生装置
JPH08305393A (ja) 再生装置
JP2001337698A (ja) 符号化装置および符号化方法並びに復号化装置および復号化方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040503

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees