JPH10503908A - オーディオ信号の調性を決定するための方法および装置 - Google Patents

オーディオ信号の調性を決定するための方法および装置

Info

Publication number
JPH10503908A
JPH10503908A JP8524642A JP52464296A JPH10503908A JP H10503908 A JPH10503908 A JP H10503908A JP 8524642 A JP8524642 A JP 8524642A JP 52464296 A JP52464296 A JP 52464296A JP H10503908 A JPH10503908 A JP H10503908A
Authority
JP
Japan
Prior art keywords
filter
tonality
digital
characteristic
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8524642A
Other languages
English (en)
Other versions
JP3205560B2 (ja
Inventor
ユルゲン ヘルレ
エルンスト エーベルライン
ベルンハルト グリル
カールハインツ ブランデンブルグ
ハインツ ゲルホイザー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JPH10503908A publication Critical patent/JPH10503908A/ja
Application granted granted Critical
Publication of JP3205560B2 publication Critical patent/JP3205560B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/005Tone control or bandwidth control in amplifiers of digital signals

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】 オーディオ信号の調性が以下の工程を含む方法で決定される。すなわち、デジタル入力信号 x(n)をブロック状周波数変換してその入力信号の実正数値表示 X(k)を作りだす工程であって、このkは周波数ラインの指数を表すという工程と、周波数ラインkに対応する信号成分の調性Tを以下の方程式により決定する工程と、を含み、 この中で、F1は第1の微分特性を持つ第1デジタルフィルタのフィルタ関数を示し、F2は第2のフラットまたは積分特性を持つか、あるいは第1特性よりも弱い微分特性を持つ第2デジタルフィルタのフィルタ関数を示し、さらに、d1とd2とは、フィルタパラメータに依存し、それぞれの場合においてフィルタの遅延が補償されるように選択された整定数を示す。

Description

【発明の詳細な説明】 オーディオ信号の調性を決定するための方法および装置 本発明は、オーディオ信号の調性(tonality)を決定するための方法および装 置に関する。 オーディオ信号の聴覚特性を利用した(hearing-adjusted)符号化とデータ削 減(data reduction)の基本は、符号化の過程において発生する符号化エラーを スペクトル的に処理(spectrally shaped)し、それらがいわゆるマスクされた聴 覚しきい値(maskedhearing threshold)以下に収まり、不可聴音となるように することである。その結果、オーディオ信号符号化の過程や符号器内において、 瞬間的なマスクされた聴覚しきい値を決定することは、重要な役割を果たすこと になる。 マスクされた聴覚しきい値の評価は、通常、「知覚モデル」(perceptual mode l)と呼ばれる、聴覚モデルを用いて実行される。オーディオ入力信号は、一方で はこのいわゆる「知覚モデル」または聴覚モデルに適用され、他方では、フィル タバンク(filter banK)による変換またはブロックベース(block basis)により実 行された周波数変換を経て、量子化/符号化の段階に適用され、これは聴覚モデ ルまたは知覚モデルの出力信号によってアクセスされる。 このような情況においては、信号のマスキング能力は、その信号が調的な信号 すなわち調性信号であるのか、あるいはむしろ雑音信号すなわち非調性信号であ るのかという点に依存する。なぜなら、雑音信号は、調性信号成分よりも、符号 化エラーに対してずっと大 きなマスキング効果を持つからである。この点に関しては、「知覚と心理物理学 (Perception and Psychophysics)」Vol.11,241〜246頁,1972年,のR.P.He llmann著、「雑音と音調との間のマスキングの不均衡」(“Asymmetry of Maski ng between Noise and Tone”)を参照されたい。 上記の理由により、ISO/MPEG 規格に示されたモデル等(ISO/IEC 11172-3,A nnex Dを参照)の通例の聴覚心理(psychoacoustic)モデルは、既に調性信号成分 を検知するメカニズムを含んでいる。例えば、そこに示された「聴覚心理モデル 1」においては、ある信号成分のレベルがもし周囲の周波数ラインのレベルより もある係数(7dB)以上高ければ、その信号成分は「調的」として分類されるこ とになる。「聴覚心理モデル2」においては、調性の決定は、理想的な場合には 調性信号に関する予測エラーが小さい複合高速フーリエ変換指数(complex FFT indices)の予測に基づいて実行される。これにより、信号成分の調性が推論さ れるのである。 しかしながら、これらの2つの公知の方法では、調性の検知は信頼性が低いも のでしかない。 以上の先行技術を基にして、本発明の目的は、信号の調性の検出においてより 高い信頼性を示すような、オーディオ信号の調性を決定する方法と装置を提供す ることである。 この目的は、独立請求項に記載の、オーディオ信号の調性を決定する方法また は装置によって達成される。 第1の特徴によれば、本発明はオーディオ信号の調性を決定する方法を提供し 、その方法は以下の工程を含む。すなわち、デジタル入力信号 x(n)をブロック 状周波数変換(blockwise frequency transformation)してその入力信号の実正 数値表示(real posi-tive value representation)X(k)を作り出す工程であっ て、このkは周波数ラインの指数(index)を表すという工程と、周波数ラインk に対応する信号成分の調性Tを以下の方程式により決定する工程と、を含む。 この中で、F1は、第1の微分特性(differentiating charac-teristic)を持 つ第1デジタルフィルタのフィルタ関数を示し、F2は、第2のフラットまたは 積分特性(flat or integrating characteristic)を持つか、あるいは第1特性 よりも弱い微分特性を持つ第2デジタルフィルタのフィルタ関数を示し、さらに 、d1とd2とは、フィルタパラメータに依存し、それぞれの場合においてフィル タの遅延が補償されるように選択された整定数を示す。 第2の特徴に従えば、本発明はオーディオ信号の調性を決定する方法を提供し 、その方法は、入力信号 x(n)をブロック状周波数変換してその入力信号の実正 数値表示 X(k)を作りだす工程であって、このkは周波数ラインの指数を表すと いう工程と、周波数ラインkに対応する信号成分の調性Tを以下の方程式により 決定する工程と、を含む。 T(k)= F[log[X]](k+d) この中で、Fは微分特性を持つデジタルフィルタのフィルタ関数を示し、さら に、dはフィルタの遅延が補償されるように選択された整定数を示す。 第3の特徴に従えば、本発明はオーディオ信号の調性を決定する装置を提供し 、その装置は、デジタル入力信号 x(n)をブロック状周波数変換してその入力信 号の実正数値表示 X(k)を作りだす変換ユニットであって、このkは周波数ライ ンの指数を表すという変換ユニットと、フィルタ関数F1,F2を持つ2つのデジ タルフィルタであって、F1は第1の微分特性を持つ第1デジタルフィルタのフ ィルタ関数を示し、F2はフラットまたは積分特性を持つか、あるいは第1特性 よりも弱い微分特性を持つ第2デジタルフィルタのフィルタ関数を示すという2 つのデジタルフィルタと、さらに、周波数ラインkに対応する信号成分の調性T を以下の方程式により決定するためのユニットと、を含む。 この中で、d1とd2とは、それぞれの場合においてフィルタの遅延が補償され るように選択された整定数である。 第4の特徴によれば、本発明はオーディオ信号の調性を決定する装置を提供し 、その装置は、デジタル入力信号 x(n)をブロック状周波数変換してその入力信 号の実正数値表示 X(k)を作りだす変換ユニットであって、このkは周波数ライ ンの指数を表すという変換ユニットと、微分特性であるフィルタ関数Fを持つデ ジタルフィルタと、さらに、周波数ラインkに対応する信号成分の調性Tを以下 の方程式により決定するためのユニットと、を含む。 T(k)= F[log[X]](k+d) この中で、dは、フィルタFのフィルタパラメータに依存し、フィルタFの遅 延が補償されるように選択された整定数を示す。 本発明にかかる方法の望ましい実施例を、図を参照しながらさらに詳細に説明 する。 図1はオーディオ信号の調性を決定するための、本発明にかかる装置の第1実 施例におけるブロック図を示し、 図2はオーディオ信号の調性を決定するための装置の、第2実施例におけるブ ロック図を示す。 図1に示すように、デジタル入力信号 x(n)は最初にブロックベースで実正数 のスペクトル絶対値表示 X(k)に変換され、このkは周波数ラインの指数を表す 。この変換は周波数変換により実行されるが、これは例えば離散型(discrete) の周波数変換とそれに続く絶対値形成を実行するための計算装置1により実行さ れる。 DFT(離散型フーリエ変換)スペクトルの振幅の絶対値形成のほかに、上記 の絶対値表示は、絶対値の2乗または他のエネルギー保存の変換を用いても適切 に達成することが可能である。 このように、離散型入力信号をその周波数領域内で絶対値表示またはエネルギ ー表示することから始まり、本発明は、指数kを用い、周波数ラインに対応する 信号成分の調性T(k)を決定するための2つの計算概念を提案する。 ここで図1を参照しながら説明する第1実施例においては、絶対値表示 X(k) は2つのデジタルフィルタ2,3に適応されるが、この第1フィルタ2は微分特 性を持つフィルタ関数F1を持つ。第2フィルタ3は、望ましく簡素な場合にお いては、単純なフィルタ関数、つまり、入力値と同等の出力値を持つ。 整定数d1,d2によって、両方のフィルタの遅延は補償される。デジタルフィ ルタの設計分野ではそれ自身知られているように、これらの定数は選択されたフ ィルタパラメータに依存する。 商演算回路(quotient formation circuit)4は、商の演算を通じて2つのデ ジタルフィルタ2,3の出力値を結合させ、その結果、総合的な計算装置が、ス ペクトル絶対値表示 X(k)から始まり、k番目の信号ラインの調性T(k)を以下の ように計算する。 上記の望ましい実施例においては、使用されるフィルタはいわゆるFIRフィ ルタである。すなわち、対称的なパルス応答を持ついわゆる「有限インパルス応 答」(finite impulse response)フィルタである。第1フィルタは、既に述べ たように、微分フィルタ関数F1を持つ。すなわち、第1フィルタは、高周波数 成分を優先的に伝達する。 第2フィルタ3の特性は、望ましいと考えられている単純特性(F2[X]=1)に 加えて、加算または積分特性を持つことができる。重要なことは、第1フィルタ 2の特性の方が、第2フィルタ3の特性よりも、微分性が強いということである 。 図1を参照しながら説明した実施例の中だけではなく、調性の値T(k)はまた 、図2に示されたオーディオ信号の調性を決定する装置の別の実施例を用いても 決定することができる。 この装置のブロック1は図1の装置のブロック1と同じであり、 入力信号 x(n)のブロック状離散型フーリエ変換を通じて、スペクトル絶対値表 示 X(k)を形成する。 k番目の信号成分の調性T(k)を決定するための計算装置5は、以下のような 関係をもとにして調性を決定する。 T(k)= F[log[X]](k+d) この中で、定数dはフィルタの遅延を補償するための整数値を示し、ここでも 、選択されたフィルタパラメータに依存している。デジタルフィルタの望ましい 実施例は、この場合も対称的なパルス応答を持つFIRフィルタである。フィル タFは微分特性を示す。すなわち、それは高周波数成分を優先的に伝達する。 当業者にとっては明らかなことであるが、本発明にかかる方法と装置によって 達成された調性値T(k)は生の値(raw value)であり、どのような聴覚心理的モデ ルが使われていようとも、それに対して適切な非線形適応関数(non-Iinear adap tation function)により適応可能である。しかし、これは必須条件とは見なされ ていない。これらの調性値を、入力信号のマスキング効果を決定するために直接 的に使用することもまた、可能である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 グリル ベルンハルト ドイツ国,91207 ラウフ,アム シュバ ーベンバイハー 24番 (72)発明者 ブランデンブルグ カールハインツ ドイツ国,91054 エルランゲン,ハーク ストラーセ 32番 (72)発明者 ゲルホイザー ハインツ ドイツ国,91344 バイシェンフェルト, ザウゲンドルフ 17番

Claims (1)

  1. 【特許請求の範囲】 1.オーディオ信号の調性を決定する方法であって、 デジタル入力信号 x(n)をブロック状周波数変換してその入力信号の実正数値 表示X(k)を作り出す工程であって、このkは周波数ラインの指数を表すという工 程と、 周波数ラインkに対応する信号成分の調性Tを以下の方程式により決定する工 程と、を含み、 この中で、F1は、第1の微分特性を持つ第1デジタルフィルタのフィルタ関 数を示し、 F2は、第2のフラットまたは積分特性を持つか、あるいは第1特性よりも弱 い微分特性を持つ第2デジタルフィルタのフィルタ関数を示し、さらに、 d1とd2とは、フィルタパラメータに依存し、それぞれの場合においてフィル タの遅延が補償されるように選択された整定数を示すことを特徴とする方法。 2.オーディオ信号の調性を決定する方法であって、 デジタル入力信号 x(n)をブロック状周波数変換してその入力信号の実正数値 表示 X(k)を作り出す工程であって、このkは周波数ラインの指数を表すという 工程と、 周波数ラインkに対応する信号成分の調性Tを以下の方程式により決定する工 程とを含み、 T(k)= F[log[X]](k+d) この中で、Fは微分特性を持つデジタルフィルタのフィルタ関数を示し、dは フィルタの遅延が補償されるように選択された整定数 を示すことを特徴とする方法。 3.オーディオ信号の調性を決定する装置であって、 デジタル入力信号 x(n)をブロック状周波数変換してその入力信号の実正数値 表示 X(k)を作り出す変換ユニット(1)であって、このkは周波数ラインの指 数を表すという変換ユニット(1)と、 フィルタ関数F1,F2を持つ2つのデジタルフィルタ(2,3)であって、F1 は第1の微分特性を持つ第1デジタルフィルタのフィルタ関数を示し、F2はフ ラットまたは積分特性を持つか、あるいは第1特性よりも弱い微分特性を持つ第 2デジタルフィルタのフィルタ関数を示すというデジタルフィルタ(2,3)と 、 周波数ラインkに対応する信号成分の調性Tを以下の方程式により決定するた めのユニットと、を含み、 この中で、d1とd2とは、それぞれの場合においてフィルタの遅延が補償され るように選択された整定数であることを特徴とする装置。 4.オーディオ信号の調性を決定する装置であって、 デジタル入力信号 x(n)をブロック状周波数変換してその入力信号の実正数値 表示 X(k)を作り出す変換ユニット(1)であって、このkは周波数ラインの指 数を表すという変換ユニット(1)と、 微分特性を持つフィルタ関数Fを持つデジタルフィルタと、 周波数ラインkに対応する信号成分の調性Tを以下の方程式により決定するた めのユニット(5)と、を含み、 T(k)= F[log[X]](k+d) この中で、dは、フィルタFのパラメータに依存し、フィルタF の遅延が補償されるように選択された整定数を示すことを特徴とする装置。 5.請求項1または2に記載の方法であって、 上記ブロック状周波数変換の工程において、入力信号の実正数の絶対値表示 X (k)が作りだされることを特徴とする方法。 6.請求項3または4に記載の装置であって、 上記変換ユニットがデジタル入力信号の周波数変換された値の実正数の絶対値 表示 X(k)を作りだすことを特徴とする方法。 7.請求項3に記載の装置であって、 上記第1と第2のデジタルフィルタ(2,3)はFIRフィルタとして構成さ れていることを特徴とする方法。 8.請求項4に記載の装置であって、 上記フィルタFはFIRフィルタとして構成されていることを特徴とする方法 。
JP52464296A 1995-02-17 1996-02-09 オーディオ信号の調性を決定するための方法および装置 Expired - Lifetime JP3205560B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19505435.0 1995-02-17
DE19505435A DE19505435C1 (de) 1995-02-17 1995-02-17 Verfahren und Vorrichtung zum Bestimmen der Tonalität eines Audiosignals
PCT/EP1996/000550 WO1996025649A1 (de) 1995-02-17 1996-02-09 Verfahren und vorrichtung zum bestimmen der tonalität eines audiosignals

Publications (2)

Publication Number Publication Date
JPH10503908A true JPH10503908A (ja) 1998-04-07
JP3205560B2 JP3205560B2 (ja) 2001-09-04

Family

ID=7754277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52464296A Expired - Lifetime JP3205560B2 (ja) 1995-02-17 1996-02-09 オーディオ信号の調性を決定するための方法および装置

Country Status (8)

Country Link
US (1) US5918203A (ja)
EP (1) EP0772764B1 (ja)
JP (1) JP3205560B2 (ja)
KR (1) KR100239167B1 (ja)
AT (1) ATE162303T1 (ja)
DE (2) DE19505435C1 (ja)
DK (1) DK0772764T3 (ja)
WO (1) WO1996025649A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19538852A1 (de) * 1995-06-30 1997-01-02 Deutsche Telekom Ag Verfahren und Anordnung zur Klassifizierung von Sprachsignalen
CA2188369C (en) * 1995-10-19 2005-01-11 Joachim Stegmann Method and an arrangement for classifying speech signals
DE19730129C2 (de) * 1997-07-14 2002-03-07 Fraunhofer Ges Forschung Verfahren zum Signalisieren einer Rauschsubstitution beim Codieren eines Audiosignals
JP3739959B2 (ja) * 1999-03-23 2006-01-25 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
DE10109648C2 (de) * 2001-02-28 2003-01-30 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Charakterisieren eines Signals und Verfahren und Vorrichtung zum Erzeugen eines indexierten Signals
DE10134471C2 (de) 2001-02-28 2003-05-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Charakterisieren eines Signals und Verfahren und Vorrichtung zum Erzeugen eines indexierten Signals
FR2830118B1 (fr) * 2001-09-26 2004-07-30 France Telecom Procede de caracterisation du timbre d'un signal sonore selon au moins un descripteur
US7333930B2 (en) 2003-03-14 2008-02-19 Agere Systems Inc. Tonal analysis for perceptual audio coding using a compressed spectral representation
US8068719B2 (en) 2006-04-21 2011-11-29 Cyberlink Corp. Systems and methods for detecting exciting scenes in sports video
US8077893B2 (en) * 2007-05-31 2011-12-13 Ecole Polytechnique Federale De Lausanne Distributed audio coding for wireless hearing aids
JP5262171B2 (ja) * 2008-02-19 2013-08-14 富士通株式会社 符号化装置、符号化方法および符号化プログラム
CN101847412B (zh) * 2009-03-27 2012-02-15 华为技术有限公司 音频信号的分类方法及装置
KR101757341B1 (ko) 2013-01-29 2017-07-14 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 저-복잡도 음조-적응 오디오 신호 양자화

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69127842T2 (de) * 1990-03-09 1998-01-29 At & T Corp Hybride wahrnehmungsgebundene Kodierung von Audiosignalen
EP0559348A3 (en) * 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
TW327223B (en) * 1993-09-28 1998-02-21 Sony Co Ltd Methods and apparatus for encoding an input signal broken into frequency components, methods and apparatus for decoding such encoded signal
US5699479A (en) * 1995-02-06 1997-12-16 Lucent Technologies Inc. Tonality for perceptual audio compression based on loudness uncertainty
DE69725172T2 (de) * 1996-03-08 2004-04-08 Motorola, Inc., Schaumburg Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch

Also Published As

Publication number Publication date
DE19505435C1 (de) 1995-12-07
US5918203A (en) 1999-06-29
DE59600077D1 (de) 1998-02-19
DK0772764T3 (da) 1998-09-14
KR100239167B1 (ko) 2000-01-15
JP3205560B2 (ja) 2001-09-04
EP0772764A1 (de) 1997-05-14
ATE162303T1 (de) 1998-01-15
EP0772764B1 (de) 1998-01-14
WO1996025649A1 (de) 1996-08-22

Similar Documents

Publication Publication Date Title
RU2734781C1 (ru) Устройство для постобработки звукового сигнала с использованием выявления места всплеска
Viswanathan et al. Quantization properties of transmission parameters in linear predictive systems
CN1838239B (zh) 一种用于增强信源解码器的设备及方法
JP3418198B2 (ja) オーディオ信号の聴覚に適応した品質評価方法および装置
EP1638083A1 (en) Bandwidth extension of bandlimited audio signals
EP0856961A2 (en) Testing telecommunications apparatus
JP3205560B2 (ja) オーディオ信号の調性を決定するための方法および装置
JPH04177300A (ja) 音声帯域分割符号化装置
CN103262163A (zh) 包含晚期混响成分的模型化的回声抑制技术
US6510408B1 (en) Method of noise reduction in speech signals and an apparatus for performing the method
US20020177995A1 (en) Method and arrangement for performing a fourier transformation adapted to the transfer function of human sensory organs as well as a noise reduction facility and a speech recognition facility
RU2732995C1 (ru) Устройство и способ для постобработки звукового сигнала с использованием основанного на прогнозе профилирования
CN1682280A (zh) 控制用来传送语音的信号中可能有害的信号的方法与系统
KR101038446B1 (ko) 오디오 코딩
WO2006125265A1 (en) A method and system for reproducing an audio signal
JP2599688B2 (ja) 総合マスキング閾値を決定する方法
JP2597271B2 (ja) 合成による分析技術に基づく音声コーダの改良
CN113077811B (zh) 一种基于参数化多相位gammatone滤波器组的语音分离方法
US20230269546A1 (en) Method for eliminating acoustic reverberation in an audio signal, and hearing instrument
JPH0318720B2 (ja)
Zhang Applicability of Different Loudness Models to Time-Varying Sound in Vehicle
JPH07225598A (ja) 動的に決定された臨界帯域を用いる音響コード化の方法および装置
Every et al. Separation of overlapping impulsive sounds by bandwise noise interpolation
Gunjal et al. Traditional Psychoacoustic Model and Daubechies Wavelets for Enhanced Speech Coder Performance
AU754612B2 (en) Method and apparatus for estimating a spectral model of a signal used to enhance a narrowband signal

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070629

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080629

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090629

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term