JPH09321628A - 音声符号化装置 - Google Patents

音声符号化装置

Info

Publication number
JPH09321628A
JPH09321628A JP8134812A JP13481296A JPH09321628A JP H09321628 A JPH09321628 A JP H09321628A JP 8134812 A JP8134812 A JP 8134812A JP 13481296 A JP13481296 A JP 13481296A JP H09321628 A JPH09321628 A JP H09321628A
Authority
JP
Japan
Prior art keywords
masking
frame
step width
quantization step
signal data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8134812A
Other languages
English (en)
Other versions
JP2820117B2 (ja
Inventor
Toshiyuki Ishino
俊之 石野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP8134812A priority Critical patent/JP2820117B2/ja
Publication of JPH09321628A publication Critical patent/JPH09321628A/ja
Application granted granted Critical
Publication of JP2820117B2 publication Critical patent/JP2820117B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】同等の演算量でより効率の良い符号化を行うこ
と。 【解決手段】音声符号化装置10は、複数のフレームに
分割された入力音声信号データを一時記憶する入力デー
タメモリ8と、各フレームごとに周波数分割したデータ
とする周波数分割フィルタバンク1と、量子化ステップ
幅を計算すべきフレームを中に挟む前後のi個のフレー
ムを受け該当するフレームのスペクトラム解析の結果と
マスキングの効果を含む人間の聴覚特性とを用いて量子
化ステップ幅を計算する心理聴覚分析部7と、周波数分
割フィルタバンク1の出力を心理聴覚分析部7の示す量
子化ステップ幅で量子化する量子化器2と、量子化器2
の量子化したデータを多重化する多重化器3とを備えて
いる。また、心理聴覚分析部7は、フレームの周波数解
析を行うスペクトラム計算器4と、マスキングカーブを
求めるマスキングカーブ予測器5と、量子化ステップ幅
を求める量子化ステップ幅予測器6とを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音声符号化装置に関
し、特に心理聴覚分析を用いる音声符号化装置に関す
る。
【0002】
【従来の技術】図3は従来の一般的な音声符号化装置の
構成を示すブロック図である。
【0003】従来から、心理聴覚分析機能を用いた音声
符号化方式はフレーム単位の符号化を行っており、この
音声符号化装置20では、周波数分割フィルタバンク1
1が入力されたNフレーム目の入力音声信号データを周
波数領域の成分に分割する。一方、心理聴覚分析部17
は、図4の入力音声信号データの構成を説明する説明図
に示すように、Nフレーム目のデータを符号化する場
合、(N−i)フレーム目からNフレーム目までのA領
域の入力音声信号データを、スペクトラム計算部14に
入力して周波数解析を行い、この周波数解析結果と人間
の聴覚特性のマスキング効果とを考慮し、マスキングカ
ーブ予測器15でマスキングカーブを算出し、このマス
キングカーブを基に、量子化ステップ幅予測器16によ
り量子化ステップ幅を予測し、量子化器12が予測され
た量子化ステップ幅で周波数分割フィルタバンク11の
出力するデータの量子化を行っている。
【0004】実際の使用例としては、例えば、国際標準
化機構であるISO/IEC JTC1/SC29/W
G11の作業部会(MPEG;Moving Pict
ure Experts Group)の策定した、動
画像の高能率圧縮方式の1つであるMPEG方式の音声
符号化方式の場合、MPEG Audio Layer
I/II/III で用いられている心理聴覚分析部への音声
信号入力データは、Nフレーム目の音声入力信号を符号
化するさい、Nフレーム目のデータと(N−1)フレー
ム目のデータが入力される。この他の心理聴覚分析を用
いた符号化方式としては、MD(ミニ・ディスク)で用
いられているATRAC音声符号化方式や、DCC(デ
ィジタル・コンパクト・カセット)で用いられているP
ASC音声符号化方式等があげられる。
【0005】なお、ここでマスキング効果とこれの使用
方法について述べておく。マスキング効果には同時マス
キングと継時マスキングとがあり、継時マスキングの中
には順向、逆向マスキングがある。
【0006】同時マスキングとはマスクする音(マスカ
ー)とマスクされる音(マスキー)が同時に提示される
場合をいう。
【0007】継時マスキングの順向マスキングとは時間
的に先行する音の後続する音へのマスキングであり、逆
向マスキングとは後続する音の先行する音へのマスキン
グである。それぞれのマスキング量は、大阪大学 桑野
氏がジェーエーエス・ジャーナル(JAS Journal )'93・
6月号13〜25頁に「聴覚心理とオーディオ」として発表
された論文の中に示されている。以下に表1として一部
を示す。
【0008】
【表1】
【0009】マスキングカーブ予測器15で予測された
マスキングカーブから、人間の聴覚特性でマスキング量
の大きい周波数成分データに対する量子化ステップ幅を
粗く、マスキング量の少ない周波数成分データに対する
量子化ステップ幅を細かく割り当てしてステップ幅を求
めた結果を量子化ステップ幅予測器16から出力する。
【0010】
【発明が解決しようとする課題】上述した従来の音声符
号化装置は、Nフレーム目のデータを符号化する場合、
符号化されるフレームのデータより前のデータを用いて
心理聴覚分析を行っているため、マスキング効果の内の
順向マスキング効果のみしか利用しないで、マスキング
カーブを求めていることになる。このため求められたマ
スキングカーブは実際にマスキングされる全てのデータ
を解析していないため、最適のマスキングカーブを算出
しているとはいえず、符号化効率が悪いという問題点が
ある。
【0011】本発明の目的は、同等の演算量でより符号
化効率を高めることができる音声符号化装置を提供する
ことにある。
【0012】
【課題を解決するための手段】本発明の音声符号化装置
は、一定長の複数のフレームに分割され入力端子を介し
て入力される入力音声信号データを各フレームごとに周
波数分割したデータとする周波数分割手段と、前記一定
長の複数のフレームを受け各フレームごとにスペクトラ
ム解析し最新のフレームに対しこの最新のフレームおよ
びこの最新のフレーム以前のi(i=1,2,…n)個
のフレームのスペクトラム解析の結果とマスキングの効
果を含む人間の聴覚特性とを用いて量子化ステップ幅を
計算する心理聴覚分析手段と、前記周波数分割手段が周
波数分割したデータを前記心理聴覚分析手段が計算した
量子化ステップ幅で量子化する量子化手段と、この量子
化手段が量子化した量子化データを符号化ビット列に多
重化する多重化手段とを備える音声符号化装置におい
て、前記入力端子と前記周波数分割手段および前記心理
聴覚分析手段との間に前記入力音声信号データを一時記
憶する入力音声信号データ記憶手段を設け、前記心理聴
覚分析手段が前記入力音声信号データ記憶手段から量子
化ステップ幅を計算すべきフレームを中に挟む前後のi
個のフレームを受け、前記量子化ステップ幅を計算すべ
きフレームのスペクトラム解析の結果とマスキングの効
果を含む人間の聴覚特性とを用いて量子化ステップ幅を
計算し前記量子化手段に出力する構成である。
【0013】本発明の音声符号化装置は、周波数分割手
段がサブバンド分割フィルタバンク器であってもよい。
【0014】本発明の音声符号化装置は、周波数分割手
段が変形離散コサイン変換方式(MDCT)であっても
よい。
【0015】本発明の音声符号化装置は、心理聴覚分析
手段が入力音声信号データ記憶手段から一定長の複数の
フレームを受け各フレームごとに周波数解析を行うスペ
クトラム計算器と、このスペクトラム計算器の結果と人
間の聴覚特性であるマスキング効果を考慮してマスキン
グカーブを求めるマスキングカーブ予測器と、このマス
キングカーブ予測器で求めたマスキングカーブから量子
化ステップ幅を求める量子化ステップ幅予測器とで構成
してもよい。
【0016】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0017】図1は本発明の第1の実施の形態を示すブ
ロック図である。
【0018】本発明の音声符号化装置10は、一定長の
複数のフレームに分割され入力端子9を介して入力され
る入力音声信号データを一時記憶する入力データメモリ
8と、入力音声信号データを各フレームごとに周波数分
割したデータとする周波数分割フィルタバンク1と、入
力データメモリ8から量子化ステップ幅を計算すべきフ
レームを中に挟む前後のi個のフレームを受け該当する
フレームのスペクトラム解析の結果とマスキングの効果
を含む人間の聴覚特性とを用いて量子化ステップ幅を計
算する心理聴覚分析部7と、周波数分割フィルタバンク
1が周波数分割したデータを心理聴覚分析部7が計算し
た量子化ステップ幅で量子化する量子化器2と、量子化
器2が量子化した量子化データを符号化ビット列に多重
化する多重化器3とを備えている。また、心理聴覚分析
部7は、入力データメモリ8から一定長の複数のフレー
ムを受け各フレームごとに周波数解析を行うスペクトラ
ム計算器4と、スペクトラム計算器4の計算結果と人間
の聴覚特性であるマスキング効果とを考慮してマスキン
グカーブを求めるマスキングカーブ予測器5と、マスキ
ングカーブ予測器5で求めたマスキングカーブから量子
化ステップ幅を求める量子化ステップ幅予測器6とを含
んでいる。
【0019】次に図1の心理聴覚分析部7のスペクトラ
ム計算器4に入力されるデータと実際に符号化される入
力音声信号データとの関係を図2の入力音声信号データ
の構成を説明する説明図を用いて説明する。名称および
符号は図1に示すのものを用いる。
【0020】スペクトラム計算器4に入力される入力音
声信号データは、Nフレーム目を符号化する場合には、
Nフレーム目を中に含む(N−j)フレ−ムから(N+
k)フレーム目までのB領域の入力音声信号データを用
いる。この場合の入力音声信号データは(i+1)×n
個のサンプルからなる。ここでi=j+kである。
【0021】このB領域で表される(i+1)×n個の
入力音声信号をスペクトラム計算器4に入力し、周波数
分析を行い、この分析結果をマスキングカーブ予測器5
に入力し、マスキングカーブを求める。続いて、量子化
ステップ幅予測器6が、このマスキングカーブ情報をも
とに量子化ステップ幅を予測することにより、継時マス
キングの順向マスキングと逆向マスキングの両方のマス
キング効果を用いることが可能となる。
【0022】同じ(i+1)×n個のサンプル数を用い
てマスキングカーブを求める場合において、順向マスキ
ングと逆向マスキングの割り合いを変え、最も多くのマ
スキング量を有するマスキングカーブを求めることが可
能であり、この最も多くのマスキング量を持つマスキン
グカーブを用いて量子化ステップ幅を予測し、この予測
した量子化ステップ幅で量子化した量子化データは、同
じデータ量のデータを符号化した場合の中で、最も効率
が良い符号化となる。
【0023】なお、これまで、周波数分割手段として周
波数分割フィルタバンク1を用いた例で説明したが、こ
れは、周波数分割手段がサブバンド分割フィルタバンク
器であっても同様に作用し、最も効率が良い符号化を行
うことが可能である。
【0024】また、周波数分割手段が変形離散コサイン
変換方式(MDCT)であっても、同様に、最も効率が
良い符号化を行うことが可能である。
【0025】
【発明の効果】以上説明したように、本発明は、量子化
ステップ幅を予測する場合、順向マスキングの効果と逆
向マスキング効果の両方のマスキング効果を組合せて用
いることにより、従来の順向マスキングの効果のみを用
いてマスキングカーブを算出したものに比較して、より
多くのマスキング量を得ることが可能となり、効率の良
い符号化を行うことが可能となるという効果が有る。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すブロック図で
ある。
【図2】本発明の第1の実施の形態の入力音声信号デー
タの構成を説明する説明図である。
【図3】従来の一般的な音声符号化装置の構成を示すブ
ロック図である。
【図4】従来の一般的な音声符号化装置の入力音声信号
データの構成を説明する説明図である。
【符号の説明】
1 周波数分割フィルタバンク 2 量子化器 3 多重化器 4 スペクトラム計算器 5 マスキングカーブ予測器 6 量子化ステップ幅予測器 7 心理聴覚分析部 8 入力データメモリ 9 入力端子 10 音声符号化装置

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 一定長の複数のフレームに分割され入力
    端子を介して入力される入力音声信号データを各フレー
    ムごとに周波数分割したデータとする周波数分割手段
    と、前記一定長の複数のフレームを受け各フレームごと
    にスペクトラム解析し最新のフレームに対しこの最新の
    フレームおよびこの最新のフレーム以前のi(i=1,
    2,…n)個のフレームのスペクトラム解析の結果とマ
    スキングの効果を含む人間の聴覚特性とを用いて量子化
    ステップ幅を計算する心理聴覚分析手段と、前記周波数
    分割手段が周波数分割したデータを前記心理聴覚分析手
    段が計算した量子化ステップ幅で量子化する量子化手段
    と、この量子化手段が量子化した量子化データを符号化
    ビット列に多重化する多重化手段とを備える音声符号化
    装置において、前記入力端子と前記周波数分割手段およ
    び前記心理聴覚分析手段との間に前記入力音声信号デー
    タを一時記憶する入力音声信号データ記憶手段を設け、
    前記心理聴覚分析手段が前記入力音声信号データ記憶手
    段から量子化ステップ幅を計算すべきフレームを中に挟
    む前後のi個のフレームを受け、前記量子化ステップ幅
    を計算すべきフレームのスペクトラム解析の結果とマス
    キングの効果を含む人間の聴覚特性とを用いて量子化ス
    テップ幅を計算し前記量子化手段に出力することを特徴
    とする音声符号化装置。
  2. 【請求項2】 周波数分割手段がサブバンド分割フィル
    タバンク器であることを特徴とする請求項1記載の音声
    符号化装置。
  3. 【請求項3】 周波数分割手段が変形離散コサイン変換
    方式(MDCT)であることを特徴とする請求項1記載
    の音声符号化装置。
  4. 【請求項4】 心理聴覚分析手段が入力音声信号データ
    記憶手段から一定長の複数のフレームを受け各フレーム
    ごとに周波数解析を行うスペクトラム計算器と、このス
    ペクトラム計算器の結果と人間の聴覚特性であるマスキ
    ング効果を考慮してマスキングカーブを求めるマスキン
    グカーブ予測器と、このマスキングカーブ予測器で求め
    たマスキングカーブから量子化ステップ幅を求める量子
    化ステップ幅予測器とから成ることを特徴とする請求項
    1記載の音声符号化装置。
JP8134812A 1996-05-29 1996-05-29 音声符号化装置 Expired - Lifetime JP2820117B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8134812A JP2820117B2 (ja) 1996-05-29 1996-05-29 音声符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8134812A JP2820117B2 (ja) 1996-05-29 1996-05-29 音声符号化装置

Publications (2)

Publication Number Publication Date
JPH09321628A true JPH09321628A (ja) 1997-12-12
JP2820117B2 JP2820117B2 (ja) 1998-11-05

Family

ID=15137083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8134812A Expired - Lifetime JP2820117B2 (ja) 1996-05-29 1996-05-29 音声符号化装置

Country Status (1)

Country Link
JP (1) JP2820117B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542648A (ja) * 1999-04-12 2002-12-10 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 合成フィルタ雑音伸長の補償を持つ知覚音声コーダの量子化
EP2741287A1 (en) 2012-12-06 2014-06-11 Fujitsu Limited Apparatus and method for encoding audio signal, system and method for transmitting audio signal, and apparatus for decoding audio signal

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03139923A (ja) * 1989-10-25 1991-06-14 Sony Corp ディジタルデータの高能率符号化方法
JPH06201744A (ja) * 1992-10-07 1994-07-22 Daewoo Electron Co Ltd オーディオ信号の歪曲測定装置および測定方法
JPH06232825A (ja) * 1993-01-29 1994-08-19 Sony Corp オーディオ信号符号化装置
JPH06242797A (ja) * 1993-02-19 1994-09-02 Matsushita Electric Ind Co Ltd 変換符号化装置のブロックサイズ決定法
JPH07183818A (ja) * 1993-10-30 1995-07-21 Samsung Electron Co Ltd オーディオ信号の符号化方法及びその装置
JPH0851366A (ja) * 1994-01-18 1996-02-20 Daewoo Electron Co Ltd 適応的符号化システム
JPH08123490A (ja) * 1994-10-24 1996-05-17 Matsushita Electric Ind Co Ltd スペクトル包絡量子化装置
JPH08204575A (ja) * 1995-01-20 1996-08-09 Daewoo Electron Co Ltd 適応的符号化システム及びビット割当方法
JPH08204574A (ja) * 1995-01-09 1996-08-09 Daewoo Electron Co Ltd 適応的符号化システム
JPH08211899A (ja) * 1995-02-06 1996-08-20 Nippon Columbia Co Ltd 音声符号化方法及びその装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03139923A (ja) * 1989-10-25 1991-06-14 Sony Corp ディジタルデータの高能率符号化方法
JPH06201744A (ja) * 1992-10-07 1994-07-22 Daewoo Electron Co Ltd オーディオ信号の歪曲測定装置および測定方法
JPH06232825A (ja) * 1993-01-29 1994-08-19 Sony Corp オーディオ信号符号化装置
JPH06242797A (ja) * 1993-02-19 1994-09-02 Matsushita Electric Ind Co Ltd 変換符号化装置のブロックサイズ決定法
JPH07183818A (ja) * 1993-10-30 1995-07-21 Samsung Electron Co Ltd オーディオ信号の符号化方法及びその装置
JPH0851366A (ja) * 1994-01-18 1996-02-20 Daewoo Electron Co Ltd 適応的符号化システム
JPH08123490A (ja) * 1994-10-24 1996-05-17 Matsushita Electric Ind Co Ltd スペクトル包絡量子化装置
JPH08204574A (ja) * 1995-01-09 1996-08-09 Daewoo Electron Co Ltd 適応的符号化システム
JPH08204575A (ja) * 1995-01-20 1996-08-09 Daewoo Electron Co Ltd 適応的符号化システム及びビット割当方法
JPH08211899A (ja) * 1995-02-06 1996-08-20 Nippon Columbia Co Ltd 音声符号化方法及びその装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002542648A (ja) * 1999-04-12 2002-12-10 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 合成フィルタ雑音伸長の補償を持つ知覚音声コーダの量子化
EP2741287A1 (en) 2012-12-06 2014-06-11 Fujitsu Limited Apparatus and method for encoding audio signal, system and method for transmitting audio signal, and apparatus for decoding audio signal
US9424830B2 (en) 2012-12-06 2016-08-23 Fujitsu Limited Apparatus and method for encoding audio signal, system and method for transmitting audio signal, and apparatus for decoding audio signal

Also Published As

Publication number Publication date
JP2820117B2 (ja) 1998-11-05

Similar Documents

Publication Publication Date Title
US6721700B1 (en) Audio coding method and apparatus
JP3352406B2 (ja) オーディオ信号の符号化及び復号方法及び装置
US6353808B1 (en) Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
JP4033898B2 (ja) 知覚符号化システムのサブバンドに波形予測を適用する装置及び方法
EP0884850A2 (en) Scalable audio coding/decoding method and apparatus
JP2001522156A (ja) オーディオ信号をコーディングする方法及び装置並びにビットストリームをデコーディングする方法及び装置
US20060100885A1 (en) Method and apparatus to encode and decode an audio signal
WO2003063135A1 (en) Audio coding method and apparatus using harmonic extraction
KR100707173B1 (ko) 저비트율 부호화/복호화방법 및 장치
JP3277699B2 (ja) 信号符号化方法及び装置並びに信号復号化方法及び装置
JP4359949B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JP4281131B2 (ja) 信号符号化装置及び方法、並びに信号復号装置及び方法
JPH0846516A (ja) 情報符号化方法及び装置、情報復号化方法及び装置、並びに記録媒体
JP2820117B2 (ja) 音声符号化装置
US6012025A (en) Audio coding method and apparatus using backward adaptive prediction
JP3348759B2 (ja) 変換符号化方法および変換復号化方法
JP4721355B2 (ja) 符号化データの符号化則変換方法および装置
JPH08179794A (ja) サブバンド符号化方法及び装置
JP4618823B2 (ja) 信号符号化装置及び方法
JP2906483B2 (ja) ディジタル音声データの高能率符号化方法及びディジタル音声データの復号化装置
JP2001094432A (ja) サブバンド符号化・復号方法
GB2322776A (en) Backward adaptive prediction of audio signals
KR0121164B1 (ko) 고음질 오디오 데이타의 압축/복원을 위한 실시간 시스템 및 그의 부호화/복호화 방법
Luo et al. High quality wavelet-packet based audio coder with adaptive quantization
KR20070027669A (ko) 저비트율 부호화/복호화방법 및 장치

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19980728

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070828

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080828

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080828

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090828

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090828

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100828

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110828

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110828

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 14

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 14

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 14

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 15

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term