JP3354138B2 - 音声符号化 - Google Patents

音声符号化

Info

Publication number
JP3354138B2
JP3354138B2 JP2000536069A JP2000536069A JP3354138B2 JP 3354138 B2 JP3354138 B2 JP 3354138B2 JP 2000536069 A JP2000536069 A JP 2000536069A JP 2000536069 A JP2000536069 A JP 2000536069A JP 3354138 B2 JP3354138 B2 JP 3354138B2
Authority
JP
Japan
Prior art keywords
vector
quantization
gain value
energy
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000536069A
Other languages
English (en)
Other versions
JP2002507011A (ja
Inventor
オヤラ,パシ
Original Assignee
ノキア モービル フォーンズ リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア モービル フォーンズ リミティド filed Critical ノキア モービル フォーンズ リミティド
Publication of JP2002507011A publication Critical patent/JP2002507011A/ja
Application granted granted Critical
Publication of JP3354138B2 publication Critical patent/JP3354138B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】本発明は、音声符号化に関し、特に、ディ
ジタル化された音声サンプルを含む離散時間サブフレー
ムにおける音声信号の符号化に関する。本発明は、特
に、必ずしもそうではないけれども、可変ビットレート
音声符号化に関する。
【0002】欧州では、ディジタル・セルラー電話につ
いての容認されている規格はGSM(移動通信用広域シ
ステム)という頭字語で知られている。GSM規格の最
近の修正(GSMフェーズ2、06.60)は拡張フル
レート(Enhanced Full Rate、EFR)として知られて
いる新音声符号化アルゴリズム(又はコーデック)の仕
様をもたらした。従来の音声コーデックの場合と同じ
く、EFRは個々の音声又はデータ通信に必要なビット
レートを低めるように設計されている。この速度を最低
限にすることにより、与えられた信号帯域幅に多重化す
ることのできる別々のコールの個数が増やされる。
【0003】EFRで使用されるのに似ている音声符号
器の構成の非常に一般的な例が図1に示されている。サ
ンプリングされた音声信号は、各々160サンプルを包
含する20msフレームxに分割される。各サンプルは
16ビットでディジタル的に表される。始めにフレーム
を線形予測符号器(LPC)1に加えることにより、フ
レームは符号化され、符号器は各フレームについて一組
のLPC係数aを生成する。それらの係数は、フレーム
における短期冗長性を表す。
【0004】
【外1】
【0005】励振(又はイノベーション)ベクトルcを
生成するために代数的励振符号帳3が使用される。各4
0サンプル・サブフレーム(1フレームあたりに4サブ
フレーム)について、数個の異なる“候補”励振ベクト
ルが基準化ユニット4を介してLTP合成フィルター5
に加えられる。このフィルター5は、現在のサブフレー
ムについてのLTPパラメータを受け取って、LTPパ
ラメータにより予測された長期冗長性を励振ベクトルに
導入する。その結果として得られた信号は、連続するフ
レームについてのLPC係数を受け取るLPC合成フィ
ルター6に供給される。与えられたサブフレームについ
て、フレーム間補間法を用いて一組のLPC係数が生成
され、その生成された係数は合成された信号ssを生成
するために使用される。
【0006】図1の符号器は、励振ベクトルのあらかじ
め規定された一組を利用する初期の符号励振線形予測
(CELP)符号器とは異なる。前者の種類の符号器
は、代わりに、励振ベクトルの代数的生成及び特定に依
っており(例えばWO9624925 を参照)、ときには代数的
CELP或いはACELPと称される。より具体的に
は、10個の非ゼロ・パルスを含む量子化ベクトルd(i)
が規定される。全てのパルスが振幅+1又は−1を持つ
ことができる。サブフレームにおける40個のサンプル
位置(i=0〜39)は5個の「トラック」に分割さ
れ、その各トラックは、下記の表に示されているよう
に、2個のパルスを包含する(即ち、8個の可能な位置
のうちの2つで)。
【表1】
【0007】与えられたトラックにおけるパルス位置の
各対は6ビットで(即ち、各パルスあたりに3ビット
で、合計30ビット)符号化され、そのトラックにおけ
る第1パルスの極性は1ビットで(合計で5ビット)符
号化される。第2パルスの極性は、特に符号化されなく
て、第1パルスに対するその相対的位置から導き出され
る。第2パルスのサンプル位置が第1パルスのそれより
前にあるならば、第2パルスは第1パルスとは反対の極
性を有するものとして規定され、そうでなければ両方の
パルスが同じ符号を有するものとして規定される。チャ
ネル誤りに対する強さを改善し、量子化されたベクトル
が35ビット代数符号uで符号化され得るように、3ビ
ットのパルス位置の全てがグレイ符号化される。
【0008】励振ベクトルc(i)を生成するために、代数
符号uにより定められる量子化されたベクトルd(i)は、
合成された音声の品質を改善するために特定のスペクト
ル成分を強化する前置フィルターFE (z) を通してフィ
ルタリングされる。前置フィルター(ときには「着色」
フィルターとして知られる)は、サブフレームのために
生成されたLTPパラメータのうちのある一定のLTP
パラメータで定められる。
【0009】従来のCELP符号器の場合と同じく、差
ユニット7は、合成された信号と入力信号との間のエラ
ーをサンプル毎に(且つサブフレーム毎に)決定する。
そのとき、重み付けフィルター8は、人の聴覚を考慮し
てエラー信号に重み付けを行うのに使用される。与えら
れたサブフレームについて、探索ユニット9は、重み付
き自乗平均誤差を最小にするベクトルを特定することに
より、代数的符号帳3により生成された候補ベクトルの
一組から適切な励振ベクトル{c(i)、i = 0 〜39}を選
択する。このプロセスは一般に「ベクトル量子化」とし
て知られている。
【0010】既に言及したように、基準化ユニット4で
励振ベクトルに利得gc が乗じられる。LTP2により
提供される重み付き残差信号swrのエネルギーに等しい
エネルギーを有する基準化励振ベクトルをもたらす利得
値が選択される。利得は
【数8】 で与えられ、ここでH は線形予測モデル(LTP及びL
PC)インパルス応答マトリクスである。
【0011】
【外2】
【数9】
【0012】
【外3】
【0013】実際には、固定された係数での移動平均
(MA)予測を用いることによって予測利得∧gc が導
出される。4次MA予測が次のように励振エネルギーに
対して実行される。E(n)をサブフレームnでの平均除去
励振エネルギー(dBでの)であるとすると、
【数10】
【外4】
【数11】
【外5】
【数12】 予測されたエネルギーは式(3)でE(n)に∧E(n)を代入
して次式を与えることにより予測利得を計算するのに使
うことができる。
【数13】 ここで、
【数14】 は励振ベクトルc(i)のエネルギーである。
【0014】次式のエラーを最小にする量子化利得補正
係数∧γgcを特定するために、利得補正係数符号帳の探
索が実行される。
【数15】
【0015】符号化されたフレームは、LPC係数と、
LTPパラメータと、励振ベクトルを規定する代数符号
と、量子化利得補正係数符号帳のインデックスとから成
る。送信前に、符号化および多重化ユニット12におい
て符号化パラメータのうちのある一定のものが更に符号
化される。具体的には、LPC係数は、「24ビット/
フレームでのLPCパラメータの効率的ベクトル量子
化」、Kuldip K.P. and Bishnu S.A., IEEE 会報.音声
およびオーディオ処理、第10巻第1号、1993年1
月、に記載されているように、対応する数の線スペクト
ル対(LSP)係数に変換される。エラー検出及び訂正
を行うため、符号化されているフレーム全体も符号化さ
れる。GSMフェーズ2のために指定されているコーデ
ックは、正確に同じ数のビット、即ち244,で各音声
フレームを符号化し、それはたたみ込み符号化の導入及
び巡回冗長検査ビットの付加の後には456まで増大す
る。
【0016】図2は、図1の符号器で符号化された信号
を復号化するのに適する、ACELP復号器の一般的構
成を示している。多重分離装置13は、受け取った符号
化されている信号をそのいろいろな成分に分離する。代
数符号帳14は、符号器の符号帳3と同一であって、受
信された符号化されている信号の35ビット代数的符号
により規定されている符号ベクトルを確定し、これを
(LTPパラメータを用いて)前置フィルタリングして
励振ベクトルを生成する。利得補正係数は、受信された
量子化されている利得補正係数を用いることにより、利
得補正係数符号帳から決定され、これは前に復号化され
たサブフレームから導出されブロック16で決定された
予測利得を訂正するためにブロック15において使用さ
れる。ブロック17で励振ベクトルは補正されている利
得と乗じられたのち、その積はLTP合成フィルター1
8及びLPC合成フィルター19に加えられる。LTP
及びLPCフィルターは、符号化されている信号により
伝えられるLTPパラメータ及びLPC係数をそれぞれ
受信し、長期冗長性及び短期冗長性を励振ベクトルに再
導入する。
【0017】音声は、本来は変化しやすく、高活動期及
び低活動期を含むと共に、関連する無音をしばしば含ん
でいる。従って、ビットレートが固定されている符号化
法を用いるのは、帯域幅資源を浪費する。符号化ビット
レートをフレーム毎に或いはサブフレーム毎に変化させ
る音声コーデックが幾つか提案されている。例えば、US
5,657,420 は米国CDMAシステムで使われる音声コー
デックを提案しており、そのコーデックではフレームの
符号化ビットレートはそのフレームの音声活動レベルに
応じて幾つかの可能な速度から選択される。
【0018】ACELPコーデックに関して、音声信号
サブフレームを2以上のクラスに分類し、異なった代数
符号帳を用いて異なったクラスを符号化することが提案
されている。より具体的には、重み付き残基信号swr
時間と共にゆっくり変化するサブフレームは比較的に少
数のパルス(例えば2個)を有する符号ベクトルd(i)で
符号化されてよく、一方、重み付き残差信号が比較的速
やかに変化するサブフレームは比較的多数のパルス(例
えば10個)を有する符号ベクトルd(i)で符号化されて
よい。
【0019】
【外6】
【0020】予測利得の大きなエラーはCELP符号器
でも生じることがあって、この場合には符号ベクトルd
(i)のエネルギーはフレーム毎に大幅に変動して、利得
補正係数を量子化するために同様に大きな符号帳を必要
とすることが理解されよう。
【0021】本発明の目的は、既存の可変速度コーデッ
クの前記の欠点を克服すること、或いは少なくともそれ
を緩和することである。
【0022】本発明の第1の態様に従って、ディジタル
化された音声サンプルを含むサブフレームの系列から成
る音声信号を符号化する方法が提供され、この方法は、
各サブフレームについて、 (a)少なくとも1つのパルスから成る量子化されてい
るベクトルd(i)を選択するステップであって、ベクトル
d(i)におけるパルスの個数mと位置とはサブフレーム毎
に異なってもいいステップと、 (b)量子化ベクトルd(i)の、或いは量子化ベクトルd
(i)から得られる別のベクトルc(i)の振幅を基準化する
ための利得値gc を決定するステップであって、その基
準化されたベクトルは重み付き残差信号swrを合成する
ステップと、 (c)量子化ベクトルd(i)のエネルギーに対するあらか
じめ決められたエネルギー・レベルの比の関数である基
準化係数k を決定するステップと、 (d)前に処理された1つ以上のサブフレームに基づい
て、量子化されているベクトルd(i)の、或いは該ベクト
ルの振幅が前記基準化係数k で基準化されているときに
は前記の別のベクトルc(i)のエネルギーEc の関数とし
て、予測利得値を決定するステップと、 (e)前記利得値gc 及び前記予測利得値∧gc を用い
て量子化された利得補正係数∧γgcを決定するステップ
とを含んでいる。
【0023】上記のように励振ベクトルのエネルギーを
基準化することにより、本発明は、量子化ベクトルd(i)
に存在するパルス(又はエネルギー)の個数がサブフレ
ーム毎に変動するとき、予測利得値∧gc の精度を改善
する。これにより、利得補正係数γgcの範囲が狭まると
共に、以前より小さな量子化符号帳でそれを正確に量子
化することが可能となる。より小さな符号帳を用いれ
ば、符号帳に索引を付けるために必要なベクトルのビッ
ト長が短くなる。その代わりに、以前使われていたのと
同じサイズの符号帳で量子化精度を改善することができ
る。
【0024】本発明の1実施例では、ベクトルd(i)のパ
ルスの個数mはサブフレーム音声信号の性質による。代
わりの他の実施例では、パルスの個数mはシステムの必
要条件或いは特性により決定される。例えば、符号化さ
れた信号が伝送チャネルで伝送される場合には、チャネ
ル干渉が大きいときにパルスの個数は少なくてもよいの
で、信号にさらに多くの保護ビットを付け加えることが
可能となる。チャネル干渉が小さくて、信号が必要とす
る保護ビット数が少なければ、ベクトルのパルスの数を
増やすことができる。
【0025】好ましくは、本発明の方法は可変ビットレ
ート符号化方法であって、音声信号サブフレームから長
期冗長性及び短期冗長性を実質的に除去し、該音声信号
サブフレームを重み付き残差信号swrに含まれるエネル
ギーに応じて分類し、その分類を用いて量子化ベクトル
d(i)のパルスの個数を決定することによって前記の重み
付き残差信号swrを生成することを含んでいる。
【0026】好ましくは、この方法は、各フレームにつ
いての一組の線形予測符号化(LPC)係数aと、各サ
ブフレームについての一組の長期予測(LTP)パラメ
ータbとを生成し、そこでフレームは複数の音声サブフ
レームから成り、LPC係数と、LTPパラメータと、
量子化ベクトルd(i)と、量子化利得補正係数γgcとに基
づいて、符号化された音声信号を作ることを含んでい
る。
【0027】好ましくは、量子化ベクトルd(i)は代数符
号uで規定され、この符号は符号化されている音声信号
に組み込まれる。
【0028】好ましくは、利得値gc は前記の別のベク
トルc(i)を基準化するために使われ、その別のベクトル
は量子化ベクトルd(i)をフィルタリングすることによっ
て生成される。
【0029】好ましくは、予測利得値は次の式で決定さ
れる。
【数16】 ここで/Eは定数であり、∧E(n)は前のサブフレームに
基づいて決定される現在のサブフレームのエネルギーの
予測である。予測されるエネルギーは次の式を用いて決
定されることができる。
【数17】 ここでbi は移動平均予測係数であり、pは予測次数で
あり、∧R(j)は次式によって与えられる前のサブフレー
ムjでの予測エネルギー∧E(j)のエラーである。
【数18】 項Ec は次式を用いることにより決定される。
【数19】 ここでN は該サブフレームでのサンプルの個数である。
好ましくは、
【数20】 であり、ここでM は量子化ベクトルd(i)のパルスの最大
許容数である。
【0030】好ましくは、量子化ベクトルd(i)は2つ以
上のパルスから成り、その全てのパルスが同じ振幅を有
する。
【0031】好ましくは、ステップ(d)は、エラー、
【数21】 を最小にする量子化補正係数∧γgcを決定するために利
得補正係数符号帳を探索し、特定された利得補正係数の
ために符号帳インデックスを符号化することから成る。
【0032】本発明の第2の態様に従って、ディジタル
化され標本抽出された音声信号の符号化されているサブ
フレームの系列を復号化する方法が提供され、その方法
は、各サブフレームについて、 (a)符号化された信号から、少なくとも1つのパルス
から成る量子化ベクトルd(i)を復元するステップであっ
て、ベクトルd(i)のパルスの数m及び位置がサブフレー
ム毎に変化することのあるステップと、 (b)符号化されている信号から量子化利得補正係数∧
γgcを復元するステップと、 (c)あらかじめ決められたエネルギー・レベルと量子
化ベクトルd(i)のエネルギーとの比の関数である基準化
係数k を決定するステップと、 (d)ベクトルの振幅が前記基準化係数k で基準化され
るとき、前に処理された1つ以上のサブフレームに基づ
いて、量子化ベクトルd(i)又はこのd(i)から導出された
別のベクトルc(i)のエネルギーEc の関数として予測利
得値を決定するステップと、 (e)量子化利得補正係数∧γgcを用いて予測利得値∧
c を補正して補正利得値gc を供給するステップと、 (f)利得値gc を用いて量子化ベクトルd(i)又は前記
の別のベクトルc(i)を基準化して、元のサブフレーム音
声信号中に実質的に冗長な情報の除去後に残っている残
差信号swrを合成する励振ベクトルを生成するステップ
とを含んでいる。
【0033】好ましくは、受信された信号の符号化され
ている各サブフレームは、量子化ベクトルd(i)を規定す
る代数符号uと、量子化されている利得補正係数∧γgc
が得られる量子化利得補正係数符号帳をアドレス指定す
るインデックスとから成る。
【0034】本発明の第3の態様に従って、ディジタル
化されている音声サンプルを含むサブフレームの系列か
ら成る音声信号を符号化するための装置が提供され、こ
の装置は前記サブフレームの各々を順に符号化するため
の手段を有し、その手段は、少なくとも1つのパルスか
ら成る量子化ベクトルd(i)を選択するためのベクトル選
択手段であって、ベクトルd(i)のパルスの個数mと位置
とはサブフレーム毎に異なることがある手段と、量子化
ベクトルd(i)又は量子化ベクトルd(i)から導出された別
のベクトルc(i)の振幅を基準化するための利得値gc
決定するための第1信号処理手段であって、この基準化
されたベクトルが重み付き残差信号swrを合成する手段
と、あらかじめ決められたエネルギー・レベルと量子化
ベクトルd(i)のエネルギーの比の関数である基準化係数
k を決定するための第2信号処理手段と、ベクトルの振
幅が前記基準化係数kによって基準化されるとき、前に
処理された1つ以上のサブフレームに基づいて、量子化
ベクトルd(i)又は前記の別のベクトルc(i)のエネルギー
c の関数として予測利得値∧gc を決定するための第
3信号処理手段と、前記利得値gc 及び前記予測利得値
∧gc を用いて量子化利得補正係数∧γgcを決定するた
めの第4信号処理手段とを含んでいる。
【0035】本発明の第4の態様に従って、ディジタル
化され標本抽出された音声信号の符号化されているサブ
フレームの系列を復号化するための装置が提供され、そ
の装置は前記サブフレームの各々を順に復号化するため
の手段を有し、その手段は、その符号化されている信号
から、少なくとも1つのパルスから成る量子化ベクトル
d(i)を復元するための第1信号処理手段であって、ベク
トルd(i)のパルスの数m及び位置がサブフレーム毎に変
化する手段と、符号化された信号から量子化利得補正係
数∧γgcを復元するための第2信号処理手段と、あらか
じめ決められたエネルギー・レベルと量子化ベクトルd
(i)のエネルギーの比の関数である基準化係数k を決定
するための第3信号処理手段と、ベクトルの振幅が前記
基準化係数k により基準化されるとき、前に処理された
1つ以上のサブフレームに基づいて、量子化ベクトルd
(i)又はこの量子化ベクトルから導出される別のベクト
ルc(i)のエネルギーEc の関数として予測利得値∧gc
を決定するための第4信号処理手段と、量子化利得補正
係数∧γgcを用いて予測利得値∧gc を補正して補正利
得値gc を供給するための補正手段と、利得値gc を用
いて量子化ベクトルd(i)又は前記別のベクトルc(i)を基
準化して、元のサブフレーム音声信号中に実質的に冗長
な情報の除去後に残っている残差信号swrを合成する励
振ベクトルを生成するための基準化手段とを含んでい
る。
【0036】本発明をより良く理解すると共に本発明を
どの様に実施するかを示すために、一例として添付図面
を参照する。
【0037】GSMフェーズ2のために提案されている
ものと同様のACELP音声コーデックについては前記
で図1及び2を参照して簡単に説明した。図3はディジ
タル化されている標本抽出された音声信号の可変ビット
レート符号化に適する修正されたACELP音声符号器
を示しており、この図では、図1を参照して既に説明し
た機能ブロックが同様の参照番号で関係づけられてい
る。
【0038】図3の符号器では、図1の単一の代数的符
号帳3は1対の代数的符号帳23,24と取り換えられ
る。第1の符号帳23は、2つのパルスを含む符号ベク
トルd(i)に基づいて励振ベクトルc(i)を生成するように
構成されており、第2の符号帳24は10個のパルスを
含む符号ベクトルd(i)に基づいて励振ベクトルc(i)を生
成するように構成されている。与えられたサブフレーム
について、LTP2により供給される重み付き残差信号
wrに含まれているエネルギーに応じて符号帳23,2
4の選択が符号帳選択ユニット25によって行われる。
重み付き残差信号のエネルギーがあるあらかじめ決めら
れた(或いは適応性の)スレショルドを上回って、大幅
に変化する重み付き残差信号を示すならば、10パルス
符号帳24が選択される。一方、もし重み付き残差信号
のエネルギーが、規定されているスレショルドより小さ
くなれば、2パルス符号帳23が選択される。2つ以上
のスレショルド・レベルを定めることができ、その場合
には3つ以上の符号帳が使用される。適切な符号帳を選
択するプロセスについてのもっと詳しい説明のために
は、「トール(Toll)品質可変速度音声コーデック」
(“Toll Quality Variable-Rate Speech Codec" , Oja
la P,音響、音声および信号処理に関するIEEE国際会議
会報、ドイツ,ミュンヘン、1997年4月21〜24
日)を参照するべきである。
【0039】基準化ユニット4で使用するために利得g
cを得ることは、式(1)を参照して前述したとおりに
達成される。しかし、予測利得∧gcを導出するとき、
次のように振幅基準化係数k を励振ベクトルに適用する
ことにより、式(7)が修正される(修正処理ユニット
26において)。
【数22】
【0040】10パルス符号帳が選択される場合にはk
= 1 であり、2パルス符号帳が選択されるときにはk =
√5である。より一般的な式では、基準化係数は次式で
与えられる。
【数23】 ここでmは対応する符号ベクトルd(i)のパルスの個数で
ある。
【0041】与えられたサブフレームについて平均除去
励振エネルギーE(n)を計算するとき、式(4)でエネル
ギー予測できるためには、基準化係数k を導入する必要
もある。式(3)は次のように修正される
【数24】
【0042】予測利得は式(6)と、式(9)により与
えられる修正された励振ベクトル・エネルギーと、式
(11)により与えられる修正された平均除去励振エネ
ルギーとを用いて計算される。
【0043】
【外7】
【0044】図4は、図3のACELP符号器で符号化
されている音声信号を、即ち、音声サブフレームが可変
ビットレートで符号化されている音声信号を復号化する
のに適する復号器を示している。図4の復号器の多くの
機能性は図3のそれと同じであり、その様な機能ブロッ
クについては図2を参照して既に説明してあるので、図
4では同様の参照数字で関係づけられている。主な差異
は、図3の符号器の2パルス符号帳及び10パルス符号
帳に対応する2つの代数符号帳20,21が設けられて
いることである。受信された代数符号uの性質は適切な
符号帳20,21の選択を決定し、その後に復号化プロ
セスが前述したのと全く同じように進行する。しかし、
符号器の場合と同じく、予測利得∧gc は、式(6)
と、式(9)で与えられる基準化されている励振ベクト
ル・エネルギーEc と、式(11)で与えられる基準化
された平均除去励振エネルギーE(n)とを用いてブロック
22で計算される。
【0045】本発明の範囲から逸脱せずに前記の実施例
に数々の修正を加え得ることを当業者は理解するであろ
う。特に図3及び4の符号器及び復号器をハードウェア
或いはソフトウェアで、或いはハードウェア及びソフト
ウェアの両方で実現し得ることが理解されよう。上の説
明はGSMセルラー電話システムに関するものであるけ
れども、本発明は他のセルラー無線システムにも、また
実際にインターネット等の非無線通信システムにも有利
に応用され得るものである。本発明は、データ蓄積目的
のために音声データを符号化したり復号化したりするた
めにも使用され得るものである。
【0046】本発明はACELP符号器と同様にCEL
P符号器にも応用され得るものである。しかし、CEL
P符号器は量子化ベクトルd(i)を生成するために固定さ
れている符号帳を有し、与えられた量子化ベクトル内の
パルスの振幅は変化することがあるので、励振ベクトル
c(i)の振幅を基準化するための基準化係数k は、パルス
数mの単純な関数(式(10)のような)ではない。む
しろ、固定されている符号帳の各量子化ベクトルd(i)に
ついてのエネルギーを計算し、このエネルギーの、例え
ば最大量子化ベクトル・エネルギーに対する比を決定し
なければならない。この比の平方根が基準化係数k を与
える。 [図面の簡単な説明]
【図1】図1はACELP音声符号器のブロック図を示
している。
【図2】図2はACELP音声復号器のブロック図を示
している。
【図3】図3は可変ビットレート符号化が可能な修正さ
れたACELP音声符号器のブロック図を示している。
【図4】図4は可変ビットレート符号化されている信号
を復号化することのできる修正されたACELP音声復
号器のブロック図を示している。
フロントページの続き (56)参考文献 特開 平9−281998(JP,A) 特開 平8−95599(JP,A) 特開 平6−282298(JP,A) 特開 平5−158129(JP,A) 特開 平9−120299(JP,A) 特開 平9−120297(JP,A) 特開 平4−264500(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10L 19/12

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項1】 ディジタル化された音声サンプルを含む
    サブフレームの系列から成る音声信号を符号化する方法
    であって、この方法は、各サブフレームについて、 (a)少なくとも1つのパルスから成る量子化ベクトル
    d(i)を選択するステップであって、該ベクトルd(i)にお
    けるパルスの個数mと位置とはサブフレーム毎に異なっ
    てもいいステップと、 (b)前記量子化ベクトルd(i)の、或いは前記量子化ベ
    クトルd(i)から得られる別のベクトルc(i)の振幅を基準
    化するための利得値gc を決定するステップであって、
    その基準化されたベクトルは重み付き残差信号swrを合
    成するステップと、 (c)あらかじめ決められたエネルギー・レベルと前記
    量子化ベクトルd(i)のエネルギーの比の関数である基準
    化係数k を決定するステップと、 (d)前記ベクトルの振幅が前記基準化係数k で基準化
    されるとき、前に処理された1つ以上のサブフレームに
    基づいて、前記量子化ベクトルd(i)或いは前記の別のベ
    クトルc(i)のエネルギーEc の関数として、予測利得値
    ∧gc を決定するステップと (e)前記利得値gc 及び前記予測利得値∧gc を用い
    て量子化利得補正係数γgcを決定するステップとを含ん
    でいる方法。
  2. 【請求項2】 前記方法が可変ビットレート符号化方法
    であり、 前記音声信号サブフレームから長期冗長性及び短期冗長
    性を実質的に除去することによって前記重み付き残差信
    号swrを生成するステップと、 前記重み付き残差信号に含まれているエネルギーに応じ
    て前記音声信号サブフレームを分類し、その分類を用い
    て、前記量子化ベクトルd(i)のパルスの個数を決定する
    こととを含んでいる請求項1に記載の方法。
  3. 【請求項3】 各フレームについての一組の線形予測分
    析(LPC)係数aと、各サブフレームについての一組
    の長期予測(LTP)パラメータbとを生成するステッ
    プであって、そこでフレームが複数の音声サブフレーム
    から成るステップと、 前記LPC係数と、前記LTPパラメータと、前記量子
    化ベクトルd(i)と、量子化利得補正係数∧γgcとに基づ
    いて、符号化されている音声信号を作るステップとを含
    む請求項1又は2に記載の方法。
  4. 【請求項4】 符号化されている信号の前記量子化ベク
    トルd(i)を代数符号uで規定することを含む請求項1か
    ら3のいずれか一項に記載の方法。
  5. 【請求項5】 前記予測利得値が次の式、 【数1】 に従って決定され、ここで/Eは定数であり、∧E(n)は
    前記前に処理されたサブフレームに基づいて決定される
    現在のサブフレームのエネルギーの予測である請求項1
    から4のいずれか一項に記載の方法。
  6. 【請求項6】 前記予測利得値∧gc が、ベクトルの振
    幅が前記基準化係数k によって基準化されているとき、
    前記前に処理されたサブフレームの各々の、前記量子化
    ベクトルd(i)又は前記別のベクトルc(i)の平均除去励振
    エネルギーE(n)の関数である請求項1から5のいずれか
    一項に記載の方法。
  7. 【請求項7】 前記利得値gc が前記別のベクトルc(i)
    を基準化するために使われ、その別のベクトルは前記量
    子化ベクトルd(i)をフィルタリングすることによって生
    成される請求項1から6のいずれか一項に記載の方法。
  8. 【請求項8】 前記予測利得値∧gc は、ベクトルの振
    幅が前記基準化係数k によって基準化されているとき、
    前記前に処理されたサブフレームの各々の、前記量子化
    ベクトルd(i)又は前記別のベクトルc(i)の平均除去励振
    エネルギーE(n)の関数であり、 前記利得値gc は前記別のベクトルc(i)を基準化するた
    めに使われ、その別のベクトルは前記量子化ベクトルd
    (i)をフィルタリングすることにより生成され、 予測エネルギーは次式、 【数2】 を用いて決定され、ここでbi は移動平均予測係数であ
    り、p は予測次数であり、∧R(j)は、 【数3】 により与えられる、前のサブフレームjでの予測エネル
    ギー∧E(j)のエラーであり、ここで 【数4】 である請求項5に記載の方法。
  9. 【請求項9】 項Ec は式、 【数5】 を用いて決定され、ここでN は前記サブフレーム中のサ
    ンプルの個数である請求項5に記載の方法。
  10. 【請求項10】 前記量子化ベクトルd(i)が2つ以上の
    パルスから成っている場合、そのパルスの全てが同じ振
    幅を有する請求項1から9のいずれか一項に記載の方
    法。
  11. 【請求項11】 前記基準化係数が、 【数6】 により与えられ、ここでM は前記量子化ベクトルd(i)中
    のパルスの最大許容個数である請求項1から10のいず
    れか一項に記載の方法。
  12. 【請求項12】 エラー、 【数7】 を最小にする前記量子化利得補正係数∧γgcを決定する
    ために利得補正係数符号帳を探索し、特定された量子化
    利得補正係数についての符号帳インデックスを符号化す
    ることを含む請求項1から11のいずれか一項に記載の
    方法。
  13. 【請求項13】 ディジタル化された標本抽出された音
    声信号の符号化されているサブフレームの系列を復号化
    する方法であってこの方法は、各サブフレームについ
    て、 (a)その符号化されている信号から、少なくとも1つ
    のパルスから成る量子化ベクトルd(i)を復元するステッ
    プであって、ベクトルd(i)におけるパルスの数m及び位
    置はサブフレーム毎に変化することがあるステップと、 (b)前記符号化されている信号から量子化利得補正係
    数∧γgcを復元するステップと、 (c)あらかじめ決められたエネルギー・レベルと、量
    子化ベクトルd(i)のエネルギーとの比の関数である基準
    化係数k を決定するステップと、 (d)前記ベクトルの振幅が前記基準化係数k で基準化
    されるとき、前に処理された1つ以上のサブフレームに
    基づいて、前記量子化ベクトルd(i)又はこの量子化ベク
    トルから得られた別のベクトルc(i)のエネルギーEc
    関数として予測利得値∧gc を決定するステップと、 (e)前記量子化利得補正係数∧γgcを用いて予測利得
    値∧gc を補正して補正利得値gc を決定するステップ
    と、 (f)前記利得値gc を用いて前記量子化ベクトルd(i)
    又は前記別のベクトルc(i)を基準化して、元のサブフレ
    ーム音声信号中に実質的に冗長な情報の除去後に残って
    いる残差信号を合成する励振ベクトルを生成するステッ
    プとを含んでいる方法。
  14. 【請求項14】 受信された信号の各々の符号化されて
    いるサブフレームは前記量子化ベクトルd(i)を規定する
    代数符号uと、量子化利得補正係数符号帳をアドレス指
    定するインデックスとを含んでおり、この符号帳から前
    記量子化利得補正係数∧γgcが得られる請求項13に記
    載の方法。
  15. 【請求項15】 ディジタル化されている音声サンプル
    を含むサブフレームの系列から成る音声信号を符号化す
    るための装置であって、この装置は前記サブフレームの
    各々を順に符号化するための手段を有し、その手段は、 少なくとも1つのパルスから成る量子化ベクトルd(i)を
    選択するためのベクトル選択手段であって、前記ベクト
    ルd(i)のパルスの個数mと位置とはサブフレーム毎に異
    なることがある手段と、 前記量子化ベクトルd(i)又は前記量子化ベクトルd(i)か
    ら得られた別のベクトルc(i)の振幅を基準化するための
    利得値gc を決定するための第1信号処理手段であっ
    て、その基準化されたベクトルは重み付き残差信号swr
    を合成する手段と、 あらかじめ決められたエネルギー・レベルと前記量子化
    ベクトルd(i)のエネルギーとの比の関数である基準化係
    数k を決定するための第2信号処理手段と、 前記ベクトルの振幅が前記基準化係数kによって基準化
    されるとき、前に処理された1つ以上のサブフレームに
    基づいて、前記量子化ベクトルd(i)又は前記別のベクト
    ルc(i)のエネルギーEc の関数として予測利得値∧gc
    を決定するための第3信号処理手段と 前記利得値gc 及び前記予測利得値∧gc を用いて量子
    化利得補正係数∧γgcを決定するための第4信号処理手
    段とを含んでいる方法。
  16. 【請求項16】 ディジタル化された標本抽出された音
    声信号の符号化されているサブフレームの系列を復号化
    するための装置であって、該装置は前記サブフレームの
    各々を順に復号化するための手段を有し、その手段は、 その符号化されている信号から、少なくとも1つのパル
    スから成る量子化ベクトルd(i)を復元するための第1信
    号処理手段であって、前記ベクトルd(i)のパルスの数m
    及び位置はサブフレーム毎に変化することがある手段
    と、 前記符号化されている信号から量子化利得補正係数∧γ
    gcを復元するための第2信号処理手段と、 あらかじめ決められたエネルギー・レベルと前記量子化
    ベクトルd(i)のエネルギーとの比の関数である基準化係
    数k を決定するための第3信号処理手段と、 前記ベクトルの振幅が前記基準化係数k により基準化さ
    れるとき、前に処理された1つ以上のサブフレームに基
    づいて、前記量子化ベクトルd(i)又は前記量子化ベクト
    ルから得られる別のベクトルc(i)のエネルギーEc の関
    数として、予測利得値∧gc を決定するための第4信号
    処理手段と、 前記量子化利得補正係数∧γgcを用いて前記予測利得値
    ∧gc を補正して補正利得値gc を供給するための補正
    手段と、 前記利得値gc を用いて前記量子化ベクトルd(i)又は前
    記の別のベクトルc(i)を基準化して、元のサブフレーム
    音声信号中に実質的に冗長な情報の除去後に残っている
    残差信号swrを合成する励振ベクトルを生成するための
    基準化手段とを含んでいる装置。
JP2000536069A 1998-03-09 1999-02-12 音声符号化 Expired - Lifetime JP3354138B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI980532A FI113571B (fi) 1998-03-09 1998-03-09 Puheenkoodaus
FI980532 1998-03-09
PCT/FI1999/000112 WO1999046764A2 (en) 1998-03-09 1999-02-12 Speech coding

Publications (2)

Publication Number Publication Date
JP2002507011A JP2002507011A (ja) 2002-03-05
JP3354138B2 true JP3354138B2 (ja) 2002-12-09

Family

ID=8551196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000536069A Expired - Lifetime JP3354138B2 (ja) 1998-03-09 1999-02-12 音声符号化

Country Status (12)

Country Link
US (1) US6470313B1 (ja)
EP (1) EP1062661B1 (ja)
JP (1) JP3354138B2 (ja)
KR (1) KR100487943B1 (ja)
CN (1) CN1121683C (ja)
AU (1) AU2427099A (ja)
BR (1) BR9907665B1 (ja)
DE (1) DE69900786T2 (ja)
ES (1) ES2171071T3 (ja)
FI (1) FI113571B (ja)
HK (1) HK1035055A1 (ja)
WO (1) WO1999046764A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714907B2 (en) * 1998-08-24 2004-03-30 Mindspeed Technologies, Inc. Codebook structure and search for speech coding
US6604070B1 (en) * 1999-09-22 2003-08-05 Conexant Systems, Inc. System of encoding and decoding speech signals
AU766830B2 (en) * 1999-09-22 2003-10-23 Macom Technology Solutions Holdings, Inc. Multimode speech encoder
EP2040253B1 (en) 2000-04-24 2012-04-11 Qualcomm Incorporated Predictive dequantization of voiced speech
US6947888B1 (en) * 2000-10-17 2005-09-20 Qualcomm Incorporated Method and apparatus for high performance low bit-rate coding of unvoiced speech
US7037318B2 (en) * 2000-12-18 2006-05-02 Boston Scientific Scimed, Inc. Catheter for controlled stent delivery
US7054807B2 (en) * 2002-11-08 2006-05-30 Motorola, Inc. Optimizing encoder for efficiently determining analysis-by-synthesis codebook-related parameters
JP3887598B2 (ja) * 2002-11-14 2007-02-28 松下電器産業株式会社 確率的符号帳の音源の符号化方法及び復号化方法
US7249014B2 (en) * 2003-03-13 2007-07-24 Intel Corporation Apparatus, methods and articles incorporating a fast algebraic codebook search technique
FI119533B (fi) * 2004-04-15 2008-12-15 Nokia Corp Audiosignaalien koodaus
US7386445B2 (en) * 2005-01-18 2008-06-10 Nokia Corporation Compensation of transient effects in transform coding
UA92742C2 (ru) * 2005-04-01 2010-12-10 Квелкомм Инкорпорейтед Способ и устройство для кодирования речевых сигналов с расщеплением полосы
WO2007129726A1 (ja) * 2006-05-10 2007-11-15 Panasonic Corporation 音声符号化装置及び音声符号化方法
US8712766B2 (en) * 2006-05-16 2014-04-29 Motorola Mobility Llc Method and system for coding an information signal using closed loop adaptive bit allocation
WO2008056775A1 (fr) 2006-11-10 2008-05-15 Panasonic Corporation Dispositif de décodage de paramètre, dispositif de codage de paramètre et procédé de décodage de paramètre
JPWO2008072733A1 (ja) * 2006-12-15 2010-04-02 パナソニック株式会社 符号化装置および符号化方法
US8788264B2 (en) * 2007-06-27 2014-07-22 Nec Corporation Audio encoding method, audio decoding method, audio encoding device, audio decoding device, program, and audio encoding/decoding system
US20090094026A1 (en) * 2007-10-03 2009-04-09 Binshi Cao Method of determining an estimated frame energy of a communication
CN101499281B (zh) * 2008-01-31 2011-04-27 华为技术有限公司 一种语音编码中的增益量化方法及装置
CN101609674B (zh) * 2008-06-20 2011-12-28 华为技术有限公司 编解码方法、装置和系统
CN101741504B (zh) * 2008-11-24 2013-06-12 华为技术有限公司 一种确定信号线性预测编码阶数的方法和装置
US7898763B2 (en) * 2009-01-13 2011-03-01 International Business Machines Corporation Servo pattern architecture to uncouple position error determination from linear position information
US20110051729A1 (en) * 2009-08-28 2011-03-03 Industrial Technology Research Institute and National Taiwan University Methods and apparatuses relating to pseudo random network coding design
US8990094B2 (en) * 2010-09-13 2015-03-24 Qualcomm Incorporated Coding and decoding a transient frame
US8862465B2 (en) 2010-09-17 2014-10-14 Qualcomm Incorporated Determining pitch cycle energy and scaling an excitation signal
US8325073B2 (en) * 2010-11-30 2012-12-04 Qualcomm Incorporated Performing enhanced sigma-delta modulation
US9626982B2 (en) 2011-02-15 2017-04-18 Voiceage Corporation Device and method for quantizing the gains of the adaptive and fixed contributions of the excitation in a CELP codec
DE20163502T1 (de) * 2011-02-15 2020-12-10 Voiceage Evs Gmbh & Co. Kg Vorrichtung und verfahren zur quantisierung der verstärkung von adaptiven und festen beiträgen der anregung in einem celp-koder-dekoder
CN112741961A (zh) * 2020-12-31 2021-05-04 江苏集萃智能制造技术研究所有限公司 一种便携式集成tensems功能的电子脉冲刺激器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969192A (en) 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
IT1232084B (it) * 1989-05-03 1992-01-23 Cselt Centro Studi Lab Telecom Sistema di codifica per segnali audio a banda allargata
GB2235354A (en) * 1989-08-16 1991-02-27 Philips Electronic Associated Speech coding/encoding using celp
IL95753A (en) * 1989-10-17 1994-11-11 Motorola Inc Digits a digital speech
US5754976A (en) 1990-02-23 1998-05-19 Universite De Sherbrooke Algebraic codebook with signal-selected pulse amplitude/position combinations for fast coding of speech
CA2010830C (en) 1990-02-23 1996-06-25 Jean-Pierre Adoul Dynamic codebook for efficient speech coding based on algebraic codes
FR2668288B1 (fr) * 1990-10-19 1993-01-15 Di Francesco Renaud Procede de transmission, a bas debit, par codage celp d'un signal de parole et systeme correspondant.
US5293449A (en) * 1990-11-23 1994-03-08 Comsat Corporation Analysis-by-synthesis 2,4 kbps linear predictive speech codec
ATE294441T1 (de) 1991-06-11 2005-05-15 Qualcomm Inc Vocoder mit veränderlicher bitrate
US5255339A (en) * 1991-07-19 1993-10-19 Motorola, Inc. Low bit rate vocoder means and method
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
US5327520A (en) * 1992-06-04 1994-07-05 At&T Bell Laboratories Method of use of voice message coder/decoder
FI96248C (fi) 1993-05-06 1996-05-27 Nokia Mobile Phones Ltd Menetelmä pitkän aikavälin synteesisuodattimen toteuttamiseksi sekä synteesisuodatin puhekoodereihin
FI98163C (fi) 1994-02-08 1997-04-25 Nokia Mobile Phones Ltd Koodausjärjestelmä parametriseen puheenkoodaukseen
SE506379C3 (sv) * 1995-03-22 1998-01-19 Ericsson Telefon Ab L M Lpc-talkodare med kombinerad excitation
US5732389A (en) * 1995-06-07 1998-03-24 Lucent Technologies Inc. Voiced/unvoiced classification of speech for excitation codebook selection in celp speech decoding during frame erasures
CA2177413A1 (en) * 1995-06-07 1996-12-08 Yair Shoham Codebook gain attenuation during frame erasures
US5664055A (en) * 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
US5692101A (en) * 1995-11-20 1997-11-25 Motorola, Inc. Speech coding method and apparatus using mean squared error modifier for selected speech coder parameters using VSELP techniques

Also Published As

Publication number Publication date
WO1999046764A3 (en) 1999-10-21
AU2427099A (en) 1999-09-27
CN1121683C (zh) 2003-09-17
FI980532A0 (fi) 1998-03-09
FI113571B (fi) 2004-05-14
EP1062661A2 (en) 2000-12-27
EP1062661B1 (en) 2002-01-09
CN1292914A (zh) 2001-04-25
BR9907665A (pt) 2000-10-24
FI980532A (fi) 1999-09-10
KR100487943B1 (ko) 2005-05-04
HK1035055A1 (en) 2001-11-09
BR9907665B1 (pt) 2013-12-31
DE69900786D1 (de) 2002-02-28
JP2002507011A (ja) 2002-03-05
KR20010024935A (ko) 2001-03-26
US6470313B1 (en) 2002-10-22
WO1999046764A2 (en) 1999-09-16
ES2171071T3 (es) 2002-08-16
DE69900786T2 (de) 2002-09-26

Similar Documents

Publication Publication Date Title
JP3354138B2 (ja) 音声符号化
EP1886306B1 (en) Redundant audio bit stream and audio bit stream processing methods
EP2099028B1 (en) Smoothing discontinuities between speech frames
US11282530B2 (en) Methods, encoder and decoder for linear predictive encoding and decoding of sound signals upon transition between frames having different sampling rates
US20010016817A1 (en) CELP-based to CELP-based vocoder packet translation
JP2002202799A (ja) 音声符号変換装置
JP2011123506A (ja) 可変レートスピーチ符号化
US9972325B2 (en) System and method for mixed codebook excitation for speech coding
JP2004310088A (ja) 半レート・ボコーダ
EP1181687B1 (en) Multipulse interpolative coding of transition speech frames
US6768978B2 (en) Speech coding/decoding method and apparatus
Drygajilo Speech Coding Techniques and Standards
KR20120032444A (ko) 적응 코드북 업데이트를 이용한 오디오 신호 디코딩 방법 및 장치
Gersho Speech coding
KR20050007854A (ko) 서로 다른 celp 방식의 음성 코덱 간의 상호부호화장치 및 그 방법
JPH08202398A (ja) 音声符号化装置
Gersho Linear prediction techniques in speech coding
JPH034300A (ja) 音声符号化復号化方式

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020813

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130927

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term