JP3578933B2 - 重み符号帳の作成方法及び符号帳設計時における学習時のma予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体 - Google Patents
重み符号帳の作成方法及び符号帳設計時における学習時のma予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP3578933B2 JP3578933B2 JP03919599A JP3919599A JP3578933B2 JP 3578933 B2 JP3578933 B2 JP 3578933B2 JP 03919599 A JP03919599 A JP 03919599A JP 3919599 A JP3919599 A JP 3919599A JP 3578933 B2 JP3578933 B2 JP 3578933B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- codebook
- signal
- audio signal
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、重み符号帳の作成方法及び符号帳設計時における学習時のMA予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体に係わり、特に音響信号を符号化あるいは復号する技術に関する。
【0002】
【従来の技術】
ディジタル移動体通信においては、通信回線や記憶媒体を効率的に利用するために、例えば再生音響信号の歪みを所定の距離尺度の下で最小とする高能率符号化方式が採用される。この高能率符号化方式の1つとして、時間領域において音響信号をフレームまたはサブフレームと呼ばれる5〜50ms程度の一定間隔の区分に分割し、その1フレームを周波数スペクトルの包絡特性を表す信号(短期予測信号)及びその予測残差を示す駆動音源信号に分離し、これら短期予測信号と駆動音源信号とをそれぞれ符号化する方法が提案されている。
【0003】
また、上記駆動音源信号の符号化方式としては、音声のピッチ周期(基本周波数)に対応する周波数成分とそれ以外の成分(非周期性成分)に分離して符号化する符号駆動線形予測符号化方式(CELP:Code−Excited Linear Prediction)が知られている。この符号駆動線形予測符号化方式については、文献『M.R.Schroeder and B.S.Atal,”Code‐Excited Linear Prediction(CELP):High Quality Speech at Very Low Bit Rates”,IEEE Proc.lCASSP−85,p.p.937−940,1985』に詳細が記載されている。
【0004】
音響信号の符号化の場合、例えば符号駆動線形予測符号化方式にはMA予測を用いたベクトル量子化(MA予測ベクトル量子化)が用いられる。予測ベクトル量子化には、AR予測を用いたAR予測ベクトル量子化とMA予測ベクトル量子化とがあり、いずれも予測を用いてフレーム間の相関を取り除くことができる。一般的には、相関のある信号列から予測可能な成分を取り除いて白色化する手法としてAR予測ベクトル量子化が用いられることが多いが、音響信号の符号化においては、伝送誤り耐性の向上のためにMA予測ベクトル量子化が用いられている。
【0005】
MA予測ベクトル量子化では、符号帳に所定数の代表ベクトルを各要素として予め設定しておき、駆動音源信号に応じてフレームあるいはサブフレーム毎に代表ベクトルを選択し、該選択された代表ベクトルを所定のフィルタ係数(MA予測係数)を有するIIRフィルタに入力することにより駆動音源信号に対応する信号を生成する。そして、復号時には上記IIRフィルタと同一のMA予測係数のFIRフィルタを用いて上記信号を再生する。
【0006】
このようなMA予測ベクトル量子化においては、上記符号帳及びMA予測係数を適切に決定する必要がある。従来では、図9に示すような再帰的学習法によって符号帳の各要素及びMA予測係数を決定している。この学習法においては、初期符号帳の設計処理(9−1)において、初期符号帳を設計する。この初期符号帳の設計手法としては、LBGアルゴリズムが適用される。この設計手法は、ベクトル量子化すべきベクトル空間の分布をよく表すような分布をもつ学習用データ(学習用の音響信号)を量子化したときの歪みの総和が極小となるように初期符号帳を設計する手法である。LBGアルゴリズムでは、代表ベクトルの初期値をlつ決め、最適な代表ベクトルを求める操作と代表ベクトルの数を2倍に増加させる操作とを交互に行って目的とする数の代表ベクトルを得る。
【0007】
このLBGアルゴリズムは、学習ベクトルの集合をいくつかの部分集合に分割する操作を意味し、上記部分集合をクラスタ、分割処理をクラスタリングと呼ぷ。LBGアルゴリズムの詳細については、文献『Y.Lindle A.Buzo.E.M.Gray,”An Algorithm for Vector Qluantizer Design”,IEEE Trains.Commun.COM‐28 p.p.84−95,1980』に記載されている。予測ベクトル量子化については、文献『Allen Gersho,Robert M.Gray,”VECTO QUANTIZATI0N AND SlCNAL C0MPRESSION”,Kliwer Academic Publishers,1992』に記載されている。
【0008】
続いて、MA予測係数決定処理(9−2)では、学習用データと上記初期符号帳を用いて再生信号の歪みの総和が最小となるようにMA予測係数を仮決定する。そして、処理(9−3)において学習用データを符号化すると、以降、処理(9−4)〜(9−9)を繰り返すことにより、再生信号の歪みの総和Dが最小となるように最適な代表ベクトルとMA予測係数とが最終的に決定される。
【0009】
すなわち、学習用データがどの代表ベクトルに帰属するかを再帰的に更新することにより、その帰属状態において歪みの総和が極小となるように代表ベクトルが更新される(9−4)。この帰属更新処理と代表ベクトの更新処埋を収束するまで交互に繰り返し行うことにより、代表ベクトルは、次第に最適なものに近づいて行く。この操作は、Lloyd‐Maxまたはk平均アルゴリズムと呼ばれている。
【0010】
なお、重み符号帳のMA予測ベクトル量子化については、文献『ITU‐T COM 15−152−E,”G.729−Coding of Speech at 8kbit/s using Conjugate−Structure Algeraic−Code−Excited/Linear−Prediction(CS−ACELP)”,Jul.1995』に詳しい。同じく,MA予測を用いるフレーム間予測ベクトル量子化に関しては、大室仲,守谷健弘,間野一則,三樹聡,”移動平均型フレーム間予測を用いるLSPパラメータのベクトル量子化”,電子情報通信学会論文誌 A Vol.J77−A No.3 p.p.303−313,1994等に記載がある。
【0011】
【発明が解決しようとする課題】
ところで、音響信号の符号化においては、音響信号をデジタル表現する際のビット数が制限されることから、上記符号駆動線形予測符号化方式に用いられる符号帳の要素数にも制限がある。この符号帳は、複数の学習用の音響信号を用いることにより予め各要素を決定し、実際に伝送する音響信号の符号化に共されるものである。
【0012】
しかし、従来では学習用の音響信号の集合全体に対して再生音響信号の波形歪みの総和が最小、つまり再生音響信号のS/Nが最大となるように符号帳の各要素を学習によって決定している。このような学習用の音響信号全体に亘って波形歪みを最小にするような距離尺度で符号帳の各要素を決定した場合、入カ音響信号のパワーが大きなところに重点を置いた符号帳が生成される。
【0013】
人問の音圧知覚特性は、パワーの小さな音では少しのパワーの変化も十分に知覚可能であり、むしろパワーの大きな部分で知覚感度が荒い。このため、従来の学習によって得られた符号帳を用いて実際に伝送する音響信号を符号化した場合、音響信号のバワーの小さな部分に対応する符号帳要素の割合か少な過ぎるため、入力音響信号の大きさが比較的小さい場合に再生音響信号の音質劣化が顕著に知覚される。この結果として、そのような符号帳を用いて再生された再生音響は不安定な印象を与える。
【0014】
一方、少ないビット数で少しでも高品質な再生音響信号を得るためには、従来の符号帳の学習方法を改善し、入力音響信号の量子化効率を可能な限り良くする必要がある。上記符号帳の要素の量子化には、伝送誤り耐性向上のために復号時にFIRフィルタを用いるMA予測ベクトル量子化が用いられてきたが、一般的に、MA予測を用いてAR予測と同程度の予測性能を得るためには、MA予測の次数(IIRフィルタ及びFIRフィルタの次数)を非常に高次に設定する必要がある。しかし、伝送誤りからの復旧時間を考慮して4次程度の少ない次数が用いられちことが多く、この低い次数のMA予測係数を開ループで安定に決定することは極めて困難であった。
【0015】
従来のMA予測ベクトル量子化では、上述したように初期符号帳を先に決めなければMA予測係数が決まらず、またMA予測係数を決定しなければ初期符号帳を決定することができないという制約条件がある。一度、初期符号帳が決定されれば、あとは初期符号帳とMA予測係数を交互に学習する再帰学習法によって、各値は漸近的に局所的最適解に収束していく。従来では、MA予測を使わないで設計した初期符号帳を用いる方法またはMA予測係数の初期値を経験的に決定する方法が採用されており、よって初期符号帳によっては局所解に陥ったり、あるいは適当に与えたMA予測係数が安定でない場合があるため、最適な初期符号帳の決定は難しく、再帰学習結果として得られた符号帳も局所的な最適解しか得られない。
【0016】
本発明は、上述する問題点に鑑みてなされたもので、以下の点を目的とするものである。
(1)入力音響信号の大きさが比較的小さい場合における再生音響信号の音質劣化を抑える。
(2)低いビット数の符号化でも高品質な再生音響信号を得る。
【0017】
【課題を解決するための手段】
上記目的を達成するために、本発明では、重み符号帳及びその作成方法に係わる第1の手段として、入力音響信号を、その短期間の周波数スペクトルの包絡特性の予測結果を示す短期予測信号とその予測残差を示す駆動音源信号とに分離し、該駆動音源信号に基づいて正規化ベクトルを選択すると共に該正規化ベクトルの大きさを規定する重み量を該重み量を各要素とする重み符号帳から選択して駆動音源ベクトル候補を生成し、該駆動音源ベクトル候補と前記短期予測信号とに基づいて生成された再生音声候補の入力音響信号に対する歪みが所定の距離尺度の下で最小となるように前記駆動音源信号を生成し、このようにして生成された駆動音源信号と前記短期予測信号とを符号化する符号化方法における前記重み符号帳の作成方法において、人間の音圧知覚特性を加味した距離尺度を用いて前記重み符号帳の各要素を設定するという手段を採用する。
【0018】
重み符号帳及びその作成方法に係わる第2の手段として、上記第1の手段において、人間の音圧知覚特性を入力音響信号のパワーの関数をして加味した距離尺度を用いるという手段を採用する。
【0019】
重み符号帳及びその作成方法に係わる第3の手段として、上記第2の手段において、入力音響信号をxとした場合に、前記関数を(|x|2)p/|x|2によって与えるという手段を採用する。ただし、pは、0<p<1の範囲内の値である。
【0020】
また、本発明では、MA予測係数の初期値の設定方法に係わる第1の手段として、MA予測ベクトル量子化におけるMA予測係数の初期値の設定方法において、複数の学習用データから算出されたAR予測係数をMA予測の手法を用いて近似することによりMA予測係数の初期値を算出するという手段を採用する。
【0021】
MA予測係数の初期値の設定方法に係わる第2の手段として、MA予測ベクトル量子化におけるMA予測係数の初期値の設定方法において、複数の学習用データの平均値を算出する行程と、各学習用データから前記平均値を差し引いたものを用いて共分散法に基づいて第1のAR予測係数を算出する行程と、第1のAR予測係数をフィルタ係数とするフィルタのインパルス応答を求める行程と、インパルス応答を入力とし、自己相関法に基づいてMA予測係数と同次数の第2のAR予測係数を算出する行程と、第2のAR予測係数をフィルタ係数とするフィルタの逆フィルタを求めることによりMA予測係数の初期値を算出する行程とを有する手段を採用する。
【0022】
また、本発明では、MA予測ベクトル量子化用の重み符号帳及びその作成方法に係わる第1の手段として、MA予測係数の初期値の設定方法に係わる上記各手段を用いてMA予測係数の初期値を算出すると、LBGアルゴリズムに基づいて重み符号帳の初期符号帳を作成する行程と、MA予測係数の初期値と初期符号帳を備えたMA予測ベクトル量子化処理において、再帰的な学習によって各学習用データについて算出される再生信号の歪みの総和が最小となるように重み符号帳の各要素及びMA予測係数を順次更新して最終的に各要素を決定する行程とを有する手段を採用する。
【0023】
MA予測ベクトル量子化用の重み符号帳及びその作成方法に係わる第2の手段として、上記第1の手段において、再生信号の歪みを人間の音圧知覚特性を加味した距離尺度を用いて算出するという手段を採用する。
【0024】
MA予測ベクトル量子化用の重み符号帳及びその作成方法に係わる第3の手段として、上記第1の手段において、再生信号の歪みを入力音響信号のパワーの関数を加味した距離尺度を用いて算出するという手段を採用する。
【0025】
MA予測ベクトル量子化用の重み符号帳及びその作成方法に係わる第4の手段として、上記第1の手段において、再生信号の歪みを下式(1)に示す入力音響信号xのパワーの関数Wを加味した距離尺度を用いて算出するという手段を採用する。ただし、pは、0<p<1の範囲内の値である。
W=(|x|2)p/|x|2 (1)
【0026】
さらに、本発明では、音響信号の符号化方法に係わる第1の手段として、入力音響信号を、その短期間の周波数スペクトルの包絡特性の予測結果を示す短期予測信号とその予測残差を示す駆動音源信号とに分離し、該駆動音源信号に基づいて正規化ベクトルを選択すると共に該正規化ベクトルの大きさを規定する重み量を該重み量を各要素とする重み符号帳から選択して駆動音源ベクトル候補を生成し、該駆動音源ベクトル候補と前記短期予測信号とに基づいて生成された再生音声候補の入力音響信号に対する歪みが所定の距離尺度の下で最小となるように前記駆動音源信号を生成し、このようにして生成された駆動音源信号と前記短期予測信号とを符号化する音響信号の符号化方法において、人間の音圧知覚特性を加味した距離尺度を用いて前記重み符号帳の各要素を設定するという手段を採用する。
【0027】
音響信号の符号化方法に係わる第2の手段として、上記第1の手段において、人間の音圧知覚特性を入力音響信号のパワーの関数をして加味した距離尺度を用いるという手段を採用する。
【0028】
音響信号の符号化方法に係わる第3の手段として、上記第2の手段において、入力音響信号をxとした場合に、前記関数を(|x|2)p/|x|2によって与えるという手段を採用する。ただし、pは、0<p<1の範囲内の値である。
【0029】
音響信号の符号化方法に係わる第4の手段として、上記第1〜第3いずれかの手段において、MA予測ベクトル量子化を用いて駆動音源信号から駆動音源ベクトル候補を生成する場合、上記MA予測ベクトル量子化用の重み符号帳の作成方法に係わる第1の手段によって得られた重み符号帳及びMA予測係数を用いるという手段を採用する。
【0030】
さらに、本発明では、上記音響信号の復号方法に係わる第1の手段として、上記音響信号の符号化方法に係わる第1〜第3いずれかの手段によって生成された符号を復号する音響信号の復号方法において、これらの音響信号の符号化方法に用いられる重み符号帳を用いて前記符号を復号するという手段を採用する。
【0031】
上記音響信号の復号方法に係わる第2の手段として、上記音響信号の符号化方法に係わる第4の手段によって生成された符号を復号する音響信号の復号方法において、この音響信号の符号化方法に用いられる重み符号帳及びMA予測係数を用いて前記符号を復号するという手段を採用する。
【0032】
また、本発明では、上記音響信号の符号化方法に係わる各手段に従った処理をコンピュータに読み取り可能な記憶媒体に記憶した符号化プログラムとするという手段を採用する。
【0033】
さらに、上記音響信号の復号方法に係わる各手段に従った処理をコンピュータに読み取り可能な記憶媒体に記憶した復号プログラムとするという手段を採用する。
【0034】
【発明の実施の形態】
以下、図面を参照して、本発明に係わる重み符号帳の作成方法及び符号帳設計時における学習時のMA予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体の一実施形態について説明する。
【0035】
図1は、本実施形態に係わる符号化器の機能構成を示すブロック図である。この図に示すように、入力音声(入力音響信号)xは、線形予測分析部1−1と歪み計算部1−6とに入力される。こ線形予測分析部1−1は、入力音声xの周波数スペクトル包絡特性を表す線形予測パラメータaを算出し、線形予測パラメータ符号化部1−2及び歪み計算部1−6に出力する。
【0036】
ここで、入力音声xは、例えば10msの間隔で分割されたフレームとして線形予測分析部1−1に入力されるようになっており、線形予測分析部1−1から出力される線形予測パラメータaは、各フレームの周波数スペクトル包絡特性を表すものとなる。
【0037】
線形予測パラメータ符号化部1−2は、線形予測パラメータaをフレーム毎に符号化し、線形予測パラメータ符号afとして線形予測バラメータ復号部1−3及び符号送出部1−9に出力する。線形予測パラメータ復号部1−3は、線形予測パラメータ符号化部1−2から入力された線形予測パラメータ符号afから合成フィルタ係数bを再生し、合成フィルタ1−5に送出する。
【0038】
合成フィルタ1−5は、上記合成フィルタ係数bによって特性が規定される線形フィルタであり、この合成フィルタ係数bと駆動音源ベクトル生成部1−4から入力された駆動音源ベクトル侯補cとを用いて再生音声候補yを生成出力する。この合成フィルタ1−5の次数つまり上記線形予測分析部1−1における線形予測分析の次数は、例えば10〜16次程度である。
【0039】
なお、上記線形予測分析部1−1、線形予測パラメータ符号化部1−2、線形予測パラメータ復号部1−3及び合成フィルタ1−5を非線型なものに置き換えても良い。線形予測分析の詳細及び線形予測パラメータの符号化は、周知の技術事項であり、例えば古井忠著『ディジタル音声処理』(東海大学出版会)に詳細が記載されている。
【0040】
歪み計算部1−6は、上記入力音声x、線形予測パラメータa及び合成フィルタ1−5から入力される再生音声候補yに基づいて、再生音声候補yの入力音声xに対する歪みdを上記フレーム毎に算出して符号帳検索制御部1−8に出力するものである。
【0041】
図2は、上記歪み計算部1−6の詳細構成を示すブロック図である。この図に示すように、当該歪み計算部1−6は、聴覚重み付けを考慮して再生音声候補yの歪みdを計算するために、合成フィルタ1−5から出力された再生音声候補yを聴覚重みフィルタ2−2を通してから距離計算部2−4に入力すると共に、入力音声xをも聴覚重みフィルタ2−3を通して距離計算部2−4に入力するように構成されている。
【0042】
聴覚重みフィルタ2−2は、上記線形予測バラメータaを係数とするものであり、再生音声候補yを聴覚重みつき再生音声候補ywに変換して距離計算部2−4に出力する。また、聴覚重みフィルタ2−3は、固定係数を用いるフィルタであり、入力音声xを聴覚重みつき入力音声xwに変換して距離計算部2−4に出力する。これら聴覚重みフィルタ2−2,2−3は、距離計算部2−4の後に1つのフィルタとして挿入しても等価であるが、処理量の観点から距離計算部2−4の手前に独立して設けられている。
【0043】
一方、符号張検索制御部1−8は、上記再生音声候補yの歪みdの総和が各フレーム毎に最小となるような駆動音源符号eを選択して駆動音源ベクトル生成部1−4に出力する。本実施形態では、図3及び図4を参照して以下に説明するように、駆動音源ベクトル生成部1−4が適応符号帳3−1、固定符号帳2−2及び重み符号帳4−1を用いて駆動音源ベクトル侯補cを算出するように構成されている。
【0044】
このことに関連して、符号張検索制御部1−8は、再生音声候補yの歪みdの総和が各フレーム毎に最小となるように適応符号帳3−1用の周期符号、固定符号帳2−2用の固定(雑音)符号及び重み符号帳4−1用の重み符号を選択し、駆動音源符号eとして駆動音源ベクトル生成部1−4に出力するように構成されている。
【0045】
符号送出部1−9は、駆動音源符号e及び線形予測パラメータ符号afを、利用形態に応じて記憶装置あるいは伝送路に出力する。上記駆動音源ベクトル生成部1−4は、入力音声xの1フレーム分の長さの駆動音源ベクトル侯補cを生成して合成フィルタ1−5に出力するものである。
【0046】
図3は、上記駆動音源ベクトル生成部1−4の詳細構成を示すブロック図である。この図において、適応符号帳3−1は、バッファ部(図示略)に記憶されていた1フレーム前(過去)の駆動音源ベクトルc(t‐1)と上記駆動音源符号eに含まれる周期符号とに基づいて入力音声xの周期成分に対応する時系列ベクトル候補Vaをフレーム毎に生成する。
【0047】
この適応符号帳3−1は、駆動音源ベクトルc(t‐1)を周期符号を用いて所定周期に相当する長さで切り出し、この切り出したベクトルをフレームの長さになるまで繰り返すことによって入力音声xの周期成分に対応する周期符号ベクトル候補Va(正規化ベクトル)を選択して出力する。適応符号帳3−1には、周期符号に対応する正規化ベクトルが各要素として所定数記憶されている。
【0048】
上記所定周期は、再生音声候補yの歪みdが小さくなるように選択されるが、一般には入力音声xのピッチ周期に相当する周期である。本実施形態もこれに従う。固定符号帳3−2は、音声の非周期成分に対応する1フレーム分の長さの固定符号ベクトル侯補(正規化ベクトル)を選択出力する。この固定符号ベクトル侯補は、入力音声xとは独立に符号化のためのビット数に応じて予め指定された数の候補ベクトルとして固定符号帳3−2に記憶されている。
【0049】
周期化部3−3は、固定符号帳3−2から出力された固定符号ベクトル候補を周期符号で指定される上記所定周期(ビッチ周期に相当)で周期化した時系列ベクトル候補Vfを出力する。この周期化は、指定された周期位置にタップを有する櫛形フィルタをかけるか、適応符号帳3−1と同様にフレームの先頭から指定された周期に相当する長さで切り出したベクトルを繰り返す処理である。このような周期化部3−3は、符号化効率向上の点から用いられることが多い。また、子音区間等、入力音声xそのものにピッチ成分がないかあるいは少ない場合などには、周期化部3−3は何の働きもしない。
【0050】
重み符号生成部3−7は、上記駆動音源符号eに含まれるフレーム単位(10ms単位)の重み符号をさらに5ms毎の2つのサプフレームに分割することにより、正規化ベクトルである上記適応符号帳3−1の周期符号ベクトル候補Vaに対する重み量ga及び周期化部3−3から出力された非周期性の時系列ベクトル候補Vf(正規化ベクトル)に対する重み量gfとをサブフレーム毎に生成出力するものである。この重み符号生成部3−7の詳細については、以下に詳説する。
【0051】
乗算部3−4は、上記適応符号帳3−1から入力された周期符号ベクトル候補Vaと重み符号生成部3−7から入力された重み量gaとを乗算し、ベクトル候補caとして加算部3−6に出力する。乗算部3−5は、周期化部3−3から入力された時系列ベクトル候補Vfと重み符号生成部3−7から入力された重み量gfとを乗算し、ベクトル候補cfとして加算部3−6に出力する。加算部3−6は、上記ベクトル候補caとベクトル候補cfとを加算し、駆動音源ベクトルの侯補cとして合成フィルタ1−5に出力する。
【0052】
図4は、上記重み符号生成部3−7の詳細構成を示す図であり、このうち(a)はブロック図、(b)は重み符号帳4−1の具体的構成例である。図4(a)に示すように、重み符号生成部3−7は、MA予側ベクトル量子化を適用したものであり、重み符号帳4−1とMA予測部4−2とから構成されている。
【0053】
重み符号帳4−1は、上記適応符号帳3−1に登録された規格化ベクトルに対する重み係数gaと固定符号帳3−2に登録された規格化ベクトルに対する重みのMA予測算差xfとを要素とする2次元ベクトル(要素ベクトル)を所定数登録したものである。例えば、各要素ベクトルを6ビットのデータとした場合、重み符号帳4−1は、図4(b)に示すように64個(=26)の要素ベクトルから構成される。
【0054】
重み符号帳4−1は、実際の入力音声xの符号化時においては、上記駆動音源符号e内の重み符号に基づいて要素ベクトルを選択し、この選択された要素ベクトルの重み係数gaを乗算部3−4に出力すると共に、この重み係数gaと組をなすMA予測算差xfをMA予測部4−2に出力する。
【0055】
MA予測部4−2は、MA予測算差xfを1サブフレーム分遅延させる(m−1)段直列接続されたバッファ部4b1,4b2,……4b(m−1)、重み符号帳4−1から出力されたMA予測算差xf及び各バッファ部4b1,4b2,……4b(m−1)の出力にMA予測係数a1,a2,a3,……amを乗算するベクトル乗算部4k1,4k2,4k3,……4km、またこれらベクトル乗算部4k1,4k2,4k3,……4kmの各出力を順次加算するベクトル加算部4a1,4a2,4a3,……から構成されている。
【0056】
このように構成されたMA予測部4−2は、時系列的に連続するm個のMA予測算差xf(n),xf(n−1),xf(n−2),……xf(n−m)とMA予測係数a1,a2,a3,……amとを用いて予測したMA予測残差を算出し、このMA予測残差を固定符号帳3−2に対する重み係数gfをとして乗算部3−5に出力する。
【0057】
このような重み符号帳4−1の各要素ベクトル及びMA予測係数a1,a2,a3,……amは、実際の入力音声xの符号化に先立って行われる学習によって決定される。この学習では、上記再生音声候補yの歪みdが最小となるように重み符号帳4−1の各要素ベクトル及びMA予測係数a1,a2,a3,……amが決定される。なお、この重み符号帳4−1の各要素ベクトル及びMA予測係数a1,a2,a3,……amの設定方法の詳細については、後述する。
【0058】
続いて、図5は、上記符号化器に対応する復号器の機能構成を示すブロック図である。符号受信部5−1は、伝送路または記憶媒体から受信された符号を受信し、線形予測パラメータ符号を線形予測パラメータ復号部5−2に、また駆動音源符号eを駆動音源ベクトル生成部5−3にそれぞれ出力する。線形予測パラメータ復号部5−2は、線形予測パラメータ符号を復号して上記合成フィルタ係数bを再生し、この合成フィルタ係数bを合成フィルタ5−4及び後処理部5−5に出力する。
【0059】
駆動音源ベクトル生成部5−3は、駆動音源符号eに対応する音源ベクトルを生成して合成フィルタ5−4に出力する。なお、この駆動音源ベクトル生成部5−3の構成は、上述した符号化器における駆動音源ベクトル生成部1−4に対応する構成となる。合成フィルタ5−4は、上記駆動音源ベクトルと合成フィルタ係数bに基づいて入力音声xを再生し、再生音声を後処理部5−5に出力する。後処理部5−5は、再生音声雑音を聴覚的に低減させるポストフィルタリングを行い、出力音声として外部に出力する。なお、この後処理部5−5は、処理量の削減等の観点から設けられない場合もある。
【0060】
次に、このように構成された符号化器及び復号器に適用する重み符号帳4−1及びMA予測係数a1,a2,a3,……amの決定方法について説明する。
【0061】
まず、上記符号化器に適用する重み符号帳4−1、並びに符号化器及び復号器に適用するMA予測係数a1,a2,a3,……amを決定する場合、上記距離計算部2−4は、以下のようにして歪みdを算出する。すなわち、人間の音圧知覚に関する聴覚特性を考慮して入力音声xのパワーの関数として与えられる値Wを下式(1)に基づいて算出する。ただし、pは、範囲(0<p<1)内の値であるが、0.3程度が好ましい。
W=(|x|2)p/|x|2 (1)
【0062】
また、上記値Wを係数とする以下の歪み計算式(2)に基づいてサプフレーム毎の歪みdを算出する。ここで、Hは、上記合成フィルタ1−5の特性を示す下三角行列であり、主対角成分として合成フィルタ1−5のインパルス応答の0次成分が、下位の対角成分としてインパルス応答の1次成分,2次成分,……が並ぶものである。また、Tは上記聴覚重みフィルタ2−2,2−3の係数(聴覚重み係数)である。
d=W・T|x−ga・H・Va−gf・H・Vf|2 (2)
【0063】
そして、このように距離計算部2−4が設定された符号化器を用いて、図6に示すフローチャートに沿った処理を実施することにより、重み符号帳4−1及びMA予測係数a1,a2,a3,……amを決定する。以下、図6及び図7に示すフローチャートを参照して、本実施形態における重み符号帳4−1及びMA予測係数a1,a2,a3,……amを決定方法を詳細に説明する。
【0064】
本決定法と従来の決定法(図9参照)との違いは、図6に示すように、MA予測係数a1,a2,a3,……amの初期値を決定(6−1)した後に、重み符号帳4−1の初期符号帳を決定(6−2)する点である。以下の処理(6−1)〜(6−9)は、従来と同様である。
【0065】
本実施形態において、MA予測係数a1,a2,a3,……amの初期値(m次の初期値)は、図7に示すように開ループ処理によって算出される。すなわち、直流成分除去処理(7−1)において、学習用データの平均を求めて学習用データから除算する。AR予測係数計算処理1(7−2)では、学習用データから上記平均を引いたデータを用いて、共分散法によって第1のAR予測係数を求める。インパルス応答生成処理(7−3)においては、上記第1のAR予測係数によって構成されたフィルタに単位インパルスを入力し、十分な長さのインパルス応答を得る。
【0066】
そして、AR予測係数計算処理2(7−4)において、上記インバルス応答を入力とし、自己相関法によってMA予測係数と同一次数を持つ第2のAR予測係数(m次)を求める。MA予測係数計算処理(7−5)においては、上記第2のAR予測係数の逆フィルタを求めることにより、m次のMA予測係数a1,a2,a3,……amの初期値を決定する。このような開ループ処理によって、安定なフィルタ特性を持つMA予測係数a1,a2,a3,……amの初期値が得られる。
【0067】
ここで、上述したように第1のAR予測係数のインパルス応答を目的とするMA予測次数をm次で打ち切れば、MA予測係数の初期値が得られると単純に考えられるかもしれないが、AR予測係数をそのままMA予測で近似するためには非常に高いMA予測次数が必要となり、音響信号の符号化で用いるようなMA予測次数では、打切り誤差によって不安定なフィルタとなる。
【0068】
したがって、本実施形態によれば、開ループ処理によって従来に比較して良好なMA予測係数a1,a2,a3,……amの初期値を決定することができる。従来では、このMA予測係数a1,a2,a3,……amの初期値を経験的に決定する方法が採られていたが、本実施形態では上記開ループ処理によってAR予測の手法とMA予測の手法とを組み合わせることにより、より最適なMA予測係数a1,a2,a3,……amの初期値を決定することができる。
【0069】
MA予測係数a1,a2,a3,……amの初期値が上記のように決定されると、該初期値に基づいて従来と同様にLBGアルゴリズムによって重み符号帳4−1の初期符号帳が決定される。この場合、上述のようにより最適なMA予測係数a1,a2,a3,……amの初期値が既に決定されているので、効率良く当該初期符号帳を決定することができる。
【0070】
そして、このようにしてMA予測係数a1,a2,a3,……amの初期値と重み符号帳4−1の初期符号帳が決定されると、これらに基づく再帰的な学習処理(6−1)〜(6−9)によって、MA予測係数a1,a2,a3,……amと重み符号帳4−1とが最終的に決定される。すなわち、全ての学習用データについて歪み計算式(2)に基づいて算出された歪みdの総和Dが最も小さくなるように、重み符号帳4−1の各要素及びMA予測係数a1,a2,a3,……amが最終的に決定される。
【0071】
このように最終決定された重み符号帳4−1及びMA予測係数a1,a2,a3,……amは、伝送あるいは記憶媒体に記憶する入力信号xを実際に符号化する符号化器及びこの入力信号xを復号して再生する復号器(図1〜図5参照)に適用される。この場合、距離計算部2−4は、従来法と同様の歪み計算式つまり上記歪み計算式(2)においてW=1とした計算式に基づいて、サプフレーム毎の歪みdが最小となるように入力音声xを符号化する。
【0072】
本実施形態に基づく重み符号帳4−1及びMA予測係数a1,a2,a3,……amを適用した符号化器及び復号器をソフトウェアによって例えばコンピュータ上に構成し、主観評価試験によって従来法との比較を行った。この実験の結果、同じピットレートで重み符号帳4−1を設計した場合には、従来法よりも本実施形態の方が評価結果が良く、本発明の有効性が確認された。
【0073】
なお、図8に示すように、図6の処理に若干の修正を加えることにより、LSP量子化器のLSP符号帳の決定に適用することが可能である。上述したようにMA予測係数の初期値を決定(8−1)した後にLSP符号帳の初期符号帳を決定(8−1)して学習用データを符号化すると(8−3)、以下の処理(8−4)〜(8−10)を繰り返す。
【0074】
すなわち、処理(8−4)ではLSP符号帳の1段目を更新する処理を行い、処理(8−5)では学習用データを符号化し、処理(8−6)ではLSP符号帳の1段目を更新し、処理(8−7)ではMA予測係数の更新を行い、処理(8−8)では学習用データを符号化し、さらに処理(8−9)では歪みD(歪みdの総和)を算出する処理を繰り返すことにより、LSP符号帳を決定することができる。
【0075】
【発明の効果】
以上説明したように、本発明に係わる重み符号帳の作成方法及び符号帳設計時における学習時のMA予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体によれば、以下のような効果を奏する。
【0076】
(1)入力音響信号を、その短期間の周波数スペクトルの包絡特性の予測結果を示す短期予測信号とその予測残差を示す駆動音源信号とに分離し、該駆動音源信号に基づいて正規化ベクトルを選択すると共に該正規化ベクトルの大きさを規定する重み量を該重み量を各要素とする重み符号帳から選択して駆動音源ベクトル候補を生成し、該駆動音源ベクトル候補と前記短期予測信号とに基づいて生成された再生音声候補の入力音響信号に対する歪みが所定の距離尺度の下で最小となるように前記駆動音源信号を生成し、このようにして生成された駆動音源信号と前記短期予測信号とを符号化する符号化方法における前記重み符号帳の作成方法において、人間の音圧知覚特性を加味した距離尺度を用いて前記重み符号帳の各要素を設定するので、重み符号帳は、従来に比較して音圧レベルの比較的低い部分に対応する要素が多くなる。したがって、このようにして作成された重み符号帳を用いて音響信号を符号化した場合、復号された音響信号の音圧レベルの比較的低い部における音質劣化を抑えることができる。
【0077】
(2)MA予測ベクトル量子化におけるMA予測係数の初期値の設定方法であって、複数の学習用データから算出されたAR予測係数をMA予測の手法を用いて近似することによりMA予測係数の初期値を算出するので、従来のMA予測係数の初期値の設定方法に比較してより的確なMA予測係数の初期値を得ることができる。このようなMA予測係数の初期値を用いることにより、MA予測ベクトル量子化に用いる重み符号帳及びMA予測係数をより最適なものに設定することができる。
【0078】
(3)本願発明に基づいてMA予測係数の初期値を用いて、LBGアルゴリズムに基づいてMA予測ベクトル量子化における重み符号帳の初期符号帳を作成し、再帰的な学習によって各学習用データについて算出される再生信号の歪みの総和が最小となるように重み符号帳の各要素及びMA予測係数を順次更新して最終的に重み符号帳の各要素及びMA予測係数を決定することにより、重み符号帳及びMA予測係数をより最適なものに設定することができる。したがって、入力音響信号を低いビット数で符号化した場合でも高品質な再生音響信号を得ることが可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態に係わる符号化器の機能構成を示すブロック図である。
【図2】本発明の一実施形態に係わる符号化器における歪み計算部の機能構成を示すブロック図である。
【図3】本発明の一実施形態に係わる符号化器における駆動音源ベクトル生成部の機能構成を示すブロック図である。
【図4】本発明の一実施形態に係わる符号化器における重み符号生成部の機能構成を示すブロック図及び重み符号帳の構成例である。
【図5】本発明の一実施形態に係わる復号器の機能構成を示すブロック図である。
【図6】本発明の一実施形態に係わる重み符号帳の各要素及びMA予測係数の決定方法を示すフローチャートである。
【図7】本発明の一実施形態に係わるMA予測係数の初期値の決定方法を示すフローチャートである。
【図8】本発明に基づくLSP量子化器のLSP符号帳の決定方法を示すフローチャートである。
【図9】従来の符号帳の各要素及びMA予測係数の決定方法を示すフローチャートである。
【符号の説明】
1−1……線形予測分析部
1−2……線形予測パラメータ符号化部
1−3……線形予測バラメータ復号部
1−4……駆動音源ベクトル生成部
1−5……合成フィルタ
1−6……歪み計算部
1−8……符号帳検索制御部
1−9……符号送出部
2−2,2−3……聴覚重みフィルタ
2−4……距離計算部
3−1……適応符号帳
3−2……固定符号帳
3−3……周期化部
3−4,3−5……乗算部
3−6……加算部
3−7……重み符号生成部
4−1……重み符号帳
4−2……MA予測部
4b1,4b2,……4b(m−1)……バッファ部
4k1,4k2,4k3,……4km……ベクトル乗算部
4a1,4a2,4a3,……ベクトル加算部
5−1……符号受信部
5−2……線形予測パラメータ復号部
5−3……駆動音源ベクトル生成部
5−4……合成フィルタ
5−5……後処理部
Claims (12)
- 入力音響信号を、その短期間の周波数スペクトルの包絡特性の予測結果を示す短期予測信号とその予測残差を示す駆動音源信号とに分離し、該駆動音源信号に基づいて正規化ベクトルを選択すると共に該正規化ベクトルの大きさを規定する重み量を該重み量を各要素とする重み符号帳から選択して駆動音源ベクトル候補を生成し、該駆動音源ベクトル候補と前記短期予測信号とに基づいて生成された再生音声候補の入力音響信号に対する歪みが所定の距離尺度の下で最小となるように前記駆動音源信号を生成し、このようにして生成された駆動音源信号と前記短期予測信号とを符号化する符号化方法における前記重み符号帳の作成方法において、
人間の音圧知覚特性を入力音響信号のパワーの関数をして加味した距離尺度を用いて前記重み符号帳の各要素を設定し、
前記関数は、入力音響信号をxとした場合に範囲(0<p<1)内の値pに基づく(|x| 2 ) p /|x| 2 によって与えられる
ことを特徴とする重み符号帳の作成方法。 - MA予測ベクトル量子化におけるMA予測係数の初期値の設定方法であって、
複数の学習用データの平均値を算出する行程と、
各学習用データから前記平均値を差し引いたものを用いて共分散法に基づいて第1のAR予測係数を算出する行程と、
第1のAR予測係数をフィルタ係数とするフィルタのインパルス応答を求める行程と、
前記インパルス応答を入力とし、自己相関法に基づいてMA予測係数と同次数の第2のAR予測係数を算出する行程と、
第2のAR予測係数をフィルタ係数とするフィルタの逆フィルタを求めることによりMA予測係数の初期値を算出する行程と、
を有することを特徴とするMA予測係数の初期値の設定方法。 - 請求項2記載のMA予測係数の初期値の設定方法を用いたMA予測ベクトル量子化用の重み符号帳の作成方法であって、
MA予測係数の初期値を算出すると、LBGアルゴリズムに基づいて重み符号帳の初期符号帳を作成する行程と、
前記MA予測係数の初期値と初期符号帳を備えたMA予測ベクトル量子化において、再帰的な学習によって各学習用データについて算出される再生信号の歪みの総和が最小となるように重み符号帳の各要素及びMA予測係数を順次更新して最終的に各要素を決定する行程と、
を有することを特徴とする重み符号帳の作成方法。 - 請求項3記載の重み符号帳の作成方法において、再生信号の歪みを人間の音圧知覚特性を加味した距離尺度を用いて算出することを特徴とする重み符号帳の作成方法。
- 請求項3記載の重み符号帳の作成方法において、再生信号の歪みを入力音響信号のパワーの関数を加味した距離尺度を用いて算出することを特徴とする重み符号帳の作成方法。
- 請求項3記載の重み符号帳の作成方法において、再生信号の歪みを範囲(0<p<1)内の値pに基づく下式(1)に示す入力音響信号xのパワーの関数Wを加味した距離尺度を用いて算出することを特徴とする重み符号帳の作成方法。
W=(|x| 2 ) p /|x| 2 (1) - 入力音響信号を、その短期間の周波数スペクトルの包絡特性の予測結果を示す短期予測信号とその予測残差を示す駆動音源信号とに分離し、該駆動音源信号に基づいて正規化ベクトルを選択すると共に該正規化ベクトルの大きさを規定する重み量を該重み量を各要素とする重み符号帳から選択して駆動音源ベクトル候補を生成し、該駆動音源ベクトル候補と前記短期予測信号とに基づいて生成された再生音声候補の入力音響信 号に対する歪みが所定の距離尺度の下で最小となるように前記駆動音源信号を生成し、このようにして生成された駆動音源信号と前記短期予測信号とを符号化する音響信号の符号化方法において、
人間の音圧知覚特性を入力音響信号のパワーの関数をして加味した距離尺度を用いて前記重み符号帳の各要素を設定し、
かつ、前記関数を、入力音響信号をxとした場合に範囲(0<p<1)内の値pに基づく(|x| 2 ) p /|x| 2 によって与える
ことを特徴とする音響信号の符号化方法。 - 請求項7記載の音響信号の符号化方法において、MA予測ベクトル量子化を用いて駆動音源信号から駆動音源ベクトル候補を生成する場合、請求項7記載のMA予測ベクトル量子化用の重み符号帳の作成方法によって得られた重み符号帳及びMA予測係数を用いることを特徴とする音響信号の符号化方法。
- 請求項7記載の音響信号の符号化方法によって生成された符号を復号する音響信号の復号方法であって、これらの音響信号の符号化方法に用いられる重み符号帳を用いて前記符号を復号することを特徴とする音響信号の復号方法。
- 請求項8記載の音響信号の符号化方法によって生成された符号を復号する音響信号の復号方法であって、この音響信号の符号化方法に用いられる重み符号帳及びMA予測係数を用いて前記符号を復号することを特徴とする音響信号の復号方法。
- 請求項7記載の音響信号の符号化方法に従った処理の符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体。
- 請求項9あるいは10記載の音響信号の復号方法に従った処理の復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03919599A JP3578933B2 (ja) | 1999-02-17 | 1999-02-17 | 重み符号帳の作成方法及び符号帳設計時における学習時のma予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03919599A JP3578933B2 (ja) | 1999-02-17 | 1999-02-17 | 重み符号帳の作成方法及び符号帳設計時における学習時のma予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000242299A JP2000242299A (ja) | 2000-09-08 |
JP3578933B2 true JP3578933B2 (ja) | 2004-10-20 |
Family
ID=12546351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03919599A Expired - Fee Related JP3578933B2 (ja) | 1999-02-17 | 1999-02-17 | 重み符号帳の作成方法及び符号帳設計時における学習時のma予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3578933B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2415105A1 (en) * | 2002-12-24 | 2004-06-24 | Voiceage Corporation | A method and device for robust predictive vector quantization of linear prediction parameters in variable bit rate speech coding |
CN103534752B (zh) * | 2011-02-16 | 2015-07-29 | 杜比实验室特许公司 | 用于产生滤波器系数并配置滤波器的方法和系统 |
US11817111B2 (en) * | 2018-04-11 | 2023-11-14 | Dolby Laboratories Licensing Corporation | Perceptually-based loss functions for audio encoding and decoding based on machine learning |
-
1999
- 1999-02-17 JP JP03919599A patent/JP3578933B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000242299A (ja) | 2000-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6427135B1 (en) | Method for encoding speech wherein pitch periods are changed based upon input speech signal | |
JP4916521B2 (ja) | 音声復号化方法及び音声符号化方法及び音声復号化装置及び音声符号化装置 | |
TW497335B (en) | Method and apparatus for variable rate coding of speech | |
RU2646357C2 (ru) | Принцип для кодирования аудиосигнала и декодирования аудиосигнала с использованием информации формирования речевого спектра | |
JP3180762B2 (ja) | 音声符号化装置及び音声復号化装置 | |
JPH09127991A (ja) | 音声符号化方法及び装置、音声復号化方法及び装置 | |
RU2644123C2 (ru) | Принцип для кодирования аудиосигнала и декодирования аудиосигнала с использованием детерминированной и шумоподобной информации | |
JP3746067B2 (ja) | 音声復号化方法及び音声復号化装置 | |
JP3582589B2 (ja) | 音声符号化装置及び音声復号化装置 | |
JP3578933B2 (ja) | 重み符号帳の作成方法及び符号帳設計時における学習時のma予測係数の初期値の設定方法並びに音響信号の符号化方法及びその復号方法並びに符号化プログラムが記憶されたコンピュータに読み取り可能な記憶媒体及び復号プログラムが記憶されたコンピュータに読み取り可能な記憶媒体 | |
JPH10143199A (ja) | 音声符号化方法および復号化方法 | |
JP4438280B2 (ja) | トランスコーダ及び符号変換方法 | |
JP3583945B2 (ja) | 音声符号化方法 | |
JP3153075B2 (ja) | 音声符号化装置 | |
JP3232701B2 (ja) | 音声符号化方法 | |
JP4820954B2 (ja) | デジタル音声符号器における高調波ノイズ重み付け | |
JP3552201B2 (ja) | 音声符号化方法および装置 | |
JP3192051B2 (ja) | 音声符号化装置 | |
JP3576805B2 (ja) | 音声符号化方法及びシステム並びに音声復号化方法及びシステム | |
JP3332132B2 (ja) | 音声符号化方法および装置 | |
JP3736801B2 (ja) | 音声復号化方法及び音声復号化装置 | |
JPH0455899A (ja) | 音声信号符号化方式 | |
JPH07160295A (ja) | 音声符号化装置 | |
GB2352949A (en) | Speech coder for communications unit | |
JPH11184499A (ja) | 音声符号化方法および音声符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040714 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |