JP5190359B2 - 符号化装置及び符号化方法 - Google Patents

符号化装置及び符号化方法 Download PDF

Info

Publication number
JP5190359B2
JP5190359B2 JP2008514507A JP2008514507A JP5190359B2 JP 5190359 B2 JP5190359 B2 JP 5190359B2 JP 2008514507 A JP2008514507 A JP 2008514507A JP 2008514507 A JP2008514507 A JP 2008514507A JP 5190359 B2 JP5190359 B2 JP 5190359B2
Authority
JP
Japan
Prior art keywords
encoding
signal
frequency
input signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008514507A
Other languages
English (en)
Other versions
JPWO2007129728A1 (ja
Inventor
智史 山梨
薫 佐藤
利幸 森井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008514507A priority Critical patent/JP5190359B2/ja
Publication of JPWO2007129728A1 publication Critical patent/JPWO2007129728A1/ja
Application granted granted Critical
Publication of JP5190359B2 publication Critical patent/JP5190359B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Description

本発明は、信号を符号化して伝送する通信システムに用いられる符号化装置及び符号化方法に関する。
インターネット通信に代表されるパケット通信システムや、移動通信システムなどで音声・楽音信号を伝送する場合、音声・楽音信号の伝送効率を高めるため、圧縮・符号化技術がよく使われる。また、近年では、単に低ビットレートで音声・楽音信号を符号化するという一方で、より広帯域の音声・楽音信号を符号化する技術に対するニーズが高まっている。
このようなニーズに対して、符号化後の情報量を大幅に増加させることなく広帯域の音声・楽音信号を符号化する様々な技術が開発されてきている。例えば、特許文献1には、一定時間分の入力音響信号を変換して得られるスペクトルデータのうち、周波数の高域部の特徴を補助情報として生成し、これを低域部の符号化情報とあわせて出力する技術が開示されている。具体的には、周波数の高域部のスペクトルデータを複数のグループに分け、各グループにおいて、当該グループのスペクトルと最も近似する低域部のスペクトルを特定する情報を前述した補助情報としている。
また、特許文献2には、高域信号を複数のサブバンドに分割し、このサブバンドごとに、サブバンド内の信号と低域信号との類似度を判定し、その判定結果に応じて、補助情報の構成(サブバンド内の振幅パラメータ、類似する低域信号の位置パラメータ、高域・低域間の残差信号パラメータ)を変更する技術が開示されている。
特開2003−140692号公報 特開2004−004530号公報
しかしながら、上記特許文献1及び特許文献2に開示の技術では、高域信号(高域部のスペクトルデータ)を生成するために、高域部と近似する、あるいは類似する低域信号の判定を行っているが、それは高域信号の各サブバンド(グループ)に対して行われるため、計算の処理量が非常に多くなってしまう。また、各バンドに対して上記の処理を行うため、計算量と同様に、補助情報を符号化するために必要となる情報量についても多くなってしまう。
また、上記特許文献1及び特許文献2に開示の技術では、入力信号の低域部のスペクトルデータと同じく入力信号の高域部のスペクトルデータに対して類似度判定が行われており、低域部のスペクトルデータが量子化によって歪んだ場合は考慮されてはいないため、低域部のスペクトルデータが量子化で歪んだ場合は音質が極端に劣化する可能性がある。
本発明の目的は、広帯域信号の低域部のスペクトルデータに基づいて、高域部のスペクトルデータを符号化する際、極めて少ない情報量及び処理演算量による符号化を実現し、さらに低域部のスペクトルデータに大きな量子化歪みが生じた場合でも、品質の良い復号化信号を得る符号化装置及び符号化方法を提供することである。
本発明の符号化装置は、入力信号を符号化し、第1符号化情報を生成する第1符号化手段と、前記第1符号化情報を復号化し、復号化信号を生成する復号化手段と、前記入力信号及び前記復号化信号を直交変換し、それぞれの信号について直交変換係数を生成する直交変換手段と、前記入力信号の直交変換係数と前記復号化信号の直交変換係数との差分に基づいて、前記復号化信号の低域部分のうち、前記入力信号の高域部分の一部に最も近似する部分を探索し、前記最も近似する部分に関する第2符号化情報を生成する第2符号化手段と、前記第1符号化情報と前記第2符号化情報とを統合する統合手段と、を具備する。
本発明の符号化方法は、入力信号を符号化し、第1符号化情報を生成する第1符号化工程と、前記第1符号化情報を復号化し、復号化信号を生成する復号化工程と、前記入力信号及び前記復号化信号を直交変換し、それぞれの信号について直交変換係数を生成する直交変換工程と、前記入力信号の直交変換係数と前記復号化信号の直交変換係数との差分に基づいて、前記復号化信号の低域部分のうち、前記入力信号の高域部分の一部に最も近似する部分を探索し、前記最も近似する部分に関する第2符号化情報を生成する第2符号化工程と、前記第1符号化情報と前記第2符号化情報とを統合する統合工程と、を含む。
本発明によれば、広帯域信号の低域部のスペクトルデータに基づいて、高域部のスペクトルデータを符号化する際、極めて少ない情報量及び処理演算量による符号化を実現し、さらに低域部のスペクトルデータに大きな量子化歪みが生じた場合でも、品質の良い復号化信号を得ることができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る符号化装置及び復号化装置を有する通信システムの構成を示すブロック図である。図1において、通信システムは、符号化装置と復号化装置とを備え、それぞれ伝送路を介して通信可能な状態となっている。なお、伝送路は無線でも有線でも良く、無線と有線が混在していても良い。
符号化装置101は、入力信号をNサンプルずつ区切り(Nは自然数)、Nサンプルを1フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をx(n=0、・・・、N−1)と表すこととする。nは、Nサンプルずつ区切られた入力信号のうち、信号要素のn+1番目であることを示す。符号化された入力情報(符号化情報)は伝送路102を介して復号化装置103に符号化情報を送信する。
復号化装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信し、これを復号化し出力信号を得る。
図2は、図1に示した符号化装置101の内部構成を示すブロック図である。入力信号のサンプリング周波数をSRinputとすると、ダウンサンプリング処理部201は、入力信号のサンプリング周波数をSRinputからSRbaseまでダウンサンプリングし(SRbase<SRinput)、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、低域符号化部202に出力する。
低域符号化部202は、ダウンサンプリング処理部201から出力されたダウンサンプリング後入力信号に対して、CELPタイプの音声符号化方法を用いて符号化を行って低域成分情報源符号を生成し、生成した低域成分情報源符号を低域復号化部203及び符号化情報統合部207に出力する。なお、低域符号化部202の詳細については後述する。
低域復号化部203は、低域符号化部202から出力された低域成分情報源符号に対して、CELPタイプの音声復号化方法を用いて復号化を行って低域成分復号化信号を生成し、生成した低域成分復号化信号をアップサンプリング処理部204に出力する。なお、低域復号化部203の詳細については後述する。
アップサンプリング処理部204は、低域復号化部203から出力された低域成分復号化信号のサンプリング周波数をSRbaseからSRinputまでアップサンプリングし、アップサンプリングした低域成分復号化信号をアップサンプリング後低域成分復号化信号として、直交変換処理部205に出力する。
直交変換処理部205は、前述した信号要素に対応してバッファbuf1n、及びbuf2n(n=0、…、N−1)を内部に有し、式(1)及び式(2)によりそれぞれ0を初期値として初期化する。
Figure 0005190359
Figure 0005190359
次に、直交変換処理部205における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。
直交変換処理部205は、入力信号xn、及び、アップサンプリング処理部204から出力されたアップサンプリング後低域成分復号化信号ynを修正離散コサイン変換(MDCT:Modified Discrete Cosine Transform)し、式(3)及び式(4)により入力信号のMDCT係数Xk、及び、アップサンプリング後低域成分復号化信号ynのMDCT係数Ykを求める。
Figure 0005190359
Figure 0005190359
ここで、kは1フレームにおける各サンプルのインデックスを示す。直交変換処理部205は、入力信号xnとバッファbuf1nとを結合させたベクトルであるxn’を以下の式(5)により求める。また、直交変換処理部205は、アップサンプリング後低域成分復号化信号ynとバッファbuf2nとを結合させたベクトルであるyn’を以下の式(6)により求める。
Figure 0005190359
Figure 0005190359
次に、直交変換処理部205は、式(7)及び式(8)によりバッファbuf1n及びbuf2nを更新する。
Figure 0005190359
Figure 0005190359
そして、直交変換処理部205は、入力信号のMDCT係数Xk及びアップサンプリング後低域成分復号化信号のMDCT係数Ykを高域符号化部206に出力する。
高域符号化部206は、直交変換処理部205から出力された入力信号のMDCT係数Xk及びアップサンプリング後低域成分復号化信号のMDCT係数Ykの値から高域成分情報源符号を生成し、生成した高域成分情報源符号を符号化情報統合部207に出力する。なお、高域符号化部206の詳細については後述する。
符号化情報統合部207は、低域符号化部202から出力された低域成分情報源符号と、高域符号化部206から出力された高域成分情報源符号とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
次に、図2に示した低域符号化部202の内部構成について図3を用いて説明する。ここでは、低域符号化部202において、CELPタイプの音声符号化を行う場合について説明する。
前処理部301は、入力信号に対し、DC成分を取り除くハイパスフィルタ処理、後続
する符号化処理の性能改善を図る波形整形処理又はプリエンファシス処理を行い、これらの処理を施した信号(Xin)をLPC分析部302及び加算部305に出力する。
LPC分析部302は、前処理部301から出力されたXinを用いて線形予測分析を行い、分析結果(線形予測係数)をLPC量子化部303に出力する。
LPC量子化部303は、LPC分析部302から出力された線形予測係数(LPC)の量子化処理を行い、量子化LPCを合成フィルタ304に出力すると共に、量子化LPCを表す符号(L)を多重化部314に出力する。
合成フィルタ304は、LPC量子化部303から出力された量子化LPCに基づくフィルタ係数により、後述する加算部311から出力される駆動音源に対してフィルタ合成を行って合成信号を生成し、合成信号を加算部305に出力する。
加算部305は、合成フィルタ304から出力された合成信号の極性を反転させて、極性を反転させた合成信号を前処理部301から出力されたXinに加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部312に出力する。
適応音源符号帳306は、過去に加算部311によって出力された駆動音源をバッファに記憶しており、後述するパラメータ決定部313から出力された信号により特定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして切り出して、乗算部309に出力する。
量子化利得生成部307は、パラメータ決定部313から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部309及び乗算部310に出力する。
固定音源符号帳308は、パラメータ決定部313から出力された信号によって特定される形状を有するパルス音源ベクトルを固定音源ベクトルとして乗算部310に出力する。なお、パルス音源ベクトルに拡散ベクトルを乗算して得られたものを固定音源ベクトルとして乗算部310に出力しても良い。
乗算部309は、量子化利得生成部307から出力された量子化適応音源利得を、適応音源符号帳306から出力された適応音源ベクトルに乗じて、加算部311に出力する。また、乗算部310は、量子化利得生成部307から出力された量子化固定音源利得を、固定音源符号帳308から出力された固定音源ベクトルに乗じて、加算部311に出力する。
加算部311は、乗算部309から出力された利得乗算後の適応音源ベクトルと、乗算部310から出力された利得乗算後の固定音源ベクトルとをベクトル加算し、加算結果である駆動音源を合成フィルタ304及び適応音源符号帳306に出力する。なお、適応音源符号帳306に出力された駆動音源は、適応音源符号帳306のバッファに記憶される。
聴覚重み付け部312は、加算部305から出力された誤差信号に対して聴覚的な重み付けを行って符号化歪みとしてパラメータ決定部313に出力する。
パラメータ決定部313は、聴覚重み付け部312から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトル及び量子化利得を、適応音源符号帳306、固定音源符号帳308及び量子化利得生成部307からそれぞれ選択し、選択結果を示す適
応音源ベクトル符号(A)、固定音源ベクトル符号(F)及び量子化利得符号(G)を多重化部314に出力する。
多重化部314は、LPC量子化部303から出力された量子化LPCを表す符号(L)、パラメータ決定部313から出力された適応音源ベクトル符号(A)、固定音源ベクトル符号(F)及び量子化利得符号(G)を多重化して低域成分情報源符号として、低域復号化部203及び符号化情報統合部207に出力する。
次に、図2に示した低域復号化部203の内部構成について図4を用いて説明する。ここでは、低域復号化部203において、CELPタイプの音声復号化を行う場合について説明する。
多重化分離部401は、低域符号化部202から出力された低域成分情報源符号を個々の符号(L)、(A)、(G)、(F)に分離する。分離されたLPC符号(L)はLPC復号化部402に出力され、分離された適応音源ベクトル符号(A)は適応音源符号帳403に出力され、分離された量子化利得符号(G)は量子化利得生成部404に出力され、分離された固定音源ベクトル符号(F)は固定音源符号帳405に出力される。
LPC復号化部402は、多重化分離部401から出力された符号(L)から量子化LPCを復号化し、復号化した量子化LPCを合成フィルタ409に出力する。
適応音源符号帳403は、多重化分離部401から出力された適応音源ベクトル符号(A)で指定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部406に出力する。
量子化利得生成部404は、多重化分離部401から出力された量子化利得符号(G)で指定される量子化適応音源利得と量子化固定音源利得とを復号化し、量子化適応音源利得を乗算部406に出力し、量子化固定音源利得を乗算部407に出力する。
固定音源符号帳405は、多重化分離部401から出力された固定音源ベクトル符号(F)で指定される固定音源ベクトルを生成し、乗算部407に出力する。
乗算部406は、適応音源符号帳403から出力された適応音源ベクトルに量子化利得生成部404から出力された量子化適応音源利得を乗算して、加算部408に出力する。また、乗算部407は、固定音源符号帳405から出力された固定音源ベクトルに量子化利得生成部404から出力された量子化固定音源利得を乗算して、加算部408に出力する。
加算部408は、乗算部406から出力された利得乗算後の適応音源ベクトルと、乗算部407から出力された利得乗算後の固定音源ベクトルとを加算して駆動音源を生成し、駆動音源を合成フィルタ409及び適応音源符号帳403に出力する。
合成フィルタ409は、LPC復号化部402によって復号化されたフィルタ係数を用いて、加算部408から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部410に出力する。
後処理部410は、合成フィルタ409から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、低域成分復号化信号としてアップサンプリング処理部204に出力する。
次に、図2に示した高域符号化部206の内部構成について図5を用いて説明する。近似部分探索部501は、直交変換処理部205から出力されたアップサンプリング後の低域成分復号化信号のMDCT係数Ykと、直交変換処理部205から出力された入力信号のMDCT係数Xkの先頭からMサンプルの部分との誤差Dが最小となる時の探索結果位置tMIN(t=tMIN)、及びその時のゲインβを算出する。なお、誤差D及びゲインβは、それぞれ式(9)、式(10)のように求められる。
Figure 0005190359
Figure 0005190359
ここで、近似部分探索部501における近似部分探索の様子を概念的に図6A及び図6Bに示す。図6Aは、入力信号スペクトルを示し、入力信号の高域部(3.5kHz〜7.0kHz)のうち先頭部分を枠で囲っている。図6Bは、図6Aに示した枠内のスペクトルと近似するスペクトルを復号化信号の低域部先頭から順次探索する様子を示している。
近似部分探索部501は、入力信号のMDCT係数Xk、アップサンプリング後低域成分復号化信号のMDCT係数Yk、算出した探索結果位置tMIN及びゲインβを振幅比調整部502に出力する。
振幅比調整部502は、アップサンプリング後低域成分復号化信号のMDCT係数Ykに対して、式(11)のように探索結果位置tMINからSRbase/SRinput×(N−1)までの部分(Xkが途中でゼロになっている場合はゼロになる前までの部分)を切り出し、これにゲインβを掛けた値を複製元スペクトルデータZ1kとする。
Figure 0005190359
次に、振幅比調整部502は、複製元スペクトルデータZ1kから一時スペクトルデータZ2kを生成する。具体的には、振幅比調整部502は、高域成分のスペクトルデータの長さ((1−SRbase/SRinput)×N)を複製元スペクトルデータZ1kの長さ(SRbase/SRinput×N−1−tMIN)で割り、その商の回数分だけ、複製元スペクトルデータZ1kを連続するように一時スペクトルデータZ2kのk=SRbase/SRinput×N−1の部分から繰り返しコピーした後、高域成分のスペクトルデータの長さ((1−SRbase/SRinput)×N)を複製元スペクトルデータZ1kの長さ(SRbase/SRinput×N−1−tMIN)で割った余りのサンプル数分だけ複製元スペクトルデータZ1kの先頭から、一時スペクトルデータZ2kの最後尾の部分にコピーする。
また、振幅比調整部502は、Xkが途中でゼロになっている場合には、前述した高域成分のスペクトルデータの長さ((1−SRbase/SRinput)×N)にXkがゼロである部分の長さを加え、Xkが途中でゼロになっている部分から一時スペクトルデータZ2kに対して複製元スペクトルデータZ1kをコピーし始めるものとする。
次に、振幅比調整部502は、一時スペクトルデータZ2kの振幅比を調整する。具体的には、まず、入力信号のMDCT係数Xk及び一時スペクトルデータZ2kの高域部分(k=SRbase/SRinput×N、…、N−1)を複数のバンドに分割する。
なお、ここでは、前述した処理において、一時スペクトルデータZ2kがk=SRbase/SRinput×Nの部分からコピーされた場合について説明する。振幅比調整部502は、入力信号のMDCT係数Xk及び一時スペクトルデータZ2kの高域部分に対して、式(12)のようにしてバンド毎の振幅比αを算出する。なお、式(12)において、NUM_BANDはバンド数を表し、band_index(j)はバンドjを構成するインデックスのうち、最小のサンプルインデックスを表すものとする。
Figure 0005190359
図7に、振幅比調整部502における処理の様子を概念的に示す。図7では、図6(b)における低域部から探索された近似部分に基づいて、高域部のスペクトルを生成する様子を示している(NUM_BAND=5の場合)。
振幅比調整部502は、式(12)により得られたバンド毎の振幅比α、探索結果位置tMIN、ゲインβを量子化部503に出力する。
量子化部503は、予め備えられたコードブックを用いて、振幅比調整部502から出力されたバンド毎の振幅比α、探索結果位置tMIN、ゲインβの量子化を行い、得られた各コードブックのインデックスを高域成分情報源符号として、符号化情報統合部207に出力する。
なお、ここでは、バンド毎の振幅比α、探索結果位置tMIN、ゲインβをそれぞれ別に量子化するものとし、選択されたコードブックのインデックスをそれぞれ、code_A、code_T、code_Bとする。また、量子化方法は、コードブックの中から量子化対象との距離(二乗誤差)が最も小さいコードベクトル(あるいはコード)を選択するという量子化方法とするが、この量子化方法については既知であるため、詳細な説明は省略する。
図8は、図1に示した復号化装置103の内部構成を示すブロック図である。符号化情報分離部601は、入力された符号化情報の中から低域成分情報源符号と高域成分情報源符号とを分離し、分離した低域成分情報源符号を低域復号化部602に出力し、分離した高域成分情報源符号を高域復号化部605に出力する。
低域復号化部602には、符号化情報分離部601から出力された低域成分情報源符号に対して、CELPタイプの音声復号化方法を用いて復号化を行って低域成分復号化信号
を生成し、生成した低域成分復号化信号をアップサンプリング処理部603に出力する。なお、低域復号化部602の構成については、前述した低域復号化部203と同じであるため、その詳細な説明は省略する。
アップサンプリング処理部603は、低域復号化部602から出力された低域成分復号化信号のサンプリング周波数をSRbaseからSRinputまでアップサンプリングし、アップサンプリングした低域成分復号化信号をアップサンプリング後低域成分復号化信号として、直交変換処理部604に出力する。
直交変換処理部604は、アップサンプリング処理部603から出力されたアップサンプリング後低域成分復号化信号に対して直交変換処理(MDCT)を施し、アップサンプリング後低域成分復号化信号のMDCT係数Y’kを算出し、このMDCT係数Y’kを高域復号化部605に出力する。直交変換処理部604の構成については、前述した直交変換処理部205と同じであるため、その詳細な説明は省略する。
高域復号化部605は、直交変換処理部604から出力されたアップサンプリング後低域成分復号化信号のMDCT係数Y’kと、符号化情報分離部601から出力された高域成分情報源符号とから高域成分を含む信号を生成し、これを出力信号とする。
次に、図8に示した高域復号化部605の内部構成について図9を用いて説明する。逆量子化部701は、予め備えられたコードブックに対して、符号化情報分離部601から出力された高域成分情報源符号(code_A、code_T、code_B)の逆量子化を行い、得られたバンド毎の振幅比α、探索結果位置tMIN、ゲインβを近似部分生成部702に出力する。具体的には、各コードブックから、高域成分情報源符号(code_A、code_T、code_B)で示されるベクトル及び値をそれぞれバンド毎の振幅比α、探索結果位置tMIN、ゲインβとし、近似部分生成部702に出力する。なお、ここでは、量子化部503と同じく、バンド毎の振幅比α、探索結果位置tMIN、ゲインβをそれぞれ別のコードブックを用いて逆量子化するものとする。
近似部分生成部702は、直交変換処理部604から出力されたアップサンプリング後の低域成分のMDCT係数Y’kと、逆量子化部701から出力された探索位置結果tMIN、及びゲインβとから、MDCT係数Y’の高域部分(k=SRbase/SRinput×N、…、N−1)を生成する。具体的には、まず、式(13)により、複製元スペクトルデータZ1’kを生成する。
Figure 0005190359
また、Y’kが途中でゼロになっている場合には、複製元スペクトルデータZ1’kは式(13)においてkがtMINからY’kがゼロになる前までの部分とする。
次に、近似部分生成部702は、式(13)により算出した複製元スペクトルデータZ1’kから一時スペクトルデータZ2’kを生成する。具体的には、近似部分生成部702は、高域成分のスペクトルデータの長さ((1−SRbase/SRinput)×N)を複製元スペクトルデータZ1’kの長さ(SRbase/SRinput×N−1−tMIN)で割り、その商の回数分だけ複製元スペクトルデータZ1’kを連続するように一時スペクトルデータZ2’kのk=SRbase/SRinput×N−1の部分から繰り返しコピーした後、高域成分のスペクトルデータの長さ((1−SRbase/SRinput)×N)を複製元スペクトルデータZ1’kの長さ(SRbase/SRin
put×N−1−tMIN)で割った余りのサンプル数分だけ複製元スペクトルデータZ1’kの先頭から、一時スペクトルデータZ2’kの最後尾の部分にコピーする。
また、近似部分生成部702は、Y’kが途中でゼロになっている場合には、前述した高域成分のスペクトルデータの長さ((1−SRbase/SRinput)×N)にY’kがゼロである部分の長さを加え、Y’kが途中でゼロになっている部分から一時スペクトルデータZ2’kに対して複製元スペクトルデータZ1’kをコピーし始めるものとする。
次に、近似部分生成部702は、式(14)のようにして一時スペクトルデータZ2’kの低域部分にY’kの低域部分の値をコピーする。なお、ここでは、前述した処理において、一時スペクトルデータZ2’kがk=SRbase/SRinput×Nの部分からコピーされた場合について説明する。
Figure 0005190359
近似部分生成部702は、算出した一時スペクトルデータZ2’kとバンド毎の振幅比αを振幅比調整部703に出力する。
振幅比調整部703は、近似部分生成部702から出力された一時スペクトルデータZ2’kとバンド毎の振幅比αとから、式(15)のようにして一時スペクトルデータZ3’kを算出する。ここで、式(15)中のαは各バンドの振幅比であり、band_index(j)はバンドjを構成するインデックスのうち、最小のサンプルインデックスを表す。
Figure 0005190359
振幅比調整部703は、式(15)により算出された一時スペクトルデータZ3’kを直交変換処理部704に出力する。
直交変換処理部704は、バッファbuf’kを内部に有し、式(16)により初期化される。
Figure 0005190359
直交変換処理部704は、振幅比調整部703から出力された一時スペクトルデータZ3’kを用いて、式(17)により復号化信号Y”を求める。
Figure 0005190359
ここで、Z3”kは、一時スペクトルデータZ3’kとバッファbuf’kとを結合させたベクトルであり、式(18)により求める。
Figure 0005190359
次に、直交変換処理部704は、式(19)によりバッファbuf’kを更新する。
Figure 0005190359
直交変換処理部704は、復号化信号Y”を出力信号として得る。
このように実施の形態1によれば、符号化対象となる信号の高域部のスペクトルデータを該信号の低域部のスペクトルデータに基づいて生成する際、高域部のスペクトルデータの一部分(先頭部分)に関してのみ、量子化後の低域部のスペクトルデータに対して近似部分探索を行い、その結果を元に高域部のスペクトルデータを生成することにより、極めて少ない情報量及び処理演算量で、広帯域信号の低域部のスペクトルデータに基づいて高域部のスペクトルデータを符号化することができ、さらに低域部のスペクトルデータに大きな量子化歪みが生じた場合でも品質の良い復号化信号を得ることができる。
(実施の形態2)
実施の形態1では、アップサンプリング後の低域成分復号化信号のMDCT係数と、入力信号のMDCT係数の高域成分の先頭部分に対して近似部分探索を行い、復号化時に高域成分のMDCT係数を生成するためのパラメータを算出する方法について説明したが、本発明の実施の形態2では、入力信号のMDCT係数の高域成分の中でもより低域ほど重要視する重み付け近似部分探索方法について説明する。
本発明の実施の形態2に係る通信システムは、実施の形態1の図1に示した構成と同様であるので、図1を援用し、また、本発明の実施の形態2に係る符号化装置は、実施の形態1の図2に示した構成と同様であるので、図2を援用し、それぞれ重複する説明は省略する。ただし、図2に示した構成のうち、高域符号化部206は実施の形態1と異なる機能を有するので、以下、高域符号化部206について図5を援用して説明する。
近似部分探索部501は、直交変換処理部205から出力されたアップサンプリング後の低域成分復号化信号のMDCT係数Ykと、直交変換処理部205から出力された入力信号のMDCT係数Xkの先頭からMサンプルの部分(Mは2以上の整数とする)との誤差D2が最小となる時の探索結果位置tMIN(t=tMIN)、及びその時のゲインβ2を算出する。なお、誤差D2及びゲインβ2は、それぞれ式(20)、式(21)のように求められる。
Figure 0005190359
Figure 0005190359
ここで、式(20)におけるWは、誤差D2(距離)計算時に乗ぜられる0.0〜1.0程度の値を有する重みである。具体的には、誤差サンプルのインデックスが小さいほど(低域側のMDCT係数ほど)大きな重みが設定される。Wの一例を式(22)に示す。
Figure 0005190359
このように、低域のMDCT係数ほど大きい重みで距離計算を行うことにより、低域成分と高域成分との接続部の歪みが重要視された探索が可能となる。
振幅比調整部502及び量子化部503の構成については、実施の形態1において説明した処理と同じであるため、その詳細な説明は省略する。
以上、符号化装置101について説明した。なお、復号化装置103の構成については、実施の形態1において説明した構成と同じであるため、その詳細な説明は省略する。
このように実施の形態2によれば、符号化対象となる信号の高域部のスペクトルデータを該信号の低域部のスペクトルデータに基づいて生成する際、誤差サンプルのインデックスが小さいほど大きな重みをつけた距離計算を行い、高域部のスペクトルデータの一部分(先頭部分)に関してのみ、量子化後の低域部のスペクトルデータに対して近似部分探索を行い、その結果を元に高域部のスペクトルデータを生成することにより、極めて少ない情報量及び処理演算量で、広帯域信号の低域部のスペクトルデータに基づいて聴感的に品質の高い高域部のスペクトルデータを符号化することができ、さらに低域部のスペクトルデータに大きな量子化歪みが生じた場合でも品質の良い復号化信号を得ることができる。
なお、本実施の形態では、符号化対象となる信号の高域部のスペクトルデータを該信号の低域部のスペクトルデータに基づいて生成する際、高域部のスペクトルデータの一部分(先頭部分)に関してのみ、量子化後の低域部のスペクトルデータに対して近似部分探索を行う場合について説明したが、本発明はこれに限らず、高域部のスペクトルデータの全部分についても、上述したような重み付けを距離計算に適用することができる。
また、本実施の形態では、符号化対象となる信号の高域部のスペクトルデータを該信号の低域部のスペクトルデータに基づいて生成する際、誤差サンプルのインデックスが小さいほど大きな重みをつけた距離計算を行い、高域部のスペクトルデータの一部分(先頭部
分)に関してのみ、量子化後の低域部のスペクトルデータに対して近似部分探索を行い、その結果を元に高域部のスペクトルデータを生成する方法について説明したが、本発明はこれに限らず、複製元スペクトルデータの長さを探索時の評価尺度に導入する方法についても同様に適用できる。具体的には、複製元スペクトルデータの長さが長くなるような探索結果、すなわち、探索位置がより低域側のエントリが選ばれやすくなるようにすることによって、高域部のスペクトルデータの複製が複数回にわたることにより生じる不連続部の数を減らしたり、生じる不連続部の位置をより高域部側に配置したりするなどして、出力信号の品質をより向上させることができる。
なお、上記各実施の形態では、生成する高域部のスペクトルデータのMDCT係数のインデックスをSRbase/SRinput×(N−1)からとして説明したが、本発明はこれに限らず、サンプリング周波数にかかわらず、低域のスペクトルデータがゼロになった部分から高域部のスペクトルデータを同様にして生成する場合にも適用される。また、ユーザ及びシステム側から指定されたインデックスから高域部のスペクトルデータを生成する場合にも適用される。
なお、上記各実施の形態では、低域符号化部においてCELPタイプの音声符号化方式を例に挙げて説明したが、本発明はこれに限らず、CELPタイプ以外の音声・楽音符号化方式によってダウンサンプリング後入力信号を符号化する場合にも適用される。低域復号化部についても同様である。
また、信号処理プログラムを、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2006年5月10日出願の特願2006−131852の日本出願および2007年2月27日出願の特願2007−047931の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明にかかる符号化装置及び符号化方法は、広帯域信号の低域部のスペクトルデータに基づいて、高域部のスペクトルデータを符号化する際、極めて少ない情報量及び処理演算量による符号化を実現し、さらに低域部のスペクトルデータに大きな量子化歪みが生じ
た場合でも、品質の良い復号化信号を得ることができ、例えば、パケット通信システム、移動通信システムなどに適用できる。
本発明の実施の形態1及び2に係る符号化装置及び復号化装置を有する通信システムの構成を示すブロック図 図1に示した符号化装置の構成を示すブロック図 図2に示した低域符号化部の内部構成を示すブロック図 図2に示した低域復号化部の内部構成を示すブロック図 図2に示した高域符号化部の内部構成を示すブロック図 図5に示した近似部分探索部における近似部分探索の様子を概念的に示す図 図5に示した振幅比調整部における処理の様子を概念的に示す図 図1に示した復号化装置の構成を示すブロック図 図8に示した高域復号化部の内部構成を示すブロック図

Claims (7)

  1. 入力信号を符号化し、第1符号化情報を生成する第1符号化手段と、
    前記第1符号化情報を復号化し、復号化信号を生成する復号化手段と、
    前記入力信号及び前記復号化信号を直交変換し、それぞれの信号について直交変換係数を生成する直交変換手段と、
    前記入力信号の直交変換係数と前記復号化信号の直交変換係数との差分に基づいて、前記復号化信号の低域部分のうち、前記入力信号の高域部分の一部に最も近似する部分を探索し、前記最も近似する部分に関する第2符号化情報を生成する第2符号化手段と、
    前記第1符号化情報と前記第2符号化情報とを統合する統合手段と、
    を具備する符号化装置。
  2. 前記第2符号化手段は、前記探索の結果を用いて、第1直交変換係数を算出し、算出した前記第1直交変換係数の振幅及び前記入力信号の直交変換係数の振幅が等しくなるように前記第1直交変換係数の振幅を調整する請求項に記載の符号化装置。
  3. 前記第1符号化手段は、CELPタイプの符号化方法を用いて符号化する請求項1に記載の符号化装置。
  4. 前記第2符号化手段は、前記差分に対して、低域ほど大きい重みを乗算し、この乗算結果を用いて前記探索を行う請求項1に記載の符号化装置。
  5. 前記第2符号化手段は、前記差分に対して、探索位置としてより低域側のエントリを選択させる重みを乗算し、この乗算結果を用いて前記探索を行う請求項1に記載の符号化装置。
  6. 入力信号を符号化し、第1符号化情報を生成する第1符号化工程と、
    前記第1符号化情報を復号化し、復号化信号を生成する復号化工程と、
    前記入力信号及び前記復号化信号を直交変換し、それぞれの信号について直交変換係数を生成する直交変換工程と、
    前記入力信号の直交変換係数と前記復号化信号の直交変換係数との差分に基づいて、前記復号化信号の低域部分のうち、前記入力信号の高域部分の一部に最も近似する部分を探索し、前記最も近似する部分に関する第2符号化情報を生成する第2符号化工程と、
    前記第1符号化情報と前記第2符号化情報とを統合する統合工程と、
    を具備する符号化方法。
  7. コンピュータに、
    入力信号を符号化し、第1符号化情報を生成する第1符号化工程と、
    前記第1符号化情報を復号化し、復号化信号を生成する復号化工程と、
    前記入力信号及び前記復号化信号を直交変換し、それぞれの信号について直交変換係数を生成する直交変換工程と、
    前記入力信号の直交変換係数と前記復号化信号の直交変換係数との差分に基づいて、前記復号化信号の低域部分のうち、前記入力信号の高域部分の一部に最も近似する部分を探索し、前記最も近似する部分に関する第2符号化情報を生成する第2符号化工程と、
    前記第1符号化情報と前記第2符号化情報とを統合する統合工程と、
    を実行させる符号化プログラム。
JP2008514507A 2006-05-10 2007-05-09 符号化装置及び符号化方法 Expired - Fee Related JP5190359B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008514507A JP5190359B2 (ja) 2006-05-10 2007-05-09 符号化装置及び符号化方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006131852 2006-05-10
JP2006131852 2006-05-10
JP2007047931 2007-02-27
JP2007047931 2007-02-27
JP2008514507A JP5190359B2 (ja) 2006-05-10 2007-05-09 符号化装置及び符号化方法
PCT/JP2007/059582 WO2007129728A1 (ja) 2006-05-10 2007-05-09 符号化装置及び符号化方法

Publications (2)

Publication Number Publication Date
JPWO2007129728A1 JPWO2007129728A1 (ja) 2009-09-17
JP5190359B2 true JP5190359B2 (ja) 2013-04-24

Family

ID=38667836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008514507A Expired - Fee Related JP5190359B2 (ja) 2006-05-10 2007-05-09 符号化装置及び符号化方法

Country Status (6)

Country Link
US (1) US8121850B2 (ja)
EP (2) EP2017830B9 (ja)
JP (1) JP5190359B2 (ja)
AT (2) ATE528750T1 (ja)
DE (1) DE602007005630D1 (ja)
WO (1) WO2007129728A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213840B1 (ko) * 2004-05-14 2012-12-20 파나소닉 주식회사 복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
JP5326714B2 (ja) * 2009-03-23 2013-10-30 沖電気工業株式会社 帯域拡張装置、方法及びプログラム、並びに、量子化雑音学習装置、方法及びプログラム
WO2011035813A1 (en) * 2009-09-25 2011-03-31 Nokia Corporation Audio coding
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
CN102044250B (zh) * 2009-10-23 2012-06-27 华为技术有限公司 频带扩展方法及装置
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US8924200B2 (en) * 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
EP3048609A4 (en) 2013-09-19 2017-05-03 Sony Corporation Encoding device and method, decoding device and method, and program
MX2016008172A (es) 2013-12-27 2016-10-21 Sony Corp Metodo y aparato de decodificacion, y programa.

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263096A (ja) * 1995-03-24 1996-10-11 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法及び復号化方法
JP2001521648A (ja) * 1997-06-10 2001-11-06 コーディング テクノロジーズ スウェーデン アクチボラゲット スペクトル帯域複製を用いた原始コーディングの強化
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2004004530A (ja) * 2002-01-30 2004-01-08 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置およびその方法
JP2004080635A (ja) * 2002-08-21 2004-03-11 Sony Corp 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
WO2005111568A1 (ja) * 2004-05-14 2005-11-24 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、およびこれらの方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640209B1 (en) * 1999-02-26 2003-10-28 Qualcomm Incorporated Closed-loop multimode mixed-domain linear prediction (MDLP) speech coder
JP3923783B2 (ja) 2001-11-02 2007-06-06 松下電器産業株式会社 符号化装置及び復号化装置
WO2003038389A1 (en) * 2001-11-02 2003-05-08 Matsushita Electric Industrial Co., Ltd. Encoding device, decoding device and audio data distribution system
KR100935961B1 (ko) * 2001-11-14 2010-01-08 파나소닉 주식회사 부호화 장치 및 복호화 장치
KR100949232B1 (ko) * 2002-01-30 2010-03-24 파나소닉 주식회사 인코딩 장치, 디코딩 장치 및 그 방법
US7752052B2 (en) * 2002-04-26 2010-07-06 Panasonic Corporation Scalable coder and decoder performing amplitude flattening for error spectrum estimation
WO2006025313A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置、通信装置及び音声符号化方法
EP1798724B1 (en) * 2004-11-05 2014-06-18 Panasonic Corporation Encoder, decoder, encoding method, and decoding method
JP4431790B2 (ja) 2004-11-09 2010-03-17 国立大学法人金沢大学 レゾルシノールノボラック誘導体
JP4646731B2 (ja) 2005-08-08 2011-03-09 シャープ株式会社 携帯情報端末装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263096A (ja) * 1995-03-24 1996-10-11 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法及び復号化方法
JP2001521648A (ja) * 1997-06-10 2001-11-06 コーディング テクノロジーズ スウェーデン アクチボラゲット スペクトル帯域複製を用いた原始コーディングの強化
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2004004530A (ja) * 2002-01-30 2004-01-08 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置およびその方法
JP2004080635A (ja) * 2002-08-21 2004-03-11 Sony Corp 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
WO2005111568A1 (ja) * 2004-05-14 2005-11-24 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、およびこれらの方法

Also Published As

Publication number Publication date
JPWO2007129728A1 (ja) 2009-09-17
EP2200026B1 (en) 2011-10-12
EP2017830A4 (en) 2009-05-27
ATE463029T1 (de) 2010-04-15
EP2200026A1 (en) 2010-06-23
EP2017830B9 (en) 2011-02-23
EP2017830B1 (en) 2010-03-31
DE602007005630D1 (de) 2010-05-12
EP2017830A1 (en) 2009-01-21
US8121850B2 (en) 2012-02-21
US20090171673A1 (en) 2009-07-02
ATE528750T1 (de) 2011-10-15
WO2007129728A1 (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
JP5190359B2 (ja) 符号化装置及び符号化方法
JP5404418B2 (ja) 符号化装置、復号装置および符号化方法
JP4871894B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP4708446B2 (ja) 符号化装置、復号装置およびそれらの方法
JP5511785B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5419876B2 (ja) スペクトル平滑化装置、符号化装置、復号装置、通信端末装置、基地局装置及びスペクトル平滑化方法
WO2009084221A1 (ja) 符号化装置、復号装置およびこれらの方法
US20070282599A1 (en) Method and apparatus to encode and/or decode signal using bandwidth extension technology
JP5730303B2 (ja) 復号装置、符号化装置およびこれらの方法
KR20070121254A (ko) 광대역 부호화 및 복호화 방법 및 장치
JP5565914B2 (ja) 符号化装置、復号装置およびこれらの方法
JP5236040B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
JPWO2005064594A1 (ja) 音声・楽音符号化装置及び音声・楽音符号化方法
WO2013057895A1 (ja) 符号化装置及び符号化方法
JP5236032B2 (ja) 音声符号化装置、音声復号装置およびそれらの方法
JP5774490B2 (ja) 符号化装置、復号装置およびこれらの方法
JP3560964B2 (ja) 広帯域音声復元装置及び広帯域音声復元方法及び音声伝送システム及び音声伝送方法
JP3598112B2 (ja) 広帯域音声復元方法及び広帯域音声復元装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130128

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5190359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees