JP4638895B2 - Decoding method, decoder, decoding device, program, and recording medium - Google Patents
Decoding method, decoder, decoding device, program, and recording medium Download PDFInfo
- Publication number
- JP4638895B2 JP4638895B2 JP2007134457A JP2007134457A JP4638895B2 JP 4638895 B2 JP4638895 B2 JP 4638895B2 JP 2007134457 A JP2007134457 A JP 2007134457A JP 2007134457 A JP2007134457 A JP 2007134457A JP 4638895 B2 JP4638895 B2 JP 4638895B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- code
- decoding
- gain
- weighted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、符号を復号する復号方法、当該符号を符号化する符号化方法、これらの方法を利用した復号器、復号装置、符号化装置、プログラムおよび記録媒体に関する。 The present invention relates to a decoding method for decoding a code, an encoding method for encoding the code, a decoder, a decoding device, an encoding device, a program, and a recording medium using these methods.
従来から用いられている電話帯域の音声信号を符号化する音声符号化方法として、G.711(非特許文献1)に用いられる非線型波形圧縮符号化(μ則・A則PCM)や、G. 726(非特許文献2)などに用いられる差分予測波形圧縮符号化(ADPCM)などの波形符号化方式がある。公衆電話網及びインターネットを用いた音声通信(VoIP)では、ほぼこの符号化方式が用いられている。 Non-linear waveform compression coding (μ-law / A-law PCM) used in G.711 (Non-Patent Document 1), G-711 (Non-Patent Document 1), G-711 There is a waveform coding method such as differential prediction waveform compression coding (ADPCM) used in 726 (Non-Patent Document 2) and the like. In voice communication (VoIP) using a public telephone network and the Internet, this encoding method is almost used.
一方、携帯電話などの回線の伝送帯域に制限がある場合には、線形予測分析に基づく符号化方式が主流であり、この線形予測分析によって得られる包絡情報を元に雑音を変形して符号化する手法が用いられている。しかし、線形予測分析方式では、符号化処理時間単位毎に演算量の多い自己相関関数を求める必要がある。また、符号選択時には、この包絡情報を符号化処理時間単位毎に反映して符号を選択する必要があり、符号化に要する演算量は上述した波形符号化方式の数十倍となる。また、波形符号化や線形予測分析に基づく符号化方式以外にも高音質で圧縮効率の良い符号化方式は多数存在する。 On the other hand, when the transmission band of a line such as a cellular phone is limited, the coding method based on linear prediction analysis is the mainstream, and noise is transformed and encoded based on the envelope information obtained by this linear prediction analysis. Is used. However, in the linear prediction analysis method, it is necessary to obtain an autocorrelation function having a large amount of calculation for each encoding processing time unit. Further, when selecting a code, it is necessary to select a code by reflecting this envelope information for each encoding processing time unit, and the amount of calculation required for encoding is several tens of times that of the above-described waveform encoding method. In addition to the coding methods based on waveform coding and linear prediction analysis, there are many coding methods with high sound quality and good compression efficiency.
こうして符号化方式が多数存在する場合、方式の違いによって相互接続性が保証されていない。よって異なる符号化方式を搭載した複数の端末装置と通信を行う場合、自らの通信端末上で対応する複数の符号化器および復号器を動作させ、通信相手の端末装置に実装されている符号化方式に応じて符号化方式を使い分ける必要がある。しかし、使用できる演算量が制限される端末装置では、演算量の大きい符号化器を複数同時に動作させることは不可能である。これに対し、波形符号化方式はどのようなVoIP会議端末にも一般的に実装されている。以上より、結局はG.711やG.726のような波形符号化方式を用いざるを得ない。 Thus, when there are a large number of encoding methods, the interoperability is not guaranteed due to the difference in the methods. Therefore, when communicating with a plurality of terminal devices equipped with different encoding methods, the corresponding encoders and decoders are operated on their own communication terminals, and the encoding implemented in the terminal device of the communication partner It is necessary to use different encoding methods depending on the method. However, in a terminal device in which the amount of computation that can be used is limited, it is impossible to simultaneously operate a plurality of encoders having a large amount of computation. On the other hand, the waveform coding method is generally implemented in any VoIP conference terminal. From the above, eventually, a waveform encoding method such as G.711 or G.726 must be used.
μ則・A則PCMやADPCMによる符号化方式は振幅の非線形圧縮を用いるため、再生音声に重畳する符号化雑音は音声全体のパワと相関が強く、入力音声レベルに依存せずに復号音声のSN比を一定にできるという利点がある。しかし、この符号化雑音は白色雑音となる。従来G.711やG.726への入力音声は、IRS特性等に代表される高域成分が強調された従来の電話機から出力される信号の周波数特性に変更されることが想定されているため、このように高域成分が強調されている信号によれば白色雑音が顕著に知覚されることはない。ここでのIRS特性(非特許文献3)とは図1に示すような緩やかな高域通過フィルタ型の周波数特性を指す。 Since the coding method based on μ-law / A-law PCM and ADPCM uses nonlinear compression of amplitude, the coding noise superimposed on the reproduced speech has a strong correlation with the power of the entire speech and does not depend on the input speech level. There is an advantage that the S / N ratio can be made constant. However, this coding noise becomes white noise. Conventional G.G. 711 and G.G. Since the input voice to 726 is assumed to be changed to the frequency characteristics of a signal output from a conventional telephone in which high frequency components typified by IRS characteristics are emphasized, the high frequency components are According to a signal in which is emphasized, white noise is not perceived remarkably. Here, the IRS characteristic (Non-patent Document 3) indicates a gentle high-pass filter type frequency characteristic as shown in FIG.
しかし、VoIPなどの通信において高域成分が強調された周波数特性を持つマイクが使用されることは稀である。そのため、音声信号が持つ低域へのパワの集中が是正されることなく符号化され(エンコーダミスマッチ)、低域側のパワ増加の影響で高域側のSN比が悪化し、復号側で雑音が顕著に知覚されてしまうという問題が生じる。例えば平坦な周波数特性を持つマイクを使用して音声を収音すると、符号化対象の信号も低域(〜1kHz程度)にパワの集中したものとなり、高域において入力音声レベルに対する符号化雑音レベルが相対的に大きくなり、復号側で雑音が知覚されやすくなる。 However, it is rare that a microphone having a frequency characteristic in which a high frequency component is emphasized is used in communication such as VoIP. For this reason, the power signal is encoded without correcting the power concentration in the low frequency range (encoder mismatch), the SN ratio on the high frequency side deteriorates due to the increase in power on the low frequency side, and noise occurs on the decoding side. This causes a problem that the image is perceived prominently. For example, if a microphone with flat frequency characteristics is used to pick up speech, the signal to be encoded is also concentrated in the low frequency range (about 1 kHz), and the encoding noise level relative to the input speech level in the high frequency range. Becomes relatively large, and noise is easily perceived on the decoding side.
上記の問題を解決するため、出願人は、波形符号化のエンコーダミスマッチによって生じた量子化雑音を低演算量かつ高能率に低減する符号化方法および復号方法を実現している。また、これを実現するにあたり、ビットストリームをスケーラブル構成にすることで基本符号では従来端末とのビットストリームの互換性を保ち、相互接続性を高める手段を提供している(特許文献1)。具体的には、エンコーダミスマッチによる品質劣化を避けるためには、G.711あるいはG.726を基本段として用いる多段構成の符号化器を用いており、基本段の雑音を低減する2段目には、線形予測分析に基づく符号化方式よりも大幅に低演算量で動作する符号化方式を用いていた。 In order to solve the above problem, the applicant has realized an encoding method and a decoding method that reduce quantization noise caused by encoder mismatch in waveform encoding to a low computational complexity and high efficiency. In order to realize this, the basic code provides means for maintaining the bit stream compatibility with the conventional terminal and enhancing the interconnectivity by making the bit stream scalable (Patent Document 1). Specifically, in order to avoid quality degradation due to encoder mismatch, G. 711 or G.I. A multi-stage encoder using 726 as the basic stage is used, and the second stage for reducing the noise of the basic stage is an encoding that operates with a much lower amount of computation than the encoding method based on linear prediction analysis. The method was used.
特許文献1の符号化器では、あらかじめ重みを付与した高域重み付き形状符号帳と高域重み付きパワ逆数表などの複数の符号帳を用いて高品質に再生でき、かつ低演算量に符号化する機能を実現した。
上述のように、従来は、符号化処理でも復号処理でも、線形予測分析結果などに基づいて重みを変更するために、重みの付いていない同じ符号帳を用いていた。特許文献1では、符号化処理用に、あらかじめ重みを付けた符号帳を用意することで、符号化の品質を保ちながら演算量を低減した。しかし、特許文献1の方法では、復号処理には重みの付いていない符号帳が必要なので、重みを付けた符号帳を記録するためのメモリを確保しなければならなかった。
As described above, conventionally, in order to change the weight based on the linear prediction analysis result or the like in both the encoding process and the decoding process, the same codebook without the weight is used. In
本発明は、メモリの使用量を特許文献1よりも低減しながら、符号化の品質を従来と同等に保つこと、符号化の演算量は特許文献1と同等とすることを満足する復号技術、符号化技術を提供することを目的とする。
The present invention provides a decoding technique that satisfies the requirement that the encoding quality is kept equal to the conventional one while the amount of memory used is lower than that of
本発明の復号方法は、拡張符号分解ステップ、重み付き形状復号ステップ、重み付け除去演算ステップ、利得復号ステップ、乗算ステップを有する。拡張符号分解ステップは、入力された符号を、形状符号と利得符号に分解する。重み付き形状復号ステップは、重み付き形状符号帳を用いて、形状符号を重み付き形状ベクトルに変換する。重み付け除去演算ステップは、重み付き形状ベクトルの重みを除去し、形状ベクトルを出力する。利得復号ステップは、利得符号帳を用いて、利得符号を利得に変換する。乗算ステップは、形状ベクトルと利得とを乗算して復号信号を出力する。なお、重み付け除去演算ステップでは、符号化するときに用いる重み行列Wの逆行列Uを用いて重みつき形状ベクトルの重みを除去すればよい。 The decoding method of the present invention includes an extended code decomposition step, a weighted shape decoding step, a weighting removal calculation step, a gain decoding step, and a multiplication step. In the extended code decomposition step, the input code is decomposed into a shape code and a gain code. The weighted shape decoding step converts the shape code into a weighted shape vector using a weighted shape codebook. The weighting removal calculating step removes the weight of the weighted shape vector and outputs the shape vector. The gain decoding step converts the gain code into a gain using a gain codebook. The multiplication step multiplies the shape vector and the gain to output a decoded signal. In the weight removal operation step, the weight of the weighted shape vector may be removed using the inverse matrix U of the weight matrix W used for encoding.
本発明の復号方法によれば、復号に重み付き形状符号帳を用いることができるので、符号化のときに用いた重み付き形状符号帳を復号のときにも利用できる。よって、重み付きの形状符号帳をメモリに記録する際には、重み付きでない形状符号帳を記録する必要がない。双方向通信時には符号化器と復号器の両方を同時に備える必要があるため、特許文献1の符号化方式と組み合わせれば、符号化器と復号器の符号帳が共通となるため、現実に必要とされるメモリ使用量を大幅に低減しながら、符号化の品質を保つこと、符号化の演算量を低減することを満足する復号技術、符号化技術を提供できる。
According to the decoding method of the present invention, since a weighted shape codebook can be used for decoding, the weighted shape codebook used for encoding can also be used for decoding. Therefore, when recording a weighted shape codebook in the memory, there is no need to record a non-weighted shape codebook. Since it is necessary to provide both an encoder and a decoder at the same time in bidirectional communication, the codebook of the encoder and the decoder becomes common when combined with the encoding method of
[第1実施形態]
[符号化装置]
図2に第1実施形態の符号化装置の機能構成例を示す。第1実施形態の符号化装置は、基本符号化器910、基本復号器920、加算部930、拡張符号化器100から構成される。基本符号化器910は、G.711やG. 726などの従来の波形符号化方式の符号化器を用いればよい。基本復号器920は、基本符号化器910に対応する復号器である。基本符号化器910は、入力信号sを符号化し、基本符号Ibを出力する。基本復号器920は、基本符号Ibを復号する。加算部930は、復号された信号と入力信号との差(基本符号化の量子化雑音)を求める。拡張符号化器100は、基本符号化の量子化雑音(基本雑音信号e)を符号化する。拡張符号化器は、実時間処理を行う場合であれば、8サンプル(1ms)〜160サンプル(20ms)の短時間の処理フレームごとに処理を行う。このときの処理フレームのサンプル数をKとした場合、基本雑音信号eは、K次元のベクトルで表現できる。符号化装置への入力信号は、例えば8kHzでサンプリングされた3.4kHz帯域(電話帯域)の音声デジタル信号である。実時間処理を行わないのであれば、メモリの許す範囲内で一括処理してもよい。
[First Embodiment]
[Encoding device]
FIG. 2 shows a functional configuration example of the encoding apparatus according to the first embodiment. The encoding apparatus according to the first embodiment includes a
本発明は、図2の符号化装置の中の特に拡張符号化器100に関するので、以下では拡張符号化器100について説明する。図3は、拡張符号化器100の処理フローの例である。拡張符号化器100は、重み付け部110、形状計算部120、利得計算部130、多重化部140、重み付き形状符号帳150、重み付き形状パワ逆数帳160、利得符号帳170から構成される。重み付き形状符号帳150には、N個の重み付き形状ベクトルWc1,…,WcNが記録されている。重み付き形状ベクトルは、それぞれK+rサンプルの重み付き形状信号からなるK+r次元のベクトルである。ここで、rは重み付けフィルタのタップ数であり、後述する式(2)の重み付けの場合は1である。重み付き形状パワ逆数帳160には、重み付き形状ベクトルのノルムの逆数(1/‖Wc1‖2),…,(1/‖WcN‖2)が記録されている。利得符号帳170には、利得g1,…,gMが記録されている。重み付け部110は、基本雑音信号(拡張符号化器100に対する入力信号)eに重みを付与し、重み付き雑音信号Weを出力する(S110)。形状計算部120は、重み付き雑音信号Weとの距離が最小となるように、重み付き形状符号帳150内の重み付き形状ベクトルWcn(nは1〜Nの整数、Nは重み付き形状符号帳に格納されている重み付き形状ベクトルの個数)を選定するとともに最適な理想利得g〜 optを求め、当該重み付き形状ベクトルを示す形状符号Isと最適な理想利得g〜 optとを出力する(S120)。利得計算部130は、最適な理想利得g〜 optとの距離が最小となるように、利得符号帳170内の利得gm(mは1〜Mの整数、Mは利得符号帳に格納されている利得の個数)を選定し、当該利得を示す利得符号Igを出力する(S130)。多重化部140は、形状符号Isと利得符号Igとを多重化して、符号Ieを出力する(S140)。以下では、重み付け部110、形状計算部120、利得計算部130について詳細に説明する。
Since the present invention particularly relates to the
重み付け部110
重み付け部110は、基本雑音信号(拡張符号化器100に対する入力信号)eに重みを付与し、重み付き雑音信号Weを出力する(S110)。具体的には、例えば、
The
形状計算部120
形状計算部120は、重み付き雑音信号Weと重み付き形状符号帳150内の重み付き形状ベクトルWcn(nは1〜Nの整数)に最適な理想利得g〜 optを乗じたベクトルとの距離D〜が最小となるように、重み付き形状ベクトルWcnと最適な理想利得g〜 optを選定する(S120)。ただし、理想利得とは、量子化される前の利得(計算によって求めた利得)をさしている。また、最適な理想利得とは、各重み付き形状ベクトルWcnと重み付き雑音信号Weとの距離D〜を最小にできる理想利得である。
ここで、距離D〜は、次のように表現できる。
D〜=‖We−g〜 optWcn‖2 (3)
距離D〜を最小にする理想利得g〜 optは、距離D〜を理想利得g〜 optで偏微分した値を0にするので、
D ~ = ‖We-g ~ opt Wc n ‖ 2 (3)
Distance D ~ ideal gain g ~ to minimize opt, since the distance obtained by partially differentiating D ~ the ideal gain g ~ opt value of 0
次に具体的な形状計算部120の構成の例を示す。形状計算部120は、図2に示すように初期化手段121、内積手段122、理想利得計算手段123、距離計算手段124、確認手段125を備えている。各手段の処理は、図3のS120の内部に示されており、次のようになる。
Next, a specific example of the configuration of the
初期化手段121は、n=1、dsmax=0とする(S121)。内積手段122は、重み付き形状符号帳150内のn番目の重み付き形状ベクトルWcnと重み付き雑音信号Weとの内積結果(Wcn)t(We)を、スカラ変数qnとして記録する(S122)。理想利得計算手段は、重み付き形状パワ逆数帳160内のn番目の要素(1/‖Wcn‖2)と、変数qnとの積を、理想利得g〜 nとして記録する(S123)。距離計算手段124は、理想利得g〜 nと変数qnの積を、距離dsとして記録する(S124)。なお、qn=(Wcn)t(We)は重み付き形状ベクトルと重み付き雑音信号の内積であり、式(5)の分子と同じであるため、dsは、理想利得g〜 nと変数qnの積として求めることができる。確認手段125は、dsmax<dsならば、dsをdsmax、nを最適な符号iopt、g〜 nを最適な理想利得g〜 optとする(S1251、S1252)。形状計算部120は、nがN(重み付き形状符号帳の要素の数)よりも小さければ、n=n+1としてステップS122に戻る(S1261、S1262)。n=Nならば、繰り返し終了時のioptを形状符号Isとし、形状符号Isと繰り返し終了時の最適な理想利得g〜 optを出力とする(S1263)。
The
形状計算部120は、このように距離dsが理想利得g〜 nと変数qnの積として求めることができることを利用しているので、重み付き形状ベクトルWcnと最適な理想利得g〜 optを選定するための演算量を特許文献1よりも低減できる。
利得計算部130
利得計算部130は、最適な理想利得g〜 optとの距離Dが最小となるように、利得符号帳170内の利得gm(mは1〜Mの整数)を選定し、当該利得を示す利得符号Igを出力する。(S130)。ここで、距離Dは、
D=‖We−gmWcn‖2 (8)
である。そして、距離dgを
dg=‖g〜 opt−gm‖2 (9)
とし、距離dgが最小となる利得gmを選定する。
The
D = ‖We-g m Wc n ‖ 2 (8)
It is. Then, the distance d g is changed to d g = ‖ g to opt − g m ‖ 2 (9)
And a gain g m that minimizes the distance d g is selected.
利得計算部130は、探索手段135を備えている。探索手段135は、利得符号帳170内のx番目に値が小さい利得gxと、x+1番目に値が小さい利得gx+1を用いて、利得gm(mは1〜Mの整数)を選定する。例えば、利得符号帳内の値の小さい利得から順番に、
g〜 opt<(gx+gx+1)/2 (10)
を満足するかを確認する。そして、最初に式(10)を満足するxを探索する。
The
g to opt <(g x + g x + 1 ) / 2 (10)
Check if you are satisfied. First, x that satisfies Expression (10) is searched.
具体的な探索処理の例は次のとおりである。探索手段135は、x=1とする(S131)。式(10)を満足するかを確認する(S132)。ステップS132がNoならば、x=x+1とする(S133)。xがM(Mは、利得符号帳170内の利得gmの数)よりも小さいかを確認する(S134)。ステップS134がYesの場合はステップS132に戻る。ステップS132がYesの場合とステップS134がNoの場合は、xを利得符号Igとして出力する(S135)。
利得計算部130は、このように式(10)を利用して計算するので、演算量を特許文献1よりも低減できる。
A specific example of the search process is as follows. The search means 135 sets x = 1 (S131). It is confirmed whether the expression (10) is satisfied (S132). If step S132 is No, x = x + 1 is set (S133). x is M (M is the number of gain g m in the gain codebook 170) checks whether less than (S134). If step S134 is Yes, the process returns to step S132. Step S132 is the case with step S134: Yes If No, and outputs a x as a gain code I g (S135).
Since the
[復号装置]
図5に第1実施形態の復号装置の構成例を示す。復号装置は、基本復号器920と加算部940と拡張復号器200から構成される。基本復号器920は、基本符号化器910に対応する復号器である。基本復号器920は、基本符号Ibを再生基本信号S^bに復号する。拡張復号器200は、拡張符号Ieを再生雑音信号e^に復号する。加算部940は、再生基本信号S^bと再生雑音信号e^を加算し、再生信号s^を出力する。
[Decoding device]
FIG. 5 shows a configuration example of the decoding apparatus according to the first embodiment. The decoding apparatus includes a
本発明は、図5の復号装置の中の特に拡張復号器200に関するので、以下では拡張復号器200について説明する。図6は、拡張復号器200の処理フローの例である。拡張復号器200は、分解部210、重み付き形状復号部220、重み付け除去演算部230、利得復号部240、乗算部250、重み付き形状符号帳150、利得符号帳170で構成される。第1実施形態の拡張復号器200では、復号用の形状符号帳にも重み付きの符号帳を用いることができる点が特許文献1と大きく異なる点である。重み付きの符号帳を用いることができるので、符号化に用いた重み付き形状符号帳150を復号にも使用できる。
Since the present invention particularly relates to the extended decoder 200 in the decoding apparatus of FIG. 5, the extended decoder 200 will be described below. FIG. 6 is an example of a processing flow of the extended decoder 200. The extended decoder 200 includes a
分解部210は、入力された符号Ieを、形状符号Isと利得符号Igに分解する(S210)。重み付き形状復号部220は、重み付き形状符号帳150を用いて、形状符号Isを重み付き形状ベクトルWcn(nは1〜Nの整数、Nは重み付き形状符号帳に格納されている重み付き形状ベクトルの個数)に変換する。重み付け除去演算部230は、重み付き形状ベクトルWcnの重みWを除去し、形状ベクトルcnを出力する(S230)。利得復号部240は、利得符号帳170を用いて、利得符号Igを利得gm(mは1〜Mの整数、Mは利得符号帳に格納されている利得の個数)に変換する。乗算部250は、形状ベクトルcnと利得gmとを乗算して、復号信号(再生雑音信号)e^を出力する(S250)。
拡張復号器200が重み付きの符号帳を用いることができる理由は、重み付け除去演算部230にある。例えば、重み付け除去演算部230では、符号化のときに用いた重みを付与する行列(フィルタ)の逆行列(逆フィルタ)を用いればよい。例えば、式(2)の行列Wの逆行列Uは、
式(11)の逆行列を用いて重み付き形状ベクトルWcnの重みWを除去し、形状ベクトルcnを出力するために、重み付け除去演算部230は、初期化手段231、加算手段232、除算手段233、更新手段234を備えている。初期化手段231は、k=1、fa=0とする(S231)。加算手段は、重み付き形状ベクトルWcnのk番目の要素fkをfaに加算し、新しいfaとする(S232)。除算手段233は、形状ベクトルのn番目の要素pkを、pk=fa/bとし、記録する(S233)。更新手段は、kがKよりも小さい場合には、kに1を加算し、新しいkとする(S2341、S2342)。kがK(Kは形状ベクトルのベクトル長)に等しい場合には、処理を終了する。このようにステップS232〜S2342を、p1,…,pK(ただし、Kは形状ベクトルのベクトル長)のすべてを求めるまで繰り返す。
Removing the weight W of a weighted shape vector Wc n by using the inverse matrix of Equation (11), in order to output the shape vector c n, the weighting
第1実施形態の復号装置は、このように重み付け除去演算部230があるため、符号化器と同じ重み付き形状符号帳150を用いることができる。そして、符号化に用いる重み付き形状符号帳を復号にも用いれば、符号化装置と復号装置の両方を備える双方向通信器の符号帳のためのメモリの使用量を、大幅に低減(具体的には、ほぼ半減)できる。
Since the decoding apparatus according to the first embodiment includes the weight
また、一般的に復号に要する演算量は符号探索を行う符号化時に要する演算量より著しく小さい。第1実施形態の場合、符号化に要する演算量と復号に要する演算量は、ほぼN:1の関係にある。つまり、復号のための演算量が微妙に増えたとしても、符号化を含めた全体の演算量にはほとんど影響がない。上述のように第1実施形態の符号化装置は、品質を特許文献1と同等に保ちながら演算量を減らしている。したがって、全体的には、メモリの使用量を大幅に減らしながら、演算量も品質も同等を保つことができる。
In general, the amount of calculation required for decoding is significantly smaller than the amount of calculation required for encoding for code search. In the case of the first embodiment, the amount of calculation required for encoding and the amount of calculation required for decoding are substantially in a relationship of N: 1. That is, even if the calculation amount for decoding increases slightly, there is almost no influence on the total calculation amount including encoding. As described above, the encoding device of the first embodiment reduces the amount of calculation while maintaining the quality equivalent to that of
また、図7には、本発明の効果を示すために、基本符号部にG.711を用いて第1実施形態の符号化装置と復号装置を用いた場合の再生信号(復号信号)のスペクトル解析例を示す。図7(A)は原音声(破線)とその音声を、G.711を用いて符号化して復号した再生音(実線)、図7(B)は原音声(破線)とその音声を第1実施形態の符号化装置を用いて符号化して復号した再生音(破線)のスペクトル解析結果である。G.711単体を用いた場合では、現音に存在する高域の調波構造が量子化雑音に埋もれているが、第1実施形態を用いれば高域(2500KHz以上)の調波構造が再現されていることが分かる。この結果は、特許文献1と同等である。したがって、符号化と復号の品質を維持しながら演算量を少なくできる。
FIG. 7 shows G. in the basic code part in order to show the effect of the present invention. 7A shows an example of spectrum analysis of a reproduction signal (decoded signal) when the encoding apparatus and decoding apparatus of the first embodiment are used. FIG. 7A shows the original voice (dashed line) and its voice. Reproduced sound (solid line) encoded using 711 and decoded (solid line), FIG. 7B shows the original sound (broken line) and the reproduced sound obtained by encoding and decoding the sound using the encoding device of the first embodiment (broken line). ) Spectral analysis results. G. When the 711 unit is used, the high-frequency harmonic structure existing in the current sound is buried in the quantization noise. However, if the first embodiment is used, the high-frequency (2,500 KHz or higher) harmonic structure is reproduced. I understand that. This result is equivalent to
[第2実施形態]
[符号化装置]
図8に第2実施形態の符号化装置の機能構成例を示す。第1実施形態の利得計算部130は、利得符号帳170から利得符号Igを探索した。第2実施形態の利得計算部330は、計算により利得符号Igを求める。そこで、第2実施形態の拡張符号化器300は、利得計算部130と利得符号帳170の代わりに、利得計算部330を備えている。また、利得計算部330は、量子化手段335を有している。その他の構成は、図2と同じである。また、図9に第2実施形態の拡張符号化器300の処理フローの例を示す。図3に示した第1実施形態の拡張符号化器100の処理フローと、ステップS110、S120、S140は同じである。以下では、第1実施形態との違いである利得計算部330について説明する。
[Second Embodiment]
[Encoding device]
FIG. 8 shows a functional configuration example of the encoding apparatus according to the second embodiment. Gain calculating
利得計算部330の量子化手段335は、射影関数f(x)を用いて最適な理想利得g〜 optから、利得符号Igを求める。射影関数f(x)は、直線、曲線、あるいは直線と曲線を組み合わせた連続関数である。量子化手段335は、まず射影関数の演算f(g〜 opt)を行う(S331)。次に、四捨五入演算を行い次のように利得符号Igを求める(S332)。
Ig=round(f(g〜 opt)) (12)
利得計算部330は、求めた利得符号Igを出力する(S333)。
Quantization means of the gain calculator 330 335, the optimum ideal gain g ~ opt using a projection function f (x), determining the gain code I g. The projection function f (x) is a straight line, a curve, or a continuous function that combines a straight line and a curve. The quantization means 335 first performs a projection function calculation f (g to opt ) (S331). Next, the rounding operation as follows seek gain code I g (S332).
I g = round (f (g ~ opt)) (12)
Gain calculating unit 330 outputs a gain code I g obtained (S333).
射影関数の具体例としては、次式のような双曲線がある。
a=1300
b=−1
c=1.07
d=19.27
とすればよい。なお、射影関数は、連続関数であればよく、xの値に応じて複数の関数を切り替えてもよい。
利得計算部330は、このように射影関数を利用して計算するので、演算量を特許文献1よりも低減できる。また、利得符号帳が必要ないので、メモリ使用量を低減できる。
As a specific example of the projection function, there is a hyperbola as follows.
a = 1300
b = -1
c = 1.07
d = 19.27
And it is sufficient. The projection function may be a continuous function, and a plurality of functions may be switched according to the value of x.
Since the gain calculation unit 330 calculates using the projection function in this way, the amount of calculation can be reduced as compared with
[復号装置]
図10に第2実施形態の復号装置の構成例を示す。第1実施形態の利得復号部240は、利得符号帳170を用いて利得gmを求めた。第2実施形態の利得復号部440は、計算により利得gmを求める。そこで、第2実施形態の拡張復号器400は、利得復号部240と利得符号帳170の代わりに、利得復号部440を備えている。その他の構成は、図5と同じである。また、図11に第2実施形態の拡張復号器400の処理フローの例を示す。図6に示した第1実施形態の拡張復号器200の処理フローと、ステップS210、S220、S230、S250は同じである。以下では、第1実施形態との違いである利得復号部440について説明する。
[Decoding device]
FIG. 10 shows a configuration example of the decoding apparatus according to the second embodiment.
利得復号部440は、符号化で用いた射影関数の逆関数f−1(y)を用いて、利得符号Igから利得gmを求める。具体的には、利得復号部440は、
gm=f−1(Ig) (14)
の演算によって利得gmを求める(S440)。
g m = f −1 (I g ) (14)
The gain g m is obtained by the calculation of (S440).
射影関数として式(13)の双曲線を用いた場合であれば、逆関数は、
このような構成と処理方法であれば、第1実施形態と同程度の演算量で、メモリ使用量を低減できる。また、符号化と復号の品質にかかわる処理は第1実施形態と同じなので、図7に示したスペクトル解析結果と同じ結果が期待できる。したがって、したがって、符号化と復号の品質を維持しながら演算量を少なくできる。 With such a configuration and processing method, the memory usage can be reduced with the same amount of computation as in the first embodiment. Further, since the processing related to the quality of encoding and decoding is the same as that in the first embodiment, the same result as the spectrum analysis result shown in FIG. 7 can be expected. Therefore, the amount of computation can be reduced while maintaining the quality of encoding and decoding.
[変形例]
本発明の復号方法の大切なポイントの1つは、ステップS220、S230である。また、これらのステップを実行するために必要な構成部は、重み付き形状復号部220、重み付き形状符号帳150、重み付け除去演算部230である。その他の構成部は、第1実施形態の復号装置(図5)や第2実施形態の復号装置(図10)に限定する必要はない。図12に第2実施形態の変形例の復号装置の機能構成例を示す。この構成では、図10の乗算部250の代わりに除算部650があり、加算部940の代わりに加算部640がある。除算部650は、再生基本信号s^bを利得gmで除算する。加算部640は、除算部650の出力s^b/gmと形状ベクトルcnを加算し、再生信号e^’を得る。
[Modification]
One important point of the decoding method of the present invention is steps S220 and S230. Further, components necessary for executing these steps are a weighted
図10の復号装置の再生信号e^は、形状ベクトルcnと利得gmとの積と再生基本信号s^bとの和である。したがって、再生信号e^と再生信号e^’とは、
e^’=e^/gm (16)
の関係となる。つまり、再生信号e^’は、ボリュームは異なるが波形は再生信号e^と同じ信号である。符号化や復号の処理では再生される信号のボリュームは他の処理で調整されるものであり、波形が再生されていれば品質上は問題ない。したがって、図12に示した構成でも第2実施形態の復号装置と同等の効果を得ることができる。
^ Reproduced signal e of the decoding device in FIG. 10 is the sum of the product of the shape vector c n and the gain g m and the reproduction fundamental signal s ^ b. Therefore, the reproduction signal e ^ and the reproduction signal e ^ '
e ^ '= e ^ / g m (16)
It becomes the relationship. That is, the reproduction signal e ^ 'is the same signal as the reproduction signal e ^ although the volume is different. In the encoding and decoding processes, the volume of the reproduced signal is adjusted by other processes, and there is no problem in quality if the waveform is reproduced. Therefore, even with the configuration shown in FIG. 12, the same effect as that of the decoding device of the second embodiment can be obtained.
このように、図6や図11に示したステップS220、S230有する復号方法、図5や図10に示した重み付き形状復号部220、重み付き形状符号帳150、重み付け除去演算部230を備える復号装置であれば、本発明の効果を得ることができる。
As described above, the decoding method including steps S220 and S230 illustrated in FIGS. 6 and 11, the decoding including the weighted
図13に、コンピュータの機能構成例を示す。なお、本発明の符号化方法や復号方法は、コンピュータの記録部2020に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
FIG. 13 shows a functional configuration example of a computer. In the encoding method and decoding method of the present invention, a program for causing the
100 拡張符号化器 110 重み付け部
120 形状計算部 121 初期化手段
122 内積手段 123 理想利得計算手段
124 距離計算手段 125 確認手段
130 利得計算部 135 探索手段
140 多重化部 150 重み付き形状符号帳
160 形状パワ逆数帳 170 利得符号帳
200 拡張復号器 210 分解部
220 形状復号部 230 除去演算部
231 初期化手段 232 加算手段
233 除算手段 234 更新手段
240 利得復号部 250 乗算部
DESCRIPTION OF
Claims (10)
重み付き形状符号帳を用いて、前記形状符号を重み付き形状ベクトルに変換する重み付き形状復号ステップと、
前記重み付き形状ベクトルの重みを除去し、形状ベクトルを出力する重み付け除去演算ステップと、を有し、
前記重み付け除去演算ステップは、
k=1、f a =0とする初期化サブステップと、
前記重み付き形状ベクトルのk番目の要素f k をf a に加算し、新しいf a とする加算サブステップと、
前記形状ベクトルのk番目の要素p k を、p k =f a /bとする除算サブステップと、
kに1を加算し、新しいkとする更新ステップと、
を有し、
前記加算サブステップと前記除算サブステップと前記更新ステップを、p 1 ,…,p K (ただし、Kは形状ベクトルのベクトル長)のすべてを求めるまで繰り返す、
ことを特徴とする復号方法。 A decoding method for decoding a shape code indicating a shape vector,
A weighted shape decoding step of converting the shape code into a weighted shape vector using a weighted shape codebook;
Removing a weight of the weighted shape vector and outputting a shape vector ;
The weighting removal calculating step includes:
an initialization sub-step with k = 1 and f a = 0;
An adding substep of component k f k of the weighted shape vector is added to f a, the new f a,
A division sub-step in which the k-th element p k of the shape vector is set to p k = f a / b;
an update step of adding 1 to k to give a new k;
Have
The addition sub-step, the division sub-step and the update step are repeated until all of p 1 ,..., P K (where K is the vector length of the shape vector) is obtained.
A decoding method characterized by the above .
入力された符号を、形状符号と利得符号に分解する分解ステップと、
重み付き形状符号帳を用いて、前記形状符号を重み付き形状ベクトルに変換する重み付き形状復号ステップと、
前記重み付き形状ベクトルの重みを除去し、形状ベクトルを出力する重み付け除去演算ステップと、
前記利得符号を利得に変換する利得復号ステップと、
前記形状ベクトルと前記利得とを乗算して、復号信号を出力する乗算ステップと、を有し、
前記重み付け除去演算ステップは、
k=1、f a =0とする初期化サブステップと、
前記重み付き形状ベクトルのk番目の要素f k をf a に加算し、新しいf a とする加算サブステップと、
前記形状ベクトルのk番目の要素p k を、p k =f a /bとする除算サブステップと、
kに1を加算し、新しいkとする更新ステップと、
を有し、
前記加算サブステップと前記除算サブステップと前記更新ステップを、p 1 ,…,p K (ただし、Kは形状ベクトルのベクトル長)のすべてを求めるまで繰り返す、
ことを特徴とする復号方法。 A decoding method for decoding a code composed of a shape code indicating a shape vector and a gain code indicating a gain,
A decomposing step of decomposing the input code into a shape code and a gain code;
A weighted shape decoding step of converting the shape code into a weighted shape vector using a weighted shape codebook;
A weighting removal calculating step of removing weights of the weighted shape vector and outputting the shape vector;
A gain decoding step of converting the gain code into a gain;
A multiplication step of multiplying the shape vector and the gain and outputting a decoded signal ,
The weighting removal calculating step includes:
an initialization sub-step with k = 1 and f a = 0;
An adding substep of component k f k of the weighted shape vector is added to f a, the new f a,
A division sub-step in which the k-th element p k of the shape vector is set to p k = f a / b;
an update step of adding 1 to k to give a new k;
Have
The addition sub-step, the division sub-step and the update step are repeated until all of p 1 ,..., P K (where K is the vector length of the shape vector) is obtained.
A decoding method characterized by the above .
前記重み付き形状符号帳が、符号化するときに用いる重み付き形状符号帳と同一である
ことを特徴とする復号方法。 The decoding method according to claim 1 or 2, comprising:
The decoding method according to claim 1, wherein the weighted shape codebook is the same as the weighted shape codebook used for encoding.
品質拡張符号を復号して再生品質拡張信号を出力する品質拡張復号ステップとして、請求項1から3のいずれかに記載の復号方法の各ステップを有し、さらに、
基本符号を復号して再生基本信号を出力する基本復号ステップと、
前記再生基本信号と前記再生品質拡張信号とを加算して、再生信号を出力する加算ステップと
を有する復号方法。 A code encoded by the first encoding method (hereinafter referred to as a “basic code”) and a code obtained by encoding an error generated by the encoding by the first encoding method by the second encoding method ( Hereinafter, a decoding method for decoding “quality extension code”),
The quality extension decoding step of decoding a quality extension code and outputting a reproduction quality extension signal includes the steps of the decoding method according to any one of claims 1 to 3 ,
A basic decoding step of decoding a basic code and outputting a reproduced basic signal;
A decoding method comprising: an addition step of adding the reproduction basic signal and the reproduction quality extension signal to output a reproduction signal.
形状符号と重み付き形状ベクトルとを対応させる重み付き形状符号帳と、
前記形状符号を、前記重み付き形状符号帳を用いて重み付き形状ベクトルに変換する重み付き形状復号部と、
前記重み付き形状ベクトルの重みを除去し、形状ベクトルを出力する重み付け除去演算部と、を有し、
前記重み付け除去演算部は、
k=1、f a =0とする初期化手段と、
前記重み付き形状ベクトルのk番目の要素f k をf a に加算し、新しいf a とする加算手段と、
前記形状ベクトルのk番目の要素p k を、p k =f a /bとする除算手段と、
kに1を加算し、新しいkとする更新手段と、
を有し、
前記加算手段と前記除算手段と前記更新手段に、p 1 ,…,p K (ただし、Kは形状ベクトルのベクトル長)のすべてを求めるまで繰り返えし処理させる、
ことを特徴とする復号器。 A decoder for decoding a shape code indicating a shape vector,
A weighted shape codebook that associates shape codes with weighted shape vectors;
A weighted shape decoding unit that converts the shape code into a weighted shape vector using the weighted shape codebook;
A weight removal operation unit that removes the weight of the weighted shape vector and outputs the shape vector ;
The weight removal operation unit
initialization means for k = 1 and f a = 0;
Adding means for the k-th element f k of the weighted shape vector is added to f a, the new f a,
A dividing means for setting the k-th element p k of the shape vector to p k = f a / b;
an updating means for adding 1 to k and setting it as a new k;
Have
The adding means, the dividing means, and the updating means are repeatedly processed until all of p 1 ,..., P K (where K is the vector length of the shape vector) are obtained.
A decoder characterized by that.
入力された符号を、形状符号と利得符号に分解する分解部と、
形状符号と重み付き形状ベクトルとを対応させる重み付き形状符号帳と、
前記形状符号を、前記重み付き形状符号帳を用いて重み付き形状ベクトルに変換する重み付き形状復号部と、
前記重み付き形状ベクトルの重みを除去し、形状ベクトルを出力する重み付け除去演算部と、
利得符号と利得とを対応させる利得符号帳と、
前記利得符号を、前記利得符号帳を用いて利得に変換する利得復号部と、
前記形状ベクトルと前記利得とを乗算して再生品質拡張信号を出力する乗算部と、を有し、
前記重み付け除去演算部は、
k=1、f a =0とする初期化手段と、
前記重み付き形状ベクトルのk番目の要素f k をf a に加算し、新しいf a とする加算手段と、
前記形状ベクトルのk番目の要素p k を、p k =f a /bとする除算手段と、
kに1を加算し、新しいkとする更新手段と、
を有し、
前記加算手段と前記除算手段と前記更新手段に、p 1 ,…,p K (ただし、Kは形状ベクトルのベクトル長)のすべてを求めるまで繰り返えし処理させる、
ことを特徴とする復号器。 A decoder for decoding a code composed of a shape code indicating a shape vector and a gain code indicating a gain,
A decomposition unit that decomposes the input code into a shape code and a gain code;
A weighted shape codebook that associates shape codes with weighted shape vectors;
A weighted shape decoding unit that converts the shape code into a weighted shape vector using the weighted shape codebook;
Removing a weight of the weighted shape vector and outputting a shape vector;
A gain codebook that associates the gain code with the gain;
A gain decoding unit that converts the gain code into a gain using the gain codebook;
A multiplication unit that multiplies the shape vector and the gain to output a reproduction quality extension signal ;
The weight removal operation unit
initialization means for k = 1 and f a = 0;
Adding means for the k-th element f k of the weighted shape vector is added to f a, the new f a,
A dividing means for setting the k-th element p k of the shape vector to p k = f a / b;
an updating means for adding 1 to k and setting it as a new k;
Have
The adding means, the dividing means, and the updating means are repeatedly processed until all of p 1 ,..., P K (where K is the vector length of the shape vector) are obtained.
A decoder characterized by that.
前記重み付き形状符号帳が、符号化するときに用いる重み付き形状符号帳と同一である
ことを特徴とする復号器。 The decoder according to claim 5 or 6 , comprising:
The decoder according to claim 1, wherein the weighted shape codebook is the same as the weighted shape codebook used for encoding.
品質拡張符号を復号して再生品質拡張信号を出力する品質拡張復号器として、請求項5から7のいずれかに記載の復号器を備え、さらに、
基本符号を復号して再生基本信号を出力する基本復号器と、
前記再生基本信号と前記再生品質拡張信号とを加算して、再生信号を出力する加算部と
を有する、
復号装置。 A code encoded by the first encoding method (hereinafter referred to as a “basic code”) and a code obtained by encoding an error generated by the encoding by the first encoding method by the second encoding method ( Hereinafter, it is a decoding apparatus that decodes “quality extension code”),
A decoder according to any one of claims 5 to 7 , comprising a decoder according to any one of claims 5 to 7 , as a quality extension decoder for decoding a quality extension code and outputting a reproduction quality extension signal.
A basic decoder for decoding a basic code and outputting a reproduced basic signal;
An adder that adds the reproduction basic signal and the reproduction quality extension signal and outputs a reproduction signal;
Decoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007134457A JP4638895B2 (en) | 2007-05-21 | 2007-05-21 | Decoding method, decoder, decoding device, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007134457A JP4638895B2 (en) | 2007-05-21 | 2007-05-21 | Decoding method, decoder, decoding device, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008289085A JP2008289085A (en) | 2008-11-27 |
JP4638895B2 true JP4638895B2 (en) | 2011-02-23 |
Family
ID=40148355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007134457A Active JP4638895B2 (en) | 2007-05-21 | 2007-05-21 | Decoding method, decoder, decoding device, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4638895B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100598835B1 (en) * | 2000-03-28 | 2006-07-11 | 주식회사 만도 | Shock absorber with extension part |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006119301A (en) * | 2004-10-20 | 2006-05-11 | Nippon Telegr & Teleph Corp <Ntt> | Speech encoding method, wideband speech encoding method, speech encoding system, wideband speech encoding system, speech encoding program, wideband speech encoding program, and recording medium with these programs recorded thereon |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4977471B2 (en) * | 2004-11-05 | 2012-07-18 | パナソニック株式会社 | Encoding apparatus and encoding method |
-
2007
- 2007-05-21 JP JP2007134457A patent/JP4638895B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006119301A (en) * | 2004-10-20 | 2006-05-11 | Nippon Telegr & Teleph Corp <Ntt> | Speech encoding method, wideband speech encoding method, speech encoding system, wideband speech encoding system, speech encoding program, wideband speech encoding program, and recording medium with these programs recorded thereon |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100598835B1 (en) * | 2000-03-28 | 2006-07-11 | 주식회사 만도 | Shock absorber with extension part |
Also Published As
Publication number | Publication date |
---|---|
JP2008289085A (en) | 2008-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4950040B2 (en) | Method and apparatus for encoding and decoding multi-channel audio signals | |
JP5143193B2 (en) | Spectrum envelope information quantization apparatus, spectrum envelope information decoding apparatus, spectrum envelope information quantization method, and spectrum envelope information decoding method | |
TW412719B (en) | Method and apparatus for reproducing speech signals and method for transmitting same | |
US7848932B2 (en) | Stereo encoding apparatus, stereo decoding apparatus, and their methods | |
JP4958780B2 (en) | Encoding device, decoding device and methods thereof | |
JPH11249698A (en) | Encoding device and decoding device for sound musical signal | |
JPH09127996A (en) | Voice decoding method and device therefor | |
JPS60116000A (en) | Voice encoding system | |
JP2010521012A (en) | Speech coding system and method | |
KR20060135699A (en) | Signal decoding apparatus and signal decoding method | |
JP3236592B2 (en) | Speech coding method for use in a digital speech coder | |
KR20070090217A (en) | Scalable encoding apparatus and scalable encoding method | |
JP5923517B2 (en) | Improved coding of improved stages in hierarchical encoders. | |
JP3472279B2 (en) | Speech coding parameter coding method and apparatus | |
JP4638895B2 (en) | Decoding method, decoder, decoding device, program, and recording medium | |
JP3905706B2 (en) | Speech coding apparatus, speech processing apparatus, and speech processing method | |
JP2005091749A (en) | Device and method for encoding sound source signal | |
JP2003332914A (en) | Encoding method for digital signal, decoding method therefor, apparatus for the methods and program thereof | |
JP4574320B2 (en) | Speech coding method, wideband speech coding method, speech coding apparatus, wideband speech coding apparatus, speech coding program, wideband speech coding program, and recording medium on which these programs are recorded | |
JP2004302259A (en) | Hierarchical encoding method and hierarchical decoding method for sound signal | |
KR100341398B1 (en) | Codebook searching method for CELP type vocoder | |
JP4373693B2 (en) | Hierarchical encoding method and hierarchical decoding method for acoustic signals | |
JP3453116B2 (en) | Audio encoding method and apparatus | |
JP2005114814A (en) | Method, device, and program for speech encoding and decoding, and recording medium where same is recorded | |
JP2002132300A (en) | Speech encoding method, speech decoding method and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101116 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4638895 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |