JP5270025B2 - Parameter decoding apparatus and parameter decoding method - Google Patents
Parameter decoding apparatus and parameter decoding method Download PDFInfo
- Publication number
- JP5270025B2 JP5270025B2 JP2012191612A JP2012191612A JP5270025B2 JP 5270025 B2 JP5270025 B2 JP 5270025B2 JP 2012191612 A JP2012191612 A JP 2012191612A JP 2012191612 A JP2012191612 A JP 2012191612A JP 5270025 B2 JP5270025 B2 JP 5270025B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- decoding
- parameter
- code
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
- G10L19/07—Line spectrum pair [LSP] vocoders
Abstract
Description
本発明は、予測器を用いて符号化されたパラメータを復号するパラメータ復号装置およびパラメータ復号方法に関する。 The present invention relates to a parameter decoding apparatus and a parameter decoding method for decoding parameters encoded using a predictor.
ITU−T勧告G.729や3GPP AMRなどの音声コーデックでは、音声信号を分析して得られるパラメータの一部を移動平均 (Moving Average(MA))予測モデルに基づく予測量子化方法で量子化している(特許文献1、非特許文献1、非特許文献2)。MA型予測量子化器は過去の量子化予測残差の線形和で現在の量子化対象パラメータを予測するモデルであり、符号励振線形予測(Code Excited Linear Prediction(CELP))型の音声コーデックでは、線スペクトル周波数(Line Spectral Frequency(LSF))パラメータや、エネルギパラメータの予測に用いられている。
ITU-T Recommendation G. In speech codecs such as 729 and 3GPP AMR, some parameters obtained by analyzing speech signals are quantized by a predictive quantization method based on a moving average (MA) prediction model (
MA型予測量子化器は、過去有限フレーム数における量子化予測残差の重み付け線形和で予測が行われるため、量子化情報に伝送路誤りがあってもその影響が及ぶのは有限フレーム数に限定される。一方、過去の復号パラメータを再帰的に用いる自己回帰(Auto Regressive(AR))型予測量子化器では、一般に高い予測利得、量子化性能が得られるものの、誤りの影響が長時間に及ぶ。このため、MA型予測のパラメータ量子化器は、AR型予測のパラメータ量子化器に比べて高い誤り耐性を実現することができ、特に移動通信用の音声コーデックなどに用いられている。 Since the MA type predictive quantizer performs prediction with a weighted linear sum of quantized prediction residuals in the past finite number of frames, even if there is a transmission path error in the quantization information, the influence is limited to the number of finite frames. Limited. On the other hand, in an auto-regressive (AR) type predictive quantizer that uses past decoding parameters recursively, generally, a high prediction gain and quantization performance can be obtained, but the influence of errors extends for a long time. For this reason, the parameter quantizer for MA type prediction can realize higher error tolerance than the parameter quantizer for AR type prediction, and is used particularly for speech codecs for mobile communications.
ここで、従来から、復号側においてフレームが消失した場合のパラメータ補償方法について検討されている。一般的には、消失したフレームのパラメータの代わりに、当該フレームの前のフレームのパラメータを利用して補償を行う。ただし、LSFパラメータの場合には、徐々に平均的なLSFに近づけたり、エネルギパラメータの場合は徐々に減衰させたり、という手法により消失フレーム前のパラメータを少しずつ修正して利用することもある。 Here, conventionally, a parameter compensation method when a frame is lost on the decoding side has been studied. In general, compensation is performed using the parameters of the previous frame instead of the parameters of the lost frame. However, in the case of the LSF parameter, the parameter before the lost frame may be modified little by little by using a method of gradually approaching the average LSF or gradually decreasing in the case of the energy parameter.
MA型予測器を利用した量子化器においても、通常この手法が用いられ、LSFパラメータの場合には補償フレームにおいて生成されたパラメータが復号されるような量子化予測残差を生成してMA型予測器の状態を更新する処理が行われ(非特許文献1)、エネルギパラメータの場合には過去の量子化予測残差の平均値を一定の割合で減衰させたものを用いてMA型予測器の状態を更新する処理が行われる(特許文献2、非特許文献1)。
This method is usually used also in a quantizer using an MA type predictor, and in the case of an LSF parameter, a quantized prediction residual is generated so that a parameter generated in a compensation frame is decoded to generate an MA type. A process for updating the state of the predictor is performed (Non-Patent Document 1). In the case of energy parameters, an MA type predictor is used by using an average value of past quantized prediction residuals attenuated at a certain rate. The process of updating the state is performed (
また、消失フレーム後の復帰フレーム(正常フレーム)の情報が得られてから、消失フレームのパラメータを内挿する手法もある。例えば、特許文献3では、ピッチゲインの内挿を行い、適応符号帳の内容を生成しなおす手法が提案されている。
There is also a method of interpolating the parameters of the lost frame after information on the return frame (normal frame) after the lost frame is obtained. For example,
消失フレームのパラメータを内挿する手法は、予測量子化が行われていない場合に用いられるが、予測量子化が行われている場合には、消失フレーム直後のフレームにおいて符号化情報が正しく受信されても予測器が直前フレームの誤りの影響を受けてしまい正しい復号結果を得ることができないので、一般的に用いられない。 The method of interpolating the parameters of the lost frame is used when predictive quantization is not performed, but when predictive quantization is performed, the encoded information is correctly received in the frame immediately after the lost frame. However, since the predictor is affected by the error in the previous frame and cannot obtain a correct decoding result, it is not generally used.
このように、従来のMA型予測器を用いるパラメータ量子化装置では、内挿的な手法による消失フレームのパラメータの補償処理を行っていないため、例えばエネルギパラメータについて減衰のさせすぎなどによる音切れが起こり、主観品質の劣化要因となる場合がある。 As described above, the parameter quantization apparatus using the conventional MA type predictor does not perform the compensation process of the parameters of the lost frame by the interpolation method. May occur and may be a cause of deterioration of subjective quality.
また、予測量子化が行われている場合に、復号量子化予測残差を単純に内挿補間することによりパラメータを復号する方法も考えられるが、復号量子化予測残差は大きく変動しても復号パラメータは重み付け移動平均によりフレーム間で緩やかに変動するのに対し、この方法では、復号量子化予測残差の変動に伴って復号パラメータも変動してしまうため、復号量子化予測残差の変動が大きい場合に、かえって主観品質の劣化を大きくしてしまう。 In addition, when predictive quantization is performed, a method of decoding parameters by simply interpolating the decoded quantized prediction residual may be considered, but even if the decoded quantized predictive residual fluctuates greatly, While the decoding parameter varies gradually between frames due to the weighted moving average, in this method, the decoding parameter also varies with the variation of the decoded quantization prediction residual. On the other hand, the deterioration of the subjective quality is increased.
本発明の目的は、かかる点に鑑みてなされたものであり、予測量子化が行われている場合において、主観品質の劣化を抑えるようにパラメータの補償処理を行うことができるパラメータ復号装置およびパラメータ復号方法を提供することである。 An object of the present invention has been made in view of such points, and in the case where predictive quantization is performed, a parameter decoding apparatus and a parameter that can perform parameter compensation processing so as to suppress deterioration of subjective quality It is to provide a decoding method.
本発明の一態様に係るパラメータ復号装置は、復号対象の現在フレームに含まれる符号化情報に基づいて量子化予測残差を求める予測残差復号手段と、前記量子化予測残差に基づいてパラメータを復号するパラメータ復号手段と、を具備し、前記予測残差復号手段は、前記現在フレームが消失した場合、過去に復号されたパラメータおよび未来フレームの量子化予測残差の重み付け線形和により現在フレームの量子化予測残差を求める、構成を採る。 A parameter decoding apparatus according to an aspect of the present invention includes a prediction residual decoding unit that obtains a quantized prediction residual based on coding information included in a current frame to be decoded, and a parameter based on the quantized prediction residual. Parameter decoding means for decoding the current frame, the prediction residual decoding means, when the current frame is lost, the weighted linear sum of the parameter decoded in the past and the quantized prediction residual of the future frame A configuration for obtaining the quantized prediction residual of is taken.
また、本発明の一態様に係るパラメータ符号化装置は、入力信号を分析して分析パラメータを求める分析手段と、予測係数を用いて前記分析パラメータを予測し、予測残差を量子化して得られる量子化予測残差と前記予測係数とを用いて量子化パラメータを得る符号化手段と、重み付け係数のセットを複数格納し、現在フレームの前記量子化予測残差、2フレーム過去の前記量子化予測残差、および、2フレーム過去の前記量子化パラメータに対し、前記重み付け係数のセットを用いて重み付き和を求め、前記重み付き和を用いて1フレーム過去の前記量子化パラメータを複数求める前フレーム補償手段と、前記前フレーム補償手段で求めた複数の前記1フレーム過去の前記量子化パラメータを、1フレーム過去に前記分析手段により求められた前記分析パラメータと比較して、前記1フレーム過去の前記量子化パラメータを一つ選択し、選択された前記1フレーム過去の前記量子化パラメータに対応する重み付け係数セットを選択して符号化する判定手段を、を具備する構成を採る。 The parameter encoding apparatus according to an aspect of the present invention is obtained by analyzing an input signal to obtain an analysis parameter, predicting the analysis parameter using a prediction coefficient, and quantizing the prediction residual Coding means for obtaining a quantization parameter using a quantized prediction residual and the prediction coefficient, a plurality of sets of weighting coefficients are stored, the quantized prediction residual of the current frame, and the quantized prediction of two frames past For the residual and the quantization parameter in the past two frames, obtain a weighted sum using the set of weighting coefficients, and use the weighted sum to obtain a plurality of quantization parameters in the past one frame. Compensation means and a plurality of the quantization parameters in the past of one frame obtained by the previous frame compensation means are obtained by the analysis means in the past of one frame. A determination to select one of the quantization parameters in the past of one frame and to select and encode a weighting coefficient set corresponding to the selected quantization parameter in the past of the one frame compared with the analysis parameter; The structure which comprises a means is taken.
また、本発明の一態様に係るパラメータ復号方法は、復号対象の現在フレームに含まれる符号化情報に基づいて量子化予測残差を求める予測残差復号工程と、前記量子化予測残差に基づいてパラメータを復号するパラメータ復号工程と、を具備し、前記予測残差復号工程では、前記現在フレームが消失した場合、過去に復号されたパラメータおよび未来フレームの量子化予測残差の重み付け線形和により現在フレームの量子化予測残差を求める、方法を採る。 The parameter decoding method according to an aspect of the present invention includes a prediction residual decoding step for obtaining a quantized prediction residual based on coding information included in a current frame to be decoded, and the quantized prediction residual. A parameter decoding step for decoding parameters, and in the prediction residual decoding step, when the current frame is lost, a weighted linear sum of a parameter decoded in the past and a quantized prediction residual of a future frame is obtained. A method for obtaining the quantized prediction residual of the current frame is adopted.
本発明によれば、予測量子化が行われている場合において、現在フレームが消失した場合、過去に復号されたパラメータ、過去フレームの量子化予測残差および未来フレームの量子化予測残差の重み付け線形和により現在フレームの量子化予測残差を求めることにより、主観品質の劣化を抑えるようにパラメータの補償処理を行うことができる。 According to the present invention, when predictive quantization is performed, if the current frame is lost, the weights of previously decoded parameters, quantized prediction residuals of past frames, and quantized prediction residuals of future frames are weighted. By obtaining the quantized prediction residual of the current frame by a linear sum, it is possible to perform parameter compensation processing so as to suppress deterioration in subjective quality.
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下の各実施の形態においては、本発明のパラメータ復号装置/パラメータ符号化装置を、それぞれCELP型の音声復号装置/音声符号化装置に適用する場合を例に説明を行う。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In each of the following embodiments, a case where the parameter decoding apparatus / parameter encoding apparatus of the present invention is applied to a CELP speech decoding apparatus / speech encoding apparatus will be described as an example.
(実施の形態1)
図1は、本発明の実施の形態1に係る音声復号装置の主要な構成を示すブロック図である。図1に示す音声復号装置100において、図示しない符号化装置から伝送された符号化情報は、多重分離部101により固定符号帳符号Fn+1、適応符号帳符号An+1、利得符号Gn+1、およびLPC(線形予測係数:Linear Prediction Coefficients)符号Ln+1に分離される。別途、音声復号装置100には、フレーム消失符号Bn+1が入力される。ここで各符号の添え字nは、復号対象のフレーム番号を表す。すなわち、図1では、復号対象の第nフレーム(以下、「現フレーム」という)の次の第(n+1)フレーム(以下、「次フレーム」という)における符号化情報を分離している。
(Embodiment 1)
FIG. 1 is a block diagram showing the main configuration of the speech decoding apparatus according to
固定符号帳符号Fn+1は固定符号帳ベクトル(Fixed Codebook Vector(FCV))復号部102に、適応符号帳符号An+1は適応符号帳ベクトル(Adaptive Codebook Vector(ACV))復号部103に、利得符号Gn+1は利得復号部104に、LPC符号Ln+1はLPC復号部105に、それぞれ入力される。また、フレーム消失符号Bn+1は、FCV復号部102、ACV復号部103、利得復号部104、およびLPC復号部105の全てに入力される。
The fixed codebook code F n + 1 is supplied to the fixed codebook vector (FCV)
FCV復号部102は、フレーム消失符号Bnが「第nフレームは正常フレームである」ことを示している場合には固定符号帳符号Fnを用いて固定符号帳ベクトルを生成し、フレーム消失符号Bnが「第nフレームは消失フレームである」ことを示している場合にはフレーム消失補償(隠蔽)処理によって固定符号帳ベクトルを生成する。生成された固定符号帳ベクトルは、利得復号部104及び増幅器106に入力される。
When the frame erasure code B n indicates that “the nth frame is a normal frame”, the
ACV復号部103は、フレーム消失符号Bnが「第nフレームは正常フレームである」ことを示している場合には適応符号帳符号Anを用いて適応符号帳ベクトルを生成し、フレーム消失符号Bnが「第nフレームは消失フレームである」ことを示している場合にはフレーム消失補償(隠蔽)処理によって適応符号帳ベクトルを生成する。生成された適応符号帳ベクトルは、増幅器107に入力される。
利得復号部104は、フレーム消失符号Bnが「第nフレームは正常フレームである」ことを示している場合には利得符号Gn及び固定符号帳ベクトルを用いて固定符号帳利得と適応符号帳利得を生成し、フレーム消失符号Bnが「第nフレームは消失フレームである」ことを示している場合にはフレーム消失補償(隠蔽)処理によって固定符号帳利得と適応符号帳利得とを生成する。生成された固定符号帳利得は増幅器106に入力され、生成された適応符号帳利得は増幅器107に入力される。
When the frame erasure code B n indicates that “the nth frame is a normal frame”, the
LPC復号部105は、フレーム消失符号Bnが「第nフレームは正常フレームである」ことを示している場合にはLPC符号Lnを用いてLPCパラメータを復号し、フレーム消失符号Bnが「第nフレームは消失フレームである」ことを示している場合にはフレーム消失補償(隠蔽)処理によってLPCパラメータを復号する。復号された復号LPCパラメータは、LPC合成部109に入力される。なお、LPC復号部105の詳細については後述する。
When the frame erasure code B n indicates that “the nth frame is a normal frame”, the
増幅器106は、利得復号部104から出力された固定符号帳利得をFCV復号部102から出力された固定符号帳ベクトルに乗算し、乗算結果を加算器108に出力する。増幅器107は、利得復号部104から出力された適応符号帳利得をACV復号部103から出力された適応符号帳ベクトルに乗算し、乗算結果を加算器108に出力する。加算器108は、増幅器106から出力された固定符号帳利得乗算後の固定符号帳ベクトルと増幅器107から出力された適応符号帳利得乗算後の適応符号帳ベクトルとを加算し、加算結果(以下、「和ベクトル」という)をLPC合成部109に出力する。
LPC合成部109は、LPC復号部105から出力された復号LPCパラメータを用いて線形予測合成フィルタを構成し、加算器108から出力された和ベクトルを駆動信号として線形予測合成フィルタを駆動し、駆動の結果得られた合成信号をポストフィルタ110に出力する。ポストフィルタ110は、LPC合成部109から出力された合成信号にホルマント強調やピッチ強調処理等を行い、復号音声信号として出力する。
The
次に、本実施の形態に係るパラメータの補償処理の詳細について、LPCパラメータを補償する場合を例に説明する。図2は、図1中のLPC復号部105の内部構成を示す図である。
Next, details of the parameter compensation processing according to the present embodiment will be described using an example in which LPC parameters are compensated. FIG. 2 is a diagram showing an internal configuration of the
LPC符号Ln+1はバッファ201およびコードベクトル復号部203に入力され、フレーム消失符号Bn+1はバッファ202、コードベクトル復号部203および選択器209に入力される。
The LPC code L n + 1 is input to the
バッファ201は、次フレームのLPC符号Ln+1を1フレームの間保持し、コードベクトル復号部203に出力する。バッファ201からコードベクトル復号部203に出力されるLPC符号は、バッファ201で1フレームの間保持された結果、現フレームのLPC符号Lnとなる。
The
バッファ202は、次フレームのフレーム消失符号Bn+1を1フレームの間保持し、コードベクトル復号部203に出力する。バッファ202からコードベクトル復号部203に出力されるフレーム消失符号は、バッファ202で1フレームの間保持された結果、現フレームのフレーム消失符号Bnとなる。
The
コードベクトル復号部203は、過去Mフレームの量子化予測残差ベクトルxn-1〜xn-M、1フレーム前の復号LSFベクトルyn-1、次フレームのLPC符号Ln+1、次フレームのフレーム消失符号Bn+1、現フレームのLPC符号Lnおよび現フレームのフレーム消失符号Bnを入力し、これらの情報に基づいて現フレームの量子化予測残差ベクトルxnを生成し、バッファ204−1および増幅器205−1に出力する。なお、コードベクトル復号部203の詳細については後述する。
The code
バッファ204−1は、現フレームの量子化予測残差ベクトルxnを1フレームの間保持し、コードベクトル復号部203、バッファ204−2、および増幅器205−2に出力する。これらに入力される量子化予測残差ベクトルは、バッファ204−1で1フレームの間保持された結果、1フレーム前の量子化予測残差ベクトルxn-1となる。同様に、バッファ204−i(iは2からM−1)は、それぞれ、量子化予測残差ベクトルxn-j+1を1フレームの間保持し、コードベクトル復号部203、バッファ204−(i+1)、および増幅器205−(i+1)に出力する。バッファ204−Mは、量子化予測残差ベクトルxn-M+1を1フレームの間保持し、コードベクトル復号部203および増幅器205−(M+1)に出力する。
The buffer 204-1 holds the quantized prediction residual vector xn of the current frame for one frame, and outputs it to the code
増幅器205−1は、量子化予測残差ベクトルxnに所定のMA予測係数α0を乗じて加算器206に出力する。同様に、増幅器205−j(jは2からM+1)は、量子化予測残差ベクトルxn-j+1に所定のMA予測係数αj-1を乗じて加算器206に出力する。なお、MA予測係数のセットは一種類の固定値であっても良いが、ITU−T勧告G.729では2種類のセットが用意されており、どちらのセットを用いて復号を行うかは符号器側で決定され、LPC符号Lnの情報の一部として符号化され、伝送される。この場合、LPC復号部105は、MA予測係数のセットをテーブルとして備えており、符号器側で指定されたセットを図2中のα0〜αMとして用いる構成となる。
The amplifier 205-1 multiplies the quantized prediction residual vector x n by a predetermined MA prediction coefficient α 0 and outputs the result to the
加算器206は、各増幅器205−1〜205−(M+1)から出力されたMA予測係数乗算後の量子化予測残差ベクトルの総和を計算し、計算結果である復号LSFベクトルynをバッファ207およびLPC変換部208に出力する。
The
バッファ207は、復号LSFベクトルynを1フレームの間保持し、コードベクトル復号部203に出力する。この結果、バッファ207からコードベクトル復号部203に出力される復号LSFベクトルは、1フレーム前の復号LSFベクトルyn-1となる。
The
LPC変換部208は、復号LSFベクトルynを線形予測係数(復号LPCパラメータ)に変換し、選択器209に出力する。
選択器209は、現フレームのフレーム消失符号Bnおよび次フレームのフレーム消失符号Bn+1に基づいてLPC変換部208から出力された復号LPCパラメータあるいはバッファ210から出力された前フレームにおける復号LPCパラメータのいずれかを選択する。具体的には、現フレームのフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示している場合、あるいは、次フレームのフレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示している場合にはLPC変換部208から出力された復号LPCパラメータを選択し、現フレームのフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示している場合、かつ、次フレームのフレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示している場合にはバッファ210から出力された前フレームにおける復号LPCパラメータを選択する。そして、選択器209は、選択結果を最終的な復号LPCパラメータとしてLPC合成部109およびバッファ210に出力する。なお、選択器209がバッファ210から出力された前フレームにおける復号LPCパラメータを選択する場合、実際にはコードベクトル復号部203からLPC変換部208までの処理を全て行う必要はなく、バッファ204−1〜204−Mの内容を更新する処理だけを行えばよい。
The
バッファ210は、選択器209から出力された復号LPCパラメータを1フレームの間保持し、選択器209に出力する。この結果、バッファ210から選択器209に出力される復号LPCパラメータは、1フレーム前の復号LPCパラメータとなる。
The
次に、図2中のコードベクトル復号部203の内部構成について、図3のブロック図を用いて詳細に説明する。
Next, the internal configuration of the code
コードブック301は、現フレームのLPC符号Lnによって特定されるコードベクトルを生成して切替スイッチ309へ出力するとともに、次フレームのLPC符号Ln+1によって特定されるコードベクトルを生成して増幅器307に出力する。なお、既に述べたように、ITU−T勧告G.729ではLPC符号LnにMA予測係数セットを特定する情報も含まれており、この場合、LPC符号Lnはコードベクトルの復号のほかにMA予測係数の復号にも使用されるが、ここでは説明を省略する。また、コードブックは多段構成であったり、スプリット構成であったりする。例えばITU−T勧告G.729では2段構成で、2段目が2つに分割(スプリット)された符号帳構成である。また、多段構成や分割構成のコードブックから出力されるベクトルは、通常そのまま用いられずに次数間の間隔が極端に狭かったり、順序が逆転しているような場合は最小間隔を特定値になることを保証したり、順序性を保ったりする処理が一般的に行われる。
The
過去Mフレームの量子化予測残差ベクトルxn-1〜xn-Mは、対応する増幅器302−1〜302−M、および、対応する増幅器305−1〜305−Mにそれぞれ入力される。 The quantized prediction residual vectors x n-1 to x nM of the past M frames are input to the corresponding amplifiers 302-1 to 302-M and the corresponding amplifiers 305-1 to 305-M, respectively.
増幅器302−1〜302−Mは、それぞれ、入力した量子化予測残差ベクトルxn-1〜xn-MにMA予測係数α1〜αMを乗算し、加算器303に出力する。なお、前述したように、ITU−T勧告G.729の場合、MA予測係数のセットが2種類あり、どちらを用いるのかという情報はLPC符号Lnに含まれている。また、これら乗算が行われる消失フレームでは、LPC符号Lnが消失しているため、実際には前フレームで使用したMA予測係数セットが用いられる。すなわち、前フレームのLPC符号Ln−1から復号されたMA予測係数セット情報を用いる。また、前フレームも消失フレームである場合はさらにその前のフレームの情報を用いる。
The amplifiers 302-1 to 302-M multiply the input quantized prediction residual vectors x n−1 to x nM by MA prediction coefficients α 1 to α M and output the result to the
加算器303は、増幅器302−1〜302−Mから出力されたMA予測係数乗算後の各量子化予測残差ベクトルの総和を計算し、計算結果であるベクトルを加算器304に出力する。加算器304は、バッファ207から出力された前フレームの復号LSFベクトルyn-1から、加算器303から出力されたベクトルを減算し、計算結果であるベクトルを切替スイッチ309に出力する。
The
加算器303から出力されるベクトルは現フレームにおいてMA型予測器によって予測された予測LSFベクトルであり、加算器304は前フレームの復号LSFベクトルが生成されるために必要な現フレームにおける量子化予測残差ベクトルを求める処理を行っている。すなわち、増幅器302−1〜302−M、加算器303および加算器304では、前フレームの復号LSFベクトルyn-1が現フレームの復号LSFベクトルynとなるようにベクトルを計算している。
The vector output from the
増幅器305−1〜305−Mは、それぞれ、入力した量子化予測残差ベクトルxn-1〜xn-Mに重み付け係数β1〜βMを乗算し、加算器308に出力する。増幅器306は、バッファ207から出力された前フレームの復号LSFベクトルyn-1に重み付け係数β-1を乗算し、加算器308に出力する。増幅器307は、コードブック301から出力されたコードベクトルxn+1に重み付け係数β0を乗算し、加算器308に出力する。
The amplifiers 305-1 to 305-M multiply the input quantized prediction residual vectors x n-1 to x nM by weighting coefficients β 1 to β M and output the result to the
加算器308は、増幅器305−1〜305−M、増幅器306および増幅器307から出力されたベクトルの総和を計算し、計算結果であるコードベクトルを切替スイッチ309に出力する。すなわち、加算器308は、次フレームのLPC符号Ln+1によって特定されるコードベクトル、前フレームの復号LSFベクトル、および過去Mフレームの量子化予測残差ベクトルを重み付け加算することによりベクトルを計算している。
The
切替スイッチ309は、現フレームのフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示す場合にはコードブック301から出力されたコードベクトルを選択し、これを現フレームの量子化予測残差ベクトルxnとして出力する。一方、切替スイッチ309は、現フレームのフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示す場合には、次フレームのフレーム消失符号Bn+1がどちらの情報を有しているかによって、出力するベクトルをさらに選択する。
When the frame erasure code Bn of the current frame indicates that “the nth frame is a normal frame”, the
すなわち、次フレームのフレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示す場合には、切替スイッチ309は、加算器304から出力されたベクトルを選択し、これを現フレームの量子化予測残差ベクトルxnとして出力する。なお、この場合、コードブック301および増幅器305−1〜305−Mから加算器308までのベクトルを生成する過程の処理は行う必要がない。
That is, when the frame erasure code B n + 1 of the next frame indicates that “the (n + 1) th frame is a erasure frame”, the
また、次フレームのフレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示す場合には、切替スイッチ309は、加算器308から出力されたベクトルを選択し、これを現フレームの量子化予測残差ベクトルxnとして出力する。なお、この場合、増幅器302−1〜302−Mから加算器304までのベクトルを生成する過程の処理は行う必要がない。
Also, when the frame erasure code B n + 1 of the next frame indicates that “the (n + 1) th frame is a normal frame”, the
このように、本実施の形態によれば、現フレームが消失した場合に、次のフレームが正常に受信されていれば、過去に復号されたパラメータ、過去に受信されたフレームの量子化予測残差および未来のフレームの量子化予測残差を利用した補償処理専用の重み付け加算処理(重み付け線形和)によって現フレームのLSFパラメータの復号量子化予測残差の補償処理を行い、補償した量子化予測残差を用いてLSFパラメータの復号を行う。これにより、過去の復号LSFパラメータを繰り返し利用するよりも高い補償性能を実現することができる。 As described above, according to the present embodiment, when the current frame is lost, if the next frame is normally received, the parameters decoded in the past and the quantized prediction residual of the frame received in the past are stored. Compensated quantized prediction by performing compensation processing of the decoded quantized prediction residual of the LSF parameter of the current frame by weighted addition processing (weighted linear sum) dedicated to compensation processing using the difference and the quantized prediction residual of the future frame The LSF parameter is decoded using the residual. As a result, it is possible to realize higher compensation performance than repeatedly using past decoded LSF parameters.
以下、本実施の形態の補償処理を行った結果について、図4から図7を用いて、従来技術と比較する形で具体例を挙げて説明する。なお、図4から図7において、○は復号量子化予測残差を、●は補償処理により得られた復号量子化予測残差を、◇は復号パラメータを、◆は補償処理により得られた復号パラメータを、それぞれ示す。 Hereinafter, the result of performing the compensation processing of the present embodiment will be described with reference to specific examples using FIGS. 4 to 7 in comparison with the prior art. In FIGS. 4 to 7, ◯ indicates a decoded quantized prediction residual, ● indicates a decoded quantized prediction residual obtained by compensation processing, ◇ indicates a decoding parameter, and ♦ indicates decoding obtained by the compensation processing. Each parameter is shown.
図4は、消失フレームがない場合に通常の処理を行った結果の一例を示す図であり、復号量子化予測残差から以下の式(1)により第nフレームの復号パラメータynを求めたものである。なお、式(1)において、cnは、第nフレームの復号量子化予測残差である。
yn=0.6cn+0.3cn-1+0.1cn-2 ・・・(1)
Figure 4 is a diagram showing an example of the results when no erased frame by usual processing to obtain the decoding parameter y n of the n-th frame by the following equation (1) from decoded quantized prediction residual Is. In the equation (1), c n is the decoded quantized prediction residual of the n-th frame.
y n = 0.6c n + 0.3c n -1 + 0.1c n-2 ··· (1)
図5は、本実施の形態の補償処理を行った結果の一例を示す図であり、図6および図7は、従来の補償処理を行った結果の一例を示す図である。図5、図6、図7において、第nフレームが消失し、その他のフレームは正常フレームであるとする。 FIG. 5 is a diagram illustrating an example of a result of performing the compensation processing of the present embodiment, and FIGS. 6 and 7 are diagrams illustrating an example of a result of performing the conventional compensation processing. 5, 6, and 7, it is assumed that the nth frame is lost and the other frames are normal frames.
図5に示す本実施の形態の補償処理は、復号パラメータのフレーム間の変動が緩やかになるように、第n−1フレームの復号パラメータyn-1と第nフレームの復号パラメータynの距離、および、第nフレームの復号パラメータynと第n+1フレームの復号パラメータyn+1の距離の和D(Dは以下の式(2)で定義される)を最小とするように、以下の式(3)を用いて消失した第nフレームの復号量子化予測残差cnを求める。
そして、本実施の形態の補償処理は、式(3)で求められた復号量子化予測残差cnを用いて、上記式(1)により、消失した第nフレームの復号パラメータynを求める。この結果、図4と図5の比較から明らかなように、本実施の形態の補償処理により得られた復号パラメータynは、消失フレームがない場合において通常の処理により得られたものとほぼ同じ値となる。 In the compensation processing of this embodiment, the decoded parameter y n of the lost nth frame is obtained by the above equation (1) using the decoded quantization prediction residual c n obtained by the equation (3). . As a result, as is clear from the comparison between FIG. 4 and FIG. 5, the decoding parameter y n obtained by the compensation processing of the present embodiment is almost the same as that obtained by normal processing when there is no lost frame. Value.
これに対し、図6に示す従来の補償処理は、第nフレームが消失した場合、第n−1フレームの復号パラメータyn-1をそのまま第nフレームの復号パラメータynとして使用する。また、図6に示す従来の補償処理では、上記式(1)の逆算により、第nフレームの復号量子化予測残差cnを求める。 In contrast, conventional compensation process shown in FIG. 6, when the n-th frame is lost, using the decoded parameter y n-1 of the (n-1) th frame as it is decoded parameter y n of the n-th frame. In the conventional compensation process shown in FIG. 6, the decoded quantization prediction residual c n of the nth frame is obtained by the inverse calculation of the above equation (1).
この場合、復号量子化予測残差の変動に伴う復号パラメータの変動を考慮していないため、図4と図6の比較から明らかなように、図6の従来の補償処理により得られた復号パラメータynは、消失フレームがない場合において通常の処理により得られたものと値が大きく異なってしまう。また、第nフレームの復号量子化予測残差cnも異なるため、図6の従来の補償処理により得られた第n+1フレームの復号パラメータyn+1も、消失フレームがない場合において通常の処理により得られたものと値が異なってしまう。 In this case, since the variation of the decoding parameter due to the variation of the decoded quantization prediction residual is not taken into account, as is clear from the comparison between FIG. 4 and FIG. 6, the decoding parameter obtained by the conventional compensation processing of FIG. y n is the value that obtained by conventional processing when there is no erased frame largely differs. Further, since the decoded quantization prediction residual c n of the nth frame is also different, the decoding parameter y n + 1 of the (n + 1) th frame obtained by the conventional compensation process of FIG. 6 is also a normal process when there is no lost frame. The value is different from that obtained by.
また、図7に示す従来の補償処理は、復号量子化予測残差を内挿補間により求めるものであり、第nフレームが消失した場合、第n−1フレームの復号量子化予測残差cn-1と第n+1フレームの復号量子化予測残差cn+1の平均値を第nフレームの復号量子化予測残差cnとして使用する。 Further, the conventional compensation process shown in FIG. 7 is to obtain the decoded quantized prediction residual by interpolation, and when the nth frame disappears, the decoded quantized predicted residual c n of the (n−1) th frame. -1 and using the decoded quantized average value of the prediction residuals c n + 1 of the (n + 1) th frame as a decoded quantized prediction residual c n of the n-th frame.
そして、図7に示す従来の補償処理は、内挿補間により求められた復号量子化予測残差cnを用いて、上記式(1)により、消失した第nフレームの復号パラメータynを求める。 The conventional compensation process shown in FIG. 7, using the decoded quantization prediction residual c n obtained by the interpolation, by the above formula (1), obtains a decoded parameter y n of the n-th frame which has lost .
この結果、図4と図7の比較から明らかなように、図7の従来の補償処理により得られた復号パラメータynは、消失フレームがない場合において通常の処理により得られたものと値が大きく異なってしまう。これは、復号量子化予測残差は大きく変動しても復号パラメータは重み付け移動平均によりフレーム間で緩やかに変動するのに対し、この従来の補償処理では、復号量子化予測残差の変動に伴って復号パラメータも変動してしまうためである。また、第nフレームの復号量子化予測残差cnも異なるため、図7の従来の補償処理により得られた第n+1フレームの復号パラメータyn+1も、消失フレームがない場合において通常の処理により得られたものと値が異なってしまう。 As a result, as is apparent from a comparison of FIG. 4 and FIG. 7, decoding parameter y n obtained by conventional compensation process of Figure 7, is the value that obtained by conventional processing when there is no lost frame It will be very different. This is because, even if the decoded quantization prediction residual fluctuates greatly, the decoding parameter gradually fluctuates between frames due to the weighted moving average. This is because the decoding parameters also fluctuate. Since the decoded quantization prediction residual c n of the nth frame is also different, the decoding parameter y n + 1 of the (n + 1) th frame obtained by the conventional compensation process of FIG. 7 is also a normal process when there is no lost frame. The value is different from that obtained by.
(実施の形態2)
図8は、本発明の実施の形態2に係る音声復号装置の主要な構成を示すブロック図である。図8に示す音声復号装置100は、図1と比較して、LPC復号部105に入力されるパラメータとして補償モード情報En+1がさらに追加されている点のみが異なる。
(Embodiment 2)
FIG. 8 is a block diagram showing the main configuration of the speech decoding apparatus according to
図9は、図8中のLPC復号部105の内部構成を示すブロック図である。図9に示すLPC復号部105は、図2と比較して、コードベクトル復号部203に入力されるパラメータとして補償モード情報En+1がさらに追加されている点のみが異なる。
FIG. 9 is a block diagram showing an internal configuration of the
図10は、図9中のコードベクトル復号部203の内部構成を示すブロック図である。図10に示すコードベクトル復号部203は、図3と比較して、係数復号部401がさらに追加されている点のみが異なる。
FIG. 10 is a block diagram showing an internal configuration of code
係数復号部401は、重み付け係数(β-1〜βM)のセット(以下、「係数セット」という)を複数種類格納し、入力した補償モードEn+1に応じて、係数セットの中から1つの重み付け係数のセットを選択し、増幅器305−1〜305−M、306、307に出力する。
The
このように、本実施の形態によれば、実施の形態1で説明した特徴に加えて、補償処理を行うための重み付け加算の重み付け係数のセットを複数用意し、符号器側でどの重み付け係数セットを用いれば高い補償性能が得られるのかを確認した上で最適なセットを特定するための情報を復号器側へ伝送し、復号器側では受信した情報に基づいて、指定された重み付け係数セットを用いて補償処理を行うので、実施の形態1よりさらに高い補償性能が得ることができる。 As described above, according to the present embodiment, in addition to the features described in the first embodiment, a plurality of weighted addition weighting coefficient sets for performing compensation processing are prepared, and which weighting coefficient set is set on the encoder side. After confirming whether high compensation performance can be obtained by using, information for specifying the optimum set is transmitted to the decoder side, and the decoder side sets the specified weighting coefficient set based on the received information. Since the compensation processing is performed using this, higher compensation performance than that of the first embodiment can be obtained.
(実施の形態3)
図11は、本発明の実施の形態3に係る音声復号装置の主要な構成を示すブロック図である。図11に示す音声復号装置100は、図8と比較して、LPC復号部105に入力されるLPC符号Ln+1を2種類の符号Vn+1、Kn+1に分離する分離部501がさらに追加されている点のみが異なる。符号Vはコードベクトルを生成するための符号であり、符号KはMA予測係数符号である。
(Embodiment 3)
FIG. 11 is a block diagram showing the main configuration of the speech decoding apparatus according to
図12は、図11中のLPC復号部105の内部構成を示すブロック図である。コードベクトルを生成する符号Vn、Vn+1は、LPC符号Ln、Ln+1と同じように用いられるので、説明を省略する。図12に示すLPC復号部105は、図9と比較して、バッファ601および係数復号部602がさらに追加され、コードベクトル復号部203に入力されるパラメータとしてMA予測係数符号Kn+1がさらに追加されている点のみが異なる。
FIG. 12 is a block diagram showing the internal configuration of the
バッファ601は、MA予測係数符号Kn+1を1フレームの間保持し、係数復号部602に出力する。この結果、バッファ601から係数復号部602に出力されるMA予測係数符号は、1フレーム前のMA予測係数符号Knとなる。
The
係数復号部602は、係数セットを複数種類格納し、フレーム消失符号Bn、Bn+1、補償モードEn+1およびMA予測係数符号Knによって係数セットを特定し、増幅器205−1〜205−(M+1)に出力する。ここで、係数復号部602における係数セットの特定の仕方は以下の3通りである。
入力したフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示す場合、係数復号部602は、MA予測係数符号Knで指定される係数セットを選択する。
If the frame erasure code B n input indicates that "the n-th frame is normal frame", the
また、入力したフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示し、フレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示す場合、係数復号部602は、第n+1フレームのパラメータとして受信されている補償モードEn+1を用いて、選択対象となる係数セットを決定する。例えば、補償モード符号En+1が補償フレームである第nフレームで使用すべきMA予測係数のモードを示すように予め決めておけば、補償モード符号En+1をそのままMA予測係数符号Knの代わりとして使用することができる。
When the input frame erasure code Bn indicates that “the nth frame is a erasure frame” and the frame erasure code Bn + 1 indicates that “the n + 1th frame is a normal frame”, the
また、入力したフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示し、かつ、フレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示す場合、利用できる情報は前フレームで使用した係数セットの情報のみであるので、係数復号部602は、前フレームで使用した係数セットを繰り返し使用するようにする。もしくは予め決めておいたモードの係数セットを固定的に使用するようにしても良い。
Further, when the input frame erasure code Bn indicates that “the nth frame is a erasure frame” and the frame erasure code Bn + 1 indicates that “the n + 1th frame is an erasure frame”, information that can be used Is only information on the coefficient set used in the previous frame, the
図13は、図12中のコードベクトル復号部203の内部構成を示すブロック図である。図13に示すコードベクトル復号部203は、図10と比較して、係数復号部401が、補償モードEn+1およびMA予測係数符号Kn+1の両方を用いて係数セットを選択する点が異なる。
FIG. 13 is a block diagram showing the internal configuration of the code
図13において、係数復号部401は、複数の重み付け係数セットを備えており、重み付け係数セットは次フレームで使用されるMA予測係数に応じて用意されている。例えば、MA予測係数のセットが2種類の場合であって、一方をモード0、他方をモード1とすると、次フレームのMA予測係数のセットがモード0の場合の専用の重み付け係数セット群と次フレームのMA予測係数のセットがモード1の場合の専用の重み付け係数セット群とから構成される。
In FIG. 13, the
この場合、係数復号部401は、MA予測係数符号Kn+1によって、上記どちらかの重み付け係数セット群を決定し、入力した補償モードEn+1に応じて係数セットの中から1つの重み付け係数のセットを選択し、増幅器305−1〜305−M、306、307に出力する。
In this case, the
以下、重み付け係数β-1〜βMの決め方の一例を示す。既に述べたように、第nフレームが消失し、第n+1フレームを受信している場合、第n+1フレームにおける量子化予測残差を正しく復号できても最終的な復号パラメータは両フレームにおいて未知である。このため、何らかの仮定(拘束条件)を設定しないと両フレームの復号パラメータは一意に決まらない。そこで、既に復号済みの第n−1フレームの復号パラメータから、第nフレームおよび第n+1フレームの復号パラメータがなるべく離れないように、第nフレームにおける復号パラメータと第n−1フレームにおける復号パラメータとの距離と、第n+1フレームにおける復号パラメータと第nフレームにおける復号パラメータとの距離との和であるD(j)を最小とするように、以下の式(4)により量子化予測残差ynを求める。
パラメータがLSFである場合は、式(4)におけるxn (j)、yn (j)、αi (j)、α’i (j)、は以下の通りである。
xn (j):第nフレームにおけるLSFパラメータの第j成分の量子化予測残差
yn (j):第nフレームにおける復号LSFパラメータの第j成分
αi (j):第nフレームにおけるMA予測係数セットのうちの第i次成分の第j成分
α’i (j):第n+1フレームにおけるMA予測係数セットのうちの第i次成分の第j成分
M:MA予測次数
When the parameter is LSF, x n (j) , y n (j) , α i (j) , α ′ i (j) in equation (4) are as follows.
x n (j) : quantized prediction residual y n (j) of the LSF parameter in the nth frame: j j component α i (j) of the decoded LSF parameter in the nth frame: MA in the nth frame J-th component α ′ i (j) of the i-th component of the prediction coefficient set: j-th component of the i-th component of the MA prediction coefficient set in the ( n + 1 ) th frame M: MA prediction order
ここで、D(j)をxn (j)で偏微分して0と置いて得られる式をxn (j)について解くと、xn (j)は、以下の式(5)の形で表される。
なお、式(5)において、βi (j)は重み付け係数であり、αi (j)とα’i (j)で表される。つまり、MA予測係数のセットが1種類しかない場合は、重み付け係数βi (j)のセットも1種類しかないが、MA予測係数セットが複数種類ある場合は、αi (j)とα’i (j)の組み合わせによって複数種類の重み付け係数のセットが得られる。 In equation (5), β i (j) is a weighting coefficient and is expressed by α i (j) and α ′ i (j) . That is, when there is only one set of MA prediction coefficients, there is also only one set of weighting coefficients β i (j) , but when there are multiple MA prediction coefficient sets, α i (j) and α ′ A combination of a plurality of types of weighting coefficients can be obtained by combining i (j) .
例えば、ITU−T勧告G.729の場合は、MA予測係数のセットが2種類あるので、これらをモード0およびモード1のセットとすると、第nフレームおよび第n+1フレームの双方ともモード0の場合、第nフレームはモード0で第n+1フレームはモード1の場合、第nフレームはモード1で第n+1フレームはモード0の場合、第nフレームおよび第n+1フレームの双方ともモード1の場合、の4種類のセットが考えられる。これら4種類のセットのいずれの重み付け係数セットを用いるかの決め方はいくつか考えられる。
For example, ITU-T Recommendation G. In the case of 729, since there are two types of MA prediction coefficient sets, if these are set to
第1の方法は、4種類の全てのセットを用いて符号器側で第nフレームの復号LSFと第n+1フレームの復号LSFを生成し、生成された第nフレームの復号LSFと入力信号を分析して得られた未量子化LSFとのユークリッド距離を算出し、生成された第n+1フレームの復号LSFと入力信号を分析して得られた未量子化LSFとのユークリッド距離を算出し、これらのユークリッド距離の総和を最小とする重み付け係数βのセットを1つ選び、選ばれたセットを2ビットで符号化して復号器に伝送する方法である。この場合、ITU−T勧告G.729の符号化情報に追加して、1フレーム辺り2ビットが係数セットβの符号化に必要となる。なお、ユークリッド距離の代わりに、ITU−T勧告G.729のLSF量子化で用いられているように、重み付きユークリッド距離を採用すると聴覚的にさらに良い品質となりうる。 The first method generates an nth frame decoded LSF and an n + 1th frame decoded LSF on the encoder side using all four types of sets, and analyzes the generated nth frame decoded LSF and the input signal. The Euclidean distance between the obtained unquantized LSF and the decoded LSF of the generated (n + 1) th frame and the unquantized LSF obtained by analyzing the input signal are calculated. This is a method of selecting one set of weighting coefficients β that minimizes the sum of the Euclidean distances, encoding the selected set with 2 bits, and transmitting it to the decoder. In this case, ITU-T Recommendation G. In addition to the encoding information of 729, 2 bits per frame are necessary for encoding the coefficient set β. Note that ITU-T Recommendation G. Adopting a weighted Euclidean distance, as used in the 729 LSF quantization, can result in even better audio quality.
第2の方法は、第n+1フレームのMA予測係数モード情報を利用して、1フレーム辺りの追加ビット数を1ビットにする方法である。復号器側で、第n+1フレームのMA予測係数のモード情報が分かっているので、αi (j)とα’i (j)の組み合わせは2通りに限定される。すなわち、第n+1フレームのMA予測モードがモード0である場合は、第nフレームと第n+1フレームのMA予測モードの組み合わせは(0−0)か(1−0)のいずれかであるので重み付け係数βのセットは2種類に限定することができる。符号器側ではこの2種類の重み付け係数βのセットを用いて上記第1の方法と同様にして未量子化LSFとの誤差が小さいほうを一つ選択して符号化し、復号器に伝送すればよい。
The second method uses the MA prediction coefficient mode information of the (n + 1) th frame and sets the number of additional bits per frame to 1 bit. Since the decoder knows the mode information of the MA prediction coefficient of the (n + 1) th frame, the combinations of α i (j) and α ′ i (j) are limited to two. That is, when the MA prediction mode of the (n + 1) th frame is
第3の方法は、選択情報を全く送らない方法であり、使用する重み付け係数のセットはMA予測モードの組み合わせが(0−0)か(1−1)かの2種類のみとし、第n+1フレームでのMA予測係数のモードが0の場合は前者を、1の場合は後者を選択するようにする方法である。あるいは、(0−0)か(0−1)のように、消失フレームのモードを特定のモードに固定する方法でも良い。 The third method is a method in which selection information is not transmitted at all. The set of weighting coefficients to be used is only two types of combinations of MA prediction modes (0-0) or (1-1), and the (n + 1) th frame. This is a method of selecting the former when the mode of the MA prediction coefficient at 0 is 0, and selecting the latter when the mode is 1. Alternatively, a method of fixing the lost frame mode to a specific mode, such as (0-0) or (0-1), may be used.
その他にも、入力信号が定常的であると判断できるフレームでは、従来法のように第n−1フレームと第nフレームとの復号パラメータが等しくなるようにする方法や、第n+1フレームと第nフレームの復号パラメータが等しくなるという仮定の下で求められる重み付け係数βのセットを使用する方法も考えられる。 In addition, in a frame in which the input signal can be determined to be stationary, a method of making the decoding parameters of the (n−1) th frame and the nth frame equal to each other as in the conventional method, or the (n + 1) th frame and the nth frame. A method using a set of weighting factors β obtained under the assumption that the decoding parameters of the frames are equal is also conceivable.
定常性の判定には、第n−1フレームと第n+1フレームのピッチ周期情報や、MA予測係数のモード情報などを利用することができる。すなわち、第n−1フレームと第n+1フレームとで復号されるピッチ周期の差が小さいときには定常であると判定する方法や、第n+1フレームで復号されるMA予測係数のモード情報が定常的なフレームを符号化するのに適したモード(すなわち高い次数のMA予測係数もある程度大きな重みを有しているモード)が選択されている場合は定常であると判定する方法が考えられる。 For determination of continuity, pitch period information of the (n−1) th frame and (n + 1) th frame, mode information of MA prediction coefficient, and the like can be used. That is, when the difference in pitch period decoded between the (n-1) th frame and the (n + 1) th frame is small, the method is determined to be stationary, or the mode information of the MA prediction coefficient decoded at the (n + 1) th frame is a stationary frame. If a mode suitable for encoding (that is, a mode in which a high-order MA prediction coefficient also has a certain amount of weight) is selected, a method of determining that it is stationary can be considered.
このように、本実施の形態では、実施の形態2に加えて、MA予測係数のモードが2種類あるので、定常的な区間とそうでない区間とで異なるMA予測係数のセットを用いることができ、LSF量子化器の性能をより高めることができる。 As described above, in this embodiment, in addition to the second embodiment, there are two types of MA prediction coefficient modes. Therefore, different sets of MA prediction coefficients can be used in the stationary section and the other sections. The performance of the LSF quantizer can be further improved.
また、式(4)を最小とする式(5)の重み付け係数セットを用いることにより、消失フレームおよび消失フレームの次のフレームである正常フレームでの復号LSFパラメータが、消失フレームの前フレームのLSFパラメータから大きく逸脱した値にならないことが保証される。このため、次のフレームの復号LSFパラメータが未知であっても、次のフレームの受信情報(量子化予測残差)を有効に利用しつつ、誤った方向へ補償してしまう場合のリスク、すなわち正しい復号LSFパラメータから大きく逸脱してしまうリスクを最低限に抑えることができる。 In addition, by using the weighting coefficient set of Expression (5) that minimizes Expression (4), the decoded LSF parameter in the normal frame that is the frame subsequent to the lost frame and the lost frame becomes the LSF of the previous frame of the lost frame. It is guaranteed that the value does not deviate significantly from the parameter. For this reason, even when the decoded LSF parameter of the next frame is unknown, the risk of compensating in the wrong direction while effectively using the reception information (quantized prediction residual) of the next frame, that is, The risk of greatly deviating from the correct decryption LSF parameter can be minimized.
また、補償モードの選択方法として上記第2の方法を利用すれば、補償処理用の重み付け係数セットを特定する情報の一部としてMA予測係数のモード情報を利用することができるので、追加伝送する補償処理用の重み付け係数セットの情報を少なくすることもできる。 Further, if the second method is used as the compensation mode selection method, the MA prediction coefficient mode information can be used as a part of the information for specifying the weighting coefficient set for the compensation process, so that additional transmission is performed. Information on the weighting coefficient set for compensation processing can also be reduced.
(実施の形態4)
図14は、図1中の利得復号部104の内部構成を示すブロック図である(図8、図11の利得復号部104も同様)。本実施の形態では、ITU−T勧告G.729の場合と同様に、利得の復号はサブフレームに1回行われ、1フレームは2サブフレームより成るものとして、図14ではnをフレーム番号、mをサブフレーム番号とし(第nフレームにおける第1サブフレームおよび第2サブフレームのサブフレーム番号をmおよびm+1とする)、第nフレームの2サブフレーム分の利得符号(Gm、Gm+1)を順次復号するものとして図示した。
(Embodiment 4)
FIG. 14 is a block diagram showing the internal configuration of
図14において、利得復号部104には、第n+1フレームの利得符号Gn+1が多重分離部101より入力される。利得符号Gn+1は分離部700に入力され、第n+1フレームの第1サブフレームの利得符号Gm+2と第2サブフレームの利得符号Gm+3に分離される。なお、利得符号Gm+2とGm+3への分離は、多重分離部101で行われても良い。
In FIG. 14, gain code G n + 1 of the (n + 1) th frame is input to gain
利得復号部104では、入力されたGn、Gn+1から生成されたGm、Gm+1、Gm+2、Gm+3を用いてサブフレームmの復号利得とサブフレームm+1の復号利得を順番に復号する。
以下、図14において、利得符号Gmを復号する際の利得復号部104の各部の動作について説明する。
Hereinafter, in FIG. 14 will be described the operation of each part of the
利得符号Gm+2は、バッファ701および予測残差復号部704に入力され、フレーム消失符号Bn+1は、バッファ703、予測残差復号部704および選択器713に入力される。
The gain code G m + 2 is input to the
バッファ701は、入力される利得符号を1フレームの間保持し、予測残差復号部704に出力するので、予測残差復号部704に出力される利得符号は1フレーム前の利得符号となる。すなわち、バッファ701に入力される利得符号がGm+2の場合、出力される利得符号はGmである。バッファ702も701と同様の処理を行う。すなわち、入力される利得符号を1フレームの間保持して、予測残差復号部704へ出力する。バッファ701の入出力は第1サブフレームの利得符号であり、バッファ702の入出力は第2サブフレームの利得符号であるという点のみが異なる。
Since the
バッファ703は、次フレームのフレーム消失符号Bn+1を1フレームの間保持し、予測残差復号部704、選択器713およびFCベクトルエネルギ算出部708に出力する。バッファ703から予測残差復号部704、選択器713およびFCベクトルエネルギ算出部708に出力されるフレーム消失符号は、入力されているフレームより1フレーム前のフレーム消失符号となるので、現フレームのフレーム消失符号Bnである。
The
予測残差復号部704は、過去Mサブフレームの対数量子化予測残差(MA予測残差を量子化したものの対数をとったもの)xm-1〜xm-M、1サブフレーム前の復号エネルギ(対数復号利得)em-1、予測残差バイアス利得eB、次フレームの利得符号Gm+2およびGm+3、次フレームのフレーム消失符号Bn+1、現フレームの利得符号GmおよびGm+1および現フレームのフレーム消失符号Bnを入力し、これらの情報に基づいて現サブフレームの量子化予測残差を生成し、対数演算部705および乗算部712に出力する。なお、予測残差復号部704の詳細については後述する。
Prediction
対数演算部705は、予測残差復号部704から出力された量子化予測残差の対数(ITU−T勧告G.729では20×log10(x)、xは入力)xmを計算し、バッファ706−1に出力する。
The
バッファ706−1は、対数演算部705から対数量子化予測残差xmを入力し、1サブフレームの間保持し、予測残差復号部704、バッファ706−2および増幅器707−1に出力する。すなわち、これらに入力される対数量子化予測残差は、1サブフレーム前の対数量子化予測残差xm-1となる。同様に、バッファ706−i(iは2からM−1)は、それぞれ、入力した対数量子化予測残差xm-iを1サブフレームの間保持し、予測残差復号部704、バッファ706−(i+1)および増幅器707−iに出力する。バッファ706−Mは、入力した対数量子化予測残差xm-M-1を1サブフレームの間保持し、予測残差復号部704および増幅器707−Mに出力する。
The buffer 706-1 receives the logarithm quantized prediction residual x m from the
増幅器707−1は、対数量子化予測残差xm-1に所定のMA予測係数α1を乗じて加算器710に出力する。同様に、増幅器707−j(jは2からM)は、対数量子化予測残差xm-jに所定のMA予測係数αjを乗じて加算器710に出力する。なお、MA予測係数のセットは、ITU−T勧告G.729では一種類の固定値であるが、複数種類のセットが用意されていて適切なものを選択する構成であっても良い。
The amplifier 707-1 multiplies the logarithm quantization prediction residual x m-1 by a predetermined MA prediction coefficient α 1 and outputs the result to the
FCベクトルエネルギ算出部708は、現フレームのフレーム消失符号Bnが、「第nフレームは正常フレームである」ことを示す場合、別途復号されたFC(固定符号帳)ベクトルのエネルギを算出し、算出結果を平均エネルギ加算部709に出力する。また、FCベクトルエネルギ算出部708は、現フレームのフレーム消失符号Bnが、「現フレームが消失フレームである」ことを示す場合、前サブフレームでのFCベクトルのエネルギを平均エネルギ加算部709に出力する。
When the frame erasure code Bn of the current frame indicates that “the nth frame is a normal frame”, the FC vector
平均エネルギ加算部709は、FCベクトルエネルギ算出部708から出力されたFCベクトルのエネルギを平均エネルギから減算して、減算結果である予測残差バイアス利得eBを予測残差復号部704および加算器710に出力する。なお、ここでは平均エネルギは、予め設定された定数とする。また、エネルギの加減算は対数領域で行う。
The average
加算器710は、増幅器707−1〜707−Mから出力されたMA予測係数乗算後の対数量子化予測残差と平均エネルギ加算部709から出力された予測残差バイアス利得eBとの総和を計算し、計算結果である対数予測利得をべき乗演算部711に出力する。
The
べき乗演算部711は、加算器710から出力された対数予測利得のべき乗(10x、xは入力)を計算し、計算結果である予測利得を乗算器712に出力する。
The
乗算器712は、べき乗演算部711から出力された予測利得に、予測残差復号部704から出力された量子化予測残差を乗算し、乗算結果である復号利得を選択器713に出力する。
The
選択器713は、現フレームのフレーム消失符号Bnおよび次フレームのフレーム消失符号Bn+1に基づいて乗算器712から出力された復号利得あるいは増幅器715から出力された減衰後の前フレームの復号利得のいずれかを選択する。具体的には、現フレームのフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示している場合、あるいは、次フレームのフレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示している場合には乗算器712から出力された復号利得を選択し、現フレームのフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示していて、かつ、次フレームのフレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示している場合には、増幅器715から出力された減衰後の前フレームの復号利得を選択する。そして、選択器713は、選択結果を最終的な復号利得として増幅器106、107、バッファ714および対数演算部716に出力する。なお、選択器713が増幅器715から出力された減衰後の前フレーム復号利得を選択する場合、実際には予測残差復号部704から乗算器712までの処理を全て行う必要はなく、バッファ706−1〜706−Mの内容を更新する処理だけを行えばよい。
The
バッファ714は、選択器713から出力された復号利得を1サブフレームの間保持し、増幅器715に出力する。この結果、バッファ714から増幅器715に出力される復号利得は、1サブフレーム前の復号利得となる。増幅器715は、バッファ714から出力された1サブフレーム前の復号利得に所定の減衰係数を乗じて選択器713に出力する。この所定の減衰係数の値は、例えばITU−T勧告G.729では0.98であるが、これはコーデックに最適な値を適宜設計したものとすればよく、消失したフレームが有声フレームか無声フレームかなど消失フレームにおける信号の特徴によって値を変化させても良い。
The
対数演算部716は、選択器713から出力された復号利得の対数(ITU−T勧告G.729では20×log10(x)、xは入力)emを計算し、バッファ717に出力する。バッファ717は、対数演算部716から対数復号利得emを入力し、1サブフレームの間保持し、予測残差復号部704に出力する。すなわち、予測残差復号部704に入力される対数復号利得は、1サブフレーム前の対数復号利得em-1となる。
図15は、図14中の予測残差復号部704の内部構成を示すブロック図である。図15において、利得符号Gm、Gm+1、Gm+2、Gm+3はコードブック801に入力され、フレーム消失符号Bn、Bn+1は切替スイッチ812に入力され、過去Mサブフレームの対数量子化予測残差xm-1〜xm-Mは加算器802に入力され、1サブフレーム前の対数復号利得em-1および予測残差バイアス利得eBはサブフレーム量子化予測残差生成部807およびサブフレーム量子化予測残差生成部808に入力される。
FIG. 15 is a block diagram showing an internal configuration of the prediction
コードブック801は、入力された利得符号Gm、Gm+1、Gm+2、Gm+3から対応する量子化予測残差を復号し、利得符号Gm、Gm+1に対応する量子化予測残差を切替スイッチ813を介して切替スイッチ812に出力し、利得符号Gm+2、Gm+3に対応する量子化予測残差を対数演算部806に出力する。
The
切替スイッチ813は、利得符号GmおよびGm+1から復号された量子化予測残差のいずれかを選択して切替スイッチ812に出力する。具体的には、第1サブフレームの利得復号処理を行う場合には利得符号Gmから復号された量子化予測残差を選択し、第2サブフレームの利得復号処理を行う場合には利得符号Gm+1から復号された量子化予測残差を選択する。
The
加算器802は、過去Mサブフレームの対数量子化予測残差xm-1〜xm-Mの総和を計算し、計算結果を増幅器803に出力する。増幅器803は、加算器802の出力値を1/M倍することにより平均値を算出し、算出結果を4dB減衰部804に出力する。
The
4dB減衰部804は、増幅器803の出力値を4dB下げてべき乗演算部805に出力する。この4dBの減衰は、フレーム消失から復帰したフレーム(サブフレーム)において、予測器が過大な予測値を出力しないようにするためのものであるので、そのような必要が生じない構成例では減衰器は必ずしも必要ではない。また、減衰量の4dBも最適値を自由に設計可能である。
The 4
べき乗演算部805は、4dB減衰部804の出力値のべき乗を計算し、計算結果である補償予測残差を切替スイッチ812に出力する。
The
対数演算部806は、コードブック801から出力された2つの量子化予測残差(利得符号Gm+2およびGm+3から復号したもの)の対数を計算し、計算結果である対数量子化予測残差xm+2、xm+3をサブフレーム量子化予測残差生成部807およびサブフレーム量子化予測残差生成部808に出力する。
The
サブフレーム量子化予測残差生成部807は、対数量子化予測残差xm+2、xm+3、過去Mサブフレームの対数量子化予測残差xm-1〜xm-M、1サブフレーム前の復号エネルギem-1および予測残差バイアス利得eBを入力し、これらの情報に基づいて第1サブフレームの対数量子化予測残差を算出し、切替スイッチ810に出力する。同様に、サブフレーム量子化予測残差生成部808は、対数量子化予測残差xm+2、xm+3、過去Mサブフレームの対数量子化予測残差xm-1〜xm-M、1サブフレーム前の復号エネルギem-1および予測残差バイアス利得eBを入力し、これらの情報に基づいて第2サブフレームの対数量子化予測残差を算出し、バッファ809に出力する。なお、サブフレーム量子化予測残差生成部807、808の詳細については後述する。
The subframe quantized prediction
バッファ809は、サブフレーム量子化予測残差生成部808から出力された第2サブフレームの対数予測残差を1サブフレームの間保持し、第2サブフレームの処理が行われるときに切替スイッチ810に出力する。なお、第2サブフレームの処理時には、予測残差復号部704の外部にてxm-1〜xm-M、em-1、eBが更新されるが、サブフレーム量子化予測残差生成部807およびサブフレーム量子化予測残差生成部808のいずれにおいても何の処理も行われず、全ての処理は第1サブフレームの処理時に行われる。
The
切替スイッチ810は、第1サブフレーム処理時には、サブフレーム量子化予測残差生成部807に接続され、生成された第1サブフレームの対数量子化予測残差をべき乗演算部811に出力し、第2サブフレーム処理時には、バッファ809に接続され、第2サブフレーム量子化残差生成部808で生成された第2サブフレームの対数量子化予測残差をべき乗演算部811に出力する。べき乗演算部811は、切替スイッチ810から出力された対数量子化残差をべき乗し、計算結果である補償予測残差を切替スイッチ812に出力する。
The
切替スイッチ812は、現フレームのフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示す場合には切替スイッチ813を介してコードブック801から出力された量子化予測残差を選択する。一方、切替スイッチ812は、現フレームのフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示す場合には、次フレームのフレーム消失符号Bn+1がどちらの情報を有しているかによって、出力する補償予測算差をさらに選択する。
The
すなわち、切替スイッチ812は、次フレームのフレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示す場合には、べき乗演算部805から出力された補償予測残差を選択し、次フレームのフレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示す場合には、べき乗演算部811から出力された補償予測残差を選択する。なお、選択される端子以外の端子に入力されるデータは必要ないので、実際の処理においてはまず切替スイッチ812においてどの端子を選択するのかを決定し、決定された端子に出力される信号を生成するための処理を行うのが一般的である。
That is, when the frame erasure code B n + 1 of the next frame indicates that “the (n + 1) th frame is a erasure frame”, the
図16は、図15中のサブフレーム量子化予測残差生成部807の内部構成を示すブロック図である。なお、サブフレーム量子化予測残差生成部808の内部構成も図16と同一であり、重み付け係数の値のみがサブフレーム量子化予測残差生成部807と異なるのみである。
FIG. 16 is a block diagram showing an internal configuration of subframe quantized prediction
増幅器901−1〜901−Mは、それぞれ、入力した対数量子化予測残差xm-1〜xm-Mに重み付け係数β1〜βMを乗算し、加算器906に出力する。増幅器902は、前サブフレームにおける対数利得em-1に重み付け係数β-1を乗算し、加算器906に出力する。増幅器903は、対数バイアス利得eBに重み付け係数βBを乗算し、加算器906に出力する。増幅器904は、対数量子化予測残差xm+2に重み付け係数β00を乗算し、加算器906に出力する。増幅器905は、対数量子化予測残差xm+3に重み付け係数β01を乗算し、加算器906に出力する。
The amplifiers 901-1 to 901 -M multiply the input logarithmic quantization prediction residuals x m−1 to x mM by weighting coefficients β 1 to β M and output the result to the
加算器906は、増幅器901−1〜901−M、増幅器902、増幅器903、増幅器904および増幅器905から出力された対数量子化予測残差の総和を計算し、計算結果を切替スイッチ810に出力する。
以下、本実施の形態における重み付け係数βのセットの決め方の一例を示す。既に述べたように、ITU−T勧告G.729の場合、利得量子化はサブフレーム処理であり、1フレームは2サブフレームから構成されているため、1フレームの消失は2サブフレーム連続のバースト消失となる。したがって、実施の形態3で示した方法では重み付け係数βのセットを決定することができない。そこで、本実施の形態では、以下の式(6)のDを最小とするxmとxm+1を求める。
ここではITU−T勧告G.729のように1フレームが2サブフレームで構成されていて、MA予測係数が1種類のみの場合を例として説明する。式(6)において、ym-1、ym、ym+1、ym+2、ym+3、xm、xm+1、xm+2、xm+3、xB、αiは以下の通りである。
ym-1:前フレームの第2サブフレームの復号対数利得
ym:現フレームの第1サブフレームの復号対数利得
ym+1:現フレームの第2サブフレームの復号対数利得
ym+2:次フレームの第1サブフレームの復号対数利得
ym+3:次フレームの第2サブフレームの復号対数利得
xm:現フレームの第1サブフレームの対数量子化予測残差
xm+1:現フレームの第2サブフレームの対数量子化予測残差
xm+2:次フレームの第1サブフレームの対数量子化予測残差
xm+3:次フレームの第2サブフレームの対数量子化予測残差
xB:対数バイアス利得
αi:第i次のMA予測係数
Here, ITU-T Recommendation G. A case where one frame is composed of two subframes as in 729 and only one type of MA prediction coefficient is used will be described as an example. In the formula (6), y m-1 , y m, y m + 1, y m + 2, y m + 3, x m, x m + 1, x m + 2, x m + 3, x B, α i is as follows.
y m−1 : Decoding logarithmic gain y m + 1 of the second subframe of the previous frame y m : Decoding logarithmic gain y m + 1 of the first subframe of the current frame y Decoding logarithmic gain y m + 2 of the second subframe of the current frame : Decoding logarithmic gain y m + 3 of the first subframe of the next frame: decoding logarithmic gain x m of the second subframe of the next frame: logarithmic quantization prediction residual x m + 1 of the first subframe of the current frame: Logarithmic quantization prediction residual x m + 2 of the second subframe of the current frame: Logarithmic quantization prediction residual x m + 3 of the first subframe of the next frame: Logarithmic quantization prediction of the second subframe of the next frame Residual x B : Logarithmic bias gain α i : i-th order MA prediction coefficient
式(6)をxmについて偏微分して0とおいて得られる式と、式(6)をxm+1について偏微分して0とおいて得られる式と、を連立方程式としてxmおよびxm+1について解くと、式(7)および式(8)が得られる。重み付け係数β00、β01、β1〜βM、β-1、βB、β'00、β'01、β'1〜β'M、β'-1、β'B、はα0〜αMから求められるので、一意に決まる。
このように、次のフレームが正常に受信されている場合、過去に受信した対数量子化予測残差と次のフレームの対数量子化予測残差とを利用した補償処理専用の重み付け加算処理によって現在のフレームの対数量子化予測残差の補償処理を行い、補償した対数量子化予測残差を用いて利得パラメータの復号を行うので、過去の復号利得パラメータを単調減衰して利用するよりも高い補償性能を実現することができる。 Thus, when the next frame is normally received, the weighted addition process dedicated to the compensation process using the log quantization prediction residual received in the past and the log quantization prediction residual of the next frame is currently used. Because the logarithm quantization prediction residual of the frame is compensated, and the gain parameter is decoded using the compensated logarithm quantization prediction residual, the compensation is higher than when the past decoding gain parameter is monotonically attenuated and used. Performance can be realized.
また、式(6)を最小とする式(7)および式(8)の重み付け係数セットを用いることにより、消失フレーム(2サブフレーム)および消失フレームの次のフレーム(2サブフレーム)である正常フレーム(2サブフレーム)での復号対数利得パラメータが消失フレームの前サブフレームの対数利得パラメータから大きく離れないことが保証される。このため、次のフレーム(2サブフレーム)の復号対数利得パラメータが未知であっても、次のフレーム(2サブフレーム)の受信情報(対数量子化予測残差)を有効に利用しつつ、誤った方向へ補償してしまった場合のリスク(正しい復号利得パラメータから大きく逸脱するリスク)を最低限に抑えることができる。 In addition, by using the weighting coefficient sets of Expression (7) and Expression (8) that minimize Expression (6), a lost frame (2 subframes) and a normal frame that is the next frame (2 subframes) of the lost frame It is guaranteed that the decoded logarithmic gain parameter in the frame (2 subframes) does not deviate significantly from the logarithmic gain parameter of the previous subframe of the lost frame. For this reason, even if the decoding logarithmic gain parameter of the next frame (2 subframes) is unknown, the reception information (logarithm quantization prediction residual) of the next frame (2 subframes) is used effectively, The risk (compensation that deviates greatly from the correct decoding gain parameter) in the case of compensation in a different direction can be minimized.
(実施の形態5)
図17は、本発明の実施の形態5に係る音声符号化装置の主要な構成を示すブロック図である。図17は、実施の形態3で説明した第2の方法によって重み付け係数セットを決め、補償モード情報En+1を符号化する例、すなわち、第nフレームのMA予測係数モード情報を利用して、第n−1フレームの補償モード情報を1ビットで表現する方法を示す。
(Embodiment 5)
FIG. 17 is a block diagram showing the main configuration of a speech encoding apparatus according to Embodiment 5 of the present invention. FIG. 17 illustrates an example in which the weighting coefficient set is determined by the second method described in the third embodiment and the compensation mode information En + 1 is encoded, that is, the MA prediction coefficient mode information of the nth frame is used. A method of expressing compensation mode information of n−1 frames with 1 bit will be described.
この場合、前フレームLPC補償部1003は、現フレームの復号量子化予測残差と2フレーム前からM+1フレーム前の復号量子化予測残差の重み付け和により、図13を用いて説明したようにして第n−1フレームの補償LSFを求める。図13では第n+1フレームの符号化情報を用いて第nフレームの補償LSFを求めていたのに対して、ここでは第nフレームの符号化情報を用いて第n−1フレームの補償LSFを求めているので、フレーム番号が一つずれた対応関係になる。つまり、第nフレーム(=現フレーム)のMA予測係数符号によって、αi (j)とα’i (j)の組み合わせを4通りの中の2通りに限定し(すなわち、第nフレームのMA予測モードがモード0である場合は、第n−1フレームと第nフレームのMA予測モードの組み合わせは(0−0)か(1−0)のいずれかであるので重み付け係数βのセットはこの2種類に限定し)、前フレームLPC補償部1003は、この2種類の重み付け係数βのセットを用いて2種類の補償LSFω0n (j)およびω1n (j)を生成する。
In this case, the previous frame
補償モード判定器1004は、ω0n (j)とω1n (j)のうちのどちらが入力LSFであるωn (j)に近いかに基づいてモードの決定を行う。ω0n (j)およびω1n (j)とωn (j)との離れ度合いは、単純なユークリッド距離に基づいても良いし、ITU−T勧告G.729のLSF量子化で用いられているような重み付けユークリッド距離に基づいても良い。
以下、図17の音声符号化装置の各部の動作について説明する。 Hereinafter, the operation of each unit of the speech encoding apparatus in FIG. 17 will be described.
入力信号snは、LPC分析部1001、ターゲットベクトル算出部1006およびフィルタ状態更新部1013にそれぞれ入力される。
Input signal s n is,
LPC分析部1001は、入力信号snに対して公知の線形予測分析を行い、線形予測係数aj(j=0〜M、Mは線形予測分析次数。a0=1.0)をインパルス応答算出部1005、ターゲットベクトル算出部1006およびLPC符号化部1002に出力する。また、LPC分析部1001は、線形予測係数ajをLSFパラメータωn (j)に変換して補償モード判定器1004に出力する。
LPC符号化部1002は、入力したLPC(線形予測係数)の量子化・符号化を行い、量子化線形予測係数a'jをインパルス応答算出部1005、ターゲットベクトル算出部1006および合成フィルタ部1011に出力する。本例では、LPCの量子化・符号化はLSFパラメータの領域で行われる。また、LPC符号化部1002は、LPCの符号化結果Lnを多重化部1014に出力し、量子化予測残差xn、復号量子化LSFパラメータω’n (j)およびMA予測量子化モードKnを前フレームLPC補償部1003に出力する。
The
前フレームLPC補償部1003は、LPC符号化部1002から出力された第nフレームの復号量子化LSFパラメータω’n (j)を2フレームの間バッファに保持する。2フレーム前の復号量子化LSFパラメータはω’n-2 (j)である。また、前フレームLPC補償部1003は、第nフレームの復号量子化予測残差xnをM+1フレームの間保持する。また、前フレームLPC補償部1003は、量子化予測残差xnと2フレーム前の復号量子化LSFパラメータω’n-2 (j)と2フレーム前からM+1フレーム前の復号量子化予測残差xn-2〜xn-M-1との重み付き和によって第n−1フレームの復号量子化LSFパラメータω0n (j)およびω1n (j)を生成して補償モード判定器1004に出力する。ここで、前フレームLPC補償部1003は、重み付き和を求める際の重み付け係数のセットを4種類備えているが、LPC符号化部1002から入力されたMA予測量子化モード情報Knが0か1かによって、4種類のうちの2種類を選んでω0n (j)およびω1n (j)の生成に用いる。
The previous frame
補償モード判定器1004は、前フレームLPC補償部1003から出力された2種類の補償LSFパラメータω0 n (j)とω1n (j)のどちらがLPC分析部1001から出力された未量子化LSFパラメータωn (j)に近いかを判定し、近い方の補償LSFパラメータを生成する重み付け係数のセットに対応する符号Enを多重化部1014に出力する。
The
インパルス応答算出部1005は、LPC分析部1001から出力された未量子化線形予測係数ajおよびLPC符号化部1002から出力された量子化線形予測係数a'jを用いて聴覚重み付け合成フィルタのインパルス応答hを生成し、ACV符号化部1007およびFCV符号化部1008に出力する。
The impulse
ターゲットベクトル算出部1006は、入力信号sn、LPC分析部1001から出力された未量子化線形予測係数aj、LPC符号化部1002から出力された量子化線形予測係数a'jおよびフィルタ状態更新部1012、1013から出力されたフィルタ状態とからターゲットベクトル(入力信号に聴覚重み付けフィルタをかけた信号から聴覚重み付け合成フィルタの零入力応答を除去した信号)oを算出し、ACV符号化部1007、利得符号化部1009およびフィルタ状態更新部1012に出力する。
The target
ACV符号化部1007は、ターゲットベクトル算出部1006よりターゲットベクトルoを、インパルス応答算出部1005より聴覚重み付け合成フィルタのインパルス応答hを、音源生成部1010より前フレームで生成した音源信号exをそれぞれ入力し、適応符号帳探索を行い、結果である適応符号帳符号Anを多重化部1014へ、量子化ピッチラグTをFCV符号化部1008へ、ACベクトルvを音源生成部1010へ、ACベクトルvに聴覚重み付け合成フィルタのインパルス応答hを畳み込んだフィルタ後のACベクトル成分pをフィルタ状態更新部1012および利得符号化部1009へ、固定符号帳探索用に更新したターゲットベクトルo’をFCV符号化部1008へ、それぞれ出力する。より具体的な探索方法は、ITU−T勧告G.729等に記載されているものと同様である。図17では省略しているが、開ループピッチ探索等により、閉ループピッチ探索を行う範囲を決定することで適応符号帳探索に要する演算量を抑えるのが一般的である。
The
FCV符号化部1008は、ACV符号化部1007より固定符号帳用ターゲットベクトルo’および量子化ピッチラグTを、インパルス応答算出部1005より聴覚重み付け合成フィルタのインパルス応答hを、それぞれ入力し、例えばITU−T勧告G.729に記載されているような方法によって固定符号帳探索を行い、固定符号帳符号Fnを多重化部1014へ、FCベクトルuを音源生成部1010へ、FCベクトルuに聴覚重み付けフィルタのインパルス応答を畳み込んで得られるフィルタ後のFC成分qをフィルタ状態更新部1012および利得符号化部1009へ、それぞれ出力する。
The
利得符号化部1009は、ターゲットベクトル算出部1006よりターゲットベクトルoを、ACV符号化部1007よりフィルタ後のACベクトル成分pを、FCV符号化部1008よりフィルタ後のFCベクトル成分qを、それぞれ入力し、|o-(ga×p+gf×q)|2が最小と成るgaとgfの組を量子化適応符号帳利得および量子化固定符号帳利得として音源生成部1010に出力する。
音源生成部1010は、ACV符号化部1007より適応符号帳ベクトルvを、FCV符号化部1008より固定符号帳ベクトルuを、利得符号化部1009より適応符号帳ベクトル利得gaおよび固定符号帳ベクトル利得gfを、それぞれ入力し、音源ベクトルexをga×v+gf×uにより算出し、ACV符号化部1007および合成フィルタ部1011に出力する。ACV符号化部1007に出力された音源ベクトルexは、ACV符号化部内のACB(過去に生成した音源ベクトルのバッファ)の更新に用いられる。
The
合成フィルタ部1011は、音源生成部1010から出力された音源ベクトルexで、LPC符号化部1002から出力された量子化線形予測係数a'jで構成される線形予測フィルタを駆動し、局部復号音声信号s'nを生成し、フィルタ状態更新部1013に出力する。
The
フィルタ状態更新部1012は、ACV符号化部1007から合成適応符号帳ベクトルpを、FCV符号化部1008から合成固定符号帳ベクトルqを、ターゲットベクトル算出部1006からターゲットベクトルoを、それぞれ入力し、ターゲットベクトル算出部1006内の聴覚重み付けフィルタのフィルタ状態を生成し、ターゲットベクトル算出部1006に出力する。
The filter
フィルタ状態更新部1013は、合成フィルタ部1011から出力された局部復号音声s'nと入力信号snとの誤差を計算し、これをターゲットベクトル算出部1006内の合成フィルタの状態としてターゲットベクトル算出部1006に出力する。
Filter
多重化部1014は、符号Fn、An、Gn、Ln、Enを多重した符号化情報を出力する。
Multiplexing
また、本実施の形態では第n−1フレームの復号量子化LSFパラメータについてのみ未量子化LSFパラメータとの誤差を計算する例を示したが、第nフレームの復号量子化LSFパラメータと第nフレームの未量子化LSFパラメータとの誤差も考慮して補償モードを決定するようにしても良い。 Further, in the present embodiment, an example in which an error from the unquantized LSF parameter is calculated only for the decoded quantized LSF parameter of the (n−1) th frame is shown, but the decoded quantized LSF parameter of the nth frame and the nth frame The compensation mode may be determined in consideration of an error from the unquantized LSF parameter.
このように、本実施の形態に係る音声符号化装置によれば、実施の形態3の音声復号化装置に対応して、補償処理に最適な補償処理用の重み付け係数セットを特定し、その情報を復号器側に伝送するので、復号器側でより高い補償性能が得られ、復号音声信号の品質が改善される。
Thus, according to the speech coding apparatus according to the present embodiment, a weighting coefficient set for compensation processing that is optimal for compensation processing is specified in correspondence with the speech decoding device of
(実施の形態6)
図18は、本発明の実施の形態6に係る音声信号伝送システムを構成する音声信号送信装置及び音声信号受信装置の構成を示すブロック図である。実施の形態5の音声符号化装置が音声信号送信装置に、実施の形態1〜3のいずれかの音声復号装置が音声信号受信装置に適用されている点のみが従来と異なる。
(Embodiment 6)
FIG. 18 is a block diagram showing configurations of an audio signal transmitting apparatus and an audio signal receiving apparatus that constitute an audio signal transmission system according to Embodiment 6 of the present invention. The only difference is that the speech coding apparatus according to the fifth embodiment is applied to the speech signal transmitting apparatus and the speech decoding apparatus according to any one of the first to third embodiments is applied to the speech signal receiving apparatus.
音声信号送信装置1100は、入力装置1101、A/D変換装置1102、音声符号化装置1103、信号処理装置1104、RF変調装置1105、送信装置1106及びアンテナ1107を有している。
The audio
A/D変換装置1102の入力端子は、入力装置1101に接続されている。音声符号化装置1103の入力端子は、A/D変換装置1102の出力端子に接続されている。信号処理装置1104の入力端子は、音声符号化装置1103の出力端子に接続されている。RF変調装置1105の入力端子は、信号処理装置1104の出力端子に接続されている。送信装置1106の入力端子は、RF変調装置1105の出力端子に接続されている。アンテナ1107は、送信装置1106の出力端子に接続されている。
An input terminal of the A /
入力装置1101は、音声信号を受けてこれを電気信号であるアナログ音声信号に変換し、A/D変換装置1102に与える。A/D変換装置1102は、入力装置1101からのアナログの音声信号をディジタル音声信号に変換し、これを音声符号化装置1103へ与える。音声符号化装置1103は、A/D変換装置1102からのディジタル音声信号を符号化して音声符号化ビット列を生成し信号処理装置1104に与える。信号処理装置1104は、音声符号化装置1103からの音声符号化ビット列にチャネル符号化処理やパケット化処理及び送信バッファ処理等を行った後、その音声符号化ビット列をRF変調装置1105に与える。RF変調装置1105は、信号処理装置1104からのチャネル符号化処理等が行われた音声符号化ビット列の信号を変調して送信装置1106に与える。送信装置1106は、RF変調装置1105からの変調された音声符号化信号をアンテナ1107を介して電波(RF信号)として送出する。
The
音声信号送信装置1100においては、A/D変換装置1102を介して得られるディジタル音声信号に対して数十msのフレーム単位で処理が行われる。システムを構成するネットワークがパケット網である場合には、1フレーム又は数フレームの符号化データを1つのパケットに入れこのパケットをパケット網に送出する。なお、前記ネットワークが回線交換網の場合には、パケット化処理や送信バッファ処理は不要である。
In the audio
音声信号受信装置1150は、アンテナ1151、受信装置1152、RF復調装置1153、信号処理装置1154、音声復号装置1155、D/A変換装置1156及び出力装置1157を有している。
The audio
受信装置1152の入力端子は、アンテナ1151に接続されている。RF復調装置1153の入力端子は、受信装置1152の出力端子に接続されている。信号処理装置1154の2つの入力端子は、RF復調装置1153の2つの出力端子に接続されている。音声復号装置1155の2つの入力端子は、信号処理装置1154の2つの出力端子に接続されている。D/A変換装置1156の入力端子は、音声復号装置1155の出力端子に接続されている。出力装置1157の入力端子は、D/A変換装置1156の出力端子に接続されている。
An input terminal of the
受信装置1152は、アンテナ1151を介して音声符号化情報を含んでいる電波(RF信号)を受けてアナログの電気信号である受信音声符号化信号を生成し、これをRF復調装置1153に与える。アンテナを介して受けた電波(RF信号)は、伝送路において信号の減衰や雑音の重畳がなければ、音声信号送信装置において送出された電波(RF信号)と全く同じものになる。
Receiving
RF復調装置1153は、受信装置1152からの受信音声符号化信号を復調し信号処理装置1154に与える。また、受信音声符号化信号が正常に復調できたかどうかの情報を別途信号処理装置1154に与える。信号処理装置1154は、RF復調装置1153からの受信音声符号化信号のジッタ吸収バッファリング処理、パケット組みたて処理およびチャネル復号化処理等を行い、受信音声符号化ビット列を音声復号装置1155に与える。また、受信音声符号化信号が正常に復調できたかどうかの情報をRF復調装置1153から入力し、RF復調装置1153から入力した情報が「正常に復調できなかった」ことを示しているか、または、信号処理装置内でのパケット組み立て処理等が正常に行えずに受信音声符号化ビット列を正常に復号できなかった場合に、フレーム消失が発生したことをフレーム消失情報として音声復号装置1155に与える。音声復号装置1155は、信号処理装置1154からの受信音声符号化ビット列の復号化処理を行って復号音声信号を生成しD/A変換装置1156へ与える。音声復号装置1155は、受信音声符号化ビット列と平行して入力されるフレーム消失情報に従って、通常の復号処理を行うのか、フレーム消失補償(隠蔽)処理による復号処理を行うのかを決定する。D/A変換装置1156は、音声復号装置1155からのディジタル復号音声信号をアナログ復号音声信号に変換して出力装置1157に与える。出力装置1157は、D/A変換装置1156からのアナログ復号音声信号を空気の振動に変換し音波として人間の耳に聞こえる様に出力する。
The
このように、実施の形態1から実施の形態5で示した音声符号化装置および音声復号装置を備えることにより、伝送路誤り(特にパケットロスに代表されるフレーム消失誤り)が発生した場合でも、従来よりも良い品質の復号音声信号を得ることができる。
As described above, even when a transmission path error (particularly, a frame loss error typified by packet loss) occurs by providing the speech encoding device and speech decoding device described in
(実施の形態7)
上記実施の形態1から6では、予測モデルとしてMA型を用いる場合について説明したが、本発明はこれに限らず、予測モデルとしてAR型を用いることもできる。実施の形態7では、予測モデルとしてAR型を用いる場合について説明する。なお、実施の形態7に係る音声復号装置の構成は、LPC復号部の内部構成が異なるのを除いて、図1と同一である。
(Embodiment 7)
In the first to sixth embodiments, the case where the MA type is used as the prediction model has been described. However, the present invention is not limited to this, and the AR type can also be used as the prediction model. In Embodiment 7, a case where an AR type is used as a prediction model will be described. The configuration of the speech decoding apparatus according to Embodiment 7 is the same as that shown in FIG. 1 except that the internal configuration of the LPC decoding unit is different.
図19は、本実施の形態に係る音声復号装置のLPC復号部105の内部構成を示すブロック図である。なお、図19において、図2と共通する構成部分には、図2と同一の符号を付し、その詳しい説明を省略する。
FIG. 19 is a block diagram showing an internal configuration of
図19に示すLPC復号部105は、図2と比較して、予測に関わる部分(バッファ204、増幅器205、加算器206)とフレーム消失補償に関わる部分(コードベクトル復号部203、バッファ207)を削除し、これらに置き換わる構成部分(コードベクトル復号部1901、増幅器1902、加算器1903、バッファ1904)を追加した構成を採る。
Compared with FIG. 2, the
LPC符号Ln+1はバッファ201およびコードベクトル復号部1901に入力され、フレーム消失符号Bn+1はバッファ202、コードベクトル復号部1901および選択器209に入力される。
The LPC code L n + 1 is input to the
バッファ201は、次フレームのLPC符号Ln+1を1フレームの間保持し、コードベクトル復号部1901に出力する。バッファ201からコードベクトル復号部1901に出力されるLPC符号は、バッファ201で1フレームの間保持された結果、現フレームのLPC符号Lnとなる。
The
バッファ202は、次フレームのフレーム消失符号Bn+1を1フレームの間保持し、コードベクトル復号部1901に出力する。バッファ202からコードベクトル復号部1901に出力されるフレーム消失符号は、バッファ202で1フレームの間保持された結果、現フレームのフレーム消失符号Bnとなる。
The
コードベクトル復号部1901は、1フレーム前の復号LSFベクトルyn-1、次フレームのLPC符号Ln+1、次フレームのフレーム消失符号Bn+1、現フレームのLPC符号Lnおよび現フレームのフレーム消失符号Bnを入力し、これらの情報に基づいて現フレームの量子化予測残差ベクトルxnを生成し、加算器1903に出力する。なお、コードベクトル復号部1901の詳細については後述する。
The code
増幅器1902は、前フレームの復号LSFベクトルyn−1に所定のAR予測係数a1を乗算し、加算器1903に出力する。
The
加算器1903は、増幅器1902から出力された予測LSFベクトル(すなわち前フレームの復号LSFベクトルにAR予測係数を乗じたもの)とコードベクトル復号部1901から出力された現フレームの量子化予測残差ベクトルxnとの和を計算し、計算結果である復号LSFベクトルynをバッファ1904およびLPC変換部208に出力する。
The
バッファ1904は、現フレームの復号LSFベクトルynを1フレームの間保持し、コードベクトル復号部1901および増幅器1902に出力する。これらに入力される復号LSFベクトルは、バッファ1904で1フレームの間保持された結果、1フレーム前の復号LSFベクトルyn-1となる。
The
なお、選択器209がバッファ210から出力された前フレームにおける復号LPCパラメータを選択する場合、実際にはコードベクトル復号部1901からLPC変換部208までの処理を全て行わなくてもよい。
Note that when the
次に、図19のコードベクトル復号部1901の内部構成について、図20のブロック図を用いて詳細に説明する。
Next, the internal configuration of the code
コードブック2001は、現フレームのLPC符号Lnによって特定されるコードベクトルを生成して切替スイッチ309へ出力するとともに、次フレームのLPC符号Ln+1によって特定されるコードベクトルを生成して増幅器2002に出力する。なお、コードブックは多段構成であったり、スプリット構成であったりする。
The
増幅器2002は、コードブック2001から出力されたコードベクトルxn+1に重み付け係数b0を乗算し、加算器2005に出力する。
The
増幅器2003は、前フレームの復号LSFベクトルが生成されるために必要な現フレームにおける量子化予測残差ベクトルを求める処理を行う。すなわち、増幅器2003は、前フレームの復号LSFベクトルyn-1が現フレームの復号LSFベクトルynとなるように現フレームのベクトルxnを計算する。具体的には、増幅器2003は、入力した前フレームの復号LSFベクトルyn-1に係数(1−a1)を乗ずる。そして、増幅器2003は、計算結果を切替スイッチ309に出力する。
The
増幅器2004は、入力した前フレームの復号LSFベクトルyn-1に重み付け係数b-1を乗算し、加算器2005に出力する。
The
加算器2005は、増幅器2002および増幅器2004から出力されたベクトルの和を計算し、計算結果となるコードベクトルを切替スイッチ309に出力する。すなわち、加算器2005は、次フレームのLPC符号Ln+1によって特定されるコードベクトル、前フレームの復号LSFベクトル、を重み付け加算することにより現フレームのベクトルxnを計算する。
The
切替スイッチ309は、現フレームのフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示す場合にはコードブック2001から出力されたコードベクトルを選択し、これを現フレームの量子化予測残差ベクトルxnとして出力する。一方、切替スイッチ309は、現フレームのフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示す場合には、次フレームのフレーム消失符号Bn+1がどちらの情報を有しているかによって、出力するベクトルをさらに選択する。
When the frame erasure code Bn of the current frame indicates that “the nth frame is a normal frame”, the
すなわち、次フレームのフレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示す場合には、切替スイッチ309は、増幅器2003から出力されたベクトルを選択し、これを現フレームの量子化予測残差ベクトルxnとして出力する。なお、この場合、コードブック2001および増幅器2002、2004から加算器2005までのベクトルを生成する過程の処理は行う必要がない。また、この場合、yn-1をynとして用いればよいので、必ずしも増幅器2003の処理によってxnを生成しなくとも良い。
That is, when the frame erasure code B n + 1 of the next frame indicates that “the (n + 1) th frame is an erasure frame”, the
また、次フレームのフレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示す場合には、切替スイッチ309は、加算器2005から出力されたベクトルを選択し、これを現フレームの量子化予測残差ベクトルxnとして出力する。なお、この場合、増幅器2003の処理は行う必要がない。
When the frame erasure code B n + 1 of the next frame indicates that “the (n + 1) th frame is a normal frame”, the
なお、本実施の形態の補償処理は、復号パラメータのフレーム間の変動が緩やかになるように、第n−1フレームの復号パラメータyn-1と第nフレームの復号パラメータynの距離、および、第nフレームの復号パラメータynと第n+1フレームの復号パラメータyn+1の距離の和D(Dは以下の式(9)のようになる)が小さくなるように重み付け係数b-1およびb0を決める。
以下、重み付け係数b-1およびb0の決め方の一例を示す。式(9)のDを最小化するため、以下の方程式(10)を、消失した第nフレームの復号量子化予測残差xnについて解く。その結果、以下の式(11)によりxnを求めることができる。なお、予測係数が各次で異なる場合には式(9)は式(12)に置き換わる。a1はAR予測係数、a1 (j)はAR予測係数セットの第j成分(すなわち、前フレームの復号LSFベクトルyn-1の第j成分であるyn-1 (j)に乗算する係数)を表す。
上式におけるx、y、aは以下の通りである。
xn (j):第nフレームにおけるLSFパラメータの第j成分の量子化予測残差
yn (j):第nフレームにおける復号LSFパラメータの第j成分
a1 (j):AR予測係数セットの第j成分
X, y and a in the above formula are as follows.
x n (j) : the quantized prediction residual y n (j) of the LSF parameter in the nth frame: j n component a 1 (j) of the decoded LSF parameter in the nth frame: of the AR prediction coefficient set Jth component
このように、予測モデルとしてAR型を用いる本実施の形態によれば、現フレームが消失した場合に、次のフレームが正常に受信されていれば、過去に復号されたパラメータおよび次のフレームの量子化予測残差を利用した補償処理専用の重み付け加算処理(重み付け線形和)によって現フレームのLSFパラメータの復号量子化予測残差の補償処理を行い、補償した量子化予測残差を用いてLSFパラメータの復号を行う。これにより、過去の復号LSFパラメータを繰り返し利用するよりも高い補償性能を実現することができる。 Thus, according to the present embodiment using the AR type as a prediction model, if the next frame is normally received when the current frame is lost, the parameters decoded in the past and the next frame Compensation processing of the decoded quantized prediction residual of the LSF parameter of the current frame is performed by weighted addition processing (weighted linear sum) dedicated to the compensation processing using the quantized prediction residual, and LSF is used using the compensated quantized prediction residual. Decode parameters. As a result, it is possible to realize higher compensation performance than repeatedly using past decoded LSF parameters.
なお、実施の形態2から4で説明した内容を、AR型を用いる本実施の形態に適用することも可能であり、この場合でも上記と同様の効果を得ることができる。
Note that the contents described in
(実施の形態8)
上記実施の形態7では、予測係数のセットが1種類しかない場合について説明したが、本発明はこれに限られず、実施の形態2および3と同様、予測係数のセットが複数種類ある場合についても適用することができる。実施の形態8では、予測係数セットが複数種類あるAR型予測モデルを用いる場合の一例について説明する。
(Embodiment 8)
In the seventh embodiment, the case where there is only one set of prediction coefficients has been described. However, the present invention is not limited to this, and the case where there are a plurality of sets of prediction coefficients as in the second and third embodiments. Can be applied. In the eighth embodiment, an example in which an AR type prediction model having a plurality of types of prediction coefficient sets is used will be described.
図21は、実施の形態8に係る音声復号装置のブロック図である。なお、図21に示す音声復号装置100の構成は、LPC復号部の内部構成が異なることと、多重分離部101からLPC復号部105への補償モード情報En+1の入力線がないことを除いて、図11と同一である。
FIG. 21 is a block diagram of the speech decoding apparatus according to the eighth embodiment. The configuration of
図22は、本実施の形態に係る音声復号装置のLPC復号部105の内部構成を示すブロック図である。なお、図22において、図19と共通する構成部分には、図19と同一の符号を付し、その詳しい説明を省略する。
FIG. 22 is a block diagram showing an internal configuration of
図22に示すLPC復号部105は、図19と比較して、バッファ2202と係数復号部2203とを追加した構成を採る。また、図22のコードベクトル復号部2201の動作及び内部構成が図19のコードベクトル復号部1901と異なる。
The
LPC符号Vn+1はバッファ201およびコードベクトル復号部2201に入力され、フレーム消失符号Bn+1はバッファ202、コードベクトル復号部2201および選択器209に入力される。
The LPC code V n + 1 is input to the
バッファ201は、次フレームのLPC符号Vn+1を1フレームの間保持し、コードベクトル復号部2201に出力する。バッファ201からコードベクトル復号部2201に出力されるLPC符号は、バッファ201で1フレームの間保持された結果、現フレームのLPC符号Vnとなる。また、バッファ202は、次フレームのフレーム消失符号Bn+1を1フレームの間保持し、コードベクトル復号部2201に出力する。
The
コードベクトル復号部2201は、1フレーム前の復号LSFベクトルyn-1、次フレームのLPC符号Vn+1、次フレームのフレーム消失符号Bn+1、現フレームのLPC符号Vn、次フレームの予測係数符号Kn+1および現フレームのフレーム消失符号Bnを入力し、これらの情報に基づいて現フレームの量子化予測残差ベクトルxnを生成し、加算器1903に出力する。なお、コードベクトル復号部2201の詳細については後述する。
The code
バッファ2202は、AR予測係数符号Kn+1を1フレームの間保持し、係数復号部2203に出力する。この結果、バッファ2202から係数復号部2203に出力されるAR予測係数符号は、1フレーム前のAR予測係数符号Knとなる。 The buffer 2202 holds the AR prediction coefficient code K n + 1 for one frame and outputs it to the coefficient decoding unit 2203. Consequently, AR prediction coefficient code output from the buffer 2202 to the coefficient decoding section 2203, a previous frame of the AR prediction coefficient code K n.
係数復号部2203は、係数セットを複数種類格納し、フレーム消失符号Bn、Bn+1およびAR予測係数符号Kn、Kn+1によって係数セットを特定する。ここで、係数復号部2203における係数セットの特定の仕方は以下の3通りである。 Coefficient decoding section 2203 stores a plurality of types of coefficient sets, and identifies coefficient sets by frame erasure codes B n and B n + 1 and AR prediction coefficient codes K n and K n + 1 . Here, the coefficient decoding unit 2203 specifies the coefficient set in the following three ways.
入力したフレーム消失符号Bnが「第nフレームは正常フレームである」ことを示す場合、係数復号部2203は、AR予測係数符号Knで指定される係数セットを選択する。 If the frame erasure code B n input indicates that "the n-th frame is normal frame", coefficient decoding portion 2203 selects the coefficient set specified by AR prediction coefficient code K n.
また、入力したフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示し、フレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示す場合、係数復号部2203は、第n+1フレームのパラメータとして受信されているAR予測係数符号Kn+1を用いて、選択対象となる係数セットを決定する。つまり、Kn+1をそのままAR予測係数符号Knの代わりとして使用する。もしくは予めこのような場合に使用する係数セットを決めておき、Kn+1に関わらずこの決めておいた係数セットを使うようにしても良い。 When the input frame erasure code B n indicates that “the nth frame is a erasure frame” and the frame erasure code B n + 1 indicates that “the (n + 1) th frame is a normal frame”, the coefficient decoding unit 2203 The coefficient set to be selected is determined using the AR prediction coefficient code K n + 1 received as the parameter of the (n + 1) th frame. That is, K n + 1 is used as it is instead of the AR prediction coefficient code K n . Alternatively, a coefficient set to be used in such a case may be determined in advance, and the determined coefficient set may be used regardless of K n + 1 .
また、入力したフレーム消失符号Bnが「第nフレームは消失フレームである」ことを示し、かつ、フレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示す場合、利用できる情報は前フレームで使用した係数セットの情報のみであるので、係数復号部2203は、前フレームで使用した係数セットを繰り返し使用するようにする。もしくは予め決めておいたモードの係数セットを固定的に使用するようにしても良い。 Further, when the input frame erasure code Bn indicates that “the nth frame is a erasure frame” and the frame erasure code Bn + 1 indicates that “the n + 1th frame is an erasure frame”, information that can be used Is only information on the coefficient set used in the previous frame, the coefficient decoding unit 2203 repeatedly uses the coefficient set used in the previous frame. Alternatively, a predetermined coefficient set may be used in a fixed manner.
そして、係数復号部2203は、AR予測係数a1を増幅器1902に出力し、AR予測係数(1-a1)をコードベクトル復号部2201に出力する。
Then, the coefficient decoding unit 2203 outputs the AR prediction coefficient a 1 to the
増幅器1902は、前フレームの復号LSFベクトルyn-1に係数復号部2203から入力されるAR予測係数a1を乗算し、加算器1903に出力する。
The
次に、図22のコードベクトル復号部2201の内部構成について、図23のブロック図を用いて詳細に説明する。なお、図23において、図20と共通する構成部分には、図20と同一の符号を付し、その詳しい説明を省略する。図23のコードベクトル復号部2201は、図20のコードベクトル復号部1901に対して係数復号部2301を追加した構成を採る。
Next, the internal configuration of the code
係数復号部2301は、係数セットを複数種類格納し、AR予測係数符号Kn+1によって係数セットを特定し、増幅器2002、2004に出力する。なお、ここで使用される係数セットは係数復号部2203から出力されるAR予測係数a1を用いて計算することも可能であり、この場合は係数セットを格納しておく必要がなく、AR予測係数a1を入力して計算すればよい。具体的な計算方法については後述する。
The
コードブック2001は、現フレームのLPC符号Vnによって特定されるコードベクトルを生成して切替スイッチ309へ出力するとともに、次フレームのLPC符号Vn+1によって特定されるコードベクトルを生成して増幅器2002に出力する。なお、コードブックは多段構成であったり、スプリット構成であったりする。
The
増幅器2002は、コードブック2001から出力されたコードベクトルxn+1に係数復号部2301から出力された重み付け係数b0を乗算し、加算器2005に出力する。
The
増幅器2003は、係数復号部2203から出力されたAR予測係数(1-a1)を前フレームの復号LSFベクトルyn-1に乗算し、切替スイッチ309へ出力する。なお、実装上このような経路を作らずに、増幅器2003および増幅器1902および加算器1903の処理を行う代わりに、バッファ1904の出力を加算器1903の出力に替えてLPC変換部208へ入力できるような切替構成が備わっていれば、増幅器2003を経由する経路は不要である。
The
増幅器2004は、入力した前フレームの復号LSFベクトルyn-1に係数復号部2301から出力された重み付け係数b-1を乗算し、加算器2005に出力する。
The
なお、本実施の形態の補償処理は、復号パラメータのフレーム間の変動が緩やかになるように、第n−1フレームの復号パラメータyn-1と第nフレームの復号パラメータynの距離、および、第nフレームの復号パラメータynと第n+1フレームの復号パラメータyn+1の距離の和D(Dは以下の式(13)のようになる)が小さくなるように重み付け係数b-1およびb0を決める。
以下、重み付け係数b-1およびb0の決め方の一例を示す。式(13)のDを最小化するため、以下の方程式(14)を、消失した第nフレームの復号量子化予測残差xnについて解く。その結果、以下の式(15)によりxnを求めることができる。なお、予測係数が各次で異なる場合には式(13)は式(16)に置き換わる。a’1は第n+1フレームにおけるAR予測係数、a1は第nフレームにおけるAR予測係数、a1 (j)はAR予測係数セットの第j成分(すなわち、前フレームの復号LSFベクトルyn-1の第j成分であるyn-1 (j)に乗算する係数)を表す。
上式におけるx、y、aは以下の通りである。
xn (j):第nフレームにおけるLSFパラメータの第j成分の量子化予測残差
yn (j):第nフレームにおける復号LSFパラメータの第j成分
a1 (j):第nフレームのAR予測係数セットの第j成分
a’1 (j):第n+1フレームのAR予測係数セットの第j成分
X, y and a in the above formula are as follows.
x n (j) : quantized prediction residual y n (j) of the LSF parameter in the nth frame: j j component a 1 (j) of the decoded LSF parameter in the nth frame: AR of the nth frame J-th component a ′ 1 (j) of prediction coefficient set: j-th component of AR prediction coefficient set of the ( n + 1 ) th frame
ここで、第nフレームが消失フレームだと、第nフレームの予測係数セットは未知である。a1を決定する方法はいくつか考えられる。まず、実施の形態2のように第n+1フレームで追加情報として送る方法がある。ただし、追加のビットが必要であり、エンコーダ側にも修正が必要となる。次に、第n−1フレームで使われた予測係数セットを使う方法がある。さらに、第n+1フレームで受信した予測係数セットを使う方法がある。この場合、a1=a’1である。またさらに、常に特定の予測係数セットを使う方法がある。しかしながら、後述するように、ここで異なるa1を用いても同じa1を用いてAR予測を行えば、復号されるynは等しくなる。AR予測を用いる予測量子化の場合、量子化予測残差xnは予測に関係せず、復号される量子化パラメータynのみが予測に関係するので、この場合a1は任意の値で良い。 Here, if the nth frame is an erasure frame, the prediction coefficient set of the nth frame is unknown. how to determine the a 1 is considered some. First, there is a method of sending as additional information in the (n + 1) th frame as in the second embodiment. However, an additional bit is required and correction is also required on the encoder side. Next, there is a method of using the prediction coefficient set used in the (n-1) th frame. Furthermore, there is a method of using the prediction coefficient set received in the (n + 1) th frame. In this case, a 1 = a ′ 1 . Furthermore, there is a method that always uses a specific set of prediction coefficients. However, as will be described later, even if different a 1 is used, if AR prediction is performed using the same a 1 , the decoded y n becomes equal. In the case of predictive quantization using AR prediction, the quantized prediction residual x n is not related to prediction, and only the decoded quantization parameter y n is related to prediction. In this case, a 1 may be an arbitrary value. .
a1が決まれば、式(15)または式(16)からb0、b1を決定でき、消失フレームのコードベクトルxnを生成することができる。 If a 1 is determined, b 0 and b 1 can be determined from Expression (15) or Expression (16), and the code vector x n of the lost frame can be generated.
なお、上記の式(16)で得られる消失フレームのコードベクトルxnをynを表す式(yn=a1yn−1+xn)に代入すると、下記の式(17)のようになる。したがって、補償処理によって生成される消失フレームにおける復号パラメータはxn+1とyn-1とa1’から直接求めることができる。この場合、消失フレームにおける予測係数a1を用いない補償処理が可能となる。
このように、本実施の形態によれば、実施の形態7で説明した特徴に加えて、予測係数のセットを複数用意し、補償処理を行うので、実施の形態7よりもさらに高い補償性能を実現することができる。 Thus, according to the present embodiment, in addition to the features described in the seventh embodiment, a plurality of sets of prediction coefficients are prepared and the compensation process is performed, so that a higher compensation performance than in the seventh embodiment is achieved. Can be realized.
(実施の形態9)
上記実施の形態1から8では、n+1フレームを受信してからnフレームの復号を行う場合について説明したが、本発明はこれに限らず、nフレームの生成をn−1フレームの復号パラメータを用いて行い、n+1フレームの復号時に本発明の手法を用いてnフレームのパラメータ復号を行い、その結果で予測器の内部状態を更新してからn+1フレームの復号を行うこともできる。
(Embodiment 9)
In the first to eighth embodiments, the case where n frames are decoded after receiving n + 1 frames has been described. However, the present invention is not limited to this, and the generation of n frames is performed using decoding parameters of n−1 frames. It is also possible to perform n-frame parameter decoding using the method of the present invention at the time of decoding n + 1 frame, and update the internal state of the predictor with the result, thereby decoding n + 1 frame.
実施の形態9では、この場合について説明する。実施の形態9における音声復号装置の構成は図1と同一である。また、LPC復号部105の構成は図19と同一でよいが、n+1フレームの符号化情報入力に対してn+1フレームの復号を行うことを明確にするために図24のように書き換える。
Embodiment 9 describes this case. The configuration of the speech decoding apparatus according to the ninth embodiment is the same as that shown in FIG. The configuration of the
図24は、本実施の形態に係る音声復号装置のLPC復号部105の内部構成を示すブロック図である。なお、図24において、図19と共通する構成部分には、図19と同一の符号を付し、その詳しい説明を省略する。
FIG. 24 is a block diagram showing an internal configuration of
図24に示すLPC復号部105は、図19と比較して、バッファ201を削除し、コードベクトル復号部の出力がxn+1であり、復号パラメータがn+1フレームのもの(yn+1)であること、および切替スイッチ2402を追加した構成を採る。また、図24のコードベクトル復号部2401の動作及び内部構成が図19のコードベクトル復号部1901と異なる。
Compared with FIG. 19, the
LPC符号Ln+1はコードベクトル復号部2401に入力され、フレーム消失符号Bn+1はバッファ202、コードベクトル復号部2401および選択器209に入力される。
The LPC code L n + 1 is input to the code
バッファ202は、現フレームのフレーム消失符号Bn+1を1フレームの間保持し、コードベクトル復号部2401に出力する。バッファ202からコードベクトル復号部2401に出力されるフレーム消失符号は、バッファ202で1フレームの間保持された結果、前フレームのフレーム消失符号Bnとなる。
The
コードベクトル復号部2401は、2フレーム前の復号LSFベクトルyn-1、現フレームのLPC符号Ln+1、現フレームのフレーム消失符号Bn+1を入力し、これらの情報に基づいて現フレームの量子化予測残差ベクトルxn+1および前フレームの復号LSFベクトルy'nを生成し、それぞれ加算器1903および切替スイッチ2402に出力する。なお、コードベクトル復号部2401の詳細については後述する。
The code
増幅器1902は、前フレームの復号LSFベクトルynまたはy'nに所定のAR予測係数a1を乗算し、加算器1903に出力する。
The
加算器1903は、増幅器1902から出力された予測LSFベクトル(すなわち前フレームの復号LSFベクトルにAR予測係数を乗じたもの)を計算し、計算結果である復号LSFベクトルyn+1をバッファ1904およびLPC変換部208に出力する。
The
バッファ1904は、現フレームの復号LSFベクトルyn+1を1フレームの間保持し、コードベクトル復号部2401および切替スイッチ2402に出力する。これらに入力される復号LSFベクトルは、バッファ1904で1フレームの間保持された結果、1フレーム前の復号LSFベクトルynとなる。
The
切替スイッチ2402は、前フレームの復号LSFベクトルynか、コードベクトル復号部2401にて現フレームのLPC符号Ln+1を用いて生成しなおされた前フレームの復号LSFベクトルy'nかのいずれかを、前フレームのフレーム消失符号Bnによって選択する。切替スイッチ2402は、Bnが消失フレームを示している場合にy'nを選択する。
The
なお、選択器209がバッファ210から出力された前フレームにおける復号LPCパラメータを選択する場合、実際にはコードベクトル復号部2401からLPC変換部208までの処理を全て行わなくてもよい。
Note that when the
次に、図24のコードベクトル復号部2401の内部構成について、図25のブロック図を用いて詳細に説明する。なお、図25において、図20と共通する構成部分には、図20と同一の符号を付し、その詳しい説明を省略する。図25のコードベクトル復号部2401は、図20のコードベクトル復号部1901に対してバッファ2502、増幅器2503および加算器2504を追加した構成を採る。また、図25の切替スイッチ2501の動作及び内部構成が図20の切替スイッチ309と異なる。
Next, the internal configuration of the code
コードブック2001は、現フレームのLPC符号Ln+1によって特定されるコードベクトルを生成して切替スイッチ2501へ出力するとともに、増幅器2002に出力する。
The
増幅器2003は、前フレームの復号LSFベクトルが生成されるために必要な現フレームにおける量子化予測残差ベクトルを求める処理を行う。すなわち、増幅器2003は、前フレームの復号LSFベクトルynが現フレームの復号LSFベクトルyn+1となるように現フレームのベクトルxn+1を計算する。具体的には、増幅器2003は、入力した前フレームの復号LSFベクトルynに係数(1−a1)を乗ずる。そして、増幅器2003は、計算結果を切替スイッチ2501に出力する。
The
切替スイッチ2501は、現フレームのフレーム消失符号Bn+1が「第n+1フレームは正常フレームである」ことを示す場合にはコードブック2001から出力されたコードベクトルを選択し、これを現フレームの量子化予測残差ベクトルxn+1として出力する。
一方、切替スイッチ2501は、現フレームのフレーム消失符号Bn+1が「第n+1フレームは消失フレームである」ことを示す場合には、増幅器2003から出力されたベクトルを選択し、これを現フレームの量子化予測残差ベクトルxn+1として出力する。なお、この場合、コードブック2001および増幅器2002、2004から加算器2005までのベクトルを生成する過程の処理は行う必要がない。
When the frame erasure code B n + 1 of the current frame indicates that “the (n + 1) th frame is a normal frame”, the
On the other hand, if the frame erasure code B n + 1 of the current frame indicates that “the (n + 1) th frame is a erasure frame”, the
バッファ2502は、前フレームの復号LSFベクトルynを1フレームの間保持し、2フレーム前の復号LSFベクトルyn-1として増幅器2004および増幅器2503へ出力する。
The
増幅器2004は、入力した2フレーム前の復号LSFベクトルyn-1に重み付け係数b-1を乗算し、加算器2005に出力する。
The
加算器2005は、増幅器2002および増幅器2004から出力されたベクトルの和を計算し、計算結果となるコードベクトルを加算器2504に出力する。すなわち、加算器2005は、現フレームのLPC符号Ln+1によって特定されるコードベクトル、2フレーム前の復号LSFベクトル、を重み付け加算することにより前フレームのベクトルxnを計算し、加算器2504に出力する。
増幅器2503は、2フレーム前の復号LSFベクトルyn-1に予測係数a1を乗算し、加算器2504に出力する。
The
加算器2504は、加算器2005の出力(現フレームのLPC符号Ln+1を用いて再計算された前フレームの復号ベクトルxn)と増幅器2503の出力(2フレーム前の復号LSFベクトルyn-1に予測係数a1を乗じたベクトル)を加算し、前フレームの復号LSFベクトルy'nを再計算する。
The
なお、本実施の形態の復号LSFベクトルy'nの再計算の方法は、実施の形態7における補償処理と同様である。 Note that the recalculation method of the decoded LSF vector y ′ n in the present embodiment is the same as the compensation processing in the seventh embodiment.
このように、本実施の形態によれば、実施の形態7の補償処理によって得られる復号ベクトルxnを第n+1フレームの復号時の予測器内部状態にのみ利用する構成にすることにより、実施の形態7で必要となっていた処理遅延1フレーム分を削減することができる。 As described above, according to the present embodiment, the decoding vector x n obtained by the compensation processing of the seventh embodiment is used only for the predictor internal state at the time of decoding of the (n + 1) th frame, It is possible to reduce the processing delay of one frame required in the seventh embodiment.
(実施の形態10)
上記実施の形態1から9では、LPC復号部内の構成および処理にのみ特徴を備えていたが、本実施の形態に係る音声復号装置の構成は、LPC復号部外の構成について特徴を有する。本発明は図1、図8、図11、図21のいずれにも適用可能であるが、本実施の形態では図21に適用する場合を例に説明する。
(Embodiment 10)
In
図26は、本実施の形態に係る音声復号装置を示すブロック図である。図26において、図21と同一の構成要素については図21と同一符号を付し、詳しい説明を省略する。図26に示す音声復号装置100は、図21と比較して、フィルタ利得算出部2601、音源パワ制御部2602、および増幅器2603を追加した構成を採る。
FIG. 26 is a block diagram showing the speech decoding apparatus according to the present embodiment. 26, the same components as those in FIG. 21 are denoted by the same reference numerals as those in FIG. 21, and detailed description thereof is omitted. The
LPC復号部105は、復号したLPCをLPC合成部109およびフィルタ利得算出部2601に出力する。また、LPC復号部105は、復号中の第nフレームに対応するフレーム消失符号Bnを音源パワ制御部2602に出力する。
フィルタ利得算出部2601は、LPC復号部105から入力されたLPCによって構成される合成フィルタのフィルタ利得を計算する。フィルタ利得の算出方法の一例として、インパルス応答のエネルギの平方根を求めてフィルタ利得とする方法がある。これは、入力信号をエネルギが1であるインパルスと考えれば、入力されたLPCで構成した合成フィルタのインパルス応答のエネルギがそのままフィルタ利得情報となることに基づいている。また、フィルタ利得の算出方法の別の例として、LPCからレビンソン・ダービンのアルゴリズムを用いて線形予測残差の2乗平均値を求めることができることから、この逆数をフィルタ利得情報として用い、線形予測残差の2乗平均の逆数の平方根をフィルタ利得とする方法もある。求められフィルタ利得は、音源パワ制御部2602に出力される。なお、フィルタ利得を表すパラメータとして、インパルス応答のエネルギや線形予測残差の二乗平均値を、平方根を取らずに音源パワ制御部2602に出力しても良い。
The filter
音源パワ制御部2602は、フィルタ利得算出部2601からフィルタ利得を入力し、音源信号の振幅調整用のスケーリング係数を算出する。音源パワ制御部2602は、その内部にメモリを備えていて、1フレーム前のフィルタ利得をメモリに保持している。メモリの内容は、スケーリング係数が算出された後、入力された現フレームのフィルタ利得に書き換えられる。スケーリング係数SGnの算出は、現フレームのフィルタ利得をFGn、前フレームのフィルタ利得をFGn−1、利得増加率の上限値をDGmax、とすると、例えば、SGn=DGmax×FGn−1/FGnの式により行われる。ここで、利得増加率とは、FGn/FGn−1で定義され、現フレームのフィルタ利得が前フレームのフィルタ利得と比べて何倍になったかを示すものである。その上限値を予めDGmaxと決めておく。フレーム消失隠蔽処理によって作られた合成フィルタにおいて、フィルタ利得が前フレームのフィルタ利得に対して急激に上昇した場合、合成フィルタの出力信号のエネルギも急激に上昇し、復号信号(合成信号)が局所的に大振幅となって異音を生じる。これを回避するため、フレーム消失隠蔽処理によって生成された復号LPCによって構成される合成フィルタのフィルタ利得が、前フレームのフィルタ利得に対して所定の利得増加率以上に大きくなった場合、合成フィルタの駆動信号である復号音源信号のパワを下げる。このための係数がスケーリング係数であり、前記所定の利得増加率が利得増加率の上限値DGmaxである。通常、DGmaxを1もしくは0.98など1より少し小さい値に設定すれば異音の発生を避けることができる。なお、FGn/FGn−1がDGmax以下の場合は、SGn=1.0として増幅器2603におけるスケーリングは行わなくて良い。
The sound source
・ また、スケーリング係数SGnの別の算出方法として、例えば、SGn=Max(SGmax ,FGn−1/FGn)によって求める方法がある。ここで、SGmaxはスケーリング係数の最大値を表し、例えば1.5のように1より若干大きい値とする。また、Max(A,B)はAとBのいずれか大きいほうを出力する関数である。SGn=FGn−1/FGnの場合、フィルタ利得が増加した分、音源信号のパワが下がることとなり、現フレームの復号合成信号のエネルギは前フレームの復号合成信号のエネルギと同じになる。これにより前述した合成信号エネルギの急上昇を回避することができると共に、合成信号エネルギの急激な減衰を回避することができる。前フレームのフィルタ利得に比べて現フレームのフィルタ利得が小さくなる場合、合成信号エネルギが急激に減衰し、音切れとして知覚される場合がある。このような場合に、SGn=FGn−1/FGnとするとSGnは1以上の値となり、合成信号エネルギの局所的な減衰を回避する役割を果たす。しかしながら、フレーム消失補償処理で生成した音源信号は必ずしも音源信号として適切であるとは限らないため、スケーリング係数を大きくしすぎると却って歪が目立って品質劣化に繋がる。このため、スケーリング係数に上限を設け、FGn−1/FGnがその上限値を上回る場合は、上限値にクリッピングする。 Further, as another method for calculating the scaling coefficient SGn, for example, there is a method in which SGn = Max (SG max , FG n−1 / FG n ) is obtained. Here, SG max represents the maximum value of the scaling coefficient, and is a value slightly larger than 1, for example 1.5. Max (A, B) is a function that outputs the larger of A and B. In the case of SG n = FG n−1 / FG n , the power of the sound source signal is reduced by the increase of the filter gain, and the energy of the decoded combined signal of the current frame becomes the same as the energy of the decoded combined signal of the previous frame. . As a result, it is possible to avoid the sudden increase of the combined signal energy described above and to avoid the sudden attenuation of the combined signal energy. If the filter gain of the current frame is smaller than the filter gain of the previous frame, the combined signal energy may be abruptly attenuated and perceived as sound interruption. In this case, SG n When SG n = FG n-1 / FG n becomes a value of 1 or more, serves to avoid local attenuation of the composite signal energy. However, since the sound source signal generated by the frame erasure compensation process is not necessarily appropriate as the sound source signal, if the scaling coefficient is increased too much, the distortion becomes conspicuous and leads to quality degradation. For this reason, an upper limit is provided for the scaling coefficient, and when FG n−1 / FG n exceeds the upper limit value, clipping is performed to the upper limit value.
なお、1フレーム前のフィルタ利得またはフィルタ利得を表すパラメータ(合成フィルタのインパルス応答のエネルギなど)を、音源パワ制御部2602内のメモリに保持せずに、音源パワ制御部2602の外部から入力するようにしても良い。特に1フレーム前のフィルタ利得に関する情報を音声復号器の他の部分で利用している場合には、上記パラメータを外部から入力するようにし、音源パワ制御部2602の内部で書き換えることもしない。
It should be noted that the filter gain or the parameter representing the filter gain (such as the impulse response energy of the synthesis filter) one frame before is input from outside the sound source
そして、音源パワ制御部2602は、LPC復号部105からフレーム消失符号Bnを、入力し、Bnが、現フレームが消失フレームであることを示す場合には、算出したスケーリング係数を増幅器2603に出力する。一方、Bnが現フレームは消失フレームでないことを示す場合には、音源パワ制御部2602は、スケーリング係数として1を増幅器2603に出力する。
Then, the sound source
増幅器2603は、音源パワ制御部2602から入力したスケーリング係数を、加算器108から入力した復号音源信号に乗算してLPC合成部109へ出力する。
The
このように、本実施の形態によれば、フレーム消失隠蔽処理によって生成された復号LPCによって構成される合成フィルタのフィルタ利得が、前フレームのフィルタ利得に対して変化する場合、合成フィルタの駆動信号である復号音声信号のパワを調整することにより、異音や音切れの発生を防ぐことができる。 Thus, according to the present embodiment, when the filter gain of the synthesis filter configured by the decoded LPC generated by the frame erasure concealment process changes with respect to the filter gain of the previous frame, the synthesis filter drive signal By adjusting the power of the decoded audio signal, it is possible to prevent the generation of abnormal sounds and sound interruptions.
なお、Bnが現フレームは消失フレームでないことを示す場合であっても、直前のフレームが消失フレームである(つまり、Bn−1が前フレームは消失フレームであったことを示す)場合には、音源パワ制御部2602が、算出したスケーリング係数を増幅器2603に出力するようにしても良い。これは、予測符号化を用いた場合は、フレーム消失からの復帰フレームにおいても誤りの影響が残留している場合があるためである。この場合でも上記と同様の効果を得ることができる。
Note that even if B n indicates that the current frame is not a lost frame, the previous frame is a lost frame (ie, B n−1 indicates that the previous frame was a lost frame). The sound source
以上、本発明の実施の形態について説明した。 The embodiment of the present invention has been described above.
なお、上記各実施の形態では符号化パラメータをLSFパラメータとしたが、本発明はこれに限定されるものではなく、フレーム間での変動が緩やかなパラメータであればどのようなパラメータにも適用可能であり、例えば、イミタンススペクトル周波数(immittance spectrum frequencies ;ISFs)でも良い。 In each of the above embodiments, the encoding parameter is the LSF parameter. However, the present invention is not limited to this, and can be applied to any parameter as long as it varies gradually between frames. For example, immittance spectrum frequencies (ISFs) may be used.
また、上記各実施の形態では符号化パラメータをLSFパラメータそのものとしたが、平均的なLSFからの差分を取った、平均値除去後のLSFパラメータにしても良い。 In each of the above-described embodiments, the encoding parameter is the LSF parameter itself. However, the difference from the average LSF may be taken, and the LSF parameter after removal of the average value may be used.
また、本発明に係るパラメータ復号装置/パラメータ符号化装置は、音声復号装置/音声符号化装置に適用されるほか、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。 The parameter decoding apparatus / parameter encoding apparatus according to the present invention is applicable to a speech decoding apparatus / speech encoding apparatus, and can be mounted on a communication terminal apparatus and a base station apparatus in a mobile communication system. Thus, it is possible to provide a communication terminal device, a base station device, and a mobile communication system having the same effects as described above.
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るパラメータ復号方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るパラメータ復号装置と同様の機能を実現することができる。 Further, here, the case where the present invention is configured by hardware has been described as an example, but the present invention can also be realized by software. For example, the algorithm of the parameter decoding method according to the present invention is described in a programming language, and this program is stored in a memory and executed by information processing means, thereby realizing the same function as the parameter decoding device according to the present invention. can do.
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。 Each functional block used in the description of each of the above embodiments is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。 Although referred to as LSI here, it may be called IC, system LSI, super LSI, ultra LSI, or the like depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。 Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection or setting of circuit cells inside the LSI may be used.
さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied as a possibility.
2006年11月10日出願の特願2006−305861、2007年5月17日出願の特願2007−132195及び2007年9月14日出願の特願2007−240198の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。 Japanese Patent Application No. 2006-305861 filed on Nov. 10, 2006, Japanese Patent Application No. 2007-132195 filed on May 17, 2007, and Japanese Patent Application No. 2007-240198 filed on Sep. 14, 2007, The entire disclosure of the drawings and abstract is incorporated herein by reference.
本発明に係るパラメータ復号装置およびパラメータ復号方法は、音声復号装置、音声符号化装置、更には、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用することができる。
The parameter decoding apparatus and parameter decoding method according to the present invention can be applied to applications such as a speech decoding apparatus, a speech encoding apparatus, a communication terminal apparatus, a base station apparatus, and the like in a mobile communication system.
Claims (6)
前記予測残差に基づいて、前記スペクトルパラメータを復号するパラメータ復号ステップと、
を含み、
前記予測残差復号ステップにおいて、現フレームが消失した場合、下記の式を用いて、現フレームの前記予測残差を求める、
パラメータ復号方法。
x[n] = b0 x[n+1] + b1 y[n-1]
where;
b0 = {b0(i)}, i=0,…,M-1,
b0(i) = (1-a[1]’(i))([a[1]’(i)]^2 - 2a[1]’(i) + 2)^(-1),
b1 = {b1(i)}, i=0,…,M-1, and
b1(i) = ([a[1]’(i)]^2 - 2a[1]’(i) + 2)^(-1) - a[1](i).
where;
a[1]’(i) :未来フレームの予測係数セットの第i成分、
a[1](i) :現フレームの予測係数セットの第i成分、
x[n] :現フレームにおける前記予測残差、
x[n+1] :未来フレームにおける前記予測残差、
y[n-1] :過去フレームにおける復号スペクトルパラメータ A prediction residual decoding step for obtaining a quantized prediction residual of a spectrum parameter based on encoding information included in a current frame of a speech encoded bit string;
A parameter decoding step for decoding the spectral parameter based on the prediction residual;
Including
In the prediction residual decoding step, when the current frame is lost, the prediction residual of the current frame is obtained using the following equation:
Parameter decoding method.
x [n] = b0 x [n + 1] + b1 y [n-1]
where;
b0 = {b0 (i)}, i = 0,…, M-1,
b0 (i) = (1-a [1] '(i)) ([a [1]' (i)] ^ 2-2a [1] '(i) + 2) ^ (-1),
b1 = {b1 (i)}, i = 0,…, M-1, and
b1 (i) = ([a [1] '(i)] ^ 2-2a [1]' (i) + 2) ^ (-1)-a [1] (i).
where;
a [1] '(i): i-th component of the prediction coefficient set of the future frame,
a [1] (i): i-th component of the prediction coefficient set of the current frame,
x [n]: the prediction residual in the current frame,
x [n + 1]: the prediction residual in the future frame,
y [n-1]: Decoded spectrum parameter in the past frame
過去フレームの復号スペクトルパラメータに、予測係数を乗算する予測ステップと、
前記予測残差と、前記予測係数が乗算された前記過去フレームの復号スペクトルパラメータとを加算することで、前記スペクトルパラメータを復号する加算ステップと、
を含む、請求項1に記載のパラメータ復号方法。 The parameter decoding step includes:
A prediction step of multiplying a decoded spectrum parameter of a past frame by a prediction coefficient;
An addition step of decoding the spectral parameter by adding the prediction residual and the decoded spectral parameter of the past frame multiplied by the prediction coefficient;
The parameter decoding method according to claim 1, comprising:
前記予測残差に基づいて、前記スペクトルパラメータを復号するパラメータ復号手段と、
を含み、
前記予測残差復号手段において、現フレームが消失した場合、下記の式を用いて、現フレームの前記予測残差を求める、
パラメータ復号装置。
x[n] = b0 x[n+1] + b1 y[n-1]
where;
b0 = {b0(i)}, i=0,…,M-1,
b0(i) = (1-a[1]’(i))([a[1]’(i)]^2 - 2a[1]’(i) + 2)^(-1),
b1 = {b1(i)}, i=0,…,M-1, and
b1(i) = ([a[1]’(i)]^2 - 2a[1]’(i) + 2)^(-1) - a[1](i).
where;
a[1]’(i) :未来フレームの予測係数セットの第i成分、
a[1](i) :現フレームの予測係数セットの第i成分、
x[n] :現フレームにおける前記予測残差、
x[n+1] :未来フレームにおける前記予測残差、
y[n-1] :過去フレームにおける復号スペクトルパラメータ A prediction residual decoding means for obtaining a quantized prediction residual of a spectrum parameter based on coding information included in a current frame of a speech coded bit string;
Parameter decoding means for decoding the spectral parameter based on the prediction residual;
Including
In the prediction residual decoding means, when the current frame is lost, the prediction residual of the current frame is obtained using the following equation:
Parameter decoding device.
x [n] = b0 x [n + 1] + b1 y [n-1]
where;
b0 = {b0 (i)}, i = 0,…, M-1,
b0 (i) = (1-a [1] '(i)) ([a [1]' (i)] ^ 2-2a [1] '(i) + 2) ^ (-1),
b1 = {b1 (i)}, i = 0,…, M-1, and
b1 (i) = ([a [1] '(i)] ^ 2-2a [1]' (i) + 2) ^ (-1)-a [1] (i).
where;
a [1] '(i): i-th component of the prediction coefficient set of the future frame,
a [1] (i): i-th component of the prediction coefficient set of the current frame,
x [n]: the prediction residual in the current frame,
x [n + 1]: the prediction residual in the future frame,
y [n-1]: Decoded spectrum parameter in the past frame
過去フレームの復号スペクトルパラメータに、予測係数を乗算する予測手段と、
前記予測残差ベクトルと、前記予測係数が乗算された前記過去フレームの復号スペクトルパラメータとを加算することで、前記スペクトルパラメータを復号する加算手段と、
を含む、請求項4に記載のパラメータ復号装置。 The parameter decoding means includes
Prediction means for multiplying the decoded spectrum parameter of the past frame by a prediction coefficient;
Adding means for decoding the spectral parameter by adding the prediction residual vector and the decoded spectral parameter of the past frame multiplied by the prediction coefficient;
The parameter decoding device according to claim 4, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012191612A JP5270025B2 (en) | 2006-11-10 | 2012-08-31 | Parameter decoding apparatus and parameter decoding method |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006305861 | 2006-11-10 | ||
JP2006305861 | 2006-11-10 | ||
JP2007132195 | 2007-05-17 | ||
JP2007132195 | 2007-05-17 | ||
JP2007240198 | 2007-09-14 | ||
JP2007240198 | 2007-09-14 | ||
JP2012191612A JP5270025B2 (en) | 2006-11-10 | 2012-08-31 | Parameter decoding apparatus and parameter decoding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008543141A Division JP5121719B2 (en) | 2006-11-10 | 2007-11-09 | Parameter decoding apparatus and parameter decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012256070A JP2012256070A (en) | 2012-12-27 |
JP5270025B2 true JP5270025B2 (en) | 2013-08-21 |
Family
ID=39364585
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008543141A Expired - Fee Related JP5121719B2 (en) | 2006-11-10 | 2007-11-09 | Parameter decoding apparatus and parameter decoding method |
JP2012191614A Expired - Fee Related JP5270026B2 (en) | 2006-11-10 | 2012-08-31 | Parameter decoding apparatus and parameter decoding method |
JP2012191612A Expired - Fee Related JP5270025B2 (en) | 2006-11-10 | 2012-08-31 | Parameter decoding apparatus and parameter decoding method |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008543141A Expired - Fee Related JP5121719B2 (en) | 2006-11-10 | 2007-11-09 | Parameter decoding apparatus and parameter decoding method |
JP2012191614A Expired - Fee Related JP5270026B2 (en) | 2006-11-10 | 2012-08-31 | Parameter decoding apparatus and parameter decoding method |
Country Status (10)
Country | Link |
---|---|
US (3) | US8468015B2 (en) |
EP (3) | EP2538406B1 (en) |
JP (3) | JP5121719B2 (en) |
KR (1) | KR20090076964A (en) |
CN (3) | CN102682774B (en) |
AU (1) | AU2007318506B2 (en) |
BR (1) | BRPI0721490A2 (en) |
RU (2) | RU2011124068A (en) |
SG (2) | SG165383A1 (en) |
WO (1) | WO2008056775A1 (en) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100723409B1 (en) | 2005-07-27 | 2007-05-30 | 삼성전자주식회사 | Apparatus and method for concealing frame erasure, and apparatus and method using the same |
GB2466673B (en) | 2009-01-06 | 2012-11-07 | Skype | Quantization |
GB2466672B (en) | 2009-01-06 | 2013-03-13 | Skype | Speech coding |
GB2466674B (en) | 2009-01-06 | 2013-11-13 | Skype | Speech coding |
GB2466671B (en) | 2009-01-06 | 2013-03-27 | Skype | Speech encoding |
GB2466669B (en) | 2009-01-06 | 2013-03-06 | Skype | Speech coding |
GB2466675B (en) | 2009-01-06 | 2013-03-06 | Skype | Speech coding |
GB2466670B (en) | 2009-01-06 | 2012-11-14 | Skype | Speech encoding |
KR101622950B1 (en) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | Method of coding/decoding audio signal and apparatus for enabling the method |
US8428938B2 (en) * | 2009-06-04 | 2013-04-23 | Qualcomm Incorporated | Systems and methods for reconstructing an erased speech frame |
US10178396B2 (en) | 2009-09-04 | 2019-01-08 | Stmicroelectronics International N.V. | Object tracking |
US9626769B2 (en) | 2009-09-04 | 2017-04-18 | Stmicroelectronics International N.V. | Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions |
US8848802B2 (en) * | 2009-09-04 | 2014-09-30 | Stmicroelectronics International N.V. | System and method for object based parametric video coding |
US8452606B2 (en) | 2009-09-29 | 2013-05-28 | Skype | Speech encoding using multiple bit rates |
EP2369861B1 (en) * | 2010-03-25 | 2016-07-27 | Nxp B.V. | Multi-channel audio signal processing |
CA3076786C (en) | 2010-04-09 | 2021-04-13 | Dolby International Ab | Mdct-based complex prediction stereo coding |
AU2014200719B2 (en) * | 2010-04-09 | 2016-07-14 | Dolby International Ab | Mdct-based complex prediction stereo coding |
TW201209805A (en) * | 2010-07-06 | 2012-03-01 | Panasonic Corp | Device and method for efficiently encoding quantization parameters of spectral coefficient coding |
AU2012217215B2 (en) * | 2011-02-14 | 2015-05-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for error concealment in low-delay unified speech and audio coding (USAC) |
US9449607B2 (en) * | 2012-01-06 | 2016-09-20 | Qualcomm Incorporated | Systems and methods for detecting overflow |
EP4235657A3 (en) | 2012-06-08 | 2023-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for concealing frame error and method and apparatus for audio decoding |
WO2014046526A1 (en) | 2012-09-24 | 2014-03-27 | 삼성전자 주식회사 | Method and apparatus for concealing frame errors, and method and apparatus for decoding audios |
EP3855430B1 (en) | 2013-02-05 | 2023-10-18 | Telefonaktiebolaget LM Ericsson (publ) | Method and appartus for controlling audio frame loss concealment |
US9336789B2 (en) * | 2013-02-21 | 2016-05-10 | Qualcomm Incorporated | Systems and methods for determining an interpolation factor set for synthesizing a speech signal |
US9208775B2 (en) * | 2013-02-21 | 2015-12-08 | Qualcomm Incorporated | Systems and methods for determining pitch pulse period signal boundaries |
US9842598B2 (en) * | 2013-02-21 | 2017-12-12 | Qualcomm Incorporated | Systems and methods for mitigating potential frame instability |
US20140279778A1 (en) * | 2013-03-18 | 2014-09-18 | The Trustees Of Columbia University In The City Of New York | Systems and Methods for Time Encoding and Decoding Machines |
CN104299614B (en) * | 2013-07-16 | 2017-12-29 | 华为技术有限公司 | Coding/decoding method and decoding apparatus |
JP5981408B2 (en) | 2013-10-29 | 2016-08-31 | 株式会社Nttドコモ | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
CN104751849B (en) | 2013-12-31 | 2017-04-19 | 华为技术有限公司 | Decoding method and device of audio streams |
US10074375B2 (en) * | 2014-01-15 | 2018-09-11 | Samsung Electronics Co., Ltd. | Weight function determination device and method for quantizing linear prediction coding coefficient |
EP2922056A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
EP2922054A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
EP2922055A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information |
CN107369455B (en) | 2014-03-21 | 2020-12-15 | 华为技术有限公司 | Method and device for decoding voice frequency code stream |
PL3139383T3 (en) * | 2014-05-01 | 2020-03-31 | Nippon Telegraph And Telephone Corporation | Coding and decoding of a sound signal |
JP6061901B2 (en) * | 2014-07-24 | 2017-01-18 | 株式会社タムラ製作所 | Sound coding system |
CN106205626B (en) * | 2015-05-06 | 2019-09-24 | 南京青衿信息科技有限公司 | A kind of compensation coding and decoding device and method for the subspace component being rejected |
EP3107096A1 (en) | 2015-06-16 | 2016-12-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downscaled decoding |
EP3313103B1 (en) * | 2015-06-17 | 2020-07-01 | Sony Corporation | Transmission device, transmission method, reception device and reception method |
US9837094B2 (en) * | 2015-08-18 | 2017-12-05 | Qualcomm Incorporated | Signal re-use during bandwidth transition period |
JP6352487B2 (en) * | 2017-04-19 | 2018-07-04 | 株式会社Nttドコモ | Audio signal processing method and audio signal processing apparatus |
JP6914390B2 (en) * | 2018-06-06 | 2021-08-04 | 株式会社Nttドコモ | Audio signal processing method |
JP6691169B2 (en) * | 2018-06-06 | 2020-04-28 | 株式会社Nttドコモ | Audio signal processing method and audio signal processing device |
CN110660402B (en) | 2018-06-29 | 2022-03-29 | 华为技术有限公司 | Method and device for determining weighting coefficients in a stereo signal encoding process |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6310200A (en) * | 1986-07-02 | 1988-01-16 | 日本電気株式会社 | Voice analysis system |
JPH02216200A (en) * | 1989-02-17 | 1990-08-29 | Matsushita Electric Ind Co Ltd | Sound encoder and sound decoder |
JP3275248B2 (en) * | 1991-07-15 | 2002-04-15 | 日本電信電話株式会社 | Audio decoding method |
JPH06130999A (en) * | 1992-10-22 | 1994-05-13 | Oki Electric Ind Co Ltd | Code excitation linear predictive decoding device |
JP3255189B2 (en) * | 1992-12-01 | 2002-02-12 | 日本電信電話株式会社 | Encoding method and decoding method for voice parameter |
US5781880A (en) * | 1994-11-21 | 1998-07-14 | Rockwell International Corporation | Pitch lag estimation using frequency-domain lowpass filtering of the linear predictive coding (LPC) residual |
US5732389A (en) | 1995-06-07 | 1998-03-24 | Lucent Technologies Inc. | Voiced/unvoiced classification of speech for excitation codebook selection in celp speech decoding during frame erasures |
CA2177413A1 (en) * | 1995-06-07 | 1996-12-08 | Yair Shoham | Codebook gain attenuation during frame erasures |
US5664055A (en) * | 1995-06-07 | 1997-09-02 | Lucent Technologies Inc. | CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity |
US5699485A (en) | 1995-06-07 | 1997-12-16 | Lucent Technologies Inc. | Pitch delay modification during frame erasures |
JP3215026B2 (en) | 1995-10-25 | 2001-10-02 | 富士通テン株式会社 | Automotive control unit pulse communication system, common frequency division processing circuit and frequency division signal communication system |
JP3346765B2 (en) | 1997-12-24 | 2002-11-18 | 三菱電機株式会社 | Audio decoding method and audio decoding device |
FI113571B (en) | 1998-03-09 | 2004-05-14 | Nokia Corp | speech Coding |
US6470309B1 (en) * | 1998-05-08 | 2002-10-22 | Texas Instruments Incorporated | Subframe-based correlation |
US6104992A (en) * | 1998-08-24 | 2000-08-15 | Conexant Systems, Inc. | Adaptive gain reduction to produce fixed codebook target signal |
US6188980B1 (en) * | 1998-08-24 | 2001-02-13 | Conexant Systems, Inc. | Synchronized encoder-decoder frame concealment using speech coding parameters including line spectral frequencies and filter coefficients |
US6330533B2 (en) * | 1998-08-24 | 2001-12-11 | Conexant Systems, Inc. | Speech encoder adaptively applying pitch preprocessing with warping of target signal |
US6463407B2 (en) * | 1998-11-13 | 2002-10-08 | Qualcomm Inc. | Low bit-rate coding of unvoiced segments of speech |
US6456964B2 (en) * | 1998-12-21 | 2002-09-24 | Qualcomm, Incorporated | Encoding of periodic speech using prototype waveforms |
JP4464488B2 (en) * | 1999-06-30 | 2010-05-19 | パナソニック株式会社 | Speech decoding apparatus, code error compensation method, speech decoding method |
US6775649B1 (en) * | 1999-09-01 | 2004-08-10 | Texas Instruments Incorporated | Concealment of frame erasures for speech transmission and storage system and method |
US6963833B1 (en) * | 1999-10-26 | 2005-11-08 | Sasken Communication Technologies Limited | Modifications in the multi-band excitation (MBE) model for generating high quality speech at low bit rates |
US7031926B2 (en) * | 2000-10-23 | 2006-04-18 | Nokia Corporation | Spectral parameter substitution for the frame error concealment in a speech decoder |
DE60233283D1 (en) * | 2001-02-27 | 2009-09-24 | Texas Instruments Inc | Obfuscation method in case of loss of speech frames and decoder dafer |
CN1420487A (en) * | 2002-12-19 | 2003-05-28 | 北京工业大学 | Method for quantizing one-step interpolation predicted vector of 1kb/s line spectral frequency parameter |
AU2003901528A0 (en) * | 2003-03-31 | 2003-05-01 | Seeing Machines Pty Ltd | Eye tracking system and method |
CN1677493A (en) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | Intensified audio-frequency coding-decoding device and method |
CN1677491A (en) * | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | Intensified audio-frequency coding-decoding device and method |
EP1852851A1 (en) | 2004-04-01 | 2007-11-07 | Beijing Media Works Co., Ltd | An enhanced audio encoding/decoding device and method |
JP4445328B2 (en) | 2004-05-24 | 2010-04-07 | パナソニック株式会社 | Voice / musical sound decoding apparatus and voice / musical sound decoding method |
US7848921B2 (en) | 2004-08-31 | 2010-12-07 | Panasonic Corporation | Low-frequency-band component and high-frequency-band audio encoding/decoding apparatus, and communication apparatus thereof |
JP4977471B2 (en) | 2004-11-05 | 2012-07-18 | パナソニック株式会社 | Encoding apparatus and encoding method |
KR20060063613A (en) * | 2004-12-06 | 2006-06-12 | 엘지전자 주식회사 | Method for scalably encoding and decoding video signal |
KR100888962B1 (en) * | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | Method for encoding and decoding video signal |
US8126707B2 (en) * | 2007-04-05 | 2012-02-28 | Texas Instruments Incorporated | Method and system for speech compression |
JP5113798B2 (en) | 2009-04-20 | 2013-01-09 | パナソニックエコソリューションズ電路株式会社 | Earth leakage breaker |
-
2007
- 2007-11-09 AU AU2007318506A patent/AU2007318506B2/en not_active Ceased
- 2007-11-09 EP EP12183693.6A patent/EP2538406B1/en not_active Not-in-force
- 2007-11-09 SG SG201006705-6A patent/SG165383A1/en unknown
- 2007-11-09 CN CN201210120581.3A patent/CN102682774B/en not_active Expired - Fee Related
- 2007-11-09 SG SG201006706-4A patent/SG166095A1/en unknown
- 2007-11-09 EP EP12183692.8A patent/EP2538405B1/en not_active Not-in-force
- 2007-11-09 BR BRPI0721490-1A patent/BRPI0721490A2/en not_active IP Right Cessation
- 2007-11-09 KR KR1020097009519A patent/KR20090076964A/en not_active Application Discontinuation
- 2007-11-09 US US12/514,094 patent/US8468015B2/en active Active
- 2007-11-09 JP JP2008543141A patent/JP5121719B2/en not_active Expired - Fee Related
- 2007-11-09 WO PCT/JP2007/071803 patent/WO2008056775A1/en active Application Filing
- 2007-11-09 EP EP07831534A patent/EP2088588B1/en not_active Not-in-force
- 2007-11-09 CN CN201210120786.1A patent/CN102682775B/en not_active Expired - Fee Related
- 2007-11-09 CN CN2007800491285A patent/CN101583995B/en not_active Expired - Fee Related
-
2011
- 2011-06-14 RU RU2011124068/08A patent/RU2011124068A/en not_active Application Discontinuation
- 2011-06-14 RU RU2011124080/08A patent/RU2011124080A/en not_active Application Discontinuation
-
2012
- 2012-08-31 JP JP2012191614A patent/JP5270026B2/en not_active Expired - Fee Related
- 2012-08-31 JP JP2012191612A patent/JP5270025B2/en not_active Expired - Fee Related
-
2013
- 2013-05-17 US US13/896,397 patent/US8538765B1/en active Active
- 2013-05-17 US US13/896,399 patent/US8712765B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5270025B2 (en) | Parameter decoding apparatus and parameter decoding method | |
US7636055B2 (en) | Signal decoding apparatus and signal decoding method | |
US20090248404A1 (en) | Lost frame compensating method, audio encoding apparatus and audio decoding apparatus | |
JP4989971B2 (en) | Scalable decoding apparatus and signal loss compensation method | |
US7978771B2 (en) | Encoder, decoder, and their methods | |
EP1793373A1 (en) | Audio encoding apparatus, audio decoding apparatus, communication apparatus and audio encoding method | |
WO2005112005A1 (en) | Scalable encoding device, scalable decoding device, and method thereof | |
KR101689766B1 (en) | Audio decoding device, audio decoding method, audio coding device, and audio coding method | |
JP6644848B2 (en) | Vector quantization device, speech encoding device, vector quantization method, and speech encoding method | |
JPWO2008018464A1 (en) | Speech coding apparatus and speech coding method | |
JP4373693B2 (en) | Hierarchical encoding method and hierarchical decoding method for acoustic signals | |
US6983241B2 (en) | Method and apparatus for performing harmonic noise weighting in digital speech coders | |
RU2431892C2 (en) | Parameter decoding device, parameter encoding device and parameter decoding method | |
JPH05249999A (en) | Learning type voice coding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130508 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |