JP5340965B2 - Method and apparatus for performing steady background noise smoothing - Google Patents
Method and apparatus for performing steady background noise smoothing Download PDFInfo
- Publication number
- JP5340965B2 JP5340965B2 JP2009552636A JP2009552636A JP5340965B2 JP 5340965 B2 JP5340965 B2 JP 5340965B2 JP 2009552636 A JP2009552636 A JP 2009552636A JP 2009552636 A JP2009552636 A JP 2009552636A JP 5340965 B2 JP5340965 B2 JP 5340965B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- excitation signal
- lpc parameters
- lpc
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000009499 grossing Methods 0.000 title claims description 28
- 230000005284 excitation Effects 0.000 claims description 84
- 230000003595 spectral effect Effects 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 3
- 239000010410 layer Substances 0.000 description 17
- 239000013598 vector Substances 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000002087 whitening effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、通信システムにおける音声符号化に関し、特に、通信システムにおいて定常的な背景雑音の平滑化を行うための方法及び装置に関する。 The present invention relates to speech coding in a communication system, and more particularly to a method and apparatus for performing steady background noise smoothing in a communication system.
音声符号化は、帯域制限された有線及び無線チャネル並びに記憶装置の少なくともいずれかを介する効率的な送信を行うために音声信号のコンパクト表現を取得する処理である。今日、音声符号化器は、通信及びマルチメディアの設備において不可欠な構成要素となっている。効率的な音声符号化に依存する市販のシステムには、PCを使用する多くのゲーム及びマルチメディアアプリケーションに加え、セルラ通信、VoIP(Voice Over IP(インターネットプロトコル))、テレビ会議、電子玩具、アーカイビング及びDSVD(Digital Simultaneous Voice and Data)などがある。 Speech coding is the process of obtaining a compact representation of a speech signal for efficient transmission over at least one of band-limited wired and wireless channels and storage devices. Today, speech encoders are an indispensable component in communication and multimedia facilities. Commercial systems that rely on efficient speech coding include cellular communications, VoIP (Voice Over IP (Internet Protocol)), video conferencing, electronic toys, archives, as well as many gaming and multimedia applications using PCs. Bing and DSVD (Digital Simultaneous Voice and Data).
連続時間信号である場合、音声は、サンプリング及び量子化の処理を経てデジタル表現されうる。音声サンプルは、一般に、16ビット又は8ビットで量子化される。多くの他の信号と同様に、音声信号は、大量の冗長な情報(信号の連続サンプル間のノンゼロ相互情報)又は知覚とは無関係の大量な情報(聴き手に知覚されない情報)を含む。殆どの通信符号化器は不可逆である。これは、合成音声が知覚的には元の音声に類似するが物理的には異なることを意味する。 In the case of a continuous time signal, the voice can be digitally expressed through sampling and quantization processes. Audio samples are generally quantized with 16 bits or 8 bits. Like many other signals, an audio signal contains a large amount of redundant information (non-zero mutual information between successive samples of the signal) or a large amount of information unrelated to perception (information not perceived by the listener). Most communication encoders are irreversible. This means that the synthesized speech is perceptually similar to the original speech but physically different.
音声符号化器はデジタル化音声信号を符号化表現に変換する。通常、符号化表現はフレームで送信される。これに対応して、音声復号化器は、符号化フレームを受信て再構成音声を合成する。 The speech coder converts the digitized speech signal into a coded representation. Usually, the coded representation is transmitted in frames. In response to this, the speech decoder receives the encoded frame and synthesizes the reconstructed speech.
最近の多くの音声符号化器は、LPC(線形予測符号化器)として知られている主流の音声符号化器に属する。そのような符号化器のいくつかの例は、3GPP FR、EFR、AMR、AMR−WB音声コーデック、3GPP2 EVRC、SMV、EVRC−WB音声コーデック、並びにG.728、G.723、G.729等の種々のITU−Tコーデックである。 Many modern speech encoders belong to the mainstream speech encoder known as LPC (Linear Predictive Encoder). Some examples of such encoders are 3GPP FR, EFR, AMR, AMR-WB speech codec, 3GPP2 EVRC, SMV, EVRC-WB speech codec, and G. 728, G.G. 723, G.G. Various ITU-T codecs such as 729.
それらの符号化器は全て、信号生成処理において合成フィルタの概念を利用する。フィルタは、再生される信号の短期スペクトルをモデル化するために使用されるが、フィルタへの入力は、全ての他の信号変動を処理すると仮定される。 All of these encoders use the concept of synthesis filters in the signal generation process. The filter is used to model the short-term spectrum of the recovered signal, but the input to the filter is assumed to handle all other signal variations.
これらの合成フィルタモデルの共通の特徴は、再生される信号が合成フィルタを規定するパラメータによって表されることである。用語「線形予測」は、フィルタパラメータを推定するために使用されることが多い方法の種類を示す。LPCを使用する符号化器において、音声信号は、入力がフィルタに対する励振信号である線形時不変(LTI)システムの出力と考えられる。従って、再生される信号は、フィルタパラメータのセットにより及び部分的にフィルタを駆動する励振信号により部分的に表される。そのような符号化コンセプトの利点は、フィルタ及びその駆動励振信号の双方が相対的に少ないビットで効率的に記述されることにある。 A common feature of these synthesis filter models is that the reproduced signal is represented by parameters that define the synthesis filter. The term “linear prediction” refers to a type of method that is often used to estimate filter parameters. In an encoder using LPC, the speech signal is considered the output of a linear time-invariant (LTI) system where the input is the excitation signal for the filter. Thus, the recovered signal is represented in part by the set of filter parameters and in part by the excitation signal that drives the filter. The advantage of such an encoding concept is that both the filter and its drive excitation signal are efficiently described with relatively few bits.
LPCを使用するコーデックの1つの特定の種類は、いわゆる合成による分析(AbS)の原理に基づくものである。それらのコーデックは、デコーダのローカルコピーをエンコーダに組み込み、候補励振信号のセットのうち原音声信号に対する合成出力信号の類似度を最大にする励振信号を選択することにより合成フィルタの駆動励振信号を見つける。 One particular type of codec that uses LPC is based on the principle of so-called synthesis analysis (AbS). These codecs incorporate a local copy of the decoder into the encoder and find a drive excitation signal for the synthesis filter by selecting an excitation signal in the set of candidate excitation signals that maximizes the similarity of the synthesized output signal to the original speech signal. .
そのような線形予測符号化及び特にAbS符号化を利用するコンセプトは、例えば4〜12kbpsの低ビットレートでも音声信号に対して比較的適切に動作することを証明している。しかし、そのような符号化技術を使用する移動電話において、ユーザが沈黙し、入力信号が雑音等の周囲音を含む場合、現在の周知の符号化器は、音声信号に対して最適化されているため、そのような状況に対処することが困難である。エンコーダにより「誤って処理」されたために馴染みのある背景音が認識できない場合には、受信側の聴き手は不快に思うだろう。 The concept of using such linear predictive coding and in particular AbS coding has proved to work relatively well for speech signals even at low bit rates, for example 4-12 kbps. However, in mobile phones that use such encoding techniques, if the user is silent and the input signal contains ambient sounds such as noise, the current known encoders are optimized for speech signals. Therefore, it is difficult to cope with such a situation. If familiar background sounds cannot be recognized because they have been "wrongly processed" by the encoder, the receiving listener will be uncomfortable.
いわゆる渦流音(swirling)は、再生された背景音の最もひどい品質劣化の1つの原因となる。これは、車の雑音等の比較的定常的な背景雑音に起こる現象であり、復号化信号のパワー及びスペクトルの不自然な時間的ゆらぎにより起こる。それらのゆらぎは、合成フィルタ係数及びその励振信号の不完全な推定及び量子化により生じる。通常、コーデックのビットレートを増加させれば、渦流音は小さくなる。 So-called swirling contributes to one of the worst quality degradations of the reproduced background sound. This is a phenomenon that occurs in relatively stationary background noise such as car noise, and is caused by unnatural temporal fluctuations in the power and spectrum of the decoded signal. These fluctuations are caused by incomplete estimation and quantization of the synthesis filter coefficients and their excitation signals. Usually, if the bit rate of the codec is increased, the vortex sound becomes smaller.
渦流音は、従来技術において問題であると認識されており、これに対する複数の解決策が文献において提案されている。提案されている解決策のうちの1つは、米国特許第5632004号(特許文献1)において説明される。この特許によると、非音声期間中、合成された背景音のスペクトル変動が低減されるように、フィルタパラメータをローパスフィルタ又は帯域幅拡大によって修正する。この方法は米国特許第5579432号(特許文献2)において、検出された定常背景雑音のみに渦流音低減技術が適用されるように改善されている。 Whirlpool sounds are recognized as a problem in the prior art, and multiple solutions to this have been proposed in the literature. One of the proposed solutions is described in US Pat. No. 5,632,004. According to this patent, the filter parameters are modified by a low-pass filter or bandwidth expansion so that the spectral variation of the synthesized background sound is reduced during non-speech periods. This method is improved in US Pat. No. 5,579,432 (Patent Document 2) such that the eddy current noise reduction technique is applied only to the detected stationary background noise.
渦流音の問題に対処する別の方法が、米国特許第5487087号(特許文献3)に開示されている。この方法は、信号自体及びその時間的変動の双方に適合する修正信号量子化方式を使用する。特に、音声の非アクティブ期間中にLPCフィルタパラメータ及び信号ゲインパラメータに対してそのようなゆらぎが低減された量子化器を使用することが考えられる。 Another method for addressing the problem of vortex noise is disclosed in US Pat. No. 5,487,087. This method uses a modified signal quantization scheme that is compatible with both the signal itself and its temporal variation. In particular, it is conceivable to use a quantizer in which such fluctuations are reduced for the LPC filter parameter and the signal gain parameter during the inactive period of speech.
望ましくない合成信号のパワーゆらぎによる信号品質の劣化は、別の方法によって対処される。そのうちの1つは、米国特許第6275798号(特許文献4)において説明され、3GPP TS 26.090(非特許文献1)において説明されるAMR音声コーデックアルゴリズムの一部でも説明されている。それによると、合成フィルタ励振信号の少なくとも1つの成分のゲイン、すなわち固定コードブックの寄与は、LPC短期スペクトルの定常性に依存して適応的に平滑化される。この方法は、平滑化が信号合成において使用されるゲインの制限を更に含む欧州特許第1096476号(特許文献5)及び欧州特許第1688920号(特許文献6)において展開されている。LPCボコーダにおいて使用される関連する方法は、米国特許第5953697号(特許文献7)において説明される。それによると、合成フィルタの励振信号のゲインは、合成音声の最大振幅が入力音声波形包絡にちょうど到達するように制御される。 Signal quality degradation due to undesired composite signal power fluctuations is addressed by other methods. One of them is described in US Pat. No. 6,275,798 (Patent Document 4) and also described in a part of the AMR speech codec algorithm described in 3GPP TS 26.090 (Non-Patent Document 1). According to it, the gain of at least one component of the synthesis filter excitation signal, ie the contribution of the fixed codebook, is adaptively smoothed depending on the stationarity of the LPC short-term spectrum. This method is developed in European Patent No. 1096476 (Patent Document 5) and European Patent No. 1688920 (Patent Document 6), where smoothing further includes a gain limitation used in signal synthesis. A related method used in LPC vocoders is described in US Pat. No. 5,953,697. According to this, the gain of the excitation signal of the synthesis filter is controlled so that the maximum amplitude of the synthesized speech just reaches the input speech waveform envelope.
渦流音の問題に対処する更なる種類の方法は、音声復号化器の後のポストプロセッサとして動作する。欧州特許第0665530号(特許文献8)は、検出された非音声期間中に音声復号化器出力信号の一部分をローパスフィルタリングされた白色雑音又はコンフォートノイズ信号で置換する方法を説明している。音声復号化器出力信号の一部をフィルタリングされたノイズで置換する関連する方法を開示する種々の文献において同様の方法がとられる。 A further type of method that addresses the vortex sound problem operates as a post-processor after the speech decoder. European Patent No. 0665530 describes a method for replacing a portion of a speech decoder output signal with a low-pass filtered white noise or comfort noise signal during a detected non-speech period. Similar methods are taken in various references disclosing related methods of replacing a portion of the speech decoder output signal with filtered noise.
ここで図1を参照する。スケーラブル符号化又はエンベデッド符号化は、符号化が階レイヤ的に行われる符号化パラダイムである。基本レイヤ又はコアレイヤが低ビットレートで信号を符号化する一方、各々が互いに重なり合う追加レイヤは、コアから先の各レイヤまでの全てのレイヤにより達成される符号化に対して多少の拡張を提供する。各レイヤは、多少の追加のビットレートを加える。生成されたビットストリームは埋め込まれる。これは、下位レイヤの符号化のビットストリームが上位レイヤのビットストリームに埋め込まれることを意味する。この特性により、送信又は受信機の任意の場所で上位レイヤに属するビットをドロップできる。そのような取り除かれたビットストリームは、ビットが保持されるレイヤまで依然として復号化可能である。 Reference is now made to FIG. Scalable coding or embedded coding is a coding paradigm in which coding is performed in a hierarchical manner. While the base layer or core layer encodes the signal at a low bit rate, the additional layers, each overlapping each other, provide some extension to the encoding achieved by all layers from the core to each previous layer . Each layer adds some additional bit rate. The generated bitstream is embedded. This means that the lower layer encoded bit stream is embedded in the upper layer bit stream. This characteristic allows bits belonging to higher layers to be dropped anywhere in the transmitter or receiver. Such stripped bitstream can still be decoded up to the layer in which the bits are retained.
今日、最もよく使用されるスケーラブル音声圧縮アルゴリズムは、64kbpsのG.711のA/U-law対数PCMコーデックである。8kHzサンプリングのG.711コーデックは、12ビット又は13ビット線形PCMサンプルを8ビット対数サンプルに変換する。対数サンプルの指示されたビット表現は、G.711ビットストリームの最下位ビット(LSB)スチールを可能にし、G.711符号化器は実際には48、56及び64kbpsの間でSNRスケーラブルとなる。このG.711コーデックの拡張性は、帯域内制御信号の目的で回線交換通信網において使用される。このG.711のスケーラビリティの使用の最近の例は、従来の64kbpsのPCMリンクを介する広帯域音声の設定及び転送を可能にする3GPP TFOプロトコルである。元の64kbpsのG.711ストリームのうちの8kbpsは、狭帯域サービス品質にそれ程影響を及ぼさずに広帯域音声サービスの呼設定を可能にするためにまず使用される。呼設定の後、広帯域音声は、64kbpsのG.711ストリームのうち16kbpsを使用する。オープンループスケーラビリティをサポートする他のより古い音声符号化規格はG.727(エンベデッドADPCM)であり、またある程度はG.722(サブバンドADPCM)を含む。 Today, the most commonly used scalable speech compression algorithm is G.64 kbps. 711 is an A / U-law logarithmic PCM codec. G. 8 kHz sampling. The 711 codec converts 12-bit or 13-bit linear PCM samples into 8-bit logarithmic samples. The indicated bit representation of the logarithmic sample is G. Enable least significant bit (LSB) stealing of 711 bitstreams; The 711 encoder is actually SNR scalable between 48, 56 and 64 kbps. This G. The extensibility of the 711 codec is used in circuit switched communication networks for the purpose of in-band control signals. This G. A recent example of the use of 711 scalability is the 3GPP TFO protocol that enables broadband voice setup and transport over a conventional 64 kbps PCM link. The original 64 kbps G.P. 8 kbps of the 711 stream is first used to enable call setup for wideband voice service without significantly affecting narrowband service quality. After call setup, the wideband voice is G.64 kbps. Of the 711 streams, 16 kbps is used. Other older speech coding standards that support open-loop scalability are G. 727 (embedded ADPCM). 722 (subband ADPCM).
スケーラブル音声符号化技術における更に最近の進歩は、MPEG4−CELPにスケーラビリティ拡張性を提供するMPEG−4規格である。MPE基本レイヤは、追加のフィルタパラメータ情報又は追加の新しいパラメータ情報の送信により拡張されうる。国際通信連合の標準化部門であるITU−Tは近年、G.729.EVと呼ばれる新たなスケーラブルコーデックG.729.1の標準化を完了した。このスケーラブル音声コーデックのビットレートの範囲は、8kbps乃至32kbpsである。このコーデックの主な使用例は、いくつかのVoIP呼び出しの間の共有xDSL64/128kbpsアップリンク等のホーム又はオフィスゲートウェイにおける限定された帯域幅リソースの効率的な共有を可能にすることである。 A more recent advance in scalable speech coding technology is the MPEG-4 standard that provides scalability extensibility for MPEG4-CELP. The MPE base layer can be extended by transmitting additional filter parameter information or additional new parameter information. ITU-T, the standardization department of the International Telecommunication Union, 729. A new scalable codec called EV. The standardization of 729.1 was completed. The bit rate range of this scalable audio codec is 8 kbps to 32 kbps. The main use case for this codec is to allow efficient sharing of limited bandwidth resources in home or office gateways such as shared xDSL 64/128 kbps uplinks between several VoIP calls.
スケーラブル音声符号化の最近の1つの傾向は、音楽等の非音声オーディオ信号の符号化のサポートを上位レイヤに提供することである。そのようなコーデックにおいて、下位レイヤは、例えばCELPが周知の例であるAbSパラダイムに従う単なる従来の音声符号化を採用する。そのような符号化は音声にのみよく適しており、音楽等の非音声オーディオ信号にはあまり適さないため、上位レイヤはオーディオコーデックにおいて使用される符号化パラダイムに従って動作する。従って、一般に上位レイヤの符号化は下位レイヤの符号化の符号化誤差に対して動作する。 One recent trend of scalable speech coding is to provide higher layers with support for coding non-speech audio signals such as music. In such a codec, the lower layer employs just conventional speech coding, for example according to the AbS paradigm where CELP is a well known example. Since such coding is well suited only for speech and not so well for non-speech audio signals such as music, the upper layers operate according to the coding paradigm used in audio codecs. Therefore, in general, upper layer coding operates on coding errors of lower layer coding.
音声コーデックを考慮する別の関連する方法は、いわゆるスペクトル傾斜補償であり、これは、復号化音声の適応ポストフィルタリングにおいて行われる。これにより解決される問題は、短期ポストフィルタ又はフォルマントポストフィルタによって生じるスペクトル傾斜を補償することである。そのような技術は、例えばAMRコーデック及びSMVコーデックの一部であり、背景雑音の性能ではなく音声中のコーデックの性能を主に対象とする。SMVコーデックは、残差のLPC分析の応答とは独立して合成フィルタリングの前に重み付き残差領域においてその傾斜補償を適用する。 Another related method that considers speech codecs is so-called spectral tilt compensation, which is performed in adaptive post-filtering of decoded speech. The problem solved by this is to compensate for the spectral tilt caused by short-term or formant postfilters. Such techniques are part of, for example, AMR codecs and SMV codecs and are primarily targeted at the performance of codecs in speech rather than the performance of background noise. The SMV codec applies its slope compensation in the weighted residual domain prior to synthesis filtering, independent of the response of the residual LPC analysis.
米国特許第5632004号(特許文献1)、米国特許第5579432号(特許文献2)、及び米国特許第5487087号(特許文献3)の上述の方法に関する問題は、LPC合成フィルタ励振が白色(すなわち、平坦な)スペクトルを有すること及び渦流音の問題を引き起こす全てのスペクトルゆらぎがLPC合成フィルタスペクトルのゆらぎに関連することをそれらの方法が前提としていることである。しかし、これは、特に励振信号の粗い量子化だけを行う場合には当てはまらない。その場合、励振信号のスペクトルゆらぎは、LPCフィルタゆらぎと同様の作用を有するため、回避される必要がある。 The problem with the above methods of US Pat. No. 5,631,004, US Pat. No. 5,579,432, and US Pat. No. 5,487,087 is that the LPC synthesis filter excitation is white (ie, These methods assume that all spectral fluctuations that have a flat spectrum and that cause eddy current problems are related to the fluctuations in the LPC synthesis filter spectrum. However, this is not the case especially when only rough quantization of the excitation signal is performed. In that case, the spectral fluctuation of the excitation signal has the same effect as the LPC filter fluctuation and needs to be avoided.
合成信号の望ましくないパワーゆらぎに対処する方法に関する問題は、それらの方法が渦流音の問題の一部のみに対処し、スペクトルゆらぎに関連する解決策を提供しないことである。シミュレーションによれば、スペクトルゆらぎに対処する例示した方法と組み合わせても、定常的な背景音中の渦流音に関連する全ての信号品質劣化が回避されるわけではないことが示されている。 The problem with the methods of dealing with undesired power fluctuations in the synthesized signal is that they deal only with some of the eddy current problems and do not provide a solution related to spectral fluctuations. Simulations show that combining with the illustrated method of dealing with spectral fluctuations does not avoid all signal quality degradation associated with eddy currents in stationary background sounds.
音声復号化器の後のポストプロセッサとして動作する方法に関する1つの問題は、それらの方法が音声復号化出力信号の一部分のみを平滑化雑音信号と置換することである。従って、渦流音の問題は、音声復号化器からの残りの信号部分において解決されないため、最終的な出力信号は、同一のLPC合成フィルタを使用して音声復号化器出力信号としては形成されない。これは、特に非アクティブからアクティブな音声へ遷移中に不連続音を発生する可能性がある。更に、そのような後処理方法は、計算上の複雑さが相対的に高いため不利である。 One problem with methods that operate as post processors after speech decoders is that they replace only a portion of the speech decoded output signal with a smoothed noise signal. Therefore, the eddy current problem is not solved in the remaining signal portion from the speech decoder, so the final output signal is not formed as a speech decoder output signal using the same LPC synthesis filter. This can produce discontinuous sounds, especially during transition from inactive to active speech. Furthermore, such post-processing methods are disadvantageous because of their relatively high computational complexity.
既存の方法のうち、渦流音の理由の1つがLPC合成フィルタの励振信号のスペクトルゆらぎに依存するという問題に対する解決策を提供する方法はない。この問題は、特に励振信号が少なすぎるビットにより表現される場合に深刻になり、これは、一般に12kbps以下のビットレートで動作する音声コーデックに当てはまる。 Of the existing methods, there is no method that provides a solution to the problem that one of the reasons for eddy current sound depends on the spectral fluctuations of the excitation signal of the LPC synthesis filter. This problem becomes particularly acute when the excitation signal is represented by too few bits, which is generally true for speech codecs that operate at bit rates of 12 kbps or less.
従って、非音声期間中に定常的な背景雑音により引き起こされる渦流音に関する上述の問題を軽減する方法及び装置が必要とされる。 Therefore, what is needed is a method and apparatus that mitigates the above-mentioned problems associated with eddy current sounds caused by stationary background noise during non-voice periods.
本発明の目的は、通信システムにおいて音声信号の品質を改善することである。 An object of the present invention is to improve the quality of an audio signal in a communication system.
更なる目的は、定常背景雑音を含む非音声期間中の音声復号化器出力信号の品質を向上することである。 A further object is to improve the quality of the speech decoder output signal during non-speech periods that include stationary background noise.
本発明は、通信音声セッションにおいて背景雑音を平滑化する方法及び装置を提供する。基本的に、本発明に係る方法は、音声セッションを表す信号であって音声成分及び背景雑音成分を含む信号を受信し復号化する(S10)。次に、受信した信号のLPCパラメータを算出し(S20)、励振信号を算出する(S30)。その後、算出したLPCパラメータ及び励振信号に基づいて出力信号を合成し出力する(S40)。更に、上記合成ステップの前に、励振信号のパワーゆらぎ及びスペクトルゆらぎを低減することによって算出した励振信号を修正し(S35)、これにより平滑化された出力信号を提供する。 The present invention provides a method and apparatus for smoothing background noise in a communication voice session. Basically, the method according to the present invention receives and decodes a signal representing an audio session and including an audio component and a background noise component (S10). Next, LPC parameters of the received signal are calculated (S20), and an excitation signal is calculated (S30). Thereafter, an output signal is synthesized based on the calculated LPC parameter and the excitation signal and output (S40). Further, before the synthesis step, the excitation signal calculated by reducing the power fluctuation and the spectral fluctuation of the excitation signal is corrected (S35), thereby providing a smoothed output signal.
本発明の利点は以下を含む。
音声復号化器出力信号の改善を可能にする。
平滑な音声復号化器出力信号を可能にする。
The advantages of the present invention include:
Improve speech decoder output signal.
Enables a smooth speech decoder output signal.
(略語)
AbS Analysis by Synthesis 合成による分析
ADPCM Adaptive Differential PCM 適応差分PCM
AMR−WB Adaptive Multi Rate Wide Band 適応マルチレート広帯域
EVRC−WB Enhanced Variable Rate Wideband Codec 拡張可変レート広帯域コーデック
CELP Code excited Linear Prediction 符号励振線形予測
ISP Immittance spectral Pair イミタンススペクトル対
ITU−T International Telecommunication Union 国際通信連合
LPC Linear Predictive Coders 線形予測符号化器
LSF Line Spectral Frequency 線スペクトル周波数
MPEG Moving Pictures Experts Group
PCM Pulse code Modulation パルス符号変調
SMV Selectable Mode Vocoder 選択可能モードボコーダ
VAD Voice Activity Detector 音声アクティビティ検出器
(Abbreviation)
AbS Analysis by Synthesis Analysis by synthesis ADPCM Adaptive Differential PCM
AMR-WB Adaptive Multi Rate Wide Band Adaptive Multi Rate Wide Band EVRC-WB Enhanced Variable Rate Wideband Codec Extended Variable Rate Wideband Codec CELP Code excited Linear Prediction Code Immittance spectral Pair Immitance Spectral Pair ITU-T International Telecommunication Union LPC Linear Predictive Coders Linear Predictive Coders LSF Line Spectral Frequency MPEG Spectral Frequency MPEG Moving Pictures Experts Group
PCM Pulse code Modulation SMV Selectable Mode Vocoder Selectable Mode Vocoder VAD Voice Activity Detector Voice Activity Detector
(詳細な説明)
一般的な通信システムにおける電話通話等の音声セッションに関して本発明を説明する。一般に、方法及び装置は音声合成に適する復号化器(エンコーダ)において実現される。しかし、方法及び装置がネットワークの中間ノードにおいて実現され且つその後対象とするユーザに送信されることが同様に可能である。通信システムは、無線及び有線の双方であってもよい。
(Detailed explanation)
The present invention will be described with respect to a voice session such as a telephone call in a general communication system. In general, the method and apparatus are implemented in a decoder (encoder) suitable for speech synthesis. However, it is equally possible for the method and apparatus to be implemented at an intermediate node of the network and then transmitted to the intended user. The communication system may be both wireless and wired.
従って、本発明は、電話音声セッションにおける非音声期間中の定常的な背景雑音により引き起こされる渦流音に関する上述の周知の問題を軽減する方法及び装置を可能にする。特に本発明は、定常背景雑音を含む非音声期間中の音声復号化器出力信号の品質を向上することを可能にする。 Accordingly, the present invention enables a method and apparatus that alleviates the above known problems associated with eddy current sounds caused by stationary background noise during non-voice periods in telephone voice sessions. In particular, the present invention makes it possible to improve the quality of the speech decoder output signal during non-speech periods that include stationary background noise.
本開示の中で、音声セッションという用語は、通信システムを介する音声信号の任意の交換として解釈される。従って、音声セッション信号はアクティブな部分及び背景部分を含むものとして説明される。アクティブな部分は、セッションの実際の音声信号である。背景部分は、ユーザの周囲のノイズであり、背景雑音とも呼ばれる。非アクティブな期間は、例えばセッションの音声部分が非アクティブである等のアクティブな期間がなく背景部分のみが存在する音声セッション内のある期間として規定される。 Within the present disclosure, the term voice session is interpreted as any exchange of voice signals through the communication system. Thus, the voice session signal is described as including an active portion and a background portion. The active part is the actual audio signal of the session. The background portion is noise around the user and is also called background noise. An inactive period is defined as a period within an audio session where there is no active period, eg, the audio part of the session is inactive and there is only a background part.
基本的な実施形態によると、本発明は、非音声の検出期間中にLPC合成フィルタ励振信号のパワー変動及びスペクトルゆらぎを低減することにより音声セッションの品質を向上することを可能にする。 According to a basic embodiment, the present invention makes it possible to improve voice session quality by reducing power fluctuations and spectral fluctuations of the LPC synthesis filter excitation signal during non-voice detection periods.
更なる実施形態によると、出力信号は、励振信号修正をLPCパラメータ平滑化動作と組み合わせることにより更に改善される。 According to a further embodiment, the output signal is further improved by combining the excitation signal modification with the LPC parameter smoothing operation.
図2のフローチャートを参照すると、本発明に係る方法の一実施形態は、音声セッションを表す信号(すなわち、アクティブな音声信号の形態の音声成分及び/又は定常背景雑音成分を含む)を受信し復号化する(S10)。その後、受信した信号のLPCパラメータのセットが算出される(S20)。更に、受信した信号の励振信号が算出される(S30)。出力信号は、算出したLPCパラメータ及び算出した励振信号に基づいて合成され出力される(S40)。本発明によると、励振信号は、平滑化された出力信号を提供するために励振信号のパワーゆらぎ及びスペクトルゆらぎを低減することにより改善又は修正される(S35)。 Referring to the flowchart of FIG. 2, one embodiment of the method according to the present invention receives and decodes a signal representative of a speech session (ie, including a speech component in the form of an active speech signal and / or a stationary background noise component). (S10). Thereafter, a set of LPC parameters of the received signal is calculated (S20). Further, an excitation signal of the received signal is calculated (S30). The output signal is synthesized and output based on the calculated LPC parameter and the calculated excitation signal (S40). According to the present invention, the excitation signal is improved or corrected by reducing power fluctuations and spectral fluctuations of the excitation signal to provide a smoothed output signal (S35).
図3のフローチャートを参照して、本発明に係る方法の更なる実施形態を説明する。対応するステップは、図2のステップと同一の図中符号を保持する。上述の実施形態の励振信号を修正するステップに加え、判定したLPCパラメータのセットに対して、LPCパラメータ平滑化等の修正動作(S25)が行われる。 With reference to the flowchart of FIG. 3, a further embodiment of the method according to the invention will be described. Corresponding steps retain the same reference numerals in FIG. In addition to the step of correcting the excitation signal of the above-described embodiment, a correction operation (S25) such as LPC parameter smoothing is performed on the determined set of LPC parameters.
図4を参照すると、本発明の更なる実施形態に係るLPCパラメータ平滑化(S25)は、平滑度がノイズネス(noisiness)係数と呼ばれるパラメータから得られる係数βにより制御されるように、LPCパラメータ平滑化を実行することを含む。 Referring to FIG. 4, LPC parameter smoothing (S25) according to a further embodiment of the present invention performs LPC parameter smoothing so that the smoothness is controlled by a coefficient β obtained from a parameter called a noisiness coefficient. Including performing the conversion.
第1のステップにおいて、ローパスフィルタリングされたLPCパラメータのセットが計算される(S20)。これは、以下の式に従って一次自己回帰フィルタリングにより行われるのが好ましい。 In the first step, a low-pass filtered set of LPC parameters is calculated (S20). This is preferably done by first order autoregressive filtering according to the following equation:
ただし、~a(n)は現在のフレームnで取得されるローパスフィルタLPCパラメータベクトル、a(n)はフレームnの復号化LPCパラメータベクトル、λは平滑度を制御する重み付け係数である。λの適切な選択は0.9である。 However, ~ a (n) is a low-pass filter LPC parameter vector is obtained in the current frame n, a (n) is decoded LPC parameter vector of the frame n, lambda is the weighting factor which controls the smoothness. A suitable choice for λ is 0.9.
第2のステップS25において、ローパスフィルタLPCパラメータベクトル~a(n)及び復号化LPCパラメータベクトルa(n)の重み付き合成は、以下の式に従って平滑化制御係数βを使用して計算される。 In a second step S25, weighted synthesis of the low pass filter LPC parameter vector ~ a (n) and the decoded LPC parameter vector a (n) is calculated using the smoothing control factor β according to the following equation.
LPCパラメータは、フィルタリング及び補間に適する任意の表現であってもよいが、線スペクトル周波数(LSF)又はイミタンススペクトル対(ISP)として表されるのが好ましい。 The LPC parameters may be any representation suitable for filtering and interpolation, but are preferably expressed as a line spectral frequency (LSF) or immittance spectral pair (ISP).
一般に、音声復号化器は、ローパスフィルタLPCパラメータも補間されるのが好ましいサブフレームにわたりLPCパラメータを補間してもよい。特定の一実施形態において、音声復号化器は、各々が長さ20ms、5msのサブフレームを4つ含む複数のフレームに対して動作する。音声復号化器が最初に先行フレームの終了フレームLPCパラメータベクトルa(n-1)、中間フレームLPCパラメータベクトルam(n)及び現在のフレームの終了フレームLPCパラメータベクトルa(n)の間を補間することにより4つのサブフレームLPCパラメータベクトルを計算する場合、ローパスフィルタLPCパラメータベクトル及び復号化LPCパラメータベクトルの重み付き合成は以下のように計算される。 In general, the speech decoder may interpolate LPC parameters over subframes in which low pass filter LPC parameters are also preferably interpolated. In one particular embodiment, the speech decoder operates on a plurality of frames, each comprising four subframes each having a length of 20 ms and 5 ms. The speech decoder first interpolates between the end frame LPC parameter vector a (n−1) of the preceding frame, the intermediate frame LPC parameter vector a m (n), and the end frame LPC parameter vector a (n) of the current frame. Thus, when four subframe LPC parameter vectors are calculated, the weighted synthesis of the low-pass filter LPC parameter vector and the decoded LPC parameter vector is calculated as follows.
その後、それらの平滑化LPCパラメータベクトルは、元の復号化LPCパラメータベクトルa(n-1)、am(n)、a(n)の代わりにサブフレーム毎の補間に使用される。 These smoothed LPC parameter vectors are then used for interpolation per subframe instead of the original decoded LPC parameter vectors a (n−1), a m (n), a (n).
上述のように、本発明の重要な要素は、非音声期間中のLPCフィルタ励振信号のパワーゆらぎ及びスペクトルゆらぎを低減することである。本発明の好適な一実施形態によると、励振信号がより少ないスペクトル傾斜のゆらぎを有し且つ本質的には既存のスペクトル傾斜が補償されるように修正が行われる。 As described above, an important element of the present invention is to reduce the power fluctuation and spectral fluctuation of the LPC filter excitation signal during non-voice periods. According to a preferred embodiment of the invention, a modification is made so that the excitation signal has less spectral tilt fluctuations and essentially compensates for the existing spectral tilt.
従って、多くの音声コーデック(及び特にAbSコーデック)が傾斜のない励振信号又は白色励振信号を必ずしも生成しないことは、本発明者により考慮され認識されている。本発明者は、元の入力信号が合成信号と一致するようにその対象信号により励振を最適化する。これは、特に低レート音声コーデックの場合に、フレーム毎に励振信号のスペクトル傾斜の大きなゆらぎを引き起こす可能性がある。 Accordingly, it has been considered and recognized by the inventors that many audio codecs (and in particular AbS codecs) do not necessarily produce an excitation signal with no slope or a white excitation signal. The inventor optimizes the excitation with the target signal so that the original input signal matches the synthesized signal. This can cause large fluctuations in the spectral tilt of the excitation signal from frame to frame, especially in the case of low rate speech codecs.
傾斜補償は、以下の式に従って傾斜補償フィルタ(又は白色化フィルタ)H(z)により行われる。 The slope compensation is performed by the slope compensation filter (or whitening filter) H (z) according to the following equation.
このフィルタの係数aiは、元の励振信号のLPC係数として容易に計算される。予測次数Pの適切な選択は1であり、この場合、白色化ではなく本質的に単に傾斜補償が実行される。この場合、係数a1は以下のように計算される。 The filter coefficient a i is easily calculated as the LPC coefficient of the original excitation signal. A suitable choice for the prediction order P is 1, in which case only slope compensation is performed, rather than whitening. In this case, the coefficient a 1 is calculated as follows.
ただし、re(0)及びre(1)は、元のLPC合成フィルタ励振信号の0番目及び1番目の自己相関係数である。 However, r e (0) and r e (1) is a 0-th and 1-th autocorrelation coefficient of the original LPC synthesis filter excitation signal.
上述の傾斜補償又は白色化動作は、フレーム毎又はサブフレーム毎に少なくとも1回行われるのが好ましい。 The tilt compensation or whitening operation described above is preferably performed at least once for each frame or subframe.
別の特定の実施形態によると、励振信号のパワー及びスペクトルゆらぎは、励振信号の一部を白色雑音信号に置換することにより更に低減できる。そのために、まず適切にスケーリングされたランダムシーケンスが生成される。スケーリングは、パワーが励振信号のパワー又は励振信号の平滑化パワーと等しくなるように行われる。スケーリングは、励振信号の平滑化パワーと等しくなるように行われるのが好ましく、平滑化は、励振信号パワー又はそれから得られる励振ゲイン係数の推定値をローパスフィルタリングすることにより行える。従って、非平滑化ゲイン係数g(n)は、励振信号のパワーの平方根として計算される。その後、好ましくは以下の式に従って一次自己回帰フィルタリングを行うことにより、ローパスフィルタリングが実行される。 According to another particular embodiment, the power and spectral fluctuations of the excitation signal can be further reduced by replacing part of the excitation signal with a white noise signal. To that end, a suitably scaled random sequence is first generated. Scaling is performed so that the power is equal to the power of the excitation signal or the smoothing power of the excitation signal. The scaling is preferably performed to be equal to the smoothing power of the excitation signal, and the smoothing can be performed by low-pass filtering the excitation signal power or an estimate of the excitation gain coefficient obtained therefrom. Accordingly, the unsmoothed gain coefficient g (n) is calculated as the square root of the power of the excitation signal. Thereafter, low pass filtering is performed, preferably by performing first order autoregressive filtering according to the following equation:
ただし、~g(n)は現在のフレームnで取得されるローパスフィルタゲイン係数、κは平滑度を制御する重み付け係数である。κの適切な選択は0.9である。元のランダムシーケンスが正規化パワー(分散)1を有する場合、ノイズ信号rにスケーリングした後、そのパワーは励振信号のパワー又は励振信号の平滑化パワーに対応する。なお、ゲイン係数の平滑化動作は、以下の式に従って対数領域において行われる。 Here, ~ g (n) is a low-pass filter gain coefficient acquired in the current frame n, and κ is a weighting coefficient for controlling the smoothness. A suitable choice for κ is 0.9. If the original random sequence has a normalized power (variance) of 1, after scaling to a noise signal r, that power corresponds to the power of the excitation signal or the smoothing power of the excitation signal. The smoothing operation of the gain coefficient is performed in the logarithmic domain according to the following formula.
次のステップにおいて、励振信号はノイズ信号と合成される。そのために、励振信号eはある係数αによりスケーリングされ、ノイズ信号rはある係数βによりスケーリングされ、その後2つのスケーリング信号は加算される。 In the next step, the excitation signal is combined with the noise signal. For this purpose, the excitation signal e is scaled by a certain coefficient α, the noise signal r is scaled by a certain coefficient β, and then the two scaling signals are added.
係数βは、LPCパラメータ平滑化に対して使用される制御係数βに対応する必要があるが必ずしも対応するわけではない。係数βは、ノイズネス係数と呼ばれるパラメータから得られてもよい。好適な一実施形態によると、係数βは1-αとして選択される。この場合、αに対する適切な選択は0.5以上1以下である。しかし、αが1でない限り、信号 が励振信号eより小さいパワーを有することが観察される。この作用は、非アクティブとアクティブな音声との間の遷移中に望ましくない不連続な合成出力信号の原因となる可能性がある。この問題を解決するために、一般にe及びrが統計的に個別のランダムシーケンスであることが考慮される必要がある。従って、修正された励振信号のパワーは、以下のように係数α、並びに励振信号e及ノイズ信号rのパワーに依存する。 The coefficient β needs to correspond to, but does not necessarily correspond to, the control coefficient β used for LPC parameter smoothing. The coefficient β may be obtained from a parameter called a noiseness coefficient. According to a preferred embodiment, the coefficient β is selected as 1−α. In this case, a suitable choice for α is 0.5 or more and 1 or less. However, as long as α is not 1, it is observed that the signal has less power than the excitation signal e. This effect can cause an undesirable discontinuous composite output signal during the transition between inactive and active speech. To solve this problem, it is generally necessary to consider that e and r are statistically separate random sequences. Therefore, the power of the modified excitation signal depends on the coefficient α and the power of the excitation signal e and the noise signal r as follows.
従って、修正された励振信号が適切なパワーを有することを保証するために、その励振信号は更に係数γによりスケーリングされる必要がある。 Therefore, to ensure that the modified excitation signal has the proper power, the excitation signal needs to be further scaled by the factor γ.
ノイズ信号のパワー及び修正された励振信号の望ましいパワーが励振信号のパワーP{e}と同一であるという単純化された仮定(上述のノイズ信号のパワー平滑化を無視する)の下、係数γは以下のように選択される必要があることが分かる。 Under the simplified assumption that the power of the noise signal and the desired power of the modified excitation signal is the same as the power P {e} of the excitation signal (ignoring the power smoothing of the noise signal described above), the coefficient γ It can be seen that needs to be selected as follows:
適切な近似は、ノイズ信号ではなく係数γにより励振信号のみをスケーリングすることである。 A suitable approximation is to scale only the excitation signal by the factor γ rather than the noise signal.
上述のノイズミキシング動作は、フレーム毎に1回行われるのが好ましいが、サブフレーム毎に1回行われてもよい。 The noise mixing operation described above is preferably performed once for each frame, but may be performed once for each subframe.
詳細な調査によれば、上述の傾斜補償(白色化)及び上述の励振信号のノイズ修正が組み合わされて行われることが好ましいことが分かった。その場合、合成された背景雑音信号の最高の品質は、ノイズ修正が音声復号化器の元の励振信号ではなく傾斜補償された励振信号により動作する場合に達成される。 According to a detailed investigation, it has been found that the above-described tilt compensation (whitening) and the above-described noise correction of the excitation signal are preferably performed in combination. In that case, the highest quality of the synthesized background noise signal is achieved when the noise correction operates with a slope compensated excitation signal rather than the original excitation signal of the speech decoder.
方法をより適切に動作させるために、LPCパラメータ平滑化及び励振修正がアクティブな音声信号に影響を及ぼさないことを保証する必要があるだろう。基本的な一実施形態において、図4を参照すると、これは、平滑化動作が非音声を示すVAD(S50)に応答して起動される場合に可能である。 In order for the method to work better, it will be necessary to ensure that LPC parameter smoothing and excitation correction do not affect the active speech signal. In one basic embodiment, referring to FIG. 4, this is possible when the smoothing operation is activated in response to a non-speech VAD (S50).
本発明の好適な更なる実施形態は、スケーラブル音声コーデックにおける応用例である。更に改善された全体の性能は、信号が復号化される際のビットレートに上述の定常背景雑音の平滑化動作を適応させるステップにより達成される。平滑化は、低レート下位レイヤの復号化においてのみ行われる一方で、より高いビットレートで復号化する際にはオフにされる(又は低減される)のが好ましい。その理由は、上位レイヤが通常渦流音からの悪影響をそれ程受けず、復号化器がより高いビットレートで音声信号を再合成する際の忠実度に平滑化動作が影響を及ぼすためである。 A preferred further embodiment of the invention is an application in a scalable speech codec. Further improved overall performance is achieved by adapting the above-described stationary background noise smoothing operation to the bit rate at which the signal is decoded. Smoothing is preferably done only in low rate lower layer decoding, while being turned off (or reduced) when decoding at higher bit rates. The reason is that the upper layer is not significantly affected by normal vortex sound, and the smoothing operation affects the fidelity when the decoder re-synthesizes the audio signal at a higher bit rate.
図5を参照して、本発明に係る方法を可能にするデコーダにおける装置1について説明する。
With reference to FIG. 5, an
装置1は、入力信号を受信し且つ出力信号を装置から送信する一般的な入出力ユニットI/O10を含む。ユニットは、装置に対する信号を受信及び復号化するために任意の必要な機能性を含むのが好ましい。更に装置1は、受信し復号化した信号のLPCパラメータを復号化し算出するLPCパラメータ提供器20と、受信した入力信号の励振信号を復号化及び算出する励振信号提供器30とを含む。また、装置1は、励振信号のパワーゆらぎ及びスペクトルゆらぎを低減することにより、算出した励振信号を修正する修正器35を含む。最後に、装置1は、少なくとも算出したLPCパラメータ及び修正された算出された励振信号に基づいて平滑化合成音声出力信号を提供するLPC合成器又はフィルタ40を含む。
The
更なる一実施形態において、図5を参照すると、装置はLPCパラメータ提供器20からの算出されたLPCパラメータを平滑化する平滑化器25を含む。更に、LPC合成器40は、少なくとも平滑化されたLPCパラメータ及び修正された励振信号に基づいて合成音声信号を判定するように構成される。
In a further embodiment, referring to FIG. 5, the apparatus includes a smoother 25 that smoothes the calculated LPC parameters from the
最後に、装置は、誰かが実際に話しているか等、音声セッションがアクティブな音声部分を含むかを検出するか、あるいは1人のユーザが沈黙しており且つ移動電話には背景雑音のみが入力されているか等、背景雑音のみが存在するかを検出する検出器を備える。その場合、装置は、音声セッションの音声部分が非アクティブである場合にのみ修正ステップを実行するように構成される。すなわち、本発明の平滑化動作(LPCパラメータ平滑化及び/又は励振信号修正)は非音声期間中にのみ実行される。 Finally, the device detects whether the voice session contains an active voice part, such as who is actually talking, or one user is silent and the mobile phone only receives background noise A detector is provided for detecting whether only background noise is present, such as being detected. In that case, the device is configured to perform the modification step only if the audio portion of the audio session is inactive. That is, the smoothing operation (LPC parameter smoothing and / or excitation signal modification) of the present invention is performed only during non-voice periods.
本発明の利点は以下を含む。
本発明によれば、非音声期間中の定常的な背景雑音信号(車のノイズ等)の再構成又は合成音声信号の品質を改善できる。
The advantages of the present invention include:
According to the present invention, it is possible to improve the reconstruction of a stationary background noise signal (car noise or the like) during a non-speech period or the quality of a synthesized speech signal.
本発明に対しては、特許請求の範囲により定義される本発明の範囲から逸脱することなく種々の変形や変更を行うことができることは、当業者には理解されよう。 It will be appreciated by those skilled in the art that various modifications and variations can be made to the present invention without departing from the scope of the invention as defined by the claims.
Claims (11)
音声セッションを表す信号であって音声成分及び背景雑音成分を含む信号を受信し復号化するステップ(S10)と、
前記受信した信号のLPCパラメータを算出するステップ(S20)と、
前記受信した信号の励振信号を算出するステップ(S30)と、
前記LPCパラメータ及び前記励振信号に基づいて出力信号を合成し出力する合成ステップ(S40)と、
を有し、
更に、現フレームのLPCパラメータのセットを時間方向にローパスフィルタリングするステップであって、一次自己回帰フィルタリングにより、過去のフレームのローパスフィルタリングされたLPCパラメータのセットを用いて現フレームのLPCパラメータのセットをローパスフィルタリングするステップと、
前記ローパスフィルタリングされた現フレームのLPCパラメータのセットと前記算出された現フレームのLPCパラメータのセットとの重み付き合成を計算することによって前記算出したLPCパラメータのセットを修正するステップ(S25)と、
を有し、
平滑化された出力信号を提供するために、前記合成ステップは、前記修正されたLPCパラメータのセットに基づいて前記出力信号を合成し、
更に、前記励振信号のパワーゆらぎ及びスペクトルゆらぎを低減することによって前記算出された励振信号を修正するステップ(S35)を有し、これにより平滑化された出力信号を提供することを特徴とする方法。 A method for smoothing background noise in a communication voice session, comprising:
Receiving and decoding a signal representing a speech session and including a speech component and a background noise component (S10);
Calculating an LPC parameter of the received signal (S20);
Calculating an excitation signal of the received signal (S30);
A synthesis step (S40) for synthesizing and outputting an output signal based on the LPC parameter and the excitation signal;
Have
Furthermore, a step of low-pass filtering the set of LPC parameters of the current frame in a time direction, wherein the set of LPC parameters of the current frame is obtained by using first-order autoregressive filtering using the set of low-pass filtered LPC parameters of the past frame. Low-pass filtering;
A step (S25) of modifying the set of LPC parameters the calculated by calculating a weighted combination of the set of LPC parameters of the previous SL current frame the calculated low-pass filtered set of LPC parameters for the current frame was ,
Have
In order to provide a smoothed output signal, the combining step combines the output signal based on the modified set of LPC parameters;
The method further comprises the step of modifying the calculated excitation signal by reducing power fluctuations and spectral fluctuations of the excitation signal (S35), thereby providing a smoothed output signal. .
前記算出された励振信号のパワー又はその平滑化された表現と等しくなるように前記白色雑音信号のパワーをスケーリングするステップと、
前記算出された励振信号と前記スケーリングされた雑音信号とを線形結合するステップと、
を含むことを特徴とする請求項3に記載の方法。 Modifying the excitation signal comprises:
Scaling the power of the white noise signal to be equal to the power of the calculated excitation signal or a smoothed representation thereof;
Linearly combining the calculated excitation signal and the scaled noise signal;
4. The method of claim 3 , comprising:
前記受信した信号のLPCパラメータを算出する手段(20)と、
前記受信した信号の励振信号を算出する手段(30)と、
前記LPCパラメータ及び前記励振信号に基づいて出力信号を合成する手段(40)と、
を有し、
更に、現フレームのLPCパラメータのセットを時間方向にローパスフィルタリングする手段であって、一次自己回帰フィルタリングにより、過去のフレームのローパスフィルタリングされたLPCパラメータのセットを用いて現フレームのLPCパラメータのセットをローパスフィルタリングする手段と、
前記ローパスフィルタリングされた現フレームのLPCパラメータのセットと前記算出された現フレームのLPCパラメータのセットとの重み付き合成を計算することによって前記算出したLPCパラメータのセットを修正する手段(25)と、
を有し、
平滑化された出力信号を提供するために、前記出力信号を合成する手段(40)は、前記修正されたLPCパラメータのセットに基づいて前記出力信号を合成し、
更に、前記励振信号のパワーゆらぎ及びスペクトルゆらぎを低減することによって前記算出した励振信号を修正する手段(35)を有し、これにより平滑化された出力信号を提供することを特徴とする平滑化装置。 Means (10) for receiving and decoding a signal representative of an audio session and including an audio component and a background noise component;
Means (20) for calculating LPC parameters of the received signal;
Means (30) for calculating an excitation signal of the received signal;
Means (40) for synthesizing an output signal based on the LPC parameters and the excitation signal;
Have
Furthermore, it is a means for low-pass filtering a set of LPC parameters of the current frame in the time direction, and a set of LPC parameters of the current frame is obtained using a set of low-pass filtered LPC parameters of the past frame by linear autoregressive filtering. Means for low-pass filtering;
Means for modifying the set of LPC parameters the calculated by calculating a weighted combination of the set of LPC parameters before Symbol low-pass filtered current frame the calculated a set of LPC parameters for the current frame was the (25) ,
Have
Means (40) for synthesizing the output signal to synthesize the output signal based on the modified set of LPC parameters to provide a smoothed output signal;
The smoothing further comprises means (35) for correcting the calculated excitation signal by reducing power fluctuations and spectral fluctuations of the excitation signal, thereby providing a smoothed output signal. apparatus.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89299407P | 2007-03-05 | 2007-03-05 | |
US60/892,994 | 2007-03-05 | ||
PCT/SE2008/050169 WO2008108719A1 (en) | 2007-03-05 | 2008-02-13 | Method and arrangement for smoothing of stationary background noise |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010520512A JP2010520512A (en) | 2010-06-10 |
JP5340965B2 true JP5340965B2 (en) | 2013-11-13 |
Family
ID=39738501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009552636A Active JP5340965B2 (en) | 2007-03-05 | 2008-02-13 | Method and apparatus for performing steady background noise smoothing |
Country Status (10)
Country | Link |
---|---|
US (1) | US8457953B2 (en) |
EP (3) | EP2132731B1 (en) |
JP (1) | JP5340965B2 (en) |
KR (1) | KR101462293B1 (en) |
CN (1) | CN101632119B (en) |
AU (1) | AU2008221657B2 (en) |
ES (2) | ES2778076T3 (en) |
PL (2) | PL2945158T3 (en) |
PT (1) | PT2945158T (en) |
WO (1) | WO2008108719A1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8386266B2 (en) | 2010-07-01 | 2013-02-26 | Polycom, Inc. | Full-band scalable audio codec |
EP2502155A4 (en) | 2010-11-12 | 2013-12-04 | Polycom Inc | Scalable audio in a multi-point environment |
HUE050600T2 (en) | 2011-11-03 | 2021-01-28 | Voiceage Evs Llc | Improving non-speech content for low rate celp decoder |
ES2844223T3 (en) * | 2013-02-22 | 2021-07-21 | Ericsson Telefon Ab L M | Methods and Apparatus for DTX Retention in Audio Coding |
CN104517611B (en) | 2013-09-26 | 2016-05-25 | 华为技术有限公司 | A kind of high-frequency excitation signal Forecasting Methodology and device |
US9697843B2 (en) * | 2014-04-30 | 2017-07-04 | Qualcomm Incorporated | High band excitation signal generation |
CN105225670B (en) | 2014-06-27 | 2016-12-28 | 华为技术有限公司 | A kind of audio coding method and device |
CN106531175B (en) * | 2016-11-13 | 2019-09-03 | 南京汉隆科技有限公司 | A kind of method that network phone comfort noise generates |
KR102198598B1 (en) * | 2019-01-11 | 2021-01-05 | 네이버 주식회사 | Method for generating synthesized speech signal, neural vocoder, and training method thereof |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4667340A (en) * | 1983-04-13 | 1987-05-19 | Texas Instruments Incorporated | Voice messaging system with pitch-congruent baseband coding |
US5233660A (en) * | 1991-09-10 | 1993-08-03 | At&T Bell Laboratories | Method and apparatus for low-delay celp speech coding and decoding |
SE470577B (en) | 1993-01-29 | 1994-09-19 | Ericsson Telefon Ab L M | Method and apparatus for encoding and / or decoding background noise |
SE501305C2 (en) | 1993-05-26 | 1995-01-09 | Ericsson Telefon Ab L M | Method and apparatus for discriminating between stationary and non-stationary signals |
JP2906968B2 (en) * | 1993-12-10 | 1999-06-21 | 日本電気株式会社 | Multipulse encoding method and apparatus, analyzer and synthesizer |
US5657422A (en) | 1994-01-28 | 1997-08-12 | Lucent Technologies Inc. | Voice activity detection driven noise remediator |
US5487087A (en) | 1994-05-17 | 1996-01-23 | Texas Instruments Incorporated | Signal quantizer with reduced output fluctuation |
JP3557662B2 (en) * | 1994-08-30 | 2004-08-25 | ソニー株式会社 | Speech encoding method and speech decoding method, and speech encoding device and speech decoding device |
US5781880A (en) * | 1994-11-21 | 1998-07-14 | Rockwell International Corporation | Pitch lag estimation using frequency-domain lowpass filtering of the linear predictive coding (LPC) residual |
US5727125A (en) * | 1994-12-05 | 1998-03-10 | Motorola, Inc. | Method and apparatus for synthesis of speech excitation waveforms |
CN1155139A (en) * | 1995-06-30 | 1997-07-23 | 索尼公司 | Method for reducing pronunciation signal noise |
US5774837A (en) * | 1995-09-13 | 1998-06-30 | Voxware, Inc. | Speech coding system and method using voicing probability determination |
US6064962A (en) * | 1995-09-14 | 2000-05-16 | Kabushiki Kaisha Toshiba | Formant emphasis method and formant emphasis filter device |
GB2312360B (en) | 1996-04-12 | 2001-01-24 | Olympus Optical Co | Voice signal coding apparatus |
JP3607774B2 (en) * | 1996-04-12 | 2005-01-05 | オリンパス株式会社 | Speech encoding device |
JP3270922B2 (en) * | 1996-09-09 | 2002-04-02 | 富士通株式会社 | Encoding / decoding method and encoding / decoding device |
JPH1091194A (en) * | 1996-09-18 | 1998-04-10 | Sony Corp | Method of voice decoding and device therefor |
US6269331B1 (en) * | 1996-11-14 | 2001-07-31 | Nokia Mobile Phones Limited | Transmission of comfort noise parameters during discontinuous transmission |
US5960389A (en) * | 1996-11-15 | 1999-09-28 | Nokia Mobile Phones Limited | Methods for generating comfort noise during discontinuous transmission |
TW326070B (en) | 1996-12-19 | 1998-02-01 | Holtek Microelectronics Inc | The estimation method of the impulse gain for coding vocoder |
US6026356A (en) * | 1997-07-03 | 2000-02-15 | Nortel Networks Corporation | Methods and devices for noise conditioning signals representative of audio information in compressed and digitized form |
JP3223966B2 (en) * | 1997-07-25 | 2001-10-29 | 日本電気株式会社 | Audio encoding / decoding device |
US6163608A (en) * | 1998-01-09 | 2000-12-19 | Ericsson Inc. | Methods and apparatus for providing comfort noise in communications systems |
GB9811019D0 (en) * | 1998-05-21 | 1998-07-22 | Univ Surrey | Speech coders |
US6240386B1 (en) * | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
US6275798B1 (en) | 1998-09-16 | 2001-08-14 | Telefonaktiebolaget L M Ericsson | Speech coding with improved background noise reproduction |
JP3417362B2 (en) * | 1999-09-10 | 2003-06-16 | 日本電気株式会社 | Audio signal decoding method and audio signal encoding / decoding method |
JP3478209B2 (en) * | 1999-11-01 | 2003-12-15 | 日本電気株式会社 | Audio signal decoding method and apparatus, audio signal encoding and decoding method and apparatus, and recording medium |
JP2001142499A (en) | 1999-11-10 | 2001-05-25 | Nec Corp | Speech encoding device and speech decoding device |
JP2003520481A (en) * | 2000-01-07 | 2003-07-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Generating coefficients for predictive filters in encoders |
US7010480B2 (en) * | 2000-09-15 | 2006-03-07 | Mindspeed Technologies, Inc. | Controlling a weighting filter based on the spectral content of a speech signal |
US6691085B1 (en) * | 2000-10-18 | 2004-02-10 | Nokia Mobile Phones Ltd. | Method and system for estimating artificial high band signal in speech codec using voice activity information |
JP3558031B2 (en) * | 2000-11-06 | 2004-08-25 | 日本電気株式会社 | Speech decoding device |
DE60139144D1 (en) * | 2000-11-30 | 2009-08-13 | Nippon Telegraph & Telephone | AUDIO DECODER AND AUDIO DECODING METHOD |
TW564400B (en) * | 2001-12-25 | 2003-12-01 | Univ Nat Cheng Kung | Speech coding/decoding method and speech coder/decoder |
-
2008
- 2008-02-13 PL PL15175006T patent/PL2945158T3/en unknown
- 2008-02-13 AU AU2008221657A patent/AU2008221657B2/en active Active
- 2008-02-13 JP JP2009552636A patent/JP5340965B2/en active Active
- 2008-02-13 PL PL08712799T patent/PL2132731T3/en unknown
- 2008-02-13 PT PT151750064T patent/PT2945158T/en unknown
- 2008-02-13 WO PCT/SE2008/050169 patent/WO2008108719A1/en active Application Filing
- 2008-02-13 EP EP08712799.9A patent/EP2132731B1/en active Active
- 2008-02-13 ES ES15175006T patent/ES2778076T3/en active Active
- 2008-02-13 EP EP19209643.6A patent/EP3629328A1/en not_active Withdrawn
- 2008-02-13 EP EP15175006.4A patent/EP2945158B1/en active Active
- 2008-02-13 US US12/530,333 patent/US8457953B2/en active Active
- 2008-02-13 KR KR1020097020591A patent/KR101462293B1/en active IP Right Grant
- 2008-02-13 ES ES08712799.9T patent/ES2548010T3/en active Active
- 2008-02-13 CN CN2008800072341A patent/CN101632119B/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2132731A1 (en) | 2009-12-16 |
PL2132731T3 (en) | 2015-12-31 |
US20100114567A1 (en) | 2010-05-06 |
PT2945158T (en) | 2020-02-18 |
ES2778076T3 (en) | 2020-08-07 |
ES2548010T3 (en) | 2015-10-13 |
EP2945158B1 (en) | 2019-12-25 |
CN101632119A (en) | 2010-01-20 |
KR20090129450A (en) | 2009-12-16 |
CN101632119B (en) | 2012-08-15 |
AU2008221657B2 (en) | 2010-12-02 |
KR101462293B1 (en) | 2014-11-14 |
WO2008108719A1 (en) | 2008-09-12 |
AU2008221657A1 (en) | 2008-09-12 |
JP2010520512A (en) | 2010-06-10 |
EP2945158A1 (en) | 2015-11-18 |
EP2132731B1 (en) | 2015-07-22 |
EP3629328A1 (en) | 2020-04-01 |
EP2132731A4 (en) | 2014-04-16 |
PL2945158T3 (en) | 2020-07-13 |
US8457953B2 (en) | 2013-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10438601B2 (en) | Method and arrangement for controlling smoothing of stationary background noise | |
JP6976934B2 (en) | A method and system for encoding the left and right channels of a stereo audio signal that makes a choice between a 2-subframe model and a 4-subframe model depending on the bit budget. | |
JP5340965B2 (en) | Method and apparatus for performing steady background noise smoothing | |
JP5009910B2 (en) | Method for rate switching of rate scalable and bandwidth scalable audio decoding | |
JP5203929B2 (en) | Vector quantization method and apparatus for spectral envelope display | |
JP5097219B2 (en) | Non-causal post filter | |
JP2010518434A (en) | Audio signal encoding | |
JP5255575B2 (en) | Post filter for layered codec |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121211 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5340965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |