JP5056049B2 - Audio data decoding device - Google Patents
Audio data decoding device Download PDFInfo
- Publication number
- JP5056049B2 JP5056049B2 JP2007035664A JP2007035664A JP5056049B2 JP 5056049 B2 JP5056049 B2 JP 5056049B2 JP 2007035664 A JP2007035664 A JP 2007035664A JP 2007035664 A JP2007035664 A JP 2007035664A JP 5056049 B2 JP5056049 B2 JP 5056049B2
- Authority
- JP
- Japan
- Prior art keywords
- audio data
- audio
- loss
- signal
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、音声データの復号装置、音声データの変換装置、及び誤り補償方法の技術に
関する。
The present invention relates to a technology of a speech data decoding device, a speech data conversion device, and an error compensation method.
回線交換網又はパケット網を使って音声データを伝送する際、音声データを符号化、復
号を行うことで音声信号の授受を行っている。この音声圧縮の方式としては、例えば、I
TU−T(International Telecommunication Union Telecommunication Standardizatio
n sector)勧告G.711方式、またはCELP(Code-Excited Linear Prediction)方式が
知られている。
When audio data is transmitted using a circuit switching network or a packet network, audio signals are transmitted and received by encoding and decoding the audio data. As this audio compression method, for example, I
TU-T (International Telecommunication Union Telecommunication Standardizatio
n sector) recommendation G.711 system or CELP (Code-Excited Linear Prediction) system is known.
これらの圧縮方式で符号化された音声データを伝送すると、無線誤り又はネットワーク
の輻輳等により、音声データの一部が欠落することがある。この欠落した音声データに対
する誤り補償として、欠落する前に受信した音声データの情報に基づいて、欠落した音声
データに対する音声信号の生成を行う。
When audio data encoded by these compression methods is transmitted, a part of the audio data may be lost due to a radio error or network congestion. As error compensation for the missing voice data, a voice signal is generated for the missing voice data based on the information of the voice data received before the missing voice data.
そこで、欠落した音声データの音声信号を生成する際に伴う音質の劣化を低減する関連
技術として、特許文献1は、遅れて受信したパケットに含まれる音声フレームデータを用
いて、フィルタメモリ値を更新する技術を開示している。すなわち、ロスしたパケットを
遅れて受信した場合、このパケットに含まれる音声フレームデータを用いて、ピッチフィ
ルタ、またはスペクトル概形を表すフィルタで使用するフィルタメモリ値を更新する技術
である。
Therefore, as a related technique for reducing deterioration in sound quality caused when generating a sound signal of missing sound data, Patent Document 1 updates a filter memory value using sound frame data included in a packet received late. The technology to do is disclosed. That is, when a lost packet is received with a delay, the filter memory value used in the pitch filter or the filter representing the spectral outline is updated using the audio frame data included in the packet.
また、特許文献2は、ADPCM(Adaptive Differential Pulse Code Modulation)符号化
において、符号化データの欠落後に正しい符号化データを受け取っても、符号化側と復号
化側の予測器の状態不一致により不快な異常音を出力するという課題を解決する技術を開
示している。すなわち、パケット損失が「検出」から「非検出」へ遷移してから所定時間
、検出状態制御部が過去の音声データを基に生成した補間信号を徐々に減少させ、時間が
経つにつれて符号化側と復号化側との予測器の状態が次第に一致して音声信号が正常にな
っていくので、音声信号を徐々に増大させる。その結果、この技術は、符号化データの欠
落状態から復旧した直後においても異常音を出力しないという効果を奏する。
Further, in Patent Document 2, in ADPCM (Adaptive Differential Pulse Code Modulation) encoding, even if correct encoded data is received after loss of encoded data, it is uncomfortable due to a state mismatch between the predictor on the encoding side and the decoding side. A technique for solving the problem of outputting abnormal sound is disclosed. That is, for a predetermined time after the packet loss transitions from “detected” to “non-detected”, the detection state control unit gradually decreases the interpolation signal generated based on the past audio data, and the coding side over time Since the state of the predictor on the decoding side gradually matches and the speech signal becomes normal, the speech signal is gradually increased. As a result, this technique has an effect of not outputting abnormal sound even immediately after recovering from the lack of encoded data.
さらに、特許文献3では、音声信号から線形予測計数を算出し、この線形予測計数から
音声信号を生成する技術が開示されている。
Further, Patent Document 3 discloses a technique for calculating a linear prediction count from a speech signal and generating a speech signal from the linear prediction count.
従来の音声データに対する誤り補償方式は、過去の音声波形を繰り返す単純な方式であ
るため、上記のような技術が開示されているものの、音質に依然、改善の余地が残されて
いた。
The conventional error compensation method for audio data is a simple method that repeats a past audio waveform. Therefore, although the above-described technique has been disclosed, there is still room for improvement.
したがって、音声データに対する誤り補償方式を用いたときに、音質が劣化するという
課題を解決することが求められる。
Therefore, it is required to solve the problem that the sound quality deteriorates when an error compensation method for audio data is used.
本発明の音声データ復号装置は、 音声データ中のロスを補間する補間信号を出力する音声データ復号装置であって、ロスを検出し、かつロスに対応する音声データを遅れて受信したことを検出するロス検出部と、ロスが検出された場合、合成フィルタ等のメモリをメモリ蓄積部に出力する第一音声データデコーダと、
メモリ蓄積部に蓄積されているロス前音声データの合成フィルタ等のメモリを使って、ロスに対応する音声データを復号し、その後、ロスに対応する音声データの次の音声データを復号した復号音声信号を生成する第二音声データデコーダと、出力している全音声信号に対する前記復号音声信号の比率を変化させながら出力する音声信号出力部と、を備えている。
An audio data decoding apparatus according to the present invention is an audio data decoding apparatus that outputs an interpolation signal for interpolating a loss in audio data, detects a loss, and detects that audio data corresponding to the loss has been received with a delay. A loss detection unit that, when a loss is detected, a first audio data decoder that outputs a memory such as a synthesis filter to the memory storage unit;
Decoded speech that uses speech filter data such as a synthesis filter for pre-loss speech data stored in the memory storage unit to decode the speech data corresponding to the loss, and then decodes the speech data next to the speech data corresponding to the loss A second audio data decoder that generates a signal; and an audio signal output unit that outputs the signal while changing a ratio of the decoded audio signal to all output audio signals.
また、パラメータが、スペクトルパラメータ、遅延パラメータ、適応コードブックゲイ
ン、正規化残差信号、または正規化残差信号ゲインである構成とすることもできる。
The parameter may be a spectrum parameter, a delay parameter, an adaptive codebook gain, a normalized residual signal, or a normalized residual signal gain.
本発明によれば、音声データのロスが生じたときに補う補間信号において、良好な音質
が期待される。
According to the present invention, good sound quality is expected in an interpolation signal to be compensated when a loss of audio data occurs.
本発明の実施の形態について図面を参照しながら説明する。しかしながら、係る形態は
本発明の技術的範囲を限定するものではない。
Embodiments of the present invention will be described with reference to the drawings. However, such a form does not limit the technical scope of the present invention.
本発明の実施例1について、図1及び図2を参照しながら以下に説明する。 Embodiment 1 of the present invention will be described below with reference to FIGS. 1 and 2.
図1は、G.711方式に代表される波形符号化方式で符号化された音声データに対する復
号装置の構成を示す。実施例1の音声データ復号装置は、ロスディテクタ101、音声デ
ータデコーダ102、音声データアナライザ103、パラメータ修正部104、音声合成
部105及び音声信号出力部106により構成されている。ここで、音声データとは、あ
る一連の音声を符号化したデータをいい、また、少なくとも1つの音声フレームから構成
される音声のデータのことをいう。
FIG. 1 shows a configuration of a decoding apparatus for audio data encoded by a waveform encoding system typified by the G.711 system. The speech data decoding apparatus according to the first embodiment includes a
ロスディテクタ101は、受信した音声データを音声データデコーダ102に出力する
とともに、受信した音声データがロスしたかを検出し、ロス検出結果を音声データデコー
ダ102とパラメータ修正部104と音声信号出力部106に出力する。
The
音声データデコーダ102は、入力された音声データを復号して、復号音声信号を音声
データ出力部106と音声データアナライザ103に出力する。
The
音声データアナライザ103は、復号音声信号をフレーム毎(例えば20ms)に分割し
、分割した信号に対して線形予測分析を用いて、音声信号のスペクトル特性を表すスペク
トルパラメータを抽出する。次に、音声データアナライザ103は、フレーム分割した音
声信号をサブフレーム(例えば5ms)に分割し、サブフレーム毎に過去の音源信号を基に
適応コードブックにおけるパラメータとして、ピッチ周期に対応する遅延パラメータと適
応コードブックゲインを抽出する。また、音声データアナライザ103は、適応コードブ
ックにより該当するサブフレームの音声信号をピッチ予測する。さらに、音声データアナ
ライザ103は、ピッチ予測して求めた残差信号を正規化して、正規化残差信号と正規化
残差信号ゲインを抽出する。そして、抽出したスペクトルパラメータ、遅延パラメータ、
適応コードブックゲイン、正規化残差信号または正規化残差信号ゲイン(以下、これらを
総称してパラメータとも呼ぶ)をパラメータ修正部104に出力する。ここで、スペクト
ルパラメータ、遅延パラメータ、適応コードブックゲイン、正規化残差信号及び正規化残
差信号ゲインのうちから2つ以上を抽出する構成としてもよい。
The
The adaptive codebook gain, normalized residual signal, or normalized residual signal gain (hereinafter collectively referred to as parameters) is output to the
パラメータ修正部104は、ロスディテクタ101から入力されたロス検出結果に基づ
いて、音声データアナライザ103から入力されたスペクトルパラメータ、遅延パラメー
タ、適応コードブックゲイン、正規化残差信号または正規化残差信号ゲインをそのまま用
いるか、又は±1%の乱数を加える、或いはゲインを小さくしていくなどの修正をする。
さらに、パラメータ修正部104は、この値を音声合成部105に出力する。これらの値
を修正する理由は、繰り返しにより不自然な音声信号が生成されることを避けるためであ
る。
Based on the loss detection result input from the
Further, the
音声合成部105は、パラメータ修正部104から入力されたスペクトルパラメータ、
遅延パラメータ、適応コードブックゲイン、正規化残差信号または正規化残差信号ゲイン
を使って合成音声信号を生成し、音声信号出力部106に出力する。
The
A synthesized speech signal is generated using the delay parameter, adaptive codebook gain, normalized residual signal, or normalized residual signal gain, and is output to the speech
音声信号出力部106は、ロスディテクタ101から入力されたロス検出結果に基づい
て、音声データデコーダ102から入力された復号音声信号、音声合成部105から入力
された合成音声信号、又は復号音声信号と合成音声信号とをある比率で混合した信号のい
ずれかを出力する。
Based on the loss detection result input from the
次に、図2を参照しながら、実施例1の音声データ復号装置の動作を説明する。 Next, the operation of the audio data decoding apparatus according to the first embodiment will be described with reference to FIG.
まず、ロスディテクタ101は、受信した音声データがロスしているかを検出する(S
601)。ここで、ロスを検出する方法としては、無線網におけるビット誤りをCRC (Cyc
lic Redundancy Check)符号を用いて検出した場合に音声データがロスしたとして検出す
る方法、又はIP (Internet Protocol)網におけるロスをRFC3550RTP (A Transport Protoc
ol for Real-Time Applications)ヘッダのシーケンス番号の抜けにより検出した場合に音
声データがロスしたとして検出する方法がある。
First, the
601). Here, as a method of detecting a loss, a bit error in a wireless network is detected by CRC (Cyc
A method that detects voice data loss when detected using a lic redundancy check (RF) code, or loss in an IP (Internet Protocol) network
ol for Real-Time Applications) There is a method of detecting that audio data has been lost when it is detected by missing a sequence number in the header.
ロスディテクタ101が音声データのロスを検出しなかったならば、音声データアナラ
イザ102が受信した音声データを復号し、音声信号出力部へ出力する(S602)。
If the
ロスディテクタ101が音声データのロスを検出したならば、音声データアナライザ1
03が、ロス直前の復号音声信号を基に、スペクトルパラメータ、遅延パラメータ、適応
コードブックゲイン、正規化残差信号または正規化残差信号ゲインを抽出する(S603
)。ここで、復号音声信号の分析は、ロスを検出した直前の復号音声信号に対して行なっ
てもよいし、全ての復号音声信号に対して行ってもよい。次に、パラメータ修正部104
はロス検出結果に基づいて、スペクトルパラメータ、遅延パラメータ、適応コードブック
ゲイン、正規化残差信号または正規化残差信号ゲインをそのまま用いるか、或いは±1%
の乱数を加える等して修正する(S604)。音声合成部105は、これらの値を使って
、合成音声信号を生成する(S605)。
If the
03 extracts a spectral parameter, delay parameter, adaptive codebook gain, normalized residual signal or normalized residual signal gain based on the decoded speech signal immediately before the loss (S603).
). Here, the analysis of the decoded speech signal may be performed on the decoded speech signal immediately before the loss is detected, or may be performed on all the decoded speech signals. Next, the
Based on the loss detection result, spectral parameters, delay parameters, adaptive codebook gain, normalized residual signal or normalized residual signal gain are used as they are, or ± 1%
Is corrected by adding a random number (S604). The
そして、音声信号出力部106は、ロス検出結果に基づいて、音声データデコーダ10
2から入力された復号音声信号、音声合成部105から入力された合成音声信号又は復号
音声信号と合成音声信号とをある比率で混合した信号のいずれかを出力する(S606)
。具体的には、前フレームと現フレームでロスが検出されていない場合は、復号音声信号
を出力し、ロスが検出された場合は、合成音声信号を出力し、ロスが検出された次のフレ
ームでは、最初は、合成音声信号の比が大きく、時間が経過するにつれて復号音声信号の
比が大きくなるように音声信号を加算することにより、音声信号出力部106から出力され
る音声信号が不連続になることを避ける。
Then, the audio
2, the decoded speech signal input from 2, the synthesized speech signal input from the
. Specifically, if no loss is detected in the previous frame and the current frame, a decoded speech signal is output. If a loss is detected, a synthesized speech signal is output, and the next frame in which the loss is detected. First, the audio signal output from the audio
実施例1の音声データ復号装置により、従来パラメータなどを抽出していなかったG.71
1方式において、パラメータを抽出し、これらの値を、音声データのロスを補間する信号
に利用することで、ロスを補間する音声の音質を向上させることができる。
G.71, in which parameters and the like have not been conventionally extracted by the audio data decoding apparatus of the first embodiment
In one method, parameters are extracted, and these values are used as signals for interpolating the loss of audio data, thereby improving the sound quality of the audio for interpolating the loss.
実施例2について、図3及び図4を参照しながら説明する。実施例2と実施例1との異
なる点は、音声データのロスを検出した際、ロス部分を補間する音声信号を出力する前に
、ロス後の次の音声データを受信しているかを検出する。そして、次の音声データを検出
した場合、ロスした音声データに対する音声信号を生成するのに、実施例1の動作に加え
、次の音声データの情報をも用いる点である。
A second embodiment will be described with reference to FIGS. 3 and 4. The difference between the second embodiment and the first embodiment is that when a loss of audio data is detected, it is detected whether the next audio data after the loss is received before outputting an audio signal for interpolating the loss portion. . When the next audio data is detected, in addition to the operation of the first embodiment, the information of the next audio data is also used to generate an audio signal for the lost audio data.
図3は、実施例1と同様にG.711方式に代表される波形符号化方式で符号化された音声
データに対する復号装置の構成を示す。実施例2の音声データ復号装置は、ロスディテク
タ201、音声データデコーダ202、音声データアナライザ203、パラメータ修正部
204、音声合成部205及び音声信号出力部206より構成されている。ここで、音声
データデコーダ202、パラメータ修正部204及び音声合成部205は、実施例1の音
声データデコーダ102、パラメータ修正部104及び音声合成部105と同じ動作をす
るので、説明は割愛する。
FIG. 3 shows the configuration of a decoding apparatus for audio data encoded by a waveform encoding method typified by the G.711 method, as in the first embodiment. The speech data decoding apparatus according to the second embodiment includes a
ロスディテクタ201は、実施例1記載のロスディテクタ101の動作に加え、音声デ
ータのロスを検出した場合、音声データデコーダ202がロス部分を補間する音声信号を
出力する前に、ロス後の次の音声データを受信しているかを検出する。さらに、ロスディ
テクタ201は、この検出結果を音声データデコーダ202と音声データアナライザ20
3とパラメータ修正部204と音声信号出力部206に出力する。
When the
3, the
音声データアナライザ203は、実施例1記載の音声データアナライザ103の動作に
加え、ロスディテクタ201からの検出結果に基づいて、ロスを検出した次の音声データ
に対する音声信号の時間を反転させた信号を生成する。そして、この信号について実施例
1と同様の手順で分析を行い、抽出したスペクトルパラメータ、遅延パラメータ、適応コ
ードブックゲイン、正規化残差信号または正規化残差信号ゲインをパラメータ修正部20
4に出力する。
In addition to the operation of the audio data analyzer 103 described in the first embodiment, the
4 is output.
音声信号出力部206は、ロスディテクタ201から入力されたロス検出結果に基づい
て、音声データデコーダ202から入力された復号音声信号、或いは最初はロスが検出さ
れた前の音声データのパラメータにより生成された合成音声信号の比率が高く、最後はロ
スが検出された次の音声データのパラメータにより生成された合成音声信号の時間を反転
させた信号の比率が高くなるように加算した信号のいずれかを出力する。
The audio
次に、図4を参照しながら、実施例2の音声データ復号装置の動作を説明する。 Next, the operation of the audio data decoding apparatus according to the second embodiment will be described with reference to FIG.
まず、ロスディテクタ201は、受信した音声データがロスしているかを検出する(S
701)。ロスディテクタ201が音声データのロスを検出しなかったならば、実施例1
のS602と同様の動作を行う(S702)。
First, the
701). If the
The same operation as S602 is performed (S702).
ロスディテクタ201が音声データのロスを検出したならば、ロスディテクタ201が
、音声データデコーダ202がロス部分を補間する音声信号を出力する前にロス後の次の
音声データを受信しているか、検出する(S703)。次の音声データを受信していない
ならば、実施例1のS603乃至S605と同様の動作を行う(S704乃至S706)
。次の音声データを受信したならば、音声データデコーダ202が次の音声データを復号
する(S707)。この復号した次の音声データを基に、音声データアナライザ203が
スペクトルパラメータ、遅延パラメータ、適応コードブックゲイン、正規化残差信号また
は正規化残差信号ゲインを抽出する(S708)。次に、パラメータ修正部204はロス
検出結果に基づいて、スペクトルパラメータ、遅延パラメータ、適応コードブックゲイン
、正規化残差信号または正規化残差信号ゲインをそのまま用いるか、或いは±1%の乱数
を加える等して修正する(S709)。音声合成部205は、これらの値を使って、合成
音声信号を生成する(S710)。
If the
. If the next audio data is received, the
そして、音声信号出力部206は、ロスディテクタ201から入力されたロス検出結果
に基づいて、音声データデコーダ202から入力された復号音声信号、または最初はロス
が検出された前の音声データのパラメータにより生成された合成音声信号の比率が高く、
最後はロスが検出された次の音声データのパラメータにより生成された合成音声信号の時
間を反転させた信号の比率が高くなるように加算した信号を出力する(S711)。
Based on the loss detection result input from the
Finally, a signal added so that the ratio of the signal obtained by inverting the time of the synthesized voice signal generated by the parameter of the next voice data in which the loss is detected is increased (S711).
実施例2によれば、近年、急速に普及しているVoIP (Voice over IP)では、音声データ
の到着時間の揺らぎを吸収するために、受信した音声データのバッファリングを行ってい
るので、ロスした部分の音声信号を補間する際に、バッファに存在しているロスした次の
音声データを用いることで、補間信号の音質を向上させることができる。
According to the second embodiment, VoIP (Voice over IP), which has been rapidly spreading in recent years, buffers received voice data in order to absorb fluctuations in the arrival time of voice data. When interpolating the audio signal of the selected portion, the sound quality of the interpolated signal can be improved by using the lost audio data present in the buffer.
実施例3について、図5及び図6を参照しながら説明する。本実施例では、CELP方式で
符号化された音声データの復号に関して、音声データのロスを検出した場合に、実施例2
と同様に、第一音声データデコーダ302がロス部分を補間する音声信号を出力する前に
ロス後の音声データを受信していれば、ロスした音声データに対する音声信号を生成する
際に次の音声データの情報を用いる構成を示している。
A third embodiment will be described with reference to FIGS. 5 and 6. In this embodiment, when a loss of audio data is detected with respect to decoding of audio data encoded by the CELP method, the second embodiment
Similarly, if the first
図5は、CELP方式で符号化された音声データに対する復号装置の構成を示す。実施例3
の音声データ復号装置は、ロスディテクタ301、第一音声データデコーダ302、パラ
メータ補間部303、第二音声データデコーダ304及び音声信号出力部305から構成
されている。
FIG. 5 shows a configuration of a decoding apparatus for audio data encoded by the CELP method. Example 3
The audio data decoding apparatus includes a
ロスディテクタ301は、受信した音声データを第一音声データデコーダ302と第二
音声データデコーダ304に出力するとともに、受信した音声データがロスしているかを
検出する。ロスを検出した場合に、第一音声データデコーダ302がロス部分を補間する
音声信号を出力する前に次の音声データを受信しているかを検出し、検出結果を第一音声
データデコーダ302と第二音声データデコーダ304に出力する。
The
第一音声データデコーダ302は、ロスが検出されなかった場合、入力された音声デー
タを復号して、復号音声信号を音声データ出力部に出力し、復号時のスペクトルパラメー
タ、遅延パラメータ、適応コードブックゲイン、正規化残差信号または正規化残差信号ゲ
インをパラメータ補間部303に出力する。また、第一音声データデコーダ302は、ロ
スを検出し、次の音声データを受信していない場合、過去の音声データの情報を用いてロ
ス部分を保管する音声信号を生成する。生成する方法については、上記特許文献1に記載
されている方法を用いることができる。さらに、第一音声データデコーダ302は、パラ
メータ補間部303から入力されたパラメータを用いてロスした音声データに対する音声
信号を生成し、音声信号出力部305に出力する。
If no loss is detected, the first
第二音声データデコーダ303は、ロスを検出し、第一音声データデコーダ302がロ
ス部分を補間する音声信号を出力する前に次の音声データを受信している場合、ロスした
音声データに対する音声信号を過去の音声データの情報を用いて生成する。そして、第二
音声データデコーダ304は、生成した音声データを使って次の音声データを復号した際
に用いる、スペクトルパラメータ、遅延パラメータ、適応コードブックゲイン、正規化残
差信号または正規化残差信号ゲインを抽出し、パラメータ補間部303に出力する。
The second
パラメータ補間部304は、第一音声データデコーダ302から入力されたパラメータ
と第二音声データデコーダ304から入力されたパラメータを用いて、ロスした音声デー
タに対するパラメータを生成し、第一音声データデコーダ302に出力する。
The
音声信号出力部305は、音声データデコーダ302から入力された復号音声信号を出
力する。
The audio
次に、図6を参照しながら、実施例3の音声データ復号装置の動作を説明する。 Next, the operation of the audio data decoding apparatus according to the third embodiment will be described with reference to FIG.
まず、ロスディテクタ301が受信した音声データがロスしているかを検出する(S8
01)。ロスしていないならば、第一音声データデコーダ302が、入力された音声デー
タを復号し、復号時のスペクトルパラメータ、遅延パラメータ、適応コードブックゲイン
、正規化残差信号または正規化残差信号ゲインをパラメータ補間部303に出力する(S
802及びS803)。
First, it is detected whether the audio data received by the
01). If there is no loss, the first
802 and S803).
ロスしているならば、ロスディテクタ301が第一音声データデコーダ302がロス部
分を補間する音声信号を出力する前にロス後の次の音声データを受信しているか、検出す
る(S804)。次の音声データを受信していないならば、第一音声データデコーダ30
2が、過去の音声データの情報を用いてロス部分を保管する音声信号を生成する(S80
5)。
If there is a loss, the
2 generates an audio signal for storing the loss part using information of past audio data (S80).
5).
次の音声データを受信しているならば、第二音声データデコーダ303が、ロスした音
声データに対する音声信号を過去の音声データの情報を用いて生成する(S806)。第
二音声データデコーダ304は、生成した音声データを使って次の音声データを復号し、
復号時のスペクトルパラメータ、遅延パラメータ、適応コードブックゲイン、正規化残差
信号または正規化残差信号ゲインを生成し、パラメータ補間部303に出力する(S80
7)。次に、パラメータ補間部304が、第一音声データデコーダ302から入力された
パラメータと第二音声データデコーダ304から入力されたパラメータを用いて、ロスし
た音声データに対するパラメータを生成する(S808)。そして、第一音声データデコ
ーダ302は、パラメータ補間部304が生成したパラメータを用いて、ロスした音声デ
ータに対する音声信号を生成し、第一音声データデコーダ302に出力する(S809)
。
If the next audio data is received, the second
A spectral parameter, delay parameter, adaptive codebook gain, normalized residual signal or normalized residual signal gain at the time of decoding is generated and output to the parameter interpolation unit 303 (S80).
7). Next, the
.
第一音声データデコーダ302はそれぞれの場合で生成した音声信号を音声信号出力部
305へ出力し、音声信号出力部305が復号音声信号を出力する(S810)。
The first
実施例3により、近年、急速に普及しているVoIPでは、音声データの到着時間の揺らぎ
を吸収するために、受信した音声データのバッファリングを行っているので、CELP方式に
おいてロスした部分の音声信号を補間する際に、バッファに存在しているロスした次の音
声データを用いることで、補間信号の音質を向上させることができる。
According to the third embodiment, VoIP, which has been rapidly spreading in recent years, buffers received voice data in order to absorb fluctuations in the arrival time of voice data. When the signal is interpolated, the sound quality of the interpolated signal can be improved by using the lost audio data present in the buffer.
実施例4について、図7及び図8を参照しながら説明する。CELP方式において、音声デ
ータのロスが生じたときに補間信号を用いると、ロスした部分は補うことができるものの
、補間信号は正しい音声データから生成したわけではないので、その後に受信した音声デ
ータの音質を低下させてしまう。そこで、実施例4は、実施例3に加えて、音声データの
ロスの部分に対する補間音声信号を出力した後に、ロスした部分の音声データが遅れて届
いた場合、この音声データを用いることにより、ロスした次の音声データの音声信号の品
質を向上させる技術を開示する。
A fourth embodiment will be described with reference to FIGS. In the CELP method, if an interpolation signal is used when audio data loss occurs, the lost part can be compensated, but the interpolation signal is not generated from correct audio data. The sound quality will be degraded. Accordingly, in the fourth embodiment, in addition to the third embodiment, after outputting the interpolated audio signal for the lost portion of the audio data, when the lost portion of the audio data arrives late, by using this audio data, A technique for improving the quality of the audio signal of the next lost audio data is disclosed.
図7は、実施例3と同様に、CELP方式で符号化された音声データに対する復号装置の構
成を示す。実施例4の音声データ復号装置は、ロスディテクタ401、第一音声データデ
コーダ402、第二音声データデコーダ403、メモリ蓄積部404及び音声信号出力部
405から構成されている。
FIG. 7 shows the configuration of a decoding apparatus for audio data encoded by the CELP method, as in the third embodiment. The audio data decoding apparatus according to the fourth embodiment includes a
ロスディテクタ401は、受信した音声データを第一音声データデコーダ402と第二
音声データデコーダ403に出力する。また、ロスディテクタ401は、受信した音声デ
ータがロスしたかを検出する。ロスを検出した場合には、次の音声データを受信している
かを検出し、検出結果を第一音声データデコーダ402、第二音声データデコーダ403
または音声信号出力部405に出力する。さらに、ロスディテクタ401は、ロスした音
声データが遅れて受信したかどうかを検出する。
The
Or it outputs to the audio | voice
第一音声データデコーダ402は、ロスが検出されなかった場合、入力された音声デー
タを復号する。また、第一音声データデコーダ402は、ロスが検出された場合、過去の
音声データの情報を用いて音声信号を生成して、音声データ出力部405に出力する。生
成する方法については、特許文献1に記載されている方法を用いることができる。さらに
、第一音声データデコーダ402は、合成フィルタ等のメモリをメモリ蓄積部404に出
力する。
The first
第二音声データデコーダ403は、ロス部分の音声データが遅れて到着した場合、遅れ
て到着した音声データを、メモリ蓄積部404に蓄積されているロス検出直前パケットの
合成フィルタ等のメモリを使って復号し、復号信号を音声信号出力部405に出力する。
The second
音声信号出力部405は、ロスディテクタ401から入力されたロス検出結果に基づい
て、第一音声データデコーダ402から入力された復号音声信号、第二音声データデコー
ダ403から入力された復号音声信号または前記二つの信号をある比率で加算した音声信
号を出力する。
The audio
次に、図8を参照しながら、実施例4の音声データ復号装置の動作を説明する。 Next, the operation of the speech data decoding apparatus according to the fourth embodiment will be described with reference to FIG.
まず、上記実施例3の音声データ復号装置の動作、S801乃至S810を行い、ロス
した音声データを保管する音声信号を出力する。ここで、S805及びS806のときに
、過去の音声データより音声信号を生成したときに、合成フィルタ等のメモリをメモリ蓄
積部404に出力する(S903及びS904)。そして、ロスディテクタ401が、ロ
スしていた音声データを遅れて受信したのを検出する(S905)。ロスディテクタ40
1が検出していないならば、実施例3で生成した音声信号を出力する。ロスディテクタ4
01が検出したならば、第二音声データデコーダ403が、遅れて到着した音声データを
、メモリ蓄積部404に蓄積されているロス検出直前パケットの合成フィルタ等のメモリ
を使って復号する(S906)。
First, the operation of the audio data decoding apparatus of the third embodiment, S801 to S810, is performed, and an audio signal for storing lost audio data is output. Here, in S805 and S806, when an audio signal is generated from past audio data, a memory such as a synthesis filter is output to the memory storage unit 404 (S903 and S904). Then, the
If 1 is not detected, the audio signal generated in the third embodiment is output. Ross Detector 4
If 01 is detected, the second
そして、声信号出力部405が、ロスディテクタ401から入力されたロス検出結果に
基づいて、第一音声データデコーダ402から入力された復号音声信号、第二音声データ
デコーダ403から入力された復号音声信号または前記二つの信号をある比率で加算した
音声信号を出力する(S907)。具体的には、ロスを検出し、音声データが遅れて到着
した場合、音声信号出力部405は、ロスした音声データの次の音声データに対する音声
信号として、最初は、第一音声データデコーダ402から入力された復号音声信号の比を
大きくする。そして、時間が経過するにつれて、音声信号出力部405は、第二音声デー
タデコーダ403から入力された復号音声信号の比を大きくするように加算した音声信号
を出力する。
Then, the voice
実施例4によれば、遅れて届いたロス部分の音声データを用いて合成フィルタ等のメモ
リを書き換えることで、正しい復号音声信号を生成することができる。また、この正しい
復号音声信号を、あえてすぐに出力せず、ある比率で加算した音声信号を出力することで
、音声が不連続になることを防止することがきる。さらに、ロスした部分に補間信号を用
いたとしても、遅れて届いたロス部分の音声データで合成フィルタ等のメモリを書きかえ
て復号音声信号を生成することで、補間信号後の音質を向上させることができる。
According to the fourth embodiment, a correct decoded speech signal can be generated by rewriting a memory such as a synthesis filter by using the speech data of the loss part that arrives late. In addition, it is possible to prevent the voice from being discontinuous by outputting the audio signal obtained by adding the correct decoded audio signal at a certain ratio without outputting it immediately. Furthermore, even if an interpolated signal is used for the lost part, the sound quality after the interpolated signal is improved by rewriting a memory such as a synthesis filter with the lost part of the audio data and generating a decoded audio signal. be able to.
ここで、実施例4は、実施例3の音声変換信号に付け加える形態で説明したが、他の補
間信号の生成をした形態に付け加えてもよい。
Here, the fourth embodiment has been described in the form of being added to the audio conversion signal of the third embodiment, but may be added to a form in which another interpolation signal is generated.
実施例5の音声データ変換装置について、図9及び図10を参照しながら説明する。 An audio data conversion apparatus according to the fifth embodiment will be described with reference to FIGS.
図9は、ある音声符号化方式で符号化された音声信号を、別の音声符号化方式に変換す
る装置の構成を示している。ここでは、例えば、G.711で代表される波形符号化方式で符
号化された音声データを、CELP方式で符号化された音声データに変換する装置の形態を示
す。実施例5の音声データ変換装置は、ロスディテクタ501、音声データデコーダ50
2、音声データエンコーダ503、パラメータ修正部504及び音声データ出力部505
から構成されている。
FIG. 9 shows the configuration of an apparatus for converting a speech signal encoded by a certain speech encoding method into another speech encoding method. Here, for example, a configuration of an apparatus that converts audio data encoded by a waveform encoding method typified by G.711 into audio data encoded by a CELP method is shown. The audio data conversion apparatus according to the fifth embodiment includes a
2.
It is composed of
ロスディテクタ501は、受信した音声データを音声データデコーダ502に出力する
。また、ロスディテクタ501は、受信した音声データがロスしているかを検出し、検出
結果を音声データデコーダ502と音声データエンコーダ503とパラメータ修正部50
4と音声信号出力部505に出力する。
The
4 and the audio
音声データデコーダ502は、ロスが検出されなかった場合、入力された音声データを
復号し、復号音声信号を音声データエンコーダ503に出力する。
If no loss is detected, the
音声データエンコーダ503は、ロスが検出されなかった場合、音声データデコーダ5
02から入力された復号音声信号を符号化し、符号化した音声データを音声データ出力部
505に出力する。また、音声データエンコーダ503は、符号化時のパラメータである
スペクトルパラメータ、遅延パラメータ、適応コードブックゲイン、残差信号または残差
信号ゲインをパラメータ修正部504に出力する。さらに、音声データエンコーダ503
は、ロスが検出された場合、パラメータ修正部504から入力されパラメータを受け取る
。そして、音声データエンコーダ503は、パラメータ抽出に用いるフィルタ(図示せず
)を保持しており、パラメータ修正部504から受け取ったパラメータを符号化して、音
声データを生成する。その際に、音声データエンコーダ503はフィルタ等のメモリを更
新する。ここで、音声データエンコーダ503は、符号化時に生じる量子化誤差により、
符号化後のパラメータ値がパラメータ修正部504から入力された値と同じ値にならない
場合、符号化後のパラメータ値がパラメータ修正部504から入力された値に最も近い値
となるように選択する。また、通信相手の無線通信装置が保持するフィルタのメモリとの
齟齬が生じることを避けるために、音声データエンコーダ503は、音声データを生成す
る際に、パラメータ抽出などに用いるフィルタが持つメモリ(図示せず)を更新する必要
がある。さらに、音声データエンコーダ503は、生成した音声データを音声データ出力
部505に出力する。
If no loss is detected, the
The decoded audio signal input from 02 is encoded, and the encoded audio data is output to the audio
When a loss is detected, the parameter is input from the
When the parameter value after encoding does not become the same value as the value input from the
パラメータ修正部504は、音声データエンコーダ503から符号化時のパラメータで
あるスペクトルパラメータ、遅延パラメータ、適応コードブックゲイン、残差信号または
残差信号ゲインを受け取り、保存する。また、パラメータ修正部504は、保持していた
ロス検出前のパラメータをそのまま用いるか、又は所定の修正をし、ロスディテクタ50
1から入力されるロス検出結果に基づいて、音声データエンコーダ503へ出力する。
The
1 is output to the audio data encoder 503 based on the loss detection result input from 1.
音声データ出力部505は、ロスディテクタ501から受け取ったロス検出結果に基づ
いて、音声データエンコーダ503から受け取った音声信号を出力する。
The audio
次に、図10を参照しながら、実施例5の音声データ変換装置を説明する。 Next, an audio data conversion apparatus according to the fifth embodiment will be described with reference to FIG.
まず、ロスディテクタ501が、受信した音声データがロスしているかを検出する(S
1001)。ロスディテクタ501がロスを検出しなかったなら、音声データデコーダ5
02が受信した音声データを基に復号音声信号を生成する(S1002)。そして、音声
データエンコーダ503が、復号音声信号を符号化し、符号化時のパラメータであるスペ
クトルパラメータ、遅延パラメータ、適応コードブックゲイン、残差信号または残差信号
ゲインを出力する(S1003)。
First, the
1001). If the
A decoded audio signal is generated based on the audio data received by 02 (S1002). Then, the
ロスディテクタ501がロスを検出したなら、パラメータ修正部504が、保持してい
るロス前のパラメータをそのままか、または所定の修正をして、音声データエンコーダ5
03へ出力する。このパラメータを受信した音声データエンコーダ503は、パラメータ
を抽出するためのフィルタが持つメモリを更新する(S1004)。さらに、音声データ
エンコーダ503が、ロスする直前のパラメータを基に音声信号を生成する(S1005
)。
If the
Output to 03. The audio data encoder 503 that has received the parameter updates the memory of the filter for extracting the parameter (S1004). Further, the
).
そして、音声データ出力部505が、ロス検出結果に基づいて、音声データエンコーダ
503から受け取った音声信号を出力する(S1006)。
Then, the audio
実施例5により、例えばゲートウェイなどのようなデータを変換する装置において、音
声データのロスに対する補間信号を波形符号化方式で生成せず、パラメータなどを用いて
ロス部分を補間することで、補間信号の音質を向上させることができる。また、音声デー
タのロスに対する補間信号を波形符号化方式で生成せず、パラメータなどを用いてロス部
分を補間することで、演算量を少なくすることができる。
According to the fifth embodiment, in an apparatus for converting data such as a gateway, for example, an interpolation signal for a loss of audio data is not generated by a waveform coding method, and an interpolation signal is interpolated using a parameter or the like. The sound quality can be improved. In addition, the amount of calculation can be reduced by interpolating the loss portion using a parameter or the like without generating an interpolation signal for the loss of audio data by the waveform encoding method.
ここで、実施例5ではG.711で代表される波形符号化方式で符号化された音声データをC
ELP方式で符号化された音声データに変換する形態を示したが、CELP方式で符号化された
音声データを別のCELP方式で符号化された音声データに変換する形態でもよい。
Here, in the fifth embodiment, audio data encoded by a waveform encoding method represented by G.711 is converted to C.
In the above description, the voice data encoded by the ELP method is converted into voice data. However, the voice data encoded by the CELP method may be converted into voice data encoded by another CELP method.
当業者は上記実施例の様々な変形を容易に実施することができる。したがって、本発明
は上記実施例に限定されることはなく、請求項やその均等物によって参酌される最も広い
範囲で解釈される。
Those skilled in the art can easily implement various modifications of the above-described embodiments. Therefore, the present invention is not limited to the above-described embodiments, but is interpreted in the widest range considered by the claims and their equivalents.
101 ロスディテクタ
102 音声データデコーダ
103 音声データアナライザ
104 パラメータ修正部
105 音声合成部
106 音声信号出力部
201 ロスディテクタ
202 音声データデコーダ
203 音声データアナライザ
204 パラメータ修正部
205 音声合成部
206 音声信号出力部
301 ロスディテクタ
302 第一音声データデコーダ
303 第二音声データデコーダ
304 パラメータ補間部
305 音声信号出力部
401 ロスディテクタ
402 第一音声データデコーダ
403 第二音声データデコーダ
404 メモリ蓄積部
405 音声信号出力部
501 ロスディテクタ
502 音声データデコーダ
503 音声データエンコーダ
504 パラメータ修正部
505 音声データ出力部
DESCRIPTION OF
Claims (2)
前記ロスを検出し、かつ前記ロスに対応する音声データを遅れて受信したことを検出するロス検出部と、
前記ロスが検出された場合、合成フィルタ等のメモリをメモリ蓄積部に出力する第一音声データデコーダと、
メモリ蓄積部に蓄積されている前記ロス前音声データの前記合成フィルタ等のメモリを使って、前記ロスに対応する音声データを復号し、その後、前記ロスに対応する音声データの次の音声データを復号した復号音声信号を生成する第二音声データデコーダと、
出力している全音声信号に対する前記復号音声信号の比率を変化させながら出力する音声信号出力部と、を備える音声データ復号装置。 An audio data decoding device that outputs an interpolation signal for interpolating a loss in audio data,
A loss detector that detects the loss and detects that the audio data corresponding to the loss has been received late;
When the loss is detected, a first audio data decoder that outputs a memory such as a synthesis filter to the memory storage unit;
Using a memory such as the synthesis filter of the pre-loss audio data stored in the memory storage unit, the audio data corresponding to the loss is decoded, and then the audio data next to the audio data corresponding to the loss is obtained. A second audio data decoder that generates a decoded audio signal ;
An audio data decoding apparatus comprising: an audio signal output unit that outputs the decoded audio signal while changing a ratio of the decoded audio signal to all output audio signals.
前記音声信号出力部は、前記第一音声データデコーダが生成する前記復号音声信号と前記第二音声データデコーダが生成する前記復号音声信号の比率を変化させながら出力する、請求項1に記載の音声データ復号装置。The audio signal according to claim 1, wherein the audio signal output unit outputs the audio signal while changing a ratio of the decoded audio signal generated by the first audio data decoder and the decoded audio signal generated by the second audio data decoder. Data decoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007035664A JP5056049B2 (en) | 2007-02-16 | 2007-02-16 | Audio data decoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007035664A JP5056049B2 (en) | 2007-02-16 | 2007-02-16 | Audio data decoding device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006204781 Division | 2006-07-27 | 2006-07-27 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008033232A JP2008033232A (en) | 2008-02-14 |
JP2008033232A5 JP2008033232A5 (en) | 2009-07-09 |
JP5056049B2 true JP5056049B2 (en) | 2012-10-24 |
Family
ID=39122682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007035664A Expired - Fee Related JP5056049B2 (en) | 2007-02-16 | 2007-02-16 | Audio data decoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5056049B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002268697A (en) * | 2001-03-13 | 2002-09-20 | Nec Corp | Voice decoder tolerant for packet error, voice coding and decoding device and its method |
JP3977784B2 (en) * | 2003-07-22 | 2007-09-19 | 日本電信電話株式会社 | Real-time packet processing apparatus and method |
JP2005274917A (en) * | 2004-03-24 | 2005-10-06 | Mitsubishi Electric Corp | Voice decoding device |
-
2007
- 2007-02-16 JP JP2007035664A patent/JP5056049B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008033232A (en) | 2008-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11227612B2 (en) | Audio frame loss and recovery with redundant frames | |
KR100919868B1 (en) | Packet loss compensation | |
JP5587405B2 (en) | System and method for preventing loss of information in speech frames | |
KR100956522B1 (en) | Frame erasure concealment in voice communications | |
KR101812123B1 (en) | Audio coding device, audio coding method, audio coding program, audio decoding device, audio decoding method, and audio decoding program | |
JP2008261904A (en) | Encoding device, decoding device, encoding method and decoding method | |
JP2002162998A (en) | Voice encoding method accompanied by packet repair processing | |
EP3076390B1 (en) | Method and device for decoding speech and audio streams | |
JP4678440B2 (en) | Audio data decoding device | |
JP2002221994A (en) | Method and apparatus for assembling packet of code string of voice signal, method and apparatus for disassembling packet, program for executing these methods, and recording medium for recording program thereon | |
JP5056049B2 (en) | Audio data decoding device | |
JP5056048B2 (en) | Audio data decoding device | |
JPH1022937A (en) | Error compensation device and recording medium | |
JP2008033231A (en) | Audio data decoding device and audio data converting device | |
JP2008033233A (en) | Audio data decoding device and audio data converting device | |
JP2002252644A (en) | Apparatus and method for communicating voice packet | |
JP5011913B2 (en) | Differentially encoded signal decoding apparatus | |
Napoleon et al. | Enhanced recovery technique for improving voice quality degraded by packet loss in data networks | |
JP2005151235A (en) | Decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080613 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090618 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5056049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |