WO2009155803A1 - 一种丢包隐藏的方法和装置 - Google Patents

一种丢包隐藏的方法和装置 Download PDF

Info

Publication number
WO2009155803A1
WO2009155803A1 PCT/CN2009/071386 CN2009071386W WO2009155803A1 WO 2009155803 A1 WO2009155803 A1 WO 2009155803A1 CN 2009071386 W CN2009071386 W CN 2009071386W WO 2009155803 A1 WO2009155803 A1 WO 2009155803A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
decoded
phase difference
decoded signal
pitch period
Prior art date
Application number
PCT/CN2009/071386
Other languages
English (en)
French (fr)
Inventor
詹五洲
王东琦
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2009155803A1 publication Critical patent/WO2009155803A1/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Definitions

  • the present invention relates to the field of network communications, and in particular, to a method and apparatus for packet loss hiding. Background technique
  • IP networks were originally designed to transport data streams that contained large packets and did not require reliable delivery of real-time books, and were therefore less demanding on the real-time and reliability of data transmission.
  • the transmission of sound requires a small packet to be transmitted reliably in real time.
  • VoIP Voice Over Internet Protocal
  • the transmitted packet is small.
  • a voice packet is lost during transmission, there is usually no time. Retransmit the lost package.
  • a voice packet passes a long route and cannot arrive in time when it needs to be played, the packet loses its meaning. Therefore, voice packets cannot be reached or cannot arrive in time, and are considered lost.
  • Network packet loss is the most important reason for the decline in voice service quality in network transmission. Even without an effective voice packet loss recovery or concealment technology, even an IP network that is designed and managed is not capable of providing long-term quality communication. A well-designed technology that solves the problem of packet loss can greatly improve the quality of voice transmission.
  • the unvoiced sound is disorganized from the waveform, and the voiced sound is periodic on the waveform.
  • the pitch-repeating packet hiding method is a receiving-based processing technique that compensates for lost audio frames according to the characteristics of the voice.
  • the pitch period ⁇ is estimated using the previous history signal of the lost frame. This is usually obtained by an autocorrelation method, and then the length is ⁇ before the lost frame is duplicated. A segment of the signal to reconstruct the signal corresponding to the lost frame.
  • frame 2 is the lost frame (indicated by the dotted line), the frame length is J, and frame 1 and frame 3 are all good frames (the corresponding signal is indicated by the solid line), before the lost frame (frame 2)
  • the signal, that is, the frame 1 includes the signal before the frame 1, is called the history signal;
  • the signal after the lost frame, that is, the frame 3 includes the signal after the frame 3, which is called the current frame signal. It is assumed that the pitch period corresponding to the history signal has been obtained as ⁇ .
  • the corresponding interval is interval 1; then according to the characteristics of voiced sound, the signal corresponding to the last pitch of the historical signal (corresponding to the pitch period is ⁇ ), that is, the signal corresponding to interval 1 is repeatedly copied to frame 2, to reconstruct the lost The signal corresponding to the frame. If a signal with a pitch period length is not sufficient to fill the lost frame (ie ⁇ . ⁇ ), then the signal in interval 1 needs to be copied repeatedly. Fill it up. For example, in Figure 1, two pitch periods are required to fill the lost frame. After copying the signal in interval 1 to interval 2, the signal in interval 1 is copied again to interval 3. For the unvoiced signal, the method of simply repeating the previous frame can be used to generate the signal corresponding to the lost frame.
  • the pitch period is almost impossible to remain fixed, but may be random over time.
  • the change is called the "jitter” of the pitch.
  • the amplitude of the glottal wave in adjacent pitch periods varies, and this characteristic is called amplitude "flicker". These may be caused by time-varying channel characteristics and vocal cord characteristics. It is precisely the "jitter” and “flicker” in the continuous pitch period that make the vowel have a natural degree, and a single pitch and a constant amplitude can cause the sound to be stiffer and even cause musical noise.
  • the pitch is directly filled with the pitch period obtained from the historical signal, a sudden change in the waveform occurs at the junction of the two pitch periods.
  • the signal of the last 1/4 pitch period in the historical signal is typically cross-faded before the missing frame is filled with the signal of the last pitch period of the historical signal.
  • the signal before the last pitch period of the history buffer is multiplied by the rising window, the buffer is multiplied by the falling window and superimposed, and then the last signal of the history buffer is replaced to ensure that When the pitch is repeated, a smooth transition at the junction of two adjacent pitch periods is guaranteed.
  • a segment of the length M is multiplied by a rising window, multiplied by the first good frame signal after the same length of the lost frame, as shown in Figure 2-3, "Frame 3 (current frame signal)"
  • the signal obtained after a rising window is cross-faded to replace the same length of the first good frame signal after the lost frame.
  • a window as defined by the following formula can be used:
  • M is the length of the signal to be windowed, and takes an integer value, where i is the subscript corresponding to the corresponding i-th sample point of the windowed signal.
  • the inventors have found that the prior art has the following problems: Since the existing method of packet loss concealment is to generate a lost frame signal by repeatedly copying the pitch waveform of the historical signal, the lost frame is Multiple The pitch period is still the same size.
  • the "jitter" characteristic of no one's speech, that is, the pitch period has no gradation, which causes the sound to be stiff, distorted, and even cause noise, which affects the audio quality. Summary of the invention
  • Embodiments of the present invention provide a method and apparatus for packet loss concealment to ensure the gradation of a pitch period frequency within a lost frame.
  • a missing signal between the first decoded signal and the second decoded signal is reconstructed using the first reconstructed signal.
  • a device for hiding packets comprising:
  • a composite signal generating unit configured to generate a first composite signal according to the first decoded signal
  • phase difference acquisition unit configured to determine a phase difference between the first composite signal and the second decoded signal
  • a waveform companding unit configured to determine, according to the phase difference, an interpolation time point at which an interpolation interval gradually changes, and perform waveform compression on the first composite signal to obtain a first reconstructed signal
  • a reconstruction unit configured to reconstruct, by using the first reconstructed signal, a lost signal between the first decoded signal and the second decoded signal.
  • a computer program product comprising: computer program code, when the computer program code is executed by a computer, the computer program code can cause the computer to perform any one of a method of packet loss hiding step.
  • a computer readable storage medium the computer storing computer program code, when the computer program code is executed by a computer, the computer program code may cause the computer to perform any one of a method of packet loss hiding step.
  • the embodiment of the present invention solves the problem that the pitch period frequency of the lost frame is discontinuous, so that the quality of the recovered audio signal is improved.
  • 1 is a schematic diagram of a pitch waveform replacement in the prior art
  • 2-1 and 2-2 are schematic diagrams of signal smoothing processing in the prior art
  • Embodiment 3 is a flowchart of a method for hiding a packet in Embodiment 1 of the present invention
  • Figure 5 is a schematic diagram of interpolation intervals in Embodiment 2 of the present invention.
  • FIG. 9 is a waveform effect diagram of the improved interpolation calculation method after the companding processing in the embodiment 1 of the present invention.
  • FIG. 10 is a flowchart of a method for hiding a packet in Embodiment 2 of the present invention.
  • FIG. 11 is a schematic diagram of finding a waveform that best matches a given waveform in a composite signal in Embodiment 2 of the present invention to determine a phase difference;
  • Figure 12 is a waveform diagram showing the effect of filling the lost frame by the improved phase difference method in Embodiment 2 of the present invention.
  • FIG. 13 is a flowchart of a method for hiding a packet in Embodiment 3 of the present invention.
  • Figure 14 is a schematic diagram of smoothing processing in Embodiment 4 of the present invention.
  • Figure 15 is a diagram showing the use of bilateral compensation to generate a final lost frame signal in Embodiment 5 of the present invention.
  • Figure 17 is a structural diagram of a packet hiding device in Embodiment 6 of the present invention.
  • FIG. 18 is a structural diagram of a phase difference determination module according to Embodiment 6 of the present invention.
  • Fig. 19 is another structural diagram of the phase difference determining module of the embodiment 6 of the present invention. detailed description
  • the reconstructed signal is interpolated by the method of non-equidistant interpolation, so that the interval of the interpolation time points is gradually decreased, and the reconstructed signal whose pitch period is gradually increased is obtained; or the interval of the interpolation time points is gradually increased. , to obtain a reconstructed signal whose pitch period is gradually reduced; this can ensure the continuity of the frequency.
  • Embodiment 1 of the present invention provides a method for hiding packet loss.
  • waveform companding is performed, and a gradation of a pitch frequency inside the lost frame is realized.
  • the first decoded signal and the second decoded signal respectively correspond to the intact signals on both sides of the decoded lost frame, that is, the first decoded signal is a historical signal before the lost frame, and the second decoded signal is after the lost frame.
  • the current frame signal; or the first decoded signal is the current frame signal after the lost frame, and the second decoded signal is the historical signal before the lost frame.
  • the loss of one frame is taken as an example for description, and the same applies to the case of losing multiple frames.
  • the difference is that in the case of losing multiple frames, multiple frames need to be repeatedly copied, and The multi-frame sets the interpolation time point of the interval gradation to perform waveform companding.
  • Lost frames can also be referred to as lost signals.
  • the specific processing steps are as follows:
  • Step 101 Generate a first composite signal according to the first decoded signal.
  • Step 102 Determine a phase difference between the first composite signal and the second decoded signal.
  • Step 103 Determine, according to the phase difference, an interpolation time point whose interval gradually changes, and perform waveform compression on the first composite signal to obtain a first reconstructed signal.
  • Step 104 Reconstruct a lost signal between the first decoded signal and the second decoded signal by using the first reconstructed signal.
  • the synthesized signal may be generated by a method of pitch repetition, or other methods, such as linear prediction, may be used to generate the synthesized signal.
  • step 102 the calculation method of the phase difference can be obtained by the following techniques:
  • the distance between the left and right sides of the current frame start point S and the nearest two matching points ml, m2 of the starting point S, to the starting point of the current frame are de and dc, respectively, and the current frame starting point
  • step 103 the specific steps of performing waveform companding on the composite signal are as follows:
  • the assumed compression number is N
  • the normal compression means (N + d) (d > 0)
  • the sampling points are interpolated and compressed into N sampling points;
  • the usual expansion refers to the method of interpolating (N + d) ( d ⁇ 0) sampling points into N sampling points.
  • the interpolation calculation corresponds to four cases, as shown in the following table:
  • the vertical axis represents the ratio of the time interval between the new sample and the previous sample to the time interval between two adjacent samples before the interpolation, which corresponds to: ⁇ ( «).
  • the horizontal axis corresponds to the formula in the formula ( Figure 6 - Figure 8 is the same as this).
  • the interpolation calculation is performed:
  • the linear interpolation calculation amount is small, and the linear interpolation method is generally adopted, and the calculation formula is as follows:
  • Fig. 9 is a waveform processed by the above interpolation calculation method. It can be seen that in the lost frame, the pitch period is gradual, and the current frame signal and the history signal have good frequency continuity.
  • the interval of the fixed interpolation time points is adjusted to the interval of the gradation interpolation time points, and the gradation of the pitch period frequency in the lost frame is ensured, thereby realizing the continuity of the pitch period.
  • Embodiments of the present invention provide a method for packet loss concealment, which combines the signal pitch period on both sides of a lost frame, and improves the phase difference frequency calculation method to maintain the continuity of the pitch period signal of the lost frame signal and the adjacent intact frame.
  • the first decoded signal and the second decoded signal respectively correspond to good signals on both sides of the decoded lost frame.
  • Step 201 Generate a composite signal according to the first decoded signal.
  • Step 202 Determine, according to a pitch period of the first decoded signal and the second decoded signal, a phase difference between the synthesized signal and the second decoded signal.
  • Step 203 Determine an interval of the interpolation time point according to the phase difference, and perform waveform compression on the composite signal to obtain a reconstructed signal.
  • Step 204 Fill the reconstructed signal into the lost frame.
  • a composite signal may be generated by using a pitch repetition method, that is, a method of repeatedly filling a pitch period signal of a historical signal to a lost frame may be used to generate a composite signal, and other methods, such as linear prediction, may be used to generate a composite signal.
  • a pitch repetition method that is, a method of repeatedly filling a pitch period signal of a historical signal to a lost frame may be used to generate a composite signal, and other methods, such as linear prediction, may be used to generate a composite signal.
  • the phase difference calculation method is improved by combining the signal pitch periods on both sides of the lost frame. Specific steps are as follows:
  • Step 202a Obtain a pitch period of the first decoded signal, let T 1 ; obtain a pitch period of the second decoded signal, and let ⁇ 2 .
  • Step 202b Search for a first phase matching point in the lost signal that matches the sample closest to the lost frame in the second decoded signal, and a second phase matching in the second decoded signal at the corresponding time. point. That is, looking for the first phase matching point and the second phase matching point, specifically: taking the sample closest to the missing signal in the second decoded signal as the target matching point, and the corresponding moments in the first composite signal are respectively within the lost signal Among the samples in the second decoded signal, the first phase matching point and the second phase matching point that are closest to the target matching point and match the target matching point are found.
  • Step 202c Combine the pitch period corresponding to the first decoded signal; the pitch period ⁇ 2 corresponding to the second decoded signal, and the positions of the first phase matching point and the second phase matching point to determine the final phase difference d.
  • step 202b the method for finding a matching point is as follows:
  • FIG. 11 is a schematic diagram showing a phase matching point of a sample in a synthesized signal and a sample closest to a lost frame in a second decoded signal according to an embodiment of the present invention, wherein the first decoded signal corresponds to a historical signal, and corresponds to a signal before the frame N.
  • the second decoded signal corresponds to the received first good frame after the lost frame, that is, the signal of the current frame, corresponding to the following line of frame N+1 corresponding signals; after the previous line of frame N, the waveform composed of the dotted lines corresponds to the composite signal .
  • a fixed window TW of a preset length w is set from the starting position, and a sliding window SW equal to the TW length W is set in the composite signal, and the end point of the SW is from the starting end point.
  • the second decoded signal direction and the distance from the starting end point is W, the starting end point of the SW is in the second decoded signal, the sample closest to the missing frame is directed to the first decoded signal direction and the second decoded signal.
  • the calculation of the matching value can be calculated by an autocorrelation method, where SW[i] is used to represent the amplitude value corresponding to the i-th sampling point in the SW window, and TW[i] is the corresponding to the i-th sampling point in the TW window. Amplitude value, window length is w, you can take
  • the peak value in the corresponding peak of the SW is the matching point, that is, the value corresponding to the peak point in the BMV is taken as the best matching value.
  • the distances are ⁇ and .
  • the window length W is the preset length used to find the matching point.
  • the short-term average amplitude difference can also be used to represent the matching degree of the two segments of the waveform.
  • the trough in the middle corresponds to the starting point of the SW as the matching point, that is, the value corresponding to the trough value in the BMV is taken as the best matching value.
  • step 202c the method for determining the phase difference may be as follows:
  • the first implementation In the composite signal, there are not only two matching points (in ⁇ ), in the lost frame, the distance from the first phase matching point is a multiple of A, and In the two decoded signals, a plurality of samples whose distance from the second phase matching point is an integer multiple of ⁇ 2 should also be a matching point; based on this, the specific steps of the above first implementation manner are:
  • the second implementation is also based on determining the phase difference d from the calculated pitch period, as follows:
  • Step 202d If the decimals in fife and fifc are much smaller than 7; (for example, 1 ⁇ «) ⁇ / 8 ), the phase difference is reset:
  • step 203 the following interpolation method can be used to perform waveform companding on the composite signal:
  • the filled waveform is compressed or expanded based on the phase difference d calculated in step 202. Since the linear interpolation calculation is small, the linear interpolation method is generally adopted, and the calculation formula is as follows:
  • Figure 12 shows the results of this phase elimination mismatch method.
  • the phase difference is determined by combining the pitch period of the decoded signal on both sides of the lost frame, and the interval of the interpolation time point is set to implement waveform companding, the pitch period frequency of the lost frame and the intact frame, and the pitch period frequency gradation in the lost frame, thereby realizing The pitch period and the continuity of the lost frame.
  • This embodiment combines the method of performing gradation interval interpolation on the composite signal in Embodiment 1, and the method of combining the pitch periods of the decoded signals on both sides of the lost frame in Embodiment 2 to realize the change continuity of the pitch period in and out of the lost frame.
  • the specific steps are as follows:
  • Step 301 Generate a composite signal according to the first decoded signal.
  • Step 302 Determine, according to a pitch period of the first decoded signal and the second decoded signal, a phase difference between the synthesized signal and the second decoded signal.
  • Step 303 Determine, according to the phase difference, an interpolation time point whose interval gradually changes, and perform waveform compression on the composite signal to obtain a reconstructed signal.
  • Step 304 Fill the reconstructed signal with the lost frame.
  • step 302 a method for determining a phase difference between the synthesized signal and the second decoded signal is performed by using a pitch period of the signals on both sides of the lost frame according to step 202 in Embodiment 2.
  • the method for determining the interpolation time point whose interval is gradually changed according to the step 103 in the first embodiment is used to perform waveform companding on the composite signal.
  • the gradual interval interpolation of the synthesized signal and the pitch period of the decoded signal on both sides of the lost frame are combined to realize the change continuity of the pitch period in and out of the lost frame.
  • Embodiment 1 in the case where the first decoded signal corresponds to the history signal and the second decoded signal corresponds to the first good frame signal after the lost frame, in Embodiment 1, Embodiment 2 and Embodiment 3, in order to ensure The smooth transition of the signal of the lost frame synthesis signal and the second decoded signal requires smoothing of the second decoded signal and the composite signal.
  • a step is added, as follows:
  • a length is taken from the synthesized signal from the same time corresponding to the start of the second decoded signal Is the signal of M, and multiplies a falling window; takes the signal of length M from the starting sample in the second decoded signal, and multiplies the falling window, then superimposes the two, and uses the superimposed
  • the signal replaces the signal of length M starting from the start of the second decoded signal.
  • M usually takes ⁇ . /4.
  • the signal used to fill the lost frame is obtained based on the history signal, and in the case of a short frame length or a missing signal, Embodiments 1, 2, 3, and 4 are used.
  • the method can also achieve better results; however, if the frame length is long, only the methods in Embodiments 1 and 2 will cause a certain degree of distortion, and the closer to the current frame, the more severe the signal distortion.
  • the signal of the current frame is combined, the signal similarity of the filled lost frame near the end of the historical signal and the last pitch period of the historical signal is relatively high, and the signal near the end of the current frame and the first of the current frame The signal similarity of the pitch period is relatively high.
  • the present embodiment is a method of bilateral compensation, i.e., using the historical signal and the signal of the current frame to recover the signal of the lost frame.
  • FIG. 15 a schematic diagram of generating a final lost frame signal using bilateral compensation, where frame N-1 is a good frame before the lost frame, frame ⁇ is a lost frame, and frame N+1 is the first frame after the lost frame. Good frame.
  • the corresponding signal of the interval where the interval frame N-1 is located is the good frame signal corresponding to the received frame N-1
  • the corresponding signal of the interval where the frame is located is the first reconstructed signal obtained by using the historical signal (short
  • the dotted line indicates that the direction of the generated signal is as shown by the arrow 1; in the lower row of the signal in Figure 15, the corresponding signal in the interval where the interval frame N+ 1 is located is the good frame signal corresponding to the received frame N+1, and the corresponding signal in the interval where the frame is located is utilized.
  • the current frame that is, the second reconstructed signal obtained by the signal of frame N+1 (indicated by the long dashed line), the direction of the generated signal is as indicated by the arrow 2, and the direction is opposite to the direction indicated by the arrow 1. Finally, the first reconstructed signal and The second reconstructed signal is superimposed and the superimposed signal is used as the signal of the final lost frame.
  • Step 501 Generate a first reconstructed signal and a second reconstructed signal according to the historical signal and the signal of the current frame, respectively.
  • Step 502 Superimpose the first reconstructed signal and the second reconstructed signal to obtain a final lost frame signal.
  • the method for generating the first reconstructed signal according to the historical signal is the method used in Embodiment 1 or Embodiment 2 or Embodiment 3, that is, the historical signal is the first decoded signal, and the current frame signal is a second decoded signal to generate a first reconstructed signal;
  • a method for generating a second reconstructed signal according to the current frame signal is the method used in Embodiment 1 or Embodiment 2 or Embodiment 3, that is, the current frame signal is first The signal is decoded, and the second reconstructed signal is generated by using the historical signal as the second decoded signal.
  • step 501 before performing the third step in Embodiment 1 or Embodiment 2 or Embodiment 3, that is, according to the phase Before the waveform is subjected to waveform companding, the phase difference needs to be corrected according to the pitch period of the historical signal and the current frame signal.
  • the specific method is as follows:
  • step 502 the superimposing method is: multiplying the first decoded signal by a falling window, multiplying the second decoded signal by a rising window, and then adding the two windowed signals.
  • the signal of the lost frame is recovered by simultaneously using the historical signal and the signal of the current frame, and in the case where the frame length is long, the distortion of the recovered lost frame signal is alleviated.
  • An embodiment of the present invention further provides a computer program product, the computer program product comprising computer program code, when the computer program code is executed by a computer, the computer program code may cause the computer to perform packet loss hiding The steps of any of the methods.
  • the embodiment of the present invention further provides a computer readable storage medium, where the computer stores computer program code, when the computer program code is executed by a computer, the computer program code may cause the computer to perform packet loss hiding.
  • the computer stores computer program code
  • the computer program code may cause the computer to perform packet loss hiding.
  • the embodiment of the present invention provides a device for packet loss hiding.
  • the device includes the following unit: a composite signal generating unit 61, configured to generate a first composite signal according to the first decoded signal;
  • phase difference obtaining unit 62 configured to determine a phase difference between the first composite signal and the second decoded signal
  • the waveform companding unit 63 is configured to determine, according to the phase difference, an interpolation time point at which the interpolation interval gradually changes, and perform waveform compression on the first composite signal to obtain a first reconstructed signal;
  • the reconstruction unit 64 is configured to reconstruct the lost frame by using the first reconstructed signal.
  • the waveform companding unit 63 specifically includes:
  • the interpolation reducing waveform companding module 631 is configured to determine, according to the phase difference, an interpolation time point in which a spacing interval gradually decreases along a pitch period, and perform waveform compression on the composite signal; or
  • the interpolation increasing waveform companding module 632 is configured to determine, according to the phase difference, an interpolation time point in which an interpolation interval gradually increases along a pitch period, and perform waveform compression on the composite signal.
  • the phase difference obtaining unit 62 specifically includes:
  • a pitch period acquisition module 621 configured to acquire a first pitch period corresponding to the first decoded signal and a second pitch period corresponding to the second decoded signal;
  • the matching module 622 is configured to search for a sample of the first composite signal and the closest missing frame of the second decoded signal. Matching, the first phase matching point corresponding to the time in the lost frame and the second phase matching point of the second decoded signal at the corresponding time;
  • the matching module 622 specifically includes:
  • a fixed window disposed at a starting position in the second decoded signal, the length of the fixed window being preset; a sliding window disposed in the first composite signal, the length of the sliding window and the fixed The length of the window is equal; the end point of the sliding window is a sample from the starting end point to the second decoding signal direction and the distance from the starting end point is the preset length, the starting end point of the sliding window is a sample of the second decoded signal that is closest to the lost frame is moved to a fixed sample point in the direction of the first decoded signal and a section between the fixed sample points in the direction of the second decoded signal is slid;
  • a matching value calculation subunit configured to calculate a matching value of the sampling point in the sliding window and the sampling point in the fixed window in the sliding process.
  • the phase difference determining module 623 is configured to determine the phase difference according to a pitch period of the first decoded signal and a pitch period of the second decoded signal, and positions of the first phase matching point and the second phase matching point. .
  • the phase difference determining module 623 specifically includes:
  • the pitch period calculation sub-module 6231 is configured to calculate a pitch period after the sequence between the missing frame start point and the matching point is respectively compressed or expanded into a sequence length of one frame length;
  • phase difference selection sub-module 6232 configured to select a phase difference corresponding to a matching point of the calculated pitch period closest to a pitch period of the first decoded signal and a pitch period average of the second decoded signal, A phase difference between a composite signal and the second decoded signal.
  • the phase difference determining module 623 may further include: a determining submodule 6233, configured to determine whether a pitch period of the first decoded signal is smaller than the second decoded signal. Pitch period
  • the phase difference determining sub-module 6234 is configured to determine a phase difference according to the determining result of the determining sub-unit, and if the pitch period of the first decoded signal is smaller than a pitch period of the second decoded signal, the first phase matching point corresponds to a phase difference is a phase difference between the first composite signal and the second decoded signal; if a pitch period of the first decoded signal is greater than a pitch period of the second decoded signal, the second phase matching point The corresponding phase difference is a phase difference between the first composite signal and the second decoded signal.
  • phase difference determination sub-module 6234 is further configured to:
  • phase difference corresponding to the first phase matching point and the phase difference corresponding to the second phase matching point are much smaller than the pitch period of the first decoded signal, the smaller phase difference For the first composite signal and the The phase difference of the second decoded signal.
  • the composite signal generating unit 61 is further configured to: generate a second composite signal according to the second decoded signal;
  • the phase difference acquisition unit 62 is further configured to: determine a phase difference between the second composite signal and the first decoded signal;
  • the waveform companding unit 63 is further configured to: determine, according to the phase difference, an interpolation time point where the interpolation interval gradually changes, Performing waveform compression on the second composite signal to obtain a second reconstructed signal;
  • the reconstruction unit 64 is further configured to: reconstruct the lost frame by using the first reconstructed signal and the second reconstructed signal.
  • the packet hiding device may further include a smoothing unit 65 for:
  • the first decoded signal is a historical signal; and the second decoded signal is a current frame signal.
  • the first decoded signal may be a current frame signal; and the second decoded signal may be a historical signal.
  • the interval of the fixed interpolation time points is adjusted to the interval of the gradual interpolation time points, thereby ensuring the gradation of the pitch period frequency in the lost frame, thereby realizing the continuity of the pitch period;
  • the phase difference is determined by combining the pitch period of the decoded signal on both sides of the lost frame, and the interval of the interpolation time point is set to realize waveform companding, the pitch period frequency of the lost frame and the intact frame, and the pitch period frequency gradation in the lost frame, thereby realizing the pitch period frequency.
  • Embodiments of the present invention may be implemented in software, and the corresponding software program may be stored in a readable storage medium, such as a hard disk, a cache, or an optical disk of a router.
  • a readable storage medium such as a hard disk, a cache, or an optical disk of a router.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

一种丢包隐藏的方法和装置
本申请要求于 2008年 6月 27日提交中国专利局、 申请号为 200810126176.6、 发明名称 为"一种丢包隐藏的方法和装置"的中国专利申请的优先权， 其全部内容通过引用结合在本申 请中。 技术领域 说
本发明涉及网络通信领域， 特别涉及一种丢包隐藏的方法和装置。 背景技术
IP 网络最初是为传输包含较大的包且不需要实时书可靠传送的数据流而设计的， 因而对于 数据传输的实时性和可靠性要求不高。 而声音的传输需要实时可靠地传送较小的包， 在 VoIP (Voice Over Internet Protocal, 网际音频协议）系统中， 传送的包较小， 当一个语音包在传输 过程中被丢失时， 通常没有时间重新传送丢失的包。 而当一个语音包经过了一段较长的路由 而在需要播放时不能及时到达， 这个包也就失去了存在的意义。 因此， 语音包不能到达或不 能及时到达， 都被认为丢失了。 网络丢包是网络传输中语音服务质量下降的最主要的原因。 如果没有有效的语音丢包恢复或隐藏技术， 即使是设计、管理得再好的 IP 网络也不能提供长 话级品质的通信。 设计良好的解决丢包问题的技术， 能大大提高语音传输质量。
一般来讲， 清音从波形上看， 杂乱无章， 而浊音在波形上表现出周期性。 对于浊音， 现 有技术中大都采用以基音重复的的丢包隐藏方法。 基音重复的丢包隐藏方法是一种基于收端 的处理技术， 它根据语音的特点对丢失的音频帧进行补偿。 首先利用丢失帧的之前的历史信 号来估计出基音周期 Γ。， 这通常采用自相关的方法获得， 然后通过重复复制丢失帧之前长度 为 Γ。的一段信号来重构丢失帧所对应的信号。 如图 1所示， 帧 2为丢失帧 （采用虚线表示）， 帧长为 J， 帧 1和帧 3都是完好帧 （对应的信号用实线表示）， 其中在丢失帧 （帧 2) 之前的 信号， 即帧 1包括帧 1之前的信号， 称为历史信号； 在丢失帧之后的信号， 即帧 3包括帧 3 以后的信号， 称为当前帧信号。 假定已经获得历史信号所对应的基音周期为 Γ。， 对应区间为 区间 1 ; 那么根据浊音的特点， 就可以把历史信号最后一个基音 （对应基音周期为 Γ。） 所对 应的信号 （即区间 1对应的信号） 重复拷贝到帧 2， 以重建丢失帧所对应的信号。 如果使用 一个基音周期长度的信号不足以把丢失帧填满（即 Γ。< ）， 则需要重复拷贝区间 1中的信号 进行填充。 例如， 在图 1中， 需要两个基音周期才能填满丢失帧， 在拷贝区间 1中的信号到 区间 2之后， 还要再次拷贝区间 1 中的信号到区间 3。 而对于清音信号， 则可以采用简单重 复上一帧的方法来生成丢失帧对应的信号。
根据人的生理特点， 即使对于持续不变的发音， 例如说话人努力保持稳定的基音和声道 形状的情况下发一个元音， 基音周期也都几乎不可能保持固定， 而是可能随时间随机的变化 着， 这一特性称之为基音的"抖动"。 此外， 即使在一个持续的元音中， 相邻的几个基音周期 中的声门波幅度也会有所变化， 这一特性被称为幅度 "闪烁"。 这些均可能是由时变的声道特 性和声带特性引起的。 而恰恰是连续基音周期中的 "抖动 "和"闪烁"使元音具有了自然度、 而 单一的基音和一成不变的幅度会导致声音比较生硬， 甚至引起音乐噪声。
由于人的语音的幅度"闪烁"现象的存在， 如果直接用从历史信号得到的基音周期进行重 复填充， 在两个基音周期的相接处会产生波形的突变。 为保证拼接处的平滑， 通常在用历史 信号最后一个基音周期的信号对丢失帧进行填充之前， 要对历史信号中最后 1/4基音周期的信 号进行交叉衰减。 如图 2— 1所示， 将历史缓冲区最后一个基音周期之前的 信号乘以上升 窗、 将缓冲区最后 乘以下降窗并做叠加处理， 然后替换掉历史缓冲区最后 的信号， 以保证在进行基音重复时， 保证相邻两个基音周期相接处的平滑过渡。 同时， 为了保证丢失 帧和其后的好帧拼接处的平滑过度， 通常将多生成 M个样点， 然后与长度同为 M的好帧信 号进行交叉衰减， 并用交叉衰减后的得到的信号替换好帧信号， 如图 2-2所示。 在图 2—2中， 上面一行信号中， 点线对应的信号为合成的重构信号； 在遇到丢失帧之后的第一个好帧时， 再生成丢失帧对应的合成信号后， 继续生成长度为 M的一段信号并乘上一个上升窗， 与将同 样长度的丢失帧之后的第一个好帧信号， 如图 2— 2中的下面一行中"帧 3 (当前帧信号） "乘上 一个上升窗后得到的信号进行交叉衰减， 替换丢失帧之后的第一个好帧信号的同样长度的信 号。
在所述交叉衰减所用的上升窗和下降窗， 最为简单的情况， 可以采用如下面公式定义的 窗：
< ί≤Μ, 上升窗 ≤ ≤M,下降窗
Figure imgf000004_0001
一其中， M为要加窗信号的长度， 取整数值， i为要加窗信号的对应的第 i个采样点对应的 下标。
但是， 在完成本发明的过程中， 发明人发现现有技术还存在以下问题： 由于现有的丢包 隐藏的方法是通过重复复制历史信号的基音波形来生成丢失帧信号， 因此在丢失帧内的多个 基音周期大小仍然是一样的， 没有人的语音所具有的"抖动"特性， 也就是基音周期没有渐变， 导致声音比较生硬、 失真， 甚至引起噪声， 影响音频质量。 发明内容
本发明实施例提供了一种丢包隐藏的方法及装置， 以保证丢失帧内的基音周期频率的渐 变性。
基于上述目的， 本发明实施例的技术方案如下：
根据第一解码信号生成第一合成信号；
确定所述第一合成信号与第二解码信号的相位差；
根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所述第一合成信号进行波形 压扩得到第一重构信号；
使用所述第一重构信号重构介于第一解码信号与第二解码信号之间的丢失信号。
一种丢包隐藏的装置， 所述装置包括：
合成信号生成单元， 用于根据第一解码信号生成第一合成信号；
相位差获取单元， 用于确定所述第一合成信号与第二解码信号的相位差；
波形压扩单元， 用于根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所述第 一合成信号进行波形压扩得到第一重构信号；
重构单元， 用于使用所述第一重构信号重构介于第一解码信号与第二解码信号之间的丢 失信号。
一种计算机程序产品， 所述计算机程序产品包括计算机程序代码， 当所述计算机程序代 码被一个计算机执行的时候， 所述计算机程序代码可以使得所述计算机执行丢包隐藏的方法 中任意一项的步骤。
一种计算机可读存储介质， 所述计算机存储计算机程序代码， 当所述计算机程序代码被 一个计算机执行的时候， 所述计算机程序代码可以使得所述计算机执行丢包隐藏的方法中任 意一项的步骤。
本发明实施例解决了丢失帧内部的基音周期频率不连续的问题， 使恢复的音频信号的质 量得以提高。 附图说明
图 1是现有技术中基音波形替代的示意图; 图 2-1、 图 2-2是现有技术中对信号平滑处理的示意图；
图 3是本发明实施例 1中丢包隐藏方法的流程图；
图 4是本发明实施例中匹配点及相位差的示意图；
图 5是本发明实施例 2中插值间隔的示意图；
图 9是本发明实施例 1中的改进插值计算方法压扩处理后的波形效果图；
图 10是本发明实施例 2中丢包隐藏方法的流程图；
图 11是本发明实施例 2中在合成信号中查找与给定波形最匹配的波形， 以确定相位差的 示意图；
图 12是本发明实施例 2中改进相位差方法填充丢失帧的波形效果图；
图 13是本发明实施例 3中丢包隐藏方法的流程图；
图 14是本发明实施例 4中平滑处理的示意图；
图 15是本发明实施例 5中使用双边补偿来生成最终丢失帧信号的示意图；
图 16是本发明实施例 5中双边补偿的丢包隐藏方法的流程图；
图 17是本发明实施例 6中丢包隐藏装置的结构图；
图 18是本发明实施例 6相位差确定模块结构图；
图 19是本发明实施例 6相位差确定模块另一结构图。 具体实施方式
为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明实施方式作进 一步的详细描述。
实施例 1
本发明实施例采用非等距插值的方法对重构信号进行插值处理， 使得插值时刻点的间隔 逐渐减小， 得到基音周期逐渐变大的重构信号； 或使得插值时刻点的间隔逐渐变大， 得到基 音周期逐渐变小的重构信号； 这样可以保证频率的连续性。
本发明实施例 1提供了一种丢包隐藏的方法， 通过设置间隔渐变的插值时刻点， 进行波 形压扩， 实现了丢失帧内部的基音频率的渐变。 在本实施例中， 第一解码信号和第二解码信 号分别对应解码后的丢失帧两侧的完好信号， 即第一解码信号为丢失帧之前的历史信号， 第 二解码信号为丢失帧之后的当前帧信号； 或第一解码信号为丢失帧之后的当前帧信号， 第二 解码信号为丢失帧之前的历史信号。 在本发明实施例中， 以丢失一帧为例进行说明， 针对丢 失多帧的情况， 也同样适用， 不同之处在于， 在丢失多帧的情况下需要重复复制多帧， 并对 多帧设置间隔渐变的插值时刻点，进行波形压扩。丢失帧也可以称为丢失信号。 如图 3所示， 具体处理步骤如下：
步骤 101 : 根据第一解码信号生成第一合成信号。
步骤 102: 确定所述第一合成信号与第二解码信号的相位差。
步骤 103 : 根据所述相位差， 确定间隔逐渐变化的插值时刻点， 对所述第一合成信号进 行波形压扩， 得到第一重构信号。
步骤 104:使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号之间的 丢失信号。
其中， 在步骤 101中， 可以采用基音重复的方法生成合成信号， 也可以采用其他方法， 例如线性预测来生成合成信号。
其中在步骤 102中， 所述相位差的计算方法可以采用如下技术获得：
首先需要找出合成信号中与当前帧起始点的匹配点， 并在多个匹配点中选择一个最佳匹 配点， 并以该最佳匹配点和当前帧起始点的相位差作为最终的相位差。
如图 4所示， 当前帧起始点 S的左右两侧与该起始点 S的最近的两个匹配点 ml、 m2， 到当前帧起始点的距离分别为 de和 dc， 则和当前帧起始点之间的相位差分别为一 de和 dc。 如果 de < dc， 则取左侧匹配点为最佳匹配点， 相位差 d = -de; 否则取右侧匹配点为最佳 匹配点， 相位差 d = dc。
其中在步骤 103中， 所述确定间隔逐渐变化的插值时刻点， 对合成信号进行波形压扩的 具体步骤如下： 假定丢失的采样点数为 N， 通常的压缩是指将 (N +d) (d > 0) 个采样点采用 插值的方法，压缩成 N个采样点；通常的扩展是指将 (N + d) ( d < 0)个采样点采用插值的方法， 扩展成 N个采样点。 而对于扩展和压缩， 通常又分别对应两种情况， 一种是基音周期逐渐变 大， 一种是基音周期不断变小， 因此， 进行插值计算对应四种情形， 如下表所示：
Figure imgf000007_0001
其中， 对应情况①和②， 使用同一个计算公式进行插值， 对应情况③和④则使用另外一 个计算公式进行插值。 下面会首先对这四种情况分成两组 （①和②、 ③和④） 进行介绍， 然 后再说明这几种情况对应的场景：
1、 对应①和②所使用的插值计算公式。
可采用下面公式计算：
. 、 η η- \ Ί
t(n) = η λ a
N N-l 式中， N为帧长， " = 1，2···， 。 采用上式计算的时间点间隔为:
T(n) = t(n + \) -t(n)
n n n -\
(n + \) + ■d n +—— d
N N-l N N-l
2 n
= 1 + ■d
N N-l 式中" = 1，2" V - 1。 因此采用该公式计算的插值时刻点的间隔是线性增加或减少的。 对应情况①， 将步骤 101生成的合成信号存储在缓冲区中，对缓冲区中的信号进行扩展， 基音周期沿着历史信号到当前帧信号的方向越来越大， 对应插值时刻点的间隔如图 5所示， 其中在图 5中， 对应 Ν = 80, d = -5.
其中纵轴表示新的样点与前一个样点之间的时间间隔相对于未进行插值之前的两个相邻 样点的时间间隔之比， 既对应： Γ(«)。 横轴对应公式中的《 (图 6-图 8同此说明）。
对应情况②， 将步骤 101生成的合成信号存储在缓冲区中， 对缓冲区进行压缩， 基音周 期沿着历史信号到当前帧信号的方向越来越小， 对应插值时刻点的间隔如图 6所示， 在图 6 中， 对应 Ν = 80, d = 5.
2、 对应情况③和④所使用的插值计算公式。
可采用下面公式计算： t(n) = n + d- N~n + l -^- ■d
N N- l
式中， Ν为帧长， " = 1，2···，^。 采用上式计算的时间点间隔为:
T(n) = t(n + \) -t(n)
Figure imgf000008_0001
, 2 N-n .
: 1 + d
N N-l
式中" = 1，2··· _1。 因此采用该公式计算的插值时刻点的间隔是线性增加或减少的。 对应情况③， 将步骤 101生成的合成信号存储在缓冲区中， 对缓冲区进行压缩， 基音周 期沿着历史信号到当前帧信号的方向越来越大， 对应插值时刻点的间隔如图 7所示， 其中， N = 80, d = 5.
对应情况④， 将步骤 101生成的合成信号存储在缓冲区中， 缓冲区进行扩展， 基音周期 沿着历史信号到当前帧信号的方向越来越小，对应插值时刻点的间隔如图 8所示，其中， N = 80， d = -5.
根据上述步骤获取的插值的时刻点 t(n)， 再进行插值计算： 线性插值计算量较小， 一般 采用线性插值的方法， 计算公式如下：
y(n) = {· ")1) - x(l n)i)}(t(n) - L ")J) + ·4 ")])
式中 (")Ί表示比^" )大的最小整数， ^(")」表示小于或等于^" )的最大整数， ^是没有考 虑相位匹配填充的序列， 长度为填充的起始点到匹配点， 即等于 w+ ， y为线性插值之后的 序列， w = l,2.."N。
除了本实施例中介绍的线性插值计算公式外， 也可以采用其它线性公式进行插值， 还可 以采用非线性插值计算公式进行插值。
图 9是采用上述插值计算方法处理后的波形， 可以看出在丢失帧内， 基音周期是渐变的， 和当前帧信号以及历史信号有很好的频率连续性。
本实施例通过在压缩和扩展时， 调整了固定的插值时刻点的间隔为渐变的插值时刻点的 间隔， 保证了丢失帧内的基音周期频率的渐变性， 从而实现了基音周期的连续。
实施例 2
本发明实施例提供了一种丢包隐藏的方法， 结合丢失帧两侧信号基音周期， 通过改进相 位差的计算方法， 使得丢失帧信号和相邻完好帧的基音周期频率保持连续性。在本实施例中， 第一解码信号和第二解码信号分别对应解码后的丢失帧两侧的完好信号。 参见图 10， 具体步 骤如下：
步骤 201 : 根据第一解码信号生成合成信号。
步骤 202: 结合所述第一解码信号和第二解码信号的基音周期， 确定所述合成信号与所 述第二解码信号相位差。
步骤 203 : 根据所述相位差， 确定插值时刻点的间隔， 对合成信号进行波形压扩， 得到 重构信号。
步骤 204: 将该重构信号填入丢失帧。
其中在步骤 201中， 可以采用基音重复的方法生成合成信号， 即可以采用重复填充历史 信号的基音周期信号到丢失帧的方法， 生成合成信号， 也可以采用其他方法， 例如线性预测 来生成合成信号。 其中在步骤 202中， 结合丢失帧两侧信号基音周期， 对相位差计算方法进行了改进。 具 体步骤如下：
步骤 202a: 获得第一解码信号的基音周期， 令为 T1 ; 获得第二解码信号的基音周期， 令 为 Γ2。
步骤 202b: 寻找所述合成信号中与第二解码信号中最靠近丢失帧的样点匹配的、 对应时 刻在丢失帧内的第一相位匹配点以及对应时刻在第二解码信号的第二相位匹配点。 即寻找第 一相位匹配点和第二相位匹配点， 具体为： 以第二解码信号中最靠近丢失信号的样点为目标 匹配点， 在第一合成信号中的对应时刻分别在丢失信号内和第二解码信号内的样点中， 寻找 最靠近目标匹配点且与目标匹配点相匹配的第一相位匹配点和第二相位匹配点。
步骤 202c: 结合第一解码信号对应的基音周期 ；、 和第二解码信号对应的基音周期 Γ2， 以及第一相位匹配点和第二相位匹配点的位置确定最终的相位差 d。
其中在步骤 202b中， 查找匹配点的方法如下所示：
图 11 所示为本发明实施例中在合成信号中查找与第二解码信号中最靠近丢失帧的样点 的相位匹配点的示意图， 其中第一解码信号对应历史信号， 对应帧 N之前的信号； 第二解码 信号对应丢失帧之后的收到的第一个好帧，即当前帧的信号，对应下面一行帧 N+1对应信号； 上面一行帧 N之后， 由点线组成的波形对应合成信号。
在第二解码信号中从起始位置开始设置一个预设长度为 w的固定窗 TW， 在合成信号中 设置一个与 TW长度 W相等的滑动窗 SW， SW的终止端点为从起始端点起向第二解码信号 方向且与起始端点距离为 W的样点， SW的起始端点在第二解码信号中最靠近丢失帧的样点 向第一解码信号方向 个样点和向第二解码信号方向 个样点之间的区间滑动， 并在滑动过 程中计算 SW中的采样点和 TW中的采样点的匹配值。
其中， 匹配值的计算可以采用自相关的方法进行计算， 这里用 SW[i]表示 SW 窗中第 i 个采样点对应的幅度值， TW[i]表示 TW窗中第 i个采样点对应的幅度值， 窗长为 w， 则可以 取
Figure imgf000010_0001
中的峰值对应 SW的起始点为匹配点， 即取 BMV中的峰值点对应的值作为最佳匹配值。 取 时刻最接近第二解码信号中最靠近丢失帧的样点的两侧的两个匹配点为第一匹配点和第二匹 配点， 它们到第二解码信号中最靠近丢失帧的样点的距离分别为^和 。 通常 W需满足大 于^≥0.55 * 7 ， 如果丢失帧长度较短， 则窗长可以取帧长， 即 = minCN,0.55*r2;)。 窗长 W 即为查找匹配点时用到的预设长度。
另外注意到当 SW的起始点到第二解码信号中最靠近丢失帧的样点的长度小于 W时， SW 可用数据不够 W个样点， 因此合成信号的长度要满足不少于 N + 。
为减少计算复杂度， 也可采用短时平均幅度差来表示两段波形的匹配度， 则可以取
Figure imgf000011_0001
中的波谷对应 SW的起始点为匹配点， 即取 BMV中的波谷值对应的值作为最佳匹配值。 取 最靠近第二解码信号中最靠近丢失帧的样点两侧的两个匹配点为第一匹配点和第二匹配点， 它们到第二解码信号中最靠近丢失帧的样点的距离分别为^和 。
其中在步骤 202c中， 确定相位差的方法可以有如下几种：
第一种实现方式： 在合成信号中， 匹配点并不只有两个 （ 处 ^处）， 在丢失帧内的， 距离第一相位匹配点的距离为 A的整数倍的样点， 以及在第二解码信号中， 距离第二相位匹 配点的距离为 Ρ2的整数倍的多个样点也应该是匹配点； 基于此， 上述第一种实现方式的具体 步骤为：
首先计算填充的丢失帧从起始点到上述多个各个相位匹配点之间的序列分别压缩或扩展 成长度为一个帧长的序列后的基音周期： TicP^ - NliN + d , 其中 N 为帧长， d = ... -(7； + de) -de, dc, dc + T2 ； 然后令 T(d) - (7； + Γ2 ) / 2最小的 d值作为相位差。
第二种实现方式也同样基于根据计算基音周期确定相 1位差 d， 具体如下：
如果 Ί < Τ2 , 取相位差 d =—de， 如果 Ί > Τ2取相位差 d = dc。
上述改进方法可以解决基音周期从大逐渐变小或者从小逐渐变大时频率不连续问题， 但 是当基音周期从大变小然后又变大， 或者相反时， 则会存在问题。 因此增加下面步骤修正： 步骤 202d: 如果 fife与 fifc中的小者远小于 7； (例如 1^« ) < / 8 )， 则重设相位差为:
Figure imgf000011_0002
其中在步骤 203中： 可以采用如下的插值方法， 对合成信号进行波形压扩：
根据在步骤 202中计算出来的相位差 d,对填充的波形进行压缩或者扩展。 由于线性插值 计算量较小， 一般采用线性插值的方法， 计算公式如下：
y(n) = {x( a .
Figure imgf000011_0003
. nj)
式中《 = (N + /N， N 为帧长， 「 " ' 表示比《· "大的最小整数， L"'"」表示小于或等 于《' "的最大整数， X是没有考虑相位匹配填充的序列， 长度为填充的起始点到匹配点， 即 等于 N + i/， ^为线性插值之后的序列， " = 1，2···， 。 插值计算完成之后将插值之后的结果重 新填充丢失的帧。
也可以采用实施例 1中的插值方法， 对合成信号进行波形压扩。
如图 12所示为采用这种消除相位不匹配方法处理后的结果。
本实施例结合丢失帧两侧解码信号的基音周期确定相位差， 设置插值时刻点的间隔实现 波形压扩， 丢失帧与完好帧的基音周期频率和丢失帧内的基音周期频率渐变， 从而实现了基 音周期与丢失帧的连续性。
实施例 3
本实施例结合实施 1中对合成信号进行渐变间隔插值， 以及实施例 2中所述结合丢失帧 两侧解码信号的基音周期的方法来实现基音周期在丢失帧内外的变化连续性。 如图 13所示， 具体步骤如下：
步骤 301 : 根据第一解码信号生成合成信号。
步骤 302: 结合所述第一解码信号和第二解码信号的基音周期， 确定所述合成信号与第 二解码信号相位差。
步骤 303 : 根据所述相位差， 确定间隔逐渐变化的插值时刻点， 对合成信号进行波形压 扩， 得到重构信号。
步骤 304: 将该重构信号填入丢失帧。
其中在步骤 302中， 采用实施例 2中步骤 202所述结合丢失帧两侧信号的基音周期确定 所述合成信号与第二解码信号的相位差的方法。
其中在步骤 303中， 采用实施例 1中步骤 103所述确定间隔逐渐变化的插值时刻点的方 法， 对合成信号进行波形压扩。
本实施例通过对合成信号进行渐变间隔插值，以及结合丢失帧两侧解码信号的基音周期， 来实现基音周期在丢失帧内外的变化连续性。
实施例 4
如图 14所示， 在第一解码信号对应历史信号， 第二解码信号对应丢失帧之后的第一个好 帧信号的情况下， 在实施例 1、 实施例 2和实施例 3中， 为保证丢失帧合成信号与第二解码 信号的信号的平稳过渡， 需对第二解码信号和合成信号进行平滑处理。 考虑在实施例 1中的 步骤 103或实施例 2中的步骤 203或实施例 3中的步骤 303之后， 增加加一个步骤， 具体如 下：
在合成信号中， 从对应第二解码信号起始样点的同一时刻起， 在合成信号中取一段长度 为 M的信号， 并乘上一个下降窗； 取第二解码信号中从起始样点开始， 长度为 M的信号， 并乘上一个下降窗， 然后将两者相叠加， 并用叠加后后的信号替换掉第二解码信号起始样点 起始的长度为 M的信号。 M通常取 Γ。/4。
本实施例中， 通过对第二解码信号和合成信号进行平滑处理， 保证了丢失帧合成信号与 第二解码信号的信号的平稳过渡。
实施例 5
在实施例 1、 2、 3和 4中， 填充丢失帧所用的信号是根据历史信号得到的， 在帧长较短 或丢失的信号较短的情况下采用实施例 1、 2、 3、 4中的方法也可以达到较好的效果； 但如果 帧长较长， 则仅采用实施例 1和 2中的方法就会造成一定程度的失真， 越接近于当前帧的信 号失真越严重。 如果结合当前帧的信号， 使得填充后的丢失帧在靠近历史信号的一端信号和 历史信号的最后一个基音周期的信号相似度比较高， 而在靠近当前帧的一端信号和当前帧的 第一个基音周期的信号相似度比较高。 为此目的， 本实施例是一种双边补偿的方法， 即， 同 时使用历史信号和当前帧的信号来恢复丢失帧的信号。
如图 15所示， 为使用双边补偿来生成最终丢失帧信号的示意图，其中帧 N-1为丢失帧之 前的好帧、 帧 Ν为丢失帧、 帧 N+1为丢失帧之后的第一个好帧。 图 15中上面一行信号， 区 间帧 N-1所在区间对应信号为收到的帧 N-1对应的好帧信号， 帧 Ν所在区间对应信号为利用 历史信号得到的第一重构信号 （用短虚线表示）， 生成信号的方向如箭头 1所示； 图 15中下 面一行信号， 区间帧 N+ 1所在区间对应信号为收到的帧 N+ 1对应的好帧信号， 帧 Ν所在 区间对应信号为利用当前帧， 即帧 N+1 的信号得到的第二重构信号 （用长虚线表示）， 生成 信号的方向如箭头 2所示， 同箭头 1所示方向相反； 最后将第一重构信号和第二重构信号进 行叠加， 并将叠加后的信号作为最终丢失帧的信号。
如图 16所示， 具体步骤如下：
步骤 501 : 根据历史信号和当前帧的信号分别生成第一重构信号和第二重构信号。 步骤 502: 对第一重构信号和第二重构信号进行叠加， 得到最终的丢失帧信号。
其中在步骤 501中， 根据历史信号生成第一重构信号的方法为实施例 1或实施例 2或实 施例 3中所采用的方法， 即以历史信号为第一解码信号， 以当前帧信号为第二解码信号来生 成第一重构信号； 根据当前帧信号生成第二重构信号的方法为实施例 1或实施例 2或实施例 3 中所采用的方法， 即以当前帧信号为第一解码信号， 以历史信号为第二解码信号来生成第 二重构信号。
其中在步骤 501中， 在执行实施例 1或实施例 2或实施例 3中的第三步之前， 即根据相 位差进行波形压扩之前， 需要根据历史信号和当前帧信号的基音周期对相位差进行修正， 具 体方法为：
假定生成第一重构信号使用 号使用的相位差为 ，则有:
Figure imgf000014_0001
其中在步骤 502中， 所述叠加方法为： 将第一解码信号乘上一个下降窗、 将第二解码信 号乘上一个上升窗， 然后将两个加窗后的信号进行相加。
本实施例中， 通过同时使用历史信号和当前帧的信号来恢复丢失帧的信号， 在帧长较长 的情况下， 减轻了恢复的丢失帧信号的失真。
本发明实施例还提供一种计算机程序产品， 所述计算机程序产品包括计算机程序代码， 当所述计算机程序代码被一个计算机执行的时候， 所述计算机程序代码可以使得所述计算机 执行丢包隐藏的方法中任意一项的步骤。
本发明实施例还提供一种计算机可读存储介质， 所述计算机存储计算机程序代码， 当所 述计算机程序代码被一个计算机执行的时候， 所述计算机程序代码可以使得所述计算机执行 丢包隐藏的方法中任意一项的步骤。
实施例 6
本发明实施例提供了一种丢包隐藏的装置， 如图 17所示， 该装置包括如下单元： 合成信号生成单元 61， 用于根据第一解码信号生成第一合成信号；
相位差获取单元 62， 用于确定所述第一合成信号与第二解码信号的相位差；
波形压扩单元 63， 用于根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所述 第一合成信号进行波形压扩得到第一重构信号；
重构单元 64， 用于使用所述第一重构信号重构丢失帧。
其中， 波形压扩单元 63具体包括：
插值减小波形压扩模块 631， 用于根据所述相位差， 确定沿基音周期逐渐变大的方向插值 间隔逐渐减小的插值时刻点， 对所述合成信号进行波形压扩； 或
插值增大波形压扩模块 632， 用于根据所述相位差， 确定沿基音周期逐渐变小的方向插值 间隔逐渐增大的插值时刻点， 对所述合成信号进行波形压扩。
相位差获取单元 62具体包括：
1、 基音周期获取模块 621， 用于获取第一解码信号对应的第一基音周期和第二解码信号 对应的第二基音周期；
2、 匹配模块 622， 用于寻找所述第一合成信号中与第二解码信号中最靠近丢失帧的样点 匹配的， 对应时刻在丢失帧内的第一相位匹配点以及对应时刻在第二解码信号的第二相位匹 配点；
其中， 匹配模块 622具体包括：
固定窗， 设置于所述第二解码信号中的起始位置， 所述固定窗的长度为预先设置； 滑动窗， 设置于所述第一合成信号中， 所述滑动窗的长度与所述固定窗长度相等； 所述滑动窗的终止端点为从起始端点起向第二解码信号方向且与起始端点距离为所述预 设长度的样点， 所述滑动窗的起始端点在所述第二解码信号中最靠近所述丢失帧的样点向所 述第一解码信号方向移动固定个样点和向所述第二解码信号方向移动固定个样点之间的区间 滑动；
匹配值计算子单元， 用于在滑动过程中计算所述滑动窗中的采样点和所述固定窗中的采 样点的匹配值。
3、 相位差确定模块 623， 用于根据所述第一解码信号的基音周期和第二解码信号的基音 周期， 以及所述第一相位匹配点和第二相位匹配点的位置确定所述相位差。
如图 18所示， 相位差确定模块 623具体包括：
基音周期计算子模块 6231， 用于计算从丢失帧起始点到所述匹配点之间的序列分别压缩 或扩展成长度为一个帧长的序列后的基音周期；
相位差选择子模块 6232， 用于选择所述计算出的基音周期与所述第一解码信号的基音周 期和第二解码信号的基音周期平均值最接近的匹配点对应的相位差为所述第一合成信号与所 述第二解码信号的相位差。
如图 19所示， 在本发明的一个实施例中， 相位差确定模块 623还可以具体包括： 判断子模块 6233， 用于判断所述第一解码信号的基音周期是否小于所述第二解码信号的 基音周期；
相位差确定子模块 6234， 用于根据判断子单元的判断结果确定相位差， 如果所述第一解 码信号的基音周期小于所述第二解码信号的基音周期， 则所述第一相位匹配点对应的相位差 为所述第一合成信号与所述第二解码信号的相位差； 如果所述第一解码信号的基音周期大于 所述第二解码信号的基音周期， 则所述第二相位匹配点对应的相位差为所述第一合成信号与 所述第二解码信号的相位差。
在本发明的一个实施例中， 相位差确定子模块 6234还用于：
如果所述第一相位匹配点对应的相位差和所述第二相位匹配点对应的相位差中较小的相 位差远小于所述第一解码信号的基音周期， 则所述较小的相位差为所述第一合成信号与所述 第二解码信号的相位差。
在实现双边补偿的情况下， 本发明实施里所述的丢包隐藏的装置中：
合成信号生成单元 61还用于： 根据第二解码信号生成第二合成信号；
相位差获取单元 62还用于： 确定所述第二合成信号与第一解码信号的相位差； 波形压扩单元 63还用于： 根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所 述第二合成信号进行波形压扩得到第二重构信号；
重构单元 64还用于： 使用所述第一重构信号和第二重构信号重构丢失帧。
为了对信号进行平滑处理， 本发明实施里中， 丢包隐藏装置还可以包括平滑单元 65， 用 于：
获取所述波形压扩单元 63产生的第一重构信号， 在第一重构信号中， 从对应所述第二解 码信号起始样点的同一时刻起， 取一段固定长度为 M的信号， 并乘上一个下降窗， 得到第一 乘窗信号；
实现在第二解码信号中从起始样点开始， 取一段同样长度为 M的信号， 并乘上一个下降 窗， 得到第二乘窗信号；
将所述第一乘窗信号和所述第二乘窗信号叠加， 并用叠加后的信号替换第一重构信号中 从所述第二解码信号起始样点起长度所述固定长度的信号。
本发明实施例中， 所述的第一解码信号为历史信号； 所述第二解码信号为当前帧信号。 作为另一种情况， 也可以是所述第一解码信号为当前帧信号； 所述第二解码信号为历史 信号。
本实施例通过在压缩和扩展时， 调整了固定的插值时刻点的间隔为渐变的插值时刻点的 间隔， 保证了丢失帧内的基音周期频率的渐变性， 从而实现了基音周期的连续； 通过结合丢 失帧两侧解码信号的基音周期确定相位差， 设置插值时刻点的间隔实现波形压扩， 丢失帧与 完好帧的基音周期频率和丢失帧内的基音周期频率渐变， 从而实现了基音周期频率与丢失帧 的连续性； 通过对合成信号进行渐变间隔插值， 以及结合丢失帧两侧解码信号的基音周期， 来实现基音周期在丢失帧内外的变化连续性；通过对第二解码信号和合成信号进行平滑处理， 保证了丢失帧合成信号与第二解码信号的信号的平稳过渡； 通过同时使用历史信号和当前帧 的信号来恢复丢失帧的信号， 在帧长较长的情况下， 减轻了恢复的丢失帧信号的失真。
本发明实施例可以利用软件实现， 相应的软件程序可以存储在可读取的存储介质中， 例 如， 路由器的硬盘、 缓存或光盘中。
以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神和原则之 内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求 书
1. 一种丢包隐藏的方法， 其特征在于， 所述方法包括：
根据第一解码信号生成第一合成信号；
确定所述第一合成信号与第二解码信号的相位差；
根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所述第一合成信号进行波形 压扩得到第一重构信号；
使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信 号。
2. 如权利要求 1所述的丢包隐藏的方法， 其特征在于， 所述确定间隔逐渐变化的插值时 刻点为：
沿基音周期逐渐变大的方向， 对应所述插值时刻点的间隔逐渐减小； 沿基音周期逐渐变 小的方向， 对应所述插值时刻点的间隔逐渐增大。
3. 如权利要求 1所述的丢包隐藏的方法， 其特征在于， 确定所述第一合成信号与第二解 码信号的相位差， 包括：
获取所述第一解码信号对应的第一基音周期和所述第二解码信号对应的第二基音周期； 以所述第二解码信号中最靠近丢失信号的样点为目标匹配点， 在所述第一合成信号中的 对应时刻分别在丢失信号内和第二解码信号内的样点中， 寻找最靠近所述目标匹配点且与所 述目标匹配点相匹配的第一相位匹配点和第二相位匹配点；
根据所述第一基音周期和所述第二基音周期， 以及所述第一相位匹配点和所述第二相位 匹配点的位置确定所述第一合成信号与第二解码信号的相位差。
4. 如权利要求 3所述的丢包隐藏的方法， 其特征在于， 所述在所述第一合成信号中的对 应时刻分别在丢失信号内和第二解码信号内的样点中， 寻找最靠近所述目标匹配点且与所述 目标匹配点相匹配的第一相位匹配点和第二相位匹配点， 包括：
以从所述第一解码信号到所述第二解码信号的方向为匹配方向；
在所述第二解码信号中， 设定沿所述匹配方向， 从所述目标匹配点起长度为预设长度的 固定窗； 在所述第一合成信号中设置一个起始样点到终止样点的方向与所述匹配方向相同， 且长度与所述固定窗长度相等的滑动窗；
在所述滑动窗在丢失信号内的所述第一合成信号滑动时， 依次选取所述经过的样点为所 述滑动窗的起始样点， 并在滑动过程中计算所述滑动窗内的样点与所述固定窗内的采样的匹 配值， 取最靠近所述目标匹配点且具有最佳匹配值时， 所述滑动窗的起始样点为第一相位匹 配点； 所述滑动窗的起始样点在对应所述第二解码信号的所述第一合成信号中滑动， 并在滑 动过程中计算所述滑动窗内的样点与所述固定窗内的样点的匹配值， 取最靠近所述目标匹配 点且具有最佳匹配值时， 所述滑动窗的起始样点为第二相位匹配点。
5. 如权利要求 3所述的丢包隐藏的方法， 其特征在于， 根据所述第一基音周期和所述第 二基音周期， 以及所述第一相位匹配点和所述第二相位匹配点的位置确定所述第一合成信号 与第二解码信号的相位差， 包括：
计算从丢失帧信号起始点到所述第一相位匹配点和所述第二相位匹配点之间的信号分别 压缩或扩展成丢失信号对应长度的信号后的基音周期；
选择所述计算出的基音周期与所述第一基音周期和所述第二基音周期的平均值最接近的 相位匹配点对应的相位差为所述第一合成信号与所述第二解码信号的相位差。
6. 如权利要求 3所述的丢包隐藏的方法， 其特征在于， 根据所述第一基音周期和所述第 二基音周期， 以及所述第一相位匹配点和所述第二相位匹配点的位置确定所述第一合成信号 与第二解码信号的相位差， 包括：
如果所述第一基音周期小于所述第二基音周期，则所述第一相位匹配点对应的相位差为 所述第一合成信号与所述第二解码信号的相位差；
如果所述第一基音周期大于所述第二基音周期，则所述第二相位匹配点对应的相位差为 所述第一合成信号与所述第二解码信号的相位差。
7. 如权利要求 6所述的丢包隐藏的方法， 其特征在于， 所述方法还包括：
如果所述第一相位匹配点对应的相位差和所述第二相位匹配点对应的相位差中较小的相 位差远小于所述第一解码信号的基音周期， 则所述较小的相位差为所述第一合成信号与所述 第二解码信号的相位差。
8. 根据权利要求 1所述的丢包隐藏的方法， 其特征在于， 所述使用所述第一重构信号重 构介于所述第一解码信号与所述第二解码信号之间的丢失信号为： 使用所述第一重构信号和 第二重构信号重构介于所述第一解码信号与所述第二解码信号之间的丢失信号；
其中所述第二重构信号具体通过以下步骤获得：
根据所述第二解码信号生成第二合成信号；
确定所述第二合成信号与所述第一解码信号的相位差；
根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所述第二合成信号进行波形 压扩得到第二重构信号。
9. 如权利要求 1所述的丢包隐藏的方法， 其特征在于， 所述使用所述第一重构信号重构 介于第一解码信号与第二解码信号之间的丢失信号包括：
在所述第一重构信号中， 从对应所述第二解码信号起始样点的同一时刻起， 取一段固定 长度为 M的信号， 并乘上一个下降窗， 得到第一乘窗信号， 其中 M取整数；
在所述第二解码信号中从起始样点开始， 取一段长度为所述固定长度的信号， 并乘上一 个上升窗， 得到第二乘窗信号；
将所述第一乘窗信号和所述第二乘窗信号叠加， 并用叠加后的信号替换所述第一重构信 号中从所述第二解码信号起始样点起长度为所述固定长度的信号， 得到第三重构信号；
用所述的第三重构信号重构介于第一解码信号与第二解码信号之间的丢失信号。
10. 如权利要求 1一 9中任意一项所述的丢包隐藏的方法， 其特征在于， 所述第一解码信 号为历史信号， 所述第二解码信号为当前帧信号。
11. 如权利要求 1-7中任意一项所述的丢包隐藏的方法， 其特征在于， 所述第一解码信号 为当前帧信号， 所述第二解码信号为历史信号。
12. 一种丢包隐藏的装置， 其特征在于， 所述装置包括：
合成信号生成单元， 用于根据第一解码信号生成第一合成信号；
相位差获取单元， 用于确定所述第一合成信号与第二解码信号的相位差；
波形压扩单元， 用于根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对所述第 一合成信号进行波形压扩得到第一重构信号；
重构单元， 用于使用所述第一重构信号重构介于所述第一解码信号与所述第二解码信号 之间的丢失信号。
13. 如权利要求 12所述的丢包隐藏的装置， 其特征在于， 所述波形压扩单元包括： 插值减小波形压扩模块， 用于根据所述相位差， 确定沿基音周期逐渐变大的方向插值间 隔逐渐减小的插值时刻点， 对所述合成信号进行波形压扩；
插值增大波形压扩模块， 用于根据所述相位差， 确定沿基音周期逐渐变小的方向插值间 隔逐渐增大的插值时刻点， 对所述合成信号进行波形压扩。
14. 如权利要求 12所述的丢包隐藏的装置， 其特征在于， 所述相位差获取单元具体包括: 基音周期获取模块， 用于获取所述第一解码信号对应的第一基音周期和第二解码信号对 应的第二基音周期；
匹配模块， 用于以所述第二解码信号中最靠近丢失信号的样点为目标匹配点， 在所述第 一合成信号中的对应时刻分别在丢失信号内和所述第二解码信号内的样点中， 寻找最靠近所 述目标匹配点且与目标匹配点相匹配的第一相位匹配点和第二相位匹配点；
相位差确定模块， 用于根据所述第一基音周期和所述第二基音周期， 以及所述第一相位 匹配点和所述第二相位匹配点的位置确定所述相位差。
15. 如权利要求 12所述的丢包隐藏的装置， 其特征在于，
所述合成信号生成单元还用于： 根据第二解码信号生成第二合成信号；
所述相位差获取单元还用于： 确定所述第二合成信号与第一解码信号的相位差； 所述波形压扩单元还用于： 根据所述相位差， 确定插值间隔逐渐变化的插值时刻点， 对 所述第二合成信号进行波形压扩得到第二重构信号；
所述重构单元具体用于： 使用所述第一重构信号和所述第二重构信号重构丢失信号。
16. 如权利要求 12所述的丢包隐藏的装置， 其特征在于， 所述装置还包括平滑单元， 用 于：
获取所述波形压扩模块产生的第一重构信号， 在所述第一重构信号中， 从对应所述第二 解码信号起始样点的同一时刻起， 取一段固定长度为 M的信号， 并乘上一个下降窗， 得到第 一乘窗信号， 其中 M取整数；
在第二解码信号中从起始样点开始， 取一段长度为所述固定长度的信号， 并乘上一个下 降窗， 得到第二乘窗信号；
将所述第一乘窗信号和所述第二乘窗信号叠加， 并用叠加后的信号替换所述第一重构信 号中从所述第二解码信号起始样点起长度为所述固定长度 M的信号， 得到第三重构信号；； 将所述的第三重构信号发送给所述重构单元。
17. 如权利要求 12— 16中任意一项所述的丢包隐藏的装置， 其特征在于， 所述第一解码 信号为历史信号， 所述第二解码信号为当前帧信号。
18. 如权利要求 12-14中任意一项所述的丢包隐藏的装置， 其特征在于， 所述第一解码信 号为当前帧信号， 所述第二解码信号为历史信号。
19. 一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序代码， 当 所述计算机程序代码被一个计算机执行的时候， 所述计算机程序代码可以使得所述计算机执 行权利要求 1至 11项中任意一项的步骤。
20. 一种计算机可读存储介质， 其特征在于， 所述计算机存储计算机程序代码， 当所述 计算机程序代码被一个计算机执行的时候， 所述计算机程序代码可以使得所述计算机执行权 利要求 1至 11项中任意一项的步骤。
PCT/CN2009/071386 2008-06-27 2009-04-21 一种丢包隐藏的方法和装置 WO2009155803A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN 200810126176 CN101616059B (zh) 2008-06-27 2008-06-27 一种丢包隐藏的方法和装置
CN200810126176.6 2008-06-27

Publications (1)

Publication Number Publication Date
WO2009155803A1 true WO2009155803A1 (zh) 2009-12-30

Family

ID=41443999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/071386 WO2009155803A1 (zh) 2008-06-27 2009-04-21 一种丢包隐藏的方法和装置

Country Status (2)

Country Link
CN (1) CN101616059B (zh)
WO (1) WO2009155803A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014012391A1 (zh) * 2012-07-18 2014-01-23 华为技术有限公司 一种语音数据丢包的补偿方法及装置
US9558744B2 (en) 2012-12-20 2017-01-31 Dolby Laboratories Licensing Corporation Audio processing apparatus and audio processing method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714820B (zh) * 2013-12-27 2017-01-11 广州华多网络科技有限公司 参数域的丢包隐藏方法及装置
WO2016016724A2 (ko) * 2014-07-28 2016-02-04 삼성전자 주식회사 패킷 손실 은닉방법 및 장치와 이를 적용한 복호화방법 및 장치
CN104639293B (zh) * 2015-01-30 2018-03-30 北方工业大学 网络化控制系统丢包补偿装置及方法
CN106291205B (zh) * 2016-10-14 2019-04-16 广州视源电子科技股份有限公司 一种血氧探头故障诊断方法及装置
CN111383643B (zh) * 2018-12-28 2023-07-04 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732512A (zh) * 2002-12-31 2006-02-08 诺基亚有限公司 用于隐蔽压缩域分组丢失的方法和装置
CN101046964A (zh) * 2007-04-13 2007-10-03 清华大学 基于重叠变换压缩编码的错误隐藏帧重建方法
US20080046237A1 (en) * 2006-08-15 2008-02-21 Broadcom Corporation Re-phasing of Decoder States After Packet Loss
CN101207459A (zh) * 2007-11-05 2008-06-25 华为技术有限公司 一种信号处理方法和处理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732512A (zh) * 2002-12-31 2006-02-08 诺基亚有限公司 用于隐蔽压缩域分组丢失的方法和装置
US20080046237A1 (en) * 2006-08-15 2008-02-21 Broadcom Corporation Re-phasing of Decoder States After Packet Loss
CN101046964A (zh) * 2007-04-13 2007-10-03 清华大学 基于重叠变换压缩编码的错误隐藏帧重建方法
CN101207459A (zh) * 2007-11-05 2008-06-25 华为技术有限公司 一种信号处理方法和处理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014012391A1 (zh) * 2012-07-18 2014-01-23 华为技术有限公司 一种语音数据丢包的补偿方法及装置
US9571424B2 (en) 2012-07-18 2017-02-14 Huawei Technologies Co., Ltd. Method and apparatus for compensating for voice packet loss
US9558744B2 (en) 2012-12-20 2017-01-31 Dolby Laboratories Licensing Corporation Audio processing apparatus and audio processing method

Also Published As

Publication number Publication date
CN101616059B (zh) 2011-09-14
CN101616059A (zh) 2009-12-30

Similar Documents

Publication Publication Date Title
WO2009155803A1 (zh) 一种丢包隐藏的方法和装置
TWI393122B (zh) 在自動語言合成中相位匹配訊框之方法及裝置
JP5192588B2 (ja) フレーム損失隠蔽の方法及び装置
JP4586090B2 (ja) 信号処理方法、処理装置および音声復号器
JP5618826B2 (ja) Ｉｔｕ．ｔ勧告ｇ．７１１と相互運用可能なｐｃｍコーデックにおいてフレーム消失を補償する装置および方法
JP5247878B2 (ja) 階層型復号化構造におけるデジタル音声信号の伝送エラーの隠蔽
JP4441126B2 (ja) フレーム消去隠蔽処理装置
US9514755B2 (en) Position-dependent hybrid domain packet loss concealment
EP1886307B1 (en) Robust decoder
JP5734517B2 (ja) 多チャンネル・オーディオ信号を処理する方法および装置
US20060209955A1 (en) Packet loss concealment for overlapped transform codecs
JP5894286B2 (ja) ジッタバッファの管理方法及びこれを利用するジッタバッファ
WO2009059497A1 (fr) Procédé et dispositif d&#39;obtention d&#39;un facteur d&#39;atténuation
JP2004519738A (ja) 決定された信号型式に固有な技術を適用する信号の時間目盛修正
BRPI0607247B1 (pt) método para gerar uma seqüência de saída de amostras em resposta a uma primeira e uma segunda subseqüências de amostras, código de programa executável por computador, dispositivo de armazenamento de programa, e, arranjo para receber um sinal de áudio digitalizado
US7302385B2 (en) Speech restoration system and method for concealing packet losses
Pascual et al. Adversarial auto-encoding for packet loss concealment
US7869992B2 (en) Method and apparatus for using a waveform segment in place of a missing portion of an audio waveform
Florencio et al. Enhanced adaptive playout scheduling and loss concealment techniques for voice over ip networks
CN104934040B (zh) 音频信号的时长调整方法和装置
Bhute et al. Speech packet concealment techniques based on time-scale modification for VoIP
JPH10333698A (ja) 音声符号化方法、音声復号化方法、音声符号化装置、及び記録媒体
Bhute et al. Adaptive Playout Scheduling and Packet Loss Concealment Based on Time-Scale Modification for Voice Transmission over IP
CN113950719A (zh) 时间反转的音频子帧错误隐藏
Bhute et al. Error concealment schemes for speech packet transmission over IP network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09768728

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09768728

Country of ref document: EP

Kind code of ref document: A1