WO2005086138A1 - エラー隠蔽装置およびエラー隠蔽方法 - Google Patents

エラー隠蔽装置およびエラー隠蔽方法 Download PDF

Info

Publication number
WO2005086138A1
WO2005086138A1 PCT/JP2005/003407 JP2005003407W WO2005086138A1 WO 2005086138 A1 WO2005086138 A1 WO 2005086138A1 JP 2005003407 W JP2005003407 W JP 2005003407W WO 2005086138 A1 WO2005086138 A1 WO 2005086138A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
error
replacement
audio
sub
Prior art date
Application number
PCT/JP2005/003407
Other languages
English (en)
French (fr)
Inventor
Michiyo Goto
Chun Woei Teo
Sua Hong Neo
Koji Yoshida
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to AT05719724T priority Critical patent/ATE523876T1/de
Priority to EP05719724A priority patent/EP1722359B1/en
Priority to JP2006510676A priority patent/JP4744438B2/ja
Priority to US10/591,601 priority patent/US7809556B2/en
Priority to CN2005800071542A priority patent/CN1930607B/zh
Publication of WO2005086138A1 publication Critical patent/WO2005086138A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to techniques for concealing lost or corrupted digital signals (errors) in transmission, delivery, and storage media.
  • Error concealment is performed to minimize such deterioration.
  • the basic idea is to replace error 'data with some synthetic or generated data.
  • the purpose of error concealment is to hide errors resulting from data loss or data corruption during transmission, reception, storage, encoding, or decoding processes, ie to mask this in the best case An error is not recognized, or at least an error is more pronounced.
  • sender-assisted embeds error correction information in the transmitted information so that the sender can retransmit the lost or corrupted information or recover the lost data.
  • receiver-based approach does not require information from the sender to handle concealment of lost data. This is to work by replacing lost or corrupted data with useful information, which is usually an estimate of lost or corrupted parts. There is. These replacement data are generated at the receiver without the assistance of the transmitter.
  • Non-Patent Document 1 Data interpolation techniques (see, for example, Non-Patent Document 1) can provide better results than the simple methods described above. This attempts to reconstruct the replacement data by also interpolating the non-error 'data forces adjacent to the error' data.
  • FIG. 1 is a flow chart showing the procedure of an error concealment technique incorporating various error concealment processes of muting, duplication and interpolation.
  • ST 101 checks whether this is an error frame. If this is not an error frame, then the received data is stored in memory at ST 102, possibly for future use during the interpolation process of ST 107. Received frame force If detected as an error frame in ST101, a series of decisions are made in ST103 and ST105, and if a delay is allowed in the system, in a previous or future non error frame. Based on it, determine which error concealment technique is best to apply to the current error frame. In ST103, check whether the current error frame is appropriate to mute. If muting is selected, the current error frame is replaced with! /, And zero data frame at ST104. That is, the current error 'frame is replaced by silence.
  • Non-Japanese Articles 1 1. Kauppinen et al., "Audio signal Extrapolation-Theory and
  • the sender-based error concealment scheme has a problem that retransmission causes longer delay and embedded information for error recovery increases transmission overhead. These states are not suitable for applications such as real time communication or transmission systems.
  • Muting causes the received signal to disappear suddenly! /, As a result, there is a problem that the acoustic level changes rapidly.
  • bursting 'errors' can cause silence for a long time. In addition, it can also be "juzzy" when constant errors are received.
  • Interpolation also causes "click" noise 'artifacts due to boundary discontinuity problems There is a problem of causing The quality of concealment is greatly diminished for single frame 'errors, which is better for force burst' errors than for muting and duplication. Although these techniques are simple and easy to implement, they can not achieve satisfactory concealment results.
  • Codec-dependent schemes provide better results, but are not yet sufficient in terms of versatility. Usually, this is only used for certain applications or certain voice or audio 'codecs. Many codec dependent schemes work in the compression domain by predicting the parameters used by a particular codec. Such schemes typically also require higher computational processing costs.
  • an object of the present invention is to provide an error concealment technique for a voice signal or an audio signal in which the effect of the error concealment is as inconspicuous as possible.
  • the present invention applies appropriate means of classifying voice data or audio data with different characteristics and generating replacement data for concealing error data.
  • FIG. 2 shows the main configuration of an error concealment device according to the present invention.
  • Voice data or audio data can be supplied via various media, such as being received from a storage medium (or transmission system via a wired or wireless network) 200. These data are organized into frames or packets, usually in compressed form. When a packet is received, an appropriate voice or audio decoder 250 is used to decode the packet into uncompressed audio format frames suitable for playback. Verification is performed at all stages to ensure that received packets are not lost or corrupted and that there is no error in decoding received packets. If an error occurs at any stage, the error concealment processing unit 300 is notified to conceal the error frame.
  • the internal configuration of the error concealment processing unit 300 according to the present invention is shown in the block diagram of FIG.
  • a signal is sent to indicate whether it is a force that is an error frame or a non-error frame.
  • the notification signal detection unit 301 detects this signal. Determine the action to be taken with respect to the frame of input data.
  • a non-error frame it is stored in the sample storage unit 302, and a frame of the same data is sent out for reproduction or storage.
  • the stored data is used by the voice detection unit 303, the transient signal detection unit 305, and the extrapolation processing unit 307 when a future error frame is generated.
  • the speech detection unit 303 makes a determination as to whether it is a speech signal or a non-speech signal on the preceding non-error data frame.
  • speech replication processor 304 is used to generate a substitute frame for concealing error 'frames by performing pitch calculation and replication.
  • transient signal detection is performed in the transient signal detection unit 305 to determine whether it is an attack signal or not.
  • the transient signal detection unit 305 selects an appropriate region (hereinafter referred to as a transient region) as a region including a transient signal for the filter bank analysis unit 306 as the medium power of the leading non-error frame.
  • the filter bank analysis unit 306 generates N subbands by filter bank analysis. These subbands may or may not be equal in bandwidth.
  • Each of these sub-bands passes through the extrapolation processing unit 307 where the sub-band 'sample for error concealment is extrapolated to generate replacement sub-band' data for the current error 'frame.
  • the filter bank synthesis unit 308 reconstructs subband 'data for forming a frame of generated data using the synthesis filter bank together with the subband' data generated by the extrapolation processing unit 307.
  • the generated data is sent to the post-processing unit 309 to solve the problem of frame boundary discontinuity and the problem of signal level mismatch before being stored and sent out by the sample storage unit 302.
  • the internal configuration of the mantle processing unit 307 is shown in the block diagram of FIG.
  • a first test is performed on each subband at the first test section 401. For sub-bands that are considered unimportant, no extravagance is performed, but instead silence substitution 402 replaces zero. For the sub-bands regarded as important, the filter coefficient calculation unit 403 calculates filter coefficients used for the extrapolation filter. In these sub-bands, to what extent the sub-bands are predictable and predictable (hereinafter referred to as “predictability level”).
  • a second test is also performed in the second test unit 404 to determine the In the case of a sub-band that is classified as non-predictable and non-predictive, this sub-band is considered to be similar to noise, and so the sub-band replacement section 407 noises this sub-band 'data by means of noise replacement. 'Power to replace with data, or replace this sub-band' data with sub-bands contained in the same preceding frame.
  • the filter order adjustment unit 405 adjusts the filter order of the envelope filter based on the predictability level derived by the second inspection unit 404. .
  • These subbands are extrapolated in subband section 406 using subband filters commonly used in filtering techniques.
  • a lost or damaged frame can be effectively concealed.
  • FIG. 1 A flow chart showing the procedure of an error concealment technique incorporating various error concealment processing.
  • FIG. 2 A diagram showing the main configuration of an error concealment device according to the present invention.
  • FIG. 3 A block diagram showing an internal configuration of an error concealment processing unit according to the present invention
  • FIG. 4 A block diagram showing the internal configuration of the extrapolation processing unit according to the present invention
  • FIG. 5 A flowchart showing the detailed steps of the error concealment algorithm in the first embodiment.
  • FIG. 6 A flow chart showing a detailed procedure of voice sample generation processing in the first embodiment.
  • FIG. 7 A flowchart showing a detailed procedure of the audio sample generation process in the first embodiment.
  • FIG. 8 A diagram showing frame boundary smoothing processing in the first embodiment.
  • FIG. 9 A diagram showing a signal obtained by the audio sample generation process in the first embodiment.
  • FIG. 10 A diagram for explaining detection of an attack signal in the first embodiment.
  • FIG. 5 is a flowchart showing the detailed steps of the error concealment algorithm in the first embodiment. Received frames are classified into non-error frames, error frames as speech, and error frames as audio.
  • ST501 it is detected whether the received audio 'frame is an error frame or a non-error frame.
  • Non-error • If a frame is received, store the frame in memory in ST513 and make it available in the future if an error frame is received.
  • This memory has a first in, first out (FIFO) structure and can store n frames of past audio 'samples. The standard size of the memory can be set to 2 frames so that the last two frames of the sample are stored in the memory.
  • FIFO first in, first out
  • the standard size of the memory can be set to 2 frames so that the last two frames of the sample are stored in the memory.
  • ST 512 it is stored as an error 'flag before error flag of current frame' flag. This is used in ST 502 to check if the previous frame is an offset of the error 'frame or non-error' frame.
  • the type classification of the error 'frame when the error' frame is detected is performed as follows.
  • the preceding frame is a non-error frame,! /.
  • These past samples are basically the leading non-error 'frames stored at ST513.
  • the speech detection algorithm used in the general speech coding technology can be used in ST 503.
  • One simple method is to apply autocorrelation to the non-error'frames that precede the error'frames and retrieve periodicity and pitch information. These information will be stored for future use.
  • the voice flag force is set.
  • the voice flag is used in the case of a burst error where many consecutive frames result in an error. In such a case, only the first error frame of a series of error frames passes the voice detection of force T503, and the subsequent continuous error frames need to pass detection again first at ST503.
  • the speech detection in ST 503 is skipped since detection is already performed in the first error frame. It uses an audio flag to determine which type of power, frame, it is either an audio type or an audio type.
  • the voice sample generation process is used in ST 506 to generate samples to replace the current error 'frame to conceal or minimize errors. ST 506 will be described later using FIG.
  • Processing of error frames classified as audio is performed as follows.
  • the current frame is classified as an audio 'type' frame in ST504, it is set to voice flag power ⁇ in ST507.
  • the audio sample generation process is used in ST 508, and a sample is generated to replace the current error frame and conceal the error.
  • ST 508 will be described in detail later using FIG.
  • a process called post process is performed as follows.
  • the generated support Signal conditioning is performed on the sample.
  • the purpose of this signal processing is to hear "click” noise and "pobbing" noise, etc. due to rapid changes in signal characteristics as it passes between non-error frames and error concealment frames at frame boundaries. It is about reducing artefacts.
  • the error concealment samples generated may have significantly different signal levels or power compared to previous non-error frames. Therefore, the generated samples are adjusted in ST 509 to coincide with the signal level preceding the error frame.
  • FIG. 6 is a flowchart showing a detailed procedure of speech sample generation processing (ST 506 in FIG. 5) when the error 'frame is classified as a speech type.
  • ST 506 in FIG. 5 a simple method is presented as a method of deriving speech samples.
  • the signal obtained by the audio sample generation process shown in FIG. 6 is shown in FIG.
  • the preceding non-error' frame force also duplicates the segment (part of the frame) in ST 601.
  • This segment has a length that is a multiple of the pitch period obtained in ST 503, but is less than one frame length.
  • the pitch alignment in ST602, ie, adjustment of the replacement position of the duplicate frame is performed so that the pitch period of the duplicate frame is aligned with the pitch period of the preceding frame. This ensures continuity in the periodicity up to the non-error 'frame force and even duplicate frames It is This duplication and alignment are repeated until one complete replacement frame capable of replacing the error 'frame is obtained in ST603.
  • the pitch period of the duplicate frame and the pitch period of the preceding frame are adjusted by adjusting the duplication section, that is, repeating the duplication until obtaining a substitution frame capable of replacing the error 'frame. You may make them
  • FIG. 7 is a flowchart showing a detailed procedure of audio 'sample generation processing (ST 508 in FIG. 5) when an error' frame classified as audio 'type is detected.
  • the samples generated to conceal the errored frame are derived (from ST 513) mainly from non-errored samples preceding the errored frame. Usually, these perfect samples without loss contain information, and once extracted, they can gain strength on what the subsequent signal might look like. There are two paths to this process. One is used when the frame preceding this error frame is a non-error frame. The other path is used if the preceding frame is also an error 'frame.
  • the error condition of the preceding frame is checked. If the preceding frame is not an error frame, then it means that the current error frame is the first error frame following a non-error frame.
  • the current error frame is defined as frame E
  • the non-error frame preceding the error frame is defined as frame P.
  • detection of an attack signal is performed on frame P.
  • the detection of this attack signal is described in FIG. If there is no attack signal in frame P, the entire frame is used in the subsequent filter 'band analysis of ST703. If an attack signal is detected in frame P, the start position of the attack signal is confirmed, and in frame P, samples prior to the attack signal are discarded. That is, only samples after the start position of the attack signal are used for filter 'band analysis after force.
  • the generated samples are derived from the signal characteristics of frame P. Because the signal to be generated is created to simulate frame P, By not excluding samples (areas) before the start position of the attack signal, the generated signal usually has a reduced version similar to but smaller than the attack signal from frame P (similar attack signal ) Will appear.
  • the advantage of performing the above detection is that of the "double attack” of the signal generated by eliminating in the subsequent processing the unwanted part of the signal, ie the area before the start of the attack signal. The point is that the problem can be minimized.
  • the signal is divided into a plurality of frequency bands, ie, K subbands in ST 703 using an analysis filter bank.
  • the bandwidths of each subband need not be the same. That is, the subband bandwidths may or may not be equal.
  • one possible subband configuration is that for the first K / 4 subbands, each subband is L / (2K) samples. It has bandwidth.
  • each sub-band will have a bandwidth of L / K samples, and for the last K / 2 sub-bands, each sub-band will have a bandwidth of 2 L / K samples.
  • the lower the subband the smaller the subband bandwidth, which results in better frequency resolution.
  • the higher the subbands the greater the bandwidth.
  • Another possible configuration is to ensure that all subbands have the same L / K sample bandwidth.
  • ⁇ is a small value to prevent underflow
  • L is the sub-band length (ie bandwidth)
  • This parameter is compared to the threshold in ST704. If this threshold is exceeded, the flag and the skip 'flag are set to' 1 'in ST 705 to indicate that this sub-band is excluded from the signal generation process, and that sub-band is replaced with zero in ST 706. Proceed to the next subband at ST716. If the parameter exceeds the threshold, The skip 'flag is set to' 0 'in ST 707 to indicate that this sub-band is included in the signal generation process and is not skipped. This skip 'flag is used in the subsequent frame if the subsequent frame is also an error' frame in ST718.
  • ST713 and ST721 of the present invention signal extrapolation is used for audio sample generation processing.
  • ST 708 segments of known audio signals are used to derive a set of impulse response coefficients a using Berg's algorithm.
  • This error residual is updated for each iteration of the coefficient calculation process, which returns the final prediction error residual E after the last iteration. Between the predictability level Pr and the error residual rate E / E
  • the 1 sb 0 1 relationship reduces the predictability level accordingly when the ratio E / E is small
  • the order of the extrapolation filter FO is the past sump used to calculate the extrapolation coefficient
  • the order of the envelope filter FO is out at ST 710 if the predictability level is high
  • the predictability level Pr of each subband is used to conceal the error. It is also used to decide whether to use subtractive processing to generate sub-band 'samples, or to use sub-band replacement methods to replace error' frames.
  • the outer flag is set to indicate this decision, and this flag is used in ST 720 when the next frame is also an error frame and the same sub-band uses the same type of signal generation scheme It is supposed to be.
  • the extrapolation flag is set to "1" at ST 712 sb
  • the level of predictability Pr is also connected to the extrapolation signal sb if the predictability approaches or exceeds the threshold.
  • y, n -a y (n-1)-a y (n-2)- ⁇ ⁇ ⁇ -a y, n-p) ⁇ ⁇ )
  • y (n) is the current extrapolated sample
  • y (ni) is the past output sample
  • a is the outer coefficient
  • p is the predictor order.
  • ⁇ is a factor that controls the amount of influence on the extrapolated signal.
  • the extrapolation flag is set to “0” in ST s sb
  • the predictability level is also used to determine the substitution method used. If the predictability level is slightly below the threshold, then the same subband from the previous non-error 'frame P is repeated in the subbands. If this is well below the threshold, the sub-bands are simply replaced by random signals.
  • the following processing is performed for the subsequent error 'frame. If it is indicated at ST 701 that the preceding frame is also an error frame, the sample generation process continues at the point at which it stopped at the previous frame. The previously calculated parameters, such as filter order and predictability level, are reused. These parameters are not calculated again.
  • the force to be tested whether a particular subband needs to be generated is indicated by the skip flag in ST 718 and the outer flag in ST 720. These flags are determined in ST704, ST705, ST707, ST711, ST712, and ST714 during the first error frame after the non-error frame.
  • subband replacement method is used in ST722.
  • the level of predictability determines whether to use the noise replacement or the V, offset replacement method for subband iterations as described above.
  • a single or a plurality of lost or damaged frames can be effectively concealed.
  • This is a receiver-based error concealment scheme that is suitable for real-time communications or transmission systems because it does not introduce retransmission delays and has low transmission overhead. It is suitable for a wide range of audio applications as it can be used as a stand-alone 'module' that is not codec dependent. Noise 'artifacts such as jerky, echo effects, clicks, etc. It is greatly reduced.
  • the input signal is classified into voice and audio so that appropriate error concealment methods can be applied to each signal classification.
  • selecting appropriate regions of the filter bank analysis frame may cause similar transients of the regenerated signal to be regenerated, which can be annoying. Is reduced.
  • By using a filter bank to decompose the signal into smaller frequency bandwidths, regenerating different signals in each bank based on signal characteristics such as predictability level and importance of contribution to each sub-band overall signal The scheme can be applied.
  • the extrapolation process results in a continuous signal that solves the problem of boundary discontinuities at the start of the error 'frame, which is one of the main causes of noise artifacts. Discontinuity problems at the end of the error 'frame are solved using backward extrapolation, signal mixing and signal level adjustment.
  • the present invention has been described by way of example in the case of being configured by node software, the present invention can also be realized by software.
  • a first aspect of the present invention is a method of error concealment, which classifies input data into various characteristics and generates substitution data for concealing error data by applying appropriate measures. , Said method,
  • a second aspect of the present invention includes the repetition of one or more of the future capacity steps (lb) to (lg) described in steps (lb) and (lh). It is a method characterized by
  • a third aspect of the present invention is that the classification described in step (lc) calculates the autocorrelation of the preceding non-error 'frame before the error' frame to search for the presence of a pitch period. Is a method characterized in that it is performed by
  • the error frame when the pitch period can detect an acceptable pitch period, the error frame is classified as the voice frame.
  • the method is characterized in that it is used to classify the error frame as the audio frame if the pitch period can not be detected.
  • step (Id) further including:
  • a sixth aspect of the present invention is the method as recited in step (le), wherein the method comprises: generating the non-error frame force prior to the replacement audio 'frame force error described above frame; Furthermore,
  • a seventh aspect of the present invention is the method according to the step (wherein the signal level is made close to the preceding frame in order to reduce an artifact caused by an abrupt change of the signal processing level described in ID). It is characterized in that it is carried out by adjusting the signal.
  • the boundary smoothing described in the step (lg) generates a short, segment of a subsequent frame force sample using reverse direction, and
  • the method is characterized in that it is achieved by cross-fading and mixing with the permuted frame to reduce the artifacts caused by the boundary discontinuity problem.
  • a ninth aspect of the present invention is the force according to the step (6b), wherein the appropriate area is the area until the end of the preceding frame, or the starting force of the attack signal in the preceding frame.
  • the method is characterized in that the appropriate region is the entire preceding frame when an attack signal is not detected.
  • the tenth aspect of the present invention is characterized in that the bandwidth of the sub-band according to step (6c) is high.
  • the method is characterized in that it may or may not be equal to have a lower frequency domain force, such bandwidth as compared to the frequency domain or any possible configuration.
  • the importance of each of the error subbands described in step (6d) is determined by how important the contribution of the subbands to the preceding non-error 'frame is. It is a method characterized in that it depends on whether there is any.
  • a twelfth aspect of the present invention is the filter order force according to step (6e), wherein the length of the region selected in step (6b) of the sixth aspect of the present invention It is a method characterized by being calculated by dividing by the number of subbands.
  • a thirteenth aspect of the present invention is a method characterized in that it is calculated by the Berg's algorithm using the preceding sub-band as an input.
  • the filter coefficients are used by the AR filter to extrapolate samples using samples of the preceding subbands.
  • a fourteenth aspect of the present invention provides the predictability level Pr force Pr ⁇ E according to step (6 g)
  • the method is characterized in that the algorithm power of the above-mentioned Berg and the prediction error residual power to be calculated are also derived.
  • a fifteenth aspect of the present invention is characterized in that the extrapolation filter order FO described in step (6h) is adjusted based on the predictability level Pr, and the extrapolation filter order power prediction
  • the probability level is inversely proportional to the value of the predictability level, as shown by FO (l / Pr), such that the higher the probability level, the smaller the extrapolation filter's order will be or vice versa. It is the method to characterize.
  • the substitution subband described in (60) is generated according to the condition of the importance and the predictability level of the preceding subband, and Furthermore,
  • said error sub-band power said substitution of said error sub-bands by the operation of replacing the error 'sub-bands with zero, called silence substitution, when it is classified as unimportant in step (6 d) Generating subbands;
  • a seventeenth aspect of the present invention is characterized in that the substitution subband described in step (16a) is further influenced by the predictability level Pr, and the extrapolation value is as follows: It is a method characterized by being adjusted by the reduced version of the predictability level Pr.
  • a eighteenth aspect of the present invention is a method of generating a replacement frame of an error 'frame by performing an error' frame prior to the error 'frame also by covering,
  • a nineteenth aspect of the present invention is the force according to the step (18b), which is an area until the end of the preceding frame, and the starting force of an attack signal in the preceding frame.
  • the appropriate area is the entire preceding frame when the attack signal is not detected.
  • a twentieth aspect of the present invention is the bandwidth of the sub-band described in the step (18c) has a bandwidth in which the region of low frequency is smaller than the region of high frequency or any possible configuration. So that they may or may not be equal!
  • a twenty-first aspect of the present invention relates to how important the contribution of each of the above-mentioned error.
  • Subbands described in step (18d) to the preceding non-error 'frame is. It is a method characterized by being determined by
  • a twenty-second aspect of the present invention is the filter order force according to step (18e).
  • the method is characterized by being calculated by dividing the length of the region selected in (18b) by the number of subbands of filter bank analysis.
  • a method characterized in that it is calculated by the Berg's algorithm using the preceding sub-band as an input. Note that the filter coefficients are used by the AR filter to extrapolate samples using the samples of the preceding subbands.
  • a twenty-fourth aspect of the present invention is the prediction residual E calculated after the Berg algorithm, as indicated by the predictability level Pr force E ⁇ E described in step (18 g) Ratio to the ratio of the predicted remainder E calculated before the Berg's algorithm for
  • the algorithm power of the Berg and the prediction error residual power to be calculated are also derived.
  • a twenty-fifth aspect of the present invention is characterized in that the extrapolation filter order FO described in step (18h) is adjusted based on the predictability level Pr, and the extrapolation filter order force prediction
  • the value of the predictability level is inversely proportional to the value of the predictability level, as indicated by FO (l / Pr), such that the higher the likelihood level, the less the order of the extrapolation filter will decrease accordingly or vice versa.
  • a twenty-sixth aspect of the present invention is the method according to the step (a), wherein the substitution subband described in (180 is generated according to the condition of importance and the predictability level of the preceding subband, and the method further comprises ,
  • step (16a) If the error 'subband is classified as important in step (16d) and the predictability level exceeds a predetermined threshold, the error' subband extrapolation using signal extrapolation. Generating the permutation subbands of the subbands;
  • step (16c) If the error 'sub-band is classified as important in step (16 d) and the predictability level is some other value, the operation of replacing the error' sub-band with noise, called noise replacement, Generating the permutation sub-band of the error 'sub-band;
  • step (16d) The error sub-band power If it is classified as unimportant in step (16 d), the replacement of the error sub-bands by the operation of replacing the error 'sub-bands with zero, called silence substitution. Generating subbands;
  • the method in the substitution subband described in step (26a), is characterized in that it is influenced by the measureability level Pr, and the extrapolated value is adjusted by the reduced version of the predictability level Pr as follows.
  • y (n) (-a y (n-l)-a y (n-2) a y (n-p)) X a log (Pr) ⁇ ⁇ ⁇ ⁇ (Expression 4)
  • a twenty-eighth aspect of the present invention is a method of generating a substitution sub-band of an error 'frame based on the condition of importance and the predictability level Pr of the preceding sub-band, said method comprising the steps of: Furthermore,
  • the error sub-band is classified as important and the predictability level is slightly below but close to a predetermined threshold, the error sub-band is referred to as the sub-band iteration. Generating the replacement subbands of the error 'subbands by the operation of replacing the non-error's frame with the corresponding preceding subbands;
  • noise replacement is an operation of replacing the error sub-band with noise.
  • a twenty-ninth aspect of the present invention is characterized in that the substitution subband force described in step (28a) is further affected by the predictability level Pr, and the extrapolation value is determined as follows: A method characterized in that it is adjusted by a reduced version of the measureability level Pr.
  • a thirtieth aspect of the present invention is a method of selecting a non-error 'frame force appropriate region for filter bank analysis, said method comprising (30a) searching for a sudden start of an attack signal in said non-error 'frame;
  • a thirty-first aspect of the present invention is that, in the case where the start of the attack signal is present in the non-error 'frame, in step (30b), the region starts from the start of the attack signal. Select the entire area of the non-error frame in step (30b) if there is no error signal in the non-error frame that is selected until the end of the error frame or the end of the frame. Is a method characterized by
  • a thirty-second aspect of the present invention is a method of calculating the filter order of an extrapolation filter, wherein
  • a thirty-third aspect of the present invention is that, in the step (32b), when the start of an attack signal is present in the non-error 'frame, the length is the starting force of the attack signal. If the force selected until the end of the frame or there is no attack signal in the non-error frame, then in step (32b), select the entire area of the non-error frame as the length Is a method characterized by
  • a thirty-fourth aspect of the present invention is a method of adjusting the order of an extrapolation filter, said method comprising
  • a thirty-fifth aspect of the present invention is a method characterized in that the extrapolated filter coefficient described in step (34b) is calculated by Berg's algorithm using samples of the sub band.
  • a thirty-sixth aspect of the present invention is the prediction remainder E calculated after the Berg's algorithm, as indicated by the predictability level Pr force E ⁇ E described in step (34c).
  • the algorithm power of the Berg and the prediction error residual power to be calculated are also derived.
  • a thirty-seventh aspect of the present invention is characterized in that the extrapolation filter order FO described in the step (34d) is adjusted based on the predictability level Pr, and the extrapolation filter order force prediction
  • the value of the predictability level is inversely proportional to the value of the predictability level, as indicated by FO (l / Pr), such that the higher the likelihood level, the less the order of the extrapolation filter will decrease accordingly or vice versa.
  • a thirty-eighth aspect of the present invention is a subband selection method for generating a substitute frame, the method comprising:
  • a thirty-ninth aspect of the present invention is characterized in that the importance of each of the sub-bands described in step (38a) is determined depending on how important the sub-band contribution to the frame is. It is a way to
  • the fortieth aspect of the present invention provides the predictability level Pr force Pr ⁇ described in step (38b).
  • the predicted remainder E calculated after the Berg's algorithm, as indicated by E / E
  • the algorithm power of the Berg and the prediction error residual power to be calculated are also derived.
  • the replacement method according to step (38c) is selected based on the condition of importance and the predictability level of the sub-band.
  • step (41a) selecting the signal extrapolation method if the sub-bands are classified as important in step (38a) and the predictability level exceeds a predetermined threshold
  • step (41b) selecting the subband repetition method if the error subband is classified as important in step (38a) and the predictability level is slightly below but close to a predetermined threshold value ,
  • step (41c) selecting a noise replacement method if said error 'sub-band is classified as important in step (38a) and said predictability level is another value;
  • Each of the above functional blocks is typically implemented as an LSI, which is an integrated circuit.
  • the force is taken to be LSI, depending on the degree of integration, IC, system LSI, super L
  • circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • FPGA Field can be programmed after LSI fabrication
  • the present invention is useful as a concealment technique for lost or corrupted digital audio signals (errors) in transmission, delivery, and storage media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

　従来のエラー隠蔽処理は、ぎくしゃくした変動の大きい音を作り出してしまうため耳には極めて不快であり、エコー効果およびクリックノイズも顕著である。本発明では、通知信号検出部（301）は、入力フレームに対する処置を判断する。エラー・フレームの場合、音声検出部（303）は、音声信号か否かの判断を先行非エラー・データのフレームに対し行う。音声フレームの場合、音声複製処理部（304）は、置換フレームを生成する。非音声フレームの場合、過渡信号検出部（305）は、過渡信号検出によってアタック信号か否かを判断すると共に、先行非エラー・フレームから適切な領域を選択する。フィルタバンク分析部（306）は、N個のサブバンドを生成する。これらは、外挿処理部（307）でサブバンド・サンプルが外挿され、現行エラー・フレームに対する置換サブバンド・データとなる。フィルタバンク合成部（308）は、このデータからサブバンド・データを再構築する。

Description

明 細 書
エラー隠蔽装置およびエラー隠蔽方法
技術分野
[0001] 本発明は、送信、配信、および記憶媒体にお!/ヽて、損失または破損したデジタル信 号 (エラー)の隠蔽技術に関する。 背景技術
[0002] 情報のパケットまたはフレームを送信する場合には、有線あるいは無線のいずれの 手段を経由する場合でも、これらのパケットの一部が損失または破損する可能性があ る。たとえ帯域幅が増強され、ネットワークまたは伝送技術が改良されたとしても、この ような損失は完全には回避することができない。
[0003] 音声'パケットまたはオーディオ 'パケットが損失または破損した場合、結果として、 耳に聞こえるアーティファクト、オーディオ品質の劣化、聞き取れないオーディオ'コン テンッをもたらすことになる。こうした劣化は、リアルタイムのストリーミング中または伝 送中には特に不快なものである。
[0004] このような劣化を最小限に抑えるため、エラー隠蔽が行われる。この基本的な考え は、エラー'データを一部の合成データまたは生成データで置き換えることである。ェ ラー隠蔽の目的は、その名称が示すように、送信、受信、保存、符号化処理、または 復号処理中のデータ損失またはデータ破損から生じるエラーを隠す、すなわち、これ をマスクして最善の場合にはエラーが認識されないか、または少なくともエラーがあま り顕著にならな 、ようにすることである。
[0005] 音声データおよびオーディオ 'データを対象とするエラー隠蔽には、多数の方式と 技術がある。送信側支援型のものもあれば、受信側ベース型のものもある。送信側支 援型の方法では、送信側が損失または破損した情報を再送信するか、または損失デ ータを回復できるように送信情報に誤り訂正情報を埋め込む。受信側ベース型の方 法では、損失データの隠蔽を処理するにあたって送信側からの情報を必要としな ヽ 。これは、損失または破損したデータを有益な情報に置き換えることによって機能さ せるためであり、この情報は通常は損失または破損した部分を推定したものとなって いる。これらの置換データは、送信側の支援を受けることなく受信側で生成される。
[0006] 受信側ベース型のエラー隠蔽には、さまざまな技術がある。簡単な方法は、ミュー ティングとデータ反復である。ミューティングは単に、エラー'データを、エラー'データ と同じ時間長の無音またはゼロ値に置き換える。一方、データ反復は単に、エラー' データを最新の非エラー ·データに置き換える。
[0007] データ補間技術 (例えば、非特許文献 1参照)を使用すれば、前述の簡単な方法よ りも優れた結果をもたらすことができる。これは、エラー'データに隣接する非エラー' データ力も補間を行うことにより、置換データの再構成を試みる。
[0008] さらに、より複雑な方法もある。それは、音声またはオーディオのコーデックのあるタ イブに対して最適化されているという点で、コーデック従属型である。これは、コーデ ック ·パラメータを派生するオーディオ圧縮アルゴリズムの知識を利用して、損失デー タを置き換えるためのデータを再生成する。
[0009] 図 1は、ミューティング、複製、および補間の各種エラー隠蔽処理を組み入れたエラ 一隠蔽技術の手順を示すフローチャートである。
[0010] オーディオ 'データのフレームを受信すると、 ST101ではこれがエラ一'フレームであ るかどうかを検査する。これがエラー'フレームではない場合、受信データは、おそら く ST107の補間処理中での将来の使用に備え、 ST102においてメモリに保存される。 受信フレーム力 ST101においてエラ一'フレームとして検出された場合、 ST103およ び ST105において一連の決定が行われ、システム内に遅延が許容されるのであれば 、以前または将来の非エラ一'フレームに基づいて、現行エラ一'フレームにどのエラ 一隠蔽技術を適用することが最適であるかを判定する。 ST103において、現行エラー •フレームをミュートすることが適切であるかどうかを検査する。ミューティングが選択さ れた場合、現行エラ一'フレームは ST104にお!/、てゼロ ·データ ·フレームに置き換え られる。すなわち、現行エラー'フレームは無音に置き換えられる。ミューティングがこ のエラ一.フレームにとって適切ではない場合、 ST105においてこのフレームに補間 を実行できるかどうか検査する。たとえばバースト 'エラーの場合またはノ ッファの後 のデータに遅延がない場合のように、補間が適していない場合には、 ST106において 最後の非エラー .フレームが現行エラー .フレームで繰り返される。 ST105にお 、て補 間が選択された場合は、 ST102で保存されているデータを使用し、 ST107において補 間処理が実行される。
非特干文献 1 : 1. Kauppinen他著「Audio signal Extrapolation - Theory and
Applications J Proc. of 5th Int. Conf. on Digital Audio Effect, 2000年 9月
発明の開示
発明が解決しょうとする課題
[0011] 送信側ベースのエラー隠蔽方式は、再送信がさらに長い遅延の原因となり、しかも エラー回復のための埋込情報が伝送オーバーヘッドを増大させるという問題がある。 これらの状態は、リアルタイムの通信または伝送システムなどのアプリケーションには 適していない。
[0012] 受信側ベースの場合には、再送または送信側からの追加情報を必要とはしな 、が 、受信側において演算処理の負荷が増大するなどそれぞれ短所も備えている。しか し、通常、受信側端末には対応できる十分な能力があるため、演算処理の増大は通 常取るに足らないものである。もう 1つの利点は、再送の遅延およびオーバーヘッドが ないため、リアルタイム ·システムにより一層適しているという点である。し力し、上記の 技術に示されて 、るような簡単な受信側ベースのエラー隠蔽技術では、優れたエラ 一隠蔽結果をもたらすことはできない。
[0013] ミューティングは、受信信号を突然消失させてしま!/、、その結果音響レベルに急激 な変化を生じるという問題がある。ミューティングを使用する場合にバースト 'エラーが 発生すると、長期間にわたる無音の原因となる。さらにこれは、一定したエラーが受信 される場合には、「ぎくしゃくした」響きにもなる。
[0014] 反復または複製は、エコー効果をもたらすという問題がある。この効果は、長期間に わたるバースト 'エラーがある場合には減退する。また、隣接するフレームの信号特性 を考慮せずにフレームがただ置き換えられているために境界不連続の問題があり、 耳障りな「クリック」ノイズ ·アーティファクトが発生する問題もある。しかし、これは単一 のフレーム 'エラーに対してはミューティングの場合をわずかに上回る隠蔽結果をも たらす。ただし、依然としてバースト 'エラーに対しては、効果を奏し難い。
[0015] 補間もまた、境界不連続の問題が原因となり「クリック」ノイズ'アーティファクトを生じ させるという問題がある。隠蔽の品質は、単一のフレーム 'エラーに対しては、ミューテ イングおよび複製の場合に比べて優れている力 バースト 'エラーに対しては大幅に 減退する。これらの技術は簡単かつ容易に実施できるが、満足のゆく隠蔽結果を得 ることはできない。
[0016] コーデック依存方式は、より優れた結果をもたらすが、汎用性の点ではまだ十分と はいえない。通常、これを使用できるのは、特定のアプリケーションあるいは特定の音 声またはオーディオ'コーデックのみである。特定のコーデックによって使用されるパ ラメータを予測することで、多数のコーデック依存方式が圧縮ドメインで機能して 、る 。通常、そのような方式には、さらに高い演算処理コストも必要になる。
[0017] よって、本発明の目的は、エラー隠蔽による影響を可能な限り目立たせない音声信 号またはオーディオ信号のエラー隠蔽技術を提供することである。
課題を解決するための手段
[0018] 本発明は、音声データまたはオーディオ ·データを異なる特性で分類し、エラー'デ ータを隠蔽するための置換データを生成する適切な手段を適用する。
[0019] 図 2は、本発明に係るエラー隠蔽装置の主要な構成を示している。
[0020] 音声データまたはオーディオ ·データは、記憶媒体 (あるいは有線または無線ネット ワーク経由の伝送システム) 200から受信するなど、さまざまな媒体を通じて供給する ことができる。これらのデータは、フレームまたはパケットにまとめられ、通常は圧縮形 式をとる。パケットが受信されると、再生に適した非圧縮オーディオ形式のフレームに パケットをデコードするため、適切な音声またはオーディオ用デコーダ 250が使用され る。すべての段階において検証が行われ、受信されたパケットが損失または破損して いないこと、および受信パケットのデコーディングにエラーがないことを確認する。い ずれかの段階でエラーが発生して 、る場合には、エラー ·フレームを隠蔽するようェ ラー隠蔽処理部 300に通知される。
[0021] 本発明に係るエラー隠蔽処理部 300の内部構成は、図 3のブロック図に示されてい る。
[0022] すべてのフレームに対し、それがエラ一'フレームである力、または非エラ一'フレー ムであるかを通知するための信号が送られる。通知信号検出部 301は、この信号を検 出し、入力データのフレームに関して取るべき処置を判断する。非エラ一'フレームの 場合は、サンプル保存部 302において保存され、同じデータのフレームが再生または 保存に備えて送出される。保存されたデータは、音声検出部 303、過渡信号検出部 305、および外挿処理部 307において、将来エラー'フレームが発生した場合に使用 される。エラー'フレームの場合、音声検出部 303は、それが音声信号であるか非音 声信号であるかの判断を、先行する非エラー ·データのフレームに対し実行する。音 声フレームの場合、音声複製処理部 304が使用されて、ピッチ計算および複製を行う ことによって、エラー'フレームを隠蔽するための置換フレームが生成される。非音声 フレームの場合、過渡信号検出部 305において、過渡信号の検出が実行され、それ がアタック信号である力否かが判断される。次に、過渡信号検出部 305は、フィルタバ ンク分析部 306のために、過渡信号を含んでいる領域として適切な領域 (以下、過渡 領域と 、う）を先行非エラー ·フレームの中力 選択する。フィルタバンク分析部 306は 、フィルタバンク分析によって、 N個のサブバンドを生成する。これらのサブバンドは、 帯域幅の等しいものであっても、等しくないものであってもよい。これらのサブバンド はそれぞれ、外挿処理部 307を経て、エラー隠蔽のためのサブバンド'サンプルが外 挿され、現行エラー'フレームに対する置換サブバンド'データが生成される。フィル タバンク合成部 308は、外挿処理部 307で生成されたサブバンド'データと共に合成フ ィルタバンクを使用して、生成データのフレームを形成するためのサブバンド'データ を再構築する。生成されたデータは、サンプル保存部 302で保存されて送出される前 に、フレーム境界不連続の問題および信号レベルの不一致の問題を解決するため に、ポストプロセス部 309に送られる。
[0023] 外揷処理部 307の内部構成は、図 4のブロック図に示されている。
[0024] 信号全体への重大な寄与があるかどうか判断するため、第 1検査部 401において、 各サブバンドに対し第 1の検査が実行される。重要ではないと見なされたサブバンド については、外揷は行われないが、代わりに無音置換部 402においてゼロに置き換 えられる。重要と見なされたサブバンドについては、フィルタ係数算出部 403において 、外挿フィルタに使用されるフィルタ係数が算出される。これらのサブバンドには、サ ブバンドがどの程度周期性を有して 、て予測可能であるか (以下、予測可能性レべ ルという）を判断するため、第 2検査部 404において第 2の検査も行われる。周期性が なく予測不可能と分類されたサブバンドの場合、このサブバンドはノイズに類似したも のと見なされるので、サブバンド置換部 407は、このサブバンド'データをノイズ置換の 手段によりノイズ'データに置き換える力、または、このサブバンド'データを同じ先行 フレームに含まれるサブバンドに置き換える。周期性があり予測可能と分類されたサ ブバンドの場合、フィルタ次数調整部 405において、外揷フィルタのフィルタ次数が第 2検査部 404で導出された予測可能性レベルに基づ 、て調整される。これらのサブバ ンドは、外揷部 406において、フィルタリング技術で一般的に用いられる外揷フィルタ を使用してサブバンド ·サンプルの外挿が行われる。
発明の効果
[0025] 本発明によれば、損失あるいは破損したフレームを効果的に隠蔽することができる 図面の簡単な説明
[0026] [図 1]各種エラー隠蔽処理を組み入れたエラー隠蔽技術の手順を示すフローチヤ一 卜
[図 2]本発明に係るエラー隠蔽装置の主要な構成を示す図
[図 3]本発明に係るエラー隠蔽処理部の内部構成を示すブロック図
[図 4]本発明に係る外挿処理部の内部構成を示すブロック図
[図 5]実施の形態 1におけるエラー隠蔽アルゴリズムの詳細なステップを示すフローチ ヤート
[図 6]実施の形態 1における音声サンプル生成処理の詳細な手順を示すフローチヤ ート
[図 7]実施の形態 1におけるオーディオ ·サンプル生成処理の詳細な手順を示すフロ ーテヤー卜
[図 8]実施の形態 1におけるフレーム境界スムージング処理を示す図
[図 9]実施の形態 1における音声サンプル生成処理によって得られる信号を示す図
[図 10]実施の形態 1におけるアタック信号の検出を説明する図
発明を実施するための最良の形態 [0027] 以下、図 5—図 7の一連のフローチャートおよび図 8—図 10の説明図を参照して、本 発明の実施の形態について詳細に説明する。
[0028] (実施の形態 1)
まず、メインのフレームワークについて説明する。図 5は、実施の形態 1におけるエラ 一隠蔽アルゴリズムの詳細なステップを示すフローチャートである。受信フレームは、 非エラ一.フレーム、音声としてのエラ一'フレーム、またはオーディオとしてのエラ一' フレームに分類される。
[0029] 非エラ一'フレームの処理は、以下のように行われる。
[0030] ST501において、受信したオーディオ 'フレームがエラ一'フレームである力、または 非エラー ·フレームであるかを検出する。非エラー ·フレームが受信された場合、 ST513にお!/、てメモリ内にそのフレームを保存し、将来エラ一'フレームが受信された 場合に使用できるようにする。このメモリは、先入れ先出し (FIFO)構造を備えており、 過去のオーディオ 'サンプルの nフレームを保存することができる。メモリの標準的な サイズは 2フレームに設定することができ、サンプルの過去のフレームで最新の 2つが メモリ内に保存されるようになっている。新しいオーディオ 'フレームが到着すると、メ モリの nフレーム内で最も古!、フレームが廃棄され、新し 、フレーム力 Sメモリ内に残つ ているフレームに連結される。次に、 ST512において、現行フレームのエラ一'フラグ 力 前のエラー'フラグとして保存される。これは、先行フレームがエラー'フレームま たは非エラ一'フレームの!/、ずれであるかを検査するために ST502にお!/、て使用され る。
[0031] エラー'フレームが検出された場合のエラー'フレームのタイプ分類は、以下のよう に行われる。
[0032] ST501においてエラ一'フレームが検出された場合、現行エラ一'フレームが音声タ ィプ（つまり周期的）フレームまたはオーディオ 'タイプ（つまり非周期的）フレームの!/ヽ ずれであるかを判断するために、 ST504において分類が行われる。これに先立ち、 ST502において、これが非エラ一'フレームに続く最初のエラ一'フレームであるかどう 力 つまり先行フレームがエラ一'フレームではな 、かどうか検査する。
[0033] 先行フレームが非エラ一'フレームである場合、 ST504にお!/、て、メモリに保存され て 、る過去のサンプルを使用して、エラ一'フレームが音声タイプ ·フレームまたはォ 一ディォ ·タイプ ·フレームの!/、ずれであるか検出する。これらの過去のサンプルは基 本的に、 ST513で保存されている先行非エラー'フレームである。一般的な音声コー デイングの技術に用いられる音声検出アルゴリズムを、 ST503において使用すること 力 Sできる。 1つの簡単な方法としては、エラー'フレームに先行する非エラー'フレーム に自己相関を適用し、周期性およびピッチの情報を検索する方法がある。これらの情 報は、今後の使用に備えて保存される。
[0034] 音声として分類されたエラー 'フレームの処理は、以下のように行われる。
[0035] ST504においてエラ一'フレームが音声タイプ'フレームとして分類された場合、
ST505において音声フラグ力^に設定される。音声フラグは、連続する多数のフレーム がエラーになるようなバースト ·エラーの場合に使用される。そのような場合には、一 連のエラ一.フレームの最初のエラ一'フレームのみ力 T503の音声検出を通過し、 それ以降の連続エラー'フレームは、再度検出を経由する必要なぐ ST503で最初の 検出中にすでに取得されている結果を引き続き使用する。つまり、 ST502において先 行フレームもエラー ·フレームであることを検出した場合、最初のエラー ·フレームで検 出がすでに行われているので、 ST503の音声検出をスキップする。これは、音声フラ グを使用して、それが音声タイプまたはオーディオ ·タイプのいずれである力、フレー ム 'タイプを判断する。音声タイプの信号については、 ST506において音声サンプル 生成処理を使用し、現行エラー'フレームを置き換えてエラーを隠蔽または最小化す るためにサンプルを生成する。 ST506については、後に図 6を使用して説明する。
[0036] オーディオとして分類されたエラ一 ·フレームの処理は、以下のように行われる。
[0037] ST504において、現行フレームがオーディオ'タイプ'フレームとして分類された場合 、 ST507において音声フラグ力^に設定される。この場合、 ST508においてオーディオ •サンプル生成処理を使用し、現行エラー ·フレームを置き換えてエラーを隠蔽する ためにサンプルを生成する。 ST508については、後に図 7を使用して詳細に説明する
[0038] ポストプロセスと呼ばれる処理は、以下のように行われる。
[0039] エラーを隠蔽するためのサンプルが生成された後、 ST509において、生成済みのサ ンプルに対して信号調整が実行される。この信号処理の目的は、フレーム境界にお いて非エラー.フレームとエラー隠蔽フレームの間を通過する際の急激な信号特性の 変化に起因する「クリック」ノイズおよび「ポッビング」ノイズなどの耳に聞こえるアーティ ファクトを低減することにある。たとえば、生成されたエラー隠蔽サンプルが、先行非 エラー.フレームに比べて大きく異なる信号レベルまたはパワーを備えていることもあ る。したがって、生成されたサンプルは、 ST509において、エラ一'フレームに先行す る信号レベルと一致するように調整される。
[0040] エラー隠蔽のサンプルが生成されると、エラー隠蔽のフレームの後続のフレームと は良好に連続しなくなる可能性がある。このため、フレーム境界において不連続の問 題が生じる。 ST510において、境界スムージング処理を実行することにより、この問題 に対処する。この問題に対する効果的な方法は、逆方向外挿および信号の混合を 使用する、図 8に示すフレーム境界スムージング処理である。
[0041] ここにはまた、境界スムージング処理を使用しない場合に発生し得る副次作用も示 されている。そのような副次作用の 1つは、図 8の下部に示されるような、信号に急激 な変化が起こった場合の不連続の問題である。ポストプロセス後、 ST511において、 生成されたサンプルを保存する。現行エラー'フラグもまた、 ST512において先行エラ 一'フラグとして保存される。これは、先行フレームがエラー'フレームまたは非エラー •フレームのいずれであるかを検査するために、 ST502において使用される。
[0042] 図 6は、エラー'フレームが音声タイプとして分類された場合の音声サンプル生成処 理（図 5の ST506)の詳細な手順を示すフローチャートである。このフローチャートでは 、音声サンプルを導き出す方法として簡単な方法を提示している。なお、図 6に示す 音声サンプル生成処理によって得られる信号は、図 9に示されて 、る。
[0043] ST503でのフレーム 'タイプの分類中に得られたピッチ情報を使用し、 ST601におい て、先行非エラー'フレーム力もセグメント（フレームの一部）を複製する。このセグメン トは、 ST503で得られたピッチ周期の倍数の長さを有するが、 1フレームの長さよりも小 さい。 ST602におけるピッチアラインメント、すなわち、複製フレームの置換位置の調 整は、複製フレームのピッチ周期が先行フレームのピッチ周期と揃うように行われて いる。これは、非エラー'フレーム力も複製フレームまでの周期性に連続性を確保す るためである。この複製と位置調整は、エラー'フレームを置き換えることのできる 1つ の完全な置換フレームが ST603において得られるまで繰り返される。なお、上記の複 製において、複製区間を調整することにより、すなわち、エラー'フレームを置換する ことができる置換フレームが得られるまで複製を繰り返すことにより、複製フレームの ピッチ周期と先行フレームのピッチ周期とが揃うようにしても良い。
[0044] 図 7は、オーディオ 'タイプとして分類されているエラー'フレームが検出された場合 のオーディオ 'サンプル生成処理（図 5の ST508)の詳細な手順を示すフローチャート である。
[0045] エラ一'フレームを隠蔽するために生成されるサンプルは、主としてエラ一'フレーム に先行する非エラー ·サンプルから（ST513から）導き出される。通常、これらの損失の ない完璧なサンプルには情報が含まれており、抽出すれば後続の信号がどのような ものになるかについての手が力りを得ることができる。この処理には、 2つの経路があ る。 1つは、このエラ一'フレームに先行するフレームが非エラ一'フレームである場合 に使用される。もう一方の経路は、先行するフレームもエラー'フレームである場合に 使用される。
[0046] 新しいエラー'フレームに対して、以下の処理が行われる。
[0047] ST701にお!/、て、先行フレームのエラー状態が検査される。先行フレームがエラ一' フレームではな 、場合は、現行エラー ·フレームが非エラー 'フレームに続く最初のェ ラ一.フレームであるということになる。ここで、現行エラ一'フレームをフレーム Eと定 義し、エラー ·フレームに先行する非エラー ·フレームをフレーム Pと定義する。
[0048] ST702において、アタック信号の検出がフレーム Pに対して実行される。このアタック 信号の検出については、図 10で説明されている。フレーム Pにアタック信号がない場 合は、後続の ST703のフィルタ 'バンド分析において、フレーム全体が使用される。フ レーム Pにお 、てアタック信号が検出された場合は、アタック信号の開始位置が確認 され、フレーム Pの中でアタック信号より前のサンプルが廃棄される。すなわち、ァタツ ク信号の開始位置よりも後のサンプルだけ力 以降のフィルタ 'バンド分析に使用さ れる。前述のように、生成されるサンプルはフレーム Pの信号特性力 導き出されるも のである。生成される信号がフレーム Pを模して作成されるため、後続の処理におい てアタック信号の開始位置より前のサンプル (領域)を除外しないことによって、生成 された信号には通常、フレーム Pからのアタック信号と類似して 、ながらそれよりも小さ い縮小版 (類似アタック信号)が現れる。このような「二重アタック」は非常に耳障りで あるため、これは望ましくない。上記の検出を行う利点は、信号の不要部分、すなわ ち、アタック信号の開始位置より前の領域を後続の処理において除外することによつ て、生成される信号の「二重アタック」の問題を最小に抑えることができるという点にあ る。
[0049] フレーム Pから不要部分を除外し、適切な領域を選択した後、 ST703において分析 フィルタバンクを使用して、信号を複数の周波数帯域、すなわち、 K個のサブバンドに 分割する。各サブバンドの帯域幅は同じである必要はない。つまり、サブバンド帯域 幅が等しくても、等しくなくてもよい。たとえば、長さ Lおよび K個のサブバンドのフレー ムがある場合、 1つの考えられるサブバンド構成としては、最初の K/4サブバンドにつ いて、各サブバンドが L/(2K)サンプルの帯域幅を持つものである。次の K/4サブバン ドについて、各サブバンドが L/Kサンプルの帯域幅を持ち、最後の K/2サブバンドに ついて、各サブバンドが 2L/Kサンプルの帯域幅を持つことになる。つまり、サブバン ドが低くなれば、それに応じてサブバンド帯域幅も小さくなり、その結果より優れた周 波数分解能力あたらされる。サブバンドが高くなれば、それに応じて帯域幅も大きくな る。もう 1つの考えられる構成は、すべてのサブバンドが同じ L/Kサンプルの帯域幅を 持つようにすることである。
[0050] 各サブバンドに対して、サブバンド'サンプル力 数個のパラメータが導き出される。
最初に、信号全体に対するその寄与の量と、その寄与が重要と見なされるかどうかを 判断するために、パラメータが算出される。このパラメータを導き出す 1つの可能な方 法は、∑{log[abs(S+ r? )]}/L を計算することである。ここで Sはサブバンド'サンプル、
i sb i
ηはアンダーフローを防ぐための小さい値、 L はサブバンドの長さ（つまり帯域幅）で
sb
ある。このパラメータは、 ST704において閾値と比較される。この閾値を下回る場合は 、 ST705においてフラグ、スキップ 'フラグが「1」に設定されて、このサブバンドが信号 生成処理から除外されることを示し、 ST706においてそのサブバンドはゼロに置き換 えられ、 ST716において次のサブバンドに進む。パラメータが閾値を上回る場合は、 ST707においてスキップ 'フラグが「0」に設定されて、このサブバンドが信号生成処理 に含まれることを示し、スキップされない。このスキップ 'フラグは、後続のフレームも ST718においてエラ一'フレームであった場合に、後続のフレームで使用される。
[0051] 本発明の ST713および ST721において、信号外挿がオーディオ 'サンプル生成処理 に使用されている。この方法では、 ST708において、バーグのアルゴリズムを使用して インパルス応答係数 a のセットを導き出すために、既知のオーディオ信号のセグメン
sb，i
トが使用される。これらの係数には、既知の信号 (この場合は先行する非エラー'フレ ーム）が組み入れられ、以下の (式 1)に示すように現行エラー'フレームを置き換えて 隠蔽するために使用される線形に予測可能な一連の信号を取得する。この信号外挿 法は、エラー'フレームを隠蔽するために使用できる適切な信号のセットを生成する 1 つの手段に過ぎないが、他の方法も利用可能である。
[0052] 算出されるもう 1つのパラメータは、 ST709における予測可能性レベル Prである。こ
sb
れは、各サブバンドについて信号がどの程度予測可能であるかを評価するために使 用される。このパラメータは、バーグのアルゴリズムカゝら算出された予測誤差残差から 導き出される。バーグのアルゴリズムの反復を開始する前に、初期誤差残差 E
0が算出 される。この誤差残差は、係数算出処理の反復ごとに更新され、そこで最後の反復後 に最終予測誤差残差 Eを返す。予測可能性レベル Prおよび誤差残差率 E /Eの間
1 sb 0 1 の関係は、 E /Eの比率が小さい場合にそれに応じて予測可能性レベルが低下する
0 1
もので、またその逆もある。これはつまり、より低い E /E率は、あまり予測可能ではな
0 1
Vヽ信号に相当すると!、うことである。
[0053] 外挿フィルタ FO の次数は、外挿係数を算出するために使用された過去のサンプ
sb
ルの長さによって異なる。たとえば、外挿フィルタ係数の算出に Lサンプルが使用され た場合、フィルタの最大次数はわず力 L次である。また予測可能性レベル Pr に基づ
sb いて、外揷フィルタ FO の次数は ST710において、予測可能性レベルが高ければ外
sb
挿フィルタの次数が減少する力、またはその逆になるように、し力るべく調整される。こ れはつまり、外揷フィルタの次数および予測可能性レベルには、反比例の関係 FO
sb
^(1/Pr )があるということである。
sb
[0054] ST711において、各サブバンドの予測可能性レベル Pr は、エラーを隠蔽するため のサブバンド'サンプルを生成する外揷処理を使用する力、またはエラー'フレームを 置き換えるサブバンド置換法を使用するかを決定するためにも使用される。外揷フラ グはこの決定を示すように設定され、このフラグは ST720にお 、て次のフレームもエラ 一'フレームである場合に使用され、同じサブバンドが同じタイプの信号生成方式を 使用するようになっている。
[0055] 予測可能性レベルが閾値 Prを超える場合は、 ST712において外挿フラグが「1」に sb
設定され、信号外揷法を使用してサブバンドが生成されることを示す。予測可能性レ ベル Pr はまた、予測可能性が閾値に近接するがこれを超える場合に外挿信号の結 sb
果が調整されるように、外挿信号の結果に影響を及ぼすためにも使用される。信号 外挿法においては、以下に示すものと類似した ARモデルを使用して、現行エラー'フ レームを置き換えるために先行非エラー ·サンプル力 現行サンプルを予測して生成 する。
y、n) = - a y(n— 1) - a y(n— 2)— · · ·— a y、n— p) · · · )
1 2 p
ここで y(n)は現行外挿サンプル、 y(n-i)は過去の出力サンプル、 a;は外揷係数、 pは 予測子次数である。予測可能性レベルを使用して外挿信号に影響を与える方法の 1 つは、次のとおりである。
y(n) = (― a y(n-l) - a y(n— 2) a y(n-p)) X a log(Pr ) · · · (式 2)
1 2 p sb
ここで αは、外挿信号への影響の量を制御する因数である。
[0056] 予測可能性レベル Pr が閾値を下回る場合、 ST714において外挿フラグが「0」に設 sb
定され、 ST715においてサブバンド置換法が使用されることを示す。同様に、予測可 能性レベルは、使用する置換法を決めるためにも使用される。予測可能性レベルが 閾値をわずかに下回る場合は、サブバンドには先行の非エラー'フレーム Pからの同 じサブバンドが繰り返される。これが閾値よりもはるかに下回る場合は、サブバンドは 単にランダム信号に置き換えられる。
[0057] すべてのサブバンドが処理されていることを検査する ST716の後、 ST717において K サブバンド合成フィルタバンクを使用して集められ、現行エラー'フレームを隠蔽する ための生成信号を再構成する。
[0058] 後続のエラー'フレームに対しては、以下の処理が行われる。 [0059] ST701にお!/、て先行フレームもエラ一'フレームであることが示された場合、サンプ ル生成処理は先行フレームで停止した時点力 続行する。フィルタ次数、予測可能 性レベルなど、先に算出されたパラメータが再使用される。これらのパラメータは、再 度算出されることはない。特定のサブバンドが生成される必要があるかどうかが検査 される力 これは ST718におけるスキップ ·フラグおよび ST720における外揷フラグによ つて示されている。これらのフラグは、 ST704、 ST705、 ST707, ST711、 ST712、および ST714にお!/、て、非エラ一'フレームの後から最初のエラ一'フレームの間に判定され る。
[0060] ST718において、サブバンドを信号生成から除外できるかどうか検査される。スキッ プ 'フラグが示すように除外することが可能な場合には、 ST719においてゼロに置き換 えられる。信号生成から除外できない場合は、 ST720において、サブバンドが外挿に よって生成される力、または置換法を使用するかどうか検査する。
[0061] サブバンドを生成する必要がある場合は、 ST713と類似した ST721のサンプル外揷 手順を使用して、そのサブバンド内のサンプルが再生成される。すでに ST708、 ST709、および ST710において算出されているフィルタ次数、フィルタ係数、予測可能 性レベルなどのパラメータは、前述のように外揷手順で使用される。
[0062] サブバンドを生成する必要がな 、場合は、 ST722にお 、てサブバンド置換法が使 用される。予測可能性レベルにより、前述のようにノイズ置換またはサブバンド反復の V、ずれの置換法を使用するかが決まる。
[0063] ST723で上記のステップがすべてのサブバンドに対して繰り返された後、タイム'サ ンプルのフレームが、 ST717においてサブバンド合成フィルタバンクを使用してエラー 'フレームを隠蔽するために再生成されて 、る K個のサブバンドから再構成される。
[0064] 以上説明したように、本発明によれば、単一または複数の、損失あるいは破損した フレームを効果的に隠蔽することができる。これは、受信側ベースのエラー隠蔽方式 であり、再送遅延を生じることがなく伝送オーバーヘッドが少ないため、リアルタイム 通信または伝送システムに適している。コーデック依存型ではなぐスタンドアロン'モ ジュールとして使用することができるので、幅広いオーディオ ·アプリケーションに適し ている。ぎくしゃくした響き、エコー効果、クリックノイズなど、ノイズ'アーティファクトは 大幅に減少される。入力信号は、音声とオーディオとに分類されて、信号の分類ごと に適切なエラー隠蔽方法を適用することができるようになつている。また、過渡信号お よび過渡領域の検出においては、フィルタバンク分析のフレームの適切な領域を選 択することで、耳障りなものにもなり得る再生成信号の類似過渡信号が再生成される 可能性を低減している。フィルタバンクを使用して信号をより小さい周波数帯域幅に 分解することにより、予測可能性レベルおよび各サブバンドの信号全体に対する寄 与の重要度など、信号特性に基づいて各バンクに異なる信号再生成方式を適用す ることができる。外挿処理は、連続的な信号をもたらし、それがノイズ ·アーティファクト の主な原因の 1つとなっているエラー'フレームの開始時点の境界不連続の問題を解 消する。エラー'フレームの終了時点の不連続の問題は、逆方向外挿、信号混合お よび信号レベル調整を使用して解決される。
[0065] なお、ここでは、本発明をノヽードウエアで構成する場合を例にとって説明したが、本 発明はソフトウェアで実現することも可能である。
[0066] 本発明の第 1の態様は、エラー隠蔽の方法であって、入力データをさまざまな特性 に分類し、適切な手段を適用してエラー ·データを隠蔽するための置換データを生成 し、前記方法が、
(la)受信したフレームがエラ一'フレームまたは非エラ一'フレームの!/、ずれである かを検出するステップと、
(lb)前記受信フレームが、先行非エラー'フレームと呼ばれる前記非エラー'フレー ムとして検出される場合、前記非エラー'フレームを将来の処理に備えて保存するス テツプと、
(lc)前記受信フレームが前記エラー'フレームとして検出される場合、可能な音声 フレームまたはオーディオ 'フレームと呼ばれる非音声フレームとして前記エラ一'フ レームを分類するステップと、
(Id)前記エラー'フレームが前記音声フレームとして分類される場合、前記エラー' フレームを置き換えるための置換音声フレームを生成するステップと、
(le)前記エラー'フレームが前記オーディオ 'フレームとして分類される場合、前記 エラー.フレームを置き換えるための置換オーディオ.フレームを生成するステップと、 (ID前記置換フレームに対して信号処理を実行するステップと、
(lg)前記置換フレームに対して境界スムージングを実行するステップと、
(lh)将来の処理に備えて前記置換フレームを保存するステップと、
を含むエラー隠蔽方法である。
[0067] 本発明の第 2の態様は、ステップ (lb)および (lh)に記載の前記将来の処理力 ステ ップ (lb)から (lg)までの 1つまたは複数のステップの繰り返しを含むことを特徴とする方 法である。
[0068] 本発明の第 3の態様は、ステップ (lc)に記載の前記分類が、前記エラー'フレームの 前の先行非エラー'フレームの自己相関を算出してピッチ周期の存在を検索すること によって実行されることを特徴とする方法である。
[0069] 本発明の第 4の態様は、本発明の第 3の態様に記載の前記ピッチ周期が、許容可 能な前記ピッチ周期が検出できる場合は前記音声フレームとして前記エラー'フレー ムを分類し、前記ピッチ周期が検出できない場合は前記オーディオ 'フレームとして 前記エラー ·フレームを分類するために使用されることを特徴とする方法である。
[0070] 本発明の第 5の態様は、ステップ (Id)に記載の前記置換音声フレーム生成処理がさ らに、
(5a)前記先行非エラー'フレームを複製するステップと、
(5b)前記複製フレームのピッチ周期を前記非エラー ·フレームの前記ピッチ周期に 合わせて境界の非連続性の問題を解消するステップと、
(5c)前記複製処理および前記位置合わせ処理を前記置換フレームの 1つのフレー ムが形成されるまで繰り返すステップと、
を含むことを特徴とする方法である。
[0071] 本発明の第 6の態様は、ステップ (le)に記載の前記置換オーディオ 'フレーム力 前 記エラー ·フレームの前の前記非エラー ·フレーム力 外揷することによって生成され 、前記方法がさらに、
(6a)前記エラー'フレームの前の前記先行フレームがアタック信号であるかどうかを 検出するステップと、
(6b)フィルタバンク分析のために前記先行フレームから適切な領域を選択するステ ップと、
(6c)フィルタバンク分析を前記先行フレームからの前記選択領域に実行して、 K個 の先行サブバンドと呼ばれる K個のサブバンドを取得するステップと、
(6d)エラ一'サブバンドと呼ばれる、エラ一'フレームの各前記エラ一'サブバンドの 重要度を判定するステップと、
(6e)外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの次数を判定するス テツプと、
(6D外挿フィルタ係数と呼ばれる、外挿処理に使用される前記先行サブバンドを使 用してフィルタ係数を算出するステップと、
(6g)予測可能性レベル Prと呼ばれる、前記先行サブバンドがどの程度予測可能で あるかを判定するステップと、
(6h)外揷フィルタ次数 FOと呼ばれる、前記予測可能性レベルに基づいて外揷フィ ルタの前記フィルタ次数を調整するステップと、
(61)前記エラー ·サブバンドの置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
[0072] 本発明の第 7の態様は、ステップ (IDに記載の前記信号処理力 信号レベルの急激 な変化により生じるアーティファクトを低減するために信号レベルを先行フレームに近 接させるよう前記置換フレームの信号を調整することによって実行されることを特徴と する方法である。
[0073] 本発明の第 8の態様は、ステップ (lg)に記載の前記境界スムージングが、逆方向外 揷を使用して後続フレーム力 サンプルの短 、セグメントを生成し、次 、で前記セグ メントを前記置換フレームとクロスフェードおよび混合して境界不連続の問題により生 じるアーティファクトを軽減することによって達成されることを特徴とする方法である。
[0074] 本発明の第 9の態様は、ステップ (6b)に記載の前記適切な領域が、前記先行フレー ム内のアタック信号の開始力 前記先行フレームの終了までの領域である力、または 前記アタック信号が検出されない場合に前記適切な領域が前記先行フレーム全体 であることを特徴とする方法である。
[0075] 本発明の第 10の態様は、ステップ (6c)に記載の前記サブバンドの帯域幅が、高い 周波数の領域またはあらゆる可能な構成に比べて低い周波数領域力 、さい前記帯 域幅を持つように等しくても等しくなくてもよ 、ことを特徴とする方法である。
[0076] 本発明の第 11の態様は、ステップ (6d)に記載の各前記エラー ·サブバンドの前記重 要度が、前記先行非エラー'フレームに対する前記サブバンドの寄与がどの程度重 要であるかによって決まることを特徴とする方法である。
[0077] 本発明の第 12の態様は、ステップ (6e)に記載の前記フィルタ次数力 本発明の第 6 の態様のステップ (6b)において選択された前記領域の長さをフィルタバンク分析のサ ブバンドの数で除算することにより算出されることを特徴とする方法である。
[0078] 本発明の第 13の態様は、ステップ (6Dに記載の前記外挿フィルタ係数力 前記先行 サブバンドを入力として使用するバーグのアルゴリズムによって算出されることを特徴 とする方法である。なお、前記フィルタ係数は、前記先行サブバンドのサンプルを使 用してサンプルを外揷するために ARフィルタによって使用される。
[0079] 本発明の第 14の態様は、ステップ (6g)に記載の前記予測可能性レベル Pr力 Pr^E
/Eで示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余 E
0 1 1 に対する前記バーグのアルゴリズムの前に算出される前記予測剰余 Eの比率に比例
0
する、前記バーグのアルゴリズム力も算出される予測誤差残差力も導かれることを特 徴とする方法である。
[0080] 本発明の第 15の態様は、ステップ (6h)に記載の前記外挿フィルタ次数 FOが予測可 能性レベル Prに基づいて調整されることを特徴とし、前記外挿フィルタ次数力 予測 可能性レベルが高ければそれに応じて外挿フィルタの次数も減少する力またはその 逆となるような、 FO (l/Pr)で示されるように、前記予測可能性レベルの値に反比例 することを特徴とする方法である。
[0081] 本発明の第 16の態様は、ステップ (60に記載の前記置換サブバンドが、前記重要度 の条件および前記先行サブバンドの前記予測可能性レベルに応じて生成され、前 記方法がさらに、
(16a)前記エラー'サブバンドが、ステップ (6d)において重要として分類され、前記予 測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外挿 を使用して前記エラー ·サブバンドの前記置換サブバンドを生成するステップと、 (16b)前記エラー ·サブバンドが、ステップ (6d)において重要として分類され、前記予 測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブバ ンド反復と呼ばれる、前記エラー ·サブバンドを前記先行非エラー ·フレーム力 の対 応する前記先行サブバンドに置き換える操作によって前記エラー ·サブバンドの前記 置換サブバンドを生成するステップと、
(16c)前記エラー'サブバンドが、ステップ (6d)において重要として分類され、前記予 測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー'サブバ ンドをノイズに置き換える操作によって前記エラー'サブバンドの前記置換サブバンド を生成するステップと、
(16d)前記エラー ·サブバンド力 ステップ (6d)において重要ではないと分類される 場合に、無音置換と呼ばれる、前記エラー'サブバンドをゼロに置き換える操作によ つて前記エラー ·サブバンドの前記置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
[0082] 本発明の第 17の態様は、ステップ (16a)に記載の前記置換サブバンドが、さらに予 測可能性レベル Prによって影響を受けることを特徴とし、外挿値が次のように前記予 測可能性レベル Prの縮小版によって調整されることを特徴とする方法である。
y、n) =、― a y、n— 1) - a y、n— 2) a y(n-p)) X a log(Pr) · · · (式 3)
1 2 p
[0083] 本発明の第 18の態様は、前記エラー'フレームの前の非エラー'フレーム力も外揷 を行うことによりエラー'フレームの置換フレームを生成する方法であって、前記方法 が、
(18a)前記エラー'フレームの前の前記先行フレームがアタック信号であるかどうか を検出するステップと、
(18b)分析のために前記先行フレームから適切な領域を選択するステップと、
(18c)フィルタバンク分析を前記先行フレームからの前記選択領域に実行して、 K個 の先行サブバンドと呼ばれる K個のサブバンドを取得するステップと、
(18d)エラ一'サブバンドと呼ばれる、エラ一'フレームの各前記エラ一'サブバンド の重要度を判定するステップと、
(18e)外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの次数を判定するス テツプと、
(181)外挿フィルタ係数と呼ばれる、外挿処理に使用される前記先行サブバンドを 使用してフィルタ係数を算出するステップと、
(18g)予測可能性レベルと呼ばれる、前記先行サブバンドがどの程度予測可能で あるかを判定するステップと、
(18h)前記予測可能性レベルに基づ!/、て外揷フィルタの前記フィルタ次数を調整 するステップと、
(181)前記エラー ·サブバンドの置換サブバンドを生成するステップと、
を含む方法である。
[0084] 本発明の第 19の態様は、ステップ (18b)に記載の前記適切な領域が、前記先行フレ ーム内のアタック信号の開始力 前記先行フレームの終了までの領域である力、また は前記アタック信号が検出されない場合に前記適切な領域が前記先行フレーム全 体であることを特徴とする方法である。
[0085] 本発明の第 20の態様は、ステップ (18c)に記載の前記サブバンドの帯域幅が、高い 周波数の領域またはあらゆる可能な構成に比べて低い周波数の領域が小さい前記 帯域幅を持つように等しくても等しくなくてもよ!、ことを特徴とする方法である。
[0086] 本発明の第 21の態様は、ステップ (18d)に記載の各前記エラー.サブバンドの前記 重要度が、前記先行非エラー'フレームに対する前記サブバンドの寄与がどの程度 重要であるかによって決まることを特徴とする方法である。
[0087] 本発明の第 22の態様は、ステップ (18e)に記載の前記フィルタ次数力 ステップ
(18b)において選択された前記領域の長さをフィルタバンク分析のサブバンドの数で 除算することにより算出されることを特徴とする方法である。
[0088] 本発明の第 23の態様は、ステップ (18Dに記載の前記外挿フィルタ係数力 前記先 行サブバンドを入力として使用するバーグのアルゴリズムによって算出されることを特 徴とする方法である。なお、前記フィルタ係数は、前記先行サブバンドのサンプルを 使用してサンプルを外揷するために ARフィルタによって使用される。
[0089] 本発明の第 24の態様は、ステップ (18g)に記載の前記予測可能性レベル Pr力 Pr^ E /Eで示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余 E に対する前記バーグのアルゴリズムの前に算出される前記予測剰余 Eの比率に比
1 0
例する、前記バーグのアルゴリズム力も算出される予測誤差残差力も導かれることを 特徴とする方法である。
[0090] 本発明の第 25の態様は、ステップ (18h)に記載の前記外挿フィルタ次数 FOが予測 可能性レベル Prに基づいて調整されることを特徴とし、前記外挿フィルタ次数力 予 測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少する力またはそ の逆となるような、 FO (l/Pr)で示されるように、前記予測可能性レベルの値に反比 例することを特徴とする方法である。
[0091] 本発明の第 26の態様は、ステップ (180に記載の前記置換サブバンドが、前記重要 度の条件および前記先行サブバンドの前記予測可能性レベルに応じて生成され、 前記方法がさらに、
(26a)前記エラー'サブバンドが、ステップ (16d)において重要として分類され、前記 予測可能性レベルが所定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外 挿を使用して前記エラー ·サブバンドの前記置換サブバンドを生成するステップと、
(26b)前記エラー ·サブバンド力 ステップ (16d)において重要として分類され、前記 予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブ バンド反復と呼ばれる、前記エラー ·サブバンドを前記先行非エラー ·フレームからの 対応する前記先行サブバンドに置き換える操作によって前記エラー'サブバンドの前 記置換サブバンドを生成するステップと、
(26c)前記エラー'サブバンドが、ステップ (16d)において重要として分類され、前記 予測可能性レベルが他の値である場合に、ノイズ置換と呼ばれる、前記エラー'サブ バンドをノイズに置き換える操作によって前記エラー'サブバンドの前記置換サブバ ンドを生成するステップと、
(26d)前記エラー ·サブバンド力 ステップ (16d)において重要ではないと分類される 場合に、無音置換と呼ばれる、前記エラー'サブバンドをゼロに置き換える操作によ つて前記エラー ·サブバンドの前記置換サブバンドを生成するステップと、
を含むことを特徴とする方法である。
[0092] 本発明の第 27の態様は、ステップ (26a)に記載の前記置換サブバンドが、さらに予 測可能性レベル Prによって影響を受けることを特徴とし、外挿値が次のように前記予 測可能性レベル Prの縮小版によって調整されることを特徴とする方法である。
y(n) = (- a y(n-l) - a y(n— 2) a y(n-p)) X a log(Pr) · · . (式 4)
1 2 p
[0093] 本発明の第 28の態様は、エラー'フレームの置換サブバンドを重要度の条件および 先行サブバンドの予測可能性レベル Prに基づ 、て生成する方法であって、前記方 法がさらに、
(28a)前記エラー ·サブバンドが重要として分類され、前記予測可能性レベルが所 定の閾値を超える場合に、サブバンド外挿と呼ばれる信号外揷を使用して前記エラ 一 ·サブバンドの前記置換サブバンドを生成するステップと、
(28b)前記エラー ·サブバンドが重要として分類され、前記予測可能性レベルが所 定の閾値をわずかに下回るがこれに近接する場合に、サブバンド反復と呼ばれる、 前記エラー ·サブバンドを前記先行非エラー ·フレームからの対応する前記先行サブ バンドに置き換える操作によって前記エラー'サブバンドの前記置換サブバンドを生 成するステップと、
(28c)前記エラー ·サブバンドが重要として分類され、前記予測可能性レベルが他 の値である場合に、ノイズ置換と呼ばれる、前記エラー'サブバンドをノイズに置き換 える操作によって前記エラー ·サブバンドの前記置換サブバンドを生成するステップ と、
(28d)前記エラー ·サブバンドが重要ではないと分類される場合に、無音置換と呼 ばれる、前記エラー ·サブバンドをゼロに置き換える操作によって前記エラー ·サブバ ンドの前記置換サブバンドを生成するステップと、
を含む方法である。
[0094] 本発明の第 29の態様は、ステップ (28a)に記載の前記置換サブバンド力 さらに予 測可能性レベル Prによって影響を受けることを特徴とし、外挿値が次のように前記予 測可能性レベル Prの縮小版によって調整されることを特徴とする方法である。
y、n) =、― a y、n— 1) - a y、n— 2) a y(n-p)) X a log(Pr) · · · (式 5)
1 2 p
[0095] 本発明の第 30の態様は、フィルタバンク分析のために非エラー'フレーム力 適切 な領域を選択する方法であって、前記方法が、 (30a)前記非エラー'フレーム内のアタック信号の突然の開始を検索するステップと
(30b)前記フィルタバンク分析のための領域を選択するステップと、
を含む方法である。
[0096] 本発明の第 31の態様は、アタック信号の前記開始が前記非エラー'フレーム内に存 在する場合に、ステップ (30b)にお 、て前記領域が前記アタック信号の開始から前記 非エラー ·フレームの終了まで選択される力、または前記非エラー ·フレームにァタツ ク信号が存在しな 、場合に、ステップ (30b)にお 、て前記非エラー ·フレームの領域全 体を選択することを特徴とする方法である。
[0097] 本発明の第 32の態様は、外挿フィルタのフィルタ次数を算出する方法であって、前 記方法が、
(32a)非エラー'フレーム内のアタック信号の突然の開始を検索するステップと、 (32b)フィルタ次数を導き出すための長さを算出するステップと、
(32c)前記長さをフィルタバンク分析のサブバンドの数で除算することにより前記フィ ルタ次数を算出するステップと、
を含む方法である。
[0098] 本発明の第 33の態様は、アタック信号の前記開始が前記非エラー'フレーム内に存 在する場合に、ステップ (32b)において前記長さが前記アタック信号の開始力 前記 非エラー ·フレームの終了まで選択される力、または前記非エラー ·フレームにァタツ ク信号が存在しな 、場合に、ステップ (32b)にお 、て前記非エラー ·フレームの領域全 体を長さとして選択することを特徴とする方法である。
[0099] 本発明の第 34の態様は、外挿フィルタの次数を調整する方法であって、前記方法 が、
(34a)外挿フィルタ次数と呼ばれる、外挿に使用されるフィルタの初期次数を設定 するステップと、
(34b)外揷フィルタ係数と呼ばれる、サブバンドの外揷処理に使用されるフィルタ係 数を算出するステップと、
(34c)予測可能性レベル Prと呼ばれる、前記サブバンドがどの程度予測可能である かを判定するステップと、
(34d)外揷フィルタ次数 FOと呼ばれる、前記予測可能性レベルに基づいて外揷フ ィルタの前記フィルタ次数を調整するステップと、
を含む方法である。
[0100] 本発明の第 35の態様は、ステップ (34b)に記載の前記外挿フィルタ係数が、前記サ ブバンドのサンプルを使用するバーグのアルゴリズムによって算出されることを特徴と する方法である。
[0101] 本発明の第 36の態様は、ステップ (34c)に記載の前記予測可能性レベル Pr力 Pr^ E /Eで示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余 E
0 1
に対する前記バーグのアルゴリズムの前に算出される前記予測剰余 Eの比率に比
1 0
例する、前記バーグのアルゴリズム力も算出される予測誤差残差力も導かれることを 特徴とする方法である。
[0102] 本発明の第 37の態様は、ステップ (34d)に記載の前記外挿フィルタ次数 FOが予測 可能性レベル Prに基づいて調整されることを特徴とし、前記外挿フィルタ次数力 予 測可能性レベルが高ければそれに応じて外挿フィルタの次数も減少する力またはそ の逆となるような、 FO (l/Pr)で示されるように、前記予測可能性レベルの値に反比 例することを特徴とする方法である。
[0103] 本発明の第 38の態様は、置換フレームを生成するためのサブバンド選択方法であ つて、前記方法が、
(38a)フレームに対する各前記エラー ·サブバンドの重要度を判定するステップと、 (38b)予測可能性レベル Prと呼ばれる、前記先行サブバンドがどの程度予測可能 であるかを判定するステップと、
(38c)サブバンド置換方法を選択するステップと、
を含む方法である。
[0104] 本発明の第 39の態様は、ステップ (38a)に記載の各前記サブバンドの前記重要度が 、前記フレームに対する前記サブバンドの寄与がどの程度重要であるかによって決ま ることを特徴とする方法である。
[0105] 本発明の第 40の態様は、ステップ (38b)に記載の前記予測可能性レベル Pr力 Pr^ E /Eで示されるように、前記バーグのアルゴリズムの後に算出される前記予測剰余 E
0 1
に対する前記バーグのアルゴリズムの前に算出される前記予測剰余 Eの比率に比
1 0
例する、前記バーグのアルゴリズム力も算出される予測誤差残差力も導かれることを 特徴とする方法である。
[0106] 本発明の第 41の態様は、ステップ (38c)に記載の前記置換方法が、前記重要度の 条件および前記サブバンドの前記予測可能性レベルに基づ!/、て選択され、前記方 法がさらに、
(41a)前記サブバンドが、ステップ (38a)において重要として分類され、前記予測可 能性レベルが所定の閾値を超える場合に、信号外挿方法を選択するステップと、
(41b)前記エラー ·サブバンドが、ステップ (38a)において重要として分類され、前記 予測可能性レベルが所定の閾値をわずかに下回るがこれに近接する場合に、サブ バンド反復方法を選択するステップと、
(41c)前記エラー'サブバンドが、ステップ (38a)において重要として分類され、前記 予測可能性レベルが他の値である場合に、ノイズ置換方法を選択するステップと、
(41d)前記エラー ·サブバンド力 ステップ (38a)において重要ではないと分類される 場合に、無音置換方法を選択するステップと、
を含むことを特徴とする方法である。
[0107] なお、上記の各機能ブロックは、典型的には集積回路である LSIとして実現される。
これらは個別に 1チップィ匕されて 、ても良 、し、一部または全てを含むように 1チップ 化されていても良い。
[0108] また、ここでは LSIとした力 集積度の違いによって、 IC、システム LSI、スーパー L
SI、ウノレ卜ラ LSI等と呼称されることちある。
[0109] また、集積回路化の手法は LSIに限るものではなぐ専用回路または汎用プロセッ サで実現しても良い。 LSI製造後に、プログラム化することが可能な FPGA (Field
Programmable Gate Array)や、 LSI内部の回路セルの接続もしくは設定を再構成可 能なリコンフィギユラブル ·プロセッサを利用しても良!、。
[0110] さらに、半導体技術の進歩または派生する別技術により、 LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って も良い。バイオ技術の適応等が可能性としてあり得る。
[0111] 本明細書は、 2004年 3月 5日出願の特願 2004— 061797に基づく。この内容はす ベてここに含めておく。
産業上の利用可能性
[0112] 本発明は、送信、配信、および記憶媒体において、損失または破損したデジタル' オーディオ信号 (エラー)の隠蔽技術として有用である。

Claims

請求の範囲
[1] エラー'フレームが発生した場合に当該エラー'フレームよりも前の非エラー'フレー ムを検出する検出手段と、
検出された非エラ一'フレームが音声フレームであるかオーディオ 'フレームである か判断する判断手段と、
音声フレームと判断された非エラー.フレームから、音声フレームに適した処理によ つて前記エラー ·フレームの置換フレームを生成する置換音声フレーム生成手段と、 オーディオ ·フレームと判断された非エラ一'フレームから、オーディオ ·フレームに 適した処理によって前記エラー ·フレームの置換フレームを生成する置換オーディオ 'フレーム生成手段と、
前記置換音声フレーム生成手段または前記置換オーディオ 'フレーム生成手段に よって生成された置換フレームを前記エラー ·フレームと置換して、前記エラー ·フレ ームを隠蔽する置換手段と、
を具備するエラー隠蔽装置。
[2] 前記置換オーディオ 'フレーム生成手段は、
前記非エラー'フレームに含まれる過渡信号の開始位置を検出する過渡信号検出 手段と、
前記置換フレームの生成において、前記非エラー'フレームの中から、前記過渡信 号検出手段によって検出された過渡信号の開始位置よりも前の部分を除外する除外 手段と、
を具備する請求項 1記載のエラー隠蔽装置。
[3] 前記置換オーディオ 'フレーム生成手段は、
前記オーディオ 'フレームと判断された非エラー'フレームを複数の周波数帯域の 信号に分割する分割手段と、
前記複数の周波数帯域の信号に対し外揷を行うことによって、前記置換フレームを 生成する生成手段と、
を具備する請求項 1記載のエラー隠蔽装置。
[4] 前記置換オーディオ 'フレーム生成手段は、 前記オーディオ 'フレームと判断された非エラー'フレームを複数の周波数帯域の 信号に分割する分割手段と、
前記複数の周波数帯域の信号のそれぞれについて、周期性の程度を算出する算 出手段と、
前記算出手段によって算出された周期性の程度に対応した処理を、前記複数の周 波数帯域の信号のそれぞれに施すことによって、前記置換フレームを生成する生成 手段と、
を具備する請求項 1記載のエラー隠蔽装置。
[5] 前記生成手段は、
前記算出手段によって算出された周期性の程度が低い場合、当該信号をノイズで 置換、または前記分割手段によって得られた他の信号で置換し、
前記算出手段によって算出された周期性の程度が高い場合、当該信号に対し外 揷を行う、
請求項 4記載のエラー隠蔽装置。
[6] 前記置換音声フレーム生成手段は、
前記非エラー ·フレームの一部の複製を生成する複製手段と、
前記複製のピッチ周期が前記非エラー'フレームのピッチ周期と一致するように、前 記複製の前記エラー'フレームに対する置換位置を調整する調整手段と、
を具備する請求項 1記載のエラー隠蔽装置。
[7] 前記置換音声フレーム生成手段は、
前記非エラー ·フレームの一部を複製する複製手段と、
前記複製手段によって得られた複製のピッチ周期が前記非エラー'フレームのピッ チ周期と一致するように、前記複製手段における複製区間を調整する調整手段と、 前記複製手段によって得られた複製を用いて前記置換フレームを生成する生成手 段と、
を具備する請求項 1記載のエラー隠蔽装置。
[8] 前記置換手段は、
前記置換音声フレーム生成手段または前記置換オーディオ 'フレーム生成手段に よって生成された置換フレームのフレーム境界のスムージングを行う、 請求項 1記載のエラー隠蔽装置。
[9] 請求項 1記載のエラー隠蔽装置を具備する通信端末装置。
[10] エラー'フレームが発生した場合に当該エラー'フレームよりも前の非エラー'フレー ムを検出する検出ステップと、
検出された非エラ一'フレームが音声フレームであるかオーディオ 'フレームである か判断する判断ステップと、
音声フレームと判断された非エラー.フレームから、音声フレームに適した処理によ つて前記エラ一.フレームの置換フレームを生成する置換音声フレーム生成ステップ と、
オーディオ ·フレームと判断された非エラ一'フレームから、オーディオ ·フレームに 適した処理によって前記エラー ·フレームの置換フレームを生成する置換オーディオ 'フレーム生成ステップと、
前記置換音声フレーム生成ステップまたは前記置換オーディオ ·フレーム生成ステ ップによって生成された置換フレームを前記エラー 'フレームと置換して、前記エラー 'フレームを隠蔽する置換ステップと、
を具備するエラー隠蔽方法。
PCT/JP2005/003407 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法 WO2005086138A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AT05719724T ATE523876T1 (de) 2004-03-05 2005-03-01 Fehlerverbergungseinrichtung und fehlerverbergungsverfahren
EP05719724A EP1722359B1 (en) 2004-03-05 2005-03-01 Error conceal device and error conceal method
JP2006510676A JP4744438B2 (ja) 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法
US10/591,601 US7809556B2 (en) 2004-03-05 2005-03-01 Error conceal device and error conceal method
CN2005800071542A CN1930607B (zh) 2004-03-05 2005-03-01 差错隐藏装置以及差错隐藏方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004061797 2004-03-05
JP2004-061797 2004-03-05

Publications (1)

Publication Number Publication Date
WO2005086138A1 true WO2005086138A1 (ja) 2005-09-15

Family

ID=34918086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/003407 WO2005086138A1 (ja) 2004-03-05 2005-03-01 エラー隠蔽装置およびエラー隠蔽方法

Country Status (6)

Country Link
US (1) US7809556B2 (ja)
EP (1) EP1722359B1 (ja)
JP (1) JP4744438B2 (ja)
CN (1) CN1930607B (ja)
AT (1) ATE523876T1 (ja)
WO (1) WO2005086138A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043642A1 (ja) * 2005-10-14 2007-04-19 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法
WO2007143953A1 (fr) * 2006-06-08 2007-12-21 Huawei Technologies Co., Ltd. Dispositif et procédé pour dissimulation de trames perdues
JP2008182380A (ja) * 2007-01-23 2008-08-07 Alpine Electronics Inc オーディオ装置
JP2009175693A (ja) * 2007-11-05 2009-08-06 Huawei Technologies Co Ltd 減衰率を取得する方法および装置
JP2009290567A (ja) * 2008-05-29 2009-12-10 Canon Inc データ送信装置及びデータ受信装置
JP2010511201A (ja) * 2006-11-28 2010-04-08 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
JP2013519920A (ja) * 2010-02-11 2013-05-30 クゥアルコム・インコーポレイテッド サブ帯域コード化復号器における損失パケットの隠蔽
JP2013527479A (ja) * 2009-06-29 2013-06-27 オーディエンス，インコーポレイテッド 破損したオーディオ信号の修復
JP2016510432A (ja) * 2013-02-05 2016-04-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） オーディオフレーム損失のコンシールメントを制御する方法及び装置
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US10762907B2 (en) 2016-01-29 2020-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal
JP2021502608A (ja) * 2017-11-10 2021-01-28 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 異なる損失隠蔽ツールのセットをサポートするオーディオデコーダ
US11127408B2 (en) 2017-11-10 2021-09-21 Fraunhofer—Gesellschaft zur F rderung der angewandten Forschung e.V. Temporal noise shaping
US11217261B2 (en) 2017-11-10 2022-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding audio signals
US11315583B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11380341B2 (en) 2017-11-10 2022-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
US11462226B2 (en) 2017-11-10 2022-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
US11545167B2 (en) 2017-11-10 2023-01-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
US11562754B2 (en) 2017-11-10 2023-01-24 Fraunhofer-Gesellschaft Zur F Rderung Der Angewandten Forschung E.V. Analysis/synthesis windowing function for modulated lapped transformation
US12033646B2 (en) 2017-11-10 2024-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
EP2153436B1 (en) * 2007-05-14 2014-07-09 Freescale Semiconductor, Inc. Generating a frame of audio data
CN101308655B (zh) * 2007-05-16 2011-07-06 展讯通信（上海）有限公司 一种音频编解码方法与装置
CN101325537B (zh) * 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
KR101403340B1 (ko) * 2007-08-02 2014-06-09 삼성전자주식회사 변환 부호화 방법 및 장치
US20090048828A1 (en) * 2007-08-15 2009-02-19 University Of Washington Gap interpolation in acoustic signals using coherent demodulation
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8126578B2 (en) * 2007-09-26 2012-02-28 University Of Washington Clipped-waveform repair in acoustic signals using generalized linear prediction
DE602007004504D1 (de) * 2007-10-29 2010-03-11 Harman Becker Automotive Sys Partielle Sprachrekonstruktion
CN101488344B (zh) * 2008-01-16 2011-09-21 华为技术有限公司 一种量化噪声泄漏控制方法及装置
MX2010009932A (es) 2008-03-10 2010-11-30 Fraunhofer Ges Forschung Metodo y dispositivo para manipular una señal de audio que tiene un evento transitorio.
CN100550133C (zh) * 2008-03-20 2009-10-14 华为技术有限公司 一种语音信号处理方法及装置
US20100185441A1 (en) * 2009-01-21 2010-07-22 Cambridge Silicon Radio Limited Error Concealment
US8676573B2 (en) * 2009-03-30 2014-03-18 Cambridge Silicon Radio Limited Error concealment
US8316267B2 (en) 2009-05-01 2012-11-20 Cambridge Silicon Radio Limited Error concealment
IL200694A (en) * 2009-09-02 2014-04-30 Gil Levy A method and device for transmitting frames in a communication network
JP2011237753A (ja) * 2010-04-14 2011-11-24 Sony Corp 信号処理装置および方法、並びにプログラム
PL3518234T3 (pl) 2010-11-22 2024-04-08 Ntt Docomo, Inc. Urządzenie i sposób kodowania audio
EP2464145A1 (en) 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a downmixer
AU2012217215B2 (en) * 2011-02-14 2015-05-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for error concealment in low-delay unified speech and audio coding (USAC)
TWI483245B (zh) 2011-02-14 2015-05-01 Fraunhofer Ges Forschung 利用重疊變換之資訊信號表示技術
TR201903388T4 (tr) 2011-02-14 2019-04-22 Fraunhofer Ges Forschung Bir ses sinyalinin parçalarının darbe konumlarının şifrelenmesi ve çözülmesi.
EP2676268B1 (en) 2011-02-14 2014-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing a decoded audio signal in a spectral domain
EP2676270B1 (en) 2011-02-14 2017-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding a portion of an audio signal using a transient detection and a quality result
MY165853A (en) 2011-02-14 2018-05-18 Fraunhofer Ges Forschung Linear prediction based coding scheme using spectral domain noise shaping
TWI610296B (zh) 2011-10-21 2018-01-01 三星電子股份有限公司 訊框錯誤修補裝置及音訊解碼裝置
EP2954516A1 (en) 2013-02-05 2015-12-16 Telefonaktiebolaget LM Ericsson (PUBL) Enhanced audio frame loss concealment
HUE045991T2 (hu) 2013-02-05 2020-01-28 Ericsson Telefon Ab L M Hangkeret-elvesztés elrejtése
WO2014202770A1 (en) 2013-06-21 2014-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for obtaining spectrum coefficients for a replacement frame of an audio signal, audio decoder, audio receiver and system for transmitting audio signals
MY181026A (en) 2013-06-21 2020-12-16 Fraunhofer Ges Forschung Apparatus and method realizing improved concepts for tcx ltp
KR102132326B1 (ko) * 2013-07-30 2020-07-09 삼성전자 주식회사 통신 시스템에서 오류 은닉 방법 및 장치
WO2015174912A1 (en) 2014-05-15 2015-11-19 Telefonaktiebolaget L M Ericsson (Publ) Audio signal classification and coding
PL3367380T3 (pl) * 2014-06-13 2020-06-29 Telefonaktiebolaget Lm Ericsson (Publ) Obsługa sekwencji błędów ramki
US20180213294A1 (en) * 2017-01-23 2018-07-26 Ramp Holdings, Inc. Recovering from gaps in video transmission for web browser-based players
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203648A (ja) * 2000-01-20 2001-07-27 Sony Corp 送信方法及び装置、受信方法及び装置、配信方法及びシステム、再生方法及び装置、記録媒体
JP2003218932A (ja) * 2001-11-15 2003-07-31 Matsushita Electric Ind Co Ltd エラー隠蔽装置及び方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1321645C (en) * 1988-09-28 1993-08-24 Akira Ichikawa Method and system for voice coding based on vector quantization
US5384891A (en) * 1988-09-28 1995-01-24 Hitachi, Ltd. Vector quantizing apparatus and speech analysis-synthesis system using the apparatus
IT1241358B (it) * 1990-12-20 1994-01-10 Sip Sistema di codifica del segnale vocale con sottocodice annidato
ATE294441T1 (de) * 1991-06-11 2005-05-15 Qualcomm Inc Vocoder mit veränderlicher bitrate
SE502244C2 (sv) 1993-06-11 1995-09-25 Ericsson Telefon Ab L M Sätt och anordning för avkodning av ljudsignaler i ett system för mobilradiokommunikation
US5574825A (en) * 1994-03-14 1996-11-12 Lucent Technologies Inc. Linear prediction coefficient generation during frame erasure or packet loss
US5450449A (en) * 1994-03-14 1995-09-12 At&T Ipm Corp. Linear prediction coefficient generation during frame erasure or packet loss
US5615298A (en) * 1994-03-14 1997-03-25 Lucent Technologies Inc. Excitation signal synthesis during frame erasure or packet loss
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
GB9520445D0 (en) * 1995-10-06 1995-12-06 British Telecomm Convolutional codes
JP3617503B2 (ja) * 1996-10-18 2005-02-09 三菱電機株式会社 音声復号化方法
JP2000267699A (ja) * 1999-03-19 2000-09-29 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化方法および装置、そのプログラム記録媒体、および音響信号復号装置
US6597961B1 (en) * 1999-04-27 2003-07-22 Realnetworks, Inc. System and method for concealing errors in an audio transmission
DE19921122C1 (de) * 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
US6850559B1 (en) * 1999-06-28 2005-02-01 At&T Corp. System and methods for transmitting data
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
DE60222445T2 (de) * 2001-08-17 2008-06-12 Broadcom Corp., Irvine Verfahren zum verbergen von bitfehlern für die sprachcodierung
US7143032B2 (en) 2001-08-17 2006-11-28 Broadcom Corporation Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform
CN1323532C (zh) * 2001-11-15 2007-06-27 松下电器产业株式会社 错误隐蔽装置和方法
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203648A (ja) * 2000-01-20 2001-07-27 Sony Corp 送信方法及び装置、受信方法及び装置、配信方法及びシステム、再生方法及び装置、記録媒体
JP2003218932A (ja) * 2001-11-15 2003-07-31 Matsushita Electric Ind Co Ltd エラー隠蔽装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOTO M. ET AL: "Audio Frame Sonshitsu Hosho Hoho no kento.", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS., 8 March 2004 (2004-03-08), pages 143, XP008114506 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them
WO2007043642A1 (ja) * 2005-10-14 2007-04-19 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法
JP5142723B2 (ja) * 2005-10-14 2013-02-13 パナソニック株式会社 スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法
WO2007143953A1 (fr) * 2006-06-08 2007-12-21 Huawei Technologies Co., Ltd. Dispositif et procédé pour dissimulation de trames perdues
US7778824B2 (en) 2006-06-08 2010-08-17 Huawei Technologies Co., Ltd. Device and method for frame lost concealment
JP2014160280A (ja) * 2006-11-28 2014-09-04 Samsung Electronics Co Ltd フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
US10096323B2 (en) 2006-11-28 2018-10-09 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus and decoding method and apparatus using the same
JP2017078870A (ja) * 2006-11-28 2017-04-27 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿装置
JP2010511201A (ja) * 2006-11-28 2010-04-08 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
US9424851B2 (en) 2006-11-28 2016-08-23 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus and decoding method and apparatus using the same
US8843798B2 (en) 2006-11-28 2014-09-23 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus and decoding method and apparatus using the same
JP2008182380A (ja) * 2007-01-23 2008-08-07 Alpine Electronics Inc オーディオ装置
US8320265B2 (en) 2007-11-05 2012-11-27 Huawei Technologies Co., Ltd. Method and apparatus for obtaining an attenuation factor
JP2010176142A (ja) * 2007-11-05 2010-08-12 Huawei Technologies Co Ltd 減衰率を取得する方法および装置
JP2009175693A (ja) * 2007-11-05 2009-08-06 Huawei Technologies Co Ltd 減衰率を取得する方法および装置
JP2009290567A (ja) * 2008-05-29 2009-12-10 Canon Inc データ送信装置及びデータ受信装置
JP2013527479A (ja) * 2009-06-29 2013-06-27 オーディエンス，インコーポレイテッド 破損したオーディオ信号の修復
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
JP2013519920A (ja) * 2010-02-11 2013-05-30 クゥアルコム・インコーポレイテッド サブ帯域コード化復号器における損失パケットの隠蔽
JP2016510432A (ja) * 2013-02-05 2016-04-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） オーディオフレーム損失のコンシールメントを制御する方法及び装置
JP2017097365A (ja) * 2013-02-05 2017-06-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） オーディオフレーム損失のコンシールメントを制御する方法及び装置
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US9978388B2 (en) 2014-09-12 2018-05-22 Knowles Electronics, Llc Systems and methods for restoration of speech components
US10762907B2 (en) 2016-01-29 2020-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
JP2021502608A (ja) * 2017-11-10 2021-01-28 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 異なる損失隠蔽ツールのセットをサポートするオーディオデコーダ
US11127408B2 (en) 2017-11-10 2021-09-21 Fraunhofer—Gesellschaft zur F rderung der angewandten Forschung e.V. Temporal noise shaping
US11217261B2 (en) 2017-11-10 2022-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding audio signals
US11315580B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
US11315583B2 (en) 2017-11-10 2022-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
JP7073492B2 (ja) 2017-11-10 2022-05-23 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 異なる損失隠蔽ツールのセットをサポートするオーディオデコーダ
US11380341B2 (en) 2017-11-10 2022-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
US11380339B2 (en) 2017-11-10 2022-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11386909B2 (en) 2017-11-10 2022-07-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US11462226B2 (en) 2017-11-10 2022-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
US11545167B2 (en) 2017-11-10 2023-01-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
US11562754B2 (en) 2017-11-10 2023-01-24 Fraunhofer-Gesellschaft Zur F Rderung Der Angewandten Forschung E.V. Analysis/synthesis windowing function for modulated lapped transformation
US12033646B2 (en) 2017-11-10 2024-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation

Also Published As

Publication number Publication date
EP1722359A4 (en) 2009-09-02
EP1722359B1 (en) 2011-09-07
EP1722359A1 (en) 2006-11-15
JPWO2005086138A1 (ja) 2008-01-24
US7809556B2 (en) 2010-10-05
US20070198254A1 (en) 2007-08-23
CN1930607B (zh) 2010-11-10
ATE523876T1 (de) 2011-09-15
CN1930607A (zh) 2007-03-14
JP4744438B2 (ja) 2011-08-10

Similar Documents

Publication Publication Date Title
JP4744438B2 (ja) エラー隠蔽装置およびエラー隠蔽方法
KR101290425B1 (ko) 소거된 스피치 프레임을 복원하는 시스템 및 방법
KR101246991B1 (ko) 오디오 신호 처리 방법
JP5289320B2 (ja) ピッチ周期訂正を用いたデジタルオーディオ信号の損失ブロックの合成
JP5587405B2 (ja) スピーチフレーム内の情報のロスを防ぐためのシステムおよび方法
JP4603091B2 (ja) 高帯域信号にフレーム消失の隠蔽を行う方法および装置
JP4864201B2 (ja) 音声信号の量子化ノイズをマスクするためのシステムと方法
WO2002021515A1 (fr) Dissimulation d&#39;erreurs de transmission dans un signal audio
EP2277172A1 (fr) Dissimulation d&#39;erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique
EP2458585B1 (en) Error concealment for sub-band coded audio signals
CN1418361A (zh) 宽带信号传输系统
JP2013527479A (ja) 破損したオーディオ信号の修復
JPWO2005036527A1 (ja) スペクトル包絡線符号化のための時間境界及び周波数分解能の決定方法
RU2328775C2 (ru) Улучшенное маскирование ошибки в области частот
WO1999040573A1 (fr) Procede de decodage d&#39;un signal audio avec correction des erreurs de transmission
RU2437170C2 (ru) Ослабление чрезмерной тональности, в частности, для генерирования возбуждения в декодере при отсутствии информации
JP4825944B2 (ja) レート判定誤りとそのアーティファクトの低減方法及び装置
JP5390690B2 (ja) 音声コーデックの品質向上装置およびその方法
KR100792209B1 (ko) 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치
KR101452635B1 (ko) Ｌｍｓ 예측기를 이용한 패킷 손실 은닉 방법 및 이를 기록한 기록매체
CN105632504B (zh) Adpcm编解码器及adpcm解码器丢包隐藏的方法
Ofir Packet loss concealment for audio streaming
KR101551236B1 (ko) 패킷 손실 은닉에서의 적응형 뮤팅 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006510676

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2005719724

Country of ref document: EP

Ref document number: 200580007154.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWE Wipo information: entry into national phase

Ref document number: 2007198254

Country of ref document: US

Ref document number: 10591601

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2005719724

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10591601

Country of ref document: US