KR101291198B1 - The Apparatus For Frame Error Concealment - Google Patents
The Apparatus For Frame Error Concealment Download PDFInfo
- Publication number
- KR101291198B1 KR101291198B1 KR1020120109728A KR20120109728A KR101291198B1 KR 101291198 B1 KR101291198 B1 KR 101291198B1 KR 1020120109728 A KR1020120109728 A KR 1020120109728A KR 20120109728 A KR20120109728 A KR 20120109728A KR 101291198 B1 KR101291198 B1 KR 101291198B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- error
- signal
- previous
- block
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 250
- 230000002194 synthesizing effect Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 15
- 239000002131 composite material Substances 0.000 description 7
- 238000012886 linear function Methods 0.000 description 7
- 238000012885 constant function Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
프레임 오류 은닉방법 및 장치가 개시된다. 이 프레임 오류 은닉방법 및 장치는 오류가 발생된 프레임과 유사한 복수 개의 이전 신호들을 합성하여 새로운 신호를 생성하고, 생성된 신호를 이용하여 오류가 발생된 프레임의 신호를 복원함으로써 동일 신호를 반복함으로 인한 모듈레이션 노이즈의 발생을 방지할 수 있다.Frame error concealment methods and apparatus are disclosed. This frame error concealment method and apparatus generates a new signal by synthesizing a plurality of previous signals similar to the frame in which the error occurred, and recovers the signal of the frame in which the error occurred using the generated signal, thereby repeating the same signal. Generation of modulation noise can be prevented.
Description
본 발명은 시간 영역(time domain)에서 프레임에 발생된 오류(error)를 은닉(concealment)하는 방법 및 장치에 관한 것으로서, 보다 상세하게는 오류가 발생된 프레임(frame)의 이전 프레임 및/또는 다음 프레임의 신호를 이용하여 오류가 발생된 프레임의 신호를 복원함으로써 프레임에 발생된 오류를 은닉하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for concealing an error occurring in a frame in a time domain, and more particularly, a previous frame and / or a next frame of an errored frame. A method and apparatus for concealing an error generated in a frame by recovering a signal of an errored frame using a signal of the frame.
유무선 망을 통하여 부호화된 오디오 신호를 전송하는 과정에서 일부 패킷이 손실되거나 왜곡되는 경우, 전송상의 오류로 인해 복호화된 오디오 신호의 일부 프레임에 오류가 발생될 수 있다. 프레임에 발생된 오류를 은닉하는 방법은 주파수 영역(frequency domain)에서 은닉하는 방법과 시간 영역(time domain)에서 은닉하는 방법으로 나뉜다. 주파수 영역에서 프레임 오류를 은닉하는 방법에는 이전 프레임(previous frame)의 스펙트럼 계수(spectrum coefficient)를 오류가 발생된 프레임에서 재사용함으로써 프레임 오류를 은닉하는 반복법, 이전 프레임과 다음 프레임(next frame)의 스펙트럼 계수를 보간하여 오류가 발생된 프레임의 스펙트럼 계수를 복원함으로써 프레임 오류를 은닉하는 보간법 등이 있다. 그러나 시간 영역 신호를 주파수 영역으로 변환하는 수정 이산 여현 변환(Modulated Discrete Cosine Transformation, 이하 'MDCT'라함))의 특성상 이전 프레임과 현재 프레임의 윈도우 타입(window type)이 다르거나 버스트 오류(burst error)가 발생한 경우에는 주파수 영역에서 반복법(repetition) 또는 보간법(interpolation) 등을 사용하여 프레임 오류를 은닉할 수 없게 된다. 따라서 이러한 경우에는 시간 영역에서 프레임 오류를 은닉할 필요가 있다.If some packets are lost or distorted during the transmission of the encoded audio signal through the wired / wireless network, errors may occur in some frames of the decoded audio signal due to transmission errors. A method of concealing an error generated in a frame is divided into a method of concealing in the frequency domain and a method of concealing in the time domain. The method of concealing frame errors in the frequency domain includes repetition of concealing frame errors by reusing the spectrum coefficients of the previous frame in the frame in which the error occurred, the spectrum of the previous frame and the next frame. Interpolation methods conceal frame errors by restoring spectral coefficients of frames in which an error has occurred by interpolating the coefficients. However, due to the nature of the Modified Discrete Cosine Transformation (MDCT), which transforms the time-domain signal into the frequency domain, the window type of the previous frame and the current frame is different, or a burst error When is generated, frame errors cannot be concealed by using repetition or interpolation in the frequency domain. In this case, therefore, it is necessary to conceal frame errors in the time domain.
시간 영역에서 프레임 오류를 은닉하는 방법에는 이전 프레임의 시간 영역 샘플(time domain sample)을 오류가 발생한 프레임에서 반복하여 재생하므로 프레임 오류를 은닉하는 반복법(repetition), 이전 프레임과 다음 프레임의 시간 영역 샘플을 보간하여 오류가 발생한 프레임의 시간 영역 샘플(time domain sample)을 복원하는 보간법(interpolation), 기타 이전 프레임의 신호를 분석하여 오류가 발생된 프레임의 신호를 복원하는 기타 다양한 방법이 있다. 그러나 시간 영역에서 반복 방식에 의해 프레임 오류를 은닉할 경우, 이전 프레임의 신호가 반복되는 구간이 길어지면 동일한 스펙트럼 신호의 반복으로 인한 변조 노이즈(modulation noise)가 발생되어 문제가 된다. 또한, 시간 영역에서 보간 방식은 다음 프레임을 참조하여 오류를 은닉해야 하므로 오류가 발생된 프레임 구간이 길어지는 경우에는 사용하기 어려운 문제가 있다. 그리고 기타 방법들은 이전 프레임의 신호를 분석하기 위한 복잡도가 증가하는 문제가 있다.The method of concealing frame errors in the time domain includes the repetition of concealing frame errors, the repetition of concealing frame errors, and the time domain samples of previous and next frames. Interpolation to restore a time domain sample of an error frame by interpolating, and various other methods of restoring a signal of an error frame by analyzing a signal of another previous frame. However, when the frame error is concealed by the repetition method in the time domain, if a section in which the signal of the previous frame is repeated is long, modulation noise due to repetition of the same spectrum signal is generated. In addition, in the time domain, the interpolation method needs to conceal an error with reference to the next frame, which makes it difficult to use the frame in which the error occurs. And other methods have a problem of increasing complexity for analyzing the signal of the previous frame.
따라서 본 발명이 이루고자 하는 기술적 과제는 복수 개의 이전 신호를 합성하여 오류가 발생된 프레임의 신호를 복원함으로써 변조 노이즈 발생을 방지할 수 있는 중첩(overlapping)방식에 의한 프레임 오류 은닉방법 및 장치를 제공하는 것이다.Accordingly, an aspect of the present invention is to provide a method and apparatus for concealing a frame error by an overlapping method that can prevent modulation noise by restoring a signal of an error frame by synthesizing a plurality of previous signals. will be.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는 본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방식을 포함한 시간 영역의 다수의 프레임 오류 은닉방식들을 적절하게 조합하여 시간 영역에서 복수 개의 프레임들에 발생된 오류를 은닉하기 위한 은닉방식을 구성함으로써 오류가 발생된 프레임의 복원된 신호의 음질을 극대화할 수 있는 은닉방식 구성방법 및 장치를 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is an error generated in a plurality of frames in the time domain by appropriately combining a plurality of frame error concealment schemes in the time domain including the frame error concealment scheme by the overlapping scheme according to the present invention. The present invention provides a method and apparatus for concealing a method of maximizing sound quality of a restored signal of a frame in which an error is generated by constructing a concealing method for concealing a frame.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 본 발명에 따른 은닉방식 구성방법을 이용하여 복수 개의 프레임들에 발생된 오류를 은닉하기 위한 방식을 구성하고, 구성된 방식에 따라 프레임 오류를 은닉함으로써 오류가 발생된 프레임의 복원된 신호의 음질을 극대화할 수 있는 적응적인 프레임 오류 은닉(adaptive frame error concealment)방법 및 장치를 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is to configure a method for concealing errors occurring in a plurality of frames using the concealment method configuration method according to the present invention, by concealing a frame error according to the configured method It is an object of the present invention to provide an adaptive frame error concealment method and apparatus capable of maximizing the sound quality of a restored signal of an errored frame.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방법, 오류은닉방식 구성방법 및 적응적 프레임 오류 은닉방법 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것이다.In addition, another technical problem to be achieved by the present invention is a program for executing any one method of the frame error concealment method, the error concealment configuration method and the adaptive frame error concealment method by the overlapping method according to the present invention in a computer It is to provide a computer-readable recording medium that recorded the.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 중첩방식을 이용한 프레임 오류 은닉방법은 (a) 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 제1 및 제2 신호를 추출하는 단계; (b) 상기 추출된 제1 및 제2 신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 단계; 및 (c) 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 단계를 포함한다.Frame error concealment method using the overlapping method according to the present invention for solving the technical problem is (a) extracts the first and second signals similar to the signal of the frame in which the error occurs in the previous frame of the frame in which the error occurs; Making; (b) generating a composite signal for restoring a signal of the frame in which the error occurs using the extracted first and second signals; And (c) restoring a signal of the frame in which the error occurs using the generated synthesized signal.
또한, 상기 (a)단계는 (a1) 상기 이전 프레임에서 상기 오류가 발생된 프레임의 바로 이전 블록과 유사한 제1 및 제2 블록을 검색하는 단계; 및 (a2) 상기 검색된 제1 및 제2 블록의 위치를 참조하여 상기 제1 및 제2 신호를 추출하는 단계를 포함할 수 있다. 또한, 상기 제1 및 제2 블록은 상기 바로 이전 블록과의 상관도(correlation)가 가장 높은 두 개의 블록들일 수 있다.In addition, step (a) may include: (a1) searching for first and second blocks similar to the immediately preceding block of the frame in which the error occurred in the previous frame; And (a2) extracting the first and second signals with reference to the found positions of the first and second blocks. In addition, the first and second blocks may be two blocks having the highest correlation with the immediately preceding block.
또한, 상기 (b)단계는 (b1) 상기 추출된 제1 및 제2 신호를 윈도윙(windowing)하는 단계; 및 (b2) 상기 윈도윙된 제1 및 제2 신호를 중첩하여 더하는(Overlap and Add) 단계를 포함할 수 있다. In addition, the step (b) may include (b1) windowing the extracted first and second signals; And (b2) overlapping and adding the windowed first and second signals.
또한, 상기 (b1)단계는 (b11) 상기 제1 및 제2 블록과 상기 바로 이전 블록과의 상관도에 기초하여 상기 제1 및 제2 신호를 윈도윙하기 위한 제1 및 제2 윈도우 함수를 결정하는 단계; 및 (b12) 상기 제1 및 제2 신호에 상기 결정된 제1 및 제2 윈도우 함수를 각각 곱하여 윈도윙하는 단계를 포함할 수 있다.Also, the step (b1) may include (b11) a first and second window function for windowing the first and second signals based on a correlation between the first and second blocks and the immediately preceding block. Determining; And (b12) multiplying the first and second signals by the determined first and second window functions, respectively, to window the first and second signals.
또한, 상기 (b11)단계는 상기 제1 및 제2 윈도우 함수의 크기의 합이 일(one)이 되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다. 또한, 상기 (b11)단계는 상기 제1 및 제2 블록과 상기 바로 이전 블록간의 상관도를 고려하여 상기 제1 및 제2 윈도우 함수를 결정할 수 있다. 또한, 상기 (b11)단계는 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호에 더 큰 가중치를 부여하도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다. 또한, 상기 (b11)단계는 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다.In operation (b11), the first and second window functions may be determined such that the sum of the sizes of the first and second window functions is one. In operation (b11), the first and second window functions may be determined in consideration of the correlation between the first and second blocks and the immediately preceding block. In operation (b11), the first and second window functions may be determined to give a greater weight to a signal including a block having a higher correlation with the previous block among the first and second signals. . In addition, in step (b11), a signal including a block having a higher correlation with the previous block among the first and second signals fades out and the remaining signals fade in. The first and second window functions may be determined to be equal.
또한, 상기 (c)단계는 상기 합성신호를 상기 오류가 발생된 프레임에서 적어도 일회 이상 반복하여 출력하는 단계를 포함할 수 있다.In addition, step (c) may include outputting the synthesized signal by repeating at least one or more times in the frame in which the error occurs.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 다른 중첩방식을 이용한 프레임 오류 은닉방법은 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 복수 개의 신호들을 추출하는 단계;According to another aspect of the present invention, there is provided a method for concealing a frame error using another overlapping method, the method including: extracting a plurality of signals similar to signals of the frame in which the error occurs from a previous frame of the frame in which the error occurs;
상기 추출된 복수 개의 신호들을 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 단계; 및 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 단계를 포함한다.Generating a composite signal for restoring a signal of the frame in which the error has occurred using the extracted plurality of signals; And restoring a signal of the frame in which the error occurs using the generated synthesized signal.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오류은닉방식 구성방법은 (a) 오류가 발생된 프레임의 이전(previous) 및 다음(next) 프레임의 오류은닉상황을 분석하는 단계; 및 (b) 상기 분석된 결과를 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 단계를 포함한다.The method for constructing an error concealment method according to the present invention for solving the other technical problem comprises the steps of: (a) analyzing the error concealment status of the previous (previous) and the next (next) frame of the error frame; And (b) selecting a method for concealing an error generated in the frame among the superposition method, the repetition method, and the interpolation method in the time domain in consideration of the analyzed result.
또한, 상기 (a)단계는 상기 이전 프레임의 오류발생여부, 상기 이전 프레임에 오류가 발생되었다면 상기 이전 프레임의 오류를 은닉하기 위해 사용된 방식 및 상기 다음 프레임의 오류발생여부 중 적어도 어느 하나를 분석할 수 있다.Also, the step (a) may analyze at least one of whether an error occurs in the previous frame, a method used for concealing an error in the previous frame, and an error occurs in the next frame if an error occurs in the previous frame. can do.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 적응적인 프레임 오류 은닉방법은 오류가 발생된 프레임의 이전 및 다음 프레임의 오류은닉상황을 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 단계; 및 상기 선정된 방식에 따라 상기 프레임에 발생된 오류를 은닉하는 단계를 포함한다.In accordance with another aspect of the present invention, an adaptive frame error concealment method according to the present invention takes into account the error concealment state of a frame before and after a frame in which an error occurs and the frame among the overlapping, iterative, and interpolation methods in a time domain. Selecting a method for concealing an error that has occurred; And concealing an error generated in the frame according to the selected scheme.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 중첩방식을 이용한 프레임 오류 은닉장치는 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 제1 및 제2 신호를 추출하는 유사신호 추출부; 상기 추출된 제1 및 제2 신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 합성신호 생성부; 및 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 복원부를 포함한다.Frame error concealment apparatus using the overlapping method according to the present invention for solving the technical problem is a similar signal for extracting the first and second signals similar to the signal of the frame in which the error occurs from the previous frame of the frame in which the error occurs; Extraction unit; A synthesized signal generator configured to generate a synthesized signal for restoring a signal of the frame in which the error has occurred, using the extracted first and second signals; And a reconstruction unit for reconstructing a signal of the frame in which the error occurs using the generated synthesized signal.
또한, 상기 유사신호 추출부는 상기 이전 프레임에서 상기 오류가 발생된 프레임의 바로 이전 블록과 유사한 제1 및 제2 블록을 검색하고, 상기 검색된 제1 및 제2 블록의 위치를 참조하여 상기 제1 및 제2 신호를 추출할 수 있다.In addition, the similar signal extractor searches for the first and second blocks similar to the immediately preceding block of the frame in which the error occurs in the previous frame, and refers to the positions of the first and second blocks to search for the first and second blocks. The second signal can be extracted.
또한, 상기 제1 및 제2 블록은 상기 바로 이전 블록과의 상관도(correlation)가 가장 높은 두 개의 블록들일 수 있다.In addition, the first and second blocks may be two blocks having the highest correlation with the immediately preceding block.
또한, 상기 합성신호 생성부는 상기 추출된 제1 및 제2 신호를 윈도윙(windowing)하는 윈도윙부; 및 상기 윈도윙된 제1 및 제2 신호를 중첩하여 더하는(Overlap and Add) 합성부를 포함할 수 있다.The synthesized signal generator may further include: a window wing configured to window the extracted first and second signals; And a synthesizer configured to overlap and add the windowed first and second signals.
또한, 상기 윈도윙부는 상기 제1 및 제2 블록과 상기 바로 이전 블록과의 상관도에 기초하여 상기 제1 및 제2 신호를 윈도윙하기 위한 제1 및 제2 윈도우 함수를 결정하는 윈도우 함수 결정부; 및 상기 제1 및 제2 신호에 상기 결정된 제1 및 제2 윈도우 함수를 각각 곱하여 윈도윙하는 합성부를 포함할 수 있다.The window wing unit may determine a window function to determine first and second window functions for windowing the first and second signals based on a correlation between the first and second blocks and the immediately preceding block. part; And a synthesizer configured to multiply and window the first and second signals by the determined first and second window functions, respectively.
또한, 상기 윈도우 함수 결정부는 상기 제1 및 제2 윈도우 함수의 크기의 합이 일(one)이 되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있고, 상기 제1 및 제2 블록과 상기 바로 이전 블록간의 상관도를 고려하여 상기 제1 및 제2 윈도우 함수를 결정할 수 있고, 상기 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호에 더 큰 가중치를 부여하도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있고, 상기 제1 및 제2 신호 중에서 상기 바로 이전 블록과의 상관도가 더 큰 블록을 포함하는 신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 상기 제1 및 제2 윈도우 함수를 결정할 수 있다.The window function determiner may determine the first and second window functions such that the sum of the magnitudes of the first and second window functions is one, and immediately before the first and second blocks. The first and second window functions may be determined in consideration of a correlation between blocks, and a greater weight is given to a signal including a block having a higher correlation with the previous block among the first and second signals. The first and second window functions may be determined such that a signal including a block having a higher correlation with the previous block among the first and second signals is faded out and the remaining signals are The first and second window functions may be determined to fade in.
또한, 상기 복원부는 상기 합성신호를 상기 오류가 발생된 프레임에서 적어도 일회 이상 반복하여 출력할 수 있다.The restoration unit may repeatedly output the synthesized signal at least once in the frame in which the error occurs.
상기 기술적 과제를 위한 본 발명에 따른 다른 중첩방식을 이용한 프레임 오류 은닉장치는 오류가 발생된 프레임의 이전 프레임에서 상기 오류가 발생된 프레임의 신호와 유사한 복수 개의 신호들을 추출하는 유사신호 추출부; 상기 추출된 복수 개의 신호들을 이용하여 상기 오류가 발생된 프레임의 신호를 복원하기 위한 합성신호를 생성하는 합성신호 생성부; 및 상기 생성된 합성신호를 이용하여 상기 오류가 발생된 프레임의 신호를 복원하는 복원부를 포함한다.Frame error concealment apparatus using another overlapping method according to the present invention for the technical problem is a signal extraction unit for extracting a plurality of signals similar to the signal of the error frame from the previous frame of the error frame; A synthesized signal generator configured to generate a synthesized signal for restoring a signal of the frame in which the error has occurred, using the extracted plurality of signals; And a reconstruction unit for reconstructing a signal of the frame in which the error occurs using the generated synthesized signal.
또한, 상기 다른 기술적 과제를 위한 본 발명에 따른 오류은닉방식 구성장치는 오류가 발생된 프레임의 이전(previous) 및 다음(next) 프레임의 오류은닉상황을 분석하는 분석부; 및 상기 분석된 결과를 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 선정부를 포함한다.In addition, the error concealment configuration apparatus according to the present invention for the other technical problem is an analysis unit for analyzing the error concealment situation of the previous (previous) and the next (next) frame of the error frame; And a selection unit for selecting a method for concealing an error occurring in the frame among the superposition method, the repetition method, and the interpolation method in the time domain in consideration of the analyzed result.
또한, 상기 선정부는 상기 이전 프레임의 오류발생여부, 상기 이전 프레임에 오류가 발생되었다면 상기 이전 프레임의 오류를 은닉하기 위해 사용된 방식 및 상기 다음 프레임의 오류발생여부 중 적어도 어느 하나를 분석할 수 있다.The selector may analyze at least one of whether an error occurs in the previous frame, a method used for concealing an error in the previous frame, and an error occurs in the next frame if an error occurs in the previous frame. .
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 적응적인 프레임 오류 은닉장치는 오류가 발생된 프레임의 이전 및 다음 프레임의 오류은닉상황을 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정하는 은닉방식 선정부; 및 상기 선정된 방식에 따라 상기 프레임에 발생된 오류를 은닉하는 은닉부를 포함한다.In accordance with another aspect of the present invention, an adaptive frame error concealment apparatus according to the present invention takes into account the error concealment state of a frame before and after an error in which the frame is concealed. A concealment method selection unit for selecting a method for concealing an error generated in the network; And a concealment unit for concealing an error generated in the frame according to the selected scheme.
상기 또 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방법, 오류은닉방식 구성방법 및 적응적 프레임 오류 은닉방법 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In order to solve the above another technical problem, a computer recording a program for executing one of the methods of the frame error concealment method, the error concealment method, and the adaptive frame error concealment method by the overlapping method according to the present invention. Provide a readable recording medium.
본 발명에 따른 중첩방식에 의한 프레임 오류 은닉방법 및 장치는 복수 개의 이전신호를 합성하여 오류가 발생된 프레임 신호를 복원함으로써 변조 노이즈의 발생을 방지할 수 있다.The frame error concealment method and apparatus according to the present invention can prevent generation of modulation noise by combining a plurality of previous signals and restoring a frame signal in which an error occurs.
또한, 본 발명에 따른 오류은닉방식 구성방법 및 장치는 중첩법, 반복법 및 보간법을 적절히 조합하여 연속하여 오류가 발생된 복수의 프레임들의 오류은닉방식을 구성함으로서 복원된 신호의 음질을 극대화할 수 있다.In addition, the method and apparatus for constructing an error concealment method according to the present invention can maximize the sound quality of a restored signal by constructing an error concealment method of a plurality of frames in which an error occurs in succession by appropriately combining an overlapping method, an iteration method, and an interpolation method. .
또한, 본 발명에 따른 적응적 프레임 오류 은닉방법 및 장치는 중첩법, 반복법 및 보간법을 적절히 조합하여 연속하여 오류가 발생된 복수의 프레임들의 오류를 은닉함으로써 복원된 신호의 음질을 극대화할 수 있다.In addition, the adaptive frame error concealment method and apparatus according to the present invention can maximize the sound quality of the reconstructed signal by concealing the error of a plurality of consecutively generated frames by properly combining the superposition method, the repetition method and the interpolation method.
도 1은 일 실시예에 따른 반복방식에 의한 프레임 오류 은닉방법을 설명하기 위한 참고도이다.
도 2는 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법을 나타내는 플로우차트이다.
도 3은 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법을 설명하기 위한 참고도이다.
도 4는 도 2에 도시된 제 220단계의 일 실시예를 설명하기 위한 참고도이다.
도 5는 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉장치의 구성을 도시한 블록도이다.
도 6은 일 실시예에 따른 보간방식에 의한 프레임 오류 은닉방법을 설명하기 위한 참고도이다.
도 7은 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법을 나타내는 플로우차트이다.
도 8은 주파수 영역에서의 프레임 오류가 시간 영역의 프레임에 미치는 영향을 설명하기 위한 참고도이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 오류은닉방식 구성방법에 의해 구성된 오류 프레임의 은닉방식의 얘들을 도시한 참고도이다.
도 10은 본 발명의 일 실시예에 따른 프레임 오류 은닉장치의 구성을 도시한 블록도이다.1 is a reference diagram for explaining a frame error concealment method by an iterative method according to an embodiment.
2 is a flowchart illustrating a frame error concealment method using an overlapping method according to an embodiment of the present invention.
3 is a reference diagram for explaining a frame error concealment method by an overlapping method according to an embodiment of the present invention.
FIG. 4 is a reference diagram for explaining an exemplary embodiment of
5 is a block diagram showing the configuration of a frame error concealment apparatus according to an overlapping method according to an embodiment of the present invention.
6 is a reference diagram for explaining a frame error concealment method using an interpolation method, according to an exemplary embodiment.
7 is a flowchart illustrating an adaptive frame error concealment method using an error concealment method construction method according to an embodiment of the present invention.
8 is a reference diagram for explaining an effect of a frame error in a frequency domain on a frame in a time domain.
9A to 9C are reference diagrams illustrating those of a concealment method of an error frame constructed by a method for constructing an error concealment method according to an embodiment of the present invention.
10 is a block diagram showing the configuration of a frame error concealment apparatus according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법 및 장치, 본 발명에 일 실시예에 따른 은닉방식 구성방법 및 장치, 본 발명에 일 실시예에 따른 적응적인 프레임 오류 은닉방법 및 장치에 관해 상세히 설명한다. Hereinafter, a method and apparatus for concealing a frame error by an overlapping method according to an embodiment of the present invention with reference to the accompanying drawings, a method and apparatus for concealing a method according to an embodiment of the present invention, according to an embodiment of the present invention An adaptive frame error concealment method and apparatus are described in detail.
첫째로, 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법(이하 '중첩법'이라 함)에 관하여 살펴보기로 하자. 우선, 중첩법에 대해 설명하기 전에 반복방식에 의한 프레임 오류 은닉방법(이하 '반복법'이라 함)에 관해 살펴보기로 하자.First, a frame error concealment method (hereinafter, referred to as an overlapping method) by an overlapping method according to an embodiment of the present invention will be described. First, before describing the overlapping method, let's take a look at a method of concealing frame errors by an iterative method (hereinafter, referred to as a "repeat method").
도 1은 일 실시예에 따른 반복법을 설명하기 위한 참고도이다. 반복방식이란 오류가 발생된 현재 프레임의 신호와 유사한 신호를 이전 프레임에서 검색하고, 검색된 신호를 현재 프레임에 복사하여 현재 프레임의 신호를 복원하는 방식이다.1 is a reference diagram for explaining a repetition method according to an exemplary embodiment. The repetition method is a method of retrieving a signal of the current frame by searching for a signal similar to the signal of the current frame in which an error has occurred, and copying the retrieved signal to the current frame.
먼저, 현재 n 프레임(100)에 오류가 발생되었다고 판단되면, n 프레임의 바로 이전에 위치한 직전블록(110)의 신호와 상관도가 가장 높은 유사블록(120)을 이전 프레임의ㅇ검색 구간(search region)에서 검색한다. 예를 들어, 상관도응 다음 수학식 1을 이용하여 계산할 수 있다.First, when it is determined that an error has occurred in the
여기서, R(d)는 상관도이며, s(n)은 이전 프레임 신호이고, d는 검색 범위의 샘플 위치를 말한다. 도 1에 도시된 바와 같이, 검색 구간에서 직전블록(110)과의 상관도가 가장 높은 유사블록(120)이 검색되면, 검색된 유사블록(120) 및 유사블록(120) 이후의 소정 길이의 다음 신호(130, 140)를 포함하는 이전 신호(150)를 오류가 발생된 프레임에 복사한다. 도 1을 참조하면, 이전 신호(150)는 직접 n 프레임의 신호로서 출력되는 신호(130)의 앞뒤로 각각 유사블록(120) 및 유사블록(120)과 동일한 크기의 중첩블록(140)을 포함한다. 직접 n 프레임의 신호로 출력되는 신호(130)에 유사블록(120)과 중첩블록(140)을 함께 부가하여 n 프레임으로 복사하는 이유는 (n-1) 프레임의 경계에 위치한 직전블록(110)과 n 프레임으로 복사된 유사블록(120)을 오버랩하여 더함(overlap and add)으로써 (n-1) 프레임과 n 프레임의 경계에서 불연속한 신호가 출력되는 것을 방지하기 위함이다. 마찬가지로, 중첩블록(140)을 함께 복사하는 이유는 n 프레임과 (n+1) 프레임이 정상 프레임인 경우, n 프레임과 (n+1) 프레임의 경계에 불연속이 생기지 않도록 n 프레임으로 복사된 중첩블록(140)과 (n+1) 프레임 시작 부분을 중첩하여 더하기(overlap and add)위함이다. 따라서 (n-1) 프레임 신호를 복사하여 n 프레임을 복원하기 위해 (n-1) 프레임 신호를 윈도윙(windowing)할 때, 오버랩이 이루어지는 유사블록(120) 또는 중첩블록(140) 부분에서는 일차 함수, 다차 함수 또는 삼각 함수 등을 이용하여 윈도우 함수의 크기를 결정하고, 오버랩이 이루어지지 않는 부분(130)에서는 직각 윈도우(rectangular window)를 사용할 수 있다. 여기서, 주의할 점은 두 블록을 오버랩할 때 두 함수에 곱해지는 가중치의 합이'1'이 되어야한다는 것이다. 따라서 유사블록(120) 또는 중첩블록(140)과 오버랩 되는 블록을 윈도윙할 때는 유사블록(120) 또는 중첩블록(134)에서 사용된 윈도우와 위상이 반대인 윈도우를 사용하는 것이 바람직하다.Here, R (d) is a correlation, s (n) is a previous frame signal, and d is a sample position of a search range. As shown in FIG. 1, when a
그러나 앞서 언급한 바와 같이, 반복법은 이전 신호가 반복되는 구간이 길어지면 동일 스펙트럼을 갖는 신호가 긴 구간 반복됨으로 인한 변조 노이즈가 발생되어 문제가 된다. 따라서 이전 신호를 이용하여 오류가 발생된 프레임을 복원하되, 변조 노이즈 발생을 방지할 필요가 있다.However, as mentioned above, the repetition method becomes a problem because modulation noise is generated due to repetition of a long section of a signal having the same spectrum when a section in which a previous signal is repeated becomes long. Therefore, while using the previous signal to restore the frame in which the error occurs, it is necessary to prevent the generation of modulation noise.
이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 중첩법에 관해 살펴보기로 한다. 도 2는 본 발명의 일 실시예에 따른 중첩법의 흐름도이고, 도 3은 본 발명의 일 실시예에 따른 중첩법을 설명하기 위한 참고도이다. 중첩방식이란 오류가 발생된 현재 프레임의 신호와 유사한 복수 개의 신호들을 이전 프레임에서 검색하고, 검색된 복수 개의 신호들을 합성하여 새로운 신호를 생성하고, 생성된 새로운 신호를 현재 프레임에 복사하여 현재 프레임의 신호를 복원하는 방식이다. Hereinafter, an overlapping method according to an embodiment of the present invention will be described with reference to FIGS. 2 and 3. 2 is a flowchart of a superposition method according to an embodiment of the present invention, Figure 3 is a reference diagram for explaining the superposition method according to an embodiment of the present invention. The superposition method searches for a plurality of signals similar to the signal of the current frame in which an error has occurred in the previous frame, synthesizes the plurality of detected signals to generate a new signal, and copies the generated new signal to the current frame to signal the current frame. It is a way to restore.
먼저, 현재 n 프레임(300)에 오류가 발생되었는지 판단한다(제 200단계). First, it is determined whether an error has occurred in the current n frame 300 (step 200).
제 200단계에서 n 프레임에 오류가 발생된 것으로 판단되면, n 프레임의 바로 이전에 위치한 직전블록(310)의 신호와 가장 상관도가 높은 두 개의 유사블록을 이전 프레임의 검색 구간에서 검색한다(제 210단계). 이전 프레임에서 첫 번째로 검색된 유사블록을 제1 유사블록(320)이라고 하고, 두 번째로 검색된 유사블록을 제2 유사블록(325)이라고 하자.If it is determined in
제 210단계에서 제1 및 제2 유사블록(320, 325)을 검색한 후에, 검색된 제1 및 제2 유사블록(320, 325) 각각과 그 이후 소정 길이의 제1 제2 다음신호(330, 335)로 구성된 제1 및 제2 이전신호(350, 355)를 합성하여 n 프레임을 복원하기 위한 합성신호(360)를 생성한다(제 220 내지 제 240단계). 도 3을 참조하면, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)는 유사블록(370), n 프레임 신호를 복원하는데 직접 사용되는 부분(380) 및 중첩블록(390)을 포함한다.After searching for the first and second
제1 및 제2 유사블록(320, 325)은 직전블록(310)과 상관도가 가장 높은 두 개의 블록이므로, 제1 및 제2 유사블록(320, 325) 이후에 각각 연속되는 제1 및 제2 다음신호(330, 340, 335, 345)는 n 프레임의 신호와 유사할 것이다. 여기서, 제1 및 제2 이전신호(350, 355)에 제1 및 제2 유사블록(320, 325)과 제1 및 제2 중첩블록(340, 345)을 포함시켜서 합성신호(360)에도 유사블록(370) 및 중첩블록(390)이 포함되도록 하는 이유는 앞에서 언급하였듯이 합성신호(360)를 현재 프레임에 복사했을 때, 합성신호(360)의 이전에 출력된 신호 또는 합성신호(360)의 이후에 출력되는 신호와 합성신호(360)의 경계에서 불연속이 생기는 것을 방지하기 위함이다. 즉, 유사블록(370)과 합성신호(360) 이전에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩(smoothing)하고 또는 중첩블록(390)과 합성신호(360) 이후에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩하기 위함이다. Since the first and second
제1 및 제2 이전신호(350, 355)를 합성하여 합성신호(360)를 생성하는 과정(제 220 내지 제 240단계)를 보다 자세하게 살펴보자.The process of generating the
먼저, 제1 및 제2 유사블록(320, 325)과 직전블록(310)간의 상관도에 기초하여 제1 및 제2 이전신호(350, 355)를 윈도윙 하기 위한 제1 및 제2 윈도우 함수를 결정한다(제 220단계). 여기서, 제1 및 제2 윈도우 함수의 합은 '1'이 되도록 함이 바람직하다. 또한, 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호에 부여되는 가중치가 나머지 다른 이전신호에 부여되는 가중치보다 더 크도록 제1 및 제2 윈도우 함수를 결정하는 것이 바람직하다. 이렇게 함으로써 윈도우 함수를 곱하여 윈도윙된 이전신호들을 합성하여 생성된 합성신호(360)에서 오류가 발생된 프레임의 신호와 더 유사한 이전신호가 나머지 다른 이전신호보다 더 큰 비중을 차지하게 될 것이고, 오류가 발생된 프레임의 신호에 보다 근접한 합성신호(360)가 생성될 수 있을 것이다.First, first and second window functions for windowing the first and second transfer signals 350 and 355 based on a correlation between the first and second
또한, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)에서 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 제1 및 제2 윈도우 함수를 결정할 수 도 있다.In addition, in the
도 4는 제1 및 제2 유사블록(320, 325)과 직전블록(310)의 상관도에 기초하여 제1 및 제2 윈도우 함수를 결정하는 방법의 구체적인 일 실시예를 설명하기 위한 참고도이다. 본 발명의 바람직한 실시예에 따르면, 제1 및 제2 윈도우 함수는 다음 수학식 2을 이용하여 설정된다. 4 is a reference diagram for describing a specific embodiment of a method of determining the first and second window functions based on a correlation between the first and second
여기서, m은 제1 및 제2 이전신호(350, 355) 또는 합성신호(360)를 구성하는 시간 영역 샘플의 개수이다. 도 4에 도시된 바와 같이, 상기 F(x)는 k = 0인 경우, '1'에서 '0'으로 감소하는 일차 함수(410)가 되고, k = 1인 경우는 크기가 1인 상수 함수(430)가 된다. 따라서 k가 0≤ k ≤1 인 경우, F(x)는 일차 함수(410)와 상수함수(430) 사이에 위치하게 된다.Here, m is the number of time domain samples constituting the first and second transfer signals 350 and 355 or the combined
도 4에 도시된 바와 같이 제1 유사블록(320)의 상관도가 제2 유사블록(325)의 상관도보다 더 큰 경우에는 제1 및 제2 윈도우 함수(, )를 다음 수학식 3과 같이 결정하고, 제2 유사블록(325)의 상관도가 제1 유사블록(320)의 상관도보다 더 큰 경우에는 제1 윈도우 함수() 및 제2 윈도우 함수()를 다음 수학식 4와 같이 결정한다.As shown in FIG. 4, when the correlation of the first
k = 1 - (BC1 - BC2)/2 k = 1-(BC1-BC2) / 2
k = 1 - (BC1 - BC2)/2 k = 1-(BC1-BC2) / 2
여기서, BC1은 제1 유사블록(320)과 직전블록(310)간의 상관도이고, BC2는 제2 유사블록(325)과 직전블록(310)간의 상관도이다. m은 제1 및 제2 이전신호(350. 355) 또는 합성신호(360)에 포함된 시간 영역 샘플의 개수이다.Here, BC1 is a correlation between the first
살펴본 바와 같이 본 발명의 일 실시예에 따르면 제1 및 제2 유사블록(320, 325) 중 상관도가 더 큰 유사블록을 포함하는 이전신호에 더 큰 가중치가 부여되도록 제1 및 제2 윈도우 함수를 결정한다. 또한, 제1 및 제2 유사블록(320, 325) 중 상관도가 더 큰 유사블록을 포함하는 이전신호가 앞부분에서 출력되도록 제1 및 제2 윈도우 함수를 결정한다. 이는 제1 및 제2 윈도우 함수에 의해 윈도윙된 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)를 n 프레임의 신호에 더 근접하도록 하기 위함이다.As described above, according to an exemplary embodiment of the present invention, the first and second window functions may be weighted to give a greater weight to a previous signal including a similar block having a higher correlation among the first and second
제 220단계에서 제1 및 제2 윈도우 함수가 설정되면, 설정된 제1 및 제2 윈도우 함수를 각각 제1 및 제2 이전신호(350, 355)에 곱하여 제1 및 제2 이전신호(350, 355)를 윈도윙하고(제 230단계), 윈도윙된 제1 및 제2 이전신호(350, 355)를 중첩하여 더함으로써 합성신호(360)를 생성한다(제 240단계).When the first and second window functions are set in
제 240단계에서 생성된 합성신호(360)를 적어도 일회 이상 n 프레임에 복사하여 출력한다(제 250단계). 합성신호(360)와 다른 신호와의 경계에서 불연속이 생기지 않도록 합성신호(360)의 유사블록(370)을 이전 (n-1) 프레임의 직전블록(310)과 중첩하여 더함으로써 합성신호(360)의 시작부분을 스무딩한다. 또는 합성신호(360)의 중첩블록(390)을 (n+1) 프레임의 시작부분 블록과 중첩하여 더함으로써 합성신호(360)의 끝부분을 스무딩한다.The
둘째로, 도 3 및 5를 참조하여 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉장치에 대해 살펴보겠다. 도 5는 본 발명의 일 실시예에 따른 중첩방식에 이한 프레임 오류 은닉장치의 구성을 도시한 블록도로서, 유사신호 추출부(500), 합성신호 생성부(510) 및 복원부(520)를 포함하고, 합성신호 생성부(510)는 윈도우 함수 결정부(530) 및 합성부(540)를 포함한다.Secondly, a frame error concealment apparatus based on an overlapping method according to an embodiment of the present invention will be described with reference to FIGS. 3 and 5. FIG. 5 is a block diagram showing a configuration of a frame error concealment apparatus according to an overlapping method according to an embodiment of the present invention, wherein the
유사신호 추출부(500)는 오류가 발생된 n 프레임의 바로 이전에 위치한 직전블록(310)의 신호와 가장 상관도가 높은 두 개의 유사블록을 이전 프레임의 검색 구간에서 검색한다. 이전 프레임에서 첫 번째로 검색된 유사블록을 제1 유사블록(320)이라고 하고, 두 번째로 검색된 유사블록을 제2 유사블록(325)이라고 하자.The
합성신호 생성부(510)는 검색된 제1 및 제2 유사블록(320, 325) 각각과 그 이후 소정 길이의 제1 제2 다음신호(330, 335)로 구성된 제1 및 제2 이전신호(350, 355)를 합성하여 n 프레임을 복원하기 위한 합성신호(360)를 생성한다. 도 3을 참조하면, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)는 유사블록(370), n 프레임 신호를 복원하는데 직접 사용되는 부분(380) 및 중첩블록(390)을 포함한다. 제1 및 제2 유사블록(320, 325)은 직전블록(310)과 상관도가 가장 높은 두 개의 블록이므로, 제1 및 제2 유사블록(320, 325) 이후에 각각 연속되는 제1 및 제2 다음신호(330, 340, 335, 345)는 n 프레임의 신호와 유사할 것이다. 여기서, 제1 및 제2 이전신호(350, 355)에 제1 및 제2 유사블록(320, 325)과 제1 및 제2 중첩블록(340, 345)을 포함시켜서 합성신호(360)에도 유사블록(370) 및 중첩블록(390)이 포함되도록 하는 이유는 앞에서 언급하였듯이 합성신호(360)를 현재 프레임에 복사했을 때, 합성신호(360)의 이전에 출력된 신호 또는 합성신호(360)의 이후에 출력되는 신호와 합성신호(360)의 경계에서 불연속이 생기는 것을 방지하기 위함이다. 즉, 유사블록(370)과 합성신호(360) 이전에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩(smoothing)하고 또는 중첩블록(390)과 합성신호(360) 이후에 출력된 신호를 중첩하여 더함으로 합성신호(360)를 스무딩하기 위함이다.The
합성신호 생성부(510)를 구성하는 윈도우 함수 결정부(530) 및 곱셉부(540)의 동작에 대해 살펴보자.The operation of the window
윈도우 함수 결정부(530)는 제1 및 제2 유사블록(320, 325)과 직전블록(310)간의 상관도에 기초하여 제1 및 제2 이전신호(350, 355)를 윈도윙 하기 위한 제1 및 제2 윈도우 함수를 결정한다. 여기서, 제1 및 제2 윈도우 함수의 합은 '1'이 되도록 함이 바람직하다. 또한, 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호에 부여되는 가중치가 나머지 다른 이전신호에 부여되는 가중치보다 더 크도록 제1 및 제2 윈도우 함수를 결정하는 것이 바람직하다. 이렇게 함으로써 윈도우 함수를 곱하여 윈도윙된 이전신호들을 합성하여 생성된 합성신호(360)에서 오류가 발생된 프레임의 신호와 더 유사한 이전신호가 나머지 다른 이전신호보다 더 큰 비중을 차지하게 될 것이고, 오류가 발생된 프레임의 신호에 보다 근접한 합성신호(360)가 생성될 수 있을 것이다.The
또한, 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)에서 제1 및 제2 유사블록(320, 325) 중에서 직전블록(310)과의 상관도가 더 큰 유사블록을 포함하는 이전신호는 페이드아웃(fade-out)되고 나머지 신호는 페이드인(fade-in)되도록 제1 및 제2 윈도우 함수를 결정할 수 도 있다.In addition, in the
도 4는 제1 및 제2 유사블록(320, 325)과 직전블록(310)의 상관도에 기초하여 제1 및 제2 윈도우 함수를 결정하는 방법의 구체적인 일 실시예를 설명하기 위한 참고도이다. 본 발명의 바람직한 실시예에 따르면, 제1 및 제2 윈도우 함수는 다음 수학식 5를 이용하여 설정된다. 4 is a reference diagram for describing a specific embodiment of a method of determining the first and second window functions based on a correlation between the first and second
여기서, m은 제1 및 제2 이전신호(350, 355) 또는 합성신호(360)를 구성하는 시간 영역 샘플의 개수이다. 도 4에 도시된 바와 같이, 상기 F(x)는 k = 0인 경우, '1'에서 '0'으로 감소하는 일차 함수(410)가 되고, k = 1인 경우는 크기가 1인 상수 함수(430)가 된다. 따라서 k가 0≤ k ≤1 인 경우, F(x)는 일차 함수(410)와 상수함수(430) 사이에 위치하게 된다.Here, m is the number of time domain samples constituting the first and second transfer signals 350 and 355 or the combined
도 4에 도시된 바와 같이 제1 유사블록(320)의 상관도가 제2 유사블록(325)의 상관도보다 더 큰 경우에는 제1 및 제2 윈도우 함수(, )를 다음 수학식 6과 같이 결정하고, 제2 유사블록(325)의 상관도가 제1 유사블록(320)의 상관도보다 더 큰 경우에는 제1 윈도우 함수() 및 제2 윈도우 함수()를 다음 수학식 7과 같이 결정한다.As shown in FIG. 4, when the correlation of the first
k = 1 - (BC1 - BC2)/2 k = 1-(BC1-BC2) / 2
k = 1 - (BC1 - BC2)/2 k = 1-(BC1-BC2) / 2
여기서, BC1은 제1 유사블록(320)과 직전블록(310)간의 상관도이고, BC2는 제2 유사블록(325)과 직전블록(310)간의 상관도이다. m은 제1 및 제2 이전신호(350. 355) 또는 합성신호(360)에 포함된 시간 영역 샘플의 개수이다.Here, BC1 is a correlation between the first
살펴본 바와 같이 본 발명의 일 실시예에 따르면 제1 및 제2 유사블록(320, 325) 중 상관도가 더 큰 유사블록을 포함하는 이전신호에 더 큰 가중치가 부여되도록 제1 및 제2 윈도우 함수를 결정한다. 또한, 제1 및 제2 유사블록(320, 325) 중 상관도가 더 큰 유사블록을 포함하는 이전신호가 앞부분에서 출력되도록 제1 및 제2 윈도우 함수를 결정한다. 이는 제1 및 제2 윈도우 함수에 의해 윈도윙된 제1 및 제2 이전신호(350, 355)를 합성하여 생성된 합성신호(360)를 n 프레임의 신호에 더 근접하도록 하기 위함이다.As described above, according to an exemplary embodiment of the present invention, the first and second window functions may be weighted to give a greater weight to a previous signal including a similar block having a higher correlation among the first and second
합성부(540)는 윈도우 함수 설정부(530)에서 설정된 제1 및 제2 윈도우 함수를 각각 제1 및 제2 이전신호(350, 355)에 곱하여 제1 및 제2 이전신호(350, 355)를 윈도윙하고(제 230단계), 윈도윙된 제1 및 제2 이전신호(350, 355)를 중첩하여 더함으로써 합성신호(360)를 생성한다.The
복원부(520)는 합성신호 생성부(510)에서 생성된 합성신호(360)를 적어도 일회 이상 n 프레임에 복사하여 출력함으로써 n 프레임 신호를 복원한다. 이때, 복원부(520)는 합성신호(360)와 다른 신호와의 경계에서 불연속이 생기지 않도록 합성신호(360)의 유사블록(370)을 이전 (n-1) 프레임의 직전블록(310)과 중첩하여 더함으로써 합성신호(360)의 시작부분을 스무딩한다. 또는 합성신호(360)의 중첩블록(390)을 (n+1) 프레임의 시작부분 블록과 중첩하여 더함으로써 합성신호(360)의 끝부분을 스무딩한다.The
살펴본 바와 같이 본 발명의 일 실시예에 따른 중첩방식에 의한 프레임 오류 은닉방법 및 장치는 오류가 발생된 프레임 신호와 유사한 복수 개의 이전신호를 이용하여 새로운 합성신호를 생성하고, 이 합성신호를 오류가 발생된 프레임에 복사하여 오류를 은닉함으로 반복방식에 의해 프레임 오류를 은닉하는 경우에 문제가 되는 변조 노이즈의 발생을 방지할 수 있다.As described above, the method and apparatus for concealing a frame error by an overlapping method according to an embodiment of the present invention generate a new composite signal using a plurality of previous signals similar to the frame signal in which the error has occurred, and then generate the synthesized signal in error. By copying the generated frame to conceal the error, it is possible to prevent the generation of the modulation noise which is a problem when concealing the frame error by the iterative method.
셋째로, 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법에 관하여 살펴보기로 하자. 본 발명의 일 실시예에 따른 오류은닉방식 구성방법은 복수의 프레임에 연속하여 오류가 발생된 경우, 중첩법, 반복법 및 보간 방식에 의한 프레임 오류 은닉방법(이하, '보간법'이라 함)을 적절히 조합하여 복수의 프레임의 오류은닉방식을 구성함으로써 복원된 음질을 극대화할 수 있는 방법에 관한 것이다. 반복법과 중첩법은 앞에서 설명되었으므로 도 6을 참조하여 보간법에 관해서 살펴본 후에, 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법에 관하여 살펴보기로 하자. 도 6은 일 실시예에 따른 보간법을 설명하기 위한 참고도이다.Third, an adaptive frame error concealment method using an error concealment configuration method according to an embodiment of the present invention will be described. The error concealment method configuration method according to an embodiment of the present invention is a frame error concealment method (hereinafter, referred to as an interpolation method) by a superposition method, a repetition method, and an interpolation method when an error occurs continuously in a plurality of frames. By combining the error concealment method of a plurality of frames in combination to a method that can maximize the restored sound quality. Since the repetition method and the superposition method have been described above, the interpolation method will be described with reference to FIG. 6, and then an adaptive frame error concealment method using the error concealment method configuration according to an embodiment of the present invention will be described. 6 is a reference diagram for explaining an interpolation method, according to an exemplary embodiment.
도 6을 참조하면, 보간법은 이전 프레임(previous frame, 600)과 오류가 없는 다음 프레임(next good frame, 620)간에 선형 보간법(linear interpolation)을 적용한다. 지연 문제로 인해 미래 신호가 프레임 단위로 마련되어 있으므로 오버랩를 위해 윈도우를 수정하여 릴렉스드 보간법(relaxed interpolation)을 적용한다. 릴렉스드 보간법에서 사용되는 윈도우는 도 6에 도시되어 있다. 여기서 사용되는 윈도우 구조는 장방 윈도우와 일차 함수, 다차 함수, 또는 사인 함수가 사용될 수 있다. 도 6은 일차 함수를 사용하는 윈도우의 일 실시예를 도시한 것이다. 여기서, 주의할 점은 이전 윈도우(800)와 다음 윈도우(820)가 중첩된(overlap) 경우 두 윈도우 함수의 합은 '1'이 되어야 한다는 것이다. 도 6에 의하면 프레임과 동일한 크기의 두 윈도우를 중첩하여 더하는(overlap and add) 릴렉스드 보간법(relaxed interpolation)에 의해서 출력되는 신호는 프레임 크기의 신호에 소정 크기(overlap size, OV_SIZE)의 블록의 신호를 더 포함한다. 이렇게 더 포함된 블록의 신호는 다음 프레임(820)의 신호와 중첩되어 더해짐(overlap and add)으로 보간법에 의하여 복원된 신호의 뒷부분 경계를 스무딩한다. 그리고 보간법에 의하여 복원된 신호의 앞부분 경계는 이전 프레임(800)의 신호와 중첩되어 더해짐(overlap and add) 스무딩된다. Referring to FIG. 6, the interpolation method applies linear interpolation between the
이렇게 하여 시간 영역에서 오류가 발생된 프레임의 신호를 복원함으로써 프레임 오류를 은닉하는 방식들인 중첩법, 반복법 및 보간법에 대하여 살펴보았다. 각 방식들의 특성을 고려해보자. In this way, the overlapping, iterative, and interpolation methods that cover the frame error by restoring the signal of the frame in which the error occurred in the time domain have been described. Consider the characteristics of each method.
우선, 본 발명에 따른 중첩법은 복수 개의 이전신호를 합성하여 새롭게 생성된 합성신호에 의해 오류 프레임 신호를 복원하므로 변조 노이즈가 크게 문제되지 않는다. 그러나 버스트 오류와 같이 오류 프레임 구간이 길어지는 경우에 중첩법에 의해 오류가 발생된 프레임의 신호를 복원하면 복원된 신호의 에너지가 감쇠(attenuation)되는 문제가 있을 수 있다. 반복법은 버스트 오류와 같이 오류가 발생된 프레임 구간의 길이가 길어지는 경우 변조 노이즈가 문제될 수 있다. 그러나, 반복법은 중첩법과 달리 복원된 신호의 에너지를 감쇄시키지 않으므로 이전 신호의 에너지를 그대로 유지시켜주는 특성이 있다. 보간법은 이전 프레임과 다음 프레임을 모두 이용하여 오류 프레임을 복원하므로 복원된 신호의 정확성을 높일 수 있으나, 다음 프레임이 오류가 발생되지 않은 정상 프레임이어야 한다는 제약이 있다.First, since the superposition method according to the present invention restores an error frame signal by synthesizing a plurality of previous signals and a newly generated synthesized signal, modulation noise is not a problem. However, when the error frame section is long, such as a burst error, when the signal of the frame in which the error is generated by the overlapping method is restored, there may be a problem in that the energy of the restored signal is attenuated. In the repetition method, modulation noise may be a problem when the length of the frame section in which an error occurs such as a burst error becomes long. However, since the repetition method does not attenuate the energy of the restored signal unlike the superposition method, the repetition method maintains the energy of the previous signal as it is. Since the interpolation method restores an error frame using both the previous frame and the next frame, the accuracy of the restored signal can be improved, but there is a restriction that the next frame should be a normal frame without an error.
이처럼 중첩법, 반복법 및 보간법은 프레임 오류를 은닉하는데 있어서 각각의 특성을 가지고 있다. 따라서 복수의 프레임에 연속하여 오류가 발생된 경우, 중첩법, 반복법 및 보간법을 각 방식을 특성에 맞게 적절히 조합하여 이 복수 프레임의 오류를 은닉하기 위한 방식을 구성함으로써 복원된 신호의 음질을 극대화할 수 있다.As such, superposition, iteration, and interpolation have their characteristics in concealing frame errors. Therefore, when an error occurs in a plurality of frames in succession, the overlapping, repeating, and interpolation methods are appropriately combined with each other to form a method for concealing the error of the plurality of frames to maximize the sound quality of the restored signal. Can be.
이하. 도 7을 참조하여 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용하는 적응적 프레임 오류 은닉방법에 관하여 살펴보기로 하자.Below. An adaptive frame error concealment method using an error concealment configuration method according to an embodiment of the present invention will be described with reference to FIG. 7.
우선, 오류가 발생된 현재 프레임의 이전 프레임 및 다음 프레임의 오류은닉상황을 분석한다(제 700단계). 제 700단계에서 분석된 결과를 고려하여 현재 프레임의 오류은닉방식을 선정하고, 선정된 방식에 따라 현재 프레임의 오류를 은닉한다(제 710 내지 제 795단계). 우선, 다음 프레임에 오류가 발생되었는지 여부를 판단한다(제 710단계). 제 710단계에서 다음 프레임에 오류가 발생되지 않은 것으로 판단되면, 즉, 다음 프레임이 정상 프레임(good frame)인 것으로 판단되면, 보간법을 현재 프레임의 오류은닉방식으로 선정한다(제 720단계). 제 710단계에서 다음 프레임에 오류가 발생된 것으로 판단되면, 현재 프레임의 이전 프레임에 오류가 발생되었는지 여부를 판단한다(제 730단계). 제 730단계에서 이전 프레임에 오류가 발생되지 않은 것으로 판단되면, 즉, 이전 프레임이 정상 프레임인 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다(제 740단계). 제 730단계에서 이전 프레임에 오류가 발생된 것으로 판단되면, 이전 프레임의 오류가 중첩법에 의해 은닉되었는지 아니면 반복법에 의해 은닉되었는지 여부를 판단한다(제 750단계). 이전 프레임의 오류가 보간법에 의해 은닉되었는지 여부를 판단하지 않는 이유는 현재 프레임이 오류가 발생된 프레임이므로 이전 프레임에서 보간법에 의해 오류를 은닉할 수 없었을 것이기 때문이다. 제 750단계에서 반복법에 의해 이전 프레임의 오류가 은닉된 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다(제 760단계). 제 750단계에서 중첩법에 의해 이전 프레임의 오류가 은닉된 것으로 판단되면, 이전 프레임들에 발생된 오류를 은닉하기 위해 중첩법이 연속하여 소정횟수 이상 사용되었는지 여부를 판단한다(제 770단계). 이를 판단하는 이유는 중첩법이 연속하여 소정횟수 이상 사용되는 경우 중첩법에 의해 복원된 신호의 에너지가 제안기준 이하의 크기로 감쇄되는 것을 방지하기 위함이다. 제 770단계에서 중첩법이 연속하여 소정횟수 이상 사용된 것으로 판단되면, 반복법을 현재 프레임의 오류은닉방식으로 선정하고(제 780단계), 소정횟수 이상 사용되지 않은 것으로 판단되면, 중첩법 또는 반복법 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정한다(제 790단계). 제 710 내지 제 790단계에서 현재 프레임의 오류은닉방식의 선정이 끝난 후에, 선정된 방식에 의해 현재 프레임 신호를 복원한다(제 795단계).First, the error concealment of the previous frame and the next frame of the current frame in which the error occurred is analyzed (step 700). The error concealment method of the current frame is selected in consideration of the result analyzed in
도 8은 주파수 영역의 프레임 오류가 시간 영역에서 미치는 영향을 설명하기 위한 참고도이다. 도 8을 참조하면, 부호화 단계에서 시간 영역 샘플들을 MDCT(Modulated Discrete Cosine Transformation)할 때, 일반적으로 50% 오버랩(overlap) 윈도우에 의해 MDCT가 수행한다. 따라서 부호화된 오디오 신호가 전송되는 과정에서 주파수 영역상의 N(1 이상의 정수) 개의 프레임에 오류가 발생되는 경우, 시간 영역에서는 N+1개의 프레임에 오류가 발생되게 된다. 따라서 주파수 영역상의 한 프레임에 오류가 발생된 경우, 반복법에 의해 오류가 발생된 프레임 신호를 복원하는 경우, 적어도 세 번 동일한 신호가 반복되므로 변조 노이즈가 발생될 수 있다. 따라서 중첩법, 반복법 및 보간법을 적절히 조합하여 오류은닉방식을 구성할 필요가 있으며, 반복법의 경우 한 프레임 이상 연속하여 사용되지 않도록 하므로 변조 노이즈 발생을 방지할 수 있다.8 is a reference diagram for explaining an effect of a frame error in the frequency domain in the time domain. Referring to FIG. 8, when modulating Discrete Cosine Transformation (MDCT) of time-domain samples in an encoding step, MDCT is generally performed by a 50% overlap window. Therefore, when an error occurs in N (integer or greater) frames in the frequency domain while an encoded audio signal is transmitted, an error occurs in N + 1 frames in the time domain. Therefore, when an error occurs in one frame in the frequency domain, and when restoring a frame signal in which an error is generated by the repetition method, the same signal is repeated at least three times, and thus modulation noise may be generated. Therefore, it is necessary to construct an error concealment method by appropriately combining the superposition method, the repetition method, and the interpolation method. In the case of the repetition method, modulation noise can be prevented because it is not used continuously for more than one frame.
도 9a 내지 9c는 본 발명의 일 실시예에 따른 오류은닉방식 구성방법에 의해 구성된 오류가 발생된 프레임의 은닉방식을 도시한 것이다. 도 9a는 주파수 영역에서 하나의 프레임에 오류가 발생된 경우이고, 도 9b는 두 개의 프레임에 오류가 발생된 경우, 도 9c는 세 개의 프레임에 오류가 발생된 경우이다. W/O error는 오류가 발생되지 않은 정상 프레임임을 의미하며, Overlapping은 중첩법에 의해 프레임 오류가 은닉되도록 선정되었음을 의미한다. Repetition은 반복법에 의해 프레임 오류가 은닉되도록 선정되었음을 의미하고, Interpolation은 보간법에 의해 프레임 오류가 은닉되도록 선정되었음을 의미한다. 도 9a 내지 9c에 도시된 바와 같이, 다음 프레임이 정상 프레임이면 보간법에 의해 현재 프레임의 오류를 은닉되고, 이전 프레임이 정상프레임이면 즉, 현재 프레임에서 오류가 시작되면 중첩법에 의해 현재 프레임의 오류가 은닉되도록 구성되었음을 알 수 있다. 또한, 중첩법에 의해 오류를 은닉하는 프레임들 사이에 반복법에 의해 오류가 은닉되는 프레임이 삽입되며, 반복법에 의해 연속하여 프레임 오류가 은닉되지 않도록 구성되었음을 알 수 있다.9A to 9C illustrate a concealment method of a frame in which an error is generated by the error concealment method configuration method according to an embodiment of the present invention. FIG. 9A illustrates a case where an error occurs in one frame in the frequency domain, and FIG. 9B illustrates a case where an error occurs in two frames and FIG. 9C illustrates a case where an error occurs in three frames. W / O error means normal frame where no error occurred, and overlapping means that frame error is selected to be concealed by overlapping method. Repetition means that the frame error is selected to be concealed by the repetition method, and Interpolation means that the frame error is selected to be concealed by the interpolation method. As shown in Figs. 9A to 9C, if the next frame is a normal frame, the error of the current frame is concealed by interpolation. If the previous frame is a normal frame, that is, if the error starts in the current frame, the error of the current frame is overlapped. It can be seen that is configured to conceal. In addition, it can be seen that a frame in which an error is concealed by an iterative method is inserted between frames concealing an error by an overlapping method, and it is understood that the frame error is not concealed continuously by the iterative method.
네 번째로, 도 10을 참조하여 본 발명의 일 실시예에 따른 오류은닉방식 구성장치를 포함하는 적응적 프레임 오류 은닉장치에 관해 살펴보기로 하자. 도 10은 본 발명의 일 실시예에 따른 오류은닉방식 구성장치를 포함하는 적응적 프레임 오류 은닉장치의 구성을 도시한 블록도로서, 오류은닉방식 선정부(1000) 및 오류 은닉부(1010)를 포함하고, 오류은닉방식 선정부(1000)는 분석부(1020) 및 선정부(1030)를 포함한다.Fourth, an adaptive frame error concealment apparatus including an error concealment configuration apparatus according to an embodiment of the present invention will be described with reference to FIG. 10. FIG. 10 is a block diagram illustrating a configuration of an adaptive frame error concealment apparatus including an error concealment configuration apparatus according to an embodiment of the present invention, and includes an error
분석부(1020)는 오류가 발생된 현재 프레임의 이전(previous) 및 다음(next) 프레임의 오류은닉상황을 분석한다. 여기서, 이전 및 다음 프레임의 오류은닉상황에는 이전 프레임의 오류발생여부, 이전 프레임에 오류가 발생되었다면 이전 프레임의 오류를 은닉하기 위해 사용된 방식, 다음 프레임의 오류발생여부 및 이전 프레임의 오류를 은닉하기 위하여 연속하여 소정회수 이상 중첩법이 사용되었는지 여부 등이 포함될 수 있다.The
선정부(1030)는 상기 분석부(1020)에서 분석된 결과를 고려하여 시간 영역에서의 중첩법, 반복법 및 보간법 중에서 상기 프레임에 발생된 오류를 은닉하기 위한 방식을 선정한다.The selecting
예를 들어, 선정부(1030)는 분석결과 이전 프레임이 정상 프레임인 것으로 판단되면 중첩법을 현재 프레임의 오류은닉방식으로 선정할 수 있다. 또, 선정부(1030)는 분석결과 이전 프레임에 발생된 오류를 은닉하기 위해 반복법이 사용된 것으로 판단되면 반복법 외의 나머지 방식들 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정할 수 있다. 또, 선정부(1030)는 이전 프레임에 발생된 오류를 은닉하기 위해 중첩법이 연속하여 소정 횟수이상 사용된 것으로 판단되면 중첩법 외의 나머지 방식들 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정할 수 있다. 또, 선정부(1030)는 다음 프레임이 정상 프레임인 것으로 판단되면 보간법을 상기 현재 프레임의 오류은닉방식으로 선정할 수 있다.For example, if it is determined that the previous frame is a normal frame, the
보다 구체적으로 선정부(1030)의 동작을 살며보면 다음과 같다. 우선, 분석부(1020)에서 분석된 결과를 고려하여 다음 프레임에 오류가 발생되었는지 여부를 판단한다. 다음 프레임이 정상 프레임(good frame)인 것으로 판단되면, 보간법을 현재 프레임의 오류은닉방식으로 선정한다. 다음 프레임에 오류가 발생된 것으로 판단되면, 현재 프레임의 이전 프레임에 오류가 발생되었는지 여부를 판단한다. 이전 프레임이 정상 프레임인 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다. 이전 프레임에 오류가 발생된 것으로 판단되면, 이전 프레임의 오류가 중첩법에 의해 은닉되었는지 아니면 반복법에 의해 은닉되었는지 여부를 판단한다. 이전 프레임의 오류가 보간법에 의해 은닉되었는지 여부를 판단하지 않는 이유는 현재 프레임이 오류가 발생된 프레임이므로 이전 프레임에서 보간법에 의해 오류를 은닉할 수 없었을 것이기 때문이다. 이전 프레임이 반복법에 의해 오류가 은닉된 것으로 판단되면, 중첩법을 현재 프레임의 오류은닉방식으로 선정한다. 그러나 이전 프레임이 중첩법에 의해 오류가 은닉된 것으로 판단되면, 이전 프레임들에 발생된 오류를 은닉하기 위해 중첩법이 연속하여 소정횟수 이상 사용되었는지 여부를 판단한다. 이를 판단하는 이유는 중첩법이 연속하여 소정횟수 이상 사용되는 경우 중첩법에 의해 복원된 신호의 에너지가 제안기준 이하의 크기로 감쇄되는 것을 방지하기 위함이다. 중첩법이 연속하여 소정횟수 이상 사용된 것으로 판단되면, 반복법을 현재 프레임의 오류은닉방식으로 선정하고, 소정횟수 이상 사용되지 않은 것으로 판단되면, 중첩법 또는 반복법 중 어느 하나를 현재 프레임의 오류은닉방식으로 선정한다.More specifically, the operation of the
오류 은닉부(1010)는 선정부(1030)에서 선정된 현재 프레임의 오류은닉방식에 따라 현재 프레임 신호를 복원함으로써 현재 프레임에 발생된 오류를 은닉한다.The
살펴본 바와 같이 본 발명의 일 실시예에 따른 오류은닉방식 구성방법을 이용한 적응적 프레임 오류 은닉방법 및 장치는 중첩법, 반복법 및 보간법을 각 은닉방식의 특성들에 맞게 적절히 조합하여 오류가 발생된 프레임의 오류은닉방식을 구성함으로써, 복원된 음질을 극대화할 수 있는 방식에 의해 각 프레임 신호가 복원될 수 있도록 한다. 또한, 본 발명에 따른 적응적 프레임 오류은닉방법 및 장치는 시간 영역에서 프레임 오류를 은닉하는 방식에 의해 오류 프레임의 신호를 복원함으로써 코더 코덱(core codec)과 독립적인(independent) 스탠드어론((stand alone) 구조에 의해 구현될 수 있다. 즉, 오류가 발생된 현재 프레임의 이전 프레임 또는 다음 프레임의 시간 영역 신호만을 통하여 현재 프레임 신호를 복원할 수 있다. 또한, 이전 프레임의 신호를 분석하는 등의 복잡한 절차 없이 중첩법, 반복법 및 보간법에 의해서만 프레임 오류를 은닉하므로 단순한 구조로 구현될 수 있다. 또한, 단순히 구조에 의해 한 프레임의 지연만으로 프레임 오류를 은닉할 수 있다.As described above, an adaptive frame error concealment method and apparatus using an error concealment method construction method according to an embodiment of the present invention is a frame in which an error is generated by appropriately combining an overlapping method, an iteration method, and an interpolation method according to the characteristics of each concealment method. By constructing an error concealment method, each frame signal can be recovered in a manner that can maximize the restored sound quality. In addition, the adaptive frame error concealment method and apparatus according to the present invention can recover a signal of an error frame by a method of concealing a frame error in the time domain. alone) structure, that is, the current frame signal can be recovered only through the time-domain signal of the previous frame or the next frame of the current frame in which the error has occurred. Since the frame error is concealed only by superposition, iteration, and interpolation without complicated procedures, the structure can be implemented in a simple structure, and the frame error can be concealed by simply delaying one frame by the structure.
본 발명은 컴퓨터로 읽을 수있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.The present invention can be embodied as code that can be read by a computer (including all devices having an information processing function) in a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.
이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. . Accordingly, the true scope of the present invention should be determined by the appended claims.
1010 ... 오류은닉부 1020 ... 분석부
1030 ... 선정부1010 ...
1030 ... Selection
Claims (6)
상기 분석된 결과를 고려하여 중첩법, 반복법 및 보간법을 포함하는 복수의 방식들 중에서 상기 오류가 발생한 프레임의 오류은닉방식을 선정하는 선정부; 및
상기 선정된 방식에 따라 상기 오류가 발생된 프레임의 오류를 은닉하는 은닉부를 포함하는 프레임 오류은닉장치.An analysis unit for analyzing whether an error occurs in an adjacent frame of an error frame;
A selection unit for selecting an error concealment method of a frame in which the error occurs among a plurality of methods including an overlapping method, an iterative method, and an interpolation method in consideration of the analyzed result; And
And a concealment unit for concealing an error of the frame in which the error has occurred according to the selected scheme.
다음 프레임의 오류발생여부 및 이전 프레임의 오류발생여부와 함께, 상기 이전 프레임에 오류가 발생되었다면 상기 이전 프레임의 오류를 은닉하기 위해 사용된 방식 및 상기 이전 프레임들의 오류를 은닉하기 위하여 연속하여 소정회수 이상 중첩법이 사용되었는지 여부 중 적어도 어느 하나를 추가로 분석하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 1, wherein the analysis unit
In addition to whether an error occurred in the next frame and an error occurred in the previous frame, if the error occurred in the previous frame, the method used to conceal the error of the previous frame and the predetermined number of times consecutively to conceal the error of the previous frames. Frame error concealment device characterized in that it further analyzes at least one of whether or not the above superposition method is used.
이전 프레임이 정상 프레임인 것으로 판단되면 상기 중첩법을 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 1, wherein the selection unit
And if the previous frame is determined to be a normal frame, selecting the superposition method as an error concealment method of the frame in which the error occurs.
상기 이전 프레임에 발생된 오류를 은닉하기 위해 상기 반복법이 사용된 것으로 판단되면 상기 반복법 외의 나머지 방식들 중 어느 하나를 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 2, wherein the selecting unit
If it is determined that the repetition method is used to conceal an error occurring in the previous frame, the frame error concealment apparatus is characterized in that any one of the remaining methods other than the repetition method is selected as an error concealment method of the frame in which the error occurs. .
상기 이전 프레임에 발생된 오류를 은닉하기 위해 상기 중첩법이 연속하여 소정 횟수이상 사용된 것으로 판단되면 상기 중첩법 외의 나머지 방식들 중 어느 하나를 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.The method of claim 2, wherein the selecting unit
If it is determined that the superposition method is used a predetermined number of times consecutively to conceal an error occurring in the previous frame, selecting one of the remaining methods other than the superposition method as the error concealment method of the frame in which the error has occurred. Frame error concealment device characterized in that.
다음 프레임이 정상 프레임인 것으로 판단되면 상기 보간법을 상기 오류가 발생된 프레임의 오류은닉방식으로 선정하는 것을 특징으로 하는 프레임 오류은닉장치.
The method of claim 1, wherein the selection unit
And if the next frame is determined to be a normal frame, selecting the interpolation method as an error concealment method of the frame in which the error occurs.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120109728A KR101291198B1 (en) | 2012-10-02 | 2012-10-02 | The Apparatus For Frame Error Concealment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120109728A KR101291198B1 (en) | 2012-10-02 | 2012-10-02 | The Apparatus For Frame Error Concealment |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060120107A Division KR101291193B1 (en) | 2006-11-30 | 2006-11-30 | The Method For Frame Error Concealment |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120126042A KR20120126042A (en) | 2012-11-20 |
KR101291198B1 true KR101291198B1 (en) | 2013-07-31 |
Family
ID=47511497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120109728A KR101291198B1 (en) | 2012-10-02 | 2012-10-02 | The Apparatus For Frame Error Concealment |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101291198B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4336493A3 (en) * | 2014-07-28 | 2024-06-12 | Samsung Electronics Co., Ltd. | Method and apparatus for packet loss concealment, and decoding method and apparatus employing same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080033584A1 (en) | 2006-08-03 | 2008-02-07 | Broadcom Corporation | Scaled Window Overlap Add for Mixed Signals |
US7590525B2 (en) | 2001-08-17 | 2009-09-15 | Broadcom Corporation | Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
-
2012
- 2012-10-02 KR KR1020120109728A patent/KR101291198B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7590525B2 (en) | 2001-08-17 | 2009-09-15 | Broadcom Corporation | Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform |
US20080033584A1 (en) | 2006-08-03 | 2008-02-07 | Broadcom Corporation | Scaled Window Overlap Add for Mixed Signals |
Also Published As
Publication number | Publication date |
---|---|
KR20120126042A (en) | 2012-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101291193B1 (en) | The Method For Frame Error Concealment | |
KR102151749B1 (en) | Frame error concealment method and apparatus, and audio decoding method and apparatus | |
KR101292771B1 (en) | Method and Apparatus for error concealment of Audio signal | |
KR101203244B1 (en) | Method for generating concealment frames in communication system | |
JP4603091B2 (en) | Method and apparatus for concealing frame loss on high band signals | |
CN104718571B (en) | Method and apparatus for concealment frames mistake and the method and apparatus for audio decoder | |
KR101513184B1 (en) | Concealment of transmission error in a digital audio signal in a hierarchical decoding structure | |
KR100462615B1 (en) | Audio decoding method recovering high frequency with small computation, and apparatus thereof | |
JP6791839B2 (en) | Packet loss hiding method | |
RU2713701C1 (en) | Audio encoder and decoder for wave-form coding with interleaving | |
JP2006189836A (en) | Wide-band speech coding system, wide-band speech decoding system, high-band speech coding and decoding apparatus and its method | |
CN103714821A (en) | Mixed domain data packet loss concealment based on position | |
US20090192789A1 (en) | Method and apparatus for encoding/decoding audio signals | |
CN108847247B (en) | Audio frame loss concealment | |
KR20160002920A (en) | Frame loss correction by weighted noise injection | |
KR101291198B1 (en) | The Apparatus For Frame Error Concealment | |
RU2714238C1 (en) | Device and method for improvement of transition from masked section of audio signal to next section of audio signal near audio signal | |
KR101261528B1 (en) | Method and apparatus for error concealment of decoded audio signal | |
KR101601906B1 (en) | Apparatus and method for coding audio signal by swithcing transform scheme among frequency domain transform and time domain transform | |
KR101805631B1 (en) | Apparatus and method for coding audio signal by swithcing transform scheme among frequency domain transform and time domain transform | |
RU2643662C2 (en) | Device and method for audio signal processing using combination in overlapping range | |
JP2004187290A (en) | Digital signal processing method, processor, program thereof, and recording medium having the program stored thereon | |
KR20160030499A (en) | Apparatus and method for coding audio signal by swithcing transform scheme among frequency domain transform and time domain transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170629 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180628 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190627 Year of fee payment: 7 |