KR100238324B1 - 오디오 신호의 에러 은닉 방법과 그 장치 - Google Patents

오디오 신호의 에러 은닉 방법과 그 장치 Download PDF

Info

Publication number
KR100238324B1
KR100238324B1 KR1019970073539A KR19970073539A KR100238324B1 KR 100238324 B1 KR100238324 B1 KR 100238324B1 KR 1019970073539 A KR1019970073539 A KR 1019970073539A KR 19970073539 A KR19970073539 A KR 19970073539A KR 100238324 B1 KR100238324 B1 KR 100238324B1
Authority
KR
South Korea
Prior art keywords
frame
transform
error
transform coefficients
audio
Prior art date
Application number
KR1019970073539A
Other languages
English (en)
Other versions
KR19990053837A (ko
Inventor
전병우
정제창
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970073539A priority Critical patent/KR100238324B1/ko
Publication of KR19990053837A publication Critical patent/KR19990053837A/ko
Application granted granted Critical
Publication of KR100238324B1 publication Critical patent/KR100238324B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/18Error detection or correction; Testing, e.g. of drop-outs
    • G11B20/1876Interpolating methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal
    • G11B2020/00036AC-3, i.e. ATSC digital audio compression standard
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal
    • G11B2020/00057MPEG-1 or MPEG-2 audio layer III [MP3]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 신호의 에러 은닉 방법 및 그 장치가 개시되어 있다. 본 발명은 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 복수개의 삼각 변환을 수행하여 각 변환에 따른 변환 계수들을 생성하는 삼각 변환 연산기, 각 변환에 따른 변환 계수들 중에서 에너지 집중도에 의해 하나를 선택하여 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 생성하는 선택기 및 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 주파수 영역에서 보간하여 에러가 발생한 프레임의 변환 계수를 복원하는 에러 은닉 데이터 발생기를 포함하여 나은 음질의 향상을 도모할 수 있으며, 또한 주어진 채널에서 보다 많은 음성 정보의 전송을 가능케 한다.

Description

오디오 신호의 에러 은닉 방법과 그 장치
본 발명은 오디오 신호의 에러 은닉 방법 및 그 장치에 관한 것으로, 특히 보다 나은 음질을 출력하는 오디오 신호의 에러 은닉 방법 및 그 장치에 관한 것이다.
MPEG(Moving Picture Experts Group) 오디오가 MPEG 비디오와 조합됨으로써 멀티미디어를 위한 고능률의 정보 압축을 실현할 수 있다. MPEG 오디오는, 고능률의 압축 방법에 의해 압축되지 않는 컴팩트 디스크의 디지털 오디오(CD-DA)에 견주어도 음질이 거의 떨어지지 않는다. MPEG 비디오와의 조합뿐만 아니라 DAB(Digital Audio Broadcasting: 디지털 음악 방송)등에 MPEG 오디오를 단독으로 이용할 수도 있다. 유럽에서는 이미 위성을 통해 MPEG 오디오를 송출하는 디지털 음악 방송의 계획이 입안되고 있으며, 이외에도 MPEG 오디오의 단독 이용에 의한 디지털 방송이 계획되고 있다.
그러나, 디지털 오디오 데이터는 미리 규정된 표준에 따라 부호화되기 때문에 프레임내의 에러에 매우 민감하다. 그러므로 에러로 인한 문제를 극복하기 위해서 에러 정정 부호가 사용된다. MPEG-2 오디오의 프레임에서는 CRC(Cyclic Redundancy Code)를 사용하지만, 에러 정정 부호는 에러를 정정하기 위한 일정한 양의 부가적인 데이터로서, 실제 오디오 데이터 뒤에 덧붙여 전송된다. 이러한 부가적인 데이터는 전체적인 데이터 양의 증가를 가져온다. 그리고, 채널상의 에러 특성을 알 수 없기 때문에 과도한 에러 정정 능력을 가진 정정 부호를 사용하거나 에러 정정 과정 중에 에러가 발생하기도 한다.
그러므로, 전송 에러를 극복하기 위해서 부가적인 데이터를 덧붙이지 않고 인간의 청각 특성을 이용하는 에러 은닉 방법을 사용한다. 즉, 에러가 발생하여 프레임을 사용하지 못하는 경우 인간이 에러를 느끼지 못하도록 에러 은닉 방법을 사용한다.
기존의 제안된 에러 은닉 방법은 묵음화, 반복, 주파수 영역에서의 에러 은닉, AR(Autoregressive) 모델링을 이용한 에러 은닉, 최하위비트(LSB) 드로핑(dropping)을 이용한 에러 은닉과 같은 것이 있다.
(ⅰ) 묵음화
에러 은닉의 가장 간단한 방법은 에러에 의해 제대로 복호화할 수 없는 프레임을 묵음화하는 것이다. 프레임을 자주 묵음화하는 것은 주관적인 음질을 매우 저하시킨다. 그리고 오디오 신호와 묵음 구간의 '클릭'하는 소리를 피하기 위해 "fade-in" 또는 "fade-out" 방법이 첨가될 수 있다. 하지만 프레임을 묵음화하는 것은 매우 귀에 거슬리며, 묵음화된 프레임의 정보는 잃어버리게 된다.
따라서, 여러 가지의 에러 은닉 방법 중에서 에러가 발생한 프레임을 묵음으로 만드는 가장 단순한 방법보다 나은 음질의 에러 은닉 방법을 선택해야 한다.
(ⅱ) 반복
에러에 의해 복호화할 수 없는 프레임들을 묵음화하는 대신에 올바르게 복호화된 이전 프레임으로 대체하는 것을 말한다. 올바르게 복호화된 프레임을 에러에 의해 잃어버린 프레임으로 대체하는 방법은 오디오 신호 그 자체에 매우 민감하다. 하지만 대부분의 경우 단순히 묵음화시키는 것보나는 좋은 음질의 오디오 신호를 출력한다.
그러나, 이 방법은 최소한 한 프레임의 오디오 데이터를 저장할 수 있는 메모리가 필요하다. 또한, 다수의 프레임이 에러가 발생하여 복호화할 수 없는 경우에는 한 프레임을 여러 번 반복하거나, 복호화할 수 없는 프레임의 수만큼 올바르게 복호화된 프레임들을 한 번씩 반복하여 에러 은닉을 할 수도 있다. 이러한 에러 은닉 방법은 순수한 사인파나 백색 잡음의 경우에는 잘 적용되지만 대부분의 오디오 신호에는 그렇지 못한 문제점이 있었다.
(ⅲ) 주파수 영역에서의 에러 은닉
시간 영역에서의 에러 은닉 방법에 대해서는 잘 알려져 왔지만 주파수 영역에서의 에러 은닉 방법은 많이 제안되지 않았다. 디지털 오디오 신호의 전송은 도 1에 도시된 바와 같이 모델링된다. 시간 영역에서 주파수 영역으로의 변환은 MDCT(Modified Discrete Cosine Tranform)이나 다위상 필터 뱅크 또는 이들의 하이브리드 방법을 사용한다. 만약 전송중에 에러 정정 부호로 복구할 수 없는 에러가 발생하면 주파수 영역의 에러는 시간 영역에서는 군집 에러를 유발하게 된다.
주파수 영역에서의 에러 은닉 방법으로서 문헌 [1]에 개시된 에러 은닉 방법은 분석(anaylsis) 필터 뱅크의 출력을 시간, 주파수 및 진폭의 3차원 공간을 구성한 후, 소정의 문턱치 이하로 클리핑한다: [1] J. Herre and E. Eberlein, "Error Concealment in the Spectral Domain". 하지만 이 에러 은닉 방법은 에러에 대한 정보를 가지고 있지 않기 때문에 특별한 종류의 오디오 신호에 대해 음질을 저하시킬 가능성을 가지고 있다.
(ⅳ) AR(Autoregressive) 모델링을 이용한 에러 은닉
손실된 프레임의 신호를 AR 과정(process)으로서 모델링하여 손실된 프레임을 보간하는 방법이 문헌 [2]에 개시되어 있다: [2] W.Etter, "Restoration of a Discrete-Time Signal Segment by Interpolation Based on the Left-Sided and Right-Sided Autoregressive parameters," IEEE Trans. Signal Process., vol.44, no.5, pp 1124-1135, May 1996.
문헌 [2]에 개시된 방법은 기존의 AR 모델링과는 달리, 손실된 프레임과 그 주위의 신호에 대해 1개의 AR 모델링을 사용하지 않고 전과 후의 프레임을 이용하여 2개의 서로 다른 AR 모델링을 사용한다. 각각의 AR 모델링에 의해 구해진 신호에 대해 프레임의 연속성을 고려해서 올림(raised) 코사인 형태의 가중치를 부가한 후 두 신호를 합하여 손실된 프레임의 신호를 복원한다.
(ⅴ) LSB(Least Significant Bit) 드로핑을 이용한 에러 은닉
패킷 통신에 있어서, 송신측에서는 패킷의 수가 전송 능력을 초과하여 발생하면 초과 발생된 패킷을 버리게 되고, 수신측에서는 버퍼 메모리의 지연시간내에 패킷이 도착하지 않으면 그 패킷을 잃어버리게 된다. 또한, 전송선상에 혼잡도를 제어하기 위해 패킷을 버리기도 한다.
LSB는 복원된 신호의 음질에 영향을 적게 주기 때문에 LSB 드로핑 방법은 전송되는 패킷을 MSB(Most Significant Bit) 패킷과 LSB 패킷으로 만들어서, 전송 도중 LSB 패킷을 손실하여도 복원된 신호의 음질에 영향을 적게 주고자 하는 방법이다.
이때, LSB 패킷이 손실되면 부호기의 예측기 입력과 복호기의 예측기 입력이 달라져서 복호기측의 양자화 간격(step-size)이나 예측 변수등이 달라져서 복호기의 예측기의 출력값이 부호기의 예측기의 출력값과 달라지게 되는 문제점이 있었다.
따라서, 본 발명의 목적은 주파수 영역에서 오디오 신호의 에러를 은닉하는 방법을 제공하는 데 있다.
본 발명의 다른 목적은 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 이용하여 에러가 발생한 프레임의 오디오 데이터를 복원하는 오디오 신호의 에러 은닉 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 이용하여 에러가 발생한 프레임의 오디오 데이터를 복원하는 오디오 신호의 에러 은닉 장치를 제공하는 데 있다.
상기한 목적과 다른 목적을 달성하기 위하여, 본 발명에 의한 오디오 신호의 에러 은닉 방법은 복호화된 오디오 신호의 에러를 은닉하는 방법에 있어서, 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 복수개의 삼각 변환을 수행하여 각 변환에 따른 변환 계수들을 생성하는 단계, 각 변환에 따른 변환 계수들 중에서 소정의 기준에 의해 하나를 선택하여 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 생성하는 단계 및 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 주파수 영역에서 보간하여 에러가 발생한 프레임의 변환 계수를 복원하는 단계를 포함함을 특징으로 한다.
상기한 또 다른 목적을 달성하기 위하여, 본 발명에 의한 오디오 신호의 에러 은닉 장치는 복호화된 오디오 신호의 에러를 은닉하는 장치에 있어서, 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 복수개의 삼각 변환을 수행하여 각 변환에 따른 변환 계수들을 생성하는 삼각 변환 연산기, 각 변환에 따른 변환 계수들 중에서 소정의 기준에 의해 하나를 선택하여 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 생성하는 선택기 및 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 주파수 영역에서 보간하여 에러가 발생한 프레임의 변환 계수를 복원하는 에러 은닉 데이터 발생기를 포함함을 특징으로 한다.
도 1은 일반적인 디지털 오디오 전송 장치의 블록도이다.
도 2는 본 발명에 의한 오디오 신호의 에러 은닉 장치의 블록도이다.
도 3은 도 2에 도시된 오디오 복호기의 일 예인 MPEG 오디오 복호기의 블록도이다.
도 4는 도 2에 도시된 오디오 복호기의 다른 예인 AC-3 복호기의 블록도이다.
도 5는 손실된 프레임과 올바르게 복호화된 프레임을 보인 도면이다.
도 6은 손실된 프레임의 전과 후 프레임의 오디오 데이터의 변환 계수를 설명하기 위한 도면이다.
도 7은 손실된 프레임의 오디오 데이터의 변환 계수의 예측을 설명하기 위한 도면이다.
도 8 내지 도 12는 도 2에 도시된 에러 은닉 데이터 발생기에서 합성에 사용된 DFT, π -ODFT, DCT, DST, DHT의 변환 커널들의 일부를 보인 도면이다.
도 13은 손실된 프레임의 오디오 데이터가 예측되어 복구된 모습을 보인 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 오디오 신호의 에러 은닉 방법과 그 장치의 바람직한 실시예를 설명하기로 한다.
본 발명에 의한 오디오 신호의 에러 은닉 장치의 일 실시예에 따른 블록도인 도 2에 있어서, 본 발명의 에러 은닉 장치는 오디오 복호기(100)의 후단에 구성된 후처리기(120)를 지칭할 수도 있고, 오디오 복호기(100)의 후단에 별도로 구성될 수 있다. 이 후처리기(120)는 음질 향상을 위해 오디오 복호기(100)에서 복호화된 오디오 데이터를 이용하는 블록들이 더 있을 수 있다.
그리고, 본 발명의 에러 은닉 장치는 삼각 변환 연산기(122), 삼각 변환 선택기(124) 및 에러 은닉 데이터 발생기(126)로 구성된다.
도 3은 후처리기(220)가 MPEG 오디오 복호기(200)의 출력단에 구성된 예를 보인 블록도이고, 도 4는 후처리기(320)가 돌비(Dolby)사에서 제안한 복호기인 AC(Audio Coding)-3(300)의 출력단에 구성된 예를 보인 도면이다.
도 3의 MPEG 오디오 복호기(200)의 디멀티플렉서(202)는 MPEG 오디오 비트스트림으로부터 오디오 비트스트림과 비트스트림상에 포함되어 있는 제어 정보를 분리한다. 역양자화기(204)는 오디오 비트스트림을 역양자화해서 서브밴드 및 앤티-얼라어스(anti-alias) 필터 뱅크(208)에 인가한다. 제어기(206)는 제어정보로부터 비트 할당 정보를 추출하여 서브밴드 및 앤티-얼라어스 필터 뱅크(208)에 인가한다.
서브밴드 및 앤티-얼라어스 필터 뱅크(208)는 역양자화된 비트스트림을 비트 할당 정보에 따라 역변환해서 각 서브밴드 샘플들을 복원하고, 각 서브밴드 샘플들에 포함되어 있는 얼라어스를 제거한다. 스테레오 레벨 제어기(210)는 서브밴드 및 앤티-얼라어스 필터 뱅크(208)의 출력으로부터 좌, 우 신호로 분리해서 좌, 우 신호의 레벨을 제어한 후 원래의 오디오 데이터를 후처리기(220)의 삼각 변환 연산기(222)에 인가한다.
후처리기(220)의 삼각 변환 연산기(222)에 인가되고 있는 에러가 발생한 프레임을 나타내는 정보는 MPEG 복호기(200)의 전단에 구성되는 오류정정 복호기(도시되지 않음)에서 발생하며, 이 오류정정 복호기에서는 오디오 비트스트림상의 CRC(Cyclic Redundancy Code)를 사용하여 오디오 비트스트림의 에러를 발견할 수 있으므로 어떤 프레임에 에러가 발생했는지 알 수 있으므로 이에 대한 정보를 발생한다. 오류정정 복호기도 MPEG 복호기에 포함될 수 있다.
또한, 도 4의 AC-3의 복호기(320)의 디멀티플렉서(302)는 입력되는 AC-3 비트스트림으로부터 오디오 비트스트림, 부가정보와 성분(exponent)정보를 분리한다. 스펙트럴 엔벨로프 복호기(304)는 분리된 성분정보로부터 비트 할당 정보를 추출해서 비트 할당기(306)에 인가한다. 비트 할당기(306)는 디멀티플렉서(302)로부터 분리된 부가정보와 스펙트럴 엔벨로프 복호기(304)로부터 인가되는 비트 할당 정보에 따라 결정된 양자화 간격을 역양자화기(308)에 인가한다. 여기서, 부가정보는 입력 비트스트림이 AC-3 비트스트림임을 나타내는 정보를 포함하고 있다.
역양자화기(308)는 분리된 오디오 비트스트림을 양자화 간격에 따라 역양자화해서 역필터 뱅크(310)에 인가한다. 역필터 뱅크(310)는 역양자화된 오디오 비트스트림을 역변환해서 원래의 오디오 데이터를 복원해서 후처리기(320)의 삼각 변환 연산기(322)에 인가한다. 삼각 변환 연산기(322)에 인가되고 있는 에러가 발생한 프레임을 나타내는 정보는 AC-3 복호기(300)의 전단에 구성되는 오류정정 복호기에서 발생된다.
이어서, 본 발명의 주요 구성인 삼각 변환기(122), 선택기(124) 및 에러 은닉 데이터 발생기(126)에 대해 도 2를 결부시켜 설명하기로 한다.
오디오 데이터의 어느 한 프레임에서 에러가 발생하여 그 프레임이 복호화되지 못하고 버려지게 되면 손실된 프레임의 전과 후의 올바르게 복호화된 프레임을 사용하여 손실된 프레임을 은닉한다.
즉, 도 5의 (a)에 도시된 바와 같이 연속하는 프레임의 오디오 비트스트림에 대하여 도 5의 (b)에 도시된 바와 같이 에러에 의해 손실된 프레임(FRAME 2)이 발생되면 후처리기(120)는 손실된 프레임(FRAME 2)의 전과 후의 프레임(FRAME 1, FRAME 3)의 변환 계수를 이용하여 복구한다.
즉, 도 2의 삼각 변환 연산기(122)는 에러가 발생한 손실된 프레임(FRAME 2)을 나타내는 정보에 따라 오디오 복호기(100)로부터 인가되는 손실된 프레임의 전 프레임(FRAME 1)과 후 프레임(FRAME 3)의 오디오 데이터들을 각각 DFT(Discrete Fourier Tranform), π -ODFT( π -Offset Discrete Fourier Tranform), DCT(Discrete Cosine Transform), DST(Discrete Sine Tranform), DHT(Discrete Hartley Transform) 등 지금까지 알려진 삼각 변환을 이용하여 변환계수를 구한다.
선택기(124)는 구해진 변환 계수들의 에너지 집중도를 이용해서 손실된 프레임의 전 프레임(FRAME 1)과 후 프레임(FRAME 2)에 대해 행해진 5개의 삼각 변환 중에서 에너지 집중도가 가장 높은 하나의 변환을 선택한다. 이렇게 선택된 변환은 손실된 프레임의 오디오 신호를 복원하는데 사용한다.
에러 은닉 데이터 발생기(126)는 선택된 변환에 의해 얻어진 손실된 프레임의 전과 후 프레임(FRAME 2, FRMAE 3)의 변환계수들을 보간하여 손실된 프레임(FRAME 2)의 변환 계수들을 예측하고 예측된 변환계수들을 합성하여 손실된 프레임(FRAME 2)의 오디오 데이터를 복원한다. 따라서, 에러 은닉 데이터 발생기(126)는 변환 계수들을 보간하는 보간기와 보간된 변환 계수들을 합성하는 합성기를 포함한다.
여기서, 에너지 집중도를 이용하여 5개의 삼각 변환 중에서 하나의 변환을 선택한다는 것은 손실된 프레임의 전 프레임(FRAME 1)과 후 프레임(FRAME 3)의 오디오 신호의 성분을 가장 잘 특징짓는 변환 계수들을 찾아낸다는 것이다. 그리고, 이 변환 계수들은 손실된 프레임(FRAME 2)에서 급격히 변화할 수 없다. 그러므로, 에너지 집중도가 가장 높은 변환을 사용하여 전 프레임(FRAME 1)과 후 프레임(FRAME 3)의 오디오 신호의 특징을 가장 잘 특징짓는 변환 계수들을 구한다.
이렇게 구해진 전 프레임(FRAME 1)의 변환계수를 Fk, 손실된 프레임(FRAME 2)의 변환 계수를 Sk, 후 프레임(FRAME 3)의 변환 계수를 Tk으로 표시한다.
프레임 1의 오디오 데이터 변환 계수 F0,F1,...,FN-1
프레임 2의 오디오 데이터 변환 계수 S0,S1,...,SN-1
프레임 3의 오디오 데이터 변환 계수 T0,T1,...,TN-1
도 6의 (a)와 (b)는 각각 손실된 프레임(FRAME 2)의 전 프레임(FRAME 1)의 오디오 데이터 변환 계수들(F0,F1,...,FN-1)과 후 프레임(FRAME 3)의 오디오 데이터의 변환 계수들(T0,T1,...,TN-1)을 보이고 있다.
k 번째 변환 계수인 Fk와 Tk를 이용하여 Sk를 예측한다. Fk와 Tk의 차이를 N(=256) 간격으로 선형적으로 보간하여 손실된 프레임(FRAME 2)의 k 번째 오디오 데이터의 변환 계수(Sk)의 예측을 전과 후 프레임의 변환 계수(Fk,TK)로부터 할 수 있다.
도 7의 (a)는 손실된 프레임(FRAME 2)의 전과 후 프레임(FRAM1,FRAME3)의 첫 번째 오디오 데이터의 변환 계수들(F0,T0)의 차이를 N 간격으로 선형적으로 보간하여 손실된 프레임의 첫 번째 오디오 데이터의 보간된 변환계수(S0(n))를 예측하는 과정을 설명하기 위한 도면이고, 도 7의 (b)는 손실된 프레임(FRAME 2)의 전과 후 프레임(FRAME 1, FRAME 3)의 두 번째 오디오 데이터의 변환 계수(F1,T1)의 차이를 N 간격으로 선형적으로 보간하여 손실된 프레임의 두 번째 오디오 데이터의 보간된 변환 계수(S1(n))를 예측하는 과정을 설명하기 위한 도면이다.
이렇게 얻어진 손실된 프레임(FRAME 2)의 k 번째 오디오 데이터의 보간된 변환 계수(Sk(n))는 수학식 1과 같이 나타낼 수 있다.
Figure 1019970073539_B1_M0001
다음, 손실된 프레임의 오디오 데이터의 보간된 변환 계수들을 합성하여 시간 영역에서의 오디오 데이터를 생성한다. 손실된 프레임의 오디오 데이터의 보간된 변환 계수들을 합성할 때 사용되는 변환들의 일부 커널들을 도 8 내지 도 12에 도시되어 있다.
실제로는 256개의 커널이 모두 사용되지만 여기서는 저주파 6개의 커널들만 보이고 있다. 즉, 도 8은 DFT의 변환 커널들을, 도 9는 π -ODFT의 변환 커널들을, 도 10은 DCT의 변환 커널들을, 도 11은 DST의 변환 커널들을, 도 12는 DHT의 변환 커널들을 각각 보이고 있다. 그리고, 도 8 내지 도 12에서 수평축은 시간(time)을 나타내고 수직축은 크기(amplitude)을 나타내고 있다.
복원된 프레임(FRAME 2)의 오디오 신호들이 전 프레임(FRAME 1)과 후 프레임(FRAME 3)과의 연속성을 가지기 위해서는 오디오 데이터를 합성할 때 사용되는 변환의 커널들이 프레임간에 서로 연속되어야 한다. 각각의 변환에 대해 프레임간에 커널들이 연속되도록 하는 시간영역에 대한 합성식은 표 1과 같다.
변환 오디오 신호의 복원시 사용되는 합성식
DFT
Figure 1019970073539_B1_M0002
π - ODFT
Figure 1019970073539_B1_M0003
DCT
Figure 1019970073539_B1_M0004
DST
Figure 1019970073539_B1_M0005
DHT
Figure 1019970073539_B1_M0006
여기서,
Figure 1019970073539_B1_M0007
은 시간 영역에서 복구된 프레임(FRAME 2)의 오디오 데이터이다. 이렇게 표 1에서의 합성식을 사용하여 합성한 오디오 데이터는 전후의 프레임과 연속성을 같게 된다.
도 13은 에러에 의해 손실된 프레임(FRAME 2)의 오디오 데이터가 전과 후 프레임의 오디오 데이터를 이용한 에러 은닉 방법에 의해 복구된 모습을 보이고 있다.
본 발명은 멀티미디어 시대의 음성 및 오디오 신호의 전송 분야 등에서 보다 나은 음질의 향상을 도모할 수 있으며, 따라서 정보화 사회에서 주어진 채널에서 보다 많은 음성 정보의 전송을 가능케 하는 효과가 있다.

Claims (18)

  1. 복호화된 오디오 신호의 에러를 은닉하는 방법에 있어서:
    (a) 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 복수개의 삼각 변환을 수행하여 각 변환에 따른 변환 계수들을 생성하는 단계;
    (b) 상기 각 변환에 따른 변환 계수들 중에서 소정의 기준에 의해 하나를 선택하여 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 생성하는 단계; 및
    (c) 상기 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 주파수 영역에서 보간하여 상기 에러가 발생한 프레임의 변환 계수를 복원하는 단계를 포함함을 특징으로 하는 오디오 신호의 에러 은닉 방법.
  2. 제1항에 있어서, 상기 소정의 기준은 에너지 집중도인 것을 특징으로 하는 오디오 신호의 에러 은닉 방법.
  3. 제1항에 있어서, 상기 복수개의 삼각 변환은 적어도 DFT(Discrete Fourier Tranform), π -ODFT( π -Offset Discrete Fourier Tranform), DCT(Discrete Cosine Transform), DST(Discrete Sine Tranform), DHT(Discrete Hartley Transform)를 포함하는 것을 특징으로 하는 오디오 신호의 에러 은닉 방법.
  4. 제1항에 있어서, 상기 (c)단계는,
    (c1) 상기 선택된 변환에 따른 전과 후 프레임의 변환 계수들을 이용하여 주파수 영역에서 소정의 보간에 의해 보간하여 상기 에러가 발생한 프레임의 변환 계수들을 생성하는 단계; 및
    (c2) 상기 변환 계수들을 시간 영역에서 합성하여 에러가 발생한 프레임을 복원하는 단계를 포함함을 특징으로 하는 오디오 신호의 에러 은닉 방법.
  5. 제4항에 있어서, 상기 소정의 보간은 선형 보간인 것을 특징으로 하는 오디오 신호의 에러 은닉 방법.
  6. 복호화된 오디오 신호의 에러를 은닉하는 장치에 있어서:
    에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 복수개의 삼각 변환을 수행하여 각 변환에 따른 변환 계수들을 생성하는 삼각 변환 연산기;
    상기 각 변환에 따른 변환 계수들 중에서 소정의 기준에 의해 하나를 선택하여 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 생성하는 선택기; 및
    상기 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 주파수 영역에서 보간하여 상기 에러가 발생한 프레임의 변환 계수를 복원하는 에러 은닉 데이터 발생기를 포함함을 특징으로 하는 에러 은닉 장치.
  7. 제6항에 있어서, 상기 소정의 기준은 에너지 집중도인 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  8. 제6항에 있어서, 상기 복수개의 삼각 변환은 적어도 DFT, π -ODFT, DCT, DST, DHT를 포함하는 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  9. 제6항에 있어서, 상기 에러 은닉 데이터 발생기는,
    상기 선택된 변환에 따른 전과 후 프레임의 변환 계수들을 이용하여 주파수 영역에서 소정의 보간에 의해 보간하여 상기 에러가 발생한 프레임의 변환 계수들을 생성하는 보간기; 및
    상기 변환 계수들을 시간 영역에서 합성하여 에러가 발생한 프레임을 복원하는 합성기를 포함함을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  10. 제9항에 있어서, 상기 소정의 보간은 선형 보간인 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  11. 입력되는 오디오 비트스트림을 오류정정 복호화해서 오류정정 복호화된 프레임이 에러가 발생하면 이에 대한 정보를 발생하고 상기 오류정정 복호화된 비트스트림으로부터 오디오 데이터를 복호화하는 오디오 복호기에 있어서:
    상기 오디오 복호기로부터 출력되는 상기 에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 이용해서 에러가 발생한 프레임 데이터값을 복원하는 후처리기를 포함함을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  12. 제11항에 있어서, 상기 후처리기는,
    에러가 발생한 프레임의 전과 후 프레임의 오디오 데이터를 복수개의 삼각 변환을 수행하여 각 변환에 따른 변환 계수들을 생성하는 삼각 변환 연산기;
    상기 각 변환에 따른 변환 계수들 중에서 소정의 기준에 의해 하나를 선택하여 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 생성하는 선택기; 및
    상기 선택된 변환에 따른 전과 후 프레임에 대한 변환 계수들을 이용하여 주파수 영역에서 보간하여 상기 에러가 발생한 프레임의 변환 계수를 복원하는 에러 은닉 데이터 발생기를 포함함을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  13. 제12항에 있어서, 상기 소정의 기준은 에너지 집중도인 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  14. 제12항에 있어서, 상기 복수개의 삼각 변환은 적어도 DFT, π -ODFT, DCT, DST, DHT를 포함하는 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  15. 제12항에 있어서, 상기 에러 은닉 데이터 발생기는,
    상기 선택된 변환에 따른 전과 후 프레임의 변환 계수들을 이용하여 주파수 영역에서 소정의 보간에 의해 보간하여 상기 에러가 발생한 프레임의 변환 계수들을 생성하는 보간기; 및
    상기 변환 계수들을 시간 영역에서 합성하여 에러가 발생한 프레임을 복원하는 합성기를 포함함을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  16. 제15항에 있어서, 상기 소정의 보간은 선형 보간인 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  17. 제11항에 있어서, 상기 오디오 복호기는 MPEG 오디오 복호기인 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
  18. 제11항에 있어서, 상기 오디오 복호기는 AC-3 복호기인 것을 특징으로 하는 오디오 신호의 에러 은닉 장치.
KR1019970073539A 1997-12-24 1997-12-24 오디오 신호의 에러 은닉 방법과 그 장치 KR100238324B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970073539A KR100238324B1 (ko) 1997-12-24 1997-12-24 오디오 신호의 에러 은닉 방법과 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970073539A KR100238324B1 (ko) 1997-12-24 1997-12-24 오디오 신호의 에러 은닉 방법과 그 장치

Publications (2)

Publication Number Publication Date
KR19990053837A KR19990053837A (ko) 1999-07-15
KR100238324B1 true KR100238324B1 (ko) 2000-01-15

Family

ID=19528566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970073539A KR100238324B1 (ko) 1997-12-24 1997-12-24 오디오 신호의 에러 은닉 방법과 그 장치

Country Status (1)

Country Link
KR (1) KR100238324B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594599B1 (ko) 2004-07-02 2006-06-30 한국전자통신연구원 수신단 기반의 패킷 손실 복구 장치 및 그 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100652004B1 (ko) * 1999-03-03 2006-11-30 엘지전자 주식회사 오디오 데이터의 에러 정정 장치 및 방법
KR100954668B1 (ko) * 2003-04-17 2010-04-27 주식회사 케이티 손실 전/후 패킷정보를 이용한 패킷손실 은닉 방법
KR100686174B1 (ko) * 2005-05-31 2007-02-26 엘지전자 주식회사 오디오 에러 은닉 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594599B1 (ko) 2004-07-02 2006-06-30 한국전자통신연구원 수신단 기반의 패킷 손실 복구 장치 및 그 방법

Also Published As

Publication number Publication date
KR19990053837A (ko) 1999-07-15

Similar Documents

Publication Publication Date Title
JP2756515B2 (ja) 可聴信号の知覚符号化方法および音声信号伝送方法
RU2425340C2 (ru) Оптимизированное по точности кодирование с подавлением упреждающего эхо
KR101178114B1 (ko) 복수의 입력 데이터 스트림을 믹싱하기 위한 장치
US5886276A (en) System and method for multiresolution scalable audio signal encoding
US7536305B2 (en) Mixed lossless audio compression
JP3263168B2 (ja) 可聴音信号を符号化する方法及びデコーダ
KR101278805B1 (ko) 엔트로피 코딩 방법 및 엔트로피 디코딩 방법
KR970007661B1 (ko) 스테레오포닉 오디오 신호의 입력세트 코딩방법
JPH08190764A (ja) ディジタル信号処理方法、ディジタル信号処理装置及び記録媒体
JP2006126826A (ja) オーディオ信号符号化/復号化方法及びその装置
KR20060135699A (ko) 신호 복호화 장치 및 신호 복호화 방법
JPH0730496A (ja) 音声信号復号化装置
US7466245B2 (en) Digital signal processing apparatus, digital signal processing method, digital signal processing program, digital signal reproduction apparatus and digital signal reproduction method
KR100528325B1 (ko) 비트율 조절이 가능한 스테레오 오디오 부호화 및복호화방법 및 그 장치
JP2007504503A (ja) 低ビットレートオーディオ符号化
US7363216B2 (en) Method and system for parametric characterization of transient audio signals
JPH0590974A (ja) 前反響処理方法およびその装置
JP3557674B2 (ja) 高能率符号化方法及び装置
KR100238324B1 (ko) 오디오 신호의 에러 은닉 방법과 그 장치
US6012025A (en) Audio coding method and apparatus using backward adaptive prediction
KR100686174B1 (ko) 오디오 에러 은닉 방법
KR100300887B1 (ko) 디지털 오디오 데이터의 역방향 디코딩 방법
MXPA05003937A (es) Codificacion de audio sinusoidal con actualizaciones de fases.
Ofir et al. Packet loss concealment for audio streaming based on the GAPES and MAPES algorithms
JPH10260699A (ja) 音声符号化方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee