KR20150108419A - 오디오 프레임 손실 은폐 - Google Patents

오디오 프레임 손실 은폐 Download PDF

Info

Publication number
KR20150108419A
KR20150108419A KR1020157022751A KR20157022751A KR20150108419A KR 20150108419 A KR20150108419 A KR 20150108419A KR 1020157022751 A KR1020157022751 A KR 1020157022751A KR 20157022751 A KR20157022751 A KR 20157022751A KR 20150108419 A KR20150108419 A KR 20150108419A
Authority
KR
South Korea
Prior art keywords
frame
sinusoidal
frequency
audio signal
prototype
Prior art date
Application number
KR1020157022751A
Other languages
English (en)
Inventor
스테판 브르흔
Original Assignee
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 텔레폰악티에볼라겟엘엠에릭슨(펍)
Publication of KR20150108419A publication Critical patent/KR20150108419A/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals

Abstract

수신된 오디오 신호의 손실 오디오 프레임의 은폐는 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행(81)하고, 상기 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하며, 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분을 시변하여 오디오 프레임에 대한 대체 프레임을 생성(83)함으로써 이루어지며, 상기 정현파 분석은 상기 오디오 신호의 정현파 성분의 주파수를 확인하는 것을 포함하고, 상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용한다.

Description

오디오 프레임 손실 은폐{AUDIO FRAME LOSS CONCEALMENT}
일반적으로, 본 발명은 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법에 관한 것이다. 또한, 본 발명은 수신된 코딩된 오디오 신호의 손실 오디오 프레임을 은폐하도록 구성된 디코더에 관한 것이다. 더욱이, 본 발명은 디코더를 포함하는 수신기, 및 컴퓨터 프로그램과 컴퓨터 프로그램 제품에 관한 것이다.
기존의 오디오 통신 시스템은 프레임의 음성 및 오디오 신호를 전송하는데, 이는 전송측이 우선 짧은 세그먼트의 오디오 신호, 즉 논리 유닛으로서, 예컨데 전송 패킷으로 실질적으로 인코딩되어 전송되는 예컨대 20-40 ms의 오디오 신호 프레임을 준비한다는 것을 의미한다. 수신측에 디코더는 각각의 이들 유닛을 디코딩하여, 연속 시퀀스의 복원된 오디오 신호 샘플로서 이후 최종 출력되는 대응하는 오디오 신호 프레임을 복원한다.
인코딩에 앞서, 아날로그/디지털(A/D) 변환은 마이크로폰으로부터 아날로그 음성 또는 오디오 신호를 시퀀스의 디지털 오디오 신호 샘플로 변환시킨다. 역으로, 수신단에서, 통상 최종 D/A 변환 단계는 시퀀스의 복원된 디지털 오디오 신호 샘플을 라우더스피커 재생(loudspeaker playback)을 위한 시간-연속 아날로그 신호로 변환시킨다.
그러나, 음성 및 오디오 신호를 위한 기존의 전송 시스템은 하나 또는 다수의 전송된 프레임이 복원을 위한 수신측에서 이용될 수 없는 상황을 초래하는 전송 에러 때문에 어려운 처지에 놓여 있다. 그러한 경우, 디코더는 각각의 이용할 수 없는 프레임에 대한 대체 신호를 생성해야 한다. 이는 수신측 디코더의 소위 오디오 프레임 손실 은폐 유닛에 의해 수행될 수 있다. 그러한 프레임 손실 은폐의 목적은 그 프레임 손실을 가능한 한 불가청(inaudible)으로 만드는 것이고, 따라서 복원된 신호 품질 상에 그 프레임 손실의 임펙트를 완화시키는 것이다.
기존의 프레임 손실 은폐 방법은 예컨대 앞서 사전에 수신된 코덱(codec) 파라미터를 반복함으로써 코덱의 구조 또는 구성에 의존한다. 그와 같은 파라미터 반복 기술은 그 사용된 코덱의 특정 파라미터에 확실히 의존하며, 각기 다른 구조의 다른 코덱들에 쉽게 적용할 수 없다. 현재의 프레임 손실 은폐 방법은 예컨대 그러한 손실 프레임에 대한 대체 프레임을 생성하기 위해 앞서 사전에 수신된 프레임의 파라미터를 동결(freeze)하여 외삽(extrapolate)한다. 그러한 표준화된 선형 예측 코덱 AMR 및 AMR-WB는 디코딩을 위해 앞서 일찍이 수신된 파라미터를 동결하거나 그 일부의 외삽을 이용하는 파라메터 음성 코덱이다. 본질적으로, 그러한 원리는 코딩/디코딩을 위한 주어진 모델을 갖고 동결 또는 외삽된 파라미터에 그 동일한 모델을 적용하는 것이다.
많은 오디오 코덱은 주파수 도메인을 변환한 후 특정 파라미터에 코딩 모델을 적용하는 것을 포함하는 코딩 주파수 도메인-기술을 적용한다. 디코더는 그 수신된 파라미터로부터 신호 스펙트럼을 복원하고 그 스펙트럼을 다시 시간 신호로 변환한다. 통상, 상기 시간 신호는 프레임들에 걸쳐 복원되며, 그 프레임들은 최종 복원된 신호를 형성하기 위해 오버랩-부가 기술들 및 잠재적인 다른 프로세싱에 의해 결합된다. 그러한 대응하는 오디오 프레임 손실 은폐는 손실 프레임을 위한 동일하거나 또는 적어도 유사한 디코딩 모델을 적용하며, 여기서 앞서 사전에 수신된 프레임으로부터 주파수 도메인 파라미터는 동결되거나 또는 적절히 외삽된 다음 주파수-시간 도메인 변환에 이용된다.
그러나, 기존의 오디오 프레임 손실 은폐 방법은 예컨대 파라미터 동결 및 외삽 기술과 손실 프레임을 위한 동일한 디코더 모델의 재적용은 앞서 이미 디코딩된 신호 프레임에서 손실 프레임까지 평활하면서 정확한 신호 전개를 항상 보장하진 않는다. 이는 대응하는 품질 임펙트에 의해 가청 신호 단절을 초래한다. 따라서, 감소된 품질 장애가 있는 오디오 프레임 손실 은폐가 바람직하고 필요하다.
본 발명 실시의 목적은 상기 요약된 문제들의 적어도 일부를 해결하기 위한 것이며, 이러한 목적 및 또 다른 목적은 수반된 독립 청구항들에 따른 방법 및 장치에 의해, 그리고 종속 청구항들에 따른 실시에 의해 달성된다.
일 형태에 따르면, 실시예는 손실 오디오 프레임을 은폐하기 위한 방법을 제공하며, 상기 방법은 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 포함하며, 여기서 그러한 정현파 분석은 오디오 신호의 정현파 성분의 주파수를 확인하는 것을 포함한다. 더욱이, 정현파 모델은 그러한 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 적용되며, 여기서 상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입(prototype) 프레임으로서 사용한다. 그러한 대체 프레임의 생성은, 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스(time instance)까지 상기 프로토타입 프레임의 정현파 성분들의 시간에 따른 점진적 변화(time-evolution; 이하 '시변'이라고 칭함)를 포함한다.
제2형태에 따르면, 실시예는 수신된 오디오 신호의 손실 오디오 프레임을 은폐하도록 구성된 디코더를 제공하며, 상기 디코더는 프로세서 및 메모리를 포함하고, 상기 메모리는 프로세서에 의해 실행가능한 명령을 포함하며, 이에 따라 상기 디코더는 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하도록 구성되고, 여기서 상기 정현파 분석은 상기 오디오 신호의 정현파 성분들의 주파수를 확인하는 것을 포함한다. 상기 디코더는 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하도록 구성되며, 여기서 상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용되고, 상기 디코더는 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분을 시간에 따른 점진적 변화(time-evolving; 이하 '시변'이라고 칭함)함으로써 대체 프레임을 생성하도록 구성된다.
제3형태에 따르면, 실시예는 수신된 오디오 신호의 손실 오디오 프레임을 은폐하도록 구성된 디코더를 제공하며, 상기 디코더는 인코딩된 오디오 신호를 수신하도록 구성된 입력 유닛, 및 프레임 손실 은폐 유닛을 포함한다. 상기 프레임 손실 은폐 유닛은 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하기 위한 수단을 포함하며, 여기서 상기 정현파 분석은 상기 오디오 신호의 정현파 성분의 주파수를 확인하는 것을 포함한다. 또한 상기 프레임 손실 은폐 유닛은 상기 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하기 위한 수단을 포함하며, 여기서 상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용한다. 더욱이 상기 프레임 손실 은폐 유닛은, 대응하는 확인된 주파수에 따라, 그러한 손실 오디오 프레임의 시간 인스턴스까지 상기 프로토타입 프레임의 정현파 성분을 시간에 따라 점진적으로 변화(즉, 시변)함으로써 그 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위한 수단을 포함한다.
상기 디코더는 예컨대 모바일 폰과 같은 장치에서 수행될 것이다.
제4형태에 따르면, 실시예는 상술한 제2 및 제3형태 중 어느 하나에 따른 디코더를 포함하는 수신기를 제공한다.
제5형태에 따르면, 실시예는 손실 오디오 프레임을 은폐하기 위해 규정되는 컴퓨터 프로그램을 제공하며, 여기서 상기 컴퓨터 프로그램은, 프로세서에 의해 동작할 때, 상술한 제1형태에 따라 프로세서가 손실 오디오 프레임을 은폐하게 하는 명령을 포함한다.
제6형태에 따르면, 실시예는 상술한 제5형태에 따른 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품을 제공한다.
본원에 기술된 실시예들의 장점은 예컨대 코딩된 음성의 오디오 신호들의 전송에 있어서 프레임 손실의 가청 임펙트를 완화시키게 하는 프레임 손실 은폐 방법을 제공하는 것이다. 일반적인 장점은 손실 프레임에 대한 복원된 신호의 평활한 그리고 정확한 전개를 제공하는 것이며, 여기서 그러한 프레임 손실의 가청 임펙트는 기존의 기술에 비해 크게 감소한다.
본 출원의 실시예들에서의 기술들의 다른 형태 및 장점들은 다음의 설명 및 수반되는 도면들을 참조함으로써 보다 명확해질 것이다.
실시예들은 수반되는 도면들을 참조하여 좀더 상세히 기술될 것이다:
도 1은 통상의 윈도우 함수(window function)를 나타내고;
도 2는 특정 윈도우 함수를 나타내고;
도 3은 윈도우 함수의 크기 스펙트럼의 예를 표시하고;
도 4는 주파수 fk를 갖는 예시의 정현파 신호의 라인 스펙트럼을 나타내고;
도 5는 주파수 fk를 갖는 윈도우된 정현파 신호의 스펙트럼을 나타내고;
도 6은 분석 프레임에 기초한 DFT의 격자점의 크기에 대응하는 바(bar)를 나타내고;
도 7은 DFT 격자점에 걸쳐 맞추어지는 포물선을 나타내고;
도 8은 실시예들에 따른 방법의 순서도이고;
도 9 및 10 모두는 실시예들에 따른 디코더를 나타내며;
도 11은 실시예들에 따른 컴퓨터 프로그램 및 컴퓨터 프로그램 제품을 나타낸다.
다음에, 본 발명의 실시예들이 좀더 상세히 기술된다. 설명의 목적을 위한 것일 뿐 한정하지 않으며, 전체적인 이해를 제공하기 위해 특정 시나리오 및 기술들과 같은 특정 상세한 설명이 기술된다.
더욱이, 프로그램된 마이크로프로세서 또는 일반적인 목적의 컴퓨터와 함께 기능하는 소프트웨어의 사용에 의해, 그리고/또 주문형 집적회로(ASIC)를 이용하여, 적어도 부분적으로 이하 기술된 예시의 방법 및 장치가 명확히 실시된다. 더욱이, 그러한 실시예들은 또한 적어도 부분적으로 컴퓨터 프로세서 및 이 컴퓨터 프로세서에 연결된 메모리를 포함하는 시스템으로 또는 컴퓨터 프로그램 제품으로 실시되며, 상기 메모리는 본원에 기술된 기능들을 수행하는 하나 또는 그 이상의 프로그램들로 인코딩된다.
이후 기술된 실시예들의 개념은 다음에 의한 손실 오디오 프레임의 은폐를 포함한다:
- 앞서 사전에 수신된 또는 복원된 오디오 신호의 적어도 일부의 정현파 분석을 수행하며, 여기서 상기 정현파 분석은 상기 오디오 신호의 정현파 성분의 주파수를 확인하는 것을 포함하고;
- 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하며, 여기서 상기 세그먼트는 손실 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용하고;
- 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분의 시변을 포함한다.
정현파 분석
실시예들에 따른 그러한 프레임 손실 은폐는 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 포함한다. 이러한 정현파 분석의 목적은 그러한 신호의 메인 정현파 성분, 즉 정현파의 주파수를 찾는 것이다. 이에 의해, 근본적인 전제는, 오디오 신호가, 정현파 모델에 의해 생성되고, 즉 다음과 같은 타입의 멀티-사인 신호(multi-sine signal)인 제한된 다수의 개별 정현파로 이루어져 있다는 것이다:
Figure pct00001
(6-1)
이러한 식에서 K는 상기 신호가 이루어지는 정현파의 수이다. 지수 k=1…K를 갖는 각각의 정현파에 있어서, ak는 진폭이고, fk는 주파수이며, jk는 위상이다. 샘플링 주파수는 n에 따른 시간 이산 신호 샘플 s(n)의 시간 지수 및 fs로 나타낸다.
가능한 한 그러한 정현파들의 정확한 주파수를 찾는 것이 중요하다. 이상적인 정현파 신호가 라인 주파수(fk)의 라인 스펙트럼을 갖지만, 그들의 정확한 값을 찾는 것은 원칙적으로 무한의 측정 시간을 필요로 한다. 따라서, 그것들이 단지 본원에 기술된 실시예들에 따른 정현파 분석에 이용된 신호 세그먼트에 대응하는 짧은 측정 주기에 기초하여 추정될 수 있기 때문에, 사실상 이들 주파수를 찾는 것은 어렵다. 이후 이러한 신호 세그먼트는 분석 프레임이라 한다. 실제로 그러한 신호는 시변된다는 또 다른 어려움이 있는데, 이는 상기 식의 파라미터들이 시간에 따라 변한다는 것을 의미한다. 그래서, 한편으로는 좀더 정확한 측정을 위해 긴 분석 프레임을 이용하는 것이 바람직하고, 다른 한편으로는 가능한 신호 변화에 보다 더 잘 대처하기 위해 짧은 측정 주기가 필요하다. 양호한 상충점은 예컨대 20-40 ms 정도의 분석 프레임 길이를 이용하는 것이다.
바람직한 실시예에 따르면, 정현파의 주파수(fk)는 분석 프레임의 주파수 도메인 분석에 의해 확인된다. 결국, 그러한 분석 프레임은 예컨대 이산 퓨리에 변환(DFT; Discrete Fourier Transform) 또는 이산 코사인 변환(DCT; Discrete Cosine Transform)이나, 또는 유사한 주파수 도메인 변환에 의해 주파수 도메인으로 변환된다. 경우에 따라, 분석 프레임의 DFT가 이용될 경우, 그 스펙트럼은 이하의 식으로 주어진다:
Figure pct00002
(6-2)
이러한 식에 있어서, w(n)은 길이 L의 분석 프레임이 추출되어 가중되는 윈도우 함수를 나타낸다.
도 1은 통상의 윈도우 함수, 즉 n∈[0…L-1]에 대해 1이거나 아니면 0인 직사각형 윈도우를 나타낸다. 앞서 사전에 수신된 오디오 신호의 시간 지수는 시간 지수 n=0…L-1에 따라 프로토타입 프레임이 참조되도록 설정되었다고 가정한다. 스펙트럼 분석에 더 적합해질 수 있는 다른 윈도우 함수는 예컨대 해밍(Hamming), 해닝(Hanning), 카이저(Kaiser) 또는 블랙맨(Blackman)이 있다.
도 2는 해밍 윈도우와 직사각형 윈도우의 조합인 좀더 유용한 윈도우 함수를 나타낸다. 그러한 도 2에 나타낸 윈도우는 길이 L1의 절반의 좌측 해밍 윈도우와 같은 상승 에지 형태 및 길이 L1의 절반의 우측 해밍 윈도우와 같은 하강 에지 형태를 가지며, 상기 상승 에지와 하강 에지간 윈도우는 L-L1의 길이에 대해 1로 동일하다.
윈도우된 분석 프레임의 크기 스펙트럼 |X(m)|의 피크는 요구된 정현파 주파수(fk)의 근사치를 이룬다. 그러나 이러한 근사치의 정확성은 DFT의 주파수 간격에 의해 제한된다. 블록 길이 L의 DFT의 경우, 그러한 정확성은
Figure pct00003
로 제한된다.
그러나, 이러한 정확성의 레벨은 본원에 기술된 실시예들에 따른 방법의 범위에서 너무 낮아질 수 있으며, 다음의 고려대상의 결과에 기초하여 향상된 정확성이 얻어질 수 있다:
윈도우된 분석 프레임의 스펙트럼은 이후 DFT의 격자점에서 샘플된 정현파 모델 신호 S(Ω)의 라인 스펙트럼과 윈도우 함수의 스펙트럼의 합성에 의해 주어진다:
Figure pct00004
(6-3)
정현파 모델 신호의 스펙트럼 표시를 이용함으로써, 이는 아래의 식과 같이 쓰여질 수 있다:
Figure pct00005
(6-4)
여기서, 그러한 샘플된 스펙트럼은 아래의 식에 의해 주어진다:
Figure pct00006
(6-5)
m=0…L-1인 경우.
이에 기초하여, 그 분석 프레임의 크기 스펙트럼에서 관찰된 피크는 K의 정현파를 갖는 윈도우된 정현파 신호로부터 제공되며, 여기서 그 정확한 정현파는 피크 근처에서 찾아진다. 따라서, 그러한 정현파 성분의 주파수 확인은 사용된 주파수 도메인 변환과 관련된 스펙트럼의 피크에 가까운 주파수를 확인하는 것을 포함한다.
만약 mk가 관찰된 k번째 피크의 DFT 지수(격자점)인 것으로 추정되면, 그 대응하는 주파수는
Figure pct00007
이고, 이는 정확한 정현파 주파수(fk)의 근사치로 고려될 수 있다. 그러한 정확한 정현파 주파수(fk)는 간격
Figure pct00008
내에 놓여 있는 것으로 추정될 수 있다.
명확성을 위해, 정현파 모델 신호의 라인 스펙트럼의 스펙트럼과 윈도우 함수의 스펙트럼의 합성이 윈도우 함수 스펙트럼의 주파수-변이된 버전의 중첩으로서 이해될 수 있다는 것을 알아야 하며, 이에 따라 그러한 변이 주파수가 정현파의 주파수이다. 이후 이러한 중첩은 DFT 격자점에서 샘플된다. 정현파 모델의 라인 스펙트럼의 스펙트럼과 윈도우 함수의 스펙트럼의 합성은 도 3 - 7에 기술되어 있으며, 도 3은 윈도우 함수의 크기 스펙트럼의 예를 나타내고, 도 4는 주파수(fk)의 단일의 정현파를 갖는 예시의 정현파 신호의 크기 스펙트럼(라인 스펙트럼)의 예를 나타낸다. 도 5는 정현파의 주파수에서 주파수-변이된 윈도우 스펙트럼들을 복제하여 중첩시키는 윈도우된 정현파 신호의 크기 스펙트럼을 나타내고, 도 6의 바들은 분석 프레임의 DFT를 산출함으로써 얻어진 윈도우된 정현파의 DFT의 격자점들의 크기에 대응한다. 표준화된 주파수 파라미터(Ω)에 의해 모든 스펙트럼들이 주기적이라는 것을 알아야 하며, 여기서 Ω=2π이며, 이는 샘플링 주파수(fs)에 대응한다.
상기 설명 및 도 6의 기술에 기초하여, 정확한 정현파 주파수의 가장 양호한 근사치는, 사용된 주파수 도메인 변환의 주파수 분해능(frequency resolution)보다 커지도록, 그러한 조사의 분해능을 증가시킴으로써 찾아질 것이다.
따라서, 바람직하게 그러한 정현파 성분의 주파수의 확인은 사용된 주파수 도메인 변환의 주파수 분해능보다 높은 분해능으로 수행되며, 그러한 확인은 보간(interpolation)을 더 포함한다.
정현파의 주파수(fk)의 가장 양호한 근사치를 찾기 위한 한가지 예시의 바람직한 방식은 포물선 보간을 적용하는 것이다. 하나의 접근방식은 피크들을 둘러싸는 DFT 크기 스펙트럼의 격자점들에 걸쳐 포물선들을 맞추고 포물선 최대치에 속하는 각각의 주파수들을 산출하는 것이고, 그러한 포물선들의 순서에 대한 예시의 적절한 선택은 2이다. 좀더 상세하게, 다음의 과정이 적용된다:
1) 윈도우된 분석 프레임의 DFT의 피크를 확인. 그러한 피크 조사는 피크의 수(k) 및 그러한 피크의 대응하는 DFT 지수를 전달한다. 상기 피크 조사는 통상 DFT 크기 스펙트럼 또는 대수(즉, 로그)의 DFT 크기 스펙트럼으로 이루어진다.
2) 대응하는 DFT 지수 mk를 갖는 각각의 피크 k(k=1…K인)의 경우, 3개의 지점 {P1;P2;P3}={(mk-1,log(|X(mk-1)|);(mk,log(|X(mk)|);(mk+1,log(|X(mk+1)|)}에 걸쳐 포물선을 맞춘다. 이는 아래의 식에 의해 규정된 포물선의 포물선 계수 bk(0), bk(1), bk(2)를 제공한다.
Figure pct00009
도 7은 DFT 격자점 P1, P2 및 P3에 걸쳐 맞추어지는 포물선을 나타낸다.
3) 각각의 K 포물선의 경우, 포물선이 그 최대치를 갖는 q의 값에 대응하는 보간된 주파수 지수
Figure pct00010
를 산출하며, 여기서
Figure pct00011
는 정현파 주파수 fk에 대한 근사치로서 사용한다.
정현파 모델 적용
실시예들에 따른 프레임 손실 은폐 동작을 수행하기 위한 정현파 모델의 적용은 아래와 같이 기술된다:
코딩된 신호의 주어진 세그먼트의 경우, 대응하는 인코딩된 정보가 이용될 수 없기 때문에, 즉 이러한 세그먼트가 프로토타입 프레임으로서 사용되기 전에 프레임이 그 신호의 이용가능한 부분을 손실하기 때문에 디코더에 의해 복원될 수 없다. 만약 n=0…N-1인 y(n)이 대체 프레임 z(n)이 생성되는 이용할 수 없는 세그먼트이고, n<0인 y(n)가 이용가능한 앞서 이미 디코딩된 신호이면, 시작 지수 n-1 및 길이 L의 이용가능한 신호의 프로토타입 프레임은 윈도우 함수 w(n)으로 추출되고 예컨대 이하의 DFT에 의해 주파수 도메인으로 변환된다:
Figure pct00012
그러한 윈도우 함수는 정현파 분석에서 상기 기술된 윈도우 함수 중 하나일 수 있다. 바람직하게, 수적인 복잡성을 덜기 위해, 그러한 주파수 도메인 변환 프레임은 정현파 분석 동안 사용된 것과 동일해야 한다.
다음 단계에서, 그러한 정현파 모델 추정이 적용된다. 그 정현파 모델 추정에 따라, 상기 프로토타입 프레임의 DFT가 아래와 같이 쓰여질 수 있다:
Figure pct00013
이러한 표시는 또한 그러한 분석 파트에서도 이용되며 상기 상세히 기술되어 있다.
다음에, 사용된 윈도우 함수의 스펙트럼만이 제로(zero)에 가까운 주파수 범위에서 크게 기여한다는 것을 알아야 한다. 도 3에 나타낸 바와 같이, 그러한 윈도우 함수의 크기 스펙트럼은 제로에 가까운 주파수에 대해 크며 그렇지 않으면 샘플링 주파수의 절반에 대응하는 -π 내지 π의 통상 주파수 범위 내로 작다. 따라서, 근사치로서, 윈도우 스펙트럼 W(m)이 작은 양수인 mmin 및 mmax의 간격 M = [-mmin, mmax]에 대해서만 비제로인 것으로 추정된다. 특히, 윈도우 함수 스펙트럼의 근사치는 각각의 k에 대해 상기 표시의 변이된 윈도우 스펙트럼들로부터의 결과가 엄격하게 오버랩되지 않도록 사용된다. 따라서, 상기 식에서 각각의 주파수 지수에 대해 오직 하나의 피가수(summand)로부터의, 즉 하나의 변이된 윈도우 스펙트럼으로부터의 결과는 항상 최대이다. 이는 상기 그러한 표시가 이하의 근사 표시로 감소된다는 것을 의미한다:
비-음(non-negative) m∈Mk 그리고 각각의 k에 대해
Figure pct00014
.
여기서, Mk는 그 정수 간격
Figure pct00015
를 나타내며, 여기서 mmin ,k 및 mmax ,k는 그러한 간격들이 오버랩되지 않도록 상기 설명된 제한을 충족시킨다. mmin ,k 및 mmax ,k에 대한 적절한 선택은 그것들을 작은 정수값, 예컨대 δ=3으로 설정하는 것이다. 그러나, 만약 그러한 DFT가 2개의 이웃하는 정현파 주파수 fk와 관련되고 fk +1이 2δ보다 작으면, δ는 그러한 간격들이 오버랩되지 않는 것을 보장하도록
Figure pct00016
로 설정된다. 함수 floor(·)는 그것과 같거나 또는 그보다 작은 함수 인수에 가장 가까운 정수이다.
실시예에 따른 다음 단계는 상기 표시에 따른 정현파 모델을 적용하고 시간에 따라 그 K 정현파들을 점진적으로 변화시키는 것이다. 프로토타입 프레임의 시간 지수들과 비교된 그러한 제거된 세그먼트의 시간 지수들이 n-1 샘플 차가 난다는 추정은 정현파들의 위상이
Figure pct00017
로 전진한다는 것을 의미한다.
따라서, 시변된 정현파 모델의 DFT 스펙트럼은 아래의 식으로 주어진다:
Figure pct00018
그러한 변이된 윈도우 함수 스펙트럼들이 아래와 같이 주어진 오버랩되지 않는 근사치를 다시 적용한다:
비-음 m∈Mk에 대해 그리고 각각의 k에 대해
Figure pct00019
.
그러한 근사치를 이용하여 프로토타입 프레임 Y-1(m)의 DFT를 시변된 정현파 모델 Y0(m)의 DFT와 비교함으로써, 크기 스펙트럼이 변경되지 않고 유지되는 반면 그 위상은 각각의 m∈Mk에 대해
Figure pct00020
로 변이된다.
따라서, 그 대체 프레임은 아래의 표시에 의해 산출될 수 있다:
비-음 m∈Mk에 대해 그리고 각각의 k에 대해 Z(m)=Y(m)·ej θk인 z(n)=IDFT{Z(m)}.
특정 실시예는 소정 간격 Mk에 속하지 않는 DFT 지수에 대한 위상 랜덤화를 나타낸다. 상기 기술한 바와 같이, 간격 Mk(k=1…K)는 그것들이 엄격하게 오버랩되지 않도록 설정되며, 이는 그러한 간격들의 크기를 조절하는 일부 파라미터 δ를 이용하여 행해진다. δ는 2개의 이웃하는 정현파의 주파수 거리에 따라 작아질 수 있다. 그래서, 그러한 경우, 두 간격들간 갭이 있을 수 있다. 따라서, 그 대응하는 DFT 지수 m에 대해, 상기 표시 Z(m)=Y(m)·ej θk에 따른 무 위상 변이가 규정된다. 이러한 실시예에 따른 적절한 선택은 Z(m)=Y(m)·ej2 πrand(·)을 산출하는 이들 지수에 대한 위상을 랜덤화하는 것이며, 여기서 함수 rand(·)는 임의의 수를 리턴시킨다.
상기에 기초한 도 8은 실시예들에 따른 예시의 오디오 프레임 손실 은폐 방법을 기술하는 순서도이다.
단계 81에서 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석이 수행되며, 여기서 정현파 분석은 즉 오디오 신호의 정현파 성분, 즉 정현파의 주파수를 확인하는 것을 포함한다. 다음에, 단계 82에서 정현파 모델은 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 적용되고, 여기서 상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용하며, 단계 83에서 손실 오디오 프레임에 대한 대체 프레임이 생성되며, 그 단계는 손실 오디오 프레임에 대한 그러한 대체 프레임은 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분, 즉 정현파의 시변을 포함한다.
다른 실시예에 따르면, 그러한 오디오 신호가 제한된 다수의 개별 정현파 성분으로 이루어지고, 정현파 분석이 그러한 주파수 도메인에서 수행된다는 것을 가정한다. 더욱이, 그러한 정현파 성분의 주파수의 확인은 사용된 주파수 도메인 변환과 관련된 스펙트럼의 피크에 가까운 주파수를 확인하는 것을 포함한다.
예시의 실시예에 따르면, 상기 정현파 성분의 주파수의 확인은 사용된 주파수 도메인 변환의 분해능보다 높은 분해능으로 수행되며, 상기 확인은 예컨대 포물선 타입의 보간을 더 포함한다.
예시의 실시예에 따르면, 상기 방법은 윈도우 함수를 이용하여 이용가능한 앞서 사전에 수신된 또는 복원된 신호로부터 프로토타입 프레임을 추출하는 것을 포함하며, 여기서 상기 추출된 프로토타입 프레임은 주파수 도메인으로 변환된다.
다른 실시예는 상기 대체 프레임의 스펙트럼이 근사 윈도우 함수 스펙트럼의 정확히 오버랩되지 않는 부분으로 이루어지도록 윈도우 함수의 스펙트럼의 근사치를 포함한다.
다른 예시의 실시예에 따르면, 상기 방법은 각각의 정현파 성분의 주파수에 따라 그리고 손실 오디오 프레임과 프로토타입 프레임간 시간 차에 따라, 정현파 성분의 위상을 전진(advancing)시킴으로써 프로토타입 프레임의 주파수 스펙트럼의 정현파 성분을 시간에 따라 점진적으로 변화(즉, 시변)시키는 단계, 및 상기 손실 오디오 프레임과 프로토타입 프레임간 시간 차 및 정현파 주파수(fk)에 비례하는 위상 변이에 의해 정현파(k)에 가까운 간격(Mk)으로 포함된 프로토타입 프레임의 스펙트럼 계수를 변경하는 단계를 포함한다.
다른 실시예는 랜덤 위상에 의한 확인된 정현파에 속하지 않는 프로토타입 프레임의 스펙트럼 계수의 위상을 변경하거나, 또는 랜덤 값에 의한 확인된 정현파에 가까운 관련된 간격들의 어느 하나에 포함되지 않는 프로토타입 프레임의 스펙트럼 계수의 위상을 변경하는 것을 포함한다.
실시예는 상기 프로토타입 프레임의 주파수 스펙트럼의 역 주파수 도메인 변환을 더 포함한다.
좀더 구체적으로, 다른 실시예에 따른 오디오 프레임 손실 은폐 방법은 다음의 단계들을 포함한다:
1) 정현파 모델의 성분 정현파 주파수(fk)를 얻기 위해 이용가능한 앞서 이미 합성된 신호의 세그먼트를 분석.
2) 이용가능한 앞서 이미 합성된 신호로부터 프로토타입 프레임(y-1)을 추출하여 그 프레임의 DFT를 산출.
3) 정현파 주파수(fk) 및 프로토타입 프레임과 대체 프레임간 시간 전진(n-1)에 따라 각각의 정현파(k)에 대한 위상 변이(θk)를 산출.
4) 각각의 정현파(k)에 대해 정현파 주파수(fk) 부근의 DFT 지수에 대해 선택적으로 θk의 프로토타입 DFT의 위상을 전진.
5) 4)에서 얻어진 스펙트럼의 역 DFT를 산출.
상술한 실시예들은 이하의 가정 아래 더 설명될 것이다:
a) 신호가 제한된 다수의 정현파로 나타날 수 있다고 가정.
b) 약간 앞선 시간 인스턴트와 비교하여 대체 프레임이 시간에 따라 점진적으로 변화된 이들 정현파로 나타날 수 있다고 가정.
c) 대체 프레임의 스펙트럼이 주파수 변이된 윈도우 함수 스펙트럼들의 오버랩되지 않은 부분에 의해 구성될 수 있도록 윈도우 함수의 스펙트럼의 근사치를 가정. 그러한 변이 주파수는 정현파 주파수.
도 9는 실시예들에 따른 오디오 프레임 손실 은폐의 방법을 수행하도록 구성된 예시의 디코더(1)를 나타내는 개략 블록도이다. 그러한 나타낸 디코더는 하나 또는 그 이상의 프로세서(11) 및 적절한 저장장치 또는 메모리(12)와 함께 적당한 소프트웨어를 포함한다. 들어오는 인코딩된 오디오 신호는 프로세서(11) 및 메모리(12)가 연결된 입력(IN)에 의해 수신된다. 소프트웨어로부터 얻어진 디코딩 및 복원된 오디오 신호는 출력(OUT)으로부터 출력된다. 예시의 디코더는 수신된 오디오 신호의 손실 오디오 프레임을 은폐하도록 구성되고, 프로세서(11) 및 메모리(12)를 포함하며, 여기서 상기 메모리는 프로세서(11)에 의해 실행가능한 명령을 포함하고, 이에 의해 상기 디코더는:
- 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하고;
- 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하고;
- 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분을 시변함으로써 손실 오디오 프레임에 대한 대체 프레임을 생성하도록 구성되며,
상기 정현파 분석은 상기 오디오 신호의 정현파 성분들의 주파수를 확인하는 것을 포함하고,
상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용한다.
상기 디코더의 다른 실시예에 따르면, 적용된 정현파 모델은 오디오 신호가 제한된 다수의 개별 정현파 성분으로 이루어진다는 것을 가정하며, 상기 오디오 신호의 정현파 성분들의 주파수의 확인은 포물선 보간을 더 포함한다.
다른 실시예에 따르면, 상기 디코더는 윈도우 함수를 이용하여 이용가능한 앞서 사전에 수신된 또는 복원된 신호로부터 프로토타입 프레임을 추출하고, 그 추출된 프로토타입 프레임을 주파수 도메인으로 변환하도록 구성된다.
또 다른 실시예에 따르면, 상기 디코더는 각각의 정현파 성분의 주파수에 따라 그리고 손실 오디오 프레임과 프로토타입 프레임간 시간 차에 따라, 정현파 성분의 위상을 전진시킴으로써 프로토타입 프레임의 주파수 스펙트럼의 정현파 성분을 시변하고, 그 주파수 스펙트럼의 역 주파수 변환을 수행하여 대체 프레임을 생성하도록 구성된다.
다른 대안의 실시예에 따른 디코더는 도 10a에 나타나 있으며, 인코딩된 오디오 신호를 수신하도록 구성된 입력 유닛을 포함한다. 그 도면은 논리 프레임 손실 은폐-유닛(13)에 의한 프레임 손실 은폐를 나타내며, 그 디코더(1)는 상기 기술한 실시예들에 따른 손실 오디오 프레임의 은폐를 실행하도록 구성된다. 상기 논리 프레임 손실 은폐 유닛(13)은 도 10b에 더 나타나 있으며, 손실 오디오 프레임을 은폐하기 위한 적절한 수단들, 즉 앞서 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하기 위한 수단(14), 상기 앞서 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하기 위한 수단(15), 및 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분을 시변함으로써 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위한 수단(16)을 포함하며, 상기 정현파 분석은 오디오 신호의 정현파 성분들의 주파수를 확인하는 것을 포함하고, 상기 세그먼트는 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용한다.
도면에 나타낸 디코더에 포함된 유닛 및 수단들은 적어도 부분적으로 하드웨어에서 실행되며, 거기에는 상기 디코더의 유닛들의 기능들을 달성하기 위해 사용되고 결합될 수 있는 회로 요소들의 다양한 많은 변형이 있다. 그와 같은 변형들은 실시예들에 의해 달성된다. 상기 디코더의 하드웨어 실행의 특정 예는 일반적인 목적의 전자 회로 및 주문형 회로 모두를 포함하는 디지털 신호 프로세서(DSP) 하드웨어 및 집적회로 기술에서의 실행이다.
본 발명의 실시예들에 따른 컴퓨터 프로그램은 프로세서에 의해 작동할 때 그 프로세서가 도 8과 연관되어 기술된 방법에 따른 방법을 수행하게 하는 명령들을 포함한다. 도 11은 비휘발성 메모리 형태의, 예컨대 전기적 제거가능 프로그램가능 판독전용 메모리(EEPROM), 플레시 메모리 또는 디스크 드라이브 형태의 실시예들에 따른 컴퓨터 프로그램 제품(9)을 나타낸다. 그러한 컴퓨터 프로그램 제품은, 디코더(1) 상에서 작동할 때 그 디코더의 프로세서가 도 8에 따른 단계들을 수행하게 하는 컴퓨터 프로그램 모듈(91a, b, c, d)을 포함하는 컴퓨터 프로그램(91)을 저장하는 컴퓨터 판독가능 매체를 포함한다.
본 발명의 실시예들에 따른 디코더는 예컨대 모바일 장치, 즉 모바일 폰 또는 랩탑을 위한 수신기에서, 또는 고정 장치, 즉 개인용 컴퓨터를 위한 수신기에서 사용될 것이다.
본원에 기술된 실시예들의 장점들은 오디오 신호, 예컨대 코딩된 음성 전송에서의 프레임 손실의 가청 임펙트를 완화시키게 하는 프레임 손실 은폐 방법을 제공하는 것이다. 일반적인 장점은 손실 프레임에 대한 복원된 신호의 평활한 그리고 정확한 전개를 제공하는 것이며, 여기서 그러한 프레임 손실의 가청 임펙트는 기존의 기술에 비해 크게 감소된다.
유닛 또는 모듈들의 상호작용 뿐만 아니라 그러한 유닛들의 명칭의 선택은 단지 예시의 목적을 위한 것일 뿐이고, 개시된 프로세스 작용들을 실시할 수 있게 하기 위해 다수의 대안의 방식으로 구성될 수 있다는 것을 알아야 한다. 또한 본 개시에 기술된 유닛 또는 모듈들은 논리 엔티티와 관련되며 반드시 분리된 물리 엔티티를 필요로 하지 않는다는 것을 알아야 한다. 본원에 개시된 기술의 범위는 통상의 기술자에게 자명하며, 이에 따라 본 개시의 범위가 제한되지 않는 다른 실시예들을 충분히 포함한다는 것을 알아야 할 것이다.

Claims (26)

  1. 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법으로서, 상기 방법은:
    - 오디오 신호의 정현파 성분의 주파수를 확인하는 것을 포함하는, 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하는 단계(81);
    - 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입(prototype) 프레임으로서 사용하는, 상기 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하는 단계(82); 및
    - 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 상기 프로토타입 프레임의 정현파 성분들의 시변을 포함하는 손실 오디오 프레임에 대한 대체 프레임을 생성하는 단계(83); 를 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  2. 청구항 1에 있어서,
    적용된 정현파 모델은 오디오 신호가 제한된 다수의 개별 정현파 성분으로 이루어진다는 것을 가정하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  3. 청구항 1 또는 2에 있어서,
    정현파 분석은 주파수 도메인에서 수행되는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  4. 청구항 3에 있어서,
    정현파 성분의 주파수의 확인은 사용된 주파수 도메인 변환과 관련된 스펙트럼의 피크에 가까운 주파수를 확인하는 것을 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  5. 청구항 3 또는 4에 있어서,
    정현파 성분의 주파수의 확인은 사용된 주파수 도메인 변환의 주파수 분해능보다 높은 분해능으로 수행되는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  6. 청구항 5에 있어서,
    정현파 성분의 주파수의 확인은 보간을 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  7. 청구항 6에 있어서,
    보간은 포물선 타입인, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  8. 청구항 1 내지 7 중 어느 한 항에 있어서,
    윈도우 함수를 이용하여 이용가능한 사전에 수신된 또는 복원된 신호로부터 프로토타입 프레임을 추출하는 단계를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  9. 청구항 8에 있어서,
    추출된 프로토타입 프레임을 주파수 도메인 표시로 변환하는 단계를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  10. 청구항 9에 있어서,
    대체 프레임 스펙트럼이 근사 윈도우 함수 스펙트럼의 정확히 오버랩되지 않는 부분으로 이루어지도록 윈도우 함수 스펙트럼의 근사를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  11. 청구항 9 또는 10에 있어서,
    이러한 정현파 성분의 주파수에 따라 그리고 손실 오디오 프레임과 프로토타입 프레임간 시간 차에 따라, 정현파 성분의 위상을 전진시킴으로써 프로토타입 프레임의 주파수 스펙트럼의 정현파 성분을 시변하는 단계를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  12. 청구항 9 내지 11 중 어느 한 항에 있어서,
    손실 오디오 프레임과 프로토타입 프레임간 시간 차 및 정현파 주파수(fk)에 비례하는 위상 변이에 의해 정현파(k)에 가까운 간격(Mk)으로 포함된 프로토타입 프레임의 스펙트럼 계수를 변경하는 단계를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  13. 청구항 9 내지 12 중 어느 한 항에 있어서,
    랜덤 위상에 의한 확인된 정현파에 속하지 않는 프로토타입 프레임의 스펙트럼 계수의 위상을 변경하는 단계를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  14. 청구항 9 내지 12 중 어느 한 항에 있어서,
    랜덤 값에 의한 확인된 정현파에 가까운 관련된 간격들의 어느 하나에 포함되지 않는 프로토타입 프레임의 스펙트럼 계수의 위상을 변경하는 단계를 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  15. 청구항 9 내지 14 중 어느 한 항에 있어서,
    프로토타입 프레임의 주파수 스펙트럼의 역 주파수 도메인 변환을 더 포함하는, 수신된 오디오 신호의 손실 오디오 프레임을 은폐하는 방법.
  16. 수신된 오디오 신호의 손실 오디오 프레임을 은폐하도록 구성된 디코더(1)로서,
    상기 디코더는 프로세서(11) 및 메모리(12)를 포함하고, 상기 메모리는 프로세서(11)에 의해 실행가능한 명령을 포함하며, 이에 따라 상기 디코더(1)는:
    - 오디오 신호의 정현파 성분들의 주파수를 확인하는 것을 포함하는, 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하고;
    - 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용하는, 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하고;
    - 대응하는 확인된 주파수에 따라, 손실 오디오 프레임의 시간 인스턴스까지 프로토타입 프레임의 정현파 성분을 시변함으로써 손실 오디오 프레임에 대한 대체 프레임을 생성하도록 구성되는, 디코더.
  17. 청구항 16에 있어서,
    적용된 정현파 모델은 오디오 신호가 제한된 다수의 개별 정현파 성분으로 이루어진다는 것을 가정하는, 디코더.
  18. 청구항 15 또는 16에 있어서,
    오디오 신호의 정현파 성분들의 주파수의 확인은 포물선 보간을 더 포함하는, 디코더.
  19. 청구항 15 내지 18 중 어느 한 항에 있어서,
    윈도우 함수를 이용하여 이용가능한 사전에 수신된 또는 복원된 신호로부터 프로토타입 프레임을 추출하도록 더 구성된, 디코더.
  20. 청구항 19에 있어서,
    추출된 프로토타입 프레임을 주파수 도메인으로 변환하도록 더 구성된, 디코더.
  21. 청구항 20에 있어서,
    각각의 정현파 성분의 주파수에 따라 그리고 손실 오디오 프레임과 프로토타입 프레임간 시간 차에 따라, 정현파 성분의 위상을 전진시킴으로써 프로토타입 프레임의 주파수 스펙트럼의 정현파 성분을 시변하도록 더 구성된, 디코더.
  22. 청구항 21에 있어서,
    주파수 스펙트럼의 역 주파수 변환을 수행함으로써 대체 프레임을 생성하도록 더 구성된, 디코더.
  23. 수신된 오디오 신호의 손실 오디오 프레임을 은폐하도록 구성된 디코더(1)로서,
    상기 디코더는 인코딩된 오디오 신호를 수신하도록 구성된 입력 유닛, 및 프레임 손실 은폐 유닛(13)을 포함하며,
    상기 프레임 손실 은폐 유닛(13)은:
    - 오디오 신호의 정현파 성분의 주파수를 확인하는 것을 포함하는, 사전에 수신된 또는 복원된 오디오 신호의 일부의 정현파 분석을 수행하기 위한 수단(14);
    - 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위해 프로토타입 프레임으로서 사용하는, 상기 사전에 수신된 또는 복원된 오디오 신호의 세그먼트에 정현파 모델을 적용하기 위한 수단(15); 및
    - 대응하는 확인된 주파수에 따라, 상기 손실 오디오 프레임의 시간 인스턴스까지 상기 프로토타입 프레임의 정현파 성분을 시변함으로써 상기 손실 오디오 프레임에 대한 대체 프레임을 생성하기 위한 수단(16); 을 포함하는, 디코더.
  24. 청구항 16 내지 23 중 어느 한 항에 따른 디코더를 포함하는 수신기.
  25. 프로세서에 의해 동작할 때, 청구항 1 내지 15 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하게 하는 명령을 포함하는 컴퓨터 프로그램(91).
  26. 청구항 25에 따른 컴퓨터 프로그램(91)을 저장하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품(9).
KR1020157022751A 2013-02-05 2014-01-22 오디오 프레임 손실 은폐 KR20150108419A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361760814P 2013-02-05 2013-02-05
US61/760,814 2013-02-05
PCT/SE2014/050067 WO2014123470A1 (en) 2013-02-05 2014-01-22 Audio frame loss concealment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167015066A Division KR101855021B1 (ko) 2013-02-05 2014-01-22 오디오 프레임 손실 은폐

Publications (1)

Publication Number Publication Date
KR20150108419A true KR20150108419A (ko) 2015-09-25

Family

ID=50113007

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020167015066A KR101855021B1 (ko) 2013-02-05 2014-01-22 오디오 프레임 손실 은폐
KR1020157022751A KR20150108419A (ko) 2013-02-05 2014-01-22 오디오 프레임 손실 은폐
KR1020187011581A KR102037691B1 (ko) 2013-02-05 2014-01-22 오디오 프레임 손실 은폐

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167015066A KR101855021B1 (ko) 2013-02-05 2014-01-22 오디오 프레임 손실 은폐

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187011581A KR102037691B1 (ko) 2013-02-05 2014-01-22 오디오 프레임 손실 은폐

Country Status (13)

Country Link
US (4) US9847086B2 (ko)
EP (6) EP3333848B1 (ko)
JP (1) JP5978408B2 (ko)
KR (3) KR101855021B1 (ko)
CN (3) CN108847247B (ko)
BR (1) BR112015017222B1 (ko)
DK (3) DK3576087T3 (ko)
ES (5) ES2954240T3 (ko)
HU (2) HUE036322T2 (ko)
NZ (1) NZ709639A (ko)
PL (4) PL3333848T3 (ko)
PT (1) PT3333848T (ko)
WO (1) WO2014123470A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ709639A (en) * 2013-02-05 2016-06-24 Ericsson Telefon Ab L M Audio frame loss concealment
NO2780522T3 (ko) 2014-05-15 2018-06-09
ES2785000T3 (es) 2014-06-13 2020-10-02 Ericsson Telefon Ab L M Gestión de errores de trama de ráfaga
KR20190008663A (ko) * 2017-07-17 2019-01-25 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 시스템
MX2021009635A (es) * 2019-02-21 2021-09-08 Ericsson Telefon Ab L M Estimacion de la forma espectral a partir de coeficientes de mdct.
WO2020197486A1 (en) * 2019-03-25 2020-10-01 Razer (Asia-Pacific) Pte. Ltd. Method and apparatus for using incremental search sequence in audio error concealment
EP4252227A1 (en) * 2020-11-26 2023-10-04 Telefonaktiebolaget LM Ericsson (publ) Noise suppression logic in error concealment unit using noise-to-signal ratio
CN113096685A (zh) * 2021-04-02 2021-07-09 北京猿力未来科技有限公司 音频处理方法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT362479B (de) * 1979-06-22 1981-05-25 Vianova Kunstharz Ag Verfahren zur herstellung von bindemitteln fuer die elektrotauchlackierung
US5774837A (en) * 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
DE69612958T2 (de) * 1995-11-22 2001-11-29 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur resynthetisierung eines sprachsignals
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6691092B1 (en) * 1999-04-05 2004-02-10 Hughes Electronics Corporation Voicing measure as an estimate of signal periodicity for a frequency domain interpolative speech codec system
DE19921122C1 (de) * 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
US6397175B1 (en) * 1999-07-19 2002-05-28 Qualcomm Incorporated Method and apparatus for subsampling phase spectrum information
US6975655B2 (en) 2000-04-07 2005-12-13 Broadcom Corporation Method of controlling data sampling clocking of asynchronous network nodes in a frame-based communications network
CN1386354A (zh) * 2000-07-25 2002-12-18 皇家菲利浦电子有限公司 受引导的判定频移估计
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US20040002856A1 (en) 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
US20040122680A1 (en) 2002-12-18 2004-06-24 Mcgowan James William Method and apparatus for providing coder independent packet replacement
US6985856B2 (en) 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
EP1642265B1 (en) 2003-06-30 2010-10-27 Koninklijke Philips Electronics N.V. Improving quality of decoded audio by adding noise
US7337108B2 (en) * 2003-09-10 2008-02-26 Microsoft Corporation System and method for providing high-quality stretching and compression of a digital audio signal
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
US20050091041A1 (en) * 2003-10-23 2005-04-28 Nokia Corporation Method and system for speech coding
US20050091044A1 (en) 2003-10-23 2005-04-28 Nokia Corporation Method and system for pitch contour quantization in audio coding
CA2457988A1 (en) 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
JP4744438B2 (ja) 2004-03-05 2011-08-10 パナソニック株式会社 エラー隠蔽装置およびエラー隠蔽方法
US7734381B2 (en) 2004-12-13 2010-06-08 Innovive, Inc. Controller for regulating airflow in rodent containment system
CN101120400B (zh) 2005-01-31 2013-03-27 斯凯普有限公司 在通信系统中生成隐藏帧的方法
US20070147518A1 (en) 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
DE102006017280A1 (de) * 2006-04-12 2007-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals
CN101361113B (zh) * 2006-08-15 2011-11-30 美国博通公司 丢包后的约束和受控解码
FR2907586A1 (fr) 2006-10-20 2008-04-25 France Telecom Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch.
CN101261833B (zh) * 2008-01-24 2011-04-27 清华大学 一种使用正弦模型进行音频错误隐藏处理的方法
CN101308660B (zh) * 2008-07-07 2011-07-20 浙江大学 一种音频压缩流的解码端错误恢复方法
EP2109096B1 (en) * 2008-09-03 2009-11-18 Svox AG Speech synthesis with dynamic constraints
ES2374008B1 (es) * 2009-12-21 2012-12-28 Telefónica, S.A. Codificación, modificación y síntesis de segmentos de voz.
US8538038B1 (en) * 2010-02-12 2013-09-17 Shure Acquisition Holdings, Inc. Audio mute concealment
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
EP2375782B1 (en) * 2010-04-09 2018-12-12 Oticon A/S Improvements in sound perception using frequency transposition by moving the envelope
WO2012049659A2 (en) * 2010-10-14 2012-04-19 Centro De Investigación Y De Estudios Avanzados Del Instituto Politécnico Nacional High payload data-hiding method in audio signals based on a modified ofdm approach
JP5743137B2 (ja) * 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
NZ709639A (en) * 2013-02-05 2016-06-24 Ericsson Telefon Ab L M Audio frame loss concealment
KR102349025B1 (ko) 2013-02-05 2022-01-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 오디오 프레임 손실 은폐를 제어하기 위한 방법 및 장치

Also Published As

Publication number Publication date
US11482232B2 (en) 2022-10-25
DK3096314T3 (en) 2018-04-03
EP4276820A3 (en) 2024-01-24
EP3333848A1 (en) 2018-06-13
EP3333848B1 (en) 2019-08-21
CN108564958A (zh) 2018-09-21
BR112015017222A2 (pt) 2017-07-11
EP3576087B1 (en) 2021-04-07
HUE045991T2 (hu) 2020-01-28
US20150371642A1 (en) 2015-12-24
PL3333848T3 (pl) 2020-03-31
KR102037691B1 (ko) 2019-10-29
EP4276820A2 (en) 2023-11-15
US20190272832A1 (en) 2019-09-05
BR112015017222B1 (pt) 2021-04-06
US20230008547A1 (en) 2023-01-12
WO2014123470A1 (en) 2014-08-14
CN104995675A (zh) 2015-10-21
CN108847247B (zh) 2023-04-07
PL3576087T3 (pl) 2021-10-25
KR20160075790A (ko) 2016-06-29
DK2954517T3 (en) 2016-11-28
ES2954240T3 (es) 2023-11-21
US10339939B2 (en) 2019-07-02
JP2016511433A (ja) 2016-04-14
KR101855021B1 (ko) 2018-05-04
CN108564958B (zh) 2022-11-15
EP3866164A1 (en) 2021-08-18
EP3096314A1 (en) 2016-11-23
KR20180049145A (ko) 2018-05-10
CN104995675B (zh) 2018-06-29
HUE036322T2 (hu) 2018-06-28
DK3576087T3 (da) 2021-05-31
ES2877213T3 (es) 2021-11-16
EP3096314B1 (en) 2018-01-03
EP2954517A1 (en) 2015-12-16
ES2757907T3 (es) 2020-04-30
EP2954517B1 (en) 2016-07-27
US9847086B2 (en) 2017-12-19
JP5978408B2 (ja) 2016-08-24
ES2664968T3 (es) 2018-04-24
CN108847247A (zh) 2018-11-20
US20180096691A1 (en) 2018-04-05
EP3576087A1 (en) 2019-12-04
PL2954517T3 (pl) 2016-12-30
NZ709639A (en) 2016-06-24
ES2597829T3 (es) 2017-01-23
PL3866164T3 (pl) 2023-12-27
EP3866164B1 (en) 2023-07-19
PT3333848T (pt) 2019-10-14

Similar Documents

Publication Publication Date Title
KR101855021B1 (ko) 오디오 프레임 손실 은폐
JP6698792B2 (ja) オーディオフレーム損失のコンシールメントを制御する方法及び装置
RU2575993C2 (ru) Основанная на линейном предсказании схема кодирования, использующая формирование шума в спектральной области
US9478221B2 (en) Enhanced audio frame loss concealment
JP7178506B2 (ja) 位相ecu f0補間スプリットのための方法および関係するコントローラ
Kleijn et al. Sinusoidal interpolation across missing data
KR20220050924A (ko) 오디오 코딩을 위한 다중 래그 형식

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101003358; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160607

Effective date: 20161223