KR100862662B1 - 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치 - Google Patents

프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치 Download PDF

Info

Publication number
KR100862662B1
KR100862662B1 KR1020060118563A KR20060118563A KR100862662B1 KR 100862662 B1 KR100862662 B1 KR 100862662B1 KR 1020060118563 A KR1020060118563 A KR 1020060118563A KR 20060118563 A KR20060118563 A KR 20060118563A KR 100862662 B1 KR100862662 B1 KR 100862662B1
Authority
KR
South Korea
Prior art keywords
error
frame
signal
regression analysis
parameter
Prior art date
Application number
KR1020060118563A
Other languages
English (en)
Other versions
KR20080048317A (ko
Inventor
성호상
이강은
김중회
오은미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060118563A priority Critical patent/KR100862662B1/ko
Priority to US11/935,600 priority patent/US8843798B2/en
Priority to PL12153304T priority patent/PL2482278T3/pl
Priority to EP07833999A priority patent/EP2102862B1/en
Priority to JP2009539176A priority patent/JP5607365B2/ja
Priority to AT07833999T priority patent/ATE544149T1/de
Priority to ES12153265T priority patent/ES2865099T3/es
Priority to EP12153234.5A priority patent/EP2450883B1/en
Priority to EP12153285.7A priority patent/EP2450885B1/en
Priority to EP12153304.6A priority patent/EP2482278B1/en
Priority to EP12153291A priority patent/EP2450886A1/en
Priority to EP12153265.9A priority patent/EP2450884B1/en
Priority to PCT/KR2007/005692 priority patent/WO2008066264A1/en
Publication of KR20080048317A publication Critical patent/KR20080048317A/ko
Application granted granted Critical
Publication of KR100862662B1 publication Critical patent/KR100862662B1/ko
Priority to US14/272,643 priority patent/US9424851B2/en
Priority to JP2014100896A priority patent/JP6073830B2/ja
Priority to US15/240,342 priority patent/US10096323B2/en
Priority to JP2017000620A priority patent/JP6423460B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders

Abstract

오디오 신호의 프레임 오류 은닉방법 및 장치가 개시된다. 이 프레임 오류 은닉방법은 오류가 발생된 프레임의 신호특성에 기초하여 오류 은닉방식을 입력된 신호에 최적화된 방식으로 설정하고, 설정된 방식에 따라 프레임에 발생된 오류를 은닉한다. 이렇게 함으로써 보다 정확하게 프레임에 발생된 오류를 은닉하므로 프레임 오류로 인한 음질 저하를 최소화시킬 수 있고, 프레임 오류가 누적됨으로 인해 발생하는 이후 프레임의 음질 저하 문제도 개선할 수 있다.

Description

프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호 복호화 방법 및 장치{Method and Apparatus of Frame Error Concealment, Method and Apparatus of Decoding Audio using it}
도 1은 본 발명의 일 실시예에 따른 프레임 오류 은닉 장치를 포함하는 복호화 장치의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 프레임 오류 은닉 장치를 포함하는 음성 복호화 장치(200)의 구성을 도시한 블록도이다.
도 3a는 도 2에 도시된 여기신호 복원부(292)의 보다 자세한 구성에 관한 블록도이다.
도 3b는 도 2에 도시된 LSP 복원부(294)의 보다 자세한 구성에 관한 블록도이다.
도 4a는 선형회귀분석에 의해 도출된 함수의 일례를 나타내는 그래프이다.
도 4b는 비선형회귀분석에 의해 도출된 함수의 일례를 나타내는 그래프이다.
도 5a는 본 발명의 다른 실시예에 따른 프레임 오류 은닉 장치를 포함하는 오디오 복호화 장치(500)의 구성을 도시한 블록도이다.
도 5b는 도 5a에 도시된 오류 은닉부(580)의 보다 자세한 구성에 관한 블록도이다.
도 6a는 본 발명의 또 다른 실시예에 따른 프레임 오류 은닉 장치를 포함하는 오디오 복호화 장치(600)의 구성을 도시한 블록도이다.
도 6b는 도 6a에 도시된 오류 은닉부(580)의 보다 자세한 구성에 관한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 프레임 오류 은닉을 이용한 음성 복호화 방법을 설명하기 위한 플로우차트이다.
도 8은 도 7에 도시된 신호특성 분석 및 은닉방식 설정단계(제 720 및 제 730단계)의 보다 상세한 플로우차트이다.
도 9는 도 7에 도시된 여기신호 복원단계(제 740단계)의 보다 상세한 플로우차트이다.
도 10은 도 7에 도시된 LSP 파라미터 복원단계(제 750단계)의 보다 상세한 플로우차트이다.
도 11은 본 발명의 다른 실시예에 따른 프레임 오류 은닉 방법을 이용한 오디오 복호화 방법을 설명하기 위한 플로우차트이다.
도 12는 도 11에 도시된 신호특성 분석 및 은닉방식 설정단계(제 )의 보다 상세한 플로우차트이다.
도 13은 본 발명의 또 다른 실시예에 따른 프레임 오류 은닉 방법을 이용한 오디오 복호화 방법을 설명하기 위한 플로우차트이다.
본 발명은 음성 신호 또는 오디오 신호를 복호화하는 방법 및 장치에 관한 것으로서, 보다 상세하게는 복호화된 신호에 프레임 오류(frame error)가 발생된 경우, 프레임 오류를 은닉(concealment)하는 방법 및 장치에 관한 것이다.
유무선 망을 통하여 부호화된 오디오 신호를 전송하는 과정에서 일부 패킷이 손실되거나 왜곡되는 경우, 전송상의 오류로 인해 복호화된 오디오 신호의 일부 프레임 신호에 오류가 발생될 수 있다. 이 경우 프레임에 발생된 오류를 적절히 처리하지 않으면 오류가 발생된 프레임 구간에서 오디오 신호의 음질이 저하되는 것은 물론이고, 이 복호화 장치에서는 예측 기법에 의해 신호를 복원하므로 한 프레임의 오류가 이후 프레임에도 영향을 미치게 되어 이후 프레임 구간에서도 지속적으로 음질이 저하되는 현상이 나타나게 된다. 따라서 복원된 오디오 신호의 음질 저하를 방지하기 위해서는 프레임 오류를 효율적으로 은닉하는 것이 매우 중요한 문제이다.
프레임 오류를 은닉하기 이한 방법에는 다음과 같은 방법들이 있다. 예를 들어, 오류가 발생된 프레임(error frame, EF)에서 소리의 크기를 작게 함으로써 오류가 출력 신호에 미치는 영향을 약화시키는 묵음(muting)법, 오류가 발생된 프레임(EF)의 이전 정상 프레임(Previous Good Frame, PGF)을 반복하여 재생하므로 오류가 발생된 프레임(EF)의 신호를 복원하는 반복(repetition)법, 이전 정상 프레임(PGF)과 이후 정상 프레임(Next Good Frame, NGF)의 파라미터를 보간하여 오류 프레임(EF)의 파라미터를 예측하는 보간법(interpolation), 이전 정상 프레임(PGF) 의 파라미터를 보외하여 오류 프레임(EF)의 파라미터를 구하는 보외법(extrapolation), 이전 정상 프레임(PGF)의 파라미터를 회귀분석하여 오류 프레임(EF)의 파라미터를 구하는 회귀분석법(Regression Analysis) 등이 있다.
그러나 종래에는 모든 입력 신호에 대해 동일한 방식에 따라 획일적인 방법으로 오류가 발생된 프레임(EF)을 복원하였기 때문에 프레임 오류가 효율적으로 은닉되지 못하여 음질이 저하되는 문제가 있었다.
따라서 본 발명이 이루고자 하는 기술적 과제는 신호의 특성에 최적화된 방식에 따라 프레임 오류를 은닉함으로써 오류가 발생된 프레임(EF)을 보다 정확하게 복원할 수 있는 프레임 오류 은닉 방법 및 장치를 제공하는 것이다.
또한, 본 발명이 이루고자 하는 다른 기술적 과제는 신호의 특성에 최적화된 방식에 따라 오류가 발생된 프레임(EF)을 보다 정확하게 복원함으로써 프레임 오류로 인한 음질 저하를 최소화할 수 있는 복호화 방법 및 장치를 제공하는 것이다.
또한, 본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 본 발명에 따른 프레임 오류 은닉 방법 및 본 발명에 따른 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 하나의 프레임 오류 은닉 방법은 (a) 오류(error)가 발생된 프레임의 신호특성에 기초하여 상기 오류를 은닉(concealment)하기 위한 방식을 설정하는 단계; 및 (b) 상기 설정된 방식에 따라 상기 오류를 은닉하는 단계를 포함한다. 또한, 상기 (a)단계는 상기 신호특성에 기초하여 상기 오류를 은닉하기 위한 회귀분석(regression analysis)방식을 설정하는 단계일 수 있다.
또한, 상기 (a)단계는 (a1) 상기 신호특성을 분석하는 단계; 및 (a2) 상기 분석된 신호특성에 기초하여 상기 회귀분석방식을 설정하는 단계를 포함할 수 있다. 또한, 상기 (a1)단계는 이전 정상 프레임(previous good frame)에 관한 정보에 기초하여 상기 신호특성을 분석하는 단계일 수 있다.
또한, 상기 (a2)단계는 상기 신호특성에 기초하여 선형회귀분석방식 또는 비선형회귀분석방식 중에서 상기 오류를 은닉하기 위한 어느 하나의 방식을 선택하는 단계를 포함할 수 있고, 상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 개수를 설정하는 단계를 포함할 수 있고, 상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 파라미터를 추출하는 주기를 설정하는 단계를 포함할 수 있다.
또한, 상기 (b)단계는 상기 설정된 회귀분석방식에 따라 이전 정상 프레임의 파라미터로부터 상기 오류가 발생된 프레임의 파라미터를 예측하는 단계를 포함할 수 있고, 상기 (b)단계는 (b1) 상기 설정된 회귀분석방식에 따라 상기 이전 정상 프레임의 파라미터로부터 예측을 위한 회귀분석함수를 도출하는 단계; 및 (b2) 상기 도출된 회귀분석함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 단계를 포함할 수 있다. 또한, 상기 (b)단계는 (b3) 상기 예측된 파라미터의 값이 소정 범위를 벗어나는 경우에 상기 예측된 파라미터의 값을 상기 소정 범위 이내의 값으로 조절하는 단계를 더 포함할 수 있다.
또한, 상기 (a)단계는 상기 신호특성에 따라 상기 예측된 파라미터 값을 조절하기 위한 조절함수를 설정하는 단계를 더 포함하고, 상기 (b2)단계는 상기 설정된 조절함수를 이용하여 상기 도출된 함수의 계수를 조절하고, 상기 계수가 조절된 함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 단계일 수 있다. 또한, 상기 설정된 조절함수에 의해 계수가 조절되는 함수는 상기 오류 프레임의 에너지 정보와 관련된 파라미터를 예측하기 위한 함수일 수 있다.
또한, 상기 본 발명에 따른 프레임 오류 은닉방법은 비트스트림에서 오류가 발생된 프레임을 검출하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 다른 프레임 오류 은닉방법은 (a) 오류가 발생된 프레임의 신호특성을 고려하여 상기 프레임에서 상기 오류가 발생된 위치를 포함하는 계층 및 그 이후 계층의 오류를 은닉하기위한 방식을 설정하는 단계; 및 (b) 상기 설정된 방식에 따라 상기 오류를 은닉하는 단계를 포함한다. 또한, 상기 (a)단계는 (a1) 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층에 관한 정보에 기초하여 상기 신호특성을 분석하는 단계; 및 (a2) 상기 분석된 신호특성을 고려하여 상기 오류를 은닉하기위한 방식을 설정하는 단계를 포함할 수 있다.
또한, 상기 (b)단계는 상기 설정된 방식에 따라 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층의 파라미터로부터 상기 검출된 위치를 포함하는 계층 및 그 이후 계층의 파라미터를 예측하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 하나의 프레임 오류 은닉 장치는 오류가 발생된 프레임의 신호특성에 기초하여 상기 오류를 은닉하기위한 방식을 설정하는 은닉방식 설정부; 및 상기 설정된 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함한다. 또한, 상기 은닉방식 설정부는 상기 오류가 발생된 프레임의 신호특성에 기초하여 회귀분석방식을 설정하고, 상기 오류 은닉부는 상기 설정된 회귀분석방식에 따라 상기 오류를 은닉할 수 있다.
또한, 상기 은닉방식 설정부는 상기 신호특성을 분석하는 신호특성 분석부; 및 상기 분석된 신호특성에 기초하여 상기 회귀분석방식을 설정하는 설정부를 포함할 수 있다. 또한, 상기 신호특성 분석부는 이전 정상 프레임에 관한 정보에 기초하여 상기 신호특성을 분석할 수 있다.
또한, 상기 은닉방식 설정부는 상기 신호특성에 기초하여 선형회귀분석방식 또는 비선형회귀분석방식 중에서 상기 오류를 은닉하기 위한 어느 하나의 방식을 선택할 수 있고, 상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 개수를 설정할 수 있고, 상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 파라미터를 추출하는 주기를 설정할 수 있다.
또한, 상기 오류 은닉부는 상기 설정된 회귀분석방식에 따라 이전 정상 프레임의 파라미터로부터 상기 오류가 발생된 프레임의 파라미터를 예측할 수 있다.
또한, 상기 오류 은닉부는 상기 설정된 회귀분석방식에 따라 상기 이전 정상 프레임의 파라미터로부터 예측을 위한 회귀분석함수를 도출하는 함수 도출부; 및 상기 도출된 회귀분석함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 예측부를 포함할 수 있고, 상기 예측된 파라미터의 값이 소정 범위를 벗어나는 경우에 상기 예측된 파라미터의 값을 상기 소정 범위 이내로 조절하는 후처리부를 더 포함할 수 있다.
또한, 상기 은닉방식 설정부는 상기 신호특성에 따라 상기 예측된 파라미터 값을 조절하기 위한 조절함수를 설정하고, 상기 오류 은닉부는 상기 설정된 조절함수를 이용하여 상기 도출된 함수의 계수를 조절하는 조절부를 더 포함하고, 상기 예측부는 상기 조절부에서 상기 계수가 조절된 함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측할 수 있다. 또한, 상기 설정된 조절함수에 의해 계수가 조절되는 함수는 상기 오류 프레임의 에너지 정보와 관련된 파라미터를 예측하기 위한 함수일 수 있다.
또한, 상기 프레임 오류 은닉장치는 비트스트림에서 오류가 발생된 프레임을 검출하는 오류 검출부를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 다른 프레임 오류 은닉장치는 오류가 발생된 프레임의 신호특성을 고려하여 상기 프레임에서 상기 오류가 발생된 위치를 포함하는 계층 및 이후 계층의 오류를 은닉하기위한 방식을 설정하는 은닉방식 설정부; 및 상기 설정된 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함한다. 또한, 상기 은닉방식 설정부는 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층의 정보에 기초하여 상기 신호 특성을 분석하는 신호특성 분석부; 및 상기 분석된 신호의 특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하는 설정부를 포함할 수 있다.
또한, 상기 오류 은닉부는 상기 설정된 방식에 따라 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층의 파라미터로부터 상기 검출된 위치를 포함하는 계층 및 그 이후 계층의 파라미터를 예측할 수 있다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 하나의 복호화 방법은 비트스트림에서 오류가 발생된 프레임을 검출하는 단계; 상기 비트스트림에서 오류가 발생되지 않은 프레임을 복호화하는 단계; 상기 검출된 오류가 발생된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하는 단계; 및 상기 설정된 방식에 따라 상기 오류를 은닉하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 복호화 방법은 비트스트림에서 오류가 발생된 프레임 및 상기 프레임에서 오류가 발생된 위치를 검출하는 단계; 상기 비트스트림에서 오류가 발생되지 않은 프레임 및 상기 검출된 오류가 발생된 프레임에서 상기 검출된 오류가 발생된 위치를 포함하는 계층의 이전 계층을 복호화하는 단계; 상기 검출된 오류가 발생된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하는 단계; 및 상기 설정된 방식에 따라 상기 오류를 은닉하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 복호화 장치는 비트스트림에서 오류가 발생된 프레임을 검출하는 오류 검출부; 상기 비트스트림에서 오류가 발생되지 않은 프레임을 복호화하는 복호화부; 및 상기 검출된 프레임의 신 호특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하고, 상기 설정된 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 다른 복호화 장치는 비트스트림에서 오류가 발생된 프레임 및 상기 프레임에서 오류가 발생된 위치를 검출하는 오류 검출부; 상기 비트스트림에서 오류가 발생되지 않은 프레임 및 상기 오류가 발생된 프레임의 검출된 위치를 포함하는 계층의 이전 계층을 복호화하는 복호화부; 및 상기 검출된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하고, 상기 설정된 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 프레임 오류 은닉 방법 및 본 발명에 따른 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 설명하기로 한다.
도 1a는 본 발명에 일 실시예에 따른 프레임 오류 은닉(frame error concealment) 장치를 구비한 복호화 장치의 개략적인 블록도이고, 도 1b는 도 1a에 도시된 프레임 오류 은닉부(130)의 보다 상세한 구성을 도시한 블록도이다. 도 1a 및 도 1b를 참조하면, 상기 복호화 장치(100)는 오류 검출부(110), 복호화부(120), 프레임 오류 은닉부(130)를 포함하고, 프레임 오류 은닉부(130)는 신호특성 분석부(142) 및 설정부(144)를 포함하는 은닉방식 설정부(140) 및 은닉부(150)를 포함 한다.
오류 검출부(110)는 전송된 비트스트림에 오류가 발생된 프레임(EF)을 검출하고, 오류가 발생된 프레임(EF)이 검출되었음을 프레임 오류 은닉부(130)에 알린다. 여기서 프레임은 하나의 프레임 또는 하나의 프레임을 구성하는 서브 프레임일 수 있다.
복호화부(120)는 비트스트림에서 오류가 발생되지 않은 정상 프레임(Good Frame, GF)을 복호화한다. 복호화부(120)는 ITU-T G.729와 같은 음성 코덱 또는 MPEG(Moving Picture Expert Group)- 2/4 AAC(Advanced Audio Coding), MPEG-BSAC(Bit Sliced Arithmetic Coding)과 같은 오디오 코덱 등으로 구현될 수 있다.
신호특성 분석부(142)는 오류 검출부(110)에서 검출된 오류가 발생된 프레임(EF)을 신호의 특성을 분석하고, 분석된 신호특성을 설정부(144)로 전송한다. 설정부(144)는 전송된 신호특성을 고려하여 프레임 오류를 은닉하기 위한 방식을 결정하고, 결정된 방식에 따라 은닉부(146)에서 수행된 프레임 오류 은닉 방식을 설정한다. 은닉부(146)는 설정된 은닉 방식에 따라 프레임 오류를 은닉한다.
이하, 복원할 신호가 음성신호인 경우와 오디오 신호인 경우를 구별하여 본 발명의 일 실시예에 따른 프레임 오류 은닉 장치, 이를 이용한 복호화 장치의 구체적인 동작을 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 프레임 오류 은닉 장치(230)를 포함한 음성 복호화 장치(200)의 블록도로서, 음성 복호화 장치(200)는 오류 검출부(210), 복호화부(220) 및 프레임 오류 은닉부(Frame Error Concealment)(230)를 포함하고, 복호화부(220)는 여기신호(excitation signal) 복호화부(240), 선 스펙트럼 쌍(Line Spectral Pair, 이하 LSP라고 함) 복호화부(250), LPS/LPC(Linear Prediction Coefficient, 이하 LPC라고 함) 변환부(260), 합성 필터(270)를 포함한다. 또한, 프레임 오류 은닉부(230)는 은닉방식 설정부(280) 및 오류 은닉부(290)를 포함하고, 은닉방식 설정부(280)는 신호특성 분석부(282) 및 설정부(284)를 포함하고, 오류 은닉부(290)는 여기신호 복원부(292) 및 LSP 복원부(294)를 포함한다.
이하, 도 2에 도시된 음성 복호화 장치(200)의 동작을 설명하기로 한다.
오류 검출부(210)는 비트스트림에서 오류가 발생된 프레임(EF)을 검출하여 프레임 오류 은닉부(230)로 제공하고, 나머지 정상 프레임은 복호화부(220)로 제공한다.
복호화부(220)는 제공된 정상 프레임의 파라미터들을 복호화하고, 복호화된 파라미터들을 이용하여 해당 음성 신호를 복원한다. 본 발명의 일 실시예에서 음성발성모델에 기반한 CELP(Code Excited Linear Prediction) 알고리즘을 사용하는 경우, 복호화부(220)는 음성 신호의 주파수 특성을 분석한 10개의 근(roots)을 갖는 LSP 파라미터와 여기 신호를 합성하기 위한 파라미터들을 복원하고, 복원된 파라미터들을 이용하여 음성신호를 합성하여 출력한다. 여기신호를 합성하기 위한 파라미터들에는 피치(pitch) 주기, 펄스 음원(펄스의 위치), 펄스 음원신호에 대한 이득(gc) 및 적응 코드북 음원신호에 대한 이득(gp)이 포함된다. 여기신호 복호화부(240)는 여기 신호를 합성하기 위한 파라미터들을 복호하고, 복호화된 파라미터 들을 이용하여 여기신호를 합성한다.
프레임 오류 은닉부(230)는 신호의 특성에 따라 오류가 발생된 프레임(EF)을 은닉하기 위한 방식을 설정하고, 설정된 방식에 따라 프레임 오류를 은닉한다.
본 발명의 일 실시예에 따르면 은닉방식 설정부(280)는 신호의 특성을 분석하고, 분석된 신호특성을 고려하여 회귀분석방식을 설정하고, 오류 은닉부(290)는 은닉방식 설정부(280)에서 설정된 회귀분석방식에 따라 프레임 오류를 은닉한다. 설명의 편의를 위하여 은닉방식 설정부(280)에서 프레임 오류를 은닉하기 위한 회귀분석방식을 설정하기에 앞서 오류 은닉부(290)에서 회귀분석방식에 따라 프레임 오류를 은닉하는 과정을 먼저 살펴보기로 한다.
앞에서 설명하였듯이 여기신호를 합성하기 위한 파라미터에는 피치주기, 고정 코드북 인덱스, 적응 코드복 이득 파라미터(gp) 및 고정 코드북 이득 파라미터(gc)가 포함된다. 여기신호 복원부(340)는 이전 정상 프레임(PGF)의 여기신호 합성 파라미터로부터 오류가 발생된 프레임의 여기신호 합성을 위한 파라미터들을 예측하고, 예측된 파라미터들을 이용하여 여기신호를 합성함으로써 여기신호를 복원한다. 이전 정상 프레임(PGF)의 여기신호 합성을 위한 파라미터들은 도 2에 도시된 여기신호 복호화부(240)에서 복원되며, 오류가 발생된 프레임(EF)을 복원하기 위해 사용될 수 있도록 소정 버퍼(미도시)에 저장됨이 바람직하다. 여기신호 복원부(292)는 프레임에 오류가 발생된 경우, 소정 버퍼에 저장된 이전 정상 프레임(PGF)의 파라미터를 읽어와 오류 프레임의 여기신호를 복원할 수 있다.
이하, 도 3a를 참조하여 여기신호 복원부(292)의 동작을 설명하겠다. 도 3a 는 도 2에 도시된 여기신호 복원부(292)의 상세한 구성을 도시한 블록로서, 여기신호 복원부(292)는 제1 함수 도출부(300), 이득 조절부(310), 제1 예측부(320), 제1 후처리부(330) 및 여기신호 합성부(340)를 포함한다.
제1 함수 도출부(300)는 이전 정상 프레임(PGF)의 이득 파라미터(gp, gc)로부터 회귀 분석을 통해 함수를 도출한다. 도출되는 함수는 선형함수 또는 비선형함수이다. 비선형함수에는 지수함수(exponential function), 로그함수(logarithmic function) 또는 거듭제곱함수(power function) 등이 있다. 은닉방식 설정부(300)에서 선형회귀분석에 의해 오류 프레임의 파라미터들을 예측하도록 설정된 경우는 선형함수가 도출될 것이며, 비선형회귀분석에 의해 예측하도록 설정된 경우는 비선형함수들 중 어느 하나가 도출될 것이다. 하나의 프레임은 복수 개의 서브프레임으로 구성되는데, 각 서브프레임별로 가지는 이득 파라미터 값으로부터 회귀분석을 통해 각 이득 값에 관한 함수가 도출된다.
도 4a 및 도 4b는 이전 정상 프레임(PGF) 또는 서브 프레임의 파라미터들을 회귀 분석하여 도출되는 함수의 예를 도시한 것이다. 도 4a는 이전 정상 프레임(PGF)의 이득 파라미터값들(x1, x2, ..., x8)로부터 도출된 선형함수의 예를 도시한 것이다. 도 4b는 이전 정상 프레임(PFG)의 이득 파라미터값들(x1, x2, ..., x8)로부터 도출된 비선형함수의 예를 도시한 것이다. 여기서, a 및 b는 회귀 분석에 의해 구해지는 상수이다.
이득 조절부(310)는 이전 정상 프레임(PGF)의 유성 정도(voiced level)에 따라 상기 도출된 함수의 계수를 조절한다. 예를 들어, 제1 함수 도출부(300)에서 다음 수학식 1과 같은 선형함수가 도출된 경우, 이득 조절부(3102)에서는 도출된 선형함수의 계수를 다음 수학식 2와 같이 조절한다.
Figure 112006088098216-pat00001
Figure 112006088098216-pat00002
여기서, f( )는 이득조절함수로서, 유성 정도가 높을 때 기울기 a'를 작게 하는 역할을 한다.
Figure 112006088098216-pat00003
는 이전 정상 프레임(PGF)의 적응 코드북 이득 파라미터들이다. 유성음은 같은 신호가 일정 시간 지속되는 것이 특징이므로 유성 정도가 높을 때 기울기 a'를 작게 함으로써, 음성신호의 크기가 심하게 감소되는 것을 적응적으로 방지할 수 있다. 이들 조절부(310)는 회귀 분석에 의해 정확하게 오류 프레임의 이득이 예측되지 않는 경우에 이를 보완하는 역할을 한다. 특히, 이득 파라미터에 이득 조절이 적용되는 것은 유성음에서 현재 신호와 이전 신호의 상관도가 높은 것은 음성 신호의 에너지 분포와 관계있는데 이득 파라미터는 음성 신호의 에너지와 상관관계에 있는 파라미터이기 때문이다.
제1 예측부(320)는 이득 조절부(310)에서 계수가 조절된 함수에 의해 오류가 발생된 프레임의 파라미터를 예측한다. 후술할 은닉방식 설정부(280)에서 선형회귀분석에 의해 파라미터를 예측하도록 설정된 경우는 도 4a와 같이 선형함수에 의해 오류가 발생된 프레임(EF)의 이득 파라미터(xPL)가 예측되고, 비선형회귀분석에 의해 파라미터를 예측하도록 설정된 경우는 도 4b와 같이 비선형함수에 의해 오류가 발생된 프레임(EF)의 이득 파라미터(xPN)가 예측된다. 만약 제1 함수 도출부(300)에서 수학식 1과 같은 선형함수가 도출되고, 이득 조절부(310)에서 수학식 2와 같이 도출된 함수의 계수가 조절된 경우, 이 계수가 조절된 함수에 의해 예측되는 이득 파라미터(
Figure 112006088098216-pat00004
)는 다음 수학식 3과 같이 나타낼 수 있다.
Figure 112006088098216-pat00005
제1 후처리부(330)는 예측된 이득 파라미터를 최적화한다. 예를 들면, 예측된 이득 파라미터의 값이 소정 범위 내에 포함되도록 상한값(Upper Limit)과 하한값(Lower Limit)을 미리 정해 놓고, 예측된 이득 파라미터 값이 상한값보다 높거나, 하한값보다 낮으면 해당 LPS 파라미터 값을 상한값과 하한값 사이의 값으로 수정한다. 이렇게 함으로써 이득 파라미터 값이 예상치 못한 값으로 예측되는 것을 방지한다.
여기신호 합성부(340)는 이득 조절부(314) 또는 제 1 예측부(320)에서 예측된 오류가 발생된 프레임(EF)의 이득 파라미터(gp, gc)를 참조하여 오류가 발생된 프레임(EF)의 여기신호를 합성한다. 본 발명의 일 실시예에 따르면 여기신호를 합성하기 위해 필요한 피치 주기나 고정 코드북 인덱스를 이전 프레임의 값을 재사용하거나 임의의 값을 생성하여 사용할 수 있다. 보다 자세한 내용은 G. 729에서 프 레임 오류를 은닉하기 위하여 마련된 고유의 기능을 통해 살펴볼 수 있다.
여기신호 합성부(340)에서 합성된 여기신호는 오류가 발생된 프레임(EF)의 복원된 여기신호로서 도 2에 도시된 합성필터(270)로 출력된다.
이하, 도 3b 참조하여 LSP 복원부(294)의 동작을 설명하겠다. 도 3b는 도 2에 도시된 LSP 복원부(292)의 상세한 구성을 도시한 블록로서, LPS 복원부(294)는 LSP/스펙트럼 변환부(350), 제2 함수 도출부(360), 제2 예측부(370), 제2 후처리부(380) 및 스펙트럼/LSP 변환부(390)를 포함한다. LSP 복원부(292)는 이전 정상 프레임(PGF)의 LSP 파라미터로부터 회귀분석을 이용하여 오류 프레임의 LSP 파라미터를 복원한다.
이전 정상 프레임(PGF)의 LSP 파라미터는 도 2에 도시된 LSP 복호화부(240)에서 복원되며, 여기신호 복원부(292)에서와 마찬가지로 오류가 발생된 프레임(EF)을 복원하기 위해 사용될 수 있도록 소정 버퍼(미도시)에 저장됨이 바람직하다. LSP 복원부(294)는 프레임에 오류가 발생된 경우, 소정 버퍼에 저장된 이전 정상 프레임(PGF)의 파라미터를 읽어와 오류 프레임의 LSP 파라미터를 복원할 수 있다.
LSP/스펙트럼 변환부(350)는 이전 정상 프레임(PGF)의 10개의 근을 갖는 LSP 파라미터를 스펙트럼 영역으로 변환하여 스펙트럼 파라미터를 얻는다.
제2 함수 도출부(360)는 이전 정상 프레임(PGF)의 스펙트럼 파라미터로부터 회귀 분석을 통해 함수를 도출한다. 제1 함수 도출부(300)에서와 마찬가지로, 이 함수는 은닉방식 설정부(280)의 설정사항에 따라 선형함수 또는 비선형함수일 수 있다. 도 4a 및 도 4b는 이전 정상 프레임(PGF) 또는 서브 프레임의 파라미터들을 회귀 분석하여 도출되는 함수의 예를 도시한 것이다. 도 4a는, 이전 정상 프레임(PGF)의 스펙트럼 파라미터값들(x1, x2, ..., x8)로부터 도출된 선형함수 x(i)=ax+b의 예를 도시한 것이다. 도 4b는 이전 정상 프레임(PFG)의 스펙트럼 파라미터값들(x1, x2, ..., x8)로부터 비선형함수 x(i)=a
Figure 112006088098216-pat00006
가 도출되는 예를 도시한 것이다. 여기서, a 및 b는 회귀 분석에 의해 구해지는 상수이다.
제2 예측부(370)는 도출된 함수를 이용하여 오류가 발생된 프레임(EF)의 스펙트럼 파라미터를 예측한다. 도 4a에서는 선형함수에 의해 오류가 발생된 프레임(EF)의 스펙트럼 파라미터(xPL)가 예측되고, 도 4b에서는 비선형함수에 의해 오류가 발생된 프레임(EF)의 스펙트럼 파라미터(xPN)가 예측된다.
제2 후처리부(380)는 예측된 LSP 파라미터를 최적화한다. 예를 들면, 예측된 LSP 파라미터가 소정 경계(threshold) 내의 값을 갖도록 상한값(Upper Limit)과 하값(Lower Limit)을 미리 정해 놓고, 예측된 LPS 파라미터 값이 상한값보다 높거나, 하한값보다 낮으면 해당 LPS 파라미터 값을 상한값과 하한값 사이의 값으로 수정한다. 이렇게 함으로써 예상치 못한 값으로 LSP 파라미터가 예측되는 것을 방지할 수 있다.
스펙트럼/LSP 변환부(390)는 상기 예측된 스펙트럼 파라미터를 LSP 파라미터로 변환함으로써 오류가 발생된 프레임(EF)의 LSP 파라미터를 복원한다. 복원된 LSP 파라미터는 도 2에 도시된 LSP/LPC 변환부(250)로 출력된다.
살펴본 바와 같이 LSP 복원부(294)에서 복원된 오류 프레임(EF)의 LSP 파라미터는 LSP/LPC변환부(260)로 출력되고, 여기신호 복원부(292)에서 복원된 오류 프 레임(EF)의 여기신호는 합성 필터(270)로 출력된다. 따라서, 복호화부(220)는 정상 프레임 신호를 복원하여 출력하는 것과 마찬가지로, 프레임 오류 은닉부(230)에서 복원된 LSP 파라미터 및 여기신호를 이용하여 오류가 발생된 프레임의 신호를 복원하여 출력한다. 이렇게 함으로서 오류가 발생됨 프레임의 오류가 은닉되는 결과를 가져온다.
이하, 본 발명에 따른 은닉방식 설정부(300)에서 신호의 특성을 고려하여 회귀분석방식을 설정하는 과정에 대해 살펴보기로 한다. 도 2을 참조하면 은닉방식 설정부(280)는 신호특성 분석부(282) 및 설정부(284)를 포함한다.
신호특성 분석부(282)는 이전 정상 프레임(PGF)의 정보에 기초하여 오류가 발생된 프레임 신호특성을 분석한다. 분석된 신호특성은 후술할 설정부(234)에서 프레임 오류를 은닉하기 위한 방식을 설정하는 근거로 사용된다. 본 발명의 일 실시예에 따르면 신호특성 분석부(282)는 이전 정상 프레임(PGF)의 분류(class) 정보에 기초하여 신호의 특성을 분석한다. 분류 정보란 음성 신호를 주파수 추이의 특징에 따라 분류한 정보로서, 예를 들어 유성음(Voiced), 무성음(Unvoiced), 전이(Transition), 온셋(Onset), 오프셋(Offset), 묵음(Silence), 배경 잡음(Background Noise) 등의 유형이 있을 수 있다.
신호특성 분석부(282)에서 이전 정상 프레임(PGF)의 분류 정보에 기초하여 신호의 특성을 분석하는 경우 각 분류 정보에 따라 다음과 같이 신호의 특성을 분석할 수 있다. 유성음은 어느 정도 긴 기간 일정 주파수가 지속되므로 이전 정상 프레임(PGF)이 유성음인 경우 현재 신호와 이전 신호간의 상관도가 높은 특성이 있 다. 반면에, 무성음이나 배경 잡음은 현재 신호와 이전 신호간의 상관도가 낮은 특성이 있다. 즉, 음성이 유성음인지, 무성음인지 아니면 전이 상태인지 등에 따라 음성의 특징을 대표하는 파라미터들이 선형적으로 변화하는지 비선형적으로 변화하는지, 이전 프레임과 상관도가 높은지 낮은지 등에 관한 특성을 분석할 수 있다.
본 발명의 다른 실시예에 따르면 신호특성 분석부(282)는 이전 정상 프레임(PGF)의 에너지 정보에 기초하여 신호의 특성을 분석할 수 있다. 이 경우 에너지의 변화 추이에 따라 신호가 안정한지 불안정한지 여부를 분석하여, 현재 프레임과 이전 프레임간의 신호의 상관도 등을 분석할 수 있을 것이다. 상기 언급한 실시예들 외에도 기타 다양한 관점에서의 신호특성 분석이 가능할 것이다.
설정부(284)는 신호특성 분석부(282)에서 분석된 신호의 특성을 고려하여 프레임 오류를 은닉하기 위한 회귀분석방식을 설정한다. 설정할 수 있는 사항들에 선형회귀분석을 사용할 것인지 비선형회귀분석을 사용할 것인지 여부, 회귀분석을 참조할 이전 정상 프레임(PGF)의 개수 등 있을 수 있다. 또한, 회귀분석을 이용하여 오류가 발생된 프레임(EF)의 이득 파라미터를 예측한 경우, 예측된 파라미터 값들을 조절하기 위한 조절함수를 설정할 수도 있을 것이다.
본 발명의 일 실시예에 따른 은닉방식 설정부(280)의 설정과정을 도 8에 도시된 분석 및 설정 단계에 관한 플로우차트를 참조하여 설명하기로 한다.
제 800단계에서 신호특성 분석부(282)는 이전 정상 프레임(PGF)의 분류 정보 또는 에너지 정보에 기초하여 신호의 특성을 분석한다. 신호특성 분석부(282)는 분석 결과에 기초하여 현재 신호가 유성음인지, 무성음인지, 묵음인지, 전이 상태인 지, 온-셋 상태인지, 오프셋 상태인지 , 배경잡음인지 등을 분석한다.
제 810단계에서 설정부(320)는 분석 결과에 기초하여 현재 신호가 묵음인지 여부를 판단한다. 제 810단계에서 묵음이라고 판단된 경우는 제 820단계에서 선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정하고. 제 830단계에서 이전 M개의 정상 프레임을 참조하여 회귀분석을 하는 것으로 설정한다. 제 810단계에서 현재 신호가 묵음이 아닌 것으로 판단된 경우는 제 840단계에서 비선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정한다. 그리고,제 850단계에서 현재 신호가 유성음인지 여부를 판단한다. 제 850단계에서 유성음으로 판단되는 경우는 제 860단계에서 M개의 이전 정상 프레임(PGF)의 파라미터들을 참조하여 회귀분석 하도록 설정하고, 제 850단계에서 유성음이 아닌 것으로 판단되는 경우는 제 870단계에서 N개의 이전 정상 프레임(PGF)의 파라미터들을 참조하여 회귀분석 하도록 설정한다. 여기서 M은 N보다 큰 정수인 것이 바람직하다. 유성음은 이전신호와의 상관도가 높기 때문에 보다 정확하고 자연스러운 신호를 복원하기 위하여 보다 긴 구간의 이전 신호를 참조하는 것이 바람직하지만, 무성음은 이전신호와의 상관도가 낮기 때문에 보다 짧은 구간의 이전 신호를 참조하는 것이 바람직하기 때문이다. 이는 일 실시예에 따른 설정 방식이므로 신호특성을 분석하는 방식이나 분석된 신호특성에 따라 프레임 오류 은닉 방식을 설정하는 다양한 방법들이 있을 수 있으며, 당업자에가 용이하게 변형하여 사용할 수 있는 방법들은 모두 본 발명의 보호범위에 속할 것이다.
오류 은닉부(290)는 은닉방식 설정부(280)에서 설정된 은닉방식에 따라 프레 임 오류를 은닉한다. 오류 은닉부(290)의 동작은 앞서 설명한 바와 같다.
다음으로, 도 5a를 참조하여 본 발명의 다른 실시예에 따른 프레임 오류 은닉부(530)를 포함하는 오디오 복호화 장치(500)의 동작을 살펴보자, 도 5a에 도시된 오디오 복호화 장치(500)는 오류 검출부(510), 복호화부(520) 및 프레임 오류 은닉부(530)를 포함한다. 또한, 복호화부(520)는 무손실(Lossless) 복호화부(540), 역양자화(Dequantization)부(550) 및 필터뱅크(filter bank)(560)를 포함하고, 프레임 오류 은닉부(530)는 신호특성 분석부(572), 설정부(574)를 포함하는 은닉방식 설정부(570) 및 오류 은닉부(580)를 포함한다.
일반적으로 MPEG-2/4 AAC 에 따른 오디오 부호화 장치는 오디오 신호를 MDCT(Modulated Discrete Cosine Transfomation) 변환하여 오디오 신호의 주파수 성분에 관한 스펙트럼 파라미터를 추출한다. 오디오 신호는 추출된 스펙트럼 파라미터를 무손실 부호화하여 비트스트림을 생성하고, 생성된 비트스트림을 오디오 복호화 장치(500)에 전송한다.
오류 검출부(510)는 도 2에서와 같이 전송된 비트스트림에서 오류가 발생된 프레임(EF)을 검출하여 프레임 오류 은닉부(530)로 제공하고, 나머지 정상 프레임은 복호화부(520)로 제공한다.
복호화부(520)는 제공된 정상 프레임의 스펙트럼 파라미터를 복원하고, 복원된 스펙트럼 파라미터들로부터 정상 프레임의 오디오 신호를 합성하여 출력한다. 무손실 복호화부(540)는 정상 프레임에 해당하는 비트스트림을 허프만(Huffman) 알고리즘 등을 이용하여 무손실 복호화하고, 역양자화부(550)에서 역양자화하여 스펙 트럼 파라미터를 복원한다. 필터뱅크(560)는 복원된 스펙트럼 파라미터를 역 MDCT 변환하여 시간 영역의 오디오 신호를 복원하여 출력한다.
신호특성 분석부(572)는 오류가 발생된 프레임(EF)의 이전 정상 프레임(PGF)의 정보에 기초하여 신호의 특성을 분석한다. 오디오 신호의 특성을 분석하기 위하여 이용할 수 있는 이전 정상 프레임(PGF)의 정보에는 어택(attack) 정보, 윈도우 정보 및 에너지 정보 등이 있다.
어택 정보란 프레임에 포함된 어택 사운드에 관한 정보이다. 어택 사운드란오디오 신호에 포함된 저대역의 세기가 강한 사운드를 말하며, 이러한 어택 사운드는 주기적이지 않다. 따라서 신호특성 분석부(560)는 어택 사운가 오디오 신호에 포함되어 있다면 현재 신호와 이전 신호간의 상관도가 높지 않은 것으로 신호특성을 분석할 수 있다.
윈도우 정보란 오디오 부호화 장치에서 오디오 신호를 샘플링하고 양자화하여 얻어진 PCM(Pulse Code Modaulation) 샘플들을 MDCT 변환할 때 사용된 윈도우의 크기나 형태에 관한 정보이다. 오디오 부호화 장치에서 오디오 신호의 주파수 스펙트럼이 크게 변하지 않는 정적인 신호는 크기가 큰 윈도우를 사용하여 시간 영역 신호를 MDCT 변환하여 스펙트럼 파라미터를 추출하지만, 주파수 스펙트럼이 많이 변화하는 역동적인 신호는 보다 작은 크기의 윈도우를 사용하여 MDCT 변환을 한다. 따라서 신호특성 분석부(572)는 오디오 부호화 장치에서 사용된 윈도우의 크기가 크다면 신호가 정적인 것으로 판단하여 현재 신호와 이전 신호의 상관도가 높고, 상관도가 높은 이전 신호의 구간이 긴 것으로 신호특성을 분석할 수 있다. 그러나 반대로 윈도우의 크기가 작다면 현재 신호와 이전 신호의 상관도가 낮거나 상관도가 높은 이전 신호의 구간이 짧은 것으로 신호특성을 분석할 수 있다.
에너지 정보란 프레임 또는 서브 프레임의 에너지 정보를 말한다. 신호특성 분석부(572)는 이전 정상 프레임(PGF)의 에너지 정보로부터 이전 신호의 에너지 변화 추이를 파악하고, 에너지 변화 추이에 따라 신호가 정적인지 아니면 동적인지 여부를 분석한다. 이전 신호의 에너지가 거의 변화가 없거나 안정적으로 변화하는 정도라면 현재 신호가 이전 신호의 상관도가 높은 정적인 신호인 것으로 분석하고, 에너지가 급격하게 변하거나 변호를 예측하기 어려운 경우는 현재 신호가 이전 신호와 상관도가 낮은 동적인 신호인 것으로 분석할 수 있다. 상기 언급한 실시예들 외에도 기타 다양한 관점에서의 신호특성 분석이 가능할 것이다.
본 발명의 다른 실시예에 따르면 신호특성 분석부(572)가 돌발 정보, 윈도우 정보 및 에너지 정보 중 적어도 어느 하나의 정보를 종합적으로 고려하여 신호의 특성이 정적인지 아니면 동적인지 여부를 분석하고, 분석된 신호특성을 설정부(574)에 제공한다.
설정부(574)는 신호특성 분석부(572)에서 제공된 신호특성을 고려하여 프레임 오류를 은닉하기 위한 회귀분석방식을 설정한다. 설정부(574)에서 설정할 수 있는 사항들은 도 3에 도시된 설정부(284)에서와 마찬가지로 선형회귀분석을 사용할 것인지 비선형회귀분석을 사용할 것인지 여부, 회귀분석을 참조할 이전 정상 프레임(PGF)의 개수 등이 있다. 또한, 회귀분석을 이용하여 오류 발생된 프레임(EF)의 스펙트럼 파라미터를 예측한 경우, 예측된 파라미터 값을 조절하기 위한 조절함수 를 설정할 수도 있을 것이다.
본 발명의 일 실시예에 따른 은닉방식 설정부(570)의 설정과정을 도 12에 도시된 분석 및 설정 단계에 관한 플로우차트를 참조하여 설명하기로 한다.
제 1200단계에서 신호특성 분석부(560)는 이전 정상 프레임(PGF)의 윈도우 정보 및 에너지 정보에 기초하여 신호의 특성을 분석한다.
제 1210단계에서 설정부(570)는 분석 결과 현재 신호가 정적인지 여부를 판단한다. 제 1210단계에서 현재 신호가 정적인 것으로 판단되는 경우, 제 1220단계에서 선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정하고. 제 1230단계에서 이전 K개의 정상 프레임들을 참조하여 회귀분석을 하는 것으로 설정한다. 제 1210단계에서 현재 신호가 정적이 아닌 것으로 판단되는 경우는 제 1240단계에서 비선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정하고, 제 1250단계에서 이전 L개의 정상 프레임들을 참조하여 회귀분석 하도록 설정한다. 여기서 K는 L보다 큰 정수인 것이 바람직하다. 정적인 오디오 신호는 이전 신호와 상관도가 높기 때문에 보다 정확하고 자연스러운 신호를 복원하기 위하여 보다 긴 구간의 이전 신호를 참조하는 것이 바람직하지만, 동적인 오디오 신호는 이전 신호와의 상관도가 낮기 때문에 보다 짧은 구간의 이전 신호를 참조하는 것이 바람직하기 때문이다. 이는 실시예에 불과하므로 신호특성을 분석하는 방식이나 분석된 신호특성에 따라 프레임 오류 은닉 방식을 설정하는 다양한 방법들이 있을 수 있으며, 당업자에가 용이하게 변형하여 사용할 수 있는 방법들은 모두 본 발명의 보호범위에 속할 것이다.
오류 은닉부(580)는 설정부(574)에서 설정된 회귀분석방식에 따라 프레임 오류를 은닉한다. 도 2의 오류 은닉부(290)에서와 마찬가지로 이전 정상 프레임(PGF)의 스펙트럼 파라미터들로부터 회귀분석을 통해 오류가 발생된 프레임(EF)의 스펙트럼 파라미터를 복원함으로써, 프레임 오류를 은닉한다. 복원된 스펙트럼 파라미터는 복호화부(520)의 필터뱅크(560)로 제공되며, 필터뱅크(560)는 정상 프레임의 스펙트럼 파라미터를 사용하여 해당 프레임의 오디오 신호를 복원하는 것과 마찬가지로, 오류가 발생된 프레임의 복원된 스펙트럼 파라미터를 사용하여 오류가 발생된 프레임의 오디오 신호를 복원한다. 다만, 이전 정상 프레임(PGF)의 MDCT 파라미터들이 주파수 대역의 서브 밴드별로 복호화된다면 오류 은닉부(580)에서도 각 서브 밴드마다 구별하여 이전 정상 프레임(PGF)의 파라미터들로부터 오류가 발생된 프레임(EF)의 파라미터를 복원해야 할 것이다.
이하, 도 5b를 참조하여 본 발명의 다른 실시예에 따른 오류 은닉부(580)의 동작을 살펴보겠다. 도 5b는 도 5a에 도시된 오류 은닉부(580)의 구성을 도시한 블록도로서, 제 3함수 도출부(582), 제3 예측부(584) 및 제3 후처리부(586)를 포함한다. 제3 함수 도출부(582)는 이전 정상 프레임(PGF)의 스펙트럼 파라미터로부터 회귀분석을 통해 함수를 도출한다. 도출되는 함수는 선형함수 또는 비선형함수이다. 제3 예측부(584)는 도출된 함수에 의해 오류가 발생된 프레임의 스펙트럼 파라미터를 예측한다. 제3 후처리부(586)는 예측된 이득 파라미터를 최적화한다. 오류 은닉부(580)에서 이전 정상 프레임(PGF)이 스펙트럼 파라미터들로부터 회귀분석을 통해 오류가 발생된 프레임(EF)의 스펙트럼 파라미터를 예측하는 과정은 도 3에 도시된 여기신호 복원부(340) 및 LSP 복원부(350)에서 이전 정상 프레임 파라미터들로부터 회귀분서을 통해 오류가 발생된 프레임의 파라미터를 예측하는 과정과 유사하므로 자세한 설명은 생략하기로 한다.
다음으로, 도 6a 및 도 6b를 참조하여 본 발명의 또 다른 실시예에 따른 프레임 오류 은닉부(630)를 포함한 오디오 복호화 장치(600)의 동작을 살펴보자. 본 발명의 다른 실시예에 따르면 오디오 복호화 장치(600)는 복수의 계층으로 구성된 비티스트림을 복호화한다. BSAC(Bit Sliced Arithmetic Coding)과 같이 복수의 계층으로 비트스트림이 구성되고, 각 계층 별로 주파수 대역이 할당된 경우, 비트스트림의 중간에 오류가 발생하여도 오류가 발생한 위치의 이전 계층까지는 그대로 복원이 가능하다. 이에 의하여 본 발명의 다른 실시예에서는 오류가 발생한 프레임이더라도 오류가 발생하기 이전까지 복호화된 정보를 최대한 반영함으로써 오디오의 음질을 개선할 수 있다.
도 6a는 본 발명의 또 다른 실시예에 따른 프레임 오류 은닉부(630)를 포함한 오디오 복호화 장치(600)의 블록도로서, 오디오 복호화 장치(600)는 오류 검출부(610), 복호화부(620) 및 프레임 오류 은닉부(630)를 포함한다. 또한, 복호화부(620)는 무손실(Lossless) 복호화부(640), 역양자화(Dequantization)부(650) 및 필터뱅크(filter bank)(660)를 포함하고, 프레임 오류 은닉부(630)는 신호특성 분석부(672), 설정부(674)를 포함하는 은닉방식 설정부(670) 및 오류 은닉부(680)를 포함한다.
도 6a 및 도 6b에 도시된 오디오 복호화 장치(600)의 도 5a 및 도 5b에 도 시된 오디오 복호화 장치(500)의 구성과 유사한 부분이 있으므로 유사한 부분에 대해서는 간략하게 설명하고 구별되는 차이점을 중심으로 기술하기로 한다.
오류 검출부(610)는 전송된 비트스트림에서 오류가 발생된 프레임(EF)을 검출하고, 그에 더하여 상기 프레임에서 오류가 발생된 위치를 검출한다. 오류가 발생된 프레임이라 하더라도 비트스트림이 계층 구조를 갖는 경우, 오류가 발생된 위치의 이전 정상 계층(Previous Good Layer, PGL)은 복호화부(620)에서 정상적으로 복호화가 가능하기 때문이다.
복호화부(620)는 제공된 정상 프레임 또는 정상 계층의 스펙트럼 파라미터를 복원하고, 복원된 스펙트럼 파라미터들로부터 해당 프레임의 오디오 신호를 복원하여 출력한다. 무손실 복호화부(640)는 정상 프레임 또는 오류 프레임의 정상 계층에 해당하는 비트스트림을 산술 복호화(arithmetic decoding) 방식에 따라 무손실 복호화하고, 역양자화부(650)에서 역양자화함으로써 스펙트럼 파라미터를 복원한다. 필터뱅크(660)는 복원된 스펙트럼 파라미터를 역 MDCT 변환하여 시간 영역의 오디오 신호를 복원하여 출력한다.
프레임 오류 은닉부(630)는 오류 검출부(610)로부터 오류가 발생된 프레임에서 오류가 발생된 위치를 포함하는 계층 및 그 이후 계층을 전송받고, 오류를 은닉한다.
본 발명의 다른 실시예에 따르면 신호특성 분석부(660)는 이전 정상 계층(PGF)의 정보에 기초하여 신호특성을 분석할 뿐만 아니라 오류가 발생된 위치의 이전 정상 계층(PGL)의 정보에 기초하여서도 신호특성을 분석한다(S1330 단계). 이전 정상 프레임(PGF) 또는 이전 정상 계층(PGL)의 정보에는 도 5a에서 설명한 어택 정보, 윈도우 정보 및 에너지 정보 등이 포함될 수 있다. 이들 정보들에 대해서는 앞서 언급하였으므로 여기서는 생략하기로 한다.
설정부(670)는 신호특성 분석부(660)에서 분석한 신호특성을 고려하여 프레임 오류를 은닉하기 위한 회귀분석방식을 설정한다(S1330 단계). 설정부(670)의 보다 구체적인 동작은 도 5a에 도시된 설정부(570)의 동작과 유사하므로 설명을 생략하기로 한다.
오류 은닉부(690)는 설정부(670)에서 설정된 회귀분석방식에 프레임의 오류를 은닉한다. 오류 은닉부(690)는 이전 정상 프레임(PGF)의 스펙트럼 파라미터들에 더하여 오류가 발생된 프레임(EF)의 이전 정상 계층(PGL)의 스펙트럼 파라미터들도 이용하여 프레임에서 오류가 발생된 계층 및 그 이후 계층의 스펙트럼 파라미터들을 복원한다(S1340 단계). 이전 신호의 스펙트럼 파라미터들로부터 회귀분석을 통해 현재 신호의 스펙트럼 파라미터들을 예측하는 구체적인 방법은 도 5a에 도시된 LSP 예측부(344) 또는 여기신호 합성 파라미터 예측부(352)의 예측 방법과 유사하므로 설명을 생략하기로 한다.
오류 은닉부(690)에서 복원된 오류가 발생된 계층 및 그 이후 계층의 스펙트럼 파라미터는 복호화부(660)의 필터 뱅크(650)로 전송된다.
필터 뱅크(650)는 복호화부(620)에서 정상적으로 복호화된 오류가 발생된 프레임의 이전 정상 계층(PGL)의 스펙트럼 파라미터와 오류 은닉부(630)에서 복원된 오류가 발생된 계층 및 그 이후 계층의 스펙트럼 파라미터를 이용하여 오류가 발생 된 프레임의 오디오 신호를 복원하여 출력한다.
BSAC과 같이 복수의 계층을 갖는 비트스트림의 경우는 비트스트림의 중간에 오류가 발생하여도 오류가 발생한 이전 계층까지는 복호화부(620)에서 정상적으로 복호화할 수 있으므로 상기 이전 계층의 스펙트럼 파라미터는 복호화부(620)에서 복원되도록 하고, 나머지 오류가 발생된 계층 및 그 이후 계층의 스펙트럼 파라미터만 오류 은닉부(630)에서 복원되도록 함으로써 보다 정확하게 오류가 발생된 프레임의 오디오 신호를 복원할 수 있을 것이다.
이하. 도 7을 참조하여 본 발명의 일 실시예에 따른 프레임 오류 은닉을 이용한 음성 복호화 방법을 살펴보기로 하자. 도 7은 본 발명의 일 실시예에 따른 프레임 오류 은닉을 이용한 음성 복호화 방법을 나타내는 플로우차트이다.
제 700단계에서 비트스트림의 프레임에 오류가 발생되었는지 판단한다. 제 700단계에서 오류가 발생되지 않은 것으로 판단되면, 제 710단계에서 오류가 발생되지 않은 정상 프레임(Good Frame, GF)의 음성신호를 복원한다. 제 700단계에서 오류가 발생된 것으로 판단되면, 제 720단계에서 이전 정상 프레임(PGF)의 정보에 기초하여 신호의 특성을 분석한다. 제 730단계에서 분석된 신호의 특성을 고려하여 프레임에 발생된 오류를 은닉하기 위한 회귀분석방식을 설정한다. 제 740단계에서 설정된 회귀분석방식에 따라 이전 정상 프레임(PGF) 이득 파라미터(gp, gc)를 이용하여 오류가 발생된 프레임(EF)의 이득 파라미터를 복원하고, 이를 이용하여 오류가 발생된 프레임(EF)의 여기신호를 복원한다. 제 750단계에서 설정된 은닉 방식에 따라 이전 정상 프레임(PGF)의 LSP 파라미터로부터 오류가 발생된 프레 임(EF)의 LSP 파라미터를 복원한다. 제 760단계에서 복원된 여기신호 및 LSP 파라미터를 이용하여 오류가 발생된 프레임(EF의 음선 신호를 복원한다.
이하, 도 8을 참조하여 도 7에 도시된 신호특성 분석 및 은닉방식 설정단계(제 720 및 제 730단계)를 설명하겠다. 도 8은 제 720 및 제 730단계의 보다 상세한 플로우차트이다.
제 800단계에서 이전 정상 프레임(PGF)의 정보에 기초하여 신호의 특성을 분석한다. 제 810단계에서 분석된 신호특성에 기초하여 현재 신호가 묵음인지 여부를 판단한다. 제 810단계에서 묵음이라고 판단된 경우는 제 820단계에서 선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정하고, 제 830단계에서 이전 M개의 정상 프레임을 참조하여 회귀분석을 하는 것으로 설정한다. 제 810단계에서 현재 신호가 묵음이 아닌 것으로 판단된 경우는 제 840단계에서 비선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정한다. 제 850단계에서 현재 신호가 유성음인지 여부를 판단한다. 제 850단계에서 유성음으로 판단되는 경우는 제 860단계에서 M개의 이전 정상 프레임(PGF)의 파라미터들을 참조하여 회귀분석 하도록 설정한다. 제 850단계에서 유성음이 아닌 것으로 판단되는 경우는 제 870단계에서 N개의 이전 정상 프레임(PGF)의 파라미터들을 참조하여 회귀분석 하도록 설정한다. 여기서 M은 N보다 큰 정수인 것이 바람직하다. 유성음은 이전신호와의 상관도가 높기 때문에 보다 정확하고 자연스러운 신호를 복원하기 위하여 보다 긴 구간의 이전 신호를 참조하는 것이 바람직하지만, 무성음은 이전신호와의 상관도가 낮기 때문에 보다 짧은 구간의 이전 신호를 참조하는 것이 바람직하기 때문이다.
이하. 도 9를 참조하여 도 7에 도시된 여기신호 복원단계(제 740단계)를 설명하겠다. 도 9는 도 7에 도시된 제 740단계의 보다 상세한 플로우차트이다.
제 900단계에서 이전 정상 프레임(PGF)의 이득 파라미터(gp, gc)로부터 회귀분석을 통해 함수를 도출한다. 제 910단계에서 이전 정상 프레임(PGF)의 유성 정도(voiced level)에 따라 상기 도출된 함수의 계수를 조절한다. 제 920단계에서 계수가 조절된 함수에 의해 오류가 발생된 프레임(EF)의 이득 파라미터를 예측한다. 제 930단계에서 예측된 이득 파라미터 값이 소정 범위를 벗어나는지 판단한다. 제 930단계에서 상기 예측된 이득 파라미터 값이 상기 소정 범위를 벗어나는 경우 제 940단계에서 상기 예측된 이득 파라미터 값을 소정 범위내의 값으로 수정한다. 제 930단계에서 상기 예측된 이득 파라미터 값이 상기 소정 범위를 벗어나지 않는 경우 제 950단계로 진행한다. 제 950단계에서 상기 제 920단계에서 예측된 이득 파라미터 또는 제 940단계에서 값이 수정된 이득 파라미터를 이용하여 여기신호를 합성한다. 제 960단계에서 합성된 여기신호를 오류가 발생된 프레임(EF)의 복원된 여기신호로 출력한다.
이하, 도 10을 참조하여 도 7에 도시된 LSP 파라미터 복원단계(제 750단계)를 설명하겠다. 도 10은 도 7에 도시된 제 750단계의 보다 상세한 플로우차트이다.
제 1000단계에서 이전 정상 프레임(PGF)의 LSP 파라미터를 스펙트럼 영역으로 변환하여 스펙트럼 파라미터를 생성한다. 제 1010단계에서 생성된 스펙트럼 파라미터로부터 회귀분석을 통해 함수를 도출한다. 제 1020단계에서 도출된 함수에 의해 오류가 발생된 프레임(EF)의 스펙트럼 파라미터를 예측한다. 제 1030단계에서 예측된 스펙트럼 파라미터 값이 소정 범위를 벗어나는지 판단한다. 제 1030단계에서 소정 범위를 벗어나는 것으로 판단되는 경우 제 1040단계에서 상기 예측된 스펙트럼 파라미터 값을 소정 범위내의 값으로 수정한다. 제 1030단계에서 상기 소정 범위를 벗어나지 않는 것으로 판단되는 경우 제 1050단계로 진행한다. 제 1050단계에서 상기 제 1020단계에서 예측된 스펙트럼 파라미터 또는 제 1040단계에서 수정된 스펙트럼 파라미터를 LSP 파라미터로 변환한다. 재 1060단계에서 변환된 LSP 파라미터를 오류가 발생된 프레임(EF)의 복원된 LSP 파라미터로서 출력한다.
이하. 도 11을 참조하여 본 발명의 일 실시예에 따른 프레임 오류 은닉을 이용한 오디오 복호화 방법을 살펴보기로 한다.
제 1100단계에서 비트스트림의 프레임에 오류가 발생되었는지 판단한다. 제 1100단계에서 오류가 발생되지 않은 것으로 판단되면, 제 1110단계에서 오류가 발생되지 않은 정상 프레임(Good Frame, GF)의 스펙트럼 파라미터를 복호화한다. 제 1120단계에서 복호화된 스펙트럼 파라미터를 이용하여 정상 프레임의 오디오 신호를 복원한다. 제 1100단계에서 오류가 발생된 것으로 판단되면, 제 1130단계에서 이전 정상 프레임(PGF)의 정보에 기초하여 신호의 특성을 분석한다. 제 1134단계에서 분석된 신호의 특성을 고려하여 프레임에 발생된 오류를 은닉하기 위한 회귀분석방식을 설정한다. 제 1150단계에서 설정된 회귀분석방식에 따라 이전 정상 프레임(PGF) 스펙트럼 파라미터를 이용하여 오류가 발생된 프레임(EF)의 스펙트럼 파 라미터를 복원한다. 제 1160단계에서 복원된 스펙트럼 파라미터를 이용하여 오류가 발생된 프레임의 오디오 신호를 복원한다.
이하, 도 12를 참조하여 도 11에 도시된 제 1120 및 제 1130단계를 설명하겠다. 도 12는 도 11에 도시된 제 1120 및 제 1130단계의 보다 상세한 플로우차트이다.
제 1200단계에서 이전 정상 프레임(PGF)의 정보에 기초하여 신호의 특성을 분석한다. 제 1210단계에서 분석된 결과에 기초하여 현재 신호가 정적인지 여부를 판단한다. 제 1210단계에서 현재 신호가 정적인 것으로 판단되는 경우, 제 1220단계에서 선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정하고. 제 1230단계에서 이전 K개의 정상 프레임들을 참조하여 회귀분석을 하는 것으로 설정한다. 제 1210단계에서 현재 신호가 정적이 아닌 것으로 판단되는 경우는 제 1240단계에서 비선형회귀분석을 통해 오류 프레임의 파라미터를 복원하는 것으로 설정하고, 제 1250단계에서 이전 L개의 정상 프레임들을 참조하여 회귀분석 하도록 설정한다. 여기서 K는 L보다 큰 정수인 것이 바람직하다. 정적인 오디오 신호는 이전 신호와 상관도가 높기 때문에 보다 정확하고 자연스러운 신호를 복원하기 위하여 보다 긴 구간의 이전 신호를 참조하는 것이 바람직하지만, 동적인 오디오 신호는 이전 신호와의 상관도가 낮기 때문에 보다 짧은 구간의 이전 신호를 참조하는 것이 바람직하기 때문이다.
이하, 도 13을 참조하여 본 발명의 또 다른 실시예에 따른 프레임 오류 은닉을 이용한 오디오 복호화 방법을 살펴보기로 한다.
제 1300단계에서 비트스트림의 프레임에 오류가 발생되었는지 여부를 판단한다. 제 1300단계에서 오류가 발생되지 않은 것으로 판단되면, 제 1310단계에서 오류가 발생되지 않은 정상 프레임(GF)의 스펙트럼 파라미터를 복호화한다. 제 1320단계에서 복호화된 스펙트럼 파라미터를 이용하여 정상 프레임(GF)의 오디오 신호를 복원한다.
제 1300단계에서 오류가 발생된 것으로 판단되면, 제 1330단계에서 상기 프레임에서 오류가 발생된 위치를 검출한다. 오류가 발생된 프레임이라 하더라도 비트스트림이 계층 구조를 갖는 경우, 오류가 발생된 위치의 이전 정상 계층(Previous Good Layer, PGL)은 정상적으로 복호화가 가능하기 때문이다. 따라서 제 1340단계에서 프레임에서의 오류가 발생된 위치의 이전 정상 계층(PGL)의 스펙트럼 파라미터를 복호화한다. 제 1350단계에서 이전 정상 프레임(PGF)의 정보 및 이전 정상 계층(PGL)의 정보에 기초하여 신호의 특성을 분석한다. 1360단계에서 분석된 결과에 기초하여 오류가 발생된 위치를 포함하는 계층 및 그 이후 계층의 스펙트럼 파라미터를 복원하기 위한 회귀분석방식을 설정한다. 제 1370단계에서 상기 설정된 회귀분석방식에 따라 이전 정상 프레임(PGF)의 스펙트럼 파라미터 및 이전 정상 계층(PGL)의 스펙트럼 파라미터를 이용하여 오류가 발생된 위치를 포함하는 계층 및 그 이후 계층의 스펙트럼 파라미터를 복원한다. 제 1380단계에서 제 1340단계에서 복호화된 이저 정상 계층(PGL)의 스펙트럼 파라미터 및 제 1370단계에서 복원된 오퓨가 발생된 계층 및 그 이후 계층의 스펙트럼 파라미터를 이용하여 오류가 발생된 프레임의 오디오 신호를 복원한다.
살펴본 바와 같이, 본 발명의 실시예들에 따른 프레임 오류 은닉을 이용한 복호화 방법 및 장치는 오류가 발생된 프레임의 신호특성을 분석하고, 분석된 신호특성을 고려하여 오류가 발생된 프레임을 복원하기 위한 최적화된 회귀분석방식을 설정하고, 설정된 방식에 따라 오류가 발생된 프레임의 파라미터들을 복원함으로써 보다 정확하게 오류가 발생됨 프레임을 복원함으로써 프레임 오류로 인한 음질 저하를 최소화할 수 있다.
그에 더하여 본 발명의 또 다른 실시예에 따른 프레임 오류 은닉을 이용한 복호화 방법 및 장치는 비트스트림이 계층 구조를 갖는 경우, 오류가 발생된 프레임 전체를 프레임 오류 은닉 방식에 따라 복원하는 것이 아니라 오류가 발생된 위치의 이전 계층은 정상적으로 복원하고, 복원된 이전 정상 계층의 파라미터들을 참조하여 나머지 오류가 발생된 위치를 포함한 계층 및 그 이후 계층만을 프레임 오류 은닉방식에 따라 복원함으로써 보다 정화하게 오류가 발생된 프레임을 복원할 수 있고, 그로 인해 음질 저하를 최소화할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터 가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
살펴본 바와 같이, 본 발명에 따른 프레임 오류 은닉 방법 및 장치는 신호의 특성을 고려하여 설정된 방식에 따라 프레임 오류를 은닉함으로써 오류가 발생된 프레임을 보다 정확하게 복원할 수 있다.
또한, 계층 구조를 갖는 비트스트림의 경우는 프레임에서 오류가 발생된 계층의 이전 계층은 정상적으로 복호화하고, 나머지 계층을 이전 정상 프레임과 이정 계층의 복호화된 결과를 참조하여 복원하므로서 오류가 발생된 계층을 더욱 정확하게 복원할 수 있다.
또한, 본 발명에 따른 프레임 오류 은닉 방법 및 장치는 회귀분석을 이용하여 프레임 오류를 은닉함으로써 이전 정상 프레임 및 이전 계층의 추이를 보다 세 밀하게 고려하여 오류가 발생된 프레임 또는 계층을 보다 정확하게 예측할 수 있다.
본 발명에 따른 복호화 방법 및 장치는 본 발명에 따른 프레임 오류 은닉 방법 및 장치를 이용하여 오류가 발생된 프레임을 은닉하므로 프레임 오류고 인한 음질 저하를 최소화할 수 있다.

Claims (41)

  1. (a) 오류(error)가 발생된 프레임의 신호특성에 기초하여 상기 오류를 은닉(concealment)하기 위한 회귀분석(regression analysis)방식을 설정하는 단계; 및
    (b) 상기 설정된 회귀분석 방식에 따라 상기 오류를 은닉하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  2. 삭제
  3. 제1항에 있어서, 상기 (a)단계는
    (a1) 상기 신호특성을 분석하는 단계; 및
    (a2) 상기 분석된 신호특성에 기초하여 상기 회귀분석방식을 설정하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  4. 제3항에 있어서, 상기 (a1)단계는
    이전 정상 프레임(previous good frame)에 관한 정보에 기초하여 상기 신호특성을 분석하는 단계인 것을 특징으로 하는 프레임 오류 은닉방법.
  5. 제4항에 있어서, 상기 (a1)단계는
    상기 이전 정상 프레임의 음성 성분에 관한 분류(class) 정보 및 에너지 정보 중 적어도 어느 하나의 정보에 기초하여 상기 신호특성을 분석하는 단계인 것을 특징으로 하는 프레임 오류 은닉방법.
  6. 제4항에 있어서, 상기 (a1)단계는
    상기 이전 정상 프레임의 어택(attack)신호 정보, 윈도우 정보 및 에너지 정보 중 적어도 어느 하나의 정보에 기초하여 상기 신호특성을 분석하는 단계인 것을 특징으로 하는 프레임 오류 은닉방법.
  7. 제3항에 있어서, 상기 (a2)단계는
    상기 신호특성에 기초하여 선형회귀분석방식 또는 비선형회귀분석방식 중에서 상기 오류를 은닉하기 위한 어느 하나의 방식을 선택하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉 방법.
  8. 제3항에 있어서, 상기 (a2)단계는
    상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 개수를 설정하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  9. 제3항에 있어서, 상기 (a2)단계는
    상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 파라미터를 추출하는 주기를 설정하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  10. 제1항에 있어서, 상기 (b)단계는
    상기 설정된 회귀분석방식에 따라 이전 정상 프레임의 파라미터로부터 상기 오류가 발생된 프레임의 파라미터를 예측하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  11. 제10항에 있어서, 상기 예측하는 단계는
    (b1) 상기 설정된 회귀분석방식에 따라 상기 이전 정상 프레임의 파라미터로부터 예측을 위한 회귀분석함수를 도출하는 단계; 및
    (b2) 상기 도출된 회귀분석함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  12. 제11항에 있어서, 상기 (b)단계는
    (b3) 상기 예측된 파라미터의 값이 소정 범위를 벗어나는 경우에 상기 예측된 파라미터의 값을 상기 소정 범위 이내의 값으로 조절하는 단계를 더 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  13. 제11항에 있어서, 상기 (a)단계는 상기 신호특성에 따라 상기 예측된 파라미터 값을 조절하기 위한 조절함수를 설정하는 단계를 더 포함하고,
    상기 (b2)단계는 상기 설정된 조절함수를 이용하여 상기 도출된 함수의 계수를 조절하고, 상기 계수가 조절된 함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 단계인 것을 특징으로 하는 프레임 오류 은닉방법.
  14. 제13항에 있어서, 상기 설정된 조절함수에 의해 계수가 조절되는 함수는 상기 오류 프레임의 에너지 정보와 관련된 파라미터를 예측하기 위한 함수인 것을 특징으로 하는 프레임 오류 은닉방법.
  15. 제1항에 있어서, 상기 프레임 오류 은닉방법은
    비트스트림에서 오류가 발생된 프레임을 검출하는 단계를 더 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  16. (a) 오류가 발생된 프레임의 신호특성을 고려하여 상기 프레임에서 상기 오류가 발생된 위치를 포함하는 계층 및 그 이후 계층의 오류를 은닉하기위한 방식을 설정하는 단계; 및
    (b) 상기 설정된 방식에 따라 상기 오류를 은닉하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  17. 제16항에 있어서, 상기 (a)단계는
    (a1) 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층에 관한 정보에 기초하여 상기 신호특성을 분석하는 단계; 및
    (a2) 상기 분석된 신호특성을 고려하여 상기 오류를 은닉하기위한 방식을 설정하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  18. 제16항에 있어서, 상기 (b)단계는
    상기 설정된 방식에 따라 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층의 파라미터로부터 상기 검출된 위치를 포함하는 계층 및 그 이후 계층의 파라미터를 예측하는 단계를 포함하는 것을 특징으로 하는 프레임 오류 은닉방법.
  19. 비트스트림에서 오류가 발생된 프레임을 검출하는 단계;
    상기 비트스트림에서 오류가 발생되지 않은 프레임을 복호화하는 단계;
    상기 검출된 오류가 발생된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 회귀분석 방식을 설정하는 단계; 및
    상기 설정된 회귀분석 방식에 따라 상기 오류를 은닉하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  20. 비트스트림에서 오류가 발생된 프레임 및 상기 프레임에서 오류가 발생된 위치를 검출하는 단계;
    상기 비트스트림에서 오류가 발생되지 않은 프레임 및 상기 검출된 오류가 발생된 프레임에서 상기 검출된 오류가 발생된 위치를 포함하는 계층의 이전 계층을 복호화하는 단계;
    상기 검출된 오류가 발생된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하는 단계; 및
    상기 설정된 방식에 따라 상기 오류를 은닉하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  21. 오류가 발생된 프레임의 신호특성에 기초하여 상기 오류를 은닉하기 위한 회귀분석 방식을 설정하는 은닉방식 설정부; 및
    상기 설정된 회귀분석 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  22. 제21항에 있어서,
    상기 은닉방식 설정부는 상기 오류가 발생된 프레임의 신호특성에 기초하여 회귀분석방식을 설정하고,
    상기 오류 은닉부는 상기 설정된 회귀분석방식에 따라 상기 오류를 은닉하는 것을 특징으로 하는 프레임 오류 은닉장치.
  23. 제22항에 있어서, 상기 은닉방식 설정부는
    상기 신호특성을 분석하는 신호특성 분석부; 및
    상기 분석된 신호특성에 기초하여 상기 회귀분석방식을 설정하는 설정부를 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  24. 제23항에 있어서, 상기 신호특성 분석부는
    이전 정상 프레임에 관한 정보에 기초하여 상기 신호특성을 분석하는 것을 특징으로 하는 프레임 오류 은닉장치.
  25. 제24항에 있어서, 상기 신호특성 분석부는
    상기 이전 정상 프레임의 음성 성분에 관한 분류(class) 정보 및 에너지 정보 중 적어도 어느 하나의 정보에 기초하여 상기 신호특성을 분석하는 것을 특징으로 하는 프레임 오류 은닉장치.
  26. 제24항에 있어서, 상기 신호특성 분석부는
    상기 이전 정상 프레임의 어택(attack)신호 정보, 윈도우 정보 및 에너지 정보 중 적어도 어느 하나의 정보에 기초하여 상기 신호특성을 분석하는 것을 특징으로 하는 프레임 오류 은닉장치.
  27. 제22항에 있어서, 상기 은닉방식 설정부는
    상기 신호특성에 기초하여 선형회귀분석방식 또는 비선형회귀분석방식 중에서 상기 오류를 은닉하기 위한 어느 하나의 방식을 선택하는 것을 특징으로 하는 프레임 오류 은닉장치.
  28. 제22항에 있어서, 상기 은닉방식 설정부는
    상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 개수를 설정하는 것을 특징으로 하는 프레임 오류 은닉장치.
  29. 제22항에 있어서, 상기 은닉방식 설정부는
    상기 신호특성에 기초하여 상기 회귀분석방식에 따라 상기 오류를 은닉하기 위해 참조할 이전 정상 프레임의 파라미터를 추출하는 주기를 설정하는 것을 특징으로 하는 프레임 오류 은닉장치.
  30. 제22항에 있어서, 상기 오류 은닉부는
    상기 설정된 회귀분석방식에 따라 이전 정상 프레임의 파라미터로부터 상기 오류가 발생된 프레임의 파라미터를 예측하는 것을 특징으로 하는 프레임 오류 은닉장치.
  31. 제21항에 있어서, 상기 오류 은닉부는
    상기 설정된 회귀분석방식에 따라 상기 이전 정상 프레임의 파라미터로부터 예측을 위한 회귀분석함수를 도출하는 함수 도출부; 및
    상기 도출된 회귀분석함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 예측부를 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  32. 제31항에 있어서, 상기 오류 은닉부는
    상기 예측된 파라미터의 값이 소정 범위를 벗어나는 경우에 상기 예측된 파라미터의 값을 상기 소정 범위 이내로 조절하는 후처리부를 더 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  33. 제31항에 있어서, 상기 은닉방식 설정부는
    상기 신호특성에 따라 상기 예측된 파라미터 값을 조절하기 위한 조절함수를 설정하고,
    상기 오류 은닉부는 상기 설정된 조절함수를 이용하여 상기 도출된 함수의 계수를 조절하는 조절부를 더 포함하고,
    상기 예측부는 상기 조절부에서 상기 계수가 조절된 함수에 의해 상기 오류가 발생된 프레임의 파라미터를 예측하는 것을 특징으로 하는 프레임 오류 은닉장치.
  34. 제33항에 있어서, 상기 설정된 조절함수에 의해 계수가 조절되는 함수는 상기 오류 프레임의 에너지 정보와 관련된 파라미터를 예측하기 위한 함수인 것을 특징으로 하는 프레임 오류 은닉장치.
  35. 제21항에 있어서, 상기 프레임 오류 은닉장치는
    비트스트림에서 오류가 발생된 프레임을 검출하는 오류 검출부를 더 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  36. 오류가 발생된 프레임의 신호특성을 고려하여 상기 프레임에서 상기 오류가 발생된 위치를 포함하는 계층 및 이후 계층의 오류를 은닉하기위한 방식을 설정하는 은닉방식 설정부; 및
    상기 설정된 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  37. 제36항에 있어서, 상기 은닉방식 설정부는
    이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층의 정보에 기초하여 상기 신호 특성을 분석하는 신호특성 분석부; 및
    상기 분석된 신호의 특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하는 설정부를 포함하는 것을 특징으로 하는 프레임 오류 은닉장치.
  38. 제36항에 있어서, 상기 오류 은닉부는
    상기 설정된 방식에 따라 이전 정상 프레임 및 상기 검출된 위치를 포함하는 계층의 이전 계층의 파라미터로부터 상기 검출된 위치를 포함하는 계층 및 그 이후 계층의 파라미터를 예측하는 것을 특징으로 하는 프레임 오류 은닉장치.
  39. 비트스트림에서 오류가 발생된 프레임을 검출하는 오류 검출부;
    상기 비트스트림에서 오류가 발생되지 않은 프레임을 복호화하는 복호화부;
    상기 검출된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 회귀분석 방식을 설정하고, 상기 설정된 회귀분석 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함하는 것을 특징으로 하는 복호화 장치.
  40. 비트스트림에서 오류가 발생된 프레임 및 상기 프레임에서 오류가 발생된 위치를 검출하는 오류 검출부;
    상기 비트스트림에서 오류가 발생되지 않은 프레임 및 상기 오류가 발생된 프레임의 검출된 위치를 포함하는 계층의 이전 계층을 복호화하는 복호화부;
    상기 검출된 프레임의 신호특성을 고려하여 상기 오류를 은닉하기 위한 방식을 설정하고, 상기 설정된 방식에 따라 상기 오류를 은닉하는 오류 은닉부를 포함하는 것을 특징으로 하는 복호화 장치.
  41. 제1항, 제3항 내지 제20항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060118563A 2006-11-28 2006-11-28 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치 KR100862662B1 (ko)

Priority Applications (17)

Application Number Priority Date Filing Date Title
KR1020060118563A KR100862662B1 (ko) 2006-11-28 2006-11-28 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
US11/935,600 US8843798B2 (en) 2006-11-28 2007-11-06 Frame error concealment method and apparatus and decoding method and apparatus using the same
EP12153265.9A EP2450884B1 (en) 2006-11-28 2007-11-13 Frame error concealment method and apparatus and decoding method and apparatus using the same
JP2009539176A JP5607365B2 (ja) 2006-11-28 2007-11-13 フレームエラー隠匿方法
AT07833999T ATE544149T1 (de) 2006-11-28 2007-11-13 Rahmenfehler-verbergungsverfahren und vorrichtung und decodierverfahren und vorrichtung damit
ES12153265T ES2865099T3 (es) 2006-11-28 2007-11-13 Procedimiento y aparato de ocultación de errores de trama y procedimiento y aparato de decodificación que usa los mismos
EP12153234.5A EP2450883B1 (en) 2006-11-28 2007-11-13 Frame error concealment method and apparatus using regression analysis
EP12153285.7A EP2450885B1 (en) 2006-11-28 2007-11-13 Decoding method and apparatus using a regression analysis method for frame error concealment
PL12153304T PL2482278T3 (pl) 2006-11-28 2007-11-13 Sposób i urządzenie do ukrywania błędu ramki
EP12153291A EP2450886A1 (en) 2006-11-28 2007-11-13 Frame error concealment method and apparatus and decoding method and apparatus using the same
EP07833999A EP2102862B1 (en) 2006-11-28 2007-11-13 Frame error concealment method and apparatus and decoding method and apparatus using the same
PCT/KR2007/005692 WO2008066264A1 (en) 2006-11-28 2007-11-13 Frame error concealment method and apparatus and decoding method and apparatus using the same
EP12153304.6A EP2482278B1 (en) 2006-11-28 2007-11-13 Frame error concealment method and apparatus
US14/272,643 US9424851B2 (en) 2006-11-28 2014-05-08 Frame error concealment method and apparatus and decoding method and apparatus using the same
JP2014100896A JP6073830B2 (ja) 2006-11-28 2014-05-14 フレームエラー隠匿装置
US15/240,342 US10096323B2 (en) 2006-11-28 2016-08-18 Frame error concealment method and apparatus and decoding method and apparatus using the same
JP2017000620A JP6423460B2 (ja) 2006-11-28 2017-01-05 フレームエラー隠匿装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060118563A KR100862662B1 (ko) 2006-11-28 2006-11-28 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080048317A KR20080048317A (ko) 2008-06-02
KR100862662B1 true KR100862662B1 (ko) 2008-10-10

Family

ID=39465262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060118563A KR100862662B1 (ko) 2006-11-28 2006-11-28 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치

Country Status (8)

Country Link
US (3) US8843798B2 (ko)
EP (6) EP2450884B1 (ko)
JP (3) JP5607365B2 (ko)
KR (1) KR100862662B1 (ko)
AT (1) ATE544149T1 (ko)
ES (1) ES2865099T3 (ko)
PL (1) PL2482278T3 (ko)
WO (1) WO2008066264A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280975B2 (en) 2012-09-24 2016-03-08 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US9558750B2 (en) 2012-06-08 2017-01-31 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
US10468034B2 (en) 2011-10-21 2019-11-05 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
US9236063B2 (en) 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
FI3518234T3 (fi) 2010-11-22 2023-12-14 Ntt Docomo Inc Audiokoodauslaite ja -menetelmä
CN103714821A (zh) 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
PL2922053T3 (pl) 2012-11-15 2019-11-29 Ntt Docomo Inc Urządzenie do kodowania audio, sposób kodowania audio, program do kodowania audio, urządzenie do dekodowania audio, sposób dekodowania audio, i program do dekodowania audio
RU2705458C2 (ru) 2013-02-13 2019-11-07 Телефонактиеболагет Л М Эрикссон (Пабл) Маскирование ошибок в кадрах
KR102132326B1 (ko) * 2013-07-30 2020-07-09 삼성전자 주식회사 통신 시스템에서 오류 은닉 방법 및 장치
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
KR101941978B1 (ko) 2013-10-31 2019-01-24 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
KR101957906B1 (ko) 2013-10-31 2019-03-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 시간 도메인 여기 신호를 기초로 하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
CN105225670B (zh) 2014-06-27 2016-12-28 华为技术有限公司 一种音频编码方法和装置
KR102547480B1 (ko) 2014-12-09 2023-06-26 돌비 인터네셔널 에이비 Ｍｄｃｔ-도메인 에러 은닉
JP6133454B2 (ja) * 2016-02-01 2017-05-24 株式会社Ｎｔｔドコモ 音声信号処理方法及び音声信号処理装置
JP6352487B2 (ja) * 2017-04-19 2018-07-04 株式会社Ｎｔｔドコモ 音声信号処理方法及び音声信号処理装置
CN108510993A (zh) * 2017-05-18 2018-09-07 苏州纯青智能科技有限公司 一种网络传输中实时音频数据丢包恢复的方法
US10681486B2 (en) * 2017-10-18 2020-06-09 Htc Corporation Method, electronic device and recording medium for obtaining Hi-Res audio transfer information
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device
CN111383643B (zh) * 2018-12-28 2023-07-04 南京中感微电子有限公司 一种音频丢包隐藏方法、装置及蓝牙接收机
WO2020164751A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment
EP3966818A4 (en) * 2019-05-07 2023-01-04 VoiceAge Corporation METHODS AND DEVICES FOR DETECTING AN ATTACK IN A SOUND SIGNAL TO BE CODED AND FOR CODING THE DETECTED ATTACK
CN110278436B (zh) * 2019-06-28 2021-04-27 瓴盛科技有限公司 图像帧差错隐藏方法及装置
CN111554309A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种语音处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002035520A2 (en) * 2000-10-23 2002-05-02 Nokia Corporation Improved spectral parameter substitution for the frame error concealment in a speech decoder
US20050154584A1 (en) 2002-05-31 2005-07-14 Milan Jelinek Method and device for efficient frame erasure concealment in linear predictive based speech codecs
KR20050089457A (ko) * 2004-03-05 2005-09-08 엘지전자 주식회사 동영상 복호화 시 에러 은닉 방법

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3018366B2 (ja) * 1989-02-08 2000-03-13 ソニー株式会社 ビデオ信号処理回路
SE501340C2 (sv) * 1993-06-11 1995-01-23 Ericsson Telefon Ab L M Döljande av transmissionsfel i en talavkodare
US5502713A (en) * 1993-12-07 1996-03-26 Telefonaktiebolaget Lm Ericsson Soft error concealment in a TDMA radio system
US5673210A (en) * 1995-09-29 1997-09-30 Lucent Technologies Inc. Signal restoration using left-sided and right-sided autoregressive parameters
US6157830A (en) * 1997-05-22 2000-12-05 Telefonaktiebolaget Lm Ericsson Speech quality measurement in mobile telecommunication networks based on radio link parameters
US6584104B1 (en) * 1999-07-06 2003-06-24 Lucent Technologies, Inc. Lost-packet replacement for a digital voice signal
US6493667B1 (en) * 1999-08-05 2002-12-10 International Business Machines Corporation Enhanced likelihood computation using regression in a speech recognition system
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
US6636829B1 (en) 1999-09-22 2003-10-21 Mindspeed Technologies, Inc. Speech communication system and method for handling lost frames
US6782360B1 (en) * 1999-09-22 2004-08-24 Mindspeed Technologies, Inc. Gain quantization for a CELP speech coder
US6445696B1 (en) * 2000-02-25 2002-09-03 Network Equipment Technologies, Inc. Efficient variable rate coding of voice over asynchronous transfer mode
US6993488B2 (en) * 2000-06-07 2006-01-31 Nokia Corporation Audible error detector and controller utilizing channel quality data and iterative synthesis
FR2813722B1 (fr) 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
US6968309B1 (en) * 2000-10-31 2005-11-22 Nokia Mobile Phones Ltd. Method and system for speech frame error concealment in speech decoding
US6697126B2 (en) * 2001-02-09 2004-02-24 Webtv Networks, Inc. Intra-frame video error concealment
US7610198B2 (en) * 2001-08-16 2009-10-27 Broadcom Corporation Robust quantization with efficient WMSE search of a sign-shape codebook using illegal space
US7617096B2 (en) * 2001-08-16 2009-11-10 Broadcom Corporation Robust quantization and inverse quantization using illegal space
US7647223B2 (en) * 2001-08-16 2010-01-12 Broadcom Corporation Robust composite quantization with sub-quantizers and inverse sub-quantizers using illegal space
DE60222445T2 (de) * 2001-08-17 2008-06-12 Broadcom Corp., Irvine Verfahren zum verbergen von bitfehlern für die sprachcodierung
JP2004361731A (ja) 2003-06-05 2004-12-24 Nec Corp オーディオ復号装置及びオーディオ復号方法
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems
KR100682888B1 (ko) * 2004-02-11 2007-02-15 삼성전자주식회사 가중된 회귀모델 결정 방법 및 이를 이용한 혼합물의 성분농도 예측 방법
JP4744438B2 (ja) * 2004-03-05 2011-08-10 パナソニック株式会社 エラー隠蔽装置およびエラー隠蔽方法
US20060013320A1 (en) * 2004-07-15 2006-01-19 Oguz Seyfullah H Methods and apparatus for spatial error concealment
WO2006028009A1 (ja) 2004-09-06 2006-03-16 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および信号消失補償方法
US7813499B2 (en) * 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression
KR100723409B1 (ko) 2005-07-27 2007-05-30 삼성전자주식회사 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US7349823B2 (en) * 2006-02-22 2008-03-25 Sun Microsystems, Inc. Using a genetic technique to optimize a regression model used for proactive fault monitoring
US8358704B2 (en) * 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table
KR100862662B1 (ko) 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002035520A2 (en) * 2000-10-23 2002-05-02 Nokia Corporation Improved spectral parameter substitution for the frame error concealment in a speech decoder
US20050154584A1 (en) 2002-05-31 2005-07-14 Milan Jelinek Method and device for efficient frame erasure concealment in linear predictive based speech codecs
KR20050089457A (ko) * 2004-03-05 2005-09-08 엘지전자 주식회사 동영상 복호화 시 에러 은닉 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10468034B2 (en) 2011-10-21 2019-11-05 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US10984803B2 (en) 2011-10-21 2021-04-20 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US11657825B2 (en) 2011-10-21 2023-05-23 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US9558750B2 (en) 2012-06-08 2017-01-31 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
US10096324B2 (en) 2012-06-08 2018-10-09 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
US10714097B2 (en) 2012-06-08 2020-07-14 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
US9280975B2 (en) 2012-09-24 2016-03-08 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US9520136B2 (en) 2012-09-24 2016-12-13 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US9842595B2 (en) 2012-09-24 2017-12-12 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus
US10140994B2 (en) 2012-09-24 2018-11-27 Samsung Electronics Co., Ltd. Frame error concealment method and apparatus, and audio decoding method and apparatus

Also Published As

Publication number Publication date
PL2482278T3 (pl) 2020-06-29
EP2450886A1 (en) 2012-05-09
EP2102862B1 (en) 2012-02-01
WO2008066264A1 (en) 2008-06-05
EP2450883B1 (en) 2021-07-21
EP2450883A1 (en) 2012-05-09
EP2450884B1 (en) 2021-03-31
US8843798B2 (en) 2014-09-23
US20140245091A1 (en) 2014-08-28
EP2450884A1 (en) 2012-05-09
US9424851B2 (en) 2016-08-23
EP2482278A1 (en) 2012-08-01
US20160358612A1 (en) 2016-12-08
JP2017078870A (ja) 2017-04-27
JP2010511201A (ja) 2010-04-08
EP2102862A4 (en) 2011-01-26
US20080126904A1 (en) 2008-05-29
EP2450885A1 (en) 2012-05-09
JP6423460B2 (ja) 2018-11-14
JP5607365B2 (ja) 2014-10-15
JP6073830B2 (ja) 2017-02-01
KR20080048317A (ko) 2008-06-02
EP2450885B1 (en) 2021-07-07
EP2482278B1 (en) 2020-03-04
ATE544149T1 (de) 2012-02-15
US10096323B2 (en) 2018-10-09
EP2102862A1 (en) 2009-09-23
JP2014160280A (ja) 2014-09-04
ES2865099T3 (es) 2021-10-15

Similar Documents

Publication Publication Date Title
KR100862662B1 (ko) 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
KR100723409B1 (ko) 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치
KR101413968B1 (ko) 오디오 신호의 부호화, 복호화 방법 및 장치
KR101513184B1 (ko) 계층적 디코딩 구조에서의 디지털 오디오 신호의 송신 에러에 대한 은닉
DK1509903T3 (en) METHOD AND APPARATUS FOR EFFECTIVELY HIDDEN FRAMEWORK IN LINEAR PREDICTIVE-BASED SPEECH CODECS
KR101344174B1 (ko) 오디오 신호 처리 방법 및 오디오 디코더 장치
KR101455915B1 (ko) 일반 오디오 및 음성 프레임을 포함하는 오디오 신호용 디코더
KR100612889B1 (ko) 선스펙트럼 쌍 파라미터 복원 방법 및 장치와 그 음성복호화 장치
JP5457171B2 (ja) オーディオデコーダ内で信号を後処理する方法
KR101413969B1 (ko) 오디오 신호의 복호화 방법 및 장치
KR20080092823A (ko) 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 11