KR20160132452A - 전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 - Google Patents
전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20160132452A KR20160132452A KR1020167028282A KR20167028282A KR20160132452A KR 20160132452 A KR20160132452 A KR 20160132452A KR 1020167028282 A KR1020167028282 A KR 1020167028282A KR 20167028282 A KR20167028282 A KR 20167028282A KR 20160132452 A KR20160132452 A KR 20160132452A
- Authority
- KR
- South Korea
- Prior art keywords
- lpc
- codebook
- information
- error concealment
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000004590 computer program Methods 0.000 title claims description 13
- 230000000694 effects Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims description 42
- 230000014509 gene expression Effects 0.000 claims description 18
- 230000005284 excitation Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 11
- 239000002131 composite material Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 28
- 238000003786 synthesis reaction Methods 0.000 abstract description 28
- 239000013598 vector Substances 0.000 description 34
- 230000015654 memory Effects 0.000 description 32
- 230000003595 spectral effect Effects 0.000 description 31
- 238000005562 fading Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000011084 recovery Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003999 initiator Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000005417 image-selected in vivo spectroscopy Methods 0.000 description 1
- 238000012739 integrated shape imaging system Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0002—Codebook adaptations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0016—Codebook for LPC parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Error Detection And Correction (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
- Transmitters (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
오류 은닉 신호를 발생시키기 위한 장치는, 대체 LPC 표현을 생성하기 위한 LPC 표현 생성기(100); LPC 표현들로부터 이득 정보를 계산하기 위한 이득 계산기(600); 이득 정보를 사용하여 대체 LPC 표현의 이득 영향을 보상하기 위한 보상기(406, 408); 및 오류 은닉 신호를 얻기 위해 대체 LPC 표현을 사용하여 코드북 정보를 필터링하기 위한 LPC 합성기(106, 108)를 포함하며, 여기서 보상기(406, 408, 900)는 코드북 정보 또는 LPC 합성 출력 신호를 가중하도록 구성된다.
Description
본 발명은 오디오 코딩에 관한 것으로, 특히 코드북들과 관련하여 LPC와 같은 처리를 기반으로 하는 오디오 코딩에 관한 것이다.
지각적 오디오 코더들은 인간의 성도(vocal tract)를 모델링하기 위해 그리고 선형 예측 코딩(LPC: linear predictive coding) 파라미터들에 의해 모델링될 수 있는 리던던시의 양을 감소시키기 위해 흔히 LPC를 이용한다. LPC 필터로 입력 신호를 필터링함으로써 얻어지는 LPC 잔차는 이를 하나, 둘 또는 그보다 많은 코드북들(예들은: 적응적 코드북, 성문파(glottal pulse) 코드북, 혁신적 코드북, 트랜지션 코드북, 예측 및 변환 부분들로 구성된 하이브리드 코드북들)로 표현함으로써 추가로 모델링되어 송신된다.
프레임 손실의 경우, 음성/오디오 데이터의 세그먼트(일반적으로 10㎳ 또는 20㎳)가 손실된다. 이러한 손실을 가능한 한 더 적게 들을 수 있게 하기 위해, 다양한 은닉 기술들이 적용된다. 이러한 기술들은 보통 이전 수신 데이터의 외삽으로 구성된다. 이 데이터는 코드북들의 이득들, 코드북 벡터들, 코드북들을 모델링하기 위한 파라미터들 및 LPC 계수들일 수도 있다. 최신 기술로부터 공지된 모든 은닉 기술에서는, 신호 합성에 사용되는 LPC 계수들의 세트가 (마지막 양호한 세트를 기초로) 반복되거나 외삽/보간된다.
ITU G.718 [1]: (ISF 도메인으로 표현되는) LPC 파라미터들은 은닉 동안 외삽된다. 외삽은 두 단계들로 구성된다. 먼저, 장기 타깃 ISF 벡터가 계산된다. 이러한 장기 타깃 ISF 벡터는
의 (고정 가중 계수 beta에 의한) 가중 평균이다.
이러한 장기 타깃 ISF 벡터는 다음에, 시변 인자 alpha를 사용하여 프레임마다 1회씩 마지막으로 정확히 수신된 ISF 벡터와 보간되어 마지막으로 수신된 ISF 벡터로부터 장기 타깃 ISF 벡터로의 크로스 페이드를 가능하게 한다. 중간 단계들을 생성하기 위해, 결과적인 ISF 벡터는 이후에 다시 LPC 도메인으로 변환된다(20㎳마다 ISF들이 송신되고, 보간은 5㎳마다 한 세트의 LPC들을 생성한다). 다음에, 합산 전에 대응하는 코드북 이득들로 증폭되는 적응적 코드북과 고정적 코드북의 합의 결과를 필터링함으로써 출력 신호를 합성하는데 LPC들이 사용된다. 고정적 코드북은 은닉 동안 잡음을 포함한다. 연속적인 프레임 손실의 경우, 적응적 코드북은 고정적 코드북을 더하지 않고 피드백된다. 대안으로, 합산 신호는 AMR-WB [5]에서 이루어진 것과 같이 피드백될 수도 있다.
[2]에서, 두 세트들의 LPC 계수들을 이용하는 은닉 방식이 설명된다. 한 세트의 LPC 계수들은 마지막으로 수신된 양호한 프레임을 기초로 도출되고, 다른 세트의 LPC 파라미터들은 처음으로 수신된 양호한 프레임을 기초로 도출되지만, 신호는 (과거 쪽으로) 역방향으로 전개된다(evolve)고 추정된다. 다음에, 미래 쪽으로 하나 그리고 과거 쪽으로 하나의 두 방향들로 예측이 수행된다. 따라서 누락 프레임의 2개의 표현들이 생성된다. 마지막으로, 두 신호들 모두 플레이 아웃되기 전에 가중되어 평균된다.
도 8은 종래 기술에 따른 오류 은닉 처리를 보여준다. 적응적 코드북(800)은 증폭기(808)에 적응적 코드북 정보를 제공하며, 이는 적응적 코드북(800)으로부터의 정보에 코드북 이득(gp)을 적용한다. 증폭기(808)의 출력은 결합기(810)의 입력에 접속된다. 더욱이, 고정적 코드북(802)과 함께 랜덤 잡음 발생기(804)가 추가 증폭기(gc)에 코드북 정보를 제공한다. 806에 표시된 증폭기(gc)는 고정적 코드북 이득인 이득 계수(gc)를 랜덤 잡음 발생기(804)와 함께 고정적 코드북(802)에 의해 제공되는 정보에 적용한다. 증폭기(806)의 출력은 다음에 결합기(810)에 추가로 입력된다. 결합기(810)는 대응하는 코드북 이득들에 의해 증폭된 두 코드북들 모두의 결과를 더하여 결합 신호를 얻는데, 결합 신호는 다음에 LPC 합성 블록(814)에 입력된다. LPC 합성 블록(814)은 이전에 논의한 바와 같이 생성되는 대체 표현에 의해 제어된다.
이러한 종래 기술의 프로시저는 어떤 약점들을 갖는다.
신호 특성들의 변화에 대처하기 위해 또는 배경 잡음과 같은 특성들 쪽으로 LPC 포락선을 집중시키기 위해, 다른 어떤 LPC 벡터들에 의한 외삽/보간에 의해 은닉 동안 LPC가 변경된다. 은닉 동안 에너지를 정확히 제어할 어떠한 가능성도 없다. 다양한 코드북들의 코드북 이득들을 제어할 기회가 있지만, LPC는 전체 레벨 또는 에너지(심지어 주파수 의존적)에 무조건적으로 영향을 줄 것이다.
버스트 프레임 손실 동안 뚜렷한 에너지 레벨(예를 들어, 배경 잡음 레벨)로 페이드아웃하는 것이 구상될 수도 있다. 이는 코드북 이득들을 제어하는 것에 의해서도 최신 기술로는 가능하지 않다.
프레임 손실 이전과 같은 스펙트럼 특성을 갖는 음색 부분들을 합성할 가능성을 유지하면서, 신호의 잡음 부분들을 배경 잡음으로 페이드하는 것은 가능하지 않다.
오류 은닉 신호를 발생시키기 위한 개선된 개념을 제공하는 것이 본 발명의 과제이다.
이러한 과제는 제 1 항의 오류 은닉 신호를 발생시키기 위한 장치, 제 14 항의 오류 은닉 신호를 발생시키는 방법 또는 제 15 항의 컴퓨터 프로그램에 의해 달성된다.
본 발명의 한 양상에서, 오류 은닉 신호를 발생시키기 위한 장치는 제 1 대체 LPC 표현 및 다른 제 2 대체 LPC 표현을 생성하기 위한 LPC 표현 생성기를 포함한다. 더욱이, 제 1 대체 신호를 얻기 위해 제 1 대체 LPC 표현을 사용하여 제 1 코드북 정보를 필터링하기 위한 그리고 제 2 대체 신호를 얻기 위해 제 2 대체 LPC 표현을 사용하여 다른 제 2 코드북 정보를 필터링하기 위한 LPC 합성기가 제공된다. LPC 합성기의 출력들은 오류 은닉 신호를 얻도록 제 1 대체 신호와 제 2 대체 신호를 결합하는 대체 신호 결합기에 의해 결합된다.
제 1 코드북은 바람직하게는, 제 1 코드북 정보를 제공하기 위한 적응적 코드북이고 제 2 코드북은 바람직하게는, 제 2 코드북 정보를 제공하기 위한 고정적 코드북이다. 즉, 제 1 코드북은 신호의 음색 부분을 나타내고, 제 2 또는 고정적 코드북은 신호의 잡음 부분을 나타내며, 따라서 잡음 코드북으로 간주될 수 있다.
적응적 코드북에 대한 제 1 코드북 정보는 마지막 양호한 표현, 페이딩 값 및 마지막 양호한 LPC 표현들의 평균값을 사용하여 생성된다. 더욱이, 제 2 또는 고정적 코드북에 대한 LPC 표현은 마지막 양호한 LPC 표현 페이딩 값 및 잡음 추정치를 사용하여 생성된다. 구현에 따라, 잡음 추정치는 고정된 값, 오프라인 트레이닝된 값일 수 있고 또는 이는 오류 은닉 상황에 선행하는 신호로부터 적응적으로 도출될 수 있다.
바람직하게는, 대체 LPC 표현의 영향을 계산하기 위한 LPC 이득 계산이 수행되고, 다음에 전력이나 음량 또는 일반적으로는 합성 신호의 진폭 관련 측정이 오류 은닉 동작 이전의 대응하는 합성 신호와 비슷하도록 보상을 수행하기 위해 이 정보가 사용된다.
추가 양상에서, 오류 은닉 신호를 발생시키기 위한 장치는 하나 또는 그보다 많은 대체 LPC 표현들을 생성하기 위한 LPC 표현 생성기를 포함한다. 더욱이, LPC 표현으로부터 이득 정보를 계산하기 위한 이득 계산기가 제공되고, 다음에 대체 LPC 표현의 이득 영향을 보상하기 위한 보상기가 추가로 제공되며, 이 이득 보상은 이득 계산기에 의해 제공되는 이득 연산을 사용하여 작동한다. 다음에, LPC 합성기가 대체 LPC 표현을 사용하여 코드북 정보를 필터링하여 오류 은닉 신호를 얻는데, 여기서 보상기는 LPC 합성기에 의해 합성되기 전에 코드북 정보를 가중하도록 또는 LPC 합성 출력 신호를 가중하도록 구성된다. 따라서 오류 은닉 상황의 시작시 임의의 이득이나 전력 또는 진폭 관련 인지 가능 영향이 감소되거나 제거된다.
이러한 보상은 위의 양상에서 개요가 설명된 바와 같이 개별 LPC 표현들에 유용할 뿐만 아니라, 단일 LPC 합성기와 함께 단일 LPC 대체 표현만을 사용하는 경우에도 유용하다.
마지막 양호한 LPC 표현 및 대체 LPC 표현의 임펄스 응답들을 계산함으로써 그리고 3 내지 8㎳인 그리고 바람직하게는 5㎳인 특정 시간에 걸쳐 대응하는 LPC 표현의 임펄스 응답에 대한 rms 값을 특별히 계산함으로써 이득 값들이 결정된다.
한 구현에서, 새로운 rms 값, 즉 대체 LPC 표현에 대한 rms 값을 양호한 LPC 표현의 rms 값으로 나눔으로써 실제 이득 값이 결정된다.
바람직하게는, 단일 또는 여러 대체 LPC 표현들이, 단순히 미리 결정된 잡음 추정치인 오프라인 트레이닝된 벡터와는 대조적으로, 바람직하게는 현재 디코딩된 신호들로부터 도출된 배경 잡음 추정치인 배경 잡음 추정치를 사용하여 계산된다.
추가 양상에서, 신호를 발생시키기 위한 장치는 하나 또는 그보다 많은 대체 LPC 표현들을 생성하기 위한 LPC 표현 생성기, 및 대체 LPC 표현을 사용하여 코드북 정보를 필터링하기 위한 LPC 합성기를 포함한다. 추가로, 양호한 오디오 프레임들의 수신 동안 잡음 추정치를 추정하기 위한 잡음 추정기가 제공되며, 이 잡음 추정치는 양호한 오디오 프레임들에 좌우된다. 표현 생성기는 대체 LPC 표현의 생성시 잡음 추정기에 의해 추정된 잡음 추정치를 사용하도록 구성된다.
이전 디코딩된 신호의 스펙트럼 표현은 잡음 스펙트럼 표현 또는 타깃 표현을 제공하기 위한 프로세스이다. 잡음 스펙트럼 표현은 잡음 LPC 표현으로 변환되고, 잡음 LPC 표현은 바람직하게는 대체 LPC 표현과 동일한 종류의 LPC 표현이다. 특정 LPC 관련 처리 프로시저들에 대해서는 ISF 벡터들이 선호된다.
이전 디코딩된 신호에 대한 최적 평활화에 의한 최소 통계 접근법을 사용하여 추정치가 도출된다. 이러한 스펙트럼 잡음 추정치는 다음에 시간 도메인 표현으로 변환된다. 그 다음, 시간 도메인 표현의 제 1 개수의 샘플들을 사용하여 레빈슨-더빈 반복(Levinson-Durbin recursion)이 수행되는데, 여기서 샘플들의 수는 LPC 차수와 같다. 그 다음, 레빈슨-더빈 반복의 결과로부터 LPC 계수들이 도출되며, 이 결과는 결국 벡터로 변환된다. 개별 코드북들에 대해 개별 LPC 표현들을 사용하는 양상, 이득 보상에 따른 하나 또는 그보다 많은 LPC 표현들을 사용하는 양상, 및 추정치가 오프라인 트레이닝된 벡터가 아니라 이전 디코딩된 신호로부터 도출된 잡음 추정치인 잡음 추정치를 하나 또는 그보다 많은 LPC 표현들의 생성시 사용하는 양상이 종래 기술에 대한 개선을 얻기 위해 개별적으로 사용 가능하다.
추가로, 예를 들어 제 1 양상과 제 2 양상이 결합될 수 있거나 제 1 양상 또는 제 3 양상이 결합될 수 있거나 제 2 양상과 제 3 양상이 서로 결합되어 종래 기술에 대해 훨씬 개선된 성능을 제공할 수 있도록 이러한 개별 양상들이 또한 서로 결합될 수 있다. 훨씬 더 바람직하게는, 3개의 모든 양상들이 서로 결합되어 종래 기술에 대한 개선들을 얻을 수 있다. 따라서 양상들이 개별 도면들로 설명되지만, 동봉된 도면들 및 설명을 참조함으로써 확인될 수 있는 바와 같이, 모든 양상들이 서로 결합하여 적용될 수 있다.
이어서 본 발명의 선호되는 실시예들이 첨부 도면들에 관해 논의된다.
도 1a는 제 1 양상의 실시예를 나타낸다.
도 1b는 적응적 코드북의 사용을 나타낸다.
도 1c는 정상 모드 또는 은닉 모드의 경우에 고정 코드북의 사용을 나타낸다.
도 1d는 제 1 LPC 대체 표현을 계산하기 위한 흐름도를 나타낸다.
도 1e는 제 2 LPC 대체 표현을 계산하기 위한 흐름도를 나타낸다.
도 2는 오류 은닉 제어기 및 잡음 추정기를 갖는 디코더에 대한 개요를 나타낸다.
도 3은 합성 필터들의 상세한 표현을 나타낸다.
도 4는 제 1 양상과 제 2 양상을 결합한 선호되는 실시예를 나타낸다.
도 5는 제 1 양상과 제 2 양상을 결합한 추가 실시예를 나타낸다.
도 6은 제 1 양상과 제 2 양상을 결합한 실시예를 나타낸다.
도 7a는 이득 보상을 수행하기 위한 실시예를 나타낸다.
도 7b는 이득 보상을 수행하기 위한 흐름도를 나타낸다.
도 8은 종래 기술의 오류 은닉 신호 발생기를 나타낸다.
도 9는 이득 보상에 의한 제 2 양상에 따른 실시예를 나타낸다.
도 10은 도 9의 실시예의 추가 구현을 나타낸다.
도 11은 잡음 추정기를 사용하는 제 3 양상의 실시예를 나타낸다.
도 12a는 잡음 추정치를 계산하기 위한 선호되는 구현을 나타낸다.
도 12b는 잡음 추정치를 계산하기 위한 추가 선호되는 구현을 나타낸다.
도 13은 잡음 추정치를 사용하고 페이딩 연산을 적용하는 개별 코드북들에 대한 개별 LPC 대체 표현들 또는 단일 LPC 대체 표현의 계산을 나타낸다.
도 1a는 제 1 양상의 실시예를 나타낸다.
도 1b는 적응적 코드북의 사용을 나타낸다.
도 1c는 정상 모드 또는 은닉 모드의 경우에 고정 코드북의 사용을 나타낸다.
도 1d는 제 1 LPC 대체 표현을 계산하기 위한 흐름도를 나타낸다.
도 1e는 제 2 LPC 대체 표현을 계산하기 위한 흐름도를 나타낸다.
도 2는 오류 은닉 제어기 및 잡음 추정기를 갖는 디코더에 대한 개요를 나타낸다.
도 3은 합성 필터들의 상세한 표현을 나타낸다.
도 4는 제 1 양상과 제 2 양상을 결합한 선호되는 실시예를 나타낸다.
도 5는 제 1 양상과 제 2 양상을 결합한 추가 실시예를 나타낸다.
도 6은 제 1 양상과 제 2 양상을 결합한 실시예를 나타낸다.
도 7a는 이득 보상을 수행하기 위한 실시예를 나타낸다.
도 7b는 이득 보상을 수행하기 위한 흐름도를 나타낸다.
도 8은 종래 기술의 오류 은닉 신호 발생기를 나타낸다.
도 9는 이득 보상에 의한 제 2 양상에 따른 실시예를 나타낸다.
도 10은 도 9의 실시예의 추가 구현을 나타낸다.
도 11은 잡음 추정기를 사용하는 제 3 양상의 실시예를 나타낸다.
도 12a는 잡음 추정치를 계산하기 위한 선호되는 구현을 나타낸다.
도 12b는 잡음 추정치를 계산하기 위한 추가 선호되는 구현을 나타낸다.
도 13은 잡음 추정치를 사용하고 페이딩 연산을 적용하는 개별 코드북들에 대한 개별 LPC 대체 표현들 또는 단일 LPC 대체 표현의 계산을 나타낸다.
본 발명의 선호되는 실시예들은 외삽된 LPC에 의해 야기된 임의의 이득 변경과 관계없이 코드북 이득들에 의해 출력 신호의 레벨을 제어하는 것 그리고 각각의 코드북에 대해 개별적으로 LPC 모델링된 스펙트럼 형상을 제어하는 것에 관한 것이다. 이를 위해, 각각의 코드북에 개별 LPC들이 적용되고, 은닉 동안 LPC 이득의 임의의 변경을 보상하기 위해 보상 수단들이 적용된다.
서로 다른 양상들에 또는 결합된 양상들에 정의된 바와 같은 본 발명의 실시예들은 디코더 측에서 하나 또는 그보다 많은 데이터 패킷들이 정확히 수신되지 않거나 전혀 수신되지 않는 경우에 높은 주관적 품질의 음성/오디오를 제공하는 이점을 갖는다.
더욱이, 선호되는 실시예들은 은닉 동안 다음 LPC들 사이의 이득 차들을 보상하는데, 이는 시간에 따라 변경되는 LPC 계수들로부터 야기될 수도 있으며, 따라서 원치않는 레벨 변경들이 방지된다.
더욱이, 실시예들은 은닉 동안 둘 또는 그보다 많은 세트들의 LPC 계수들이 유성음 및 무성음 부분들 그리고 또한 음색 및 잡음과 같은 오디오 부분들의 스펙트럼 행동에 독립적으로 영향을 주는데 사용된다는 점에서 유리하다.
본 발명의 모든 양상들은 개선된 주관적 오디오 품질을 제공한다.
본 발명의 한 양상에 따르면, 보간 동안 에너지가 정확히 제어된다. LPC를 변경함으로써 유도되는 임의의 이득이 보상된다.
본 발명의 다른 양상에 따르면, 코드북 벡터들 각각에 대해 개별 LPC 계수 세트들이 이용된다. 각각의 코드북 벡터는 벡터의 대응하는 LPC에 의해 필터링되고, 필터링된 개별 신호들은 바로 뒤에 합산되어 합성된 출력을 얻는다. 이에 반해, 최신 기술은 우선 (서로 다른 코드북들로부터 생성되는) 모든 여기(excitation) 벡터들을 합산하고, 바로 다음에 그 합을 단일 LPC 필터에 공급한다.
다른 양상에 따르면, 잡음 추정치는 예를 들어, 오프라인 트레이닝된 벡터로서 사용되는 것이 아니라, 특정한 양의 오류 또는 누락 패킷들/프레임들 이후에, 임의의 미리 결정된 잡음 스펙트럼보다는 실제 배경 잡음에 대한 페이드아웃이 얻어지도록 이전 디코딩된 프레임으로부터 실제로 도출된다. 이는 특히 오류 상황이 발생하는 경우에도, 특정 개수의 프레임들 이후 디코더에 의해 제공되는 신호는 선행 신호에 관련된다는 사실로 인해, 사용자 측에서의 수용감을 야기한다. 그러나 특정 개수의 손실 또는 오류 프레임들의 경우에 디코더에 의해 제공되는 신호는 오류 상황 이전에 디코더에 의해 제공되는 신호와 완전히 관련 없는 신호이다.
LPC의 시변 이득에 대한 이득 보상을 적용하는 것은 다음의 이점들을 허용한다:
이는 LPC를 변경함으로써 유도되는 임의의 이득을 보상한다.
그러므로 출력 신호의 레벨이 다양한 코드북들의 코드북 이득들에 의해 제어될 수 있다. 이는 보간된 LPC에 의한 임의의 원치 않는 영향을 제거함으로써, 미리 결정된 페이드아웃을 허용한다.
은닉 동안 사용되는 각각의 코드북에 대해 개별 세트의 LPC 계수들을 사용하는 것은 다음의 이점들을 허용한다:
이는 신호의 음색 및 잡음과 같은 부분들의 스펙트럼 형상에 개별적으로 영향을 줄 가능성을 생성한다.
이는 잡음 부분은 배경 잡음으로 빠르게 집중되고 있을 수도 있는 한편, (예를 들어, 모음들에 대해 바람직한) 거의 변경되지 않은 유성음 신호 부분을 플레이 아웃할 기회를 제공한다.
이는 은닉 동안 배경 잡음을 동시에 유지하면서, 유성음 부분들을 은닉하고 임의의 페이딩 속도로 유성음 부분을 페이드아웃(예를 들어, 신호 특성들로부터 종속되는 속도를 페이드아웃)할 기회를 제공한다. 최신 기술의 코덱들은 보통 매우 깨끗한 유성음 은닉 사운드를 겪는다.
이는 스펙트럼 특성들을 변경하지 않으면서 음색 부분들을 페이드아웃하고 배경 스펙트럼 포락선으로 잡음과 같은 부분들을 페이드함으로써, 은닉 동안 배경 잡음으로 부드럽게 페이드하기 위한 수단을 제공한다.
도 1a는 오류 은닉 신호(111)를 발생시키기 위한 장치를 나타낸다. 이 장치는 제 1 대체 표현을 생성하고 추가로 제 2 대체 LPC 표현을 생성하기 위한 LPC 표현 생성기(100)를 포함한다. 도 1a에 개요가 기술된 바와 같이, 제 1 대체 표현은 적응적 코드북(102)과 같은 제 1 코드북(102)에 의해 출력되는 제 1 코드북 정보를 필터링하여 블록(106)의 출력에서 제 1 대체 신호를 얻기 위한 LPC 합성기(106)에 입력된다. 더욱이, LPC 표현 생성기(100)에 의해 생성된 제 2 대체 표현은 예를 들어, 고정적 코드북인 제 2 코드북(104)에 의해 제공되는 다른 제 2 코드북 정보를 필터링하여 블록(108)의 출력에서 제 2 대체 신호를 얻기 위한 LPC 합성기에 입력된다. 두 대체 신호들 모두 다음에, 제 1 대체 신호와 제 2 대체 신호를 결합하여 오류 은닉 신호(111)를 얻기 위한 대체 신호 결합기(110)에 입력된다. 두 LPC 합성기들(106, 108) 모두 단일 LPC 합성기 블록에 구현될 수 있고 또는 개별 LPC 합성기 필터들로서 구현될 수 있다. 다른 구현들에서, 두 LPC 합성기 프로시저들은 실제로 병렬로 구현되어 동작하는 2개의 LPC 필터들에 의해 구현될 수 있다. 그러나 LPC 합성은 또한 LPC 합성 필터가 제 1 코드북 정보 및 제 1 대체 표현에 대한 출력 신호를 제공하고, 다음에 이러한 첫 번째 동작 이후 제어가 합성 필터에 제 2 코드북 정보 및 제 2 대체 표현을 제공하여 직렬 방식으로 제 2 대체 신호를 얻도록 하는 LPC 합성 필터 및 특정 제어일 수 있다. 단일 또는 여러 합성 블록들을 제외한 LPC 합성기에 대한 다른 구현들이 해당 기술분야에서 통상의 지식을 가진 자들에게 명확하다.
일반적으로, LPC 합성 출력 신호들을 시간 도메인 신호들이며, 대체 신호 결합기(110)는 동기화된 샘플 단위 합산을 수행함으로써 합성 출력 신호 결합을 수행한다. 그러나 가중된 샘플 단위 합산 또는 주파수 도메인 합산 또는 임의의 다른 신호 결합과 같은 다른 결합들이 또한 대체 신호 결합기(110)에 의해 수행될 수 있다.
더욱이, 제 1 코드북(102)은 적응적 코드북을 포함하는 것으로 표시되고, 제 2 코드북(104)은 고정적 코드북을 포함하는 것으로 표시된다. 그러나 제 1 코드북 및 제 2 코드북은 제 1 코드북으로서 예측 코드북 그리고 제 2 코드북으로서 잡음 코드북과 같이 임의의 코드북들일 수 있다. 그러나 다른 코드북들은 성문파 코드북들, 혁신적 코드북들, 트랜지션 코드북들, 예측 및 변환 부분들로 구성된 하이브리드 코드북들, 남성들/여성들/어린이들과 같은 개별 음성 발생기들에 대한 코드북들 또는 동물의 사운드들 등과 같은 다른 사운드들에 대한 코드북들일 수 있다.
도 1b는 적응적 코드북의 표현을 나타낸다. 적응적 코드북은 피드백 루프(120)를 제공받으며 입력으로서 피치 지연(118)을 수신한다. 피치 지연은 양호한 수신 프레임/패킷의 경우에는 디코딩된 피치 지연일 수 있다. 그러나 오류 또는 누락 프레임/패킷을 표시하는 오류 상황이 검출된다면, 디코더에 의해 오류 은닉 피치 지연(118)이 제공되어 적응적 코드북에 입력된다. 적응적 코드북(102)은 피드백 라인(120)을 통해 제공되는 피드백된 출력 값들을 저장하는 메모리로서 구현될 수 있으며, 적용되는 피치 지연(118)에 따라 적응적 코드북에 의해 특정한 양의 샘플링 값들이 출력된다.
더욱이, 도 1c는 고정적 코드북(104)을 나타낸다. 정상 모드의 경우, 고정적 코드북(104)은 코드북 인덱스를 수신하고, 코드북 인덱스에 응답하여 코드북 정보로서 고정적 코드북에 의해 특정 코드북 엔트리(114)가 제공된다. 그러나 은닉 모드가 결정된다면, 코드북 인덱스는 이용 가능하지 않다. 다음에, 고정적 코드북(104) 내에 제공된 잡음 발생기(112)가 활성화되어, 코드북 정보(116)로서 잡음 신호를 제공한다. 구현에 따라, 잡음 발생기는 랜덤 코드북 인덱스를 제공할 수도 있다. 그러나 잡음 발생기는 실제로 랜덤 코드북 인덱스보다는 잡음 신호를 제공하는 것이 바람직하다. 잡음 발생기(112)는 특정 하드웨어 또는 소프트웨어 잡음 발생기로서 구현될 수도 있고 또는 잡음 형상을 갖는 고정적 코드북에서 잡음 표들 또는 특정 "추가" 엔트리로서 구현될 수 있다. 더욱이, 상기 프로시저들의 결합들, 즉 특정 후처리와 함께 잡음 코드북 엔트리가 가능하다.
도 1d는 오류인 경우에 제 1 대체 LPC 표현을 계산하기 위한 선호되는 프로시저를 나타낸다. 단계(130)는 2개 또는 그보다 많은 마지막 양호한 프레임들의 LPC 표현들의 평균값의 계산을 나타낸다. 3개의 마지막 양호한 프레임들이 선호된다. 따라서 3개의 마지막 양호한 프레임들에 대한 평균값이 블록(130)에서 계산되어 블록(136)에 제공된다. 더욱이, 저장된 마지막 양호한 프레임 LPC 정보가 단계(132)에서 제공되고 추가로 블록(136)에 제공된다. 더욱이, 블록(134)에서 페이딩 인자(134)가 결정된다. 그 다음, 마지막 양호한 LPC 정보에 따라, 마지막 양호한 프레임의 LPC 정보의 평균값에 따라, 그리고 블록(134)의 페이딩 인자에 따라, 제 1 대체 표현(138)이 계산된다.
최신 기술의 경우, 단 하나의 LPC가 적용된다. 새로 제안된 방법의 경우, 적응적 또는 고정적 코드북에 의해 생성된 각각의 여기 벡터는 벡터 자체 세트의 LPC 계수들에 의해 필터링된다. 개별 ISF 벡터들의 도출은 다음과 같다:
(적응적 코드북을 필터링하기 위한) 계수 세트 A가 이 공식에 의해 결정되며:
여기서 alpha A 는 신호 안정성, 신호 클래스 등에 의존할 수도 있는 시변 적응적 페이딩 인자이다. isf -x 는 ISF 계수들이며, 여기서 x는 현재 프레임의 끝에 대한 프레임 번호를 표시하고: x = -1은 처음 손실된 ISF, x = -2는 마지막 양호한 것, x = -3은 두 번째로 마지막 양호한 것 등을 표시한다.
이는 마지막으로 정확히 수신된 프레임에서부터 (마지막 양호한 20㎳ 프레임들 중 3개에 대해 평균된) 평균 LPC 쪽으로 음색 부분을 필터링하는데 사용되는 LPC의 페이딩으로 이어진다. 더 많은 프레임들이 손실될수록, 은닉 동안 사용되는 ISF는 이러한 단기 평균 ISF 벡터(isf')에 더 가까워질 것이다.
도 1e는 제 2 대체 표현을 계산하기 위한 선호되는 프로시저를 나타낸다. 블록(140)에서, 잡음 추정치가 결정된다. 다음에 블록(142)에서, 페이딩 인자가 결정된다. 추가로, 블록(144)에서, 이전에 저장되었던 마지막 양호한 프레임 LPC 정보가 제공된다. 다음에 블록(146)에서, 제 2 대체 표현이 계산된다. 바람직하게는, (고정적 코드북을 필터링하기 위한) 계수 세트 B가 이 공식에 의해 결정되며:
여기서 isf cng 는 배경 잡음 추정치로부터 도출된 ISF 계수 세트이며, alpha B 는 바람직하게는 신호 의존적인 시변 페이딩 속도 인자이다. [3]과 비슷한 최적 평활화에 따른 최소 통계 접근법을 사용하여 FFT 도메인(전력 스펙트럼)에서 이전 디코딩된 신호를 추적함으로써 타깃 스펙트럼 형상이 도출된다. 이러한 FFT 추정치는 역 FFT를 수행함으로써 자기 상관을 계산한 다음, 레빈슨-더빈 반복을 사용하여 역 FFT의 처음 N개의 샘플들을 사용해 LPC 계수들을 계산함으로써 LPC 표현으로 변환되며, 여기서 N은 LPC 차수이다. 다음에, 이 LPC는 ISF 도메인으로 변환되어 isf cng 를 리트리브한다. 대안으로 ― 배경 스펙트럼 형상의 이러한 추적이 이용 가능하지 않다면 ―, 타깃 스펙트럼 형상은 또한 일반적인 타깃 스펙트럼 형상에 대해 G.718에서 이루어지는 것과 같이, 오프라인 트레이닝된 벡터와 단기 스펙트럼 평균의 임의의 결합을 기초로 도출될 수도 있다.
바람직하게, 페이딩 인자들(αA, αB)은 디코딩된 오디오 신호에 따라, 즉 오류의 발생 전에 디코딩된 오디오 신호에 따라 결정된다. 페이딩 인자는 신호 안정성, 신호 클래스 등에 의존할 수도 있다. 따라서 신호가 완전히 잡음 신호라고 결정된다면, 신호가 완전히 음색인 상황과 비교하여 더 신속하게 페이딩 인자가 시간에 따라 감소하는 식으로 페이딩 인자가 결정된다. 이 상황에서, 페이딩 인자는 감소된 양만큼 하나의 시간 프레임에서 다음 시간 프레임으로 감소된다. 이는 비-잡음 또는 음색 신호들에 비해 잡음 신호들의 경우에 마지막 양호한 프레임에서 마지막 3개의 양호한 프레임들의 평균값으로의 페이딩이 반드시 더 신속하게 일어나게 하며, 여기서 페이드아웃 속도가 감소된다. 신호 클래스들에 대해 비슷한 프로시저들이 수행될 수 있다. 유성음 신호들의 경우, 페이드아웃은 무성음 신호들에 대해서나 음악 신호들에 대해서보다 더 느리게 수행될 수 있고, 특정 페이딩 속도는 추가 신호 특성들에 비해 감소될 수 있으며, 페이딩 인자의 대응하는 결정들이 적용될 수 있다.
도 1e와 관련하여 논의된 바와 같이, 제 2 코드북 정보에 대해서는 다른 페이딩 인자(αB)가 계산될 수 있다. 따라서 서로 다른 코드북 엔트리들에 서로 다른 페이딩 속도가 제공될 수 있다. 따라서 fcng인 잡음 추정치로의 페이드아웃은 도 1d의 블록(136)에서 개요가 설명된 바와 같이, 마지막 양호한 프레임 ISF 표현에서부터 평균 ISF 표현까지의 페이딩 속도와 다르게 설정될 수 있다.
도 2는 선호되는 구현의 개요를 나타낸다. 입력 라인은 예를 들어, 무선 입력 인터페이스 또는 케이블 인터페이스로부터 오디오 신호의 패킷들 또는 프레임들을 수신한다. 입력 라인(202) 상의 데이터는 디코더(204)에 그리고 동시에 오류 은닉 제어기(200)에 제공된다. 오류 은닉 제어기는 수신된 패킷 또는 프레임들이 오류가 있거나 누락되었는지 여부를 결정한다. 이것이 결정된다면, 오류 은닉 제어기는 디코더(204)에 제어 메시지를 입력한다. 도 2의 구현에서, 제어 라인(CTRL) 상의 "1" 메시지는 디코더(204)가 은닉 모드로 작동해야 함을 시그널링한다. 그러나 오류 은닉 제어기가 오류 상황을 발견하지 않는다면, 제어 라인(CTRL)은 도 2의 표(210)에 표시된 것과 같이 정상 디코딩 모드를 표시하는 "0" 메시지를 전달한다. 디코더(204)는 추가로 잡음 추정기(206)에 접속된다. 정상 디코딩 모드 동안, 잡음 추정기(206)는 디코딩된 오디오 신호를 피드백 라인(208)을 통해 수신하고 디코딩된 신호로부터 잡음 추정치를 결정한다. 그러나 오류 은닉 제어기가 정상 디코딩 모드에서 은닉 모드로의 변경을 표시하면, 잡음 추정기(206)는 이전 도면과 다음 도면에서 논의되는 바와 같이 디코더(204)가 오류 은닉을 수행할 수 있도록 디코더(204)에 잡음 추정치를 제공한다. 따라서 잡음 추정치(206)는 정상 디코딩 모드인 정상 잡음 추정 모드에서 은닉 모드인 잡음 추정치 제공 동작으로 스위칭하도록 오류 은닉 제어기로부터의 제어 라인(CTRL)에 의해 추가로 제어된다.
도 4는 적응적 코드북(102)을 갖는 그리고 추가로 고정적 코드북(104)을 갖는 디코더, 예컨대 도 2의 디코더(204)와 관련하여 본 발명의 선호되는 실시예를 나타낸다. 도 2의 표(210)와 관련하여 논의한 바와 같이 제어 라인 데이터 "0"으로 표시된 정상 디코딩 모드에서, 디코더는 항목(804)이 무시될 때 도 8에 예시된 것과 같이 동작한다. 따라서 정확하게 수신된 패킷은 고정적 코드북(802)을 제어하기 위한 고정적 코드북 인덱스, 증폭기(806)를 제어하기 위한 고정적 코드북 이득(gc) 및 증폭기(808)를 제어하기 위한 적응적 코드북(gp)을 포함한다. 더욱이, 적응적 코드북(800)은 송신된 피치 지연에 의해 제어되고, 스위치(812)는 적응적 코드북 출력이 적응적 코드북의 입력으로 피드백되도록 접속된다. 더욱이, LPC 합성 필터(804)에 대한 계수들은 송신된 데이터로부터 도출된다.
그러나 도 2의 오류 은닉 제어기(202)에 의해 오류 은닉 상황이 검출된다면, 오류 은닉 프로시저가 시작되는데, 여기서는 정상 프로시저와 달리, 2개의 합성 필터들(106, 108)이 제공된다. 더욱이, 적응적 코드북(102)에 대한 피치 지연이 오류 은닉 디바이스에 의해 발생된다. 추가로, 증폭기들(402, 404)을 정확히 제어하기 위해 해당 기술분야에 공지된 오류 은닉 프로시저에 의해 적응적 코드북 이득(gp)과 고정적 코드북 이득(gc)이 또한 합성된다.
더욱이, 신호 클래스에 따라, 제어기(409)는 (대응하는 코드북 이득의 적용 이후에) 두 코드북 출력들의 결합을 피드백하기 위해 또는 적응적 코드북 출력만을 피드백하기 위해 스위치(405)를 제어한다.
한 실시예에 따르면, 도 1a의 LPC 표현 생성기(100)에 의해 LPC 합성 필터 A(106)에 대한 데이터 및 LPC 합성 필터 B(108)에 대한 데이터가 생성되고, 추가로 증폭기들(406, 408)에 의해 이득 보정이 수행된다. 이를 위해, LPC 표현에 의해 발생되는 어떠한 이득 영향도 중단되도록 증폭기들(408, 406)을 정확히 구동하기 위해 이득 보상 인자들(gA, gB)이 계산된다. 마지막으로, 106 및 108로 표시된 LPC 합성 필터들(A, B)의 출력이 결합기(110)에 의해 결합되어, 오류 은닉 신호가 얻어진다.
이후에, 한편으로는 정상 모드에서 은닉 모드로 그리고 은닉 모드에서 다시 정상 모드로의 전환이 논의된다.
클린 채널 디코딩에서 은닉으로의 전환시 하나의 공통 LPC에서 여러 개별 LPC들로의 트랜지션은 어떠한 불연속성도 야기하지 않는데, 이는 마지막 양호한 LPC의 메모리 상태가 개별 LPC들의 각각의 AR 또는 MA 메모리를 초기화하는데 사용될 수 있기 때문이다. 그렇게 할 때, 마지막 양호한 프레임에서 처음 손실된 프레임으로의 원활한 트랜지션이 보장된다.
은닉에서 클린 채널 디코딩(복구 상태)으로의 전환시, 개별 LPC들의 접근 방식은 클린 채널 디코딩(보통 자기 회귀(AR: auto-regressive) 모델들이 사용됨) 동안 단일 LPC 필터의 내부 메모리 상태를 정확히 업데이트하기 위한 과제를 제기한다. 단지 하나의 LPC의 AR 메모리 또는 평균된 AR 메모리를 사용하는 것은 마지막 손실된 프레임과 처음 양호한 프레임 간의 프레임 경계에서의 불연속성들로 이어질 것이다. 다음에는 이러한 과제를 해결하기 위한 방법이 설명된다:
모든 여기 벡터들의 작은 부분(제안: 5㎳)이 임의의 은닉된 프레임 끝에 더해진다. 이러한 합산된 여기 벡터는 다음에, 복구에 사용될 LPC에 공급될 수도 있다. 이는 도 5에 도시된다. 구현에 따라, LPC 이득 보상 이후에 여기 벡터들을 합산하는 것이 또한 가능하다.
프레임 끝 - 5㎳에서 시작하여, LPC AR 메모리를 0으로 설정하고, 개별 LPC 계수 세트들 중 임의의 세트를 사용함으로써 LPC 합성을 도출하고, 은닉된 프레임의 바로 끝에 메모리 상태를 저장하는 것이 바람직하다. 다음 프레임이 정확히 수신된다면, 이 메모리 상태는 다음에 복구에 사용될 수도 있고(의미: 프레임 시작 LPC 메모리를 초기화하는데 사용됨), 그렇지 않으면 이는 폐기된다. 이 메모리는 추가로 도입되어야 하는데: 이는 은닉 동안 사용된 은닉의 사용된 LPC AR 메모리들 중 임의의 메모리와는 개별적으로 취급되어야 한다.
복구를 위한 다른 솔루션은 USAC [4]로부터 공지된 방법인 LPC0을 사용하는 것이다.
다음에, 도 5가 보다 상세히 논의된다. 일반적으로, 적응적 코드북(102)은 도 5에 표시된 바와 같이 예측 코드북인 것으로 칭해질 수 있거나 예측 코드북으로 대체될 수 있다. 더욱이, 고정적 코드북(104)은 잡음 코드북(104)으로서 대체되거나 구현될 수 있다. 코드북 이득들(gp, gc)은 증폭기들(402, 404)을 정확히 도출하기 위해 정상 모드에서 입력 데이터로 송신되거나, 오류 은닉 경우에는 오류 은닉 프로시저에 의해 합성될 수 있다. 더욱이, 임의의 다른 코드북일 수 있는 제 3 코드북(412)이 사용되는데, 이는 증폭기(414)로 표시된 것과 같은 연관된 코드북 이득(gr)을 추가로 갖는다. 한 실시예에서, 다른 코드북에 대한 LPC 대체 표현으로 제어되는 개별 필터에 의한 추가 LPC 합성이 블록(416)에서 구현된다. 더욱이, 개요가 설명된 바와 같이, gA 및 gB와 관련하여 논의된 것과 비슷한 방식으로 이득 보정(gc)이 수행된다.
더욱이, 418에 표시된 추가 복구 LPC 합성기 X가 도시되는데, 이는 입력으로서 5㎳와 같은 모든 여기 벡터들의 적어도 작은 부분의 합을 수신한다. 이러한 여기 벡터는 LPC 합성 필터 X의 LPC 합성기 X(418) 메모리 상태들에 입력된다.
다음에, 은닉 모드에서 정상 모드로의 스위치백이 발생하면, LPC 합성 필터 X의 내부 메모리 상태들을 이러한 단일 정상 동작 필터로 복사함으로써 단일 LPC 합성 필터가 제어되고, 추가로 필터의 계수들은 정확히 송신된 LPC 표현에 의해 설정된다.
도 3은 2개의 LPC 합성 필터들(106, 108)을 갖는 LPC 합성기의 보다 상세한 추가 구현을 나타낸다. 각각의 필터는 예를 들어, 필터 탭들(302, 306) 및 필터 내부 메모리들(304, 308)을 갖는 FIR 필터 또는 IIR 필터이다. 필터 탭들(302, 306)은 정확히 송신된 대응하는 LPC 표현 또는 도 1a의 100과 같은 LPC 표현 생성기에 의해 생성된 대응하는 대체 LPC 표현에 의해 제어된다. 더욱이, 메모리 초기화기(320)가 제공된다. 메모리 초기화기(320)는 마지막 양호한 LPC 표현을 수신하고, 오류 은닉 모드로의 전환이 수행되면, 메모리 초기화기(320)는 단일 LPC 합성 필터의 메모리 상태들을 필터 내부 메모리들(304, 308)에 제공한다. 특히, 메모리 초기화기는 마지막 양호한 LPC 표현 대신 또는 마지막 양호한 LPC 표현에 추가하여, 마지막 양호한 메모리 상태들, 즉 처리시 그리고 특히 마지막 양호한 프레임/패킷의 처리 이후의 단일 LPC 필터의 내부 메모리 상태를 수신한다.
추가로, 도 5와 관련하여 이미 논의한 바와 같이, 메모리 초기화기(320)는 또한 오류 은닉 상황으로부터 정상적인 비-오류 동작 모드로의 복구를 위해 메모리 초기화 프로시저를 수행하도록 구성될 수 있다. 이를 위해, 메모리 초기화기(320) 또는 개별적인 차후 LPC 메모리 초기화기는 오류 또는 손실된 프레임에서 양호한 프레임으로의 복구의 경우에 단일 LPC 필터를 초기화하도록 구성된다. LPC 메모리 초기화기는 결합된 제 1 코드북 정보 및 제 2 코드북 정보의 적어도 일부분 또는 결합된 가중 제 1 코드북 정보 또는 가중 제 2 코드북 정보의 적어도 일부를 도 5의 LPC 필터(418)와 같은 개별 LPC 필터에 공급하도록 구성된다. 추가로, LPC 메모리 초기화기는 공급된 값들을 처리함으로써 얻어진 메모리 상태들을 저장하도록 구성된다. 다음에는, 다음 프레임 또는 패킷이 양호한 프레임 또는 패킷이면, 정상 모드에 대한 도 8의 단일 LPC 필터(814)가 저장된 메모리 상태들, 즉 필터(418)로부터의 상태들을 사용하여 초기화된다. 더욱이, 도 5에서 개요가 설명된 바와 같이, 필터에 대한 필터 계수들은 LPC 합성 필터(106) 또는 LPC 합성 필터(108) 또는 LPC 합성 필터(416)에 대한 계수 또는 그러한 계수들의 가중된 또는 가중되지 않은 결합일 수 있다.
도 6은 이득 보상에 의한 추가 구현을 나타낸다. 이를 위해, 오류 은닉 신호를 발생시키기 위한 장치는 이득 계산기(600) 그리고 도 4(406, 408) 및 도 5(406, 408, 409)와 관련하여 이미 논의된 보상기(406, 408)를 포함한다. 특히, LPC 표현 계산기(100)는 제 1 대체 LPC 표현 및 제 2 대체 LPC 표현을 이득 계산기(600)에 출력한다. 다음에, 이득 계산기는 제 1 대체 LPC 표현에 대한 제 1 이득 정보 및 제 2 LPC 대체 표현에 대한 제 2 이득 정보를 계산하여 이 데이터를 보상기(406, 408)에 제공하는데, 보상기(406, 408)는 제 1 및 제 2 코드북 정보뿐만 아니라, 도 4와 도 5에 개요가 기술된 바와 같이, 마지막 양호한 프레임/패킷/블록의 LPC를 수신한다. 그 다음, 보상기는 보상된 신호를 출력한다. 보상기로의 입력은 도 4의 실시예에서 증폭기들(402, 404)의 출력, 코드북들(102, 104)의 출력, 또는 합성 블록들(106, 108)의 출력일 수 있다.
보상기(406, 408)는 제 1 이득 정보에서 제 1 대체 LPC의 이득 영향을 부분적으로 또는 완전히 보상하고, 제 2 이득 정보를 사용하여 제 2 대체 LPC 표현의 이득 영향을 보상한다.
한 실시예에서, 계산기(600)는 오류 은닉의 시작 이전 마지막 양호한 LPC 표현과 관련된 마지막 양호한 전력 정보를 계산하도록 구성된다. 더욱이, 이득 계산기(600)는 제 1 대체 LPC 표현에 대한 제 1 전력 정보, 제 2 LPC 표현에 대한 제 2 전력 정보, 마지막 양호한 전력 정보와 제 1 전력 정보를 사용하는 제 1 이득 값, 및 마지막 양호한 전력 정보와 제 2 전력 정보를 사용하는 제 2 이득 값을 계산한다. 그 다음, 보상기(406, 408)에서 제 1 이득 값을 사용하여 그리고 제 2 이득 값을 사용하여 보상이 수행된다. 그러나 정보에 따라, 마지막 양호한 전력 정보의 계산은 또한 도 6 실시예에 예시된 바와 같이 보상기에 의해 직접 수행될 수 있다. 그러나 마지막 양호한 전력 정보의 계산은 기본적으로 제 1 대체 표현에 대한 제 1 이득 값 및 제 2 대체 LPC 표현에 대한 제 2 이득 값과 같은 방식으로 수행된다는 사실로 인해, 입력(601)으로 예시된 바와 같이 이득 계산기(600)에서 모든 이득 값들의 계산을 수행하는 것이 바람직하다.
특히, 이득 계산기(600)는 마지막 양호한 LPC 표현 또는 제 1 및 제 2 LPC 대체 표현들로부터 임펄스 응답을 계산하고, 그 다음 임펄스 응답으로부터 rms(root mean square) 값을 계산하여 이득 보상에서 대응하는 전력 정보를 얻도록 구성되며, 각각의 여자 벡터는 ― 대응하는 코드북 이득에 의해 얻어진 이후 ― 이득들: g A 또는 g B 로 또 증폭된다. 이러한 이득들은 현재 사용되는 LPC의 임펄스 응답을 계산한 다음 rms를 계산함으로써 아래와 같이 결정된다:
그 다음, 결과가 마지막으로 정확히 수신된 LPC의 rms와 비교되고, 몫이 LPC 보간의 에너지 증가/손실을 보상하기 위해 아래와 같은 이득 인자로서 사용된다:
이러한 프로시저는 일종의 정규화로서 확인될 수 있다. 이는 LPC 보간에 의해 야기되는 이득을 보상한다.
다음에, 도 7a와 도 7b가 오류 은닉 신호를 발생시키기 위한 장치를 예시하도록 보다 상세히 논의되거나 이득 계산기(600) 또는 보상기(406, 408)가 도 7a의 700에 표시된 것과 같이 마지막 양호한 전력 정보를 계산한다. 더욱이, 이득 계산기(600)가 702에 표시된 것과 같이 제 1 및 제 2 LPC 대체 표현에 대한 제 1 및 제 2 전력 정보를 계산한다. 그 다음, 704로 예시된 바와 같이, 바람직하게는 이득 계산기(600)에 의해 제 1 이득 값 및 제 2 이득 값이 계산된다. 그 다음, 706에 예시된 바와 같이, 이러한 이득 값들을 사용하여 코드북 정보 또는 가중된 코드북 정보 또는 LPC 합성 출력이 보상된다. 이러한 보상은 바람직하게는 증폭기들(406, 408)에 의해 이루어진다.
이를 위해, 도 7b에 예시된 바와 같이 선호되는 실시예에서 여러 단계들이 수행된다. 단계(710)에서, LPC 표현, 예컨대 제 1 또는 제 2 대체 LPC 표현 또는 마지막 양호한 LPC 표현이 제공된다. 단계(712)에서, 블록(402, 404)으로 표시된 것과 같이 코드북 정보/출력에 코드북 이득들이 적용된다. 더욱이, 단계(716)에서, 대응하는 LPC 표현들로부터 임펄스 응답들이 계산된다. 그 다음, 단계(718)에서 각각의 임펄스 응답에 대해 rms 값이 계산되고, 블록(720)에서 이전 rms 값 및 새로운 rms 값을 사용하여 대응하는 이득이 계산되며, 이러한 계산은 이전 rms 값을 새로운 rms 값으로 나눔으로써 바람직하게 수행된다. 마지막으로, 단계(714)에 표시된 바와 같이 결국 보상된 결과들을 얻기 위해 블록(720)의 결과가 단계(712)의 결과를 보상하는데 사용된다.
다음에, 추가 양상, 즉, 예컨대 도 8에 예시된 상황의 경우 단일 대체 LPC 표현만을 생성하는 LPC 표현 생성기(100)를 갖는, 오류 은닉 신호를 발생시키기 위한 장치에 대한 구현이 논의된다. 그러나 도 8과는 대조적으로, 도 9의 추가 양상을 예시하는 실시예는 이득 계산기(600) 및 보상기(406, 408)를 포함한다. 따라서 LPC 표현 생성기에 의해 생성된 대체 LPC 표현에 의한 임의의 이득 영향이 보상된다. 특히, 이러한 이득 보상은 도 9에 보상기(406, 408)로 예시된 것과 같이 LPC 합성기의 입력 측에서 수행될 수 있고 또는 대안으로, 결국 오류 은닉 신호를 얻기 위해 보상기(900)로 예시된 것과 같이 LPC 합성기의 출력에 대해 수행될 수 있다. 따라서 보상기(406, 408, 900)는 LPC 합성기(106, 108)에 의해 제공되는 LPC 합성 출력 신호 또는 코드북 정보를 가중하도록 구성된다.
LPC 표현 생성기, 이득 계산기, 보상기 및 LPC 합성기에 대한 다른 프로시저들은 도 1a 내지 도 8과 관련하여 논의한 것과 같은 방식으로 수행될 수 있다.
도 4와 관련하여 개요가 설명된 바와 같이, 증폭기(402) 및 증폭기(406)는, 곱셈기 출력(402, 404)의 합이 적응적 코드북에 피드백되는 경우가 아니라 적응적 코드북 출력만이 피드백되는 경우, 즉 스위치(405)가 예시된 위치에 있거나 증폭기(404) 및 증폭기(408)가 2개의 가중 연산들을 직렬로 수행하는 경우에 특히, 2개의 가중 연산들을 서로 직렬로 수행한다. 도 10에 예시된 실시예에서, 이러한 2개의 가중 연산들은 단일 연산으로 수행될 수 있다. 이를 위해, 이득 계산기(600)는 그 출력(gp 또는 gc)을 단일 값 계산기(1002)에 제공한다. 더욱이, 해당 기술분야에 공지된 바와 같이 은닉 코드북 이득을 발생시키기 위해 코드북 이득 발생기(1000)가 구현된다. 다음에, 단일 값 계산기(1002)는 단일 값을 얻기 위해 바람직하게는 gp와 gA 간의 곱을 계산한다. 더욱이, 두 번째 브랜치의 경우, 단일 값 계산기(1002)는 도 4의 하위 브랜치에 대한 단일 값을 제공하기 위해 gA와 gB 간의 곱을 계산한다. 도 5의 증폭기들(414, 409)을 갖는 세 번째 브랜치에 대해 추가 프로시저가 수행될 수 있다.
다음에, 조종기(1004)가 제공되는데, 이는 조종기(1004)가 도 9의 LPC 합성기 앞에 위치하는지 아니면 도 9의 LPC 합성기 다음에 위치하는지에 따라, 결국 코드북 신호 또는 은닉 신호와 같은 조종된 신호를 얻기 위해 단일 코드북의 코드북 정보에 대한 또는 2개 또는 그보다 많은 코드북들의 코드북 정보에 대한 예시적인 증폭기들(402, 406)의 연산들을 함께 수행한다. 도 11은 도 2와 관련하여 이미 논의된 LPC 표현 생성기(100), LPC 합성기(106, 108) 및 추가 잡음 추정기(206)가 제공되는 제 3 양상을 나타낸다. LPC 합성기(106, 108)는 코드북 정보 및 대체 LPC 표현을 수신한다. LPC 표현은 LPC 표현 생성기에 의해 잡음 추정기(206)로부터의 잡음 추정치를 사용하여 생성되며, 마지막 양호한 프레임들로부터 잡음 추정치를 결정함으로써 잡음 추정기(206)가 동작한다. 따라서 잡음 추정치는 마지막 양호한 오디오 프레임들에 좌우되고, 잡음 추정치는 양호한 오디오 프레임들의 수신 동안, 즉 도 2의 제어 라인 상에 "0"으로 표시된 정상 디코딩 모드에서 추정되며, 정상 디코딩 모드 동안 생성된 이러한 잡음 추정치는 다음에, 도 2의 블록들(206, 204)의 연결로 예시된 것과 같은 은닉 모드에 적용된다.
잡음 추정기는 이전 디코딩된 신호의 스펙트럼 표현을 처리하여 잡음 스펙트럼 표현을 제공하고 잡음 스펙트럼 표현을 잡음 LPC 표현으로 변환하도록 구성되며, 여기서 잡음 LPC 표현은 대체 LPC 표현과 동일한 종류의 LPC 표현이다. 따라서 대체 LPC 표현이 ISF 도메인 표현 또는 ISF 벡터에 있으면, 잡음 LPC 표현은 추가로 ISF 벡터 또는 ISF 표현이다.
더욱이, 잡음 추정기(206)는 이전 디코딩된 신호에 대해 최적 평활화에 의한 최소 통계 접근법을 적용하여 잡음 추정치를 도출하도록 구성된다. 이러한 프로시저의 경우, [3]에 예시된 프로시저를 수행하는 것이 바람직하다. 그러나 예를 들어, 오디오 신호에서 배경 잡음 또는 잡음을 필터링하기 위해 스펙트럼에서 비-음색 부분들과 비교되는 음색 부분들의 억제에 의존하는 다른 잡음 추정 프로시저들이 역시 타깃 스펙트럼 형상 또는 잡음 스펙트럼 추정치를 얻기 위해 적용될 수 있다.
따라서 일 실시예에서, 스펙트럼 잡음 추정치는 이전 디코딩된 신호로부터 도출되고, 스펙트럼 잡음 추정치는 다음에 LPC 표현으로, 그리고 그 다음에 ISF 도메인으로 변환되어, 최종 잡음 추정치 또는 타깃 스펙트럼 형상을 얻는다.
도 12a는 선호되는 실시예를 나타낸다. 단계(1200)에서, 예를 들어 피드백 루프(208)로 도 2에 예시된 바와 같이, 이전의 디코딩된 신호가 얻어진다. 단계(1202)에서, 고속 푸리에 변환(FFT: Fast Fourier transform) 표현과 같은 스펙트럼 표현이 계산된다. 다음에 단계(1204)에서, 예컨대 최적 평활화에 의한 최소 통계 접근법에 의해 또는 임의의 다른 잡음 추정기 처리에 의해 타깃 스펙트럼 형상이 도출된다. 다음에, 블록(1206)으로 표시된 바와 같이 타깃 스펙트럼 형상이 LPC 표현으로 변환되고, 결국 ISF 도메인에서 타깃 스펙트럼 형상을 얻기 위해 블록(1208)으로 개요가 기술된 바와 같이 마지막으로 LPC 표현이 ISF 인자로 변환되며, 이러한 타깃 스펙트럼 형상은 다음에 대체 LPC 표현을 생성하기 위한 LPC 표현 생성기에 의해 직접 사용될 수 있다. 본 출원의 식들에서, ISF 도메인의 타깃 스펙트럼 형상은 "ISFcng"로 표시된다.
도 12b에 예시된 선호되는 실시예에서는, 예를 들어 최소 통계 접근 방식 및 최적 평활화에 의해 타깃 스펙트럼 형상이 도출된다. 다음에 단계(1212)에서, 예를 들어 타깃 스펙트럼 형상에 역 FFT를 적용함으로써 시간 도메인 표현이 계산된다. 다음에, 레빈슨-더빈 반복을 사용함으로써 LPC 계수들이 계산된다. 그러나 블록(1214)의 LPC 계수들의 계산은 또한 언급한 레빈슨-더빈 반복 외에도 임의의 다른 프로시저에 의해 수행될 수 있다. 다음에 단계(1216)에서, 최종 ISF 인자가 계산되어, LPC 표현 생성기(100)에 의해 사용될 잡음 추정치(ISFcng)를 얻는다.
그 다음, 예를 들어, 도 8에 예시된 프로시저에 대해 단일 LPC 대체 표현의 계산(1308)과 관련하여 잡음 추정치의 사용을 예시하기 위해 또는 도 1에 예시된 실시예에 대해 블록(1310)으로 표시된 것과 같이 개별 코드북들에 대한 개별 LPC 표현들을 계산하기 위해 도 13이 논의된다.
단계(1300)에서, 2개 또는 3개의 마지막 양호한 프레임들의 평균값이 계산된다. 단계(1302)에서, 마지막 양호한 프레임 LPC 표현이 제공된다. 더욱이, 단계(1304)에서 예를 들어, 개별 신호 분석기에 의해 제어될 수 있는 페이딩 인자가 제공되는데, 개별 신호 분석기는 예를 들어 도 2의 오류 은닉 제어기(200)에 포함될 수 있다. 다음에, 단계(1306)에서 잡음 추정치가 계산되며, 단계(1306)의 프로시저는 도 12a 및 도 12b에 예시된 프로시저들 중 임의의 프로시저에 의해 수행될 수 있다.
단일 LPC 대체 표현의 계산과 관련하여, 블록들(1300, 1304, 1306)의 출력들이 계산기(1308)에 제공된다. 다음에, 특정 개수의 분실되거나 누락된 또는 오류가 있는 프레임들/패킷들에 이어, 잡음 추정치 LPC 표현에 대한 페이딩이 얻어지는 식으로 단일 대체 LPC 표현이 계산된다.
그러나 블록(1310)에 표시된 바와 같이 개별 코드북에 대한, 예컨대 적응적 코드북 및 고정적 코드북에 대한 개별 LPC 표현들이 계산된 다음, 한편으로는 ISFA -1(LPC A)의 계산 그리고 ISFB -1(LPC B)의 계산을 위해 전에 논의된 것과 같은 프로시저가 수행된다.
본 발명은 블록들이 실제 또는 논리적 하드웨어 컴포넌트들을 표현하는 블록도들과 관련하여 설명되었지만, 본 발명은 또한 컴퓨터 구현 방법에 의해 구현될 수 있다. 후자의 경우, 블록들은 대응하는 방법 단계들을 나타내는데, 여기서 이러한 단계들은 대응하는 논리적 또는 물리적 하드웨어 블록들에 의해 수행되는 기능들을 의미한다.
일부 양상들은 장치와 관련하여 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 나타내며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다는 점이 명백하다. 비슷하게, 방법 단계와 관련하여 설명한 양상들은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계들의 일부 또는 전부가 예를 들어, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수도 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 어떤 하나 또는 그보다 많은 단계가 이러한 장치에 의해 실행될 수도 있다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적으로 판독 가능 제어 신호들이 저장된 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, 블루레이, CD, ROM, PROM 및 EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다. 따라서 디지털 저장 매체는 컴퓨터 판독 가능할 수도 있다.
본 발명에 따른 일부 실시예들은 본 명세서에서 설명한 방법들 중 하나가 수행되도록, 프로그래밍 가능 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능 제어 신호들을 갖는 데이터 반송파를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 물건이 컴퓨터 상에서 실행될 때, 방법들 중 하나를 수행하기 위해 작동하는 프로그램 코드를 갖는 컴퓨터 프로그램 물건으로서 구현될 수 있다. 프로그램 코드는 예를 들어, 기계 판독 가능 반송파 상에 저장될 수 있다.
다른 실시예들은 기계 판독 가능 반송파 상에 저장된, 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 한 실시예는 이에 따라, 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하여 그 위에 기록된 데이터 반송파(또는 디지털 저장 매체와 같은 비-일시적 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 반송파, 디지털 저장 매체 또는 레코딩된 매체는 통상적으로 유형적이고 그리고/또는 비-일시적이다.
따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 데이터 스트림 또는 시퀀스이다. 신호들의 데이터 스트림 또는 시퀀스는 예를 들어, 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시예는 처리 수단, 예를 들어 본 명세서에서 설명한 방법들 중 하나를 수행하도록 구성 또는 적응된 컴퓨터 또는 프로그래밍 가능 로직 디바이스를 포함한다.
추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수도 있다. 장치 또는 시스템은 예를 들어, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수도 있다.
일부 실시예들에서, 프로그래밍 가능 로직 디바이스(예를 들어, 필드 프로그래밍 가능 게이트 어레이)는 본 명세서에서 설명한 방법들의 기능들 중 일부 또는 전부를 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍 가능 게이트 어레이는 본 명세서에서 설명한 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
앞서 설명한 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 본 명세서에서 설명한 어레인지먼트들 및 세부사항들의 수정들 및 변형들이 다른 당업자들에게 명백할 것이라고 이해된다. 따라서 이는 본 명세서의 실시예들의 묘사 및 설명에 의해 제시된 특정 세부사항들로가 아닌, 첨부된 특허청구범위로만 한정되는 것을 취지로 한다.
참조들
[1] ITU-T G.718 Recommendation, 2006
[2] Kazuhiro Kondo, Kiyoshi Nakagawa, "A Packet Loss Concealment Method Using Recursive Linear Prediction" Department of Electrical Engineering, Yamagata University, Japan.
[3] R. Martin, Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics, IEEE Transactions on speech and audio processing, vol. 9, no. 5, July 2001
[4] Ralf Geiger et. al., Patent application US20110173011 A1, Audio Encoder and Decoder for Encoding and Decoding Frames of a Sampled Audio Signal
[5] 3GPP TS 26.190; Transcoding functions; - 3GPP technical specification
Claims (15)
- 오류 은닉 신호를 발생시키기 위한 장치로서,
대체 선형 예측 코딩(LPC: linear prediction coding) 표현을 생성하기 위한 LPC 표현 생성기(100);
상기 LPC 표현들로부터 이득 정보를 계산하기 위한 이득 계산기(600);
상기 이득 정보를 사용하여 상기 대체 LPC 표현의 이득 영향을 보상하기 위한 보상기(406, 408); 및
상기 오류 은닉 신호를 얻기 위해 상기 대체 LPC 표현을 사용하여 코드북 정보를 필터링하기 위한 LPC 합성기(106, 108)를 포함하며,
상기 보상기(406, 408, 900)는 상기 코드북 정보 또는 LPC 합성 출력 신호를 가중하도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 1 항에 있어서,
상기 이득 계산기(600)는,
상기 오류 은닉의 시작 이전 마지막 양호한 LPC 표현과 관련된 마지막 양호한 프레임(700) 전력 정보;
상기 대체 LPC 정보(702)로부터의 전력 정보;
상기 마지막 양호한 전력 정보(704)를 사용하는 이득 값을 계산하도록 구성되며,
상기 보상기(406, 408, 900)는 상기 이득 값을 사용하여 보상하도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 2 항에 있어서,
상기 이득 계산기(600)는 상기 LPC 대체 표현의 임펄스 응답(716)을 계산하고 상기 임펄스 응답으로부터 rms 값(718)을 계산하여 상기 전력 정보를 얻도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 이득 계산기(600)는 다음 식을 기초로 상기 이득을 계산하도록 구성되며:
rmsnew는 상기 LPC 대체 표현의 rms 값이고,
t는 시간 변수이며,
T는 3 내지 8㎳ 또는 프레임 크기 미만인 미리 결정된 시간 값이고,
imp_resp는 표현으로부터 도출되는 임펄스 응답이고,
rmsold는 상기 마지막 양호한 프레임으로부터 도출되는 rms 값인,
오류 은닉 신호를 발생시키기 위한 장치. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
적응적 코드북 정보를 제공하기 위한 적응적 코드북(102);
고정적 코드북 정보를 제공하기 위한 고정적 코드북(104);
상기 적응적 코드북 정보를 가중하기 위한 적응적 코드북 가중치 부여기(weighter)(402), 상기 고정적 코드북 정보를 가중하기 위한 고정적 코드북 가중치 부여기(404)를 더 포함하며,
상기 보상기(406, 408)는 상기 적응적 코드북 가중치 부여기(402) 또는 상기 고정적 코드북 가중치 부여기(404)의 출력 또는 상기 적응적 코드북 가중치 부여기 및 상기 고정적 코드북 가중치 부여기의 출력들의 합을 처리하도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 5 항에 있어서,
상기 적응적 코드북 가중치 부여기(402)와 상기 보상기(406) 또는 상기 고정적 코드북 가중치 부여기(404)와 상기 보상기(408)는 단일 조종 정보를 사용하여 신호를 조종하기 위한 조종기(1004)에 의해 구현되며,
상기 단일 조종 정보는 코드북 가중치 부여기 정보 및 보상기 정보로부터 도출되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 5 항 또는 제 6 항에 있어서,
코드북 가중치 부여기들은 대응하는 마지막 양호한 수신 코드북 이득들로부터 도출된 대응하는 대체 코드북 이득들을 적용하도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 1 항 내지 제 7 항 중 한 항에 있어서,
상기 LPC 표현 생성기는 추가 대체 LPC 표현을 생성하도록 구성되고,
상기 LPC 합성기는 상기 추가 대체 LPC 표현을 사용하여 추가 코드북 정보를 필터링하도록 구성되며,
상기 장치는 LPC 합성기 출력들을 대체하기 위한 대체 신호 결합기(110)를 더 포함하는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 8 항에 있어서,
상기 제 1 코드북 정보를 제공하기 위한 적응적 코드북(102); 및
상기 제 2 코드북 정보를 제공하기 위한 고정적 코드북(104)을 더 포함하는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 9 항에 있어서,
상기 고정적 코드북(104)은 상기 오류 은닉을 위해 잡음 신호(112)를 제공하도록 구성되고,
상기 적응적 코드북(102)은 적응적 코드북 콘텐츠 또는 이전의 고정적 코드북 콘텐츠와 결합된 적응적 코드북 콘텐츠를 제공하도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 10 항에 있어서,
상기 LPC 표현 생성기(100)는,
하나 또는 적어도 2개의 비-오류 선행 LPC 표현들을 사용하여 상기 제 1 대체 LPC 표현을 생성하도록, 그리고
잡음 추정치 및 적어도 하나의 비-오류 선행 LPC 표현을 사용하여 상기 제 2 대체 LPC 표현을 생성하도록 구성되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 11 항에 있어서,
상기 LPC 표현 생성기(100)는 적어도 2개의 마지막 양호한 프레임들(130)의 평균값 및 상기 평균값과 상기 마지막 양호한 프레임(136)의 가중된 합을 사용하여 상기 제 1 대체 LPC 표현을 생성하도록 구성되며,
상기 가중된 합의 제 1 가중 계수는 연속한 오류 또는 손실 프레임들에 걸쳐 변경되고,
상기 LPC 계수 생성기는 마지막 양호한 프레임(114)과 상기 잡음 추정치(140)의 가중된 합(146)만을 사용하여 상기 제 2 대체 LPC 표현을 생성하도록 구성되며,
상기 가중된 합의 제 2 가중 계수는 연속한 오류 또는 손실 프레임들에 걸쳐 변경되는,
오류 은닉 신호를 발생시키기 위한 장치. - 제 11 항 또는 제 12 항에 있어서,
하나 또는 그보다 많은 선행하는 양호한 프레임들(208)로부터 상기 잡음 추정치를 추정하기 위한 잡음 추정기(206)를 더 포함하는,
오류 은닉 신호를 발생시키기 위한 장치. - 오류 은닉 신호를 발생시키는 방법으로서,
대체 LPC 표현을 생성하는 단계(100);
상기 LPC 표현들로부터 이득 정보를 계산하는 단계(600);
상기 이득 정보를 사용하여 상기 대체 LPC 표현의 이득 영향을 보상하는 단계(406, 408); 및
상기 오류 은닉 신호를 얻기 위해 상기 대체 LPC 표현을 사용하여 코드북 정보를 필터링하는 단계(106, 108)를 포함하며,
상기 보상하는 단계(406, 408, 900)는 상기 코드북 정보 또는 LPC 합성 출력 신호를 가중하도록 구성되는,
오류 은닉 신호를 발생시키는 방법. - 컴퓨터 또는 프로세서 상에서 실행될 때, 제 14 항의 방법을 수행하기 위한,
컴퓨터 프로그램.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14160774.7 | 2014-03-19 | ||
| EP14160774 | 2014-03-19 | ||
| EP14167005 | 2014-05-05 | ||
| EP14167005.9 | 2014-05-05 | ||
| EP14178769.7 | 2014-07-28 | ||
| EP14178769.7A EP2922056A1 (en) | 2014-03-19 | 2014-07-28 | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
| PCT/EP2015/054490 WO2015139958A1 (en) | 2014-03-19 | 2015-03-04 | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187005948A Division KR101986087B1 (ko) | 2014-03-19 | 2015-03-04 | 전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160132452A true KR20160132452A (ko) | 2016-11-18 |
| KR101889721B1 KR101889721B1 (ko) | 2018-08-20 |
Family
ID=51228339
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167028282A KR101889721B1 (ko) | 2014-03-19 | 2015-03-04 | 전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 |
| KR1020187005948A KR101986087B1 (ko) | 2014-03-19 | 2015-03-04 | 전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187005948A KR101986087B1 (ko) | 2014-03-19 | 2015-03-04 | 전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 |
Country Status (18)
| Country | Link |
|---|---|
| US (3) | US10224041B2 (ko) |
| EP (2) | EP2922056A1 (ko) |
| JP (3) | JP6525444B2 (ko) |
| KR (2) | KR101889721B1 (ko) |
| CN (2) | CN111370005B (ko) |
| AU (1) | AU2015233708B2 (ko) |
| BR (1) | BR112016020866B1 (ko) |
| CA (1) | CA2942698C (ko) |
| ES (1) | ES2664391T3 (ko) |
| HK (1) | HK1232334A1 (ko) |
| MX (1) | MX357493B (ko) |
| MY (1) | MY177216A (ko) |
| PL (1) | PL3120349T3 (ko) |
| PT (1) | PT3120349T (ko) |
| RU (1) | RU2651217C1 (ko) |
| SG (1) | SG11201607698TA (ko) |
| TW (1) | TWI581253B (ko) |
| WO (1) | WO2015139958A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2922055A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information |
| EP2922056A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
| EP2922054A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
| ES2874629T3 (es) * | 2016-03-07 | 2021-11-05 | Fraunhofer Ges Forschung | Unidad de ocultación de error, decodificador de audio y método y programa informático relacionados que desvanecen una trama de audio ocultada según factores de amortiguamiento diferentes para bandas de frecuencia diferentes |
| RU2712093C1 (ru) | 2016-03-07 | 2020-01-24 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Блок маскирования ошибок, аудиодекодер и соответствующие способ и компьютерная программа, использующие характеристики декодированного представления надлежащим образом декодированного аудиокадра |
| US10249305B2 (en) * | 2016-05-19 | 2019-04-02 | Microsoft Technology Licensing, Llc | Permutation invariant training for talker-independent multi-talker speech separation |
| WO2020164751A1 (en) | 2019-02-13 | 2020-08-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and decoding method for lc3 concealment including full frame loss concealment and partial frame loss concealment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100070271A1 (en) * | 2000-09-05 | 2010-03-18 | France Telecom | Transmission error concealment in audio signal |
| EP2518986A1 (en) * | 2011-07-25 | 2012-10-31 | Huawei Technologies Co. Ltd. | A device and method for controlling echo in parameter domain |
Family Cites Families (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3316945B2 (ja) * | 1993-07-22 | 2002-08-19 | 松下電器産業株式会社 | 伝送誤り補償装置 |
| US5574825A (en) | 1994-03-14 | 1996-11-12 | Lucent Technologies Inc. | Linear prediction coefficient generation during frame erasure or packet loss |
| US6208962B1 (en) * | 1997-04-09 | 2001-03-27 | Nec Corporation | Signal coding system |
| JP3649854B2 (ja) * | 1997-05-09 | 2005-05-18 | 松下電器産業株式会社 | 音声符号化装置 |
| CN1134762C (zh) | 1998-05-27 | 2004-01-14 | Ntt移动通信网株式会社 | 语音译码器和语音译码方法 |
| US6240386B1 (en) * | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
| US7072832B1 (en) * | 1998-08-24 | 2006-07-04 | Mindspeed Technologies, Inc. | System for speech encoding having an adaptive encoding arrangement |
| US6260010B1 (en) * | 1998-08-24 | 2001-07-10 | Conexant Systems, Inc. | Speech encoder using gain normalization that combines open and closed loop gains |
| US7423983B1 (en) | 1999-09-20 | 2008-09-09 | Broadcom Corporation | Voice and data exchange over a packet based network |
| JP4218134B2 (ja) | 1999-06-17 | 2009-02-04 | ソニー株式会社 | 復号装置及び方法、並びにプログラム提供媒体 |
| US7110947B2 (en) | 1999-12-10 | 2006-09-19 | At&T Corp. | Frame erasure concealment technique for a bitstream-based feature extractor |
| US6757654B1 (en) | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
| US7031926B2 (en) | 2000-10-23 | 2006-04-18 | Nokia Corporation | Spectral parameter substitution for the frame error concealment in a speech decoder |
| JP2002202799A (ja) | 2000-10-30 | 2002-07-19 | Fujitsu Ltd | 音声符号変換装置 |
| US6968309B1 (en) | 2000-10-31 | 2005-11-22 | Nokia Mobile Phones Ltd. | Method and system for speech frame error concealment in speech decoding |
| JP3806344B2 (ja) | 2000-11-30 | 2006-08-09 | 松下電器産業株式会社 | 定常雑音区間検出装置及び定常雑音区間検出方法 |
| US7472059B2 (en) * | 2000-12-08 | 2008-12-30 | Qualcomm Incorporated | Method and apparatus for robust speech classification |
| US7143032B2 (en) | 2001-08-17 | 2006-11-28 | Broadcom Corporation | Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform |
| US7272555B2 (en) * | 2001-09-13 | 2007-09-18 | Industrial Technology Research Institute | Fine granularity scalability speech coding for multi-pulses CELP-based algorithm |
| US7379865B2 (en) | 2001-10-26 | 2008-05-27 | At&T Corp. | System and methods for concealing errors in data transmission |
| JP2003295882A (ja) | 2002-04-02 | 2003-10-15 | Canon Inc | 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム |
| CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
| US20040083110A1 (en) | 2002-10-23 | 2004-04-29 | Nokia Corporation | Packet loss recovery based on music signal classification and mixing |
| JP4698593B2 (ja) * | 2004-07-20 | 2011-06-08 | パナソニック株式会社 | 音声復号化装置および音声復号化方法 |
| JP4989971B2 (ja) | 2004-09-06 | 2012-08-01 | パナソニック株式会社 | スケーラブル復号化装置および信号消失補償方法 |
| AU2006208529B2 (en) * | 2005-01-31 | 2010-10-28 | Microsoft Technology Licensing, Llc | Method for weighted overlap-add |
| FR2897977A1 (fr) | 2006-02-28 | 2007-08-31 | France Telecom | Procede de limitation de gain d'excitation adaptative dans un decodeur audio |
| JP4752612B2 (ja) | 2006-05-19 | 2011-08-17 | 株式会社村田製作所 | 突起電極付き回路基板の製造方法 |
| WO2008007700A1 (fr) * | 2006-07-12 | 2008-01-17 | Panasonic Corporation | Dispositif de décodage de son, dispositif de codage de son, et procédé de compensation de trame perdue |
| CN101366079B (zh) | 2006-08-15 | 2012-02-15 | 美国博通公司 | 用于子带预测编码的基于全带音频波形外插的包丢失隐藏 |
| KR101041895B1 (ko) | 2006-08-15 | 2011-06-16 | 브로드콤 코포레이션 | 패킷 손실 후 디코딩된 오디오 신호의 시간 워핑 |
| JP2008058667A (ja) | 2006-08-31 | 2008-03-13 | Sony Corp | 信号処理装置および方法、記録媒体、並びにプログラム |
| JP5061111B2 (ja) | 2006-09-15 | 2012-10-31 | パナソニック株式会社 | 音声符号化装置および音声符号化方法 |
| EP2088588B1 (en) | 2006-11-10 | 2013-01-09 | Panasonic Corporation | Parameter decoding device, parameter encoding device, and parameter decoding method |
| WO2008108080A1 (ja) * | 2007-03-02 | 2008-09-12 | Panasonic Corporation | 音声符号化装置及び音声復号装置 |
| WO2009047461A1 (fr) | 2007-09-21 | 2009-04-16 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite |
| CN100524462C (zh) * | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
| CN100550712C (zh) | 2007-11-05 | 2009-10-14 | 华为技术有限公司 | 一种信号处理方法和处理装置 |
| WO2009084226A1 (ja) | 2007-12-28 | 2009-07-09 | Panasonic Corporation | ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法 |
| DE102008004451A1 (de) | 2008-01-15 | 2009-07-23 | Pro Design Electronic Gmbh | Verfahren und Vorrichtung zur Emulation von Hardwarebeschreibungsmodellen zur Herstellung von Prototypen für integrierte Schaltungen |
| CN101965612B (zh) | 2008-03-03 | 2012-08-29 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| FR2929466A1 (fr) | 2008-03-28 | 2009-10-02 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique |
| US8301440B2 (en) * | 2008-05-09 | 2012-10-30 | Broadcom Corporation | Bit error concealment for audio coding systems |
| MX2011000375A (es) | 2008-07-11 | 2011-05-19 | Fraunhofer Ges Forschung | Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada. |
| DE102008042579B4 (de) | 2008-10-02 | 2020-07-23 | Robert Bosch Gmbh | Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten |
| CN102034476B (zh) * | 2009-09-30 | 2013-09-11 | 华为技术有限公司 | 语音帧错误检测的方法及装置 |
| KR101761629B1 (ko) | 2009-11-24 | 2017-07-26 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| EP2458585B1 (en) | 2010-11-29 | 2013-07-17 | Nxp B.V. | Error concealment for sub-band coded audio signals |
| KR101551046B1 (ko) | 2011-02-14 | 2015-09-07 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법 |
| JP5969513B2 (ja) | 2011-02-14 | 2016-08-17 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 不活性相の間のノイズ合成を用いるオーディオコーデック |
| US9026434B2 (en) | 2011-04-11 | 2015-05-05 | Samsung Electronic Co., Ltd. | Frame erasure concealment for a multi rate speech and audio codec |
| CN105336337B (zh) | 2011-04-21 | 2019-06-25 | 三星电子株式会社 | 针对语音信号或音频信号的量化方法以及解码方法和设备 |
| WO2012158159A1 (en) | 2011-05-16 | 2012-11-22 | Google Inc. | Packet loss concealment for audio codec |
| JP5596649B2 (ja) | 2011-09-26 | 2014-09-24 | 株式会社東芝 | 文書マークアップ支援装置、方法、及びプログラム |
| IN2015DN02595A (ko) | 2012-11-15 | 2015-09-11 | Ntt Docomo Inc | |
| US9570083B2 (en) | 2013-04-05 | 2017-02-14 | Dolby International Ab | Stereo audio encoder and decoder |
| CN103456307B (zh) * | 2013-09-18 | 2015-10-21 | 武汉大学 | 音频解码器中帧差错隐藏的谱代替方法及系统 |
| EP2922054A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
| EP2922056A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
| EP2922055A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information |
| US9837094B2 (en) | 2015-08-18 | 2017-12-05 | Qualcomm Incorporated | Signal re-use during bandwidth transition period |
-
2014
- 2014-07-28 EP EP14178769.7A patent/EP2922056A1/en not_active Withdrawn
-
2015
- 2015-03-04 MY MYPI2016001683A patent/MY177216A/en unknown
- 2015-03-04 RU RU2016140845A patent/RU2651217C1/ru active
- 2015-03-04 CA CA2942698A patent/CA2942698C/en active Active
- 2015-03-04 CN CN202010013058.5A patent/CN111370005B/zh active Active
- 2015-03-04 PT PT157101320T patent/PT3120349T/pt unknown
- 2015-03-04 AU AU2015233708A patent/AU2015233708B2/en active Active
- 2015-03-04 KR KR1020167028282A patent/KR101889721B1/ko active IP Right Grant
- 2015-03-04 MX MX2016012005A patent/MX357493B/es active IP Right Grant
- 2015-03-04 BR BR112016020866-8A patent/BR112016020866B1/pt active IP Right Grant
- 2015-03-04 CN CN201580014853.3A patent/CN106170830B/zh active Active
- 2015-03-04 KR KR1020187005948A patent/KR101986087B1/ko active IP Right Grant
- 2015-03-04 PL PL15710132T patent/PL3120349T3/pl unknown
- 2015-03-04 ES ES15710132.0T patent/ES2664391T3/es active Active
- 2015-03-04 WO PCT/EP2015/054490 patent/WO2015139958A1/en active Application Filing
- 2015-03-04 JP JP2017500142A patent/JP6525444B2/ja active Active
- 2015-03-04 SG SG11201607698TA patent/SG11201607698TA/en unknown
- 2015-03-04 EP EP15710132.0A patent/EP3120349B1/en active Active
- 2015-03-11 TW TW104107815A patent/TWI581253B/zh active
-
2016
- 2016-09-16 US US15/267,869 patent/US10224041B2/en active Active
-
2017
- 2017-06-13 HK HK17105821.5A patent/HK1232334A1/zh unknown
-
2019
- 2019-01-24 US US16/256,902 patent/US10733997B2/en active Active
- 2019-04-30 JP JP2019087035A patent/JP6761509B2/ja active Active
-
2020
- 2020-07-08 US US16/923,890 patent/US11367453B2/en active Active
- 2020-09-04 JP JP2020148639A patent/JP7116521B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100070271A1 (en) * | 2000-09-05 | 2010-03-18 | France Telecom | Transmission error concealment in audio signal |
| EP2518986A1 (en) * | 2011-07-25 | 2012-10-31 | Huawei Technologies Co. Ltd. | A device and method for controlling echo in parameter domain |
Non-Patent Citations (3)
| Title |
|---|
| Draft new ITU-T Recommendation G.VBR-EV "Frame error robust narrowband and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s" (for Consent). ITU-T. 2008.05.01.* * |
| ITU-T Recommendation G.729. Coding of Speech at 8 kbit/s using conjugate-structure algebraic-code-excited linear-prediction (CS-ACELP). ITU-T. 1996.03. * |
| ITU-T Recommendation. G.718. Frame error robust narrow-band and wideband embedded variable bit-rate coding of speechand audio from 8-32 kbit/s. ITU-T, 2008.06. * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101889721B1 (ko) | 전력 보상을 사용하여 오류 은닉 신호를 발생시키기 위한 장치, 방법 및 대응하는 컴퓨터 프로그램 | |
| JP7167109B2 (ja) | 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法 | |
| JP6913200B2 (ja) | 個別の符号帳情報についての個別の置き換えｌｐｃ表現を用いたエラー隠し信号を生成する装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |