KR101125429B1 - 오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치 - Google Patents

오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치 Download PDF

Info

Publication number
KR101125429B1
KR101125429B1 KR1020107009055A KR20107009055A KR101125429B1 KR 101125429 B1 KR101125429 B1 KR 101125429B1 KR 1020107009055 A KR1020107009055 A KR 1020107009055A KR 20107009055 A KR20107009055 A KR 20107009055A KR 101125429 B1 KR101125429 B1 KR 101125429B1
Authority
KR
South Korea
Prior art keywords
gain
signal
audio
audio signal
vector
Prior art date
Application number
KR1020107009055A
Other languages
English (en)
Other versions
KR20100063127A (ko
Inventor
제임스 피. 애슐리
조나단 에이. 깁스
우다르 미탈
Original Assignee
모토로라 모빌리티, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티, 인크. filed Critical 모토로라 모빌리티, 인크.
Publication of KR20100063127A publication Critical patent/KR20100063127A/ko
Application granted granted Critical
Publication of KR101125429B1 publication Critical patent/KR101125429B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

동작하는 동안, 코딩될 입력 신호가 수신되고 코딩되어 코딩 오디오 신호를 생산한다. 그 다음, 코딩 오디오 신호는 복수개 이득값으로 스케일링되어, 각각이 연관된 이득값을 갖는 복수개의 스케일링된 코딩 오디오 신호를 생산하고, 입력 신호와 복수개의 스케일링된 코딩 오디오 신호 각각 사이에 존재하는 복수개 오차값이 판정된다. 그 다음, 스케일링된 코딩 오디오 신호와 연관되어 입력 신호와 스케일링된 코딩 오디오 신호 사이에 존재하는 낮은 오차값을 초래하는 이득값이 선택된다. 마지막으로, 낮은 오차값은 이득값과 함께 코딩 오디오 신호에 대한 향상 계층의 일부로서 전송된다.

Description

오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING AN ENHANCEMENT LAYER WITHIN AN AUDIO CODING SYSTEM}
본 발명은 일반적으로 통신 시스템에 관한 것으로서, 좀더 구체적으로는, 그러한 통신 시스템에서 음성 및 오디오 신호를 코딩하는 것에 관한 것이다.
디지털 음성 및 오디오 신호의 압축은 잘 알려져 있다. 압축은 일반적으로, 통신 채널을 통해 신호를 효율적으로 전송하는데 필요하거나, 솔리드-스테이트(solid-state) 메모리 장치 또는 컴퓨터 하드 디스크와 같은, 디지털 미디어 장치에 압축 신호를 저장하는데 필요하다. 많은 압축(또는 "코딩") 기법이 존재하지만, 디지털 음성 코딩을 위해 여전히 평판이 좋은 한가지 방법은, "분석-합성(analysis-by-synthesis)" 코딩 알고리즘군의 하나인 CELP(Code Excited Linear Prediction)로 알려져 있다. 분석-합성은 일반적으로, 입력 신호와 비교되고 왜곡에 대해 분석되는 한 세트의 후보 신호를 합성하는데 디지털 모델의 다수 매개 변수가 사용되는 코딩 프로세스를 의미한다. 그 다음, 최저 왜곡을 산출하는 한 세트의 매개 변수가 전송되거나 저장되고, 최종적으로 원래 입력 신호의 추정치를 재구성하는데 사용된다. CELP는, 각각이 본질적으로 코드북 색인(codebook index)에 응답하여 코드북으로부터 검색되는 코드-벡터의 세트를 구비하는 하나 이상의 코드북을 사용하는 특별한 분석-합성 방법이다.
현대 CELP 코더에는, 상당히 낮은 데이터 속도에서 고품질의 음성 및 오디오 재생을 유지하는 것이 문제이다. CELP 음성 모델에 그다지 적합하지 않은 음악 또는 다른 범용 오디오 신호의 경우에 특히 그렇다. 이 경우, 모델 불합치(model mismatch)는, 그러한 방법을 이용하는 장비의 최종 사용자에게 용납될 수 없는 상당히 열화된 오디오 품질을 발생시킬 수 있다. 따라서, 낮은 비트 속도에서, 특히 음악 및 다른 비음성형 입력에 대한 CELP형 음성 코더의 성능을 향상시켜야 할 필요성이 남아 있다.
도 1은 종래 기술의 임베디드(embedded) 음성/오디오 압축 시스템의 블록도이다.
도 2는 도 1의 종래 기술의 향상 계층 인코더의 좀더 상세한 일례이다.
도 3은 도 1의 종래 기술의 향상 계층 인코더의 좀더 상세한 일례이다.
도 4는 향상 계층 인코더 및 디코더의 블록도이다.
도 5는 다중-계층 임베디드 코딩 시스템의 블록도이다.
도 6은 계층-4 인코더 및 디코더의 블록도이다.
도 7은 도 4 및 도 6의 인코더 동작을 표시하는 흐름도이다.
앞서 언급한 필요성을 해결하기 위해, 여기에서는 오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치가 설명된다. 동작 동안, 코딩될 입력 신호가 수신되고 코딩되어 코딩 오디오 신호(coded audio signal)를 생산한다. 그 다음, 코딩 오디오 신호는 복수개 이득값으로 스케일링되어, 각각이 연관된 이득값을 갖는 복수개의 스케일링된 코딩 오디오 신호를 생산하고, 입력 신호와 복수개의 스케일링된 코딩 오디오 신호 각각 사이에 존재하는 복수개 오차값이 판정된다. 그 다음, 입력 신호와 스케일링된 코딩 오디오 신호 사이에 존재하는 낮은 오차값을 초래하는, 스케일링된 코딩 오디오 신호와 연관되는 이득값이 선택된다. 마지막으로, 낮은 오차값은 이득값과 함께 코딩 오디오 신호에 대한 향상 계층의 일부로서 전송된다.
도 1에서는 종래 기술의 임베디드 음성/오디오 압축 시스템이 표시된다. 입력 오디오(s(n))는 먼저 코어 계층 인코더(102)에 의해 처리되는데, 이는 CELP형 음성 코딩 알고리즘을 위한 것일 수 있다. 인코딩된 비트-스트림은 채널(110)로 전송될 뿐만 아니라, 재구성된 코어 오디오 신호(sc(n))가 발생되는 로컬 코어 계층 디코더(104)로도 입력된다. 그 다음에는, 향상 계층 인코더(106)가 신호(s(n) 및 sc(n))의 어떤 비교에 기초해 추가 정보를 코딩하는데 사용되는데, 코어 계층 디코더(104)로부터의 매개 변수를 선택적으로 사용할 수도 있다. 코어 계층 디코더(104)에서와 같이, 코어 계층 디코더(114)는 코어 계층 비트-스트림 매개 변수를 코어 계층 오디오 신호(
Figure 112010026555402-pct00001
)로 변환한다. 그 다음, 향상 계층 디코더(116)는 채널(110)로부터의 향상 계층 비트-스트림 및 신호(
Figure 112010026555402-pct00002
)를 사용해 향상된 오디오 출력 신호(
Figure 112010026555402-pct00003
)를 생산한다.
그러한 임베디드 코딩 시스템의 주요 장점은, 특정 채널(110)이 고품질 오디오 코딩 알고리즘과 연관된 대역폭 요구 사항을 지속적으로 지원하지 않을 수 있다는 것이다. 그러나, 임베디드 코더는, 향상 계층 비트-스트림이 손실 또는 손상된 경우, 채널(110)로부터 부분적인 비트-스트림(예를 들어, 코어 계층 비트-스트림만)이 수신되게 하여, 예를 들어, 코어 출력 오디오만을 생산하게 할 수 있다. 그러나, 임베디드 대 비-임베디드 코더(embedded vs. non-embedded coders) 사이에는 그리고 상이한 임베디드 코딩 최적화 목표 사이에도 품질에서의 트레이드오프(tradeoffs)가 존재한다. 다시 말해, 향상 계층 코딩 품질이 높을수록 코어 계층과 향상 계층 사이에 좀더 양호한 균형을 실현하는데 도움이 될 수 있을 뿐만 아니라, 좀더 양호한 전송 특징(예를 들어, 감소된 정체)을 위해 전반적인 데이터 속도를 감소시킬 수 있는데, 이는 향상 계층을 위한 좀더 낮은 패킷 오류율을 초래할 수 있다.
종래 기술의 향상 계층 인코더(106)의 좀더 상세한 일례가 도 2에 제시된다. 여기에서, 오차 신호 발생기(202)는, 오차 신호 인코더(204)에 의한 처리를 위해 MDCT(Modified Discrete Cosine Transform) 도메인으로 변환되는 가중된 차이 신호로 구성된다. 오차 신호(E)는 다음의 수학식 1로서 주어지는데,
Figure 112010026555402-pct00004
여기에서, W는 코어 계층 디코더(104)로부터의 LP(Linear Prediction) 필터 계수(A(z))에 기초한 지각 가중 행렬(perceptual weighting matrix)이고, s는 입력 오디오 신호(s(n))로부터의 샘플의 벡터(즉, 프레임)이며, sc는 코어 계층 디코더(104)로부터의 샘플의 대응 벡터이다. ITU-T Recommendation G.729.1에서 예시적 MDCT 처리가 설명된다. 그 다음, 오차 신호(E)는 오차 신호 인코더(204)에 의해 처리되어 코드워드(iE)를 생산하는데, 코드워드(iE)는 그 후 채널(110)로 전송된다. 이 일례의 경우에서는, 오차 신호 인코더(106)에 단 하나의 오차 신호(E)가 제시되고 오차 신호 인코더(106)가 연관된 하나의 코드워드(iE)를 출력한다는 것에 유의하는 것이 중요하다. 그 이유는 나중에 밝혀질 것이다.
그 다음, 향상 계층 디코더(116)는 채널(110)로부터 인코딩된 비트-스트림을 수신하고 비트-스트림을 적당히 역다중화하여 코드워드(iE)를 생산한다. 오차 신호 디코더(212)는 코드워드(iE)를 사용해 향상 계층 오차 신호(
Figure 112010026555402-pct00005
)를 재구성하고, 향상 계층 오차 신호(
Figure 112010026555402-pct00006
)는 그 뒤 다음의 수학식 2와 같이 코어 계층 출력 오디오 신호(
Figure 112010026555402-pct00007
)와 조합되어 향상된 오디오 출력 신호(
Figure 112010026555402-pct00008
)를 생산하는데,
Figure 112010026555402-pct00009
여기에서, MDCT-1은 (중첩-합(overlap-add)을 포함하는) 반전 MDCT이고, W-1은 반전 지각 가중 행렬이다.
향상 계층 인코더의 다른 일례가 도 3에 표시된다. 여기에서, 오차 신호 발생기(302)에 의한 오차 신호(E)의 발생은, 코어 계층 오디오 출력(sc(n))에 대한 일부 변경이 수행되는 적응적 프리-스케일링(adaptive pre-scaling)을 수반한다. 이 처리는, 향상 계층 인코더(106)에서 코드워드(is)로서 표시된 소정 갯수의 비트가 발생되게 한다.
추가적으로, 향상 계층 인코더(106)는 오차 신호 인코더(304)로 입력되는 입력 오디오 신호(s(n)) 및 변환된 코어 계층 출력 오디오(Sc)를 표시한다. 이들 신호는 향상 계층 오차 신호(E)의 향상된 코딩을 위해 심리음향(psychoacoustic) 모델을 구성하는데 사용된다. 그 다음, 코드워드(is 및 iE)는 먹스(MUX: 308)에 의해 다중화된 다음, 향상 계층 디코더(116)에 의한 후속 디코딩을 위해 채널(110)로 송신된다. 코딩된 비트-스트림은, 비트-스트림을 성분(is 및 iE)으로 분리하는 디먹스(demux)(310)에 의해 수신된다. 그 다음, 코드워드(iE)는 오차 신호 디코더(312)에 의해 향상 계층 오차 신호(
Figure 112010026555402-pct00010
)를 재구성하는데 사용된다. 신호 조합기(314)는 스케일링 비트(is)를 사용하는 소정 방식으로 신호(
Figure 112010026555402-pct00011
)를 스케일링한 다음, 그 결과를 향상 계층 오차 신호(
Figure 112010026555402-pct00012
)와 조합하여 향상된 오디오 출력 신호(
Figure 112010026555402-pct00013
)를 생산한다.
본 발명의 제1 실시예는 도 4에서 제시된다. 이 도면은 스케일링 유닛(401)에 의해 코어 계층 출력 신호(sc(n))를 수신하는 향상 계층 인코더(406)를 표시한다. 이득의 소정 세트({g})가 복수개의 스케일링된 코어 계층 출력 신호({S})를 생산하는데 사용되는데, 여기에서, gj 및 Sj는 개개 세트의 j번째 후보이다. 스케일링 유닛(401)내에서, 제1 실시예는 신호(sc(n))를 (MDCT) 도메인에서 다음의 수학식 3과 같이 처리하는데,
Figure 112010026555402-pct00014
여기에서, W는 소정의 지각 가중 행렬일 수 있고, sc는 코어 계층 디코더(104)로부터의 샘플의 벡터이며, MDCT는 업계에 널리 공지되어 있는 연산이고, Gj는 이득 벡터 후보(gj)를 이용하는 것에 의해 형성되는 이득 행렬일 수 있으며, M은 이득 벡터 후보의 수이다. 제1 실시예에서, Gj는 벡터 gj를 대각선으로 그리고 나머지 다른 곳은 0을 (즉, 대각 행렬을) 사용하지만, 많은 가능성이 존재한다. 예를 들어, Gj는 띠행렬(band matrix)일 수 있거나 심지어 간단한 스칼라량이 곱해진 단위 행렬(I)일 수도 있다. 다른 방법으로는, 신호(Sj)를 시간 도메인에 남겨두는 것이 좀더 이로울 수 있거나, 오디오를, DFT(Discrete Fourier Transform) 도메인과 같은, 상이한 도메인으로 변환하는 것이 이로운 경우일 수도 있다. 그러한 다수 변환이 업계에 널리 공지되어 있다. 이들 경우에, 스케일링 유닛은 개개 벡터 도메인에 기초해 적합한 Sj를 출력할 수 있다.
그러나 어떤 경우에서든, 코어 계층 출력 오디오를 스케일링하는 주된 이유는, 입력 신호와 코어 계층 코덱 사이에 상당한 차이를 발생시킬 수 있는 모델 불합치(또는 다른 어떤 코딩 결함)를 보상하기 위한 것이다. 예를 들어, 입력 오디오 신호가 주로 음악 신호이고 코어 계층 코덱이 음성 모델에 기초한다면, 코어 계층 출력은 상당히 왜곡된 신호 특징을 포함할 수 있고, 이 경우, 음질의 관점에서, 신호의 추가 코딩을 적용하기 이전에 하나 이상의 향상 계층에 의해 이 신호 성분의 에너지를 선택적으로 감소시키는 것이 유익하다.
그 다음, 이득 스케일링된 코어 계층 오디오 후보 벡터(Sj) 및 입력 오디오(s(n))가 오차 신호 발생기(402)의 입력으로 사용될 수 있다. 본 발명의 바람직한 실시예에서, 입력 오디오 신호(s(n))는, S와 Sj가 상응하여 정렬되는 벡터(S)로 변환된다. 다시 말해, s(n)을 표현하는 벡터(s)는 sc와 시간(위상) 정렬되고, 대응되는 연산이 적용될 수 있는데, 그 결과 바람직한 실시예에서는 다음의 수학식 4와 같다.
Figure 112010026555402-pct00015
이 표현은, 입력 오디오와 MDCT 스펙트럼 도메인에서의 이득 스케일링된 코어 계층 출력 오디오 사이의 가중된 차이를 표현하는 복수개 오차 신호 벡터(Ej)를 산출한다. 상이한 도메인이 고려되는 다른 실시예에서, 상기 표현은 개개 처리 도메인에 기초해 변경될 수 있다.
그 다음, 본 발명의 제1 실시예에 따르면, 이득 선택기(404)가 복수개 오차 신호 벡터(Ej)를 평가하는데 사용되어 최적 오차 벡터(E*), 최적 이득 매개 변수(g*) 및, 그 결과로서, 대응되는 이득 지수(ig)를 생산한다. 이득 선택기(404)는, 폐루프 방법(예를 들어, 왜곡 메트릭(distortion metric)의 최소화), 개루프 방법(예를 들어, 경험적 분류, 모델 성능 평가 등), 또는 2가지 방법의 조합을 수반할 수 있는 다양한 방법을 사용해 최적 매개 변수(E* 및 g*)를 판정할 수 있다. 바람직한 실시예에서는, 다음의 수학식 5와 같이, 원본 오디오 신호 벡터(S)와 재구성된 복합 신호 벡터 사이의 바이어스된 에너지 차이(biased energy difference)로서 주어지는 바이어스된 왜곡 메트릭이 사용될 수 있는데,
Figure 112010026555402-pct00016
여기에서,
Figure 112010026555402-pct00017
는 오차 신호 벡터(Ej)의 정량화된 추정치일 수 있고, βj는 최적의 지각 이득 오차 지수(j*)를 선택하는 판정을 보완하는데 사용되는 바이어스 항(bias term)일 수 있다. 신호 벡터의 벡터 양자화를 위한 예시적 방법은 "APPARATUS AND METHOD FOR LOW COMPLEXITY COMBINATORIAL CODING OF SIGNALS"라는 명칭의 미국특허출원 제11/531122호에 개시되어 있지만, 다른 많은 방법이 가능하다. Ej = S - Sj라는 것을 고려하면, 수학식 5는 다음의 수학식 6으로 고쳐 쓸 수 있다.
Figure 112010026555402-pct00018
이 표현에서,
Figure 112010026555402-pct00019
항은 정량화되지 않은 오차 신호와 정량화된 오차 신호 사이의 에너지 차이를 표현한다. 명료화를 위해, 이 양을 "잔류 에너지(residual energy)"라고 할 수 있고, 더 나아가, 최적 이득 매개 변수(g*)가 선택되는 "이득 선택 기준"을 평가하는데 사용될 수 있다. 수학식 6에서 그러한 이득 선택 기준 하나가 제시되지만, 많은 가능성이 존재한다.
바이어스 항(βj)에 대한 필요성은, 수학식 3 및 수학식 4에서의 오차 가중 함수(W)가 벡터(
Figure 112010026555402-pct00020
)에 걸쳐 균등하게 지각 가능한 왜곡을 적절히 생산할 수 없는 경우로부터 발생할 수 있다. 예를 들어, 오차 스펙트럼을 어느 정도 "백색화"하려는 시도에서 오차 가중 함수(W)가 사용될 수 있지만, 사람 귀의 왜곡된 지각 때문에, 저주파수에 좀더 많은 무게를 두는 것에 어떤 이점이 있을 수 있다. 저주파수에서의 증가된 오차 가중화의 결과로서, 고주파수 신호는 향상 계층에 의해 언더-모델링(under-modeling)될 수 있다. 이들 경우에는, 고주파수의 언더-모델링이 최종적인 재구성 오디오 신호에서 불쾌하거나 부자연스러운 음향 아티팩트(sounding artifacts)를 초래하지 않도록, Sj의 고주파수 성분을 약화시키지 않는 gj의 값을 목표로 왜곡 메트릭을 바이어스하는 것이 직접적인 유익이 될 수 있다. 그러한 일례는 발화되지 않은 음성 신호(unvoiced speech signal)의 경우일 것이다. 이 경우, 입력 오디오는 대체로, 사람 입으로부터의 공기 난류로부터 생산되는 중주파수에서 고주파수의 잡음형 신호로 이루어진다. 코어 계층 인코더는 이 유형의 파형을 직접적으로 코딩하지 않지만, 잡음 모델을 사용해 유사하게 들리는 오디오 신호를 발생할 수 있다. 이것은 입력 오디오 신호와 코어 계층 출력 오디오 신호 사이에 일반적으로 낮은 상관 관계를 초래할 수 있다. 그러나, 이 실시예에서, 오차 신호 벡터(Ej)는 입력 오디오 신호와 코어 계층 오디오 출력 신호 사이의 차이에 기초한다. 이들 신호는 상관 관계가 높지 않을 수 있으므로, 오차 신호(Ej)의 에너지가 입력 오디오나 코어 계층 출력 오디오보다 반드시 낮지 않을 수도 있다. 그런 경우, 수학식 6에서의 오차 최소화는 너무 지나친 이득 스케일링을 초래할 수 있고, 너무 지나친 이득 스케일링은 잠재적인 가청 아티팩트(potential audible artifacts)를 초래할 수 있다.
다른 경우에서, 바이어스 팩터(βj)는 입력 오디오 및/또는 코어 계층 출력 오디오 신호의 다른 신호 특징에 기초할 수 있다. 예를 들어, 신호 스펙트럼의 PAR(peak-to-average ratio)이 그 신호의 고조파 컨텐츠(harmonic content)에 대한 지시를 제공할 수 있다. 음성 및 소정 유형의 음악과 같은 신호는 높은 고조파 컨텐츠를 그리고 그에 따라 높은 PAR을 가질 수 있다. 그러나, 음성 코덱을 통해 처리된 음악 신호는 코딩 모델 불합치로 인해 뒤떨어진 품질을 초래할 수 있고, 그 결과, 코어 계층 출력 신호 스펙트럼은 입력 신호 스펙트럼에 비해 감소된 PAR을 가질 수 있다. 이 경우, 코어 계층 출력 오디오가 좀더 낮은 에너지로 이득 스케일링될 수 있게 함으로써 복합 출력 오디오에 대해 향상 계층 코딩이 좀더 두드러진 효과를 가질 수 있게 하기 위해, 최소화 처리에서의 바이어스양을 감소시키는 것이 유익할 수 있다. 반대로, 소정 유형의 음성 또는 음악 입력 신호가 좀더 낮은 PAR을 나타낼 수도 있는데, 이 경우에는, 신호가 좀더 시끄럽게 지각될 수 있으므로, 오차 바이어스를 증가시키는 것에 의해, 코어 계층 출력 오디오의 스케일링을 줄이는 것이 유익할 수 있다. βj를 위한 바이어스 팩터를 발생시키기 위한 함수의 일례가 다음의 수학식 7로서 주어지는데,
Figure 112010026555402-pct00021
여기에서, λ는 소정 임계치일 수 있고, 벡터(φy)를 위한 PAR은 다음의 수학식 8로서 주어질 수 있으며,
Figure 112010026555402-pct00022
여기에서,
Figure 112010026555402-pct00023
Figure 112010026555402-pct00024
= y(k);k1≤k≤k2와 같은 y(k)의 벡터 서브세트이다.
수학식 6으로부터 최적 이득 지수(j*)가 판정된 후, 관련 코드워드(ig)가 발생되고 최적 오차 벡터(E*)가 오차 신호 인코더(410)에 송신되는데, 여기에서 E*는 (먹스(408)에 의한) 다른 코드워드와의 다중화에 적당한 형태로 코딩되고 해당 디코더에 의한 사용을 위해 전송된다. 바람직한 실시예에서, 오차 신호 인코더(408)는 FPC(Factorial Pulse Coding)를 사용한다. 이 방법은, 벡터(E*)의 코딩과 연관된 열거 처리(enumeration process)가
Figure 112010026555402-pct00025
를 발생시키는데 사용되는 벡터 발생 처리와 독립이므로, 처리 복잡도의 관점에서 유리하다.
향상 계층 디코더(416)는 이들 처리를 반전하여 향상 오디오 출력(
Figure 112010026555402-pct00026
)을 생산한다. 좀더 구체적으로, ig 및 iE가 디코더(416)에 의해 수신되고, iE는 코드워드로부터 최적 오차 벡터(E*)가 유도되는 오차 신호 디코더(412)로 송신된다. 최적 오차 벡터(E*)는, 수신된
Figure 112010026555402-pct00027
이 수학식 2에서와 같이 변경되어
Figure 112010026555402-pct00028
을 생산하는 신호 조합기(414)로 전달된다.
본 발명의 제2 실시예는 도 5에 표시된 바와 같은 다중-계층 임베디드 코딩 시스템을 수반한다. 여기에서는, 이 일례를 위해 5개의 임베디드 계층이 존재한다는 것을 알 수 있다. 계층 1 및 계층 2 모두는 음성 코덱 기반일 수 있고, 계층 3, 계층 4, 및 계층 5는 MDCT 향상 계층일 수 있다. 따라서, 인코더(502 및 503)는 인코딩된 입력 신호(s(n))를 생산하고 출력하는데 음성 코덱을 이용할 수 있다. 인코더(510, 512, 및 514)는, 인코딩된 신호에 대해 상이한 향상을 각각 출력하는 향상 계층 인코더들을 구비한다. 선행 실시예와 유사하게, 계층 3(인코더(510))을 위한 오차 신호 벡터는 다음의 수학식 9로서 주어질 수 있는데,
Figure 112010026555402-pct00029
여기에서, S = MDCT{Ws}는 가중된 변환 입력 신호이고, S2 = MDCT{Ws2}는 계층 1/2 디코더(506)로부터 발생되는 가중된 변환 신호이다. 이 실시예에서, 계층 3은 저속 양자화 계층(low rate quantization layer)일 수 있고, 그에 따라, 양자화된 대응 오차 신호(
Figure 112010026555402-pct00030
=Q{E3})를 코딩하기 위한 비교적 적은 수의 비트가 존재할 수 있다. 이러한 제약 조건하에서 우수한 품질을 제공하기 위해, E3내의 계수 중 일부만이 양자화될 수 있다. 코딩될 계수의 위치는 고정될 수도 있고 가변적일 수도 있지만, 변경될 수 있다면, 이 위치를 식별하기 위해 디코더로 추가 정보를 송신할 것이 요구될 수 있다. 예를 들어, 코딩된 위치의 범위가 ks에서 시작해 ke에서 끝난다면(0 ≤ ks < ke < N), 양자화된 오차 신호 벡터(
Figure 112010026555402-pct00031
)는 그 범위내에서만 0이 아닌 값을 그리고 그 범위를 벗어난 위치에 대해서는 0을 포함할 수 있다. 위치 및 범위 정보는, 사용되는 코딩 방법에 따라, 암시적일 수도 있다. 예를 들어, 오디오 코딩에서는, 주파수 대역이 지각적으로 중요하게 간주될 수 있다는 것과 신호 벡터의 코딩이 그 주파수에 집중할 수 있다는 것이 잘 알려져 있다. 이러한 환경에서, 코딩된 범위는 가변적일 수 있고, 주파수의 연속적인 세트에 미치지 않을 수도 있다. 그러나, 어떤 속도에서도, 이 신호가 양자화되고 나면, 코딩된 복합 출력 스펙트럼은 다음의 수학식 10으로서 구성될 수 있고,
Figure 112010026555402-pct00032
코딩된 복합 출력 스펙트럼은 이후에 계층 4 인코더(512)의 입력으로서 사용된다.
계층 4 인코더(512)는 선행 실시예의 향상 계층 인코더(406)와 유사하다. 이득 벡터 후보(gj)를 사용해, 해당 오차 벡터는 다음의 수학식 11로서 설명될 수 있는데,
Figure 112010026555402-pct00033
여기에서, Gj는 벡터(gj)를 대각 성분으로 갖춘 이득 행렬일 수 있다. 그러나, 현재의 실시예에서, 이득 벡터(gj)는 양자화된 오차 신호 벡터(
Figure 112010026555402-pct00034
)와 다음의 방식으로 관련될 수 있다. 양자화된 오차 신호 벡터(
Figure 112010026555402-pct00035
)는, 예를 들어, 벡터 위치(ks)에서 시작해 벡터 위치(ke)에서 끝나는 것과 같이, 주파수 범위에서 제한적일 수 있으므로, 계층 3 출력 신호(S3)는 그 범위내에서 상당히 정확하게 코딩되는 것으로 추정된다. 따라서, 본 발명에 따르면, 이득 벡터(gj)는 계층 3 오차 신호 벡터, ks 및 ke의 코딩된 위치에 기초해 조정된다. 좀더 구체적으로, 그 위치에서의 신호 무결성(signal integrity)을 보존하기 위해, 해당되는 개개 이득 요소는 상수값(α)으로 설정될 수 있다. 다시 말해, 다음의 수학식 12와 같은데,
Figure 112010026555402-pct00036
여기에서, 일반적으로 0≤γj(k)≤1이고, gj(k)는 j번째 후보 벡터의 k번째 위치에 대한 이득이다. 바람직한 실시예에서, 상수값은 1(α=1)이지만, 많은 값이 가능하다. 또한, 주파수 범위는 여러 시작 및 종료 위치에 미칠 수 있다. 다시 말해, 수학식 12는, 오차 신호(
Figure 112010026555402-pct00037
)의 소정 함수에 기초하는, 가변 이득의 불연속적인 범위로 분할될 수 있고, 좀더 일반적으로 다음의 수학식 13으로서 기록될 수 있다.
Figure 112010026555402-pct00038
이 일례의 경우, 앞서 양자화된 오차 신호(
Figure 112010026555402-pct00039
)에서의 해당 위치가 0이 아닐 경우에는 고정 이득(α)이 gj(k)를 발생시키는데 사용되고,
Figure 112010026555402-pct00040
에서의 해당 위치가 0일 경우에는 이득 함수(γj(k))가 사용된다. 한가지 가능한 이득 함수가 다음의 수학식 14로서 정의될 수 있는데,
Figure 112010026555402-pct00041
여기에서, Δ는 스텝 사이즈(step size;예를 들어, Δ
Figure 112010026555402-pct00042
2.2 dB)이고, α는 상수이며, M은 후보의 수(예를 들어, 단 2개 비트만을 사용해 표현될 수 있는 M = 4)이고, kl 및 kh는, 각각, 이득 감소가 발생할 수 있는, 저주파수 및 고주파수 컷오프이다. 매개 변수(kl 및 kh)의 도입은, 소정 주파수 범위에 대해서만 스케일링이 필요한 시스템에서 유용하다. 예를 들어, 소정 실시예에서, 고주파수는 코어 계층에 의해 적절히 모델링되지 않을 수 있으므로, 고주파수 대역내의 에너지는 본질적으로 입력 오디오 신호에서의 에너지보다 낮을 수 있다. 그런 경우, 그 영역 신호에서의 계층 3 출력을 스케일링하는 것으로부터는 혜택을 거의 또는 전혀 누릴 수 없을 수도 있는데, 결과적으로 전체 오차 신호 에너지가 증가할 수 있기 때문이다.
요약하면, 복수개 이득 벡터 후보(gj)가 앞서 코딩된 신호 벡터, 이 경우에는,
Figure 112010026555402-pct00043
의 코딩된 요소에 대한 소정 함수에 기초한다. 이는 일반적으로 다음의 수학식 15로서 표현될 수 있다.
Figure 112010026555402-pct00044
대응되는 디코더 연산은 도 5의 오른쪽에 표시된다. 코딩된 비트 스트림의 다양한 계층(i1 내지 i5)이 수신되므로, 코어 계층(계층 1) 디코더에 비해 좀더 높은 품질의 출력 신호가 향상 계층의 계층 구조(hierarchy of enhancement layers)에 대해 구축된다. 다시 말해, 이러한 특정 실시예의 경우, 처음의 2개 계층은 시간 도메인의 음성 모델 코딩(예를 들어, CELP)으로 구성되고 나머지 3개 계층은 변환 도메인 코딩(예를 들어, MDCT)으로 구성되므로, 시스템을 위한 최종 출력(
Figure 112010026555402-pct00045
)은 다음의 수학식 16에 따라 발생되는데,
Figure 112010026555402-pct00046
여기에서,
Figure 112010026555402-pct00047
는 계층 2의 시간 도메인 향상 계층 신호이고,
Figure 112010026555402-pct00048
= MDCT{Ws2}는 계층 2 오디오 출력(
Figure 112010026555402-pct00049
)에 대응되는 가중된 MDCT 벡터이다. 이 표현에서, 전체 출력 신호(
Figure 112010026555402-pct00050
)는, 수신되는 연속 비트-스트림 계층의 최고 레벨로부터 판정될 수 있다. 이 실시예에서는, 레벨 계층이 낮을수록 채널로부터 올바르게 수신되는 확률이 좀더 높다고 가정되므로, 코드워드 세트({i1}, {i1 i2}, {i1 i2 i3} 등)가 수학식 16에서의 향상 계층 디코딩의 적합한 레벨을 판정한다.
도 6은 계층 4 인코더(512) 및 디코더(522)를 표시하는 블록도이다. 도 6에 표시된 인코더 및 디코더는, 스케일링 유닛(601 및 618)에 의해 사용되는 이득값이, 각각, 주파수 선택적 이득 발생기(603 및 616)를 통해 유도된다는 것을 제외하면, 도 4에 표시된 것과 유사하다. 동작하는 동안, 계층 3 오디오 출력(S3)이 계층 3 인코더로부터 출력되어 스케일링 유닛(601)에 의해 수신된다. 추가적으로, 계층 3 오차 벡터(
Figure 112010026555402-pct00051
)가 계층 3 인코더(510)로부터 출력되어 주파수 선택적 이득 발생기(603)에 의해 수신된다. 논의된 바와 같이, 양자화된 오차 신호 벡터(
Figure 112010026555402-pct00052
)가 주파수 범위에서 제한적일 수 있으므로, 이득 벡터(gj)는, 예를 들어, 수학식 12에서 표시된 바와 같이 위치(ks 및 ke)에 기초해 또는 수학식 13에서의 좀더 일반적 표현에 기초해 조정된다.
스케일링된 오디오(Sj)가 스케일링 유닛(601)으로부터 출력되어 오차 신호 발생기(602)에 의해 수신된다. 앞서 논의된 바와 같이, 오차 신호 발생기(602)는 입력 오디오 신호(S)를 수신하고 스케일링 유닛(601)에 의해 이용되는 스케일링 벡터 각각에 대한 오차값(Ej)을 판정한다. 이들 오차 벡터는 최적 이득값(g*)에 기초한 오차 벡터 및 특정 오차(E*)를 판정하는데 사용되는 이득값과 함께 이득 선택기 회로(604)로 전달된다. 최적 이득(g*)을 표현하는 코드워드(ig)가, 최적 오차 벡터(E*)와 함께, 이득 선택기(604)로부터 출력되고, 최적 오차 벡터(E*)는, 코드워드(iE)가 판정되고 출력되는 인코더(610)로 전달된다. ig 및 iE 양자는 다중화기(608)로 출력되고 채널(110)을 통해 계층 4 디코더(522)로 전송된다.
계층 4 디코더(522)의 동작 동안, ig 및 iE가 수신되고 역다중화된다. 이득 코드워드(ig) 및 계층 3 오차 벡터(
Figure 112010026555402-pct00053
)는 주파수 선택적 이득 발생기(616)의 입력으로 사용되어 인코더(512)의 대응되는 방법에 따라 이득 벡터(g*)를 생산한다. 그 다음, 이득 벡터(g*)는 스케일링 유닛(618)내의 재구성된 계층 3 오디오 벡터(
Figure 112010026555402-pct00054
)에 적용된 다음, 스케일링 유닛(618)의 출력은, 코드워드(iE)의 디코딩을 통해 오차 신호 디코더(612)로부터 획득된 계층 4 향상 계층 오차 벡터(E*)와 조합되어 재구성된 계층 4 오디오 출력(
Figure 112010026555402-pct00055
)을 생산한다.
도 7은 본 발명의 제1 및 제2 실시예에 따른 인코더의 동작을 표시하는 흐름도이다. 앞서 논의된 바와 같이, 양자의 실시예는, 인코딩된 오디오를 복수개 스케일링 값으로 스케일링한 다음 최저 오차를 초래하는 스케일링 값을 선택하는 향상 계층을 이용한다. 그러나, 본 발명의 제2 실시예에서는, 주파수 선택적 이득 발생기(603)가 이득 값을 발생시키는데 이용된다.
논리 흐름은, 코어 계층 인코더가 코딩될 입력 신호를 수신하고 입력 신호를 코딩하여 코딩 오디오 신호를 생산하는 단계 701에서 시작한다. 향상 계층 인코더(406)는 코딩 오디오 신호(sc(n))를 수신하고 스케일링 유닛(401)은 코딩 오디오 신호를 복수개 이득값으로 스케일링하여, 각각이 연관된 이득값을 갖는 복수개의 스케일링된 코딩 오디오 신호를 생산한다(단계 703). 단계 705에서는, 오차 신호 발생기(402)가 입력 신호와 복수개의 스케일링된 코딩 오디오 신호 사이에 존재하는 복수개 오차값을 판정한다. 그 다음에는, 이득 선택기(404)가 복수개 이득값으로부터 이득값을 선택한다(단계 707). 앞서 논의된 바와 같이, 이득값(g*)은, 입력 신호와 스케일링된 코딩 오디오 신호 사이에 존재하는 낮은 오차값(E*)을 초래하도록, 스케일링된 코딩 오디오 신호와 연관된다. 마지막으로, 단계 709에서는, 전송기(418)가 이득값(g*)과 함께 낮은 오차값(E*)을 코딩 오디오 신호에 대한 향상 계층의 일부로서 전송한다. 당업자라면, E*와 g* 모두가 전송 이전에 적절히 인코딩된다는 것을 알 수 있을 것이다.
앞서 논의된 바와 같이, 수신기측에서는, 코딩 오디오 신호가 향상 계층과 함께 수신될 것이다. 향상 계층은, 이득값(g*) 및 이득값과 연관된 오차 신호(E*)를 구비하는, 코딩 오디오 신호에 대한 향상이다.
특정 실시예를 참조하여 본 발명이 구체적으로 표시되고 설명되었지만, 당업자라면, 본 발명의 정신 및 범위를 벗어나지 않으면서 형태 및 세부 사항에서의 다양한 변경이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 상기 기술은 통신 시스템에서 채널을 통해 전송하고 수신하는 관점으로 설명되지만, 이들 기술은, 솔리드-스테이트 메모리 장치 또는 컴퓨터 하드 디스크와 같은, 디지털 미디어 장치에 대한 저장 요구 사항을 감소시킬 목적으로 신호 압축 시스템을 사용하는 시스템에도 동일하게 적용될 수 있다. 그러한 변화는 다음 청구항의 범위내에 해당될 것이다.

Claims (15)

  1. 오디오 인코더가 신호의 코딩을 임베드(embed)하는 방법으로서,
    상기 오디오 인코더가, 코딩될 입력 신호를 수신하는 단계;
    상기 오디오 인코더가, 상기 입력 신호를 코딩하여 재구성(reconstructed) 오디오 신호를 생산하는 단계;
    상기 오디오 인코더가, 상기 재구성 오디오 신호를 복수개 이득값으로 스케일링하여, 각각이 연관된 이득값을 갖는 복수개의 스케일링된 재구성 오디오 신호를 생산하는 단계;
    상기 오디오 인코더가, 상기 입력 신호 및 상기 복수개의 스케일링된 재구성 오디오 신호 각각에 기초해 복수개 오차값을 판정하는 단계;
    상기 오디오 인코더가, 상기 복수개 오차값에 기초해 상기 복수개 이득값으로부터 이득값을 선택하는 단계; 및
    상기 오디오 인코더가, 상기 이득값을 코딩된 오디오 신호에 대한 향상 계층(enhancement layer)의 일부로서 전송하거나 저장하는 단계
    를 포함하는, 오디오 인코더가 신호의 코딩을 임베드하는 방법.
  2. 제1항에 있어서,
    상기 복수개 이득값은 주파수 선택적 이득값들(frequency selective gain values)을 포함하는, 오디오 인코더가 신호의 코딩을 임베드하는 방법.
  3. 제1항에 있어서,
    상기 복수개 이득값은 앞서 인코딩된 신호 계층의 함수인 오디오 인코더가 신호의 코딩을 임베드하는 방법.
  4. 삭제
  5. 삭제
  6. 오디오 디코더가 코딩된 오디오 신호 및 상기 코딩된 오디오 신호에 대한 향상을 수신하는 방법으로서,
    상기 오디오 디코더가, 상기 코딩된 오디오 신호를 수신하는 단계;
    상기 오디오 디코더가, 상기 코딩된 오디오 신호에 대한 향상을 수신하는 단계 - 상기 코딩된 오디오 신호에 대한 향상은 이득값 및 상기 이득값과 연관된 오차 신호를 포함하고, 상기 이득값은 송신기에 의해 복수개 이득값으로부터 선택되고, 상기 이득값은 오디오 신호와 스케일링된 재구성 오디오 신호 사이에 존재하는 특정 오차값을 초래하는 상기 스케일링된 재구성 오디오 신호와 연관됨 - ; 및
    상기 오디오 디코더가, 상기 이득값 및 상기 오차값에 기초해 상기 코딩된 오디오 신호를 향상시키는 단계
    를 포함하고,
    상기 이득값은 주파수 선택적 이득값을 포함하고,
    상기 주파수 선택적 이득값들은,
    Figure 112011065019816-pct00056
    이고,
    여기에서, 일반적으로 0≤
    Figure 112011065019816-pct00069
    ≤1이고 gj(k)는 j번째 후보 벡터의 k번째 위치의 이득인, 오디오 디코더가 코딩된 오디오 신호 및 상기 코딩된 오디오 신호에 대한 향상을 수신하는 방법.
  7. 코딩될 입력 신호를 수신하고 상기 입력 신호를 코딩하여 재구성 오디오 신호를 생산하는 인코더;
    상기 재구성 오디오 신호를 복수개 이득값으로 스케일링하여, 각각이 연관된 이득값을 갖는 복수개의 스케일링된 재구성 오디오 신호를 생산하는 스케일링 유닛;
    상기 입력 신호와 상기 복수개의 스케일링된 재구성 오디오 신호 각각 사이에 존재하는 복수개 오차값을 판정하는 오차 신호 발생기;
    상기 복수개 이득값으로부터 이득값을 선택하는 이득 선택기 - 상기 이득값은 상기 입력 신호와 상기 스케일링된 재구성 오디오 신호 사이에 존재하는 상기 복수개 오차값에 기초하여 선택됨 - ; 및
    상기 선택된 이득값을 코딩된 오디오 신호에 대한 향상 계층의 일부로서 전송하는 송신기
    를 포함하는 장치.
  8. 제7항에 있어서,
    상기 복수개 이득값은 주파수 선택적 이득값들을 포함하는 장치.
  9. 제8항에 있어서,
    상기 주파수 선택적 이득값들은,
    Figure 112011065019816-pct00057
    이고,
    여기에서, 일반적으로 0≤≤1이고 gj(k)는 j번째 후보 벡터의 k번째 위치의 이득인 장치.
  10. 삭제
  11. 삭제
  12. 디코더가 다중-계층 인코딩된 오디오 신호를 디코딩하는 방법으로서,
    상기 디코더가, 제1 신호 디코더로부터 제1 재구성 오디오 벡터(
    Figure 112011065019816-pct00058
    )를 수신하는 단계;
    상기 디코더가, 제1 향상 계층 디코더로부터 제1 주파수 도메인 오차 벡터(
    Figure 112011065019816-pct00059
    )를 수신하는 단계;
    상기 디코더가, 적어도 상기 제1 주파수 도메인 오차 벡터에 기초해 주파수 선택적 이득 벡터(g*)를 발생시키는 단계;
    상기 디코더가, 상기 제1 재구성 오디오 신호를 상기 주파수 선택적 이득 벡터로 스케일링하여 스케일링된 재구성 오디오 신호를 생산하는 단계;
    상기 디코더가, 제2 향상 계층 디코더에게 입력하기 위한 코드워드(iE)를 수신하여 제2 향상 계층 오차 벡터(E*)를 생산하는 단계; 및
    상기 디코더가, 상기 스케일링된 재구성 오디오 신호를 상기 제2 향상 계층 오차 벡터와 조합하여 디코딩된 다중-계층 오디오 신호 출력(
    Figure 112011065019816-pct00060
    )을 생산하는 단계
    를 포함하는 신호 디코딩 방법.
  13. 제12항에 있어서,
    상기 주파수 도메인은 MDCT 도메인을 포함하는 신호 디코딩 방법.
  14. 제12항에 있어서,
    상기 주파수 선택적 이득 벡터를 발생시키는 단계는,
    이득 코드워드(ig)를 수신하는 단계; 및
    상기 이득 코드워드 및 상기 제1 주파수 도메인 오차 벡터에 기초해 상기 주파수 선택적 이득 벡터를 발생시키는 단계
    를 더 포함하는 신호 디코딩 방법.
  15. 제12항에 있어서,
    상기 주파수 선택적 이득 벡터는 gj(k)를 포함하며, 상기 gj(k)는 j번째 후보 벡터의 k번째 주파수 성분의 이득인 신호 디코딩 방법.
KR1020107009055A 2007-10-25 2008-09-25 오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치 KR101125429B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US98256607P 2007-10-25 2007-10-25
US60/982,566 2007-10-25
US12/187,423 2008-08-07
US12/187,423 US8209190B2 (en) 2007-10-25 2008-08-07 Method and apparatus for generating an enhancement layer within an audio coding system
PCT/US2008/077693 WO2009055192A1 (en) 2007-10-25 2008-09-25 Method and apparatus for generating an enhancement layer within an audio coding system

Publications (2)

Publication Number Publication Date
KR20100063127A KR20100063127A (ko) 2010-06-10
KR101125429B1 true KR101125429B1 (ko) 2012-03-28

Family

ID=39930381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107009055A KR101125429B1 (ko) 2007-10-25 2008-09-25 오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치

Country Status (8)

Country Link
US (1) US8209190B2 (ko)
EP (1) EP2206112A1 (ko)
KR (1) KR101125429B1 (ko)
CN (1) CN101836252B (ko)
BR (1) BRPI0817800A8 (ko)
MX (1) MX2010004479A (ko)
RU (1) RU2469422C2 (ko)
WO (1) WO2009055192A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059154A1 (en) * 2006-09-01 2008-03-06 Nokia Corporation Encoding an audio signal
US7461106B2 (en) 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US8515767B2 (en) * 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
US7889103B2 (en) * 2008-03-13 2011-02-15 Motorola Mobility, Inc. Method and apparatus for low complexity combinatorial coding of signals
US20090234642A1 (en) * 2008-03-13 2009-09-17 Motorola, Inc. Method and Apparatus for Low Complexity Combinatorial Coding of Signals
US8639519B2 (en) 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
US8200496B2 (en) * 2008-12-29 2012-06-12 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8175888B2 (en) 2008-12-29 2012-05-08 Motorola Mobility, Inc. Enhanced layered gain factor balancing within a multiple-channel audio coding system
US8140342B2 (en) * 2008-12-29 2012-03-20 Motorola Mobility, Inc. Selective scaling mask computation based on peak detection
US8219408B2 (en) * 2008-12-29 2012-07-10 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
EP2249333B1 (en) * 2009-05-06 2014-08-27 Nuance Communications, Inc. Method and apparatus for estimating a fundamental frequency of a speech signal
FR2947944A1 (fr) * 2009-07-07 2011-01-14 France Telecom Codage/decodage perfectionne de signaux audionumeriques
US8149144B2 (en) * 2009-12-31 2012-04-03 Motorola Mobility, Inc. Hybrid arithmetic-combinatorial encoder
US8442837B2 (en) * 2009-12-31 2013-05-14 Motorola Mobility Llc Embedded speech and audio coding using a switchable model core
US8280729B2 (en) * 2010-01-22 2012-10-02 Research In Motion Limited System and method for encoding and decoding pulse indices
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
ES2656815T3 (es) 2010-03-29 2018-02-28 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung Procesador de audio espacial y procedimiento para proporcionar parámetros espaciales en base a una señal de entrada acústica
WO2011155144A1 (ja) 2010-06-11 2011-12-15 パナソニック株式会社 復号装置、符号化装置及びこれらの方法
KR20130108281A (ko) * 2010-09-10 2013-10-02 파나소닉 주식회사 부호화 장치 및 부호화 방법
EP2733699B1 (en) * 2011-10-07 2017-09-06 Panasonic Intellectual Property Corporation of America Scalable audio encoding device and scalable audio encoding method
CN103178888B (zh) * 2011-12-23 2016-03-30 华为技术有限公司 一种反馈信道状态信息的方法及装置
US9129600B2 (en) 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
PT2951825T (pt) 2013-01-29 2022-02-02 Fraunhofer Ges Forschung Aparelho e método para geração de um sinal aprimorado em frequência utilizando suavização temporal de sub-bandas
MX347316B (es) 2013-01-29 2017-04-21 Fraunhofer Ges Forschung Aparato y método para sintetizar una señal de audio, decodificador, codificador, sistema y programa de computación.
RU2765985C2 (ru) 2014-05-15 2022-02-07 Телефонактиеболагет Лм Эрикссон (Пабл) Классификация и кодирование аудиосигналов
JP7167335B2 (ja) * 2018-10-29 2022-11-08 ドルビー・インターナショナル・アーベー 生成モデルを用いたレート品質スケーラブル符号化のための方法及び装置
US11823688B2 (en) * 2021-07-30 2023-11-21 Electronics And Telecommunications Research Institute Audio signal encoding and decoding method, and encoder and decoder performing the methods

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4560977A (en) 1982-06-11 1985-12-24 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
US4670851A (en) 1984-01-09 1987-06-02 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
US4727354A (en) 1987-01-07 1988-02-23 Unisys Corporation System for selecting best fit vector code in vector quantization encoding
JP2527351B2 (ja) 1987-02-25 1996-08-21 富士写真フイルム株式会社 画像デ―タの圧縮方法
US5067152A (en) 1989-01-30 1991-11-19 Information Technologies Research, Inc. Method and apparatus for vector quantization
EP0419752B1 (en) 1989-09-25 1995-05-10 Rai Radiotelevisione Italiana System for encoding and transmitting video signals comprising motion vectors
CN1062963C (zh) 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
WO1993018505A1 (en) 1992-03-02 1993-09-16 The Walt Disney Company Voice transformation system
US5268855A (en) 1992-09-14 1993-12-07 Hewlett-Packard Company Common format for encoding both single and double precision floating point numbers
GB9512284D0 (en) * 1995-06-16 1995-08-16 Nokia Mobile Phones Ltd Speech Synthesiser
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US5974435A (en) 1997-08-28 1999-10-26 Malleable Technologies, Inc. Reconfigurable arithmetic datapath
US6263312B1 (en) * 1997-10-03 2001-07-17 Alaris, Inc. Audio compression and decompression employing subband decomposition of residual signal and distortion reduction
DE69926821T2 (de) 1998-01-22 2007-12-06 Deutsche Telekom Ag Verfahren zur signalgesteuerten Schaltung zwischen verschiedenen Audiokodierungssystemen
US6253185B1 (en) * 1998-02-25 2001-06-26 Lucent Technologies Inc. Multiple description transform coding of audio using optimal transforms of arbitrary dimension
US6904174B1 (en) 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
US6480822B2 (en) 1998-08-24 2002-11-12 Conexant Systems, Inc. Low complexity random codebook structure
US6704705B1 (en) * 1998-09-04 2004-03-09 Nortel Networks Limited Perceptual audio coding
RU2137179C1 (ru) 1998-09-11 1999-09-10 Вербовецкий Александр Александрович Оптический цифровой страничный умножитель с плавающей точкой
US6453287B1 (en) 1999-02-04 2002-09-17 Georgia-Tech Research Corporation Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders
US6691092B1 (en) 1999-04-05 2004-02-10 Hughes Electronics Corporation Voicing measure as an estimate of signal periodicity for a frequency domain interpolative speech codec system
AU4201100A (en) 1999-04-05 2000-10-23 Hughes Electronics Corporation Spectral phase modeling of the prototype waveform components for a frequency domain interpolative speech codec system
IL129752A (en) * 1999-05-04 2003-01-12 Eci Telecom Ltd Telecommunication method and system for using same
US6236960B1 (en) 1999-08-06 2001-05-22 Motorola, Inc. Factorial packing method and apparatus for information coding
US6504877B1 (en) 1999-12-14 2003-01-07 Agere Systems Inc. Successively refinable Trellis-Based Scalar Vector quantizers
JP4149637B2 (ja) 2000-05-25 2008-09-10 株式会社東芝 半導体装置
US6304196B1 (en) 2000-10-19 2001-10-16 Integrated Device Technology, Inc. Disparity and transition density control system and method
AUPR105000A0 (en) 2000-10-27 2000-11-23 Canon Kabushiki Kaisha Method for generating and detecting marks
JP3404024B2 (ja) 2001-02-27 2003-05-06 三菱電機株式会社 音声符号化方法および音声符号化装置
JP3636094B2 (ja) * 2001-05-07 2005-04-06 ソニー株式会社 信号符号化装置及び方法、並びに信号復号装置及び方法
JP4506039B2 (ja) * 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US6950794B1 (en) * 2001-11-20 2005-09-27 Cirrus Logic, Inc. Feedforward prediction of scalefactors based on allowable distortion for noise shaping in psychoacoustic-based compression
US6662154B2 (en) 2001-12-12 2003-12-09 Motorola, Inc. Method and system for information signal coding using combinatorial and huffman codes
WO2003073741A2 (en) 2002-02-21 2003-09-04 The Regents Of The University Of California Scalable compression of audio and other signals
EP1483759B1 (en) 2002-03-12 2006-09-06 Nokia Corporation Scalable audio coding
CN100346392C (zh) * 2002-04-26 2007-10-31 松下电器产业株式会社 编码设备、解码设备、编码方法和解码方法
JP3881943B2 (ja) 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
AU2003208517A1 (en) 2003-03-11 2004-09-30 Nokia Corporation Switching between coding schemes
CN100583241C (zh) 2003-04-30 2010-01-20 松下电器产业株式会社 音频编码设备、音频解码设备、音频编码方法和音频解码方法
JP2005005844A (ja) 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
JP4123109B2 (ja) 2003-08-29 2008-07-23 日本ビクター株式会社 変調装置及び変調方法並びに復調装置及び復調方法
SE527670C2 (sv) 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
US7646875B2 (en) 2004-04-05 2010-01-12 Koninklijke Philips Electronics N.V. Stereo coding and decoding methods and apparatus thereof
US20060022374A1 (en) 2004-07-28 2006-02-02 Sun Turn Industrial Co., Ltd. Processing method for making column-shaped foam
US6975253B1 (en) 2004-08-06 2005-12-13 Analog Devices, Inc. System and method for static Huffman decoding
US7161507B2 (en) 2004-08-20 2007-01-09 1St Works Corporation Fast, practically optimal entropy coding
US20060047522A1 (en) * 2004-08-26 2006-03-02 Nokia Corporation Method, apparatus and computer program to provide predictor adaptation for advanced audio coding (AAC) system
JP4771674B2 (ja) 2004-09-02 2011-09-14 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
EP1793373A4 (en) * 2004-09-17 2008-10-01 Matsushita Electric Ind Co Ltd AUDIO CODING APPARATUS, AUDIO DECODING APPARATUS, COMMUNICATION APPARATUS, AND AUDIO CODING METHOD
EP1818911B1 (en) 2004-12-27 2012-02-08 Panasonic Corporation Sound coding device and sound coding method
US20060190246A1 (en) 2005-02-23 2006-08-24 Via Telecom Co., Ltd. Transcoding method for switching between selectable mode voice encoder and an enhanced variable rate CODEC
US7840411B2 (en) 2005-03-30 2010-11-23 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US7885809B2 (en) * 2005-04-20 2011-02-08 Ntt Docomo, Inc. Quantization of speech and audio coding parameters using partial information on atypical subsequences
FR2888699A1 (fr) 2005-07-13 2007-01-19 France Telecom Dispositif de codage/decodage hierachique
KR101295729B1 (ko) 2005-07-22 2013-08-12 프랑스 텔레콤 비트 레이트­규모 가변적 및 대역폭­규모 가변적 오디오디코딩에서 비트 레이트 스위칭 방법
US7814297B2 (en) 2005-07-26 2010-10-12 Arm Limited Algebraic single instruction multiple data processing
WO2007026763A1 (ja) 2005-08-31 2007-03-08 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them
EP1959431B1 (en) 2005-11-30 2010-06-23 Panasonic Corporation Scalable coding apparatus and scalable coding method
ATE531037T1 (de) * 2006-02-14 2011-11-15 France Telecom Vorrichtung für wahrnehmungsgewichtung bei der tonkodierung/-dekodierung
US20070239294A1 (en) * 2006-03-29 2007-10-11 Andrea Brueckner Hearing instrument having audio feedback capability
US7230550B1 (en) 2006-05-16 2007-06-12 Motorola, Inc. Low-complexity bit-robust method and system for combining codewords to form a single codeword
US7414549B1 (en) 2006-08-04 2008-08-19 The Texas A&M University System Wyner-Ziv coding based on TCQ and LDPC codes
US7461106B2 (en) 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
WO2008062990A1 (en) 2006-11-21 2008-05-29 Samsung Electronics Co., Ltd. Method, medium, and system scalably encoding/decoding audio/speech
US7761290B2 (en) 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8576096B2 (en) 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US7889103B2 (en) 2008-03-13 2011-02-15 Motorola Mobility, Inc. Method and apparatus for low complexity combinatorial coding of signals
US20090234642A1 (en) 2008-03-13 2009-09-17 Motorola, Inc. Method and Apparatus for Low Complexity Combinatorial Coding of Signals
US8639519B2 (en) 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
MX2011000369A (es) 2008-07-11 2011-07-29 Ten Forschung Ev Fraunhofer Codificador y decodificador de audio para codificar marcos de señales de audio muestreadas.
US20100088090A1 (en) 2008-10-08 2010-04-08 Motorola, Inc. Arithmetic encoding for celp speech encoders
US8175888B2 (en) 2008-12-29 2012-05-08 Motorola Mobility, Inc. Enhanced layered gain factor balancing within a multiple-channel audio coding system
US8200496B2 (en) 2008-12-29 2012-06-12 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8219408B2 (en) 2008-12-29 2012-07-10 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8140342B2 (en) 2008-12-29 2012-03-20 Motorola Mobility, Inc. Selective scaling mask computation based on peak detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kovesi, B. et al. "A scalable speech and audio coding scheme with continuous bitrate flexbility" In : Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASSP '04). IEEE International Conf*

Also Published As

Publication number Publication date
BRPI0817800A2 (pt) 2015-03-24
US8209190B2 (en) 2012-06-26
KR20100063127A (ko) 2010-06-10
CN101836252A (zh) 2010-09-15
EP2206112A1 (en) 2010-07-14
BRPI0817800A8 (pt) 2015-11-03
MX2010004479A (es) 2010-05-03
WO2009055192A1 (en) 2009-04-30
RU2469422C2 (ru) 2012-12-10
US20090112607A1 (en) 2009-04-30
CN101836252B (zh) 2016-06-15
RU2010120878A (ru) 2011-11-27

Similar Documents

Publication Publication Date Title
KR101125429B1 (ko) 오디오 코딩 시스템내에서 향상 계층을 발생시키는 방법 및 장치
JP5283046B2 (ja) ピーク検出に基づく選択的スケーリングマスク計算
KR101180202B1 (ko) 다중채널 오디오 코딩 시스템 내에 인핸스먼트 레이어를 생성하기 위한 방법 및 장치
KR101274827B1 (ko) 다수 채널 오디오 신호를 디코딩하기 위한 장치 및 방법, 및 다수 채널 오디오 신호를 코딩하기 위한 방법
JP5285162B2 (ja) ピーク検出に基づいた選択型スケーリングマスク演算
US8639519B2 (en) Method and apparatus for selective signal coding based on core encoder performance
TWI605448B (zh) 產生帶寬延伸訊號的裝置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150225

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160223

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170227

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee