KR20110040829A - 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램 - Google Patents

오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20110040829A
KR20110040829A KR20117000768A KR20117000768A KR20110040829A KR 20110040829 A KR20110040829 A KR 20110040829A KR 20117000768 A KR20117000768 A KR 20117000768A KR 20117000768 A KR20117000768 A KR 20117000768A KR 20110040829 A KR20110040829 A KR 20110040829A
Authority
KR
South Korea
Prior art keywords
spectral
band
noise
value
frequency band
Prior art date
Application number
KR20117000768A
Other languages
English (en)
Other versions
KR101518532B1 (ko
Inventor
니콜라스 레텔바흐
베른하르트 그릴
구일라우메 후쉬
스테판 게이어스베르거
마르쿠스 물트루스
해랄드 폽프
유르겐 헤어
스테판 와브닉
제랄드 슐러
젠스 허쉬펠트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40941986&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20110040829(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20110040829A publication Critical patent/KR20110040829A/ko
Application granted granted Critical
Publication of KR101518532B1 publication Critical patent/KR101518532B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Abstract

입력 오디오 신호의 변환-영역 표현에 기초하여 오디오 스트림을 제공하는 인코더는 개별 대역 이득 정보가 얻어질 수 있는 입력 오디오 신호의 복수의 주파수 대역에서 다중-대역 양자화 에러를 알도록 구성되는 양자화 에러 계산기를 포함한다. 인코더는 오디오 스트림이 주파수 대역의 오디오 컨텐츠를 기술하는 정보와 다중-대역 양자화 에러를 기술하는 정보를 포함하도록 오디오 스트림을 제공하기 위해 구성된 오디오 스트림 제공기를 포함한다.
오디오 신호의 주파수 대역의 스펙트럴 구성요소를 나타내는 부호화된 오디오 스트림에 기초하여 오디오 신호의 복호화된 표현을 제공하는 디코더는 공통 다중-대역 노이즈 세기값에 기초하여 개별 주파수 대역 이득 정보와 연관된 복수의 주파수 대역의 스펙트럴 구성성분에 노이즈를 도입하기 위해 구성된 노이즈 필러(filler)를 포함한다.

Description

오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램{AUDIO ENCODER, AUDIO DECODER, METHOD FOR ENCODING AND DECODING AN AUDIO SIGNAL. AUDIO STREAM AND COMPUTER PROGRAM}
본 발명에 따른 실시예들은 입력 오디오 신호의 변환-영역 표현에 기초하여 오디오 스트림을 공급하는 인코더와 관련된다. 본 발명에 따른 다른 실시예들은 부호화된 오디오 스트림에 기초하여 오디오 신호의 복호화된 표현을 공급하는 디코더에 관련된다. 본 발명에 따른 다른 실시예들은 오디오 신호를 부호화하는 방법과 오디오 신호를 복호화하는 방법을 제공한다. 본 발명에 따른 다른 실시예들은 오디오 스트림을 제공한다. 본 발명에 따른 다른 실시예들은 오디오 신호를 부호화하고 오디오 신호를 복호화하는 컴퓨터 프로그램을 제공한다. 대체로 본 발명에 따른 실시예들은 노이즈 필링(filling)에 관련된다.
오디오 코딩 개념은 보통 오디오 신호를 주파수 영역에서 부호화한다. 예를 들어, 이른바 AAC(Advanced Audio Coding) 개념은 서로 다른 스펙트럴 빈들(spectral bins)(또는 주파수 빈들(frequency bins)을 부호화하고, 음향심리학(psychoacoustic) 모델을 고려한다. 이러한 목적에서, 서로 다른 스펙트럴 빈에서 세기 정보는 부호화된다. 하지만, 서로 다른 스펙트럴 빈에서 세기(intensity)를 부호화하는 데 사용되는 해상도(Resolution)는 서로 다른 스펙트럴 빈의 음향 심리학적 연관성(relevance)에 따라 조정된다. 그래서, 음향심리학적 연관성이 낮은 것으로 간주되는 어떤 스펙트럴 빈들 또는 그것의 많은 수는 영으로 양자화되도록 음향 심리학적 연관성이 낮은 것으로 간주되는 어떠한 스펙트럴 빈들은 매우 낮은 세기의 해상도(resolution)로 부호화된다. 스펙트럴 빈의 세기를 영으로 양자화하는 것은 영으로 양자화된 값이 비트 레이트를 가능한 가장 작게 유지하도록 해주는 비트-초절약 방법으로 부호화될 수 있다는 장점을 가져온다.
그럼에도 불구하고, 음향 심리학적 모델은 스펙트럴 빈이 낮은 음향심리학적 연관성을 가리키는 경우 조차도, 영으로 양자화된 스펙트럴 빈은 때때로 가청 아티팩트(Artifacts)를 생성한다.
그러므로, 오디오 인코더와 오디오 디코더 모두에서 영으로 양자화된 스펙트럴 빈을 처리하고자하는 요구가 있다.
변환-영역 오디오 코딩 시스템 뿐만 아니라 스피치 코더에서 영으로 부호화된 스펙트럴 빈들을 처리하는 여러가지 방법들이 알려져 있다.
예를 들어, MPEG-4 "AAC"(Advanced Audio Coding)는 지각 노이즈 대체(Perceptual Noise Substitution, PNS) 개념을 사용한다. 지각 노이즈 대체는 노이즈만으로 완전한 스케일 팩터 대역을 채운다. 예를 들어, MPEG-4 AAC에 관련된 세부사항들은 국제 표준 ISO/IEC 14496-3(Information Technology - Coding of Audio-Visual Object-Part 3:Audio)에서 찾을 수 있다. 더욱이, AMR-WB+ 스피치 코더는 영으로 양자화된 벡터 양자화 벡터(VQ Vector)를 각각의 복소 스펙트럴 값이 랜덤한 위상에서 일정한 진폭을 가지는 랜덤 노이즈 벡터로 대신한다. 진폭은 비트스트림과 함께 전송되는 하나의 노이즈 값으로 제어된다. 예를 들어, AMR-WB+ 스피치 코더와 관련된 세부사항은 "3GPP TS 26.290 V6.3.0 (2005-06)-Technical Specification"으로 알려진 “Third Generation Partnership Project; Technical Specification Group Services and System Aspects; Audio Codec Processing Function; Extended Adaptive Multi-Rate-Wide Band(AMR-WB+) Codec; Transcoding Functions(Relaxed Six)" 명명된 기술 명세서에서 찾을 수 있다.
뿐만 아니라, EP 1 395 980 B1은 오디오 코딩 개념을 기술한다. 이 공개문서는 원래 오디오 신호로부터 들을 수는 있지만 지각적으로 연관성이 적고 부호화될 필요는 없지만 노이즈 필링 파라메터에 의해 대체될 수 있는 정보의 특정 대역을 선택하는 수단을 기술한다. 대조적으로 지각적으로 더욱 관련된 컨텐츠를 가진 신호 영역들은 완전히 부호화된다. 부호화 비트는 수신된 신호의 주파수 스펙트럴에서 빈 공간을 남기지 않고 이러한 방법으로 저장된다. 노이즈 필링 파라메터는 문제의 대역에서 RMS 신호값의 측정치이고 수신 말단(reception end)에서 문제의 주파수 대역에 주입할 노이즈의 양을 지시하는 복호화 알고리즘에 의해 사용된다.
추가의 방법들은 디코더에서 유도되지 않은 노이즈 도입(non-guided noise insertion)을 제공하고, 전송된 스펙트럴의 조성(tonality)를 고려한다.
기존의 개념은 일반적으로 청각 인상(Impression)을 열화시키는 노이즈 필링의 입상도(granularity)와 관련하여 좋지 않은 해상도로 구성되거나 추가의 비트 레이트를 필요로하는 상대적으로 많은 양의 노이즈 필링 부가 정보(noise filling side information)를 요구한다는 문제점을 가지고 온다.
위의 관점에서, 획득할 수 있는 청각 인상과 요구되는 비트 레이트 사이에 향상된 트레이드-오프를 제공하는 노이즈 필링의 향상된 개념에 대한 요구가 있다.
본 발명에 따른 일실시예는 입력 오디오 신호의 변환-영역 표현에 기초한 오디오 스트림을 제공하는 인코더를 만든다. 인코더는 개별 대역 이득 정보(예를 들어, 개별 스케일 팩터)가 얻어질 수 있는 입력 오디오 신호의 복수의 주파수 대역(예를 들어, 복수의 스케일 팩터 대역에서)에서 다중-대역 양자화 에러를 알도록 구성된 양자화 에러 계산기로 구성된다. 인코더는 오디오 스트림이 주파수 대역의 오디오 컨텐츠를 기술하는 정보와 다중-대역 양자화 에러를 기술하는 정보로 구성되도록 오디오 스트림을 제공하도록 구성된 오디오 스트림 제공기로 구성된다.
상기 전술한 인코더는 다중-대역 양자화 에러 정보의 사용이 상대적으로 작은 양의 부가 정보에 기초하여 좋은 청각 인상을 얻기 위한 가능성을 가지고 온다는 발견에 기초한다. 특히, 개별 대역 이득 정보가 얻어질 수 있는 복수의 주파수 대역을 커버하는 다중-대역 양자화 에러 정보의 사용은 대역 이득 정보에 따라 다중-대역 양자화 에러에 기초한 노이즈 값의 디코더-측 스케일링을 가능하게 한다. 따라서, 대역 이득 정보가 일반적으로 주파수 대역의 음향심리학적 연관성 또는 주파수 대역에 적용된 양자화 정확도에 상관되어 있기 때문에, 다중-대역 양자화 에러 정보는 부가 정보의 비트 레이트-비용을 낮게 유지하는 반면에 좋은 청각 인상을 제공하는 노이즈 필링의 합성을 고려한 부가정보로 정의된다.
바람직한 실시예에서, 인코더는 양자화된 스펙트럴 구성요소를 얻기 위해 서로 다른 주파수 대역의 음향심리학적 연관성에 따른 서로 다른 양자화 정확도를 사용함으로써 변환 영역 표현의 서로 다른 주파수 대역에서 스펙트럴 구성요소(예를 들어, 스펙트럴 구성요소)를 양자화하도록 구성된 양자화기로 구성되고, 서로 다른 양자화 정확도가 대역 이득 정보에 의해 반영된다. 또한, 오디오 스트림 제공기는 오디오 스트림이 대역 이득 정보를 기술하는 정보(예를 들어, 스케일 팩터의 형태로)로 구성되고 오디오 스트림이 또한 다중-대역 양자화 에러를 기술하는 정보로 구성되도록 오디오 스트림을 제공하도록 구성된다.
바람직한 실시예에서, 양자화 에러 계산기는 스펙트럴 구성요소의 대역 이득 정보에 따라 정수값 양자화 전에 수행되는 스케일링이 고려되도록 양자화된 영역에서 양자화 에러를 결정하도록 구성된다. 양자화된 영역에서 양자화 에러를 고려함으로써, 다중-대역 양자화 에러를 계산할 경우, 스펙트럴 빈의 음향심리학적 연관성은 고려된다. 예를 들어, 작은 지각적 연관성의 주파수 대역에서, 절대 양자화 에러(양자화되지 않은 영역에서)가 크도록 양자화는 거칠 수 있다. 대조적으로, 높은 음향심리학적 연관성의 스펙트럴 대역에서, 양자화는 정밀하고 양자화되지 않은 영역에서 양자화 에러는 작다. 높은 음향심리학적 연관성 및 낮은 음향심리학적 연관성의 주파수 대역에서 양자화 에러를 상대적으로 만들기 위해, 즉, 의미있는 다중-대역 양자화 에러 정보를 얻기 위해서, 바람직한 실시예에서의 양자화 에러는 (양자화되지 않은 영역보다)양자화된 영역에서 계산된다.
다른 바람직한 실시예에서, 인코더는 영으로 양자화되는 주파수 대역(예를 들어, 주파수 대역의 모든 스펙트럴 빈이 영으로 양자화되는)의 대역 이득 정보(예를 들어, 스케일 팩터)를 영으로 양자화되는 주파수 대역의 에너지와 다중-대역 양자화 에러의 에너지 사이의 비율을 나타내는 값으로 설정하도록 구성된다. 명확한 값에 대해 영으로 양자화된 주파수의 스케일 팩터를 설정함으로써, 노이즈의 에너지가 영으로 양자화된 주파수 대역의 원래 신호 에너지와 적어도 대략적으로 동일하도록 영으로 양자화된 주파수 대역을 노이즈로 채우는 것이 가능하다. 인코더에서 스케일 팩터를 조정함으로써, 복잡한 예외사항(일반적으로 부가적인 신호를 필요로 하는 것)을 다룰 필요가 없도록 디코더는 영으로 양자화되지 않는 다른 주파수 대역과 동일한 방식으로 영으로 양자화된 주파수 대역을 다룰 수 있다. 더욱이, 대역 이득 정보(예를 들어, 스케일 팩터)를 적용함으로써, 대역 이득값과 다중-대역 양자화 에러 정보의 조합은 노이즈를 필링하는 것의 편리한 결정을 감안한다.
바람직한 실시예에서, 양자화 에러 계산기는 주파수 대역이 전체적으로 영으로 양자화되는 것을 피하는 반면에 영이 아닌 값으로 양자화되는 적어도 하나의 주파수 구성요소로 구성되는 복수의 주파수 대역에서 다중-대역 양자화 에러를 알도록 구성된다. 만일 완전히 영으로 양자화된 주파수 대역이 계산에서 제외된다면 다중-대역 양자화 에러 정보는 특히 의미있다는 것이 밝혀졌다. 완전히 영으로 양자화된 주파수 대역에서, 양자화는 거칠고, 그래서 이러한 주파수 대역에서 얻어진 양자화 에러 정보는 일반적으로 특별히 의미있지는 않다. 더욱이, 완전히 영으로 양자화되지 않는 음향심리학적으로 더욱 연관된 주파수 대역에서의 양자화 에러는 디코더측에서 인간 청각에 적응적인 노이즈 필링을 감안한 더욱 의미있는 정보를 제공한다.
본 발명에 따른 실시예는 오디오 신호의 주파수 대역에서의 스펙트럴 구성요소를 나타내는 부호화된 스트림에 기초하여 오디오 신호의 복호화된 표현을 제공하는 디코더를 만든다. 디코더는 공통 다중-대역 노이즈 세기 값에 기초하여 개별 주파수 이득 정보(예를 들어, 스케일 팩터)가 연관된 복수의 주파수 대역의 스펙트럴 구성요소(예를 들어, 스펙트럴 선 값 또는, 더욱 일반적으로, 스펙트럴 빈 값)에 노이즈를 도입하도록 구성된 노이즈 필러로 구성된다.
디코더는 개별 주파수 대역 이득 정보가 서로 다른 주파수 대역에 연관되어 있는 경우, 단일한 다중-대역 노이즈 세기 값이 좋은 결과로 노이즈 필링에 적용될 수 있다는 발견에 기초한다. 따라서, 예를 들어, 개별 주파수 대역 이득 정보와 조합된 경우 단일한 공통 다중-대역 노이즈 세기 값이 사람의 음향심리학에 적응적인 방식으로 노이즈를 도입하기 위한 충분한 정보를 제공하도록 서로 다른 주파수 대역에서 도입된 노이즈의 개별 스케일링은 주파수 대역 이득 정보에 기초하여 가능하다. 그래서, 여기에 기술된 개념은 양자화된(하지만 리스케일링되지 않은) 영역에서 노이즈 필링을 적용하도록 한다. 디코더에 부가된 노이즈는 추가적인 부가 정보(주파수 대역의 음향심리학적 연관성에 따라 주파수 대역의 노이즈가 아닌 오디오 컨텐츠를 스케일링하는 것이 요구되는 부가정보를 어쨌든 넘어선)를 요구함이 없이 대역의 음향심리학적 연관성으로 스케일링될 수 있다.
바람직한 실시예에서, 노이즈 필러는 각각의 개별 스펙트럴 빈이 영으로 양자화되었는지 아닌지에 종속하여 주파수 대역의 개별 스펙트럴 빈으로 노이즈를 도입할지 여부를 개별 스펙트럴-빈 마다 선택적으로 결정하도록 구성된다. 따라서, 요구되는 부가 정보의 양을 매우 작게 하는 반면에, 노이즈 필링의 세밀한 입도(granularity)를 얻는 것을 가능하게 한다. 사실상, 노이즈 필링에 관한 훌륭한 입도를 가지는 것에 반하여, 주파수-대역-특정의 노이즈 필링 부가 정보를 전송하는 것은 필요하지 않다. 예를 들어, 만일 상기 주파수 대역의 단일 스펙트럴 선(또는 단일 스펙트럴 빈)만이 영이 아닌 세기값으로 양자화되는 경우에서만, 주파수 대역에서 대역 이득 팩터(예를 들어, 스케일 팩터)가 전송되는 것이 일반적으로 요구된다. 그래서, 만일 주파수 대역의 적어도 하나의 스펙트럴 선(또는 스펙트럴 빈)이 영이 아닌 세기로 양자화된다면, 추가의 비용없이 스케일 팩터 정보가 노이즈 필링에 사용될수 있다고 말할 수 있다. 하지만, 본 발명의 발견과 관련하여, 적어도 하나의 영이 아닌 스펙트럴 빈 세기 값이 존재하는 그러한 주파수 대역에서 정확한 노이즈 필링을 얻기 위해 주파수-대역-특정 노이즈 정보를 전송하는 것은 필요하지 않다. 더욱이, 음향심리학적으로 좋은 결과는 주파수-대역 특정된 주파수 대역 이득 정보(예를 들어, 스케일 팩터)와 조합된 다중-대역 노이즈 세기 값을 사용함으로써 얻어질 수 있다는 것이 발견되었다. 그래서, 주파수-대역-특정 노이즈 필링 정보에서 비트를 낭비하는 것이 필요하지 않다. 인간 청각 예상치에 잘 적응된 주파수-대역-특정 노이즈 필링 정보를 얻기 위해 다중-대역 노이즈 필링 정보는 어쨌든 전송된 주파수 대역 이득 정보와 조합될 수 있기 때문에 더욱이, 단일한 다중-대역 노이즈 세기 값의 전송은 충분하다.
다른 바람직한 실시예에서, 노이즈 필러는 주파수 영역 오디오 신호 표현의 제1 주파수 대역의 서로 다른 겹치거나 겹치지 않는 주파수 부분을 나타내는 복수의 스펙트럴 빈 값을 받고 주파수 영역 오디오 신호 표현의 제2 주파수 대역의 서로 다른 겹치거나 겹치지 않는 주파수 부분을 표현하는 복수의 스펙트럴 빈 값을 수신하도록 구성된다. 더욱이, 노이즈 필러는 복수의 주파수 대역의 제1 주파수 대역의 하나 이상의 스펙트럴 빈 값을 제1 스펙트럴 빈 노이즈 값으로 대체하도록 구성되고, 제1 스펙트럴 빈 노이즈 값의 크기는 다중-대역 노이즈 세기 값에 의해 결정된다. 또한, 노이즈 필러는 제2 주파수 대역의 하나 이상의 스펙트럴 빈 값을 제1 주파수 빈 노이즈 값처럼 동일한 크기를 가진 제2 스펙트럴 빈 노이즈 값으로 대체한다.
제1 및 제2 스펙트럴 빈 노이즈 값으로 대체된 대체 스펙트럴 빈 값은 서로 다른 주파수 대역 이득값으로 스케일링되도록, 제1 스펙트럴 빈 노이즈 값으로 대체된 대체 스펙트럴 빈 값, 제1 스펙트럴 빈 노이즈 값으로 대체된 대체 스펙트럴 빈 값, 제1 주파수 대역의 오디오 컨텐츠를 나타내는 제1 주파수 대역의 대체되지 않은 스펙트럴 빈 값은 제1 주파수 대역 이득 값으로 스케일링되고, 제2 스펙트럴 빈 노이즈 값으로 대체된 대체 스펙트럴 빈 값, 제2 주파수 대역의 오디오 컨텐츠를 나타내는 제2 주파수 대역의 대체되지 않은 스펙트럴 빈 값은 제2 주파수 대역 이득 값으로 스케일링 되도록 디코더는 또한 제 주파수 대역의 스케일링된 스펙트럴 빈 값을 얻기 위해 제1 주파수 대역 이득값으로 제1 주파수 대역의 스펙트럴 빈 값을 스케일링하고 제2 주파수 대역의 스케일링된 주파수 빈 값을 얻기 위해 제2 주파수 대역 이득 값으로 제2 주파수 대역의 스펙트럴 빈 값을 스케일링하도록 구성되는 스케일러를 포함한다.
본 발명에 따른 실시예에서, 노이즈 필러는 만일 주어진 주파수 대역이 영으로 양자화된다면, 노이즈 필러는 노이즈 오프셋 값을 사용하여 주어진 주파수 대역의 주파수 대역 이득 값을 선택적으로 변경하도록 구성된다. 따라서, 노이즈 오프셋은 부가 정보 비트의 수를 최소화하기 위해 제공된다. 이러한 최소화에 따라서, AAC 오디오 부호화기에서 스케일팩터(scf)의 부호화은 이어지는 스케일 팩터(scf)의 차이의 허프만 부호화을 사용하여 수행된다. 작은 차이는 최소 코드에서 얻어진다(큰 차이는 큰 코드를 얻는다). 종래의 스케일 팩터(영으로 양자화되지 않는 대역의 스케일 팩터)로부터 노이즈 스케일 팩터로 또 그 역으로의 전환에서 노이즈 오프셋은 “평균 차이”를 최소화하고 그래서, 부가 정보에서 비트 요구를 최적화한다. 포함된 선은 >=1이 아니지만 평균 양자화 에러 e(일반적으로 0<e<0.5)에 상응하기 때문에 이것은 일반적으로 “노이즈 스케일 팩터”가 전통적인 스케일 팩터보다 크다는 사실 때문이다.
바람직한 실시예에서, 노이즈 필러는 소정의 스펙트럴 빈 인덱스 미만의 최저 스펙트럴 빈 계수를 가지는 주파수 대역의 스펙트럴 빈 값은 영향을 주지 않은 채로 남겨두고 소정의 스펙트럴 빈 인덱스를 초과하는 최저 스펙트럴 빈 계수를 가진 주파수 대역에서만 대체 스펙특럼 빈 값을 얻기 위해 영으로 양자화된 스펙트럴 빈의 스펙트럴 빈 값을 스펙트럴 빈 노이즈 값의 크기가 다중-대역 노이즈 세기값에 종속된 스펙트럴 빈 노이즈 값으로 대체하도록 구성된다. 부가적으로, 만일 주어진 주파수 대역이 완전히 영으로 양자화된다면, 노이즈 필러는 소정의 스펙트럴 빈 인덱스를 초과하는 최저 스펙트럴 빈 계수를 가지는 주파수 대역에서, 노이즈 오프셋 값에 따른 주어진 주파수 대역의 대역 이득값(예를 들어, 스케일 팩터 값)을 선택적으로 변형할 수 있다. 가급적으로, 노이즈 필링은 소정의 스펙트럴 빈 인덱스를 초과하는 곳에서만 수행될 수 있다. 또한, 노이즈 오프셋은 영으로 양자화된 대역에서만 적용되고 소정의 스펙트럴 빈 인덱스 미만에서는 적용되지 않는다. 더욱이, 오디오 신호를 나타내는 스케일링된 스펙트럴 정보를 얻기 위해 디코더는 가급적으로 선택적으로 변형되거나 변형되지 않은 대역 이득 값을 선택적으로 대체되거나 대체되지 않은 스펙트럴 빈 값에 적용하도록 구성된 스케일러로 구성된다. 이러한 방법을 사용함으로써, 디코더는 노이즈 필링에 의해 크게 열화되지 않는 매우 균형잡힌 청각 인상을 획득한다. 낮은 주파수 대역의 노이즈 필링은 청각 인상에서 요구되지 않는 열화를 가지고 오기 때문에 노이즈 필링은 상위 주파수 대역(소정의 스펙트럴 빈 인덱스를 초과하는 최저 스펙트럴 빈 계수를 가지는)에만 적용된다. 즉, 상위 주파수 대역에서 노이즈 필링이 수행되는 것이 바람직하다. 어떠한 경우, 낮은 스케일 팩터 대역(sfb)이 정밀하게 양자화된다(높은 스케일 팩터 대역보다).
본 발명에 따른 다른 실시예는 입력 오디오 신호의 변환-영역 표현에 기초하여 오디오 스트림을 제공하는 방법을 안출한다.
본 발명에 따른 다른 실시예는 부호화된 오디오 스트림에 기초하여 오디오 신호의 복호화된 표현을 제공하는 방법을 안출한다.
본 발명에 따른 추가의 실시예는 전술한 방법 중 하나 이상의 방법을 수행하는 컴퓨터 프로그램을 안출한다.
본 발명에 따른 추가의 실시예는 오디오 신호를 표현하는 오디오 스트림을 안출한다. 오디오 스트림은 오디오 신호에서 스펙트럴 구성요소의 세기를 기술하는 스펙트럴 정보로 구성되고, 스펙트럴 정보는 서로 다른 주파수 대역에서 서로 다른 양자화 정확도로 양자화된다. 오디오 스트림은 또한 복수의 주파수 대역에서 다중-대역 양자화 에러를 기술하는 노이즈 레벨 정보로 구성되고, 서로 다른 양자화 정확도를 고려한다. 위에서 기술하였듯이, 이러한 오디오 스트림은 오디오 컨텐츠의 효과적인 복호화을 고려하고, 획득할 수 있는 청각 인상과 요구되는 비트 레이트 사이의 좋은 트레이드 오프가 얻어진다.
인코더는 노이즈 필링을 사용하는 주파수 대역에서 오디오 컨텐츠의 효과적인 부호화을 가능하게 하는 정보 컨텐츠로 구성되는 오디오 스트림을 제공한다. 특히, 인코더에 의해 제공되는 오디오 스트림은 비트 레이트와 노이즈-필링-복호화-적응성(flexibility) 사이에서 좋은 트레이드-오프를 제공한다.
오디오 신호를 표현하는 오디오 스트림을 안출한다. 오디오 스트림은 오디오 신호에서 스펙트럴 구성요소의 세기를 기술하는 스펙트럴 정보로 구성되고, 스펙트럴 정보는 서로 다른 주파수 대역에서 서로 다른 양자화 정확도로 양자화된다. 오디오 스트림은 또한 복수의 주파수 대역에서 다중-대역 양자화 에러를 기술하는 노이즈 레벨 정보로 구성되고, 서로 다른 양자화 정확도를 고려한다. 위에서 기술하였듯이, 이러한 오디오 스트림은 오디오 컨텐츠의 효과적인 복호화을 고려하고, 획득할 수 있는 청각 인상과 요구되는 비트 레이트 사이의 좋은 트레이드 오프가 얻어진다.
도 1은 본 발명의 일실시예에 따른 인코더의 블록 계통도를 보여준다.
도 2는 본 발명의 다른 실시예에 따른 인코더의 블록 계통도를 보여준다.
도 3a 및 3b는 본 발명의 일실시예에 따른 확장 고급 오디오 부호화(extended advanced audio coding(AAC))의 블록 계통도를 보여준다.
도 4a 및 4b는 오디오 신호의 부호화에서 실행되는 알고리즘의 의사(pseudo) 코드 프로그램 목록을 보여준다.
도 5는 본 발명의 일실시예에 따른 디코더의 블록 계통도를 보여준다.
도 6은 본 발명의 다른 실시예에 따른 디코더의 블록 계통도를 보여준다.
도 7a와 7b는 본 발명의 일실시예에 따른 확장 고급 오디오 부호화(extended advanced audio coding(AAC)) 디코더의 블록 계통도를 보여준다.
도 8a는 도 7의 확장 고급 오디오 부호화 디코더에서 수행될 수 있는 역양자화의 수학적 표현을 보여준다.
도 8b는 도 7의 확장 고급 오디오 부호화 디코더에 의해 수행될 수 있는 역양자화 알고리즘의 의사 코드 프로그램 목록을 나타낸다.
도 8c는 역양자화의 순서도 표현을 보여준다.
도 9는 도 7의 확장 고급 오디오 부호화 디코더에서 사용될 수 있는 노이즈 필러(noise filler)와 리스케일러(rescaler)의 블록 계통도를 보여준다.
도 10a는 도 7에 도시된 노이즈 필러 또는 도 9에 도시된 노이즈 필러에 의해 실행되는 알고리즘의 의사 프로그램 코드 표현을 보여준다.
도 10b는 도 10a의 의사 프로그램 코드 팩터의 범례(legend)를 보여준다.
도 11은 도 9의 노이즈 필러 또는 도 7의 노이즈 필러에서 구성될 수 있는 방법의 순서도를 보여준다.
도 12는 도 11의 방법의 그래픽 일러스트레이션을 보여준다.
도 13a 및 13b는 도 9의 노이즈 필러 또는 도 7의 노이즈 필러에 의해 수행되는 알고리즘의 의사 프로그램 코드 표현을 보여준다.
도 14a 내지 14d는 본 발명의 일실시예에 따른 오디오 스트림의 비트스트림 팩터의 표현을 보여준다.
도 15는 본 발명의 다른 실시예에 따른 비트 스트림의 그래픽 표현을 보여준다.
1. 인코더
1.1 도 1에 따른 인코더
도 1은 본 발명의 일실시예에 따른 입력 오디오 신호의 변환-영역 표현에 기초한 오디오 스트림을 제공하는 인코더의 블록 계통도를 보여준다.
도 1의 인코더(100)은 양자화 에러 계산기(110) 및 오디오 스트림 공급기(120)로 구성된다. 양자화 에러 계산기(110)는 제1 주파수 대역에서 제1 주파수 대역 이득 정보가 얻어질 수 있는 정보(112), 제2 주파수 대역에서 제2 주파수 대역 이득 정보가 얻어질 수 있는 정보(114)를 수신하기 위해 구성된다. 양자화 에러 계산기는 개별 대역 이득 정보가 얻어질 수 있는 입력 오디오 신호의 복수의 주파수 대역에서 다중-대역 양자화 에러를 알기 위해 구성된다. 예를 들어, 양자화 에러 계산기(110)는 정보(112, 114)를 사용하는 제1 주파수 대역과 제2 주파수 대역에서의 다중-대역 양자화 에러를 알기 위해 구성된다. 따라서, 양자화 에러 계산기(110)는 다중-대역 양자화 에러를 기술하는 정보(116)를 오디오 스트림 제공기(120)에 제공하도록 구성된다. 오디오 스트림 제공기(120)는 또한 제1 주파수 대역을 기술하는 정보(122)와 제2 주파수 대역을 기술하는 정보(124)를 수신하도록 구성된다. 게다가, 오디오 스트림(126)은 정보(116)의 표현과 제2 주파수 대역 및 제1 주파수 대역의 오디오 컨텐츠 표현을 더 포함하도록 오디오 스트림 제공기(120)는 오디오 스트림(126)을 제공하도록 구성된다.
따라서, 인코더(100)는 노이즈 필링을 사용하는 주파수 대역에서 오디오 컨텐츠의 효과적인 부호화을 가능하게 하는 정보 컨텐츠를 포함하는 오디오 스트림(126)을 제공한다. 특히, 인코더에 의해 제공되는 오디오 스트림(126)은 비트 레이트와 노이즈-필링-복호화-적응성(noise-filling-decoding-flexibility) 사이에서 좋은 트레이드-오프를 제공한다.
1.2 도 2에 따른 인코더
1.2.1 인코더 개요
이하에서, 국제 표준 ISO/IEC 14496-3:2005(E), Information Technology-Coding of Audio-Visual Object-Part 3:Audio, Sub-part 4: General Audio Coding(GA)-AAC, Twin VQ BASC에 기술된 오디오 인코더에 기초한 본 발명에 일실시예에 따른 향상된 오디오 부호화기가 기술된다.
도 2에 따른 오디오 인코더(200)는 특히 ISO/IEC 14496-3:2005(E), Part 3 : Audio, Sub-part 4, Section 4.1.에서 기술된 오디오 인코더에 기초한다. 하지만, 오디오 인코더(200)는 ISO/IEC 14494-3:2005(E)의 오디오 인코더의 정확한 기능을 포함할 필요가 없다.
예를 들어, 오디오 인코더(200)는 입력 시간 신호(210)를 수신하고 그것에 기초하여 코딩된 오디오 스트림(212)을 제공하기 위해 구성된다. 신호 처리 경로는 선택적 다운샘플러(220), 선택적 AAC 이득 제어(222), 블록-스위칭 필터뱅크(224), 선택적 신호 처리(226), 확장된 고급 오디오 부호화 인코더(228) 및 비트 스트림 페이로드 포맷터(230)를 포함할 수 있다. 하지만, 인코더(200)은 일반적으로 음향심리학 모델(240)을 포함한다.
가장 간단한 경우, 인코더(200)는 블록스위칭/필터 뱅크(224), 확장 고급 오디오 부호화 인코더(228), 비트 스트림 페이로드 포맷터(230) 및 음향심리학 모델(240)만 포함하고 반면에 다른 구성요소들(특히, 구성요소(220, 222, 226))은 단순히 선택적으로 고려된다.
간단한 경우, 블록-스위칭/필터 뱅크(224)는 입력 시간 신호(210)(선택적으로 다운샘플러(220)에 의해 다운샘플된, 그리고 고급 오디오 부호화 이득 제어기(222)에 의해 이득이 선택적으로 스케일링된)를 수신하고 그것에 기초하여 주파수 영역 표현(224a)를 제공한다. 예를 들어, 주파수 영역 표현(224a)은 입력 시간 신호(210)의 스펙트럴 빈들의 세기(예를 들어, 진폭 또는 에너지)를 기술하는 정보를 포함한다. 예를 들어, 블록-스위칭/필터 뱅크(224)는 입력 시간 신호(210)로부터 주파수 영역 값을 유도하는 변형된 이산 코사인 변환(Modified Discrete Cosine Transform, MDCT)을 수행하도록 구성된다. 주파수 영역 표현(224a)은 “스케일 팩터 대역”으로 또한 표시된 서로 다른 주파수 대역들에서 논리적으로 나뉠 수 있다. 예를 들어, 블록-스위칭/필터 뱅크(224)는 스펙트럴 값(주파수 빈 값으로 또한 표시된)을 다수의 서로 다른 주파수 빈들(frequency bins)에게 제공하는 것으로 가정할 수 있다. 주파수 빈의 개수가 다른 것들 중, 필터뱅크(224)로의 윈도우 입력 길이에 의해 결정되고 샘플링(및 비트) 레이트에 또한 종속된다. 하지만, 주파수 대역 또는 스케일 팩터 대역은 블록-스위칭/필터뱅크에 의해 제공된 스펙트럴값의 부분집합을 규정한다. 예를 들어, 스케일 팩터 대역의 정의에 관한 세부사항은 당업자에게 알려져있고, ISO/IEC 14496-3:2005(E), Part 3, Sub-part 4에 또한 기술되어 있다.
확장 고급 오디오 부호화 인코더(228)는 입력 정보(228a)로써 입력 시간 신호(210)(또는 그것의 전-처리 형태)에 기초하여 블록-스위칭/필터뱅크(224)에 의해 제공된 스펙트럴값(spectral values)(224a)을 수신한다. 도 2로부터 알 수 있듯이, 확장 고급 오디오 부호화 인코더(228)의 입력 정보(228a)는 선택적 스펙트럴 프로세싱(226)에서 하나 이상의 프로세싱 단계를 사용하여 스펙트럴값(224a)으로부터 도출될 수 있다. 스펙트럴 프로세싱(226)의 선택적 전-처리 단계에 관한 세부사항에 대하여, ISO/IEC 14496-3:2005(E) 및 거기에 참조된 추가의 표준들에 참조문헌이 만들어져 있다.
확장 고급 부호화 인코더(228)는 복수의 스펙트럴 빈에서 스펙트럴 값의 형태로 입력 정보(228a)를 제공받고 그것에 기초하여 스펙트럴의 양자화되고 노이즈없이 코딩된 표현(228b)을 제공하도록 구성된다. 예를 들어, 이러한 목적을 위해, 확장 오디오 부호화 인코더(228)는 음향심리학 모델(240)을 사용하여 입력 오디오 신호(210)(또는 그것의 전-처리 형태)로부터 도출된 정보를 사용할 수 있다. 일반적으로 말하면, 어떠한 정확도가 스펙트럴 입력 정보(228a)의 서로 다른 주파수 대역(또한 스케일 팩터 대역)에서의 부호화에 적용되어야 하는지를 결정하기 위해 확장 고급 오디오 부호화 인코더(228)는 음향심리학 모델(240)에 의해 제공된 정보를 사용할 수 있다. 그래서, 확장 고급 오디오 부호화 인코더(228)는 일반적으로 서로 다른 주파수 밴드에 대한 그것의 양자화 정확도를 입력 시간 신호(210)의 구체적인 특성 및 비트의 얻어질 수 있는 수에 대해 조정할 수 있다. 그래서, 예를 들어, 양자화되고 노이즈 없이 코딩된 스펙트럴을 표현하는 정보는 정확한 비트 레이트(또는 평균 비트 레이트)로 구성되도록 확장 고급 오디오 부호화 인코더(228)는 그것의 양자화 정확도를 조정할 수 있다.
비트스트림 페이로드 포맷터(230)는 미리 결정된 구문에 따라 코딩된 오디오 스트림(212)으로 표현되는 양자화되고 노이즈 없이 코딩된 스펙트럴을 포함하도록 구성된다.
여기에서 기술된 인코더 구성요소의 기능에 관한 추가 세부사항에 대해, ISO/IEC 14496-3:2005(E)(그 문서의 annex 4.B를 포함함) 및 ISO/IEC 13818-7:2003에 참조문헌이 만들어져 있다.
또한, ISO/IEC 13818-7:2005, Sub-clauses C1에서 C9에 참조문헌이 만들어져 있다.
뿐만 아니라, 전문 용어에 대한 구체적인 참조문헌이 ISO/IEC 14496-3:2005(E), Part 3 : Audio, Sub-part 1: Main에 만들어져 있다.
부가적으로, ISO/IEC 14496-3:2005(E), Part 3:Audio, Sub-part 4: General Audio Coding(GA)-AAC, Twin VQ, BSAC에 구체적인 참조문헌이 만들어져 있다.
1.2.2. 인코더 세부사항
이하에서, 인코더에 관한 세부사항은 도 3a, 3b, 4a 및 4b를 참조하여 기술된다.
도 3a 및 3b는 본 발명의 일실시예에 따른 확장 고급 오디오 부호화 인코더의 블록 계통도를 보여준다. 확장 고급 오디오 부호화 디코더는 228로 표시되고 도 2의 extended AAC 인코더로 대신한다. 확장 고급 오디오 부호화 인코더(228)는 입력 정보(228a)로 스펙트럴 선(spectral lines)들의 크기 벡터를 제공받도록 구성되고 스펙트럴 선들의 벡터는 때때로
Figure pct00001
Figure pct00002
으로 표시된다. 확장 고급 오디오 부호화 인코더(228)는 또한 MDCT 레벨에서 최대 허용 에러 에너지를 기술하는 코덱 임계값 정보(228c)를 제공받는다. 코덱 임계값 정보(228c)는 일반적으로 서로 다른 스케일 팩터 대역에 개별적으로 제공되고 음향심리학 모델(240)을 사용하여 생성된다. 코덱 임계값 정보(228)는 때때로
Figure pct00003
로 표시되고 파라미터
Figure pct00004
는 스케일 팩터 밴드 종속성(dependency)을 표시한다. 확장 고급 오디오 부호화 인코더(228)는 또한 스펙트럴 값의 크기의 벡터(228a)에 의해 표현된 스펙트럴을 부호화에 사용될 수 있는 비트의 수를 기술하는 비트수 정보(228d)를 제공받는다. 예를 들어, 비트수 정보(228d)는 평균 비트 정보(
Figure pct00005
로 표시된)와 추가 비트 정보(
Figure pct00006
로 표시된)로 구성될 수 있다. 예를 들어, 확장 고급 오디오 부호화 인코더(228)는 또한 스케일 팩터 대역의 폭과 수를 기술하는 스케일 팩터 대역 정보(228e)를 수신하도록 구성된다.
확장 고급 오디오 부호화 인코더는
Figure pct00007
로 또한 표시된 스펙트럴 선의 양자화 값 벡터(312)를 제공하기 위해 구성된 스펙트럴 값 양자화기(310)를 포함한다. 스케일링을 포함하는 스펙트럴 값 양자화기(310)는 또한 각각의 스케일 팩터 대역에 대한 하나의 스케일 팩터와 공통 스케일 팩터 정보를 표현하는 스케일 팩터 정보(314)를 제공하도록 구성된다. 또한, 스펙트럴 값 양자화기(310)는 스펙트럴 값의 크기 벡터(228a)를 양자화하기 위해 사용되는 비트 수를 기술할 수 있는 비트 사용 정보(316)을 제공하기 위해 구성될 수 있다. 사실상, 스펙트럴 값 양자화기(310)는 서로 다른 스펙트럴 값의 음향 심리학적 연관성에 따라서 서로 다른 가지 정확도를 가진 벡터(228a)의 서로 다른 스펙트럴 값을 양자화하도록 구성된다. 이러한 목적에서, 스펙트럴 값 양자화기(210)는 서로 다른 스케일-팩터-대역-종속 스케일 팩터를 사용하여 벡터(228a)의 스펙트럴 값을 스케일링하고 산출된 스케일링된 스펙트럴 값을 양자화한다. 일반적으로, 음향 심리학적으로 중요한 스케일 팩터 대역의 스케일링된 스펙트럴 값은 큰 범위를 커버할 수 있도록 음향심리학적 중요 스케일 팩터 대역과 연관된 스펙트럴 값은 큰 스케일 팩터로 스케일링된다. 대조적으로, 음향심리학적으로 덜 중요한 스케일 팩터 대역의 스케일링된 스펙트럴 값은 값의 작은 범위만 포함하도록, 음향심리학적으로 덜 중요한 스케일 팩터 대역의 스펙트럴 값은 더 작은 스케일 팩터로 스케일링된다. 예를 들어, 스케일링된 스펙트럴 값은 적분값으로 양자화된다. 음향심리학적으로 덜 중요한 스케일 팩터 대역의 스펙트럴 값은 단지 작은 스케일 팩터로 스케일링되기 때문에 양자화에서, 음향심리학적으로 덜 중요한 스케일 팩터 대역의 대부분의 스케일링된 스펙트럴 값은 영으로 양자화된다.
결론적으로, (덜 중요한 스케일 팩터 대역의 스케일링된 스펙트럴 값은 더 작은 범위의 값을 포함하고 그러므로 더 작은 서로 다른 양자화 스텝으로 양자화되기 때문에) 음향심리학적으로 덜 중요한 스케일 팩터 밴드의 스펙트럴 값은 낮은 양자화 정확도로 양자화되는 반면에, (상기 더욱 연관된 스케일 팩터 대역의 스케일링된 스펙트럴 선이 값의 큰 범위와 거기에 따른 많은 양자화 단계를 커버하기 때문에) 음향심리학적으로 더욱 연관된 스케일 팩터 대역의 스펙트럴 값은 높은 정확도로 양자화된다고 말할 수 있다.
스펙트럴 값 양자화기(310)는 일반적으로 코덱 임계값(228c)과 비트 수 정보(228d)를 사용하여 정확한 스케일링 팩터를 알기 위해 구성된다. 일반적으로, 스펙트럴 값 양자화기(310)는 또한 그 자체로 정확한 스케일 팩터를 알기 위해 구성될 수 있다. 스펙트럴 값 양자화기(310)의 가능한 구성에 관련된 세부사항은 ISO/IEC 14496-3: 2001, Chapter 4.B.10.에 기술되어 있다. 부가적으로, 스펙트럴 값 양자화기의 구성은 MPEG 4 부호화 분야의 당업자에게 잘 알려져 있다.
예를 들어, 확장 고급 오디오 부호화 인코더(228)는 스펙트럴 값의 크기 벡터(228a), 스펙트럴 선의 양자화-값의 벡터(312) 및 스케일 팩터 정보(314)를 수신하기 위해 구성된 다중-대역 양자화 에러 계산기(330)를 또한 포함한다. 예를 들어, 멀티-대역 양자화 에러 계산기(330)는 벡터(228a)의 스펙트럴 값에서 양자화되지 않고 스케일링된 버전(예를 들어, 비-선형 스케일링 연산과 스케일 팩터를 사용하여 스케일링된)와 스펙트럴 값의 스케일링되고 양자화된 형태(예를 들어, 비-선형 스케일링 연산과 스케일 팩터를 사용하여 스케일링되고, “정수” 반올림 연산을 사용하여 양자화된) 사이의 편차를 알기 위해 구성된다. 부가적으로, 다중-대역 양자화 에러 계산기(330)는 복수의 스케일 팩터 대역에서 평균 양자화 에러를 계산하기 위해 구성될 수 있다. 음향심리학적으로 덜 연관된 스케일 팩터 대역에서의 양자화 에러와 비교할 때 음향심리학적으로 연관된 스케일 팩터 대역에서의 양자화 에러가 가중치로 강조되도록 멀티-대역 양자화 에러 계산기(330)는 가급적 양자화된 영역(더욱 정확하게는 음향심리학적으로 스케일링된 영역)에서 멀티-대역 양자화 에러를 계산할 수 있다는 것을 주의해야한다. 멀티-대역 양자화 에러 계산기의 연산에 관한 세부사항은 도 4a 및 4b를 참조하여 이후에 기술될 것이다.
확장 고급 오디오 인코더(328)는 또한 양자화된 값의 벡터(312), 스케일 팩터 정보(314) 및 멀티-대역 양자화 에러 계산기(340)에 의해 제공된 멀티-대역 양자화 에러 정보(332)를 수신하도록 구성된 스케일 팩터 어뎁터(340)를 또한 포함할 수 있다. 스케일 팩터 어뎁터(340)는 “영으로 양자화되는”, 예를 들어, 모든 스펙트럴 값(또는 스펙트럴 선)이 영으로 양자화되는, 스케일 팩터 대역을 찾기 위해 구성된다. 전체적으로 영으로 양자화되는 스케일 팩터 대역에 대해, 스케일 팩터 어뎁터(340)은 개별 스케일 팩터를 조정한다. 예를 들어, 스케일 팩터 어뎁터(340)는 개별 스케일 팩터 대역의 나머지 에너지(양자화 이전)와 다중-대역 양자화 에러(332) 에너지 사이의 비율을 나타내는 스케일 팩터 대역의 스케일 팩터를 영으로 양자화할 수 있다. 따라서, 스케일 팩터 어뎁터(340)는 조정된 스케일 팩터(342)를 제공한다. 스펙트럴 값 양자화기(310)에 의해 제공된 스케일 팩터와 스케일 팩터 조정기에 의해 제공된 조정된 스케일 팩터는 문헌 및 또한 이 명세서내에서 "
Figure pct00008
", "
Figure pct00009
", "
Figure pct00010
", "
Figure pct00011
"로 표시된다. 스케일 팩터 어뎁터(340)의 연산에 대한 세부사항은 도 4a 및 4b를 참조하여 이후에 기술된다.
예를 들어, 확장 고급 오디오 부호화 인코더(228)는 또한 ISO/IEC 14496-3:2001, Chapter 4.B.11에 기술되어 있는 노이즈 없는 코딩(350)으로 구성된다. 요약하면, 노이즈 없는 코딩(350)은 스펙트럴 선의 양자화 값 벡터(312)(스펙트라의 양자화 값들로 또한 표시되는), 스케일 팩터의 정수 표현(342)(스펙트럴 값 양자화기(310)에 의해 제공되거나, 스케일 팩터 어뎁터(340)에 의해 조정되는) 및 멀티-대역 양자화 에러 계산기(330)에 의해 제공되는 노이즈 필링 파라메터(332)(예를 들어, 노이즈 레벨 정보의 형태로)를 제공받는다.
노이즈 없는 코딩(350)은 스펙트럴 선의 양자화된 값(312)를 부호화하고 스펙트럴 선의 양자화되고 부호화된 값(352)를 제공하기 위한 스펙트럴 계수 부호화(350a)를 포함한다. 예를 들어, 스펙트럴 계수 부호화에 관한 세부사항은 ISO/IEC 14496-3:2001의 섹션 4.B.11.2, 4.B.11.3, 4.B.11.4 및 4.B.11.6에 기술되어 있다. 노이즈 없는 코딩(350)은 또한 부호화된 스케일 팩터 정보(354)를 얻기 위해 스케일 팩터의 정수 표현(342)을 부호화하는 스케일 팩터 부호화(350b)를 포함한다. 노이즈 없는 코딩(350)은 또한 하나 이상의 노이즈 필링 파라메터(332)를 부호화하여 하나 이상의 부호화된 노이즈 필링 파라메터(356)를 얻기 위한 노이즈 필링 파라메터 부호화(350c)를 포함한다. 결론적으로, 확장 고급 오디오 부호화 인코더는 노이즈 없는 부호화된 스펙트럴으로 양자화된 것을 기술하는 정보를 제공하고 이 정보는 양자화되고 부호화된 스펙트럴 선, 부호화된 스케일 팩터 정보 및 부호화된 노이즈 필링 파라메터 정보를 포함한다.
이하에서, 본 발명의 확장 고급 오디오 부호화 인코더(228)의 중요 구성요소인 멀티-대역 양자화 에러 계산기(330) 및 스케일 팩터 어뎁터(340)의 기능은 도 4a 및 4b를 참조하여 기술된다. 이러한 목적으로, 도 4a는 멀티-대역 양자화 에러 계산기(330) 및 스케일 팩터 어뎁터(340)에 의해 수행된 알고리즘의 프로그램 리스트를 보여준다.
도 4의 의사 코드에서 1번째 줄에서 12번째 줄에 표현된 알고리즘의 첫번째 부분은 멀티-대역 양자화 에러 계산기(330)에 의해 수행된 평균 양자화 에러의 계산을 포함한다. 예를 들어, 평균 양자화 에러의 계산은 영으로 양자화된 대역을 제외한 모든 스케일 팩터 대역들에서 수행된다. 만일 스케일 팩터 대역이 전부 영으로 양자화된다면(예를 들어, 스케일 팩터 대역의 모든 스펙트럴 선이 영으로 양자화됨), 상기 스케일 팩터 대역은 평균 양자화 에러의 계산에서 제외된다. 하지만, 만일 스케일 팩터 대역이 전부 영으로 양자화되지 않는다면(예를 들어, 영으로 양자화되지 않는 적어도 하나의 스펙트럴 선으로 구성됨), 상기 스케일 팩터 대역의 모든 스펙트럴 선은 평균 양자화 에러의 계산에서 고려된다. 평균 양자화 에러는 양자화된 영역에서 계산된다(또는, 더욱 정확하게는 스케일링된 영역). 평균 에러에 대한 기여도의 계산은 도 4a에서 의사 코드의 7번째 줄에서 보여진다. 특히, 7번째 줄은 평균 에러에 대한 단일 스펙트럴 선의 기여도를 보여주고, 평균화는 모든 스펙트럴 선에서 수행된다(
Figure pct00012
은 고려된 선의 전체 개수를 지시한다).
의사 코드의 7번째 줄에서 보여지듯이, 평균 에러에 대한 스펙트럴 선의 기여도는 양자화되지 않고 스케일링된 스펙트럴 선 크기 값과 양자화되고 스케일링된 스펙트럴 선 크기 값 사이의 차의 절대값("
Figure pct00013
"-연산)이다. 양자화되지 않고, 스케일링된 스펙트럴 라인 크기 값에서, 크기값 "
Figure pct00014
"(
Figure pct00015
과 동일할 수 있는)은 파워 함수
Figure pct00016
Figure pct00017
를 사용하고 스케일 팩터(예를 들어, 스펙트럴 값 양자화기(310)에 의해 제공된 스케일 팩터(314))를 사용하여 비-선형적으로 스케일링된다. 양자화되고 스케일링된 스펙트럴 선 크기 값의 계산에서, 스펙트럴 선 크기값 “
Figure pct00018
"은 전술한 파워 함수를 사용하고 전술한 스케일 팩터를 사용하여 비-선형적으로 스케일링될 수 있다. 이러한 비-선형 및 선형 스케일링의 결과는 정수 연산 "
Figure pct00019
"을 사용하여 양자화될 수 있다. 의사 코드의 7번째 줄에 지시된 연산을 사용하여, 음향심리학적으로 더욱 중요한 그리고 음향심리학적으로 덜 중요한 대역에서 양자화의 다른 영향은 고려된다.
이하의 (평균) 멀티-대역 양자화 에러의 계산(
Figure pct00020
)에서, 평균 양자화 에러는 의사 코드의 13 번째 줄 및 14 번째 줄에서 보여지듯이 선택적으로 양자화될 수 있다. 양자화 에러는 비트-효율적인 방법으로 표현되도록 여기서 나타난 다중-대역 양자화 에러의 양자화는 특히 양자화 에러의 통계적 특성 및 예상되는 값의 범위에 따라 조정된다는 것을 주의해야 한다. 하지만, 다중-대역 양자화 에러의 다른 양자화들은 적용될 수 있다.
15번째에서 25번째 줄에 표현된 알고리즘의 세번째 부분은 스케일 팩터 어뎁터(340)에 의해 수행될 수 있다. 알고리즘의 세번째 부분은 전부 영 및 명확한 값으로 양자화되고, 단순한 노이즈 필링이 적용되고, 좋은 청각 인상을 가지는 스케일 팩터 주파수 대역의 스케일 팩터를 설정하도록 사용한다. 알고리즘의 세번째 부분은 선택적으로 노이즈 레벨의 역양자화(예를 들어, 멀티-대역 양자화 에러(332)에 의해 표현되는)로 구성된다. 알고리즘의 세번째 부분은 또한 영으로 양자화되는 스케일 팩터 대역(반면에, 영으로 양자화되지 않은 스케일 팩터 대역의 스케일 팩터는 영향을 받지 않은 채로 남겨짐)에 대한 대체 스케일 팩터 값의 계산으로 구성된다. 예를 들어, 특정한 스케일 팩터 대역 (“
Figure pct00021
")에 대한 대체 스케일 팩터값은 도 4a에서 알고리즘의 20번째 줄에 나타난 수식을 사용하여 계산된다. 이 수식에서 “
Figure pct00022
"는 정수 연산을 표현하고, “
Figure pct00023
"는 숫자 2의 부동 소수점 표현을 나타내고, ”
Figure pct00024
"는 로그 연산을 표시하고, “
Figure pct00025
"는 (양자화 전)고려 중인 스케일 팩터 대역의 에너지를 표시하고, “
Figure pct00026
"는 부동 소수점 연산을 표시하고, “
Figure pct00027
"는 스펙트럴 선(또는 스펙트럴 빈들)에 관한 특정한 스케일 팩터 대역의 넓이를 표시하고, “
Figure pct00028
"은 다중-대역 양자화 에러를 기술하는 노이즈 값을 표시한다. 결론적으로, 대체 스케일 팩터는 고려 중인 특정한 스케일 팩터 대역의 주파수-빈 에너지 당 평균(
Figure pct00029
)과 다중-대역 양자화 에러의 에너지(
Figure pct00030
)사이의 비율을 기술한다.
1.2.3 인코더 결론
본 발명에 따른 실시예들은 새로운 타입의 노이즈 레벨 연산을 가지는 인코더를 만들어냈다. 노이즈 레벨은 평균 양자화 에러에 기초하여 양자화된 영역에서 계산된다.
예를 들어, 서로 다른 주파수 대역(스케일 팩터 대역들)의 음향심리학 연관성이 고려되기 때문에 양자화 영역에서 양자화 에러를 계산하는 것은 중요한 이득을 가져온다. 양자화된 영역에서 선당(예를 들어, 스펙트럴 선 당 또는 스펙트럴 빈 당) 양자화 에러는 0.25의 평균 절대 에러(보통 1보다 큰 정규 분포 입력 값에 대하여)를 가지고 일반적으로 [-0.5; 0.5] (1 양자화 레벨)범위에 있다. 멀티-대역 양자화 에러에 관한 정보를 제공하는 인코더를 사용함으로써 이하에서 기술될, 양자화 영역에서의 노이즈 필링의 이득은 인코더에서 활용될 수 있다.
인코더에서 노이즈 레벨 연산과 노이즈 대체 검출(noise substitution detection)는 아래의 단계로 구성된다:
ㆍ노이즈 대체에 의해 디코더에서 지각적으로 동일하게 재생성될 수 있는 스펙트럴 대역을 검출하고 표시한다. 예를 들어, 조성(tonality)과 스펙트럴 평탄(flatness) 측정은 이러한 목적으로 검사될 수 있다;
ㆍ(영으로 양자화되지 않은 모든 스케일 팩터 대역에서 계산될 수 있는)평균 양자화 에러를 계산하고 양자화한다;그리고
ㆍ(디코더) 도입(introduced)된 노이즈가 원래의 에너지에 매칭되도록 영으로 양자화된 대역에 대한 스케일 팩터(
Figure pct00031
)를 계산한다.
적절한 노이즈 레벨 양자화는 멀티-대역 양자화 에러를 기술하는 정보를 보내는데 필요한 비트의 수를 생성하도록 도움을 줄 수 있다. 예를 들어, 노이즈 레벨은 인간의 소리 세기(loudness)의 지각을 고려하여 로그(logarithmic) 영역에서 8 양자화 레벨로 양자화될 수 있다. 예를 들어, 도 4b에 나타난 알고리즘은 사용될 수 있고 “
Figure pct00032
"는 정수 연산자를 표시하고, “
Figure pct00033
"는 2를 밑으로 한 로그 연산을 표시하고, “
Figure pct00034
"는 주파수 선 당 양자화 에러를 표시하고, “
Figure pct00035
”는 최소값 연산자를 표시하고, “
Figure pct00036
"는 최대값 연산자를 표시한다.
2. 디코더
2.1. 도 5에 따른 디코더
도 5는 본 발명의 일실시예에 따른 디코더의 블록 계통도를 보여준다. 디코더(500)는 ,예를 들어, 부호화된 오디오 스트림(510)의 형태로, 부호화된 오디오 정보를 제공받고 그것에 기초하여 예를 들어, 제1 주파수 대역의 스펙트럴 구성 팩터(522) 및 제2 주파수 대역의 스펙트럴 팩터(524)에 기초한 오디오 신호의 복호화된 표현을 제공하도록 구성된다. 디코더(500)는 제1 주파수 대역 이득 정보가 연관된 제1 주파수 대역의 스펙트럴 구성요소의 표현(522)과 제2 주파수 대역 이득 정보가 연관된 제2 주파수 대역의 스펙트럴 구성요소의 표현(524)을 수신하도록 구성되는 노이즈 필러(520)를 포함한다. 또한, 노이즈 필러(520)는 다중-대역 노이즈 세기(intensity) 값의 표현(526)을 수신하도록 구성된다. 또한, 노이즈 필러는 노이즈를 공통(common) 멀티-대역 노이즈 세기값(526)에 기초하여 개별 주파수 대역 이득 정보와 연관된 복수의 주파수 대역에서의 스펙트럴 구성요소(예를 들어, 스펙트럴 선 값 또는 스펙트럴 빈 값)로 도입하도록 구성된다. 예를 들어, 노이즈 필러(520)는 제1 주파수 대역의 노이즈-영향받은 스펙트럴 구성요소(512)를 얻기 위해 노이즈를 제1 주파수 대역의 스펙트럴 구성요소(522)로 도입하고 또한 제2 주파수 대역의 노이즈-영향받은 스펙트럴 구성요소(514)를 얻기 위해 노이즈를 제2 주파수 대역의 스펙트럴 구성요소(524)로 도입하도록 구성된다.
하나의 다중-대역 노이즈 세기 값(526)에 의해 기술된 노이즈를 서로 다른 주파수 대역 이득 정보가 연관된 서로 다른 주파수 대역의 스펙트럴 구성요소에 적용함으로써, 주파수 대역 이득 정보에 의해 표현되는 서로 다른 주파수 대역의 서로 다른 음향심리학적 연관성(relevance)을 고려하여 노이즈는 정밀하게 조정된 방법으로 서로 다른 주파수 대역에 도입될 수 있다. 그래서, 디코더(500)는 매우 작은(비트-효율적인) 노이즈 필링 부가 정보에 기초하여 시간-조정된 노이즈 필링을 수행할 수 있다.
2.2 도 6에 따른 디코더
2.2.1 디코더 개관
도 6은 본 발명의 일실시예에 따른 디코더 600의 블록 계통도를 보여준다.
참조문헌이 국제 표준(International Standard)에 만들어져 있도록 디코더(600)는 ISO/IEC 14496.3:2005(E)에 개시된 디코더와 유사하다. 디코더(600)는 코딩된 오디오 스트림(610)을 제공받고 그것에 기초하여 출력 시간 신호(612)를 수신하도록 구성된다. 코딩된 오디오 스트림은 ISO/IEC 14496.3:2005(E)에 기술된 정보의 일부 또는 전부를 포함할 수 있고 부가적으로 다중-대역 노이즈 세기 값을 기술하는 정보를 포함할 수 있다. 디코더(600)는 부호화된 오디오 스트림(610)으로부터 이중 일부가 아래에서 상세하게 기술될 복수의 부호화된 오디오 파라메터를 추출하도록 구성된 비트스트림 페이로드 디포멧터(620)를 더 포함한다. 디코더(600)는 "확장 고급 오디오 부호화(AAC)" 디코더(630)를 더 포함하고, 그것의 기능은 도 7a, 7b, 8a 내지 8c, 9, 10a, 10b, 11, 12, 13a 및 13b를 참조하여 자세하게 기술된다. 예를 들어, 확장 고급 오디오 부호화 디코더(630)는 양자화되고 부호화된 스펙트럴 선 정보, 부호화된 스케일 팩터 정보 및 부호화된 노이즈 필링 파라메터 정보로 구성된 입력 정보(630a)를 수신하도록 구성된다. 예를 들어, 확장 고급 오디오 부호화 인코더(630)의 입력 정보(630a)는 도 2를 참조하여 기술된 확장 고급 오디오 부호화 인코더(220a)에 의해 제공된 출력 정보(228b)와 동일 할 수 있다.
확장 고급 오디오 부호화 디코터(630)는 입력 정보(630a)에 기초하여 스케일링되고 역양자화된 스펙트럴의 표현(630b), 예를 들어, 복수의 주파수 빈에 대한(예를 들어, 1024 주파수 빈에 대한) 역양자화된 스펙트럴 선 값을 제공하도록 구성된다.
선택적으로, 디코더(600)는 어떤 경우에는 확장 고급 오디오 부호화 스펙트럴 디코더(630)를 대체하여 사용할 수 있는 TwinQ 스펙트럴 디코더 및/또는 BSAC 스펙트럴 디코더와 같은 추가적인 스펙트럴 디코더를 포함할 수 있다.
디코더(600)는 선택적으로 블록 스위칭/필터뱅크(640)의 입력 정보(640a)를 얻기위해 확장된 고급 오디오 부호화 디코더(630)의 출력 정보(630b)를 처리하도록 구성되는 스펙트럴 프로세싱(640)를 선택적으로 포함할 수 있다. 선택적 스펙트럴 프로세싱(630)는 하나 이상 또는 모든 기능들, M/S, PNS, 예측, 세기, 장기 예측, 종속적으로-스위칭된 스풀링(soupling), TNS, 종속적으로-스위칭된 결합(coupling)을 포함하고 이러한 기능들은 ISO/IEC 14493.3:2005(E) 및 여기서 참조된 문서들에 상세하게 기재되어 있다. 하지만, 만일, 스펙트럴 프로세싱(630)이 생략되면, 확장 고급 오디오 부호화 디코더(630)의 출력 정보(630b)는 블록-스위칭/필터뱅크(640)의 입력 정보(640a)로서 직접적으로 제공될 수 있다. 그래서, 확장 고급 오디오 부호화 디코더(630)는 출력 정보(630b)로써 스케일링되고 역-양자화된 스펙트럴을 제공할 수 있다. 블록-스위칭/필터뱅크(640)는 입력 정보(640a)로써 역-양자화된(선택적으로 전처리된) 스펙트럴을 사용하고 그것에 기초하여 출력 정보(640b)로써 하나 이상의 시간 영역 재구성된 오디오 신호를 제공한다. 예를 들어, 필터뱅크/블록-스위칭은 인코더(예를 들어, 블록-스위칭/필터뱅크(224))에서 수행되는 주파수 매핑의 역을 적용하도록 구성될 수 있다. 예를 들어, IMDCT(Inverse Modified Discrete Cosine Transform)는 필터뱅크에 의해 사용될 수 있다. 예를 들어, IMDCT는 120, 128, 480, 512, 960 또는 1024의 하나의 집합, 또는 32 또는 256 스펙트럴 계수의 네 집합에서 수행되도록 구성될 수 있다.
세부사항은 국제 표준 ISO/IEC 14496-3:2005(E)에 만들어져 있다. 디코더(600)는 블록-스위칭/필터뱅크(640)의 출력 신호(640b)로부터 출력 시간 신호(612)를 도출하도록 선택적으로 AAC 이득 제어(650), SBR 디코더(652), 독립적으로 스위칭된 커플링(654)을 더 포함할 수 있다.
하지만, 블록-스위칭/필터뱅크(640)의 출력 신호(640b)는 기능(650, 652, 654)가 없는 경우에 출력 시간 신호(612)로써 또한 제공될 수 있다.
2.2.2 확장 고급 오디오 부호화 디코더 세부사항.
이하에서, 확장 고급 오디오 부호화 디코더의 세부사항이 도 7a 및 도 7b를 참조하여 기술된다. 도 7a와 7b는 도 6의 비트스트림 페이로드 디포메터(620)와 조합된 도 6의 고급 오디오 부호화 디코더(630)의 블록 계통도를 보여둔다.
비트스트림 페이로드 디포메터(620)는 오디오 로우(raw) 데이터 블록인 “
Figure pct00037
"로 명명된 구문 팩터로 구성될 수 있는 복호화된 오디오 스트림(610)을 수신한다. 하지만, 비트스트림 페이로드 포멧터(620)는 확장 고급 오디오 부호화 디코더(630)에 산술적으로 코딩된 스펙트럴 선 정보(630aa)(예를 들어,
Figure pct00038
로 표시된), 스케일 팩터 정보(630ab)(예를 들어,
Figure pct00039
로 표시된) 및 노이즈 필링 파라메터 정보(630ac)를 포함한 양자화되고 노이즈가 없는 코딩된 스펙트럴 또는 표현을 제공하도록 구성된다. 예를 들어, 노이즈 필링 파라메터 정보(630ac)는 노이즈 오프셋 값(
Figure pct00040
으로 표시된) 및 노이즈 레벨 값(
Figure pct00041
로 표시된)을 포함한다.
확장 고급 오디오 부호화 디코더에 관하여, 참조문헌이 상기 표준에 상세한 기술으로 만들어지도록, 확장 고급 오디오 부호화 디코더(630)는 국제 표준 ISO/IEC 14496-3:2005(E)의 AAC 디코더와 매우 유사한 것을 주의해야 한다.
확장 고급 오디오 부호화 디코더는 스케일 팩터 정보(630ab)를 받고 그것에 기초하여 (
Figure pct00042
또는
Figure pct00043
로 또한 표시되는)스케일 팩터의 복호화된 정수 표현(742)을 제공하도록 구성된 (스케일 팩터 노이즈가 없는 복호화 툴로 표시되는)스케일 팩터 디코더(740)를 포함한다. 스케일 팩터 디코더(740)에 관하여, 참조문헌은 ISO/IEC 14496-3:2005, 챕터 4.6.2 및 4.6.3에 만들어져 있다. 스케일 팩터의 복호화된 정수 표현(742)은 오디오 신호의 서로 다른 주파수 대역(또한 스케일 팩터 대역들로 표시된)이 양자화된 양자화 정확도를 반영한다는 것을 주의해야 한다.
확장 고급 오디오 부호화 디코더(630)는 양자화되고 엔트로피 코딩된(예를 들어, 허프만(Huffman) 코딩된 또는 산술(Arithmetically) 코딩된) 스펙트럴 선 정보(630aa)를 받아 그것에 기초하여 하나 이상의 스펙트럴(
Figure pct00044
또는
Figure pct00045
로서 표시된)의 양자화된 값(752)을 제공하기 위한 스펙트럴 디코더(750)를 더 포함한다. 예를 들어. 스펙트럴 디코더에 관하여, 참조문헌은 전술한 국제 표준의 섹션 4.6.3에 만들어져있다. 하지만, 스펙트럴 디코더의 대체 구성은 당연히 적용될 수 있다. 예를 들어, 만일 스펙트럴 선 정보(630aa)가 산술적으로 코딩된 경우, ISO/IEC 14496-3:2005의 허프만 디코더는 산술 디코더에 의해 대체될 수 있다.
확장 고급 오디오 부호화 디코더(630)는 또한 비균일 역양자화기인 역양자화기(760)를 더 포함할 수 있다. 예를 들어, 역양자화기(760)는 스케일링되지 않은 역양자화된 스펙트럴 값(762)(예를 들어,
Figure pct00046
또는
Figure pct00047
로 표시된)을 제공할 수 있다. 예를 들어, 역양자화기(760)는 ISO/IEC 14496-3:2005, 챕터 4.6.2에 기술된 기능을 포함할 수 있다. 그렇지 않은 경우, 역양자화기(760)는 참조문헌 도8a에서 도 8c에 기술된 기능을 포함할 수 있다.
확장 고급 오디오 부호화 디코더(630)는 또한 스케일 팩터 디코더(740)로부터 스케일 팩터의 복호화된 정수 표현(742), 역양자화기(760)로부터 스케일링되지 않은 역양자화된 스펙트럴 값(762) 및 비트스트림 페이로드 디포맷터(620)로부터 노이즈 필링 파라메터 정보(630ac)를 받는 노이즈 필러(770)(노이즈 필링 툴로 또한 명명되는)를 또한 포함한다. 노이즈 필러는 이러한 것들에 기초하여 여기서
Figure pct00048
또는
Figure pct00049
로 또한 표시된 스케일 팩터의 변형된(일반적으로 정수) 표현(772)을 제공하도록 구성된다. 노이즈 필러(770)는 그것의 입력 정보에 기초하여
Figure pct00050
또는
Figure pct00051
로 또한 표시된 스케일링되지 않고 역양자화된 스펙트럴 값(774)을 제공하도록 구성된다. 노이즈 필러의 기능에 관한 세부사항은 이후에 도 9, 10a, 10b, 11, 12, 13a 및 13b를 참조하여 기술된다.
확장 고급 오디오 부호화 디코더(630)는 스케일 팩터(772)의 변형된 정수 표현과 스케일링되지 않고 역양자화된 스펙트럴 값(774)을 수신하고 그것에 기초하여
Figure pct00052
로 표시되고 화장 고급 오디오 부호화 디코더(630)의 출력 정보(630b)로써 제공될 수 있는 스케일링되고 역양자화된 스펙트럴 값(782)를 제공하도록 구성된 리스케일러(780)를 포함한다. 예를 들어, 리스케일러(780)는 ISO/IEC 14496-3:2005, 챕터 4.6.2.3.3 에 기술된 기능을 포함한다.
2.2.3. 역양자화기
이하에서, 도 8a, 8b 및 8c를 참조하여, 역양자화기(760)의 기능이 기술된다. 도 8a는 양자화된 스펙트럴 값 752로부터 스케일링되지 않고 역양자화된 스펙트럴 값(762)을 도출하는 수식의 표현을 보여준다. 도 8a의 대체 수식에서, “
Figure pct00053
"는 사인 연산자를 표시하고 “
Figure pct00054
”는 절대값 연산자를 표시한다. 도 8b는 역양자화기(760)의 기능을 나타내는 의사 프로그램 코드를 보여준다. 여기서 알 수 있듯이, 도 8a의 수학적 매핑 규칙에 따른 역양자화는 모든 윈도우 그룹(실행 변수(running variable) g로 표시된)에 대해, 모든 스케일 팩터 대역(running variable sfb로 표시된)에 대해, 모든 윈도우(실행 인덱스(running index) win으로 표시된)와 모든 스펙트럴 선(또는 스펙트럴 빈)(실행 변수(running variable) bin으로 표시된)에 대해 수행된다. 도 8c는 도 8b의 알고리즘의 순서도 표현을 보여준다. 소정의 최대 스케일 팩터 밴드 미만의 스케일 팩터 밴드(max_sfb로 표시된)에 대해 스케일링되지 않은 역 양자화된 스펙트럴 값은 스케일링되지 않은 역양자화된 스펙트럴 값의 함수로서 얻어진다. 비-선형 역양자화 규칙이 적용된다.
2.2.4 노이즈 필러
2.2.4.1. 도 9에서 12에 따른 노이즈 필러
도 9는 본 발명의 일실시예에 따른 노이즈 필러(900)의 블록 계통도를 보여준다. 예를 들어, 노이즈 필러(900)는 도 7A와 7B를 참조하여 기술된 노이즈 필터(770)로 대신할 수 있다.
노이즈 필러(900)는 스케일 팩터의 주파수 대역 이득값으로 간주될 수 있는 복호화된 정수 표현(742)을 수신한다. 노이즈 필러(900)는 또한 스케일링되지 않은 역으로 양자화된 스펙트럴 값(762)을 수신한다. 또한, 예를 들어, 노이즈 필터(900)는 노이즈 필링 파라메터
Figure pct00055
와
Figure pct00056
를 포함하는 노이즈 필링 파라메터 정보(630ac)를 수신한다. 노이즈 필러(900)는 스케일 팩터의 변형된 정수 표현(772)과 스케일링되지 않은 역양자화된 스펙트럴 값(774)를 추가로 제공받는다. 노이즈 필러(900)는 스펙트럴 선(또는 스펙트럴 빈)이 영으로 양자화되었는지( 및 추가적인 노이즈 필링 요구사항을 가능한 준수하는지)를 결정하도록 구성되는 영으로-양자화된-스펙트럴-선 탐지기(910)를 포함한다. 이러한 목적에서, 영으로-양자화된-스펙트럴-선 탐지기(910)는 입력 정보로써 스케일링되지 않은 역양자화된 스펙트럴(762)를 직접적으로 제공받는다. 노이즈 필러(900)는 영으로-양자화된-스펙트럴-선 탐지기(910)의 결정에 따라서 스펙트럴 선 대체 값(922)에 의해 입력 정보(762)의 스펙트럴 값을 선택적으로 대체하도록 구성된 선택적 스펙트럴 선 대체기(replacer)(920)를 더 포함한다. 그래서, 만일 영으로-양자화된-스펙트럴-선 탐지기(910)가 입력 정보(762)의 특정한 스펙트럴 선이 대체 값에 의해 대체되어야한다고 지시하는 경우, 선택적 스펙트럴 선 대체기(920)는 출력 정보(774)를 얻기 위해 특정 스펙트럴 선을 스펙트럴 선 대체 값(922)으로 대체한다. 그렇지 않으면, 선택적 스펙트럴 선 대체기(920)는 출력 정보(774)를 얻기 위해 변경없이 특정한 스펙트럴 선 값을 전달한다. 노이즈 필러(900)는 또한 입력 정보(742)의 스케일 팩터를 선택적으로 변경하도록 구성된 선택 스케일 팩터 변경기(modifier)(930)를 또한 포함한다. 예를 들어, 선택 스케일 팩터 변경기(930)는 “
Figure pct00057
"으로 표시된 소정의 값에 의해 영으로 양자화되는 스케일 팩터 주파수 대역의 스케일 팩터를 증가시키도록 구성된다. 그래서, 입력 정보(742)에서 상응하는 스케일 팩터와 비교할 경우, 출력 정보(772)에서 영으로 양자화된 주파수 대역의 스케일 팩터는 증가된다. 대조적으로, 영으로 양자화되지 않은 스케일 팩터 주파수 밴드에 상응하는 스케일 팩터 값은 입력 정보(742)와 출력 정보(772)에서 동일하다.
어떠한 스케일 팩터 주파수 밴드가 영으로 양자화되는지 결정하는 것에 대해, 노이즈 필러(900)는 입력 정보(762)에 기초하여 “스케일 팩터 변경을 구동” 신호 또는 플래그(942)를 제공함으로써 선택 스케일 팩터 변경기(modifier)(930)를 제어하도록 구성된 영으로-양자화된-대역 탐지기(940)를 또한 포함한다. 예를 들어, 만일 스케일 팩터 대역의 모든 주파수 빈(스펙트럴 빈으로 또한 표시되는)이 영으로 양자화되는 경우, 영으로-양자화된-대역 탐지기(940)는 선택 스케일 팩터 변경기(930)에 대한 스케일 팩터의 증가에 대한 필요성을 지시하는 신호 또는 플래그를 제공할 수 있다.
여기서 입력 정보(742)와 상관없이 선택 스케일 팩터 변경기가 또한 전부 영으로 양자화된 스케일 팩터 밴드의 스케일 팩터를 소정의 값으로 설정하도록 구성된 선택 팩터 대체기의 형태를 가질 수 있다는 것에 주의해야한다.
이하에서, 리-스케일러(780)의 기능을 할 수 있는 리-스케일러(950)가 기술된다. 리-스케일러(950)는 노이즈 필러에 의해 제공된 스케일 팩터의 변경된 정수 표현(772)과 노이즈 필러에 의해 제공된 스케일링되지 않고, 역양자화된 스펙트럴 값(774)을 수신하도록 구성된다. 리-스케일러(950)는 스케일 팩터 대역 당 스케일 팩터의 하나의 정수 표현을 수신하고 스케일 팩터 밴드 당 하나의 이득값을 제공하도록 구성된 스케일 팩터 이득 컴퓨터(960)를 포함한다. 예를 들어, 스케일 팩터 이득 컴퓨터(960)는
Figure pct00058
스케일 팩터 대역에 대한 스케일 팩터의 변형된 정수 표현(772)에 기초하여
Figure pct00059
주파수 대역에 대한 이득 값(962)을 연산하도록 구성될 수 있다. 그래서, 스케일 팩터 이득 컴퓨터(960)는 서로 다른 스케일 팩터 대역에 대해 개별 이득 값을 제공한다. 리-스케일러(950)는 이득값(962)과 스케일링되지 않고 역양자화된 스펙트럴 값(774)를 수신하도록 구성된 곱셈기(970)를 또한 포함한다. 각각의 스케일링되지 않고 역양자화된 스펙트럴 값(774)은 스케일 팩터 주파수 대역(sfb)과 연관되어 있다는 것을 주의해야한다. 따라서, 곱셈기(970)는 스케일링되지 않고 역양자화된 스펙트럴 값(774)을 동일한 스케일 팩터 대역과 연관된 상응하는 이득값으로 스케일링하도록 구성된다. 즉, 주어진 스케일 팩터 밴드와 관련된 모든 스케일링되지 않고 역양자화된 스펙트럴 값(774)은 주어진 스케일 팩터 밴드와 연관된 이득값으로 스케일링된다. 따라서, 서로 다른 스케일 팩터 대역과 연관된 스케일링되지 않고 역양자화된 스펙트럴값은 일반적으로 서로 다른 스케일 팩터 대역과 연관된 서로 다른 이득 값으로 스케일링된다.
그래서, 서로 다른 스케일링되지 않고 역양자화된 스펙트럴 값은 어떠한 스케일 팩터 대역에 연관되었는지에 따라 서로 다른 이득 값으로 스케일링된다.
의사 프로그램 코드 표현
이하에서, 노이즈 필러(900)의 기능은 의사 프로그램 코드 표현(도 10A)과 관련된 기술(도 10B)를 보여주는 도 10A와 10B를 참조하여 기술된다. 코멘트는 “--”표시로 시작한다.
도 10의 의사 코드 프로그램 리스트에 의해 표현된 노이즈 필링 알고리즘은 노이즈 레벨 표현(
Figure pct00060
)으로부터 노이즈 값(
Figure pct00061
)을 도출하는 첫 번째 부분(1번째 줄에서 8번째 줄)을 포함한다. 또한, 노이즈 오프셋(
Figure pct00062
)이 도출된다. 노이즈 레벨로부터 노이즈 값을 유도하는 것은 비-선형 스케일링을 포함하고 노이즈 값은
Figure pct00063
를 따라서 계산된다.
부가적으로, 범위-천이(range-shift)된 노이즈 오프셋 값은 양과 음 값을 가지도록 노이즈 오프셋 값의 범위 천이는 수행된다.
알고리즘의 두 번째 부분(9번째 줄에서 29번째 줄)은 스펙트럴 선 대체 값으로 스케일링되지 않고 역양자화된 스펙트럴 값을 선택적으로 대체하는 것과 스케일 팩터의 선택적인 변환에 대한 책임이 있다. 의사 프로그램 코드로부터 알 수 있듯이, 알고리즘은 모든 가능한 윈도우 그룹(9번째 줄에서 29번재 줄의 for-루프에서)에 대해 수행될 수 있다. 또한, 영과 최대 스케일 팩터 대역(
Figure pct00064
) 사이의 모든 스케일 팩터 대역은 프로세싱이 서로 다른 스케일 팩터 대역(10번째 줄 및 28번재 줄 사이의 for-루프에서)에서 다를 수 있기는 하지만 처리될 수 있다. 하나의 중요한 측면은 스케일 팩터 대역이 영으로 양자화되지 않는다고 알려지지 않는다면(11번째 줄을 주어서) 그것은 일반적으로 스케일 팩터 대역이 영으로 양자화된다고 일반적으로 추정된다는 사실이다. 하지만, 스케일 팩터 대역이 영으로 양자화되었는지 아닌지를 검사하는 것은 단지 스케일 팩터 밴드에서 수행되고, 그것의 시작 주파수 선(starting frequency line;
Figure pct00065
)은 소정의 스펙트럴 계수 인덱스(
Figure pct00066
)를 초과한다. 만일, 스케일 팩터 밴드 sfb의 가장 낮은 스펙트럴 계수의 인덱스가 노이즈 필링 시작 오프셋보다 크다면 13번째 줄과 24번째 줄 사이의 조건적 루틴은 수행된다. 대조적으로, 가장 낮은 스펙트럴 계수(
Figure pct00067
)의 인덱스가 소정의 값(
Figure pct00068
)보다 작거나 같은 어떠한 스케일 팩터 밴드에 대하여, 대역들은 영으로 양자화되지 않고 실제의 스펙트럴 선 값들(24a, 24b 및 24c를 참조)로부터 독립적이라고 가정된다.
하지만, 만일, 특정한 스케일 팩터 밴드의 가장 낮은 스펙트럴 계수의 인덱스가 소정의 값(
Figure pct00069
)보다 크다면, 특정 스케일 팩터 밴드의 모든 스펙트럴선이 영으로 양자화된 것으로 간주되는 경우에만, 특정한 스케일 팩터 밴드는 영으로 양자화된 것으로 간주된다(만일 스케일 팩터 대역의 하나의 스펙트럴 빈이 영으로 양자화되지 않는다면 플래그 “band_quantized_to zero"는 15번째 줄과 22번째 줄 사이에서 for-루프에 의해 리셋된다.)
결과적으로, 만일 디폴트(11번째 줄)에 의해 처음에 설정된 플래그 “
Figure pct00070
"가 12번째 줄과 24번째 줄 사이에서 프로그램 코드 실행 동안 삭제되지 않는다면 주어진 스케일 팩터 대역의 스케일 팩터는 노이즈 오프셋을 사용하여 변경된다. 위에서 언급되었듯이, 플래그의 리셋은 가장 낮은 스펙트럴 계수의 인덱스가 소정의 값(
Figure pct00071
)을 초과하는 스케일 팩터 밴드에서만 일어난다. 또한, 만일 스펙트럴 선이 영으로 양자화된다면, 도 10A의 알고리즘은 스펙트럴 선 대체값으로 스펙트럴 선 값을 대체하는 것으로 구성된다(16번째 줄의 조건과 17번째 줄의 대체 연산). 하지만, 상기 대체는 가장 나은 스펙트럴 계수의 인덱스가 소정의 값(
Figure pct00072
)을 초과하는 스케일 팩터 밴드에서만 수행된다. 낮은 스펙트럴 주파수 대역에서 영으로 양자화된 스펙트럴 값을 대체 스펙트럴 값으로 대체하는 것은 생략된다.
랜덤 또는 의사-랜덤 표시가 알고리즘의 첫 번째 부분(17번째 줄)에서 연산된 노이즈 값(
Figure pct00073
)에 추가되는 간단한 방법으로 교체값이 계산될 수 있다는 것에 또한 주의해야 한다.
도 10B는 의사 프로그램 코드의 이해를 돕기 위하여 10A의 의사 프로그램 코드에서 사용되는 연관된 심볼들의 범례를 보여준다는 것에 주의해야 한다.
노이즈 필러 기능의 중요한 측면은 도 11에 나타나 있다. 여기서 알 수 있듯이, 노이즈 필러의 기능은 선택적으로 노이즈 레벨에 기초하여 노이즈 값을 계산하는 컴퓨팅부(1110)을 포함한다. 노이즈 필러의 기능은 또한 교체된 스펙트럴 선 값을 얻기 위해 노이즈 값에 종속하여 영으로 양자화된 스펙트럴 선의 스펙트럴 선 값을 스펙트럴 선 대체 값으로 대체부(1120)을 또한 포함한다. 하지만, 대체부(1120)는 소정의 스펙트럴 계수 인덱스를 초과하는 최저 스펙트럴 계수를 가진 스케일 팩터 대역에서만 수행된다.
노이즈 필러의 기능은 만일 스케일 팩터 대역이 영으로 양자화되는 경우에만 노이즈 오프셋 값에 따라서 대역 스케일 팩터를 변경하는 변경부(1130)을 또한 포함한다. 하지만 변경부(1130)은 소정의 스펙트럴 계수 인덱스를 초과하는 최저 스펙트럴 계수를 가진 스케일 팩터 대역에서 그 형태로 수행된다.
노이즈 필러는 소정의 스펙트럴 계수 인덱스 미만의 최저 스펙트럴 계수를 가진 스케일 팩터 대역에서 스케일 팩터 대역이 영으로 양자화되었는지 여부로부터 독립적으로 대역 스케일 팩터를 영향받지 않은 채로 남겨두는 남김부(1140)의 기능을 또한 포함한다.
또한, 리-스케일러는 스케일링되고 역양자화된 스펙트럴을 얻기 위해 변경 않거나 변경된(가능한 경우) 대역 스케일 팩터를 대체되지 않은 또는 대체된(가능한 경우) 스펙트럴 선 값에 적용하는 기능(1150)을 포함한다.
도 12는 도 10A, 10B 및 11에 참조하여 기술된 개념의 도식적인 표현을 보여준다. 특히, 스케일 팩터 대역 시작 빈에 종속한 서로 다른 기능이 표현되어 있다.
2.2.4.2 도 13A와 13B에 따른 노이즈 필러
도 13A와 13B는 알고리즘의 노이즈 필러(770)의 대안적인 구성에서 수행될 수 있는 의사 코드 프로그램 리스트를 보여준다. 도 13A는 노이즈 필링 파라메터 정보(630ac)에 의해 표현될 수 있는 노이즈 레벨 정보로부터 노이즈 값(노이즈 필러내에서 사용되는)을 유도하는 알고리즘을 기술한다.
평균 양자화 에러가 대부분의 시간에서 대략 0.25이기 때문에,
Figure pct00074
범위[0, 0.5]는 오히려 크고 최적화될 수 있다.
도 13B는 노이즈 필러(770)에 의해 형성될 수 있는 알고리즘을 나타낸다. 도 13B의 알고리즘은 노이즈 값을 결정하는 첫 번째 부분(1 번째 줄에서 4번째 줄에 “
Figure pct00075
" 또는 "
Figure pct00076
"로 표시된)을 포함한다. 알고리즘의 두 번째 부분은 스케일 팩터의 선택적인 변경(7번째 줄에서 9번째 줄)과 스펙트럴 선 대체값으로 스펙트럴 선 값을 선택적으로 대체하는 것(10번째 줄에서 14번째 줄)을 포함한다.
하지만, 도 13B의 알고리즘에 따르면, 스케일 팩터(
Figure pct00077
)는 대역이 영으로 양자화될 때마다(7번째 줄을 참조) 노이즈 오프셋(
Figure pct00078
)을 사용하여 변경된다. 이 실시예에서는 낮은 주파수 대역과 높은 주파수 대역 사이에 차이가 존재하지 않는다.
또한, 노이즈는 단지 높은 주파수 대역에서 영으로 양자화된 스펙트럴 선에 도입된다(만일 선이 특정한 소정의 임계값 “
Figure pct00079
"을 초과한 경우).
2.2.5. 디코더 결론
요약하자면 본 발명에 따른 디코더의 실시예들은 아래의 특징 중에서 하나 이상을 포함할 수 있다.
ㆍ“노이즈 필링 시작 선(noise filling starting line)”으로부터 시작함 (그것은 시작 주파수가 모든 0을 대체값으로 대체하는 것을 나타내는 고정된 오프셋 또는 선이 될 수 있음.)
ㆍ대체값은 양자화된 영역에서 노이즈 값(랜덤 표시를 가진)을 지시하고 이 “대체값”을 실제 스케일 팩터 대역에서 전송된 스케일 팩터(“
Figure pct00080
")로 스케일링함.
ㆍ“랜덤” 대체값들은 예를 들어, 노이즈 분포 또는 전송된(signaled) 노이즈 레벨로 가중치를 부여한 교체값들의 집합으로부터 또한 유도될 수 있다.
3. 오디오 스트림
3.1. 도 14A와 14B에 따른 오디오 스트림
이하에서, 본 발명의 일실시예에 따른 오디오 스트림이 기술된다. 이하에서 속칭 “usac 비트스트림 페이로드”가 기술된다. “usac 비트스트림 페이로드”는 도 14A에서 볼 수 있듯이 하나 이상의 싱글 채널(페이로드 “
Figure pct00081
) 및/또는 하나 이상의 채널 쌍(
Figure pct00082
)을 표현하는 페이로드 정보를 나른다. 싱글 채널 정보(
Figure pct00083
)는 도 14B에서 볼 수 있듯이 다른 선택적 정보 사이에서 주파수 영역 채널 스트림(
Figure pct00084
)를 포함한다.
예를 들어, 도 14C에서 볼 수 있듯이, 채널 쌍 정보(
Figure pct00085
)는 부가적 팩터에 부가하여 복수의 두 주파수 도메일 채널 스트림(
Figure pct00086
)을 포함한다.
예를 들어, 주파수 영역 채널 스트림의 데이터 컨텐츠는 노이즈 필링이 사용되었는지 아닌지(여기에 미도시된 전송 데이터 부분(signaling data portion)에 표시될 수 있다.)에 종속될 수 있다. 이하에서, 노이즈 필링이 사용된다고 가정된다. 예를 들어, 이러한 경우, 주파수 영역 채널 스트림은 도 14D에 나타난 데이터 팩터들을 포함할 수 있다. 예를 들어, ISO/IEC 14496-3:2005에 정의된 전체 이득 정보(
Figure pct00087
)는 존재할 수 있다. 더욱이, 주파수 영역 채널 스트림은 여기에서 기술된 노이즈 오프셋 정보(
Figure pct00088
)와 노이즈 레벨 정보(
Figure pct00089
)로 구성될 수 있다. 예를 들어, 노이즈 오프셋 정보는 3 비트를 사용하여 부호화될 수 있고 예를 들어, 노이즈 레벨 정보는 5비트를 사용하여 부호화될 수 있다.
또한, 주파수 영역 채널 스트림은 여기에서 기술되고 ISO/IEC 14496-3에서 정의된 부호화된 스케일 팩터 정보(a
Figure pct00090
)와 산술적으로 부호화된 스펙트럴 데이터(
Figure pct00091
)를 포함할 수 있다.
선택적으로, 주파수 영역 채널 스트림은 또한 ISO/IEC 14496-3에 정의된 것처럼 시간적 노이즈 형성 데이터(
Figure pct00092
)를 포함한다.
물론, 주파수 영역 채널 스트림은 필요한 경우 다른 정보를 포함할 수 있다.
3.2 도 15에 따른 오디오 스트림
도 15는 개별 채널(
Figure pct00093
)을 나타내는 채널 스트림 구문의 도식적인 표현을 보여준다.
개별 채널 스트림은 예를 들어, 8비트를 사용하여 부호화된 전체 이득 정보(
Figure pct00094
), 예를 들어, 5비트를 사용하여 부호화된 노이즈 오프셋 정보(
Figure pct00095
), 예를 들어, 3비트를 사용하여 부호화된 노이즈 레벨 정보(
Figure pct00096
)를 포함할 수 있다.
개별 채널 스트림은 섹션 데이터(
Figure pct00097
), 스케일 팩터 데이터(
Figure pct00098
) 및 스펙트럴 데이터(
Figure pct00099
())를 더 포함할 수 있다.
또한, 도 15로부터 알 수 있듯이, 개별 채널 스트림은 추가의 선택정보를 더 포함할 수 있다.
3.3. 오디오 스트림 결론
전술한 바를 요약하자면, 본 발명에 따른 어떠한 실시예들에서 아래의 비트스트림 구문 요소들이 사용된다:
ㆍ스케일 팩터를 전송하기 위해 필요한 비트를 최적화하기 위한 노이즈 스케일 팩터 오프셋을 지시하는 값;
ㆍ노이즈 레벨을 지시하는 값; 및/또는
ㆍ노이즈 대체(noise substitution)에 대한 서로 다른 형태 사이에서 선택되는 선택적인 값(일정한 값 대신에 단일 분포 노이즈 또는 단지 하나 대신에 복수의 이산 레벨)
4. 결론
낮은 비트 레이트 코딩에서, 노이즈 필링은 두가지 목적에서 사용될 수 있다.
ㆍ많은 스펙트럴 선이 영으로 양자화될 수 있기 때문에, 낮은 비트 레이트 오디오 코딩에서 스펙트럴 값의 거친 양자화(coarse quantization)는 역양자화 후에 매우 희박한 스펙트라로(very sparse spectra) 이어진다. 희박하게 채워진 스펙트라는 날카롭거나 안정적이지 않은(새들의) 소리를 내는 복호화된 신호를 생성한다. 디코더에서 영으로 된 선을 “작은” 값으로 대체함으로써, 명백히 새로운 노이즈 아티팩트를 부가함 없이 이러한 매우 명백한 아티팩트를 감소시키거나 가리는 것이 가능하다.
ㆍ만일 원래 스펙트럴에서 노이즈-같은 신호 부분이 있다면, 이러한 노이즈 신호 부분의 지각적으로 균등한 표현은 노이즈 신호 부분의 에너지와 같은 단지 작은 파라메터의 정보에 기초하여 디코더에서 재생성될 수 있다. 파라메터 정보는 코딩된 파형을 전송하기 위해 필요한 비트의 수와 비교하여 적은 비트로 전송될 수 있다.
여기서 기술된 새롭게 제안된 노이즈 필링 코딩 방법은 단일 어플리케이션에 전술한 목적을 효과적으로 혼합한다.
MPEG-4 오디오와 비교하여, 지각 노이즈 대체(perceptual noise substitution, PNS)는 단지 노이즈-같은 신호 부분의 파라메터화된 정보를 전송하고 디코더에서 지각적으로 동등한 이러한 신호 부분을 재생성하기 위해 사용된다.
AMR-WB+와 추가적으로 비교하여, 영으로 양자화된 벡터 양자화 벡터들(VQ-vectors)은 각각의 복소 스펙트럴 값이 일정한 진폭을 가지나 랜덤한 위상을 가지는 랜덤 노이즈 벡터와 대체된다. 진폭은 비트 스트림과 함께 전송된 하나의 노이즈 값에 의해 제어된다.
하지만, 비교 개념은 명백한 단점을 제공한다. AMR-WB+는 단지 영으로 양자화된 신호의 큰 부분으로부터 산출된 복호화된 신호에서 아티팩트를 가리기 위해 시도하는 반면에 PNS는 완전한 스케일 팩터 대역을 노이즈로 채우는데에만 사용될 수 있다. 대조적으로, 제안된 노이즈 필링 코딩 방법은 노이즈 필링의 양 측면을 단일 어플리케이션으로 효과적으로 조합한다.
일측면에 따르면, 본 발명은 노이즈 레벨 계산의 새로운 형태로 구성된다. 노이즈 레벨은 평균 양자화 에러에 기초한 양자화 영역에서 계산된다.
양자화 영역에서 양자화 에러는 양자화 에러의 다른 형태와 다르다. 양자화된 영역에서 선 당 양자화 에러는 0.25의 평균 절대값 에러(보통 1보다 큰 정규 분포 입력 값에 대하여)를 가지고 [-0.5;0.5]의 범위에 있다(1 양자화 레벨).
이하에서, 양자화 영역에서 노이즈 필링의 특정한 이득은 요약될 수 있다. 양자화 영역에서 노이즈를 추가하는 이득은 디코더에서 추가된 노이즈는 주어진 대역에서 평균 에너지뿐만 아니라 대역의 음향심리학적 연관성으로 스케일링된다는 사실이다.
보통, 지각적으로 최대 연관된(음색의) 대역들은 최대한 정확하게 양자화된 대역들일 수 있고 복수의 양자화 레벨을 평균화하는 것(1보다 큰 양자화된 값)들은 이 대역들에서 사용될 수 있다. 이 대역들에서 평균 양자화 에러의 레벨로 노이즈를 부가하는 것은 이러한 대역의 지각에 단지 매우 한정된 영향을 가질 수 있다.
지각적으로 연관되어 있지 않거나 더욱 더 노이즈-같은(more noise-like) 대역은 낮은 수의 양자화 레벨로 양자화될 수 있다. 대역의 더 많은 스펙트럴 선들이 영으로 양자화됨에도 불구하고, 대역에서 관련된 에러가 높아지는 반면에 결과적인 평균 양자화 에러는 정교하게 양자화된 대역들과 동일할 수 있다(양 대역에서 정규 분포 양자화 에러를 가정함).
이러한 거친 양자화 대역에서, 노이즈 필링은 조악한 양자화때문에 스펙트럴 홀(spectral hole)로부터 산출된 아티펙트를 지각적으로 가리도록 한다.
양자화된 영역에서 노이즈 필링을 고려하는 것은 전술한 인코더 및 또는 전술한 디코더에 의해 획득될 수 있다.
5. 구성 대안
특정한 구성 요구사항에 종속하여, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 개별적인 방법이 수행되도록 구성은 거기에 저장된 전기적으로 읽을 수 있는 제어 신호를 가진 프로그램가능한 컴퓨터 시스템에서 구동되는(또는 구동가능한) 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, CD ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 통해서 수행될 수 있다.
본 발명에 따른 특정한 실시예들은 여기에 기술된 하나의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템에서 구동될 수 있는 전기적으로 읽을 수 있는 제어 신호를 가진 데이터 운반자(data carrier)를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 가진 컴퓨터 프로그램 프로덕트(computer program product)를 포함할 수 있고, 컴퓨터 프로그램 프로덕트가 컴퓨터에서 구동될 때 프로그램 코드는 하나의 방법을 수행하는데 이용된다. 예를 들어, 프로그램 코드는 기계 가독 운반자(machine readable carrrier)에 저장될 수 있다.
다른 실시예는 여기에서 기술된 방법 중 하나를 수행하는 기계 가독 운반자에 저장된 컴퓨터 프로그램을 포함한다.
즉, 그러므로, 컴퓨터 프로그램이 컴퓨터에서 구동될 경우, 발명된 방법의 실시예는 여기에서 기술된 방법 중 하나를 수행하는 프로그램 코드를 가지는 컴퓨터 프로그램이다.
그러므로 발명된 방법의 추가의 실시예는 거기에 기록된 여기서 기술된 방법 중 하나를 수행하는 컴퓨터 프로그램으로 구성되는 데이터 운반자(또는 디지털 저장 매체 또는 컴퓨터 가독 매체)이다.
그러므로, 발명된 방법의 추가의 실시예는 여기에서 기술된 방법 중 하나를 수행하는 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 예를 들어, 데이터 스트림 또는 신호들의 시퀀스는 데이터 통신 연결 예를 들어, 인터넷을 통해 전송되도록 구성된다.
추가의 실시예는 여기에서 기술된 방법 중 하나를 수행하도록 구성되거나 적용된 프로세싱 수단, 예를 들어, 컴퓨터, 프로그램이 가능한 논리 장치를 포함한다. A1
추가의 실시예는 여기에서 기술된 방법 중 하나를 수행하는 컴퓨터 프로그램이 인스톨된 컴퓨터를 포함한다.

Claims (15)

  1. 입력 오디오 신호의 변환-영역 표현(112; 114; 228a)에 기초하여 오디오 스트림(126; 212)을 제공하는 인코더(100;228)로서, 상기 인코더는
    개별 대역 이득 정보(228a)가 얻어질 수 있는 입력 오디오 신호의 복수의 주파수 대역에서 다중-대역 양자화 에러(116;332)를 결정하도록 구성된 양자화 에러 계산기(110;330); 및
    상기 오디오 스트림(126;212)을 제공하도록 구성되되 상기 오디오 스트림이 상기 주파수 대역의 오디오 컨텐츠를 기술하는 정보와 상기 다중-대역 양자화 에러를 기술하는 정보를 포함하도록 하는 오디오 스트림 제공기(120;230)를 포함하는 인코더.
  2. 청구항 1에 있어서, 상기 인코더는
    서로 다른 주파수 대역의 음향심리학적 연관성(228c)에 따른 서로 다른 양자화 정확도-여기서, 상기 서로 다른 양자화 정확도들은 상기 대역 이득 정보에 의해 반영됨-를 사용하여 상기 변환 영역 표현(228a)의 서로 다른 주파수 대역의 스펙트럴 구성요소들을 양자화하도록 구성되어 양자화된 스펙트럴 구성요소들을 얻는 양자화기(310);를 포함하고,
    상기 오디오 스트림 제공기(212)는 상기 오디오 스트림을 제공하도록 구성되되 상기 오디오 스트림은 상기 대역 이득 정보를 기술하는 정보를 포함하도록 하고 상기 오디오 스트림은 상기 다중-대역 양자화 에러를 기술하는 정보를 더 포함하도록 하는 인코더(100;228).
  3. 청구항 2에 있어서,
    상기 양자화기(310)는 상기 대역 이득 정보에 따라서 상기 스펙트럴 구성요소의 스케일링을 수행하고 상기 스케일링된 스펙트럴 구성요소들의 정수값 양자화를 수행하도록 구성되며,
    상기 양자화 에러 계산기(330)는 상기 양자화된 영역에서 상기 다중-대역 양자화 에러(332)를 결정하되 상기 정수값 양자화 이전에 수행된 상기 스펙트럴 구성요소의 스케일링이 상기 다중-대역 양자화 에러에서 고려되도록 하는 인코더(100;228).
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    상기 인코더는 완전히 영으로 양자화된 주파수 대역의 대역 이득 정보를 완전히 영으로 양자화된 상기 주파수 대역의 에너지와 상기 다중-대역 양자화 에러의 에너지 사이의 비율을 나타내는 값으로 설정하도록 구성되는, 인코더(100;228).
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 양자화 에러 계산기(330)는 스펙트럴 구성요소들이 전부 영으로 양자화된 주파수 대역들을 피한채 영이 아닌 값으로 양자화된 적어도 하나의 스펙트럴 구성요소를 각각 포함하는 복수의 주파수 대역에서 상기 다중-대역 양자화 에러(332)를 결정하도록 구성되는, 인코더(100;228).
  6. 상기 오디오 신호의 주파수 대역들에서 스펙트럴 구성요소들을 나타내는 부호화된 오디오 스트림(510;610)에 기초하여 오디오 신호의 복호화된 표현(512, 514;630b)을 제공하는 디코더로서, 상기 디코더는
    공통 다중-대역 노이즈 세기값(526)에 기초하여, 개별 주파수 대역 이득 정보가 연관된 복수의 주파수 대역의 스펙트럴 구성요소들에 노이즈를 도입(introduce)하도록 구성된 노이즈 필러(520;770)를 포함하는, 디코더(500;600).
  7. 청구항 6에 있어서,
    상기 노이즈 필러(520;770)는 각각의 개별 스펙트럴 빈(spectral bin)이 영으로 양자화되는지 아닌지에 따라 주파수 대역의 개별 스펙트럴 빈으로 노이즈를 도입(introduce)할지를 매 스펙트럴-빈마다 선택적으로 결정하도록 구성된, 디코더(500;600).
  8. 청구항 6 또는 청구항 7에 있어서,
    상기 노이즈 필러(520;770)는
    주파수 영역 오디오 신호 표현의 제1 주파수 대역의 서로 다른 중복되는 또는 중복되지 않는 주파수 부분들을 나타내는 복수의 스펙트럴 빈 값(522)을 수신하고, 상기 주파수 영역 오디오 신호 표현의 제2 주파수 대역의 서로 다른 중복되는 또는 중복되지 않는 주파수 부분들을 나타내는 복수의 스펙트럴 빈 값(524)을 수신하고;
    상기 복수의 주파수 대역의 상기 제1 주파수 대역의 하나 이상의 스펙트럴 빈 값들을 상기 다중-대역 노이즈 세기값(526)에 의해 크기가 결정되는 제1 스펙트럴 빈 노이즈 값으로 대체하고, 상기 복수의 주파수 대역의 상기 제2 주파수 대역의 하나 이상의 스펙트럴 빈 값들을 상기 제1 스펙트럴 빈 노이즈 값과 같은 크기를 갖는 제2 스펙트럴 빈 노이즈 값으로 대체하도록 구성되고;
    상기 디코더는 제1 주파수 대역 이득값으로 상기 복수의 주파수 대역의 상기 제1 주파수 대역의 스펙트럴 빈 값을 스케일링하여 상기 제1 주파수 대역의 스케일링된 스펙트럴 빈 값을 얻고 제2 주파수 대역 이득값으로 상기 복수의 주파수 대역의 상기 제2 주파수 대역의 스펙트럴 빈 값을 스케일링하여 상기 제2 주파수 대역의 스케일링된 스펙트럴 빈 값을 얻는 스케일러(780)를 포함하되,
    상기 제1 및 제2 스펙트럴 빈 노이즈 값들로 대체된 상기 대체 (스펙트럴 빈 값들은 서로 다른 주파수 대역 이득값들로 스케일링되도록 하고,
    상기 제1 스펙트럴 빈 노이즈 값으로 대체된 상기 대체 스펙트럴 빈 값 및 상기 제1 주파수 대역의 오디오 컨텐츠를 나타내는 상기 제1 주파수 대역의 대체되지 않은 스펙트럴 빈 값은 상기 제1 주파수 대역 이득값으로 스케일링되도록 하고, 상기 제2 스펙트럴 빈 노이즈 값으로 대체된 상기 대체 스펙트럴 빈 값 및 상기 제2 주파수 대역의 오디오 컨텐츠를 나타내는 상기 제2 주파수 대역의 대체되지 않은 스펙트럴 빈 값들은 상기 제2 주파수 대역 이득값으로 스케일링되도록 하는, 디코더(500;600).
  9. 청구항 5 내지 8 중 어느 한 항에 있어서,
    상기 노이즈 필러(520;770)는 주어진 주파수 대역이 영으로 양자화되는 경우, 노이즈 오프셋 값을 사용하여 주어진 주파수 대역의 주파수 대역 이득 값을 선택적으로 변경하도록 구성된, 디코더(500;600).
  10. 청구항 6 내지 9 중 어느 한 항에 있어서,
    상기 노이즈 필러(520;770)는
    스펙트럴 빈 노이즈 값들의 크기가 상기 다중-대역 노이즈 세기값(526)에 따르는 스펙트럴 빈 노이즈 값들로 영으로 양자화된 스펙트럴 빈들의 스펙트럴 빈 값들을 대체하도록 구성되어 소정의 스펙트럴 빈 인덱스 미만의 최저 스펙트럴 빈 인덱스를 가지는 주파수 대역들의 스펙트럴 빈 값은 영향을 받지 않도록 남겨두고, 상기 소정의 스펙트럴 빈 인덱스를 초과하는 최저 스펙트럴 빈 인덱스를 가지는 주파수 대역들에서만 대체 스펙트럴 빈 값들을 얻고;
    상기 노이즈 필러는 상기 주어진 주파수 대역이 전부 영으로 양자화되는 경우, 소정의 스펙트럴 빈 인덱스를 초과하는 최저 스펙트럴 빈 인덱스를 가지는 상기 주파수 대역들에 대해 노이즈 오프셋 값에 따라 주어진 주파수 대역의 대역 이득 값을 선택적으로 변경하도록 구성되고,
    상기 디코더는 상기 선택적으로 변경된 또는 변경되지 않은 대역 이득값들을 상기 선택적으로 대체되거나 대체되지 않은 스펙트럴 빈 값으로 적용하여, 상기 오디오 신호를 나타내는 스케일링된 스펙트럴 정보를 얻는 스케일러를 더 포함하는, 디코더(500;600).
  11. 청구항 6 내지 11 중 한 항에 있어서,
    상기 디코더는 복수의 주파수 대역에서 스펙트럴 빈 값들-여기서, 복수의 스펙트럴 빈 값은 상기 복수의 주파수 대역의 제1 주파수 대역과 연관되고, 복수의 스펙트럴 빈 값은 상기 복수의 주파수 대역의 제2 주파수 대역과 연관됨-의 양자화되고 엔트로피-부호화된 표현(630aa),
    대역 이득값들의 부호화된 표현(630ab)-여기서, 제1 대역 이득값이 상기 제1 주파수 대역과 연관되고 제2 대역 이득값이 상기 제2 주파수 대역과 연관됨-, 및
    상기 다중-대역 노이즈 세기값의 부호화된 표현(630ac)을 포함하는 오디오 스트림(610)을 수신하도록 구성되고;
    상기 디코더는 상기 스펙트럴 빈 값들의 양자화되고 엔트로피-부호화된 표현에 기초하여 상기 스펙트럴 빈 값들의 양자화되고 복호화된 표현(752)를 제공하도록 구성된 스펙트럴 디코더(750)를 포함하고;
    상기 디코더는 상기 스펙트럴 빈 값들의 상기 양자화되고 복호화된 표현(752)을 역양자화하도록 구성되어 상기 스펙트럴 빈 값들의 역양자화되고, 복호화된 표현(762)을 얻는 역양자화기(760)를 포함하고;
    상기 디코더는 상기 스펙트럴 이득값들의 상기 부호화된 표현(630ab)을 복호화하도록 구성되어 상기 스펙트럴 이득 값들의 복호화된 표현을 얻는 스케일 팩터 복호화기(740)를 포함하고;그리고
    상기 노이즈 필러(770)는 동일한 크기들의 스펙트럴 빈 대체값들로 다중 주파수 대역들의 영으로 역양자화된 스펙트럴 빈 값들을 선택적으로 대체하도록 구성되어 다중 주파수 대역들의 대체된 스펙트럴 빈 값들을 얻고 ;및
    상기 디코더는 제1 주파수 대역의 모든 스페트럴 빈 값들의 집합, -여기서, 상기 제1 주파수 대역의 스펙트럴 빈 값들 중 일부는 상기 역양자화기에 의해 제공된 원래 역 양자화되고 복호화된 스펙트럴 빈 값들이고 스펙트럴 빈 값들 중 일부는 스펙트럴 빈 대체값임-을 상기 제1 주파수 대역과 연관된 스케일 팩터의 복호화된 표현으로 스케일링하도록 구성되어 상기 제1 주파수 대역의 스케일링된 스펙트럴 빈 값의 집합을 얻고, 제2 주파수 대역의 모든 스펙트럴 빈 값들의 집합-여기서, 상기 제2 주파수 대역의 스펙트럴 빈 값들의 일부는 상기 역 양자화기에 의해 제공된 원래 역 양자화되고 복호화된 스펙트럴 빈 값들이고 스펙트럴 빈 값들의 일부는 스펙트럴 빈 대체 값들임-을 상기 제2 주파수 대역과 연관된 스케일 팩터의 복호화된 표현으로 스케일링하여, 상기 제2 주파수 대역의 스케일링된 빈 값들의 집합을 얻는 스케일러(780)을 포함하는 디코더.
  12. 입력 오디오 신호의 변환-영역 표현(112;114;228a)에 기초한 오디오 스트림(126;212)을 제공하는 방법에 있어서, 상기 방법은
    개별 대역 이득 정보가 얻어질 수 있는 복수의 주파수 대역에서 다중-대역 양자화 에러를 결정하는 단계;및
    상기 오디오 스트림이 상기 주파수 대역들의 오디오 컨텐츠를 기술하는 정보와 상기 다중-대역 양자화 에러를 기술하는 정보를 포함하도록 상기 오디오 스트림을 제공하는 단계를 포함하는, 방법.
  13. 부호화된 오디오 스트림(510;610)에 기초하여 오디오 신호의 복호화된 표현(512;514:630b)을 제공하는 방법에 있어서, 상기 방법은
    공통 다중-대역 노이즈 세기값에 기초하여, 개별 주파수 대역 이득 정보가 연관된 복수의 주파수 대역의 스펙트럴 구성요소로 노이즈를 도입(introducing)하는 단계를 포함하는, 방법.
  14. 컴퓨터 프로그램이 컴퓨터에서 구동될 경우 청구항 12 또는 13 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램.
  15. 오디오 신호를 나타내는 오디오 스트림(510;610)으로서,
    상기 오디오 신호의 스펙트럴 구성요소의 세기를 기술하는 스펙트럴 정보- 여기서, 스펙트럴 정보는 서로 다른 주파수 대역에서 서로 다른 양자화 정확도로 양자화됨-;및
    상기 서로 다른 양자화 정확도를 고려하여, 복수의 주파수 대역의 다중-대역 양자화 에러를 기술하는 노이즈 레벨 정보를 포함하는 오디오 스트림.
KR1020117000768A 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램 KR101518532B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7987208P 2008-07-11 2008-07-11
US61/079,872 2008-07-11
US10382008P 2008-10-08 2008-10-08
US61/103,820 2008-10-08
PCT/EP2009/004602 WO2010003556A1 (en) 2008-07-11 2009-06-25 Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004791A Division KR101582057B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20110040829A true KR20110040829A (ko) 2011-04-20
KR101518532B1 KR101518532B1 (ko) 2015-05-07

Family

ID=40941986

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020117000768A KR101518532B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020157036527A KR101706009B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020147004791A KR101582057B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020117000435A KR101251790B1 (ko) 2008-07-11 2009-06-26 노이즈 필러, 노이즈 필링 파라미터 계산기, 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하는 방법, 노이즈 필링 파라미터를 제공하는 방법, 저장 매체

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020157036527A KR101706009B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020147004791A KR101582057B1 (ko) 2008-07-11 2009-06-25 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
KR1020117000435A KR101251790B1 (ko) 2008-07-11 2009-06-26 노이즈 필러, 노이즈 필링 파라미터 계산기, 오디오 신호의 노이즈-필드된 스펙트럴 표현을 제공하는 방법, 노이즈 필링 파라미터를 제공하는 방법, 저장 매체

Country Status (22)

Country Link
US (9) US9043203B2 (ko)
EP (4) EP4235660A3 (ko)
JP (2) JP5622726B2 (ko)
KR (4) KR101518532B1 (ko)
CN (2) CN102089808B (ko)
AR (2) AR072482A1 (ko)
AT (1) ATE535903T1 (ko)
AU (2) AU2009267459B2 (ko)
BR (6) BRPI0910811B1 (ko)
CA (2) CA2730361C (ko)
CO (2) CO6341671A2 (ko)
EG (1) EG26480A (ko)
ES (5) ES2422412T3 (ko)
HK (2) HK1157045A1 (ko)
MX (2) MX2011000382A (ko)
MY (2) MY178597A (ko)
PL (3) PL2304719T3 (ko)
PT (1) PT2304719T (ko)
RU (2) RU2519069C2 (ko)
TW (2) TWI417871B (ko)
WO (2) WO2010003556A1 (ko)
ZA (2) ZA201100085B (ko)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101518532B1 (ko) 2008-07-11 2015-05-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
EP2182513B1 (en) * 2008-11-04 2013-03-20 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US8553897B2 (en) * 2009-06-09 2013-10-08 Dean Robert Gary Anderson Method and apparatus for directional acoustic fitting of hearing aids
US8879745B2 (en) * 2009-07-23 2014-11-04 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Method of deriving individualized gain compensation curves for hearing aid fitting
US9101299B2 (en) * 2009-07-23 2015-08-11 Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust Hearing aids configured for directional acoustic fitting
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
US9117458B2 (en) * 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US20120029926A1 (en) 2010-07-30 2012-02-02 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dependent-mode coding of audio signals
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9208792B2 (en) * 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2012037515A1 (en) 2010-09-17 2012-03-22 Xiph. Org. Methods and systems for adaptive time-frequency resolution in digital data coding
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US20130173275A1 (en) * 2010-10-18 2013-07-04 Panasonic Corporation Audio encoding device and audio decoding device
US8838442B2 (en) 2011-03-07 2014-09-16 Xiph.org Foundation Method and system for two-step spreading for tonal artifact avoidance in audio coding
WO2012122297A1 (en) * 2011-03-07 2012-09-13 Xiph. Org. Methods and systems for avoiding partial collapse in multi-block audio coding
WO2012122299A1 (en) 2011-03-07 2012-09-13 Xiph. Org. Bit allocation and partitioning in gain-shape vector quantization for audio coding
EP2686848A1 (en) 2011-03-18 2014-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frame element positioning in frames of a bitstream representing audio content
US9530419B2 (en) * 2011-05-04 2016-12-27 Nokia Technologies Oy Encoding of stereophonic signals
MX350162B (es) 2011-06-30 2017-08-29 Samsung Electronics Co Ltd Aparato y método para generar señal extendida de ancho de banda.
RU2616534C2 (ru) * 2011-10-24 2017-04-17 Конинклейке Филипс Н.В. Ослабление шума при передаче аудиосигналов
US8942397B2 (en) 2011-11-16 2015-01-27 Dean Robert Gary Anderson Method and apparatus for adding audible noise with time varying volume to audio devices
JP5942463B2 (ja) * 2012-02-17 2016-06-29 株式会社ソシオネクスト オーディオ信号符号化装置およびオーディオ信号符号化方法
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
CN103778918B (zh) * 2012-10-26 2016-09-07 华为技术有限公司 音频信号的比特分配的方法和装置
CN103854653B (zh) * 2012-12-06 2016-12-28 华为技术有限公司 信号解码的方法和设备
CN105122357B (zh) 2013-01-29 2019-04-23 弗劳恩霍夫应用研究促进协会 频域中基于lpc进行编码的低频增强
AU2014211544B2 (en) * 2013-01-29 2017-03-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Noise filling in perceptual transform audio coding
MX346732B (es) 2013-01-29 2017-03-30 Fraunhofer Ges Forschung Cuantificación de señales de audio adaptables por tonalidad de baja complejidad.
KR20220140002A (ko) 2013-04-05 2022-10-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 스펙트럼 확장을 사용하여 양자화 잡음을 감소시키기 위한 압신 장치 및 방법
BR112015025009B1 (pt) * 2013-04-05 2021-12-21 Dolby International Ab Unidades de quantização e quantização inversa, codificador e decodificador, métodos para quantizar e dequantizar
EP2992605B1 (en) * 2013-04-29 2017-06-07 Dolby Laboratories Licensing Corporation Frequency band compression with dynamic thresholds
EP4290510A3 (en) 2013-05-24 2024-02-14 Dolby International AB Audio encoder
KR101757338B1 (ko) 2013-06-21 2017-07-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 오디오 신호의 대체 프레임에 대한 스펙트럼 계수들을 획득하기 위한 방법과 장치, 오디오 디코더, 오디오 수신기 및 오디오 신호들의 전송을 위한 시스템
EP3014609B1 (en) 2013-06-27 2017-09-27 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
EP2830060A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling in multichannel audio coding
EP2830058A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frequency-domain audio coding supporting transform length switching
EP2830065A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency
WO2015041070A1 (ja) 2013-09-19 2015-03-26 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
JP6186503B2 (ja) 2013-10-03 2017-08-23 ドルビー ラボラトリーズ ライセンシング コーポレイション アップミキサーにおける適応的な拡散性信号生成
CN111580772B (zh) * 2013-10-22 2023-09-26 弗劳恩霍夫应用研究促进协会 用于音频设备的组合动态范围压缩和引导截断防止的构思
KR101854296B1 (ko) 2013-10-31 2018-05-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
PT3288026T (pt) 2013-10-31 2020-07-20 Fraunhofer Ges Forschung Descodificador áudio e método para fornecer uma informação de áudio descodificada utilizando uma ocultação de erro baseada num sinal de excitação no domínio de tempo
KR102023138B1 (ko) 2013-12-02 2019-09-19 후아웨이 테크놀러지 컴퍼니 리미티드 인코딩 방법 및 장치
KR20230042410A (ko) 2013-12-27 2023-03-28 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
WO2015136078A1 (en) * 2014-03-14 2015-09-17 Telefonaktiebolaget L M Ericsson (Publ) Audio coding method and apparatus
RU2689181C2 (ru) * 2014-03-31 2019-05-24 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Кодер, декодер, способ кодирования, способ декодирования и программа
US9685166B2 (en) 2014-07-26 2017-06-20 Huawei Technologies Co., Ltd. Classification between time-domain coding and frequency domain coding
EP2980801A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
EP2980792A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
RU2701060C2 (ru) * 2014-09-30 2019-09-24 Сони Корпорейшн Передающее устройство, способ передачи, приемное устройство и способ приема
US9875756B2 (en) 2014-12-16 2018-01-23 Psyx Research, Inc. System and method for artifact masking
WO2016142002A1 (en) * 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
US10553228B2 (en) * 2015-04-07 2020-02-04 Dolby International Ab Audio coding with range extension
US9311924B1 (en) 2015-07-20 2016-04-12 Tls Corp. Spectral wells for inserting watermarks in audio signals
US9454343B1 (en) 2015-07-20 2016-09-27 Tls Corp. Creating spectral wells for inserting watermarks in audio signals
US9626977B2 (en) 2015-07-24 2017-04-18 Tls Corp. Inserting watermarks into audio signals that have speech-like properties
US10115404B2 (en) 2015-07-24 2018-10-30 Tls Corp. Redundancy in watermarking audio signals that have speech-like properties
AR106308A1 (es) 2015-10-08 2018-01-03 Dolby Int Ab Codificación en capas para representaciones de sonido o campo de sonido comprimidas
ES2903247T3 (es) 2015-10-08 2022-03-31 Dolby Int Ab Codificación en capas y estructura de datos para representaciones comprimidas de campo sonoro o sonido ambisónico de orden superior
US10142743B2 (en) 2016-01-01 2018-11-27 Dean Robert Gary Anderson Parametrically formulated noise and audio systems, devices, and methods thereof
CA2985019C (en) * 2016-02-17 2022-05-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
EP3208800A1 (en) 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
US10146500B2 (en) 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
EP3382704A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal
EP3396670B1 (en) * 2017-04-28 2020-11-25 Nxp B.V. Speech signal processing
JP7214726B2 (ja) * 2017-10-27 2023-01-30 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム
WO2019091576A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
US11694708B2 (en) * 2018-09-23 2023-07-04 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
US11264014B1 (en) * 2018-09-23 2022-03-01 Plantronics, Inc. Audio device and method of audio processing with improved talker discrimination
US11503548B2 (en) * 2018-10-08 2022-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Transmission power determination for an antenna array
WO2020164753A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
EP3939035A4 (en) * 2019-03-10 2022-11-02 Kardome Technology Ltd. LANGUAGE IMPROVEMENT USING CLUSTERING OF HINTS
WO2020207593A1 (en) * 2019-04-11 2020-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for determining a set of values defining characteristics of a filter, methods for providing a decoded audio representation, methods for determining a set of values defining characteristics of a filter and computer program
US11538489B2 (en) 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
US11361776B2 (en) 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US20200402522A1 (en) * 2019-06-24 2020-12-24 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
CN112037802B (zh) * 2020-05-08 2022-04-01 珠海市杰理科技股份有限公司 基于语音端点检测的音频编码方法及装置、设备、介质
US11545172B1 (en) * 2021-03-09 2023-01-03 Amazon Technologies, Inc. Sound source localization using reflection classification
CN114900246B (zh) * 2022-05-25 2023-06-13 中国电子科技集团公司第十研究所 噪声基底估计方法、装置、设备及存储介质

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703505A (en) * 1983-08-24 1987-10-27 Harris Corporation Speech data encoding scheme
US4956871A (en) * 1988-09-30 1990-09-11 At&T Bell Laboratories Improving sub-band coding of speech at low bit rates by adding residual speech energy signals to sub-bands
JPH0934493A (ja) 1995-07-20 1997-02-07 Graphics Commun Lab:Kk 音響信号符号化装置、音響信号復号装置および音響信号処理装置
US6092041A (en) 1996-08-22 2000-07-18 Motorola, Inc. System and method of encoding and decoding a layered bitstream by re-applying psychoacoustic analysis in the decoder
US5797120A (en) * 1996-09-04 1998-08-18 Advanced Micro Devices, Inc. System and method for generating re-configurable band limited noise using modulation
US5924064A (en) * 1996-10-07 1999-07-13 Picturetel Corporation Variable length coding using a plurality of region bit allocation patterns
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
US6167133A (en) * 1997-04-02 2000-12-26 At&T Corporation Echo detection, tracking, cancellation and noise fill in real time in a communication system
US6240386B1 (en) * 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
RU2237296C2 (ru) * 1998-11-23 2004-09-27 Телефонактиеболагет Лм Эрикссон (Пабл) Кодирование речи с функцией изменения комфортного шума для повышения точности воспроизведения
US7124079B1 (en) * 1998-11-23 2006-10-17 Telefonaktiebolaget Lm Ericsson (Publ) Speech coding with comfort noise variability feature for increased fidelity
JP3804902B2 (ja) 1999-09-27 2006-08-02 パイオニア株式会社 量子化誤差補正方法及び装置並びにオーディオ情報復号方法及び装置
FI116643B (fi) * 1999-11-15 2006-01-13 Nokia Corp Kohinan vaimennus
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
WO2002071395A2 (en) * 2001-03-02 2002-09-12 Matsushita Electric Industrial Co., Ltd. Apparatus for coding scaling factors in an audio coder
US6876968B2 (en) * 2001-03-08 2005-04-05 Matsushita Electric Industrial Co., Ltd. Run time synthesizer adaptation to improve intelligibility of synthesized speech
ATE320651T1 (de) * 2001-05-08 2006-04-15 Koninkl Philips Electronics Nv Kodieren eines audiosignals
JP4506039B2 (ja) 2001-06-15 2010-07-21 ソニー株式会社 符号化装置及び方法、復号装置及び方法、並びに符号化プログラム及び復号プログラム
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100462611B1 (ko) * 2002-06-27 2004-12-20 삼성전자주식회사 하모닉 성분을 이용한 오디오 코딩방법 및 장치
JP4218271B2 (ja) * 2002-07-19 2009-02-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
DE10236694A1 (de) 2002-08-09 2004-02-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum skalierbaren Codieren und Vorrichtung und Verfahren zum skalierbaren Decodieren
KR100477699B1 (ko) * 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
WO2005004113A1 (ja) * 2003-06-30 2005-01-13 Fujitsu Limited オーディオ符号化装置
US8446947B2 (en) * 2003-10-10 2013-05-21 Agency For Science, Technology And Research Method for encoding a digital signal into a scalable bitstream; method for decoding a scalable bitstream
US7723474B2 (en) 2003-10-21 2010-05-25 The Regents Of The University Of California Molecules that selectively home to vasculature of pre-malignant dysplastic lesions or malignancies
US7436786B2 (en) * 2003-12-09 2008-10-14 International Business Machines Corporation Telecommunications system for minimizing the effect of white noise data packets for the generation of required white noise on transmission channel utilization
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
DE102004007200B3 (de) * 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
CN1906664A (zh) * 2004-02-25 2007-01-31 松下电器产业株式会社 音频编码器和音频解码器
ATE371926T1 (de) * 2004-05-17 2007-09-15 Nokia Corp Audiocodierung mit verschiedenen codierungsmodellen
US7649988B2 (en) * 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
US7873515B2 (en) * 2004-11-23 2011-01-18 Stmicroelectronics Asia Pacific Pte. Ltd. System and method for error reconstruction of streaming audio information
KR100707173B1 (ko) * 2004-12-21 2007-04-13 삼성전자주식회사 저비트율 부호화/복호화방법 및 장치
US7885809B2 (en) * 2005-04-20 2011-02-08 Ntt Docomo, Inc. Quantization of speech and audio coding parameters using partial information on atypical subsequences
ES2356492T3 (es) * 2005-07-22 2011-04-08 France Telecom Método de conmutación de tasa de transmisión en decodificación de audio escalable en tasa de transmisión y ancho de banda.
JP4627737B2 (ja) * 2006-03-08 2011-02-09 シャープ株式会社 デジタルデータ復号化装置
WO2007122614A2 (en) * 2006-04-21 2007-11-01 Galtronics Ltd. Twin ground antenna
JP4380669B2 (ja) * 2006-08-07 2009-12-09 カシオ計算機株式会社 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、及び、プログラム
US7275936B1 (en) * 2006-09-22 2007-10-02 Lotes Co., Ltd. Electrical connector
US8275611B2 (en) * 2007-01-18 2012-09-25 Stmicroelectronics Asia Pacific Pte., Ltd. Adaptive noise suppression for digital speech signals
CN101617362B (zh) * 2007-03-02 2012-07-18 松下电器产业株式会社 语音解码装置和语音解码方法
CN101939782B (zh) * 2007-08-27 2012-12-05 爱立信电话股份有限公司 噪声填充与带宽扩展之间的自适应过渡频率
DK3401907T3 (da) * 2007-08-27 2020-03-02 Ericsson Telefon Ab L M Fremgangsmåde og indretning til perceptuel spektral afkodning af et audiosignal omfattende udfyldning af spektrale huller
US8600740B2 (en) * 2008-01-28 2013-12-03 Qualcomm Incorporated Systems, methods and apparatus for context descriptor transmission
KR101518532B1 (ko) * 2008-07-11 2015-05-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
US20130173275A1 (en) 2010-10-18 2013-07-04 Panasonic Corporation Audio encoding device and audio decoding device

Also Published As

Publication number Publication date
RU2519069C2 (ru) 2014-06-10
ATE535903T1 (de) 2011-12-15
EP2304720A1 (en) 2011-04-06
MX2011000382A (es) 2011-02-25
KR101582057B1 (ko) 2015-12-31
US11024323B2 (en) 2021-06-01
EP2304719A1 (en) 2011-04-06
KR101518532B1 (ko) 2015-05-07
ES2526767T3 (es) 2015-01-15
PL2304719T3 (pl) 2017-12-29
EP4235660A3 (en) 2023-09-13
BR122021003097B1 (pt) 2021-11-03
US8983851B2 (en) 2015-03-17
US11869521B2 (en) 2024-01-09
BR122021003752B1 (pt) 2021-11-09
EP4235660A2 (en) 2023-08-30
TW201007697A (en) 2010-02-16
ES2642906T3 (es) 2017-11-20
EP3246918A1 (en) 2017-11-22
EG26480A (en) 2013-12-02
KR20160004403A (ko) 2016-01-12
EP2304719B1 (en) 2017-07-26
HK1157045A1 (en) 2012-06-22
US20110170711A1 (en) 2011-07-14
US20240096337A1 (en) 2024-03-21
JP5307889B2 (ja) 2013-10-02
KR101706009B1 (ko) 2017-02-22
KR20140036042A (ko) 2014-03-24
BR122021003726B1 (pt) 2021-11-09
TW201007696A (en) 2010-02-16
PL2304720T3 (pl) 2012-04-30
CN102089808B (zh) 2014-02-12
CN102089806A (zh) 2011-06-08
US20110173012A1 (en) 2011-07-14
RU2512103C2 (ru) 2014-04-10
EP3246918C0 (en) 2023-06-14
AR072482A1 (es) 2010-09-01
ZA201100091B (en) 2011-10-26
MX2011000359A (es) 2011-02-25
PL3246918T3 (pl) 2023-11-06
US9449606B2 (en) 2016-09-20
US20150112693A1 (en) 2015-04-23
WO2010003565A1 (en) 2010-01-14
CA2730536A1 (en) 2010-01-14
AU2009267459B2 (en) 2014-01-23
JP2011527455A (ja) 2011-10-27
MY155785A (en) 2015-11-30
CN102089808A (zh) 2011-06-08
US20140236605A1 (en) 2014-08-21
CN102089806B (zh) 2012-12-05
ES2955669T3 (es) 2023-12-05
US20170004839A1 (en) 2017-01-05
US20240096338A1 (en) 2024-03-21
TWI492223B (zh) 2015-07-11
AR072497A1 (es) 2010-09-01
US9711157B2 (en) 2017-07-18
BR122021003142B1 (pt) 2021-11-03
AU2009267468A1 (en) 2010-01-14
BRPI0910522A2 (pt) 2020-10-20
KR101251790B1 (ko) 2013-04-08
US9043203B2 (en) 2015-05-26
KR20110039245A (ko) 2011-04-15
MY178597A (en) 2020-10-16
EP2304720B1 (en) 2011-11-30
ZA201100085B (en) 2011-10-26
CA2730361C (en) 2017-01-03
CA2730536C (en) 2014-12-02
US10629215B2 (en) 2020-04-21
ES2374640T3 (es) 2012-02-20
RU2011102410A (ru) 2012-07-27
RU2011104006A (ru) 2012-08-20
ES2422412T3 (es) 2013-09-11
AU2009267468B2 (en) 2012-03-15
AU2009267459A1 (en) 2010-01-14
US20210272577A1 (en) 2021-09-02
CO6280569A2 (es) 2011-05-20
BRPI0910811B1 (pt) 2021-09-21
PT2304719T (pt) 2017-11-03
EP3246918B1 (en) 2023-06-14
BRPI0910811A2 (pt) 2020-11-03
TWI417871B (zh) 2013-12-01
HK1160285A1 (en) 2012-08-10
JP2011527451A (ja) 2011-10-27
CO6341671A2 (es) 2011-11-21
CA2730361A1 (en) 2010-01-14
JP5622726B2 (ja) 2014-11-12
US20170309283A1 (en) 2017-10-26
WO2010003556A1 (en) 2010-01-14

Similar Documents

Publication Publication Date Title
KR101582057B1 (ko) 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
CA2871268C (en) Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
CN110197667B (zh) 对音频信号的频谱执行噪声填充的装置
KR20110040820A (ko) 대역폭 확장 출력 데이터를 생성하기 위한 장치 및 방법
AU2013273846B2 (en) Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 5