KR102321882B1 - 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩 - Google Patents

적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩 Download PDF

Info

Publication number
KR102321882B1
KR102321882B1 KR1020217014850A KR20217014850A KR102321882B1 KR 102321882 B1 KR102321882 B1 KR 102321882B1 KR 1020217014850 A KR1020217014850 A KR 1020217014850A KR 20217014850 A KR20217014850 A KR 20217014850A KR 102321882 B1 KR102321882 B1 KR 102321882B1
Authority
KR
South Korea
Prior art keywords
bitstream
spectral band
esbr
metadata
audio
Prior art date
Application number
KR1020217014850A
Other languages
English (en)
Other versions
KR20210059806A (ko
Inventor
라스 빌레모스
하이코 펀하겐
파르 엑스트란드
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Priority to KR1020217035410A priority Critical patent/KR102445316B1/ko
Publication of KR20210059806A publication Critical patent/KR20210059806A/ko
Application granted granted Critical
Publication of KR102321882B1 publication Critical patent/KR102321882B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

실시예들은 버퍼, 비트스트림 페이로드 디포맷터, 및 디코딩 서브시스템을 포함하는 오디오 처리 유닛에 관한 것이다. 버퍼는 인코딩된 오디오 비트스트림의 적어도 하나의 블록을 저장한다. 블록은 식별자로 시작하여 그 다음에 필 데이터가 오는 필 요소를 포함한다. 필 데이터는 향상된 스펙트럼 대역 복제(eSBR) 처리가 블록의 오디오 콘텐츠에 대해 수행되어야 하는지를 식별하는 적어도 하나의 플래그를 포함한다. 인코딩된 오디오 비트스트림을 디코딩하기 위한 대응하는 방법이 또한 제공된다.

Description

적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩{DECODING AUDIO BITSTREAMS WITH ENHANCED SPECTRAL BAND REPLICATION METADATA IN AT LEAST ONE FILL ELEMENT}
관련 출원들에 대한 상호 참조
본 출원은 2015년 3월 13일자로 출원된 유럽 특허 출원 제15159067.6호 및 2016년 3월 16일자로 출원된 미국 가출원 제62/133,800호의 우선권을 주장하며, 이들 각각은 그 전체가 참조로 포함된다.
기술분야
본 발명은 오디오 신호 처리에 관한 것이다. 일부 실시예들은 향상된 스펙트럼 대역 복제(enhanced spectral band replication, eSBR)를 제어하기 위한 메타데이터를 포함하는 오디오 비트스트림들(예를 들어, MPEG-4 AAC 포맷을 갖는 비트스트림들)의 인코딩 및 디코딩에 관한 것이다. 다른 실시예들은 eSBR 처리를 수행하도록 구성되지 않고 그러한 메타데이터를 무시하는 레거시 디코더들에 의한 그러한 비트스트림들의 디코딩에 관한 것이거나, 또는 비트스트림에 응답하여 eSBR 제어 데이터를 생성하는 것을 포함하여 그러한 메타데이터를 포함하지 않는 오디오 비트스트림의 디코딩에 관한 것이다.
전형적인 오디오 비트스트림은 오디오 콘텐츠의 하나 이상의 채널을 나타내는 오디오 데이터(예를 들어, 인코딩된 오디오 데이터)와, 오디오 데이터 또는 오디오 콘텐츠의 적어도 하나의 특성을 나타내는 메타데이터 둘 다를 포함한다. 인코딩된 오디오 비트스트림을 생성하기 위한 하나의 잘 알려진 포맷은 MPEG 표준 ISO/IEC 14496-3:2009에 기술된 MPEG-4 AAC(Advanced Audio Coding) 포맷이다. MPEG-4 표준에서, AAC는 "고급 오디오 코딩(advanced audio coding)"을, 그리고 HE-AAC는 "고효율 고급 오디오 코딩(high-efficiency advanced audio coding)"을 나타낸다.
MPEG-4 AAC 표준은 호환 인코더 또는 디코더에 어떤 객체 및 코딩 도구가 있는지를 결정하는 몇 가지 오디오 프로파일을 정의한다. 이러한 오디오 프로파일들 중 3개는 (1) AAC 프로파일, (2) HE-AAC 프로파일, 및 (3) HE-AAC v2 프로파일이다. AAC 프로파일은 AAC 낮은 복잡도(low complexity)(또는 "AAC-LC") 객체 유형을 포함한다. AAC-LC 객체는 일부 조정과 함께 MPEG-2 AAC 낮은 복잡도 프로파일에 대응하는 것이고, 스펙트럼 대역 복제(SBR) 객체 유형도 포함하지 않고 파라메트릭 스테레오(PS) 객체 유형도 포함하지 않는다. HE-AAC 프로파일은 AAC 프로파일의 수퍼세트이며 SBR 객체 유형을 추가로 포함한다. HE-AAC v2 프로파일은 HE-AAC 프로파일의 수퍼세트이며 PS 객체 유형을 추가로 포함한다.
SBR 객체 유형은 지각 오디오 코덱의 압축 효율성을 크게 개선하는 중요한 코딩 도구인 스펙트럼 대역 복제 도구를 포함한다. SBR은 수신기 측에서(예를 들어, 디코더에서) 오디오 신호의 고주파 성분들을 재구성한다. 따라서, 인코더는 저주파 성분들만 인코딩하고 전송할 필요가 있어, 낮은 데이터 레이트에서 훨씬 더 높은 오디오 품질을 가능하게 한다. SBR은 인코더로부터 획득된 사용 가능한 대역폭 제한 신호 및 제어 데이터로부터, 데이터 레이트를 감소시키기 위해, 이전에 잘린 고조파 시퀀스들의 복제에 기초한다. 음색 성분과 잡음 같은 성분 간의 비율은 잡음 및 사인파 성분들의 선택적인 추가뿐만 아니라 적응 역 필터링(adaptive inverse filtering)에 의해 유지된다. MPEG-4 AAC 표준에서, SBR 도구는 스펙트럼 패칭을 수행하는데, 여기서 다수의 인접한 QMF(Quadrature Mirror Filter) 부대역들이 오디오 신호의 전송된 저대역 부분으로부터 디코더에서 생성되는, 오디오 신호의 고대역 부분으로 복사된다.
비교적 낮은 크로스 오버 주파수들을 갖는 음악 콘텐츠와 같은 특정 오디오 유형들에 대해서는 스펙트럼 패칭이 이상적이지 않을 수 있다. 따라서, 스펙트럼 대역 복제를 개선하는 기법들이 요구된다.
제1 부류의 실시예들은 메모리, 비트스트림 페이로드 디포맷터, 및 디코딩 서브시스템을 포함하는 오디오 처리 유닛들에 관한 것이다. 상기 메모리는 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)의 적어도 하나의 블록을 저장하도록 구성된다. 상기 비트스트림 페이로드 디포맷터는 상기 인코딩된 오디오 블록을 역다중화하도록 구성된다. 상기 디코딩 서브시스템은 상기 인코딩된 오디오 블록의 오디오 콘텐츠를 디코딩하도록 구성된다. 상기 인코딩된 오디오 블록은 필 요소(fill element)의 시작을 나타내는 식별자, 및 상기 식별자 다음의 필 데이터(fill data)를 갖는 필 요소를 포함한다. 상기 필 데이터는 상기 인코딩된 오디오 블록의 오디오 콘텐츠에 대해 향상된 스펙트럼 대역 복제(eSBR) 처리가 수행되어야 하는지를 식별하는 적어도 하나의 플래그를 포함한다.
제2 부류의 실시예들은 인코딩된 오디오 비트스트림을 디코딩하는 방법들에 관한 것이다. 이 방법은 인코딩된 오디오 비트스트림의 적어도 하나의 블록을 수신하는 단계, 상기 인코딩된 오디오 비트스트림의 상기 적어도 하나의 블록의 적어도 일부 부분들을 역다중화하는 단계, 및 상기 인코딩된 오디오 비트스트림의 상기 적어도 하나의 블록의 적어도 일부 부분들을 디코딩하는 단계를 포함한다. 상기 인코딩된 오디오 비트스트림의 상기 적어도 하나의 블록은 필 요소의 시작을 나타내는 식별자 및 상기 식별자 다음의 필 데이터를 갖는 상기 필 요소를 포함한다. 상기 필 데이터는 상기 인코딩된 오디오 비트스트림의 상기 적어도 하나의 블록의 오디오 콘텐츠에 대해 향상된 스펙트럼 대역 복제(eSBR) 처리가 수행되어야 하는지를 식별하는 적어도 하나의 플래그를 포함한다.
다른 부류의 실시예들은 향상된 스펙트럼 대역 복제(eSBR) 처리가 수행되어야 하는지를 식별하는 메타데이터를 포함하는 오디오 비트스트림을 인코딩 및 트랜스코딩하는 것에 관한 것이다.
도 1은 본 발명의 방법의 실시예를 수행하도록 구성될 수 있는 시스템의 일 실시예의 블록도이다.
도 2는 본 발명의 오디오 처리 유닛의 실시예인 인코더의 블록도이다.
도 3은 본 발명의 오디오 처리 유닛의 일 실시예인 디코더, 및 선택적으로 또한 그에 결합된 후처리기도 포함하는 시스템의 블록도이다.
도 4는 본 발명의 오디오 처리 유닛의 일 실시예인 디코더의 블록도이다.
도 5는 본 발명의 오디오 처리 유닛의 또 다른 실시예인 디코더의 블록도이다.
도 6은 본 발명의 오디오 처리 유닛의 또 다른 실시예의 블록도이다.
도 7은 분할된 세그먼트들을 포함하는 MPEG-4 AAC 비트스트림의 블록도이다.
표기법 및 명명법
청구항들을 포함하여, 이 개시내용의 전체에 걸쳐, 신호 또는 데이터에 "대해(on)" 동작(예를 들어, 신호 또는 데이터를 필터링, 스케일링, 변환 또는 그것에 이득의 적용)을 수행한다는 표현은 신호 또는 데이터에 대해 직접, 또는 신호 또는 데이터의 처리된 버전에 대해(예를 들어, 그에 대한 동작의 수행 전에 예비 필터링 또는 사전 처리를 겪은 신호의 버전에 대해) 동작을 수행하는 것을 나타내기 위해 넓은 의미로 사용된다.
청구항들을 포함하여, 이 개시내용의 전체에 걸쳐, "오디오 처리 유닛"이라는 표현은 오디오 데이터를 처리하도록 구성된 시스템, 디바이스, 또는 장치를 나타내기 위해 넓은 의미로 사용된다. 오디오 처리 유닛의 예로는 인코더(예를 들어, 트랜스코더), 디코더, 코덱, 전처리 시스템, 후처리 시스템, 및 비트스트림 처리 시스템(때때로 비트스트림 처리 도구라고 언급됨)을 포함하지만, 이에 한정되지 않는다. 휴대 전화, 텔레비전, 랩톱, 및 태블릿 컴퓨터와 같은 거의 모든 가전 제품들이 오디오 처리 유닛을 포함한다.
청구항들을 포함하여, 이 개시내용의 전체에 걸쳐, "결합" 또는 "결합된"이라는 용어는 직접 또는 간접 연결을 의미하기 위해 넓은 의미로 사용된다. 따라서, 제1 디바이스가 제2 디바이스에 결합되면, 그 연결은 직접 연결을 통해, 또는 다른 디바이스 및 연결을 통한 간접 연결을 통해 이루어질 수 있다. 또한, 다른 컴포넌트들에 또는 다른 컴포넌트들과 통합되는 컴포넌트들도 서로 결합된다.
본 발명의 실시예의 상세한 설명
MPEG-4 AAC 표준은 인코딩된 MPEG-4 AAC 비트스트림이, 비트스트림의 오디오 콘텐츠를 디코딩하기 위해 디코더에 의해 적용될(적용되어야 할 것이 있다면) 각각의 유형의 SBR 처리를 나타내는, 및/또는 그러한 SBR 처리를 제어하는, 및/또는 비트스트림의 오디오 콘텐츠를 디코딩하기 위해 이용될 적어도 하나의 SBR 도구의 적어도 하나의 특성 또는 파라미터를 나타내는 메타데이터를 포함하는 것을 고려한다. 본 명세서에서는, MPEG-4 AAC 표준에서 기술되거나 언급되는 이러한 유형의 메타데이터를 나타내기 위해 "SBR 메타데이터"라는 표현을 사용한다.
MPEG-4 AAC 비트스트림의 최상위 레벨은 데이터 블록들("raw_data_block" 요소들)의 시퀀스이고, 이 데이터 블록들 각각은 오디오 데이터(전형적으로 1024개 또는 960개 샘플의 기간에 대한) 및 관련 정보 및/또는 다른 데이터를 포함하는 데이터 의 세그먼트(본 명세서에서는 "블록"이라고 언급됨)이다. 본 명세서에서는, 하나의(그러나 하나보다 많지는 않음) "raw_data_block" 요소를 결정하거나 이를 나타내는 오디오 데이터(및 대응하는 메타데이터 및 선택적으로 또한 다른 관련 데이터)를 포함하는 MPEG-4 AAC 비트스트림의 세그먼트를 나타내기 위해 "블록"이라는 용어를 사용한다.
MPEG-4 AAC 비트스트림의 각각의 블록은 다수의 구문 요소를 포함할 수 있다(각각의 요소는 또한 비트스트림에서 데이터의 세그먼트로서 구체화된다). 이러한 구문 요소들의 일곱 가지 유형이 MPEG-4 AAC 표준에서 정의된다. 각각의 구문 요소는 데이터 요소 "id_syn_ele"의 상이한 값에 의해 식별된다. 구문 요소들의 예로는 "single_channel_element()", "channel_pair_element()", 및 "fill_element()"를 포함한다. 단일 채널 요소는 단일 오디오 채널(모노포닉 오디오 신호)의 오디오 데이터를 포함하는 컨테이너이다. 채널 쌍(channel pair) 요소는 2개의 오디오 채널(즉, 스테레오 오디오 신호)의 오디오 데이터를 포함한다.
필 요소는 "필 데이터"라고 언급되는 데이터가 후속하는 식별자(예를 들어, 위에 언급된 요소 "id_syn_ele"의 값)를 포함하는 정보의 컨테이너이다. 필 요소들은 역사적으로 일정한 레이트 채널을 통해 전송될 비트스트림들의 순간적인 비트레이트를 조정하기 위해 사용되었다. 적절한 양의 필 데이터를 각각의 블록에 추가함으로써, 일정한 데이터 레이트가 달성될 수 있다.
본 발명의 실시예들에 따르면, 필 데이터는 비트스트림에서 전송될 수 있는 데이터의 유형(예를 들어, 메타데이터)을 확장하는 하나 이상의 확장 페이로드를 포함할 수 있다. 새로운 유형의 데이터를 포함하는 필 데이터를 갖는 비트스트림들을 수신하는 디코더는 비트스트림(예를 들어, 디코더)을 수신하는 디바이스에 의해 그 디바이스의 기능을 확장하기 위해 선택적으로 사용될 수 있다. 따라서, 본 기술분야의 기술자에 의해 이해될 수 있는 바와 같이, 필 요소들은 특별한 유형의 데이터 구조이고, 오디오 데이터(예를 들어, 채널 데이터를 포함하는 오디오 페이로드들)를 전송하기 위해 전형적으로 사용되는 데이터 구조들과는 상이하다.
본 발명의 일부 실시예들에서, 필 요소를 식별하는 데 사용되는 식별자는 0x6의 값을 갖는 3 비트의 "uimsbf"(unsigned integer transmitted most significant bit first; 최상위 비트가 우선 전송되는 부호 없는 정수)로 구성될 수 있다. 하나의 블록에서, 동일한 유형의 구문 요소의 몇몇 인스턴스(예를 들어, 몇몇 필 요소)가 발생할 수 있다.
오디오 비트스트림을 인코딩하기 위한 또 다른 표준은 MPEG 통합 음성 및 오디오 코딩(Unified Speech and Audio Coding, USAC) 표준(ISO/IEC 23003-3:2012)이다. 이 MPEG USAC 표준은 스펙트럼 대역 복제 처리(MPEG-4 AAC 표준에서 기술된 SBR 처리를 포함하고, 또한 다른 향상된 형태의 스펙트럼 대역 복제 처리를 포함함)를 사용하여 오디오 콘텐츠의 인코딩 및 디코딩을 설명한다. 이 처리는 MPEG-4 AAC 표준에서 기술된 SBR 도구 세트의 확장되고 향상된 버전의 스펙트럼 대역 복제 도구(때때로 "향상된 SBR 도구"또는 "eSBR 도구"라고 언급됨)를 적용한다. 따라서, eSBR(USAC 표준에서 정의됨)은 SBR(MPEG-4 AAC 표준에서 정의됨)의 개선이다.
본 명세서에서는, MPEG-4 AAC 표준에서 기술되거나 언급되지 않은 적어도 하나의 eSBR 도구(예를 들어, MPEG USAC 표준에서 기술되거나 언급된 적어도 하나의 eSBR 도구)를 사용하는 스펙트럼 대역 복제 처리를 나타내기 위해 "향상된 SBR 처리"(또는 "eSBR 처리")라는 표현을 사용한다. 이러한 eSBR 도구들의 예로는 고조파 전위(harmonic transposition), QMF 패칭 추가 사전 처리 또는 "사전 평탄화(pre-flattening)" 및 부대역 간 샘플(inter-subband sample) 시간 포락선 셰이핑(Temporal Envelope Shaping) 또는 "inter-TES"가 있다.
MPEG USAC 표준에 따라 생성된 비트스트림(때때로 본 명세서에서 "USAC 비트스트림"이라 함)은 인코딩된 오디오 콘텐츠를 포함하고, 전형적으로 USAC 비트스트림의 오디오 콘텐츠를 디코딩하기 위해 디코더에 의해 적용될 스펙트럼 대역 복제 처리의 각각의 유형을 나타내는 메타데이터, 및/또는 그러한 스펙트럼 대역 복제 처리를 제어하는 및/또는 USAC 비트스트림의 오디오 콘텐츠를 디코딩하기 위해 이용될 적어도 하나의 SBR 도구 및/또는 eSBR 도구의 적어도 하나의 특성 또는 파라미터를 나타내는 메타데이터를 포함한다.
본 명세서에서는, 인코딩된 오디오 비트스트림(예를 들어, USAC 비트스트림)의 오디오 콘텐츠를 디코딩하기 위해 디코더에 의해 적용될 스펙트럼 대역 복제 처리의 각각의 유형을 나타내는 및/또는 그러한 스펙트럼 대역 복제 처리를 제어하는, 및/또는 그러한 오디오 콘텐츠를 디코딩하기 위해 이용될 적어도 하나의 SBR 도구 및/또는 eSBR 도구의 적어도 하나의 특성 또는 파라미터를 나타내는, 그러나 MPEG-4 AAC 표준에서는 기술되거나 언급되지 않은 메타데이터를 나타내기 위해 "향상된 SBR 메타데이터"(또는 "eSBR 메타데이터")라는 표현을 사용한다. eSBR 메타데이터의 예는 MPEG USAC 표준에서 기술되었거나 언급되지만 MPEG-4 AAC 표준에서는 기술되거나 언급되지 않은 (스펙트럼 대역 복제 처리를 나타내는, 또는 이를 제어하기 위한) 메타데이터이다. 따라서, 본 명세서에서 eSBR 메타데이터는 SBR 메타데이터가 아닌 메타데이터를 나타내며, 본 명세서에서 SBR 메타데이터는 eSBR 메타데이터가 아닌 메타데이터를 나타낸다.
USAC 비트스트림은 SBR 메타데이터와 eSBR 메타데이터 둘 다를 포함할 수 있다. 더 구체적으로, USAC 비트스트림은 디코더에 의한 eSBR 처리의 수행을 제어하는 eSBR 메타데이터, 및 디코더에 의한 SBR 처리의 수행을 제어하는 SBR 메타데이터를 포함할 수 있다. 본 발명의 전형적인 실시예들에 따르면, eSBR 메타데이터(예를 들어, eSBR-특정 구성 데이터)는 (본 발명에 따라) MPEG-4 AAC 비트스트림에(예를 들어, SBR 페이로드의 끝에 sbr_extension() 컨테이너에) 포함된다.
디코더에 의해, eSBR 도구 세트(적어도 하나의 eSBR 도구를 포함함)를 사용하여 인코딩된 비트스트림을 디코딩하는 동안, eSBR 처리의 수행은 인코딩 중에 잘린 고조파의 시퀀스들의 복제에 기초하여, 오디오 신호의 고주파 대역을 재생성한다. 이러한 eSBR 처리는 전형적으로 생성된 고주파 대역의 스펙트럼 포락선을 조정하고 역 필터링을 적용하고, 원래의 오디오 신호의 스펙트럼 특성을 재생성하기 위해 잡음 및 사인파 성분들을 추가한다.
본 발명의 전형적인 실시예들에 따르면, 다른 세그먼트들(오디오 데이터의 세그먼트들)에도 인코딩된 오디오 데이터를 포함하는 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)의 하나 이상의 메타데이터 세그먼트에 eSBR 메타데이터가 포함된다(예를 들어, eSBR 메타데이터인 소수의 제어 비트가 포함된다). 전형적으로, 비트스트림의 각각의 블록의 적어도 하나의 그러한 메타데이터의 세그먼트는(필 요소의 시작을 나타내는 식별자를 포함하는) 필 요소이고(또는 이를 포함하고), eSBR 메타데이터는 식별자 다음의 필 요소에 포함된다.
도 1은 예시적인 오디오 처리 체인(오디오 데이터 처리 시스템)의 블록도로서, 시스템의 요소들 중 하나 이상의 요소가 본 발명의 실시예에 따라 구성될 수 있다. 이 시스템은 도시된 바와 같이 함께 결합된, 다음의 요소들을 포함한다: 인코더(1), 전달 서브시스템(2), 디코더(3) 및 후처리 유닛(4). 도시된 시스템의 변형들에서는, 요소들 중 하나 이상의 요소가 생략되거나, 추가적인 오디오 데이터 처리 유닛이 포함된다.
일부 구현들에서, (선택적으로 전처리 유닛을 포함하는) 인코더(1)는 입력으로서 오디오 콘텐츠를 포함하는 PCM(시간 도메인) 샘플들을 수용하고, 오디오 콘텐츠를 나타내는 인코딩된 오디오 비트스트림(MPEG-4 AAC 표준에 따르는 포맷을 가짐)을 출력하도록 구성된다. 오디오 콘텐츠를 나타내는 비트스트림의 데이터는 때때로 본 명세서에서 "오디오 데이터" 또는 "인코딩된 오디오 데이터"라고 언급된다. 인코더가 본 발명의 전형적인 실시예에 따라 구성되면, 인코더로부터 출력된 오디오 비트스트림은 오디오 데이터뿐만 아니라 eSBR 메타데이터(및 전형적으로 또한 다른 메타데이터)를 포함한다.
인코더(1)로부터 출력된 하나 이상의 인코딩된 오디오 비트스트림은 인코딩된 오디오 전달 서브시스템(2)으로 어서트(assert)될 수 있다. 서브시스템(2)은 인코더(1)로부터 출력된 각각의 인코딩된 비트스트림을 저장 및/또는 전달하도록 구성된다. 인코더(1)로부터 출력된 인코딩된 오디오 비트스트림은 서브시스템(2)(예를 들어, DVD 또는 블루레이 디스크의 형태)에 의해 저장되거나, 또는 서브시스템(2)(전송 링크 또는 네트워크를 구현할 수 있음)에 의해 전송될 수 있거나, 서브시스템(2)에 의해 저장되고 전송될 수 있다.
디코더(3)는 서브시스템(2)을 통해 수신하는 인코딩된 MPEG-4 AAC 오디오 비트스트림(인코더(1)에 의해 생성됨)을 디코딩하도록 구성된다. 일부 실시예들에서, 디코더(3)는 비트스트림의 각각의 블록으로부터 eSBR 메타데이터를 추출하고, (추출된 eSBR 메타데이터를 사용하여 eSBR 처리를 수행하는 것을 포함하여) 비트스트림을 디코딩하여 디코딩된 오디오 데이터(예를 들어, 디코딩된 PCM 오디오 샘플들의 스트림들)를 생성하도록 구성된다. 일부 실시예들에서, 디코더(3)는 비트스트림으로부터 SBR 메타데이터를 추출하고(그러나 비트스트림에 포함된 eSBR 메타데이터는 무시함) (추출된 SBR 메타데이터를 사용하여 SBR 처리를 수행하는 것을 포함하여) 비트스트림을 디코딩하여 디코딩된 오디오 데이터(예를 들어, 디코딩된 PCM 오디오 샘플들의 스트림들)를 생성하도록 구성된다. 전형적으로, 디코더(3)는 서브시스템(2)으로부터 수신된 인코딩된 오디오 비트스트림의 세그먼트들을 (예를 들어, 비일시적 방식으로) 저장하는 버퍼를 포함한다.
도 1의 후처리 유닛(4)은 디코더(3)로부터 디코딩된 오디오 데이터(예를 들어, 디코딩된 PCM 오디오 샘플들)의 스트림을 수용하고, 그에 대해 후처리를 수행하도록 구성된다. 후처리 유닛(4)은 또한 후처리된 오디오 콘텐츠(또는 디코더(3)로부터 수신된 디코딩된 오디오)를 하나 이상의 스피커에 의한 재생을 위해 렌더링하도록 구성될 수 있다.
도 2는 본 발명의 오디오 처리 유닛의 실시예인 인코더(100)의 블록도이다. 인코더(100)의 컴포넌트들 또는 요소들 중 임의의 것은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로, 하나 이상의 프로세스 및/또는 하나 이상의 회로(예를 들어, ASIC, FPGA, 또는 다른 집적 회로)로서 구현될 수 있다. 인코더(100)는 도시된 바와 같이 연결된, 인코더(105), 스터퍼/포맷터 스테이지(107), 메타데이터 생성 스테이지(106), 및 버퍼 메모리(109)를 포함한다. 전형적으로 또한, 인코더(100)는 다른 처리 요소들(도시되지 않음)을 포함한다. 인코더(100)는 입력 오디오 비트스트림을 인코딩된 출력 MPEG-4 AAC 비트스트림으로 변환하도록 구성된다.
메타데이터 생성기(106)는 인코더(100)로부터 출력될 인코딩된 비트스트림에 스테이지(107)에 의해 포함될 메타데이터(eSBR 메타데이터 및 SBR 메타데이터를 포함함)를 생성(및/또는 스테이지(107)까지 통과)하도록 결합 및 구성된다.
인코더(105)는 입력 오디오 데이터를 인코딩하고(예를 들어, 그에 대해 압축을 수행함으로써), 결과로서의 인코딩된 오디오를 스테이지(107)로부터 출력될 인코딩된 비트스트림에 포함되도록 스테이지(107)로 어서트하도록 결합 및 구성된다.
스테이지(107)는 인코더(105)로부터의 인코딩된 오디오 및 생성기(106)로부터의 메타데이터(eSBR 메타데이터 및 SBR 메타데이터를 포함함)를 다중화하여 스테이지(107)로부터 출력될 인코딩된 비트스트림을 생성하도록, 바람직하게는 인코딩된 비트스트림이 본 발명의 실시예들 중 하나에 의해 지정된 포맷을 갖도록 인코딩된 비트스트림을 생성하도록 구성된다.
버퍼 메모리(109)는 스테이지(107)로부터 출력된 인코딩된 오디오 비트스트림의 적어도 하나의 블록을 (예를 들어, 비일시적 방식으로) 저장하도록 구성되고, 그 후 인코딩된 오디오 비트스트림의 블록들의 시퀀스는 인코더(100)로부터 전달 시스템으로의 출력으로서 버퍼 메모리(109)로부터 어서트된다.
도 3은 본 발명의 오디오 처리 유닛의 실시예인 디코더(200), 및 선택적으로 그에 결합된 후처리기(300)도 포함하는 시스템의 블록도이다. 디코더(200) 및 후처리기(300)의 컴포넌트들 또는 요소들 중 임의의 컴포넌트 또는 요소는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로, 하나 이상의 프로세스 및/또는 하나 이상의 회로(예를 들어, ASIC, FPGA, 또는 다른 집적 회로)로서 구현될 수 있다. 디코더(200)는 도시된 바와 같이 연결된, 버퍼 메모리(201), 비트스트림 페이로드 디포맷터(파서)(205), 오디오 디코딩 서브시스템(202)(때때로 "코어" 디코딩 스테이지 또는 "코어" 디코딩 서브시스템이라고 언급됨), eSBR 처리 스테이지(203), 및 제어 비트 생성 스테이지(204)를 포함한다. 전형적으로 또한, 디코더(200)는 다른 처리 요소들(도시되지 않음)을 포함한다.
버퍼 메모리(버퍼)(201)는 디코더(200)에 의해 수신된 인코딩된 MPEG-4 AAC 오디오 비트스트림의 적어도 하나의 블록을 (예를 들어, 비일시적 방식으로) 저장한다. 디코더(200)의 동작에서, 비트스트림의 블록들의 시퀀스는 버퍼(201)로부터 디포맷터(205)로 어서트된다.
도 3의 실시예(또는 설명될 도 4의 실시예)의 변형들에서, 디코더가 아닌 APU(예를 들어, 도 6의 APU(500))는 도 3 또는 도 4의 버퍼(201)에 의해 수신된 동일 유형의 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 오디오 비트스트림)(즉, eSBR 메타데이터를 포함하는 인코딩된 오디오 비트스트림)의 적어도 하나의 블록을 (예를 들어, 비일시적 방식으로) 저장하는 버퍼 메모리(예를 들어, 버퍼(201)와 동일한 버퍼 메모리)를 포함한다.
다시 도 3을 참조하면, 디포맷터(205)는 비트스트림의 각각의 블록을 역다중화하여 그로부터 SBR 메타데이터(양자화된 포락선 데이터를 포함함) 및 eSBR 메타데이터(및 전형적으로 또한 다른 메타데이터)를 추출하고, 적어도 eSBR 메타데이터 및 SBR 메타데이터를 eSBR 처리 스테이지(203)로 어서트하고, 전형적으로 또한 다른 추출된 메타데이터를 디코딩 서브시스템(202)으로(그리고 선택적으로 또한 제어 비트 생성기(204)로) 어서트하도록 결합 및 구성된다. 디포맷터(205)는 또한 비트스트림의 각각의 블록으로부터 오디오 데이터를 추출하고 추출된 오디오 데이터를 디코딩 서브시스템(디코딩 스테이지)(202)으로 어서트하도록 결합 및 구성된다.
도 3의 시스템은 선택적으로 또한 후처리기(300)를 포함한다. 후처리기(300)는 버퍼 메모리(버퍼)(301) 및 버퍼(301)에 결합된 적어도 하나의 처리 요소를 포함하는 다른 처리 요소들(도시되지 않음)을 포함한다. 버퍼(301)는 디코더(200)로부터 후처리기(300)에 의해 수신된 디코딩된 오디오 데이터의 적어도 하나의 블록(또는 프레임)을 (예를 들어, 비일시적 방식으로) 저장한다. 후처리기(300)의 처리 요소들은 버퍼(301)로부터 출력된 디코딩된 오디오의 블록들(또는 프레임들)의 시퀀스를 수신하고, 디코딩 서브시스템(202)(및/또는 디포맷터(205))로부터 출력된 메타데이터 및/또는 디코더(200)의 스테이지(204)로부터 출력된 제어 비트들을 사용하여, 적응적으로 처리하도록 결합 및 구성된다.
디코더(200)의 오디오 디코딩 서브시스템(202)은 파서(205)에 의해 추출된 오디오 데이터를 디코딩하여(이러한 디코딩은 "코어" 디코딩 동작이라고 언급될 수 있다) 디코딩된 오디오 데이터를 생성하고, 디코딩된 오디오 데이터를 eSBR 처리 스테이지(203)로 어서트하도록 구성된다. 디코딩은 주파수 도메인에서 수행되고 전형적으로 역양자화와 후속 스펙트럼 처리를 포함한다. 전형적으로, 서브시스템(202)에서의 최종 처리 스테이지는, 서브시스템의 출력이 시간 도메인의 디코딩된 오디오 데이터가 되도록, 디코딩된 주파수 도메인 오디오 데이터에 주파수 도메인-시간 도메인 변환을 적용한다. 스테이지(203)는 디코딩된 오디오 데이터에 (파서(205)에 의해 추출된) SBR 메타데이터 및 eSBR 메타데이터에 의해 나타내어진 SBR 도구 및 eSBR 도구를 적용하여(즉, SBR 및 eSBR 메타데이터를 사용하여 디코딩 서브시스템(202)의 출력에 대해 SBR 및 eSBR 처리를 수행하여) 디코더(200)로부터 (예를 들어, 후처리기(300)로) 출력되는 완전히 디코딩된 오디오 데이터를 생성하도록 구성된다. 전형적으로, 디코더(200)는 디포맷터(205)로부터 출력된 디포맷팅된 오디오 데이터 및 메타데이터를 저장하는 메모리(서브시스템(202) 및 스테이지(203)에 의해 액세스 가능함)를 포함하고, 스테이지(203)는 SBR 및 eSBR 처리 동안 필요에 따라 오디오 데이터 및 메타데이터(SBR 메타데이터 및 eSBR 메타데이터를 포함함)에 액세스하도록 구성된다. 스테이지(203)에서의 SBR 처리 및 eSBR 처리는 코어 디코딩 서브시스템(202)의 출력에 대한 후처리인 것으로 간주될 수 있다. 선택적으로, 디코더(200)는 또한 스테이지(203)의 출력에 대해 업믹싱(upmixing)을 수행하여 디코더(200)로부터 출력되는 완전히 디코딩된 업믹싱된 오디오를 생성하도록 결합 및 구성되는 최종 업믹싱 서브시스템(디포맷터(205)에 의해 추출된 PS 메타데이터 및/또는 서브시스템(204)에서 생성된 제어 비트들을 사용하여, MPEG-4 AAC 표준에서 정의된 파라메트릭 스테레오("PS") 도구들을 적용할 수 있음)을 포함한다. 대안적으로, 후처리기(300)는 (예를 들어, 디포맷터(205)에 의해 추출된 PS 메타데이터 및/또는 서브시스템(204)에서 생성된 제어 비트들을 사용하여) 디코더(200)의 출력에 대해 업믹싱을 수행하도록 구성된다.
디포맷터(205)에 의해 추출된 메타데이터에 응답하여, 제어 비트 생성기(204)는 제어 데이터를 생성할 수 있고, 제어 데이터는 (예를 들어, 최종 업믹싱 서브시스템에서) 디코더(200) 내에서 사용될 수 있고/있거나 디코더(200)의 출력으로서 (예를 들어, 후처리에 사용하기 위해 후처리기(300)로) 어서트될 수 있다. 입력 비트스트림으로부터 추출된 메타데이터에 응답하여(그리고 선택적으로 또한 제어 데이터에 응답하여), 스테이지(204)는 eSBR 처리 스테이지(203)로부터 출력된 디코딩된 오디오 데이터가 특정 유형의 후처리를 겪어야 한다는 것을 나타내는 제어 비트들을 생성(및 후처리기(300)로 어서트)할 수 있다. 일부 구현예들에서, 디코더(200)는 입력 비트스트림으로부터 디포맷터(205)에 의해 추출된 메타데이터를 후처리기(300)로 어서트하도록 구성되고, 후처리기(300)는 메타데이터를 사용하여 디코더(200)로부터 출력된 디코딩된 오디오 데이터에 대해 후처리를 수행하도록 구성된다.
도 4는 본 발명의 오디오 처리 유닛의 또 다른 실시예인 오디오 처리 유닛("APU")(210)의 블록도이다. APU(210)는 eSBR 처리를 수행하도록 구성되지 않은 레거시 디코더이다. APU(210)의 컴포넌트들 또는 요소들 중 임의의 컴포넌트 또는 요소는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로, 하나 이상의 프로세스 및/또는 하나 이상의 회로(예를 들어, ASIC, FPGA, 또는 다른 집적 회로)로서 구현될 수 있다. APU(210)는 도시된 바와 같이 연결된, 버퍼 메모리(201), 비트스트림 페이로드 디포맷터(파서)(215), 오디오 디코딩 서브시스템(202)(때때로 "코어" 디코딩 스테이지 또는 "코어" 디코딩 서브시스템이라고 언급됨), 및 SBR 처리 스테이지(213)를 포함한다. 전형적으로 또한, APU(210)는 다른 처리 요소들(도시되지 않음)을 포함한다.
APU(210)의 요소들(201 및 202)은 (도 3의) 디코더(200)의 동일하게 번호가 매겨진 요소들과 동일하고, 이들에 대한 상기 설명은 반복되지 않을 것이다. APU(210)의 동작에서, APU(210)에 의해 수신된 인코딩된 오디오 비트스트림(MPEG-4 AAC 비트스트림)의 블록들의 시퀀스가 버퍼(201)로부터 디포맷터(215)로 어서트된다.
디포맷터(215)는 비트스트림의 각각의 블록을 역다중화하여 SBR 메타데이터(양자화된 포락선 데이터를 포함함) 및 전형적으로 또한 그로부터 다른 메타데이터를 추출하지만, 본 발명의 임의의 실시예에 따라 비트스트림에 포함될 수 있는 eSBR 메타데이터를 무시하도록 결합 및 구성된다. 디포맷터(215)는 적어도 SBR 메타데이터를 SBR 처리 스테이지(213)로 어서트하도록 구성된다. 디포맷터(215)는 또한 비트스트림의 각각의 블록으로부터 오디오 데이터를 추출하고, 추출된 오디오 데이터를 디코딩 서브시스템(디코딩 스테이지)(202)으로 어서트하도록 결합 및 구성된다.
디코더(200)의 오디오 디코딩 서브시스템(202)은 디포맷터(215)에 의해 추출된 오디오 데이터를 디코딩하여(이러한 디코딩은 "코어" 디코딩 동작이라고 언급될 수 있다) 디코딩된 오디오 데이터를 생성하고, 디코딩된 오디오 데이터를 SBR 처리 스테이지(213)로 어서트하도록 구성된다. 디코딩은 주파수 도메인에서 수행된다. 전형적으로, 서브시스템(202)에서의 최종 처리 스테이지는 서브시스템의 출력이 시간 도메인의 디코딩된 오디오 데이터가 되도록, 디코딩된 주파수 도메인 오디오 데이터에 주파수 도메인-시간 도메인 변환을 적용한다. 스테이지(213)는 디코딩된 오디오 데이터에 (디포맷터(215)에 의해 추출된) SBR 메타데이터에 의해 나타내어진 SBR 도구(그러나 eSBR 도구는 아님)를 적용하여(즉, SBR 메타데이터를 사용하여 디코딩 서브시스템(202)의 출력에 대해 SBR 처리를 수행하여) APU(210)로부터 (예를 들어, 후처리기(300)로) 출력되는 완전히 디코딩된 오디오 데이터를 생성하도록 구성된다. 전형적으로, APU(210)는 디포맷터(215)로부터 출력된 디포맷팅된 오디오 데이터 및 메타데이터를 저장하는 메모리(서브시스템(202) 및 스테이지(213)에 의해 액세스 가능함)를 포함하고, 스테이지(213)는 SBR 처리 동안 필요에 따라 오디오 데이터 및 메타데이터(SBR 메타데이터를 포함함)에 액세스하도록 구성된다. 스테이지(213)에서의 SBR 처리는 코어 디코딩 서브시스템(202)의 출력에 대한 후처리인 것으로 간주될 수 있다. 선택적으로, APU(210)는 또한 스테이지(213)의 출력에 대해 업믹싱을 수행하여 APU(210)로부터 출력되는 완전히 디코딩된 업믹싱된 오디오를 생성하도록 결합 및 구성되는 최종 업믹싱 서브시스템(디포맷터(215)에 의해 추출된 PS 메타데이터를 사용하여, MPEG-4 AAC 표준에서 정의된 파라메트릭 스테레오("PS") 도구들을 적용할 수 있음)을 포함한다. 대안적으로, 후처리기는 (예를 들어, 디포맷터(215)에 의해 추출된 PS 메타데이터 및/또는 APU(210)에서 생성된 제어 비트들을 사용하여) APU(210)의 출력에 대해 업믹싱을 수행하도록 구성된다.
인코더(100), 디코더(200), 및 APU(210)의 다양한 구현들은 본 발명의 방법의 상이한 실시예들을 수행하도록 구성된다.
일부 실시예들에 따르면, 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)에 eSBR 메타데이터가 포함되어(예를 들어, eSBR 메타데이터인 소수의 제어 비트가 포함되어), (eSBR 메타데이터를 구문 분석하거나, eSBR 메타데이터가 관련된 임의의 eSBR 도구를 사용하도록 구성되지 않은) 레거시 디코더들이 eSBR 메타데이터를 무시할 수 있지만 그럼에도 불구하고 eSBR 메타데이터 또는 eSBR 메타데이터가 관련된 임의의 eSBR 도구를 사용하지 않고, 전형적으로 디코딩된 오디오 품질에 임의의 유의미한 페널티 없이, 가능한 최대로 비트스트림을 디코딩할 수 있다. 그러나, 비트스트림을 구문 분석하여 eSBR 메타데이터를 식별하고 eSBR 메타데이터에 응답하여 적어도 하나의 eSBR 도구를 사용하도록 구성된 eSBR 디코더들은 적어도 하나의 그러한 eSBR 도구를 사용하는 이익을 누릴 것이다. 따라서, 본 발명의 실시예들은 역 호환 가능 방식으로 향상된 스펙트럼 대역 복제(eSBR) 제어 데이터 또는 메타데이터를 효율적으로 전송하기 위한 수단을 제공한다.
전형적으로, 비트스트림 내의 eSBR 메타데이터는 (MPEG USAC 표준에서 기술되고, 비트스트림의 생성 동안 인코더에 의해 적용되었을 수도 있고 그렇지 않을 수도 있는) 다음의 eSBR 도구들 중 하나 이상을 나타낸다(예를 들어, 그것의 적어도 하나의 특성 또는 파라미터를 나타낸다):
· 고조파 전위;
· QMF 패칭 추가 사전 처리(사전 평탄화); 및
· 부대역 간 샘플 시간 포락선 셰이핑(Temporal Envelope Shaping) 또는 "inter-TES".
예를 들어, 비트스트림에 포함된 eSBR 메타데이터는 (MPEG USAC 표준 및 본 개시에서 설명된) 파라미터들의 값들을 나타낼 수 있다: harmonicSBR[ch], sbrPatchingMode[ch], sbrOversamplingFlag[ch], sbrPitchInBins [ch], sbrPitchInBins[ch], bs_interTes, bs_temp_shape[ch][env], bs_inter_temp_shape_mode[ch][env], 및 bs_sbr_preprocessing.
본 명세서에서, X가 어떤 파라미터인 표기법 X[ch]는 그 파라미터가 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 채널("ch")에 관련된다는 것을 나타낸다. 단순화를 위해, 때때로 [ch]라는 표현은 생략하고, 관련 파라미터가 오디오 콘텐츠의 채널에 관련된다고 가정한다.
본 명세서에서, X가 어떤 파라미터인 표기법 X[ch][env]는 그 파라미터가 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 채널("ch")의 SBR 포락선("env")에 관련된다는 것을 나타낸다. 단순화를 위해, 때때로 [env] 및 [ch]라는 표현은 생략하고, 관련 파라미터가 오디오 콘텐츠 채널의 SBR 포락선과 관련된다고 가정한다.
언급된 바와 같이, MPEG USAC 표준은 USAC 비트스트림이 디코더에 의한 eSBR 처리의 수행을 제어하는 eSBR 메타데이터를 포함하는 것을 고려한다. eSBR 메타데이터는 다음과 같은 1 비트 메타데이터 파라미터들을 포함한다: harmonicSBR; bs_interTES; 및 bs_pvc.
파라미터 "harmonicSBR"은 SBR에 대한 고조파 패칭(고조파 전위)의 사용을 나타낸다. 특히, harmonicSBR = 0은 MPEG-4 AAC 표준의 섹션 4.6.18.6.3에서 설명된 비-고조파 스펙트럼 패칭을 나타내고; harmonicSBR = 1은 고조파 SBR 패칭(MPEG USAC 표준의 섹션 7.5.3 또는 7.5.4에서 설명된, eSBR에서 사용되는 유형)을 나타낸다. 고조파 SBR 패칭은 비-eSBR 스펙트럼 대역 복제(즉, eSBR이 아닌 SBR)에 따라 사용되지 않는다. 이 개시내용의 전체에 걸쳐, 스펙트럼 패칭은 기본 형태의 스펙트럼 대역 복제라고 언급되는 반면, 고조파 전위는 향상된 형태의 스펙트럼 대역 복제라고 언급된다.
파라미터 "bs_interTES"의 값은 eSBR의 inter-TES 도구의 사용을 나타낸다.
파라미터 "bs_pvc"의 값은 eSBR의 PVC 도구의 사용을 나타낸다.
인코딩된 비트스트림의 디코딩 중에, (비트스트림에 의해 나타내어진 오디오 콘텐츠의 각각의 채널, "ch"에 대해) 디코딩의 eSBR 처리 스테이지 동안 고조파 전위의 수행은 다음의 eSBR 메타데이터 파라미터들에 의해 제어된다: sbrPatchingMode[ch]; sbrOversamplingFlag[ch]; sbrPitchInBinsFlag[ch]; 및 sbrPitchInBins[ch].
값 "sbrPatchingMode[ch]"는 eSBR에서 사용되는 트랜스포저 유형을 나타낸다: sbrPatchingMode[ch] = 1은 MPEG-4 AAC 표준의 섹션 4.6.18.6.3에서 설명한 비-고조파 패칭을 나타내고; sbrPatchingMode[ch] = 0은 MPEG USAC 표준의 섹션 7.5.3 또는 7.5.4에서 설명된 고조파 SBR 패칭을 나타낸다.
값 "sbrOversamplingFlag[ch]"는 MPEG USAC 표준의 섹션 7.5.3에서 설명된 DFT 기반 고조파 SBR 패칭과 조합하여 eSBR에서 신호 적응 주파수 도메인 오버샘플링의 사용을 나타낸다. 이 플래그는 트랜스포저에서 이용되는 DFT들의 크기를 제어한다: 1은 MPEG USAC 표준의 섹션 7.5.3.1에서 설명된 바와 같이 신호 적응 주파수 도메인 오버샘플링이 활성화되었음을 나타내고; 0은 MPEG USAC 표준의 섹션 7.5.3.1에서 설명된 바와 같이 신호 적응 주파수 도메인 오버샘플링이 비활성화되었음을 나타낸다.
값 "sbrPitchInBinsFlag[ch]"는 sbrPitchInBins[ch] 파라미터의 해석을 제어한다: 1은 sbrPitchInBins[ch]의 값이 유효하고 0보다 큰 것을 나타내고; 0은 sbrPitchInBins[ch]의 값이 0으로 설정됨을 나타낸다.
값 "sbrPitchInBins[ch]"는 SBR 고조파 트랜스포저에서 외적 항들(cross product terms)의 덧셈을 제어한다. 값 sbrPitchinBins[ch]는 [0,127] 범위의 정수 값이고 코어 코더의 샘플링 주파수에 작용하는 1536 라인 DFT에 대한 주파수 빈 단위로 측정된 거리를 나타낸다.
MPEG-4 AAC 비트스트림이 (단일 SBR 채널보다는) 그 채널들이 결합되지 않은 SBR 채널 쌍을 나타내는 경우, 비트스트림은 sbr_channel_pair_element()의 각각의 채널에 대해 하나씩, (고조파 또는 비-고조파 전위에 대한) 상기 구문의 2개의 인스턴스를 나타낸다.
eSBR 도구의 고조파 전위는 전형적으로 비교적 낮은 크로스 오버 주파수들에서 디코딩된 음악 신호의 품질을 개선한다. 고조파 전위는 DFT 기반 또는 QMF 기반 고조파 전위에 의해 디코더에서 구현되어야 한다. 비-고조파 전위(즉, 레거시 스펙트럼 패칭 또는 복사)는 전형적으로 음성 신호를 개선한다. 따라서, 특정 오디오 콘텐츠를 인코딩하는 데 어떤 유형의 전위가 적합한지에 대한 결정의 시작점은 음성 콘텐츠에 대한 스펙트럼 패칭 및 음악 콘텐츠에 대해 이용되는 고조파 전위를 사용하는 음성/음악 검출에 따라 전위 방법을 선택하는 것이다.
eSBR 처리 중 사전 평탄화의 수행은 "bs_sbr_preprocessing"이라고 알려진 1 비트 eSBR 메타데이터 파라미터 값에 의해 제어되는데, 이 단일 비트의 값에 따라 사전 평탄화가 수행되거나 수행되지 않는다는 의미에서 그러하다. MPEG-4 AAC 표준의 섹션 4.6.18.6.3에서 설명된, SBR QMF 패칭 알고리즘이 사용될 때, 사전 평탄화의 단계는 ("bs_sbr_preprocessing" 파라미터에 의해 나타내어질 때) 후속 포락선 조정기(포락선 조정기는 eSBR 처리의 또 다른 스테이지를 수행함)에 입력되는 고주파 신호의 스펙트럼 포락선의 형상에서의 불연속성을 방지하려는 노력으로 수행될 수 있다. 사전 평탄화는 전형적으로 후속 포락선 조정 스테이지의 동작을 개선하여, 더 안정적인 것으로 인식되는 고대역 신호를 발생시킨다.
디코더에서 eSBR 처리 동안 부대역 간 샘플 시간 포락선 셰이핑(Temporal Envelope Shaping)("inter-TES" 도구)의 수행은 디코딩되고 있는 USAC 비트스트림의 오디오 콘텐츠의 각각의 채널("ch")의 각각의 SBR 포락선("env")에 대한 다음의 eSBR 메타데이터 파라미터들에 의해 제어된다: bs_temp_shape[ch][env]; 및 bs_inter_temp_shape_mode[ch][env].
inter-TES 도구는 포락선 조정기에 후속하는 QMF 부대역 샘플들을 처리한다. 이러한 처리 단계는 포락선 조정기의 것보다 더 세밀한 시간 세분성으로 더 높은 주파수 대역의 시간 포락선을 셰이핑한다. 이득 계수를 SBR 포락선 내의 각각의 QMF 부대역 샘플에 적용함으로써, inter-TES는 QMF 부대역 샘플들 사이에서 시간 포락선을 셰이핑한다.
파라미터 "bs_temp_shape[ch][env]"는 inter-TES의 사용을 시그널링하는 플래그이다. 파라미터 "bs_inter_temp_shape_mode[ch][env]"는 inter-TES 내의 파라미터 γ의 값들을 나타낸다(MPEG USAC 표준에서 정의된 바와 같이).
위에 언급된 eSBR 도구들(고조파 전위, 사전 평탄화, 및 inter_TES)을 나타내는 MPEG-4 AAC 비트스트림 eSBR 메타데이터에 포함하기 위한 전체 비트레이트 요구 사항은 초당 수백 비트 정도가 될 것으로 예상되는데 그 이유는 본 발명의 일부 실시예들에 따르면 eSBR 처리를 수행하는 데 필요한 차동 제어 데이터만이 전송되기 때문이다. 레거시 디코더들은 이 정보를 무시할 수 있는데 그 이유는 그것이 역 호환 가능 방식으로 포함되기 때문이다(나중에 설명되는 바와 같이). 따라서, eSBR 메타데이터의 포함과 관련된 비트레이트에 대한 해로운 영향은 다음을 포함하는 여러 이유로 무시할 수 있다:
· (eSBR 메타데이터의 포함으로 인한) 비트레이트 패널티는 전체 비트레이트의 매우 작은 부분인데 그 이유는 eSBR 처리를 수행하는 데 필요한 차동 제어 데이터만이 전송되기 때문이다(그리고 SBR 제어 데이터의 동시 방송이 아님);
· SBR 관련 제어 정보의 튜닝은 전형적으로 전위의 세부 사항에 의존하지 않는다; 그리고
· (eSBR 처리 중에 사용되는) inter-TES 도구는 전위된 신호의 단일 종단 후처리를 수행한다.
따라서, 본 발명의 실시예들은 역 호환 가능 방식으로 향상된 스펙트럼 대역 복제(eSBR) 제어 데이터 또는 메타데이터를 효율적으로 전송하기 위한 수단을 제공한다. 이러한 eSBR 제어 데이터의 효율적인 전송은 본 발명의 양태들을 사용하는 디코더, 인코더, 및 트랜스코더에서 메모리 요구 사항을 감소시키면서, 비트레이트에 명백한 악영향을 미치지는 않는다. 또한, 본 발명의 실시예들에 따라 eSBR을 수행하는 것과 관련된 복잡도 및 처리 요구 사항도 감소되는데 그 이유는 SBR 데이터는 동시 방송되는 것이 아니라 단지 한번만 처리될 필요가 있기 때문이며, 동시 방송되는 것은 eSBR이 역 호환 가능 방식으로 MPEG-4 AAC 코덱에 통합되는 대신 MPEG-4 AAC에서 완전히 별개의 객체 유형으로 취급되는 경우에 해당될 것이다.
다음으로, 도 7을 참조하여, 본 발명의 일부 실시예들에 따라 eSBR 메타데이터가 포함되는 MPEG-4 AAC 비트스트림의 블록("raw_data_block")의 요소들을 설명한다. 도 7은 그 세그먼트들의 일부를 보여주는, MPEG-4 AAC 비트스트림의 블록("raw_data_block")의 도면이다.
MPEG-4 AAC 비트스트림의 블록은 오디오 프로그램을 위한 오디오 데이터를 포함하여, 적어도 하나의 "single_channel_element()"(예를 들어, 도 7에 도시된 단일 채널 요소), 및/또는 적어도 하나의 "channel_pair_element()"(도 7에 구체적으로 도시되어 있지는 않지만, 존재할 수도 있음)를 포함할 수 있다. 블록은 또한 프로그램과 관련된 데이터(예를 들어, 메타데이터)를 포함하는 다수의 "fill_elements"(예를 들어, 도 7의 필 요소 1 및/또는 필 요소 2)를 포함할 수 있다. 각각의 "single_channel_element()"는 단일 채널 요소의 시작을 나타내는 식별자(예를 들어, 도 7의 "ID1")를 포함하고, 다중-채널 오디오 프로그램의 상이한 채널을 나타내는 오디오 데이터를 포함할 수 있다. 각각의 "channel_pair_element는 채널 쌍 요소의 시작을 나타내는 식별자(도 7에 도시되지 않음)를 포함하고, 프로그램의 2개의 채널을 나타내는 오디오 데이터를 포함할 수 있다.
MPEG-4 AAC 비트스트림의 fill_element(본 명세서에서는 필 요소라고 언급됨)는 필 요소의 시작을 나타내는 식별자(도 7의 "ID2") 및 식별자 다음의 필 데이터를 포함한다. 식별자 ID2는 0x6의 값을 갖는 3 비트의 "uimsbf"(unsigned integer transmitted most significant bit first)로 구성될 수 있다. 필 데이터는 MPEG-4 AAC 표준의 표 4.57에 그 구문이 나타나 있는 extension_payload() 요소(때때로 본 명세서에서는 확장 페이로드라고 언급됨)를 포함할 수 있다. 몇몇 유형의 확장 페이로드가 존재하며, 4 비트의 "uimsbf"(unsigned integer transmitted most significant bit first)인, "extension_type" 파라미터를 통해 식별된다.
필 데이터(예를 들어, 그의 확장 페이로드)는 SBR 객체를 나타내는 필 데이터의 세그먼트를 나타내는 헤더 또는 식별자(예를 들어, 도 7의 "header1")를 포함할 수 있다(즉, 헤더는 MPEG-4 AAC 표준에서 sbr_extension_data()라고 언급되는 "SBR 객체" 유형을 초기화한다). 예를 들어, 헤더의 extension_type 필드에 대한 '1101' 또는 '1110'의 값으로 스펙트럼 대역 복제(SBR) 확장 페이로드가 식별되고, 식별자 '1101'은 SBR 데이터를 갖는 확장 페이로드를 식별하고 '1110'은 SBR 데이터의 정확성을 확인하기 위한 순환 중복 검사(Cyclic Redundancy Check, CRC)를 갖는 SBR 데이터를 갖는 확장 페이로드를 식별한다.
헤더(예를 들어, extension_type 필드)가 SBR 객체 유형을 초기화할 때, SBR 메타데이터(때때로 본 명세서에서 "스펙트럼 대역 복제 데이터"라고 언급되고, MPEG-4 AAC 표준에서 sbr_data()라고 언급됨)가 헤더 다음에 오고, 적어도 하나의 스펙트럼 대역 복제 확장 요소(예를 들어, 도 7의 필 요소 1의 "SBR 확장 요소")가 SBR 메타데이터 다음에 올 수 있다. 이러한 스펙트럼 대역 복제 확장 요소(비트스트림의 세그먼트)는 MPEG-4 AAC 표준에서 "sbr_extension()" 컨테이너라고 언급된다. 스펙트럼 대역 복제 확장 요소는 선택적으로 헤더(예를 들어, 도 7의 필 요소 1의 "SBR 확장 헤더")를 포함한다.
MPEG-4 AAC 표준은 스펙트럼 대역 복제 확장 요소가 프로그램의 오디오 데이터에 대한 PS(파라메트릭 스테레오) 데이터를 포함할 수 있음을 고려한다. MPEG-4 AAC 표준은 필 요소의(예를 들어, 그의 확장 페이로드의) 헤더가 SBR 객체 유형을 초기화하고(도 7의 "header1"과 같이) 필 요소의 스펙트럼 대역 복제 확장 요소가 PS 데이터를 포함할 때, 필 요소(예를 들어, 그의 확장 페이로드)는 스펙트럼 대역 복제 데이터, 및 그 값(즉, bs_extension_id = 2)이 PS 데이터가 필 요소의 스펙트럼 대역 복제 확장 요소에 포함됨을 나타내는 "bs_extension_id" 파라미터를 포함하는 것을 고려한다.
본 발명의 일부 실시예들에 따르면, eSBR 메타데이터(예를 들어, 향상된 스펙트럼 대역 복제(eSBR) 처리가 블록의 오디오 콘텐츠에 대해 수행되어야 하는지를 나타내는 플래그)가 필 요소의 스펙트럼 대역 복제 확장 요소에 포함된다. 예를 들어, 그러한 플래그는 도 7의 필 요소 1에 나타내어지고, 여기서 플래그는 필 요소 1의 "SBR 확장 요소"의 헤더(필 요소 1의 "SBR 확장 헤더") 다음에 발생한다. 선택적으로, 그러한 플래그 및 추가 eSBR 메타데이터가 스펙트럼 대역 복제 확장 요소의 헤더 다음에 스펙트럼 대역 복제 확장 요소에(예를 들어, SBR 확장 헤더 다음에, 도 7의 필 요소 1의 SBR 확장 요소에) 포함된다. 본 발명의 일부 실시예들에 따르면, eSBR 메타데이터를 포함하는 필 요소는 또한 그 값(예를 들어, bs_extension_id = 3)이 eSBR 메타데이터가 필 요소에 포함되고 eSBR 처리가 관련 블록의 오디오 콘텐츠에 대해 수행되어야 함을 나타내는 "bs_extension_id" 파라미터를 포함한다.
본 발명의 일부 실시예들에 따르면, eSBR 메타데이터는 필 요소의 스펙트럼 대역 복제 확장 요소(SBR 확장 요소) 이외의 MPEG-4 AAC 비트스트림의 필 요소(예를 들어, 도 7의 필 요소 2)에 포함된다. 이는 SBR 데이터 또는 CRC를 갖는 SBR 데이터를 갖는 extension_payload()를 포함하는 필 요소들이 임의의 다른 확장 유형의 임의의 다른 확장 페이로드를 포함하지 않기 때문이다. 따라서, eSBR 메타데이터가 자신의 확장 페이로드에 저장되는 실시예들에서, 별도의 필 요소가 eSBR 메타데이터를 저장하기 위해 사용된다. 이러한 필 요소는 필 요소의 시작을 나타내는 식별자(예를 들어, 도 7의 "ID2") 및 식별자 다음의 필 데이터를 포함한다. 필 데이터는 MPEG-4 AAC 표준의 표 4.57에 그 구문이 나타나 있는 extension_payload() 요소(때때로 본 명세서에서는 확장 페이로드라고 언급됨)를 포함할 수 있다. 필 데이터(예를 들어, 그의 확장 페이로드)는 eSBR 객체를 나타내는 헤더(예를 들어, 도 7의 필 요소 2의 "header2")를 포함하고(즉, 헤더는 향상된 스펙트럼 대역 복제(eSBR) 객체 유형을 초기화하고), 필 데이터(예를 들어, 그의 확장 페이로드)는 헤더 다음의 eSBR 메타데이터를 포함한다. 예를 들어, 도 7의 필 요소 2는 헤더("header2")를 포함하고 또한, 헤더 다음에, eSBR 메타데이터(즉, 향상된 스펙트럼 대역 복제(eSBR) 처리가 블록의 오디오 콘텐츠에 대해 수행되어야 하는지를 나타내는, 필 요소 2 내의 "플래그")를 포함한다. 선택적으로, 추가 eSBR 메타데이터가 또한 header2 다음에, 도 7의 필 요소 2의 필 데이터에 포함된다. 본 단락에서 설명되는 실시예들에서, 헤더(예를 들어, 도 7의 header2)는 MPEG-4 AAC 표준의 표 4.57에 지정된 종래의 값들 중 하나가 아닌 식별 값을 가지며, 대신에 eSBR 확장 페이로드를 나타낸다(따라서 헤더의 extension_type 필드는 필 데이터가 eSBR 메타데이터를 포함함을 나타낸다).
제1 부류의 실시예들에서, 본 발명은 오디오 처리 유닛(예를 들어, 디코더)으로서, 이는:
인코딩된 오디오 비트스트림의 적어도 하나의 블록(예를 들어, MPEG-4 AAC 비트스트림의 적어도 하나의 블록)을 저장하도록 구성된 메모리(예를 들어, 도 3 또는 도 4의 버퍼(201));
상기 메모리에 결합되고 상기 비트스트림의 상기 블록의 적어도 하나의 부분을 역다중화하도록 구성된 비트스트림 페이로드 디포맷터(예를 들어, 도 3의 요소(205) 또는 도 4의 요소(215)); 및
상기 비트스트림의 상기 블록의 오디오 콘텐츠의 적어도 하나의 부분을 디코딩하도록 결합 및 구성된 디코딩 서브시스템(예를 들어, 도 3의 요소들(202 및 203) 또는 도 4의 요소들(202 및 213))을 포함하고, 상기 블록은:
필 요소의 시작을 나타내는 식별자(예를 들어, MPEG-4 AAC 표준의 표 4.85의 값 0x6을 갖는 "id_syn_ele" 식별자), 및 이 식별자 다음의 필 데이터를 포함하는 필 요소를 포함하고, 상기 필 데이터는:
　향상된 스펙트럼 대역 복제(eSBR) 처리가 블록의 오디오 콘텐츠에 대해 (예를 들어, 블록에 포함된 스펙트럼 대역 복제 데이터 및 eSBR 메타데이터를 사용하여) 수행되어야 하는지를 식별하는 적어도 하나의 플래그를 포함한다.
플래그는 eSBR 메타데이터이고, 플래그의 예는 sbrPatchingMode 플래그이다. 플래그의 또 다른 예는 harmonicSBR 플래그이다. 이 플래그들 둘 다는 기본 형태의 스펙트럼 대역 복제 또는 향상된 형태의 스펙트럼 복제가 블록의 오디오 데이터에 대해 수행되어야 하는지를 나타낸다. 기본 형태의 스펙트럼 복제는 스펙트럼 패칭이고, 향상된 형태의 스펙트럼 대역 복제는 고조파 전위이다.
일부 실시예들에서, 필 데이터는 또한 추가 eSBR 메타데이터(즉, 플래그 이외의 eSBR 메타데이터)를 포함한다.
메모리는 인코딩된 오디오 비트스트림의 적어도 하나의 블록을 (예를 들어, 비일시적인 방식으로) 저장하는 버퍼 메모리(예를 들어, 도 4의 버퍼(201)의 구현)일 수 있다.
eSBR 메타데이터(eSBR 고조파 전위, 사전 평탄화, 및 inter_TES 도구들을 나타냄)를 포함하는 MPEG-4 AAC 비트스트림의 디코딩 중에 eSBR 디코더에 의한 (이러한 eSBR 도구들을 사용한) eSBR 처리의 수행의 복잡도는 다음과 같을 것으로 추정된다(표시된 파라미터들을 사용한 전형적인 디코딩의 경우):
· 고조파 전위(16 kbps, 14400/28800 Hz)
o DFT 기반: 3.68 WMOPS(weighted million operations per second);
o QMF 기반: 0.98 WMOPS;
· QMF 패칭 사전 처리(사전 평탄화): 0.1WMOPS; 및
· 부대역 간 샘플 시간 포락선 셰이핑(Inter-TES): 최대 0.16 WMOPS.
DFT 기반 전위는 전형적으로 과도 상태들에 대한 QMF 기반 전위보다 잘 수행되는 것으로 알려져 있다.
본 발명의 일부 실시예들에 따르면, eSBR 메타데이터를 포함하는 (인코딩된 오디오 비트스트림의) 필 요소는 또한 그 값(예를 들어, bs_extension_id = 3)이 eSBR 메타데이터가 필 요소에 포함되고 eSBR 처리가 관련 블록의 오디오 콘텐츠에 대해 수행되어야 함을 시그널링하는 파라미터(예를 들어, "bs_extension_id" 파라미터), 및/또는 그 값(예를 들어, bs_extension_id = 2)이 필 요소의 sbr_extension() 컨테이너가 PS 데이터를 포함함을 시그널링하는 파라미터(예를 들어, 동일한 "bs_extension_id" 파라미터)를 포함한다. 예를 들어, 아래의 표 1에 나타낸 바와 같이, 값 bs_extension_id = 2를 갖는 그러한 파라미터는 필 요소의 sbr_extension() 컨테이너가 PS 데이터를 포함함을 시그널링할 수 있고, 값 bs_extension_id = 3을 갖는 그러한 파라미터는 필 요소의 sbr_extension() 컨테이너가 eSBR 메타데이터를 포함함을 시그널링할 수 있다.
bs_extension_id 의미
0 예비
1 예비
2 EXTENSION_ID_PS
3 EXTENSION_ID_ESBR
본 발명의 일부 실시예들에 따르면, eSBR 메타데이터 및/또는 PS 데이터를 포함하는 각각의 스펙트럼 대역 복제 확장 요소의 구문은 아래의 표 2에 나타낸 바와 같다(여기서 "sbr_extension()"은 스펙트럼 대역 복제 확장 요소인 컨테이너를 나타내고, "bs_extension_id"는 상기 표 1에서 설명한 바와 같고, "ps_data"는 PS 데이터를 나타내고, "esbr_data"는 eSBR 메타데이터를 나타낸다):
sbr_extension(bs_extension_id, num_bits_left)
{
switch(bs_extension_id) {
case EXTENSION_ID_PS:
num_bits_left -= ps_data(); 주 1
break;
case EXTENSION_ID_ESBR:
num_bits_left -= esbr_data(); 주 2
break;
default:
bs_fill_bits; 주 3
num_bits_left = 0;
break;
}
}
주 1: ps_data()는 판독된 비트의 수를 반환한다.
주 2: esbr_data()는 판독된 비트의 수를 반환한다.
주 3: 파라미터 bs_fill_bits는 N개의 비트를 포함하고, 여기서 N = num_bits_left이다.
예시적인 실시예에서, 상기 표 2에서 언급된 esbr_data()는 다음의 메타데이터 파라미터들의 값들을 나타낸다:
1. 각각의 전술한 1-비트 메타데이터 파라미터들 "harmonicSBR"; "bs_interTES"; 및 "bs_sbr_preprocessing";
2. 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 각각의 채널("ch")에 대해, 각각의 전술한 파라미터들: "sbrPatchingMode[ch]"; "sbrOversamplingFlag[ch]"; "sbrPitchInBinsFlag[ch]"; 및 "sbrPitchInBins[ch]"; 및
3. 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 각각의 채널("ch")의 각각의 SBR 포락선("env")에 대해, 각각의 전술한 파라미터들: "bs_temp_shape[ch][env]"; 및 "bs_inter_temp_shape_mode[ch][env]".
예를 들어, 일부 실시예들에서, esbr_data()는 이들 메타데이터 파라미터를 나타내기 위해, 표 3에 나타낸 구문을 가질 수 있다:
esbr_data()
{
harmonicSBR; 1
bs_interTes; 1
bs_sbr_preprocessing; 1
if(harmonicSBR) {
if(sbrPatchingMode[0] == 0) { 1
sbrOversamplingFlag[0]; 1
if(sbrPitchInBinsFlag[0]) 1
sbrPitchInBins[0]; 7
Else
sbrPitchInBins[0] = 0;
} else {
sbrOversamplingFlag[0] = 0;
sbrPitchInBins[0] = 0;
}
}
if(bs_interTes) {
/* a loop over ch and env is implemented */
bs_temp_shape[ch][env]; 1
if(bs_temp_shape[ch][env]) {
bs_inter_temp_shape_mode[ch][env]; 2
}
}
}
표 3에서, 중앙 열의 숫자는 좌측 열의 대응하는 파라미터의 비트 수를 나타낸다.
상기 구문은 레거시 디코더의 확장으로서, 고조파 전위와 같은 향상된 형태의 스펙트럼 대역 복제의 효율적인 구현을 가능하게 한다. 구체적으로, 표 3의 eSBR 데이터는 비트스트림에서 이미 지원되지 않았거나 비트스트림에서 이미 지원되는 파라미터들로부터 직접 유도할 수 없는 향상된 형태의 스펙트럼 대역 복제를 수행하는 데 필요한 파라미터들만을 포함한다. 향상된 형태의 스펙트럼 대역 복제를 수행하는 데 필요한 모든 다른 파라미터 및 처리 데이터는 비트스트림 내의 이미 정의된 위치들에 있는 기존 파라미터들로부터 추출된다. 이는 향상된 스펙트럼 대역 복제에 사용되는 모든 처리 메타데이터를 단순히 전송하는 대안적인(그리고 덜 효율적인) 구현과는 대조적이다.
예를 들어, MPEG-4 HE-AAC 또는 HE-AAC v2 호환 디코더는 고조파 전위와 같은 향상된 형태의 스펙트럼 대역 복제를 포함하도록 확장될 수 있다. 이 향상된 형태의 스펙트럼 대역 복제는 디코더에 의해 이미 지원되는 기본 형태의 스펙트럼 대역 복제에 추가된다. MPEG-4 HE-AAC 또는 HE-AAC v2 호환 디코더의 컨텍스트에서, 이 기본 형태의 스펙트럼 대역 복제는 MPEG-4 AAC 표준의 섹션 4.6.18에서 정의된 바와 같은 QMF 스펙트럼 패칭 SBR 도구이다.
향상된 형태의 스펙트럼 대역 복제를 수행할 때, 확장된 HE-AAC 디코더는 비트스트림의 SBR 확장 페이로드에 이미 포함된 비트스트림 파라미터들 중 다수를 재사용할 수 있다. 재사용될 수 있는 특정 파라미터들은, 예를 들어, 마스터 주파수 대역 표를 결정하는 다양한 파라미터들을 포함한다. 이러한 파라미터들은 bs_start_freq(마스터 주파수 표 파라미터의 시작을 결정하는 파라미터), bs_stop_freq(마스터 주파수 표의 중지를 결정하는 파라미터), bs_freq_scale(옥타브 당 주파수 대역의 수를 결정하는 파라미터), 및 bs_alter_scale(주파수 대역의 규모를 변경하는 파라미터)를 포함한다. 재사용될 수 있는 파라미터들은 또한 잡음 대역 표를 결정하는 파라미터들(bs_noise_bands) 및 제한기 대역 표 파라미터들(bs_limiter_bands)을 포함한다.
다수의 파라미터들에 더하여, 본 발명의 실시예들에 따른 향상된 형태의 스펙트럼 대역 복제를 수행할 때 확장된 HE-AAC 디코더에 의해 다른 데이터 요소들이 또한 재사용될 수 있다. 예를 들어, 포락선 데이터 및 잡음 플로어 데이터는 또한 bs_data_env 및 bs_noise_env 데이터로부터 추출되고 향상된 형태의 스펙트럼 대역 복제 동안 사용될 수 있다.
본질적으로, 이들 실시예는 SBR 확장 페이로드에서 레거시 HE-AAC 또는 HE-AAC v2 디코더에 의해 이미 지원되는 구성 파라미터들 및 포락선 데이터를 이용하여 가능한 한 적은 추가 전송 데이터를 요구하는 향상된 형태의 스펙트럼 대역 복제를 가능하게 한다. 따라서, 향상된 형태의 스펙트럼 대역 복제를 지원하는 확장된 디코더들은 이미 정의된 비트스트림 요소들(예를 들어, SBR 확장 페이로드에 있는 것들)에 의존하고 (필 요소 확장 페이로드에서) 향상된 형태의 스펙트럼 대역 복제를 지원하는 데 필요한 파라미터들만을 추가함으로써 매우 효율적인 방식으로 생성될 수 있다. 확장 컨테이너와 같은 예비된 데이터 필드에 새로 추가된 파라미터들의 배치와 결합된 이 데이터 축소 특징은 비트스트림이 향상된 형태의 스펙트럼 대역 복제를 지원하지 않는 레거시 디코더와 역 호환 가능하도록 보장함으로써 향상된 형태의 스펙트럼 대역 복제를 지원하는 디코더를 만드는 것에 대한 장벽을 상당히 감소시킨다.
일부 실시예들에서, 본 발명은 오디오 데이터를 인코딩하여 인코딩된 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)을 생성하는 단계를 포함하는 방법으로서, 이는 인코딩된 비트스트림의 적어도 하나의 블록의 적어도 하나의 세그먼트에 eSBR 메타데이터를 포함시키고 해당 블록의 적어도 하나의 다른 세그먼트에 오디오 데이터를 포함시키는 것을 포함한다. 전형적인 실시예들에서, 이 방법은 인코딩된 비트스트림의 각각의 블록에서 오디오 데이터를 eSBR 메타데이터와 다중화하는 단계를 포함한다. eSBR 디코더에서 인코딩된 비트스트림의 전형적인 디코딩에서, 디코더는 비트스트림으로부터 eSBR 메타데이터를 추출하고(eSBR 메타데이터 및 오디오 데이터를 구문 분석하고 역다중화하는 것을 포함함) eSBR 메타데이터를 사용하여 오디오 데이터를 처리하여 디코딩된 오디오 데이터의 스트림을 생성한다.
　본 발명의 또 다른 양태는, eSBR 메타데이터를 포함하지 않는 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)의 디코딩 중에 (예를 들어, 고조파 전위, 사전 평탄화, 또는 inter_TES로 알려진 eSBR 도구들 중 적어도 하나를 사용하여) eSBR 처리를 수행하도록 구성된 eSBR 디코더이다. 이러한 디코더의 일례를 도 5를 참조하여 설명한다.
도 5의 eSBR 디코더(400)는 도시된 바와 같이 연결된, (도 3 및 도 4의 메모리(201)와 동일한) 버퍼 메모리(201), (도 4의 디포맷터(215)와 동일한) 비트스트림 페이로드 디포맷터(215), (때때로 "코어" 디코딩 스테이지 또는 "코어" 디코딩 서브시스템이라고 언급되고, 도 3의 코어 디코딩 서브시스템(202)과 동일한) 오디오 디코딩 서브시스템(202), eSBR 제어 데이터 생성 서브시스템(401), 및 (도 3의 스테이지(203)와 동일한) eSBR 처리 스테이지(203)를 포함한다. 전형적으로 또한, 디코더(400)는 다른 처리 요소들(도시되지 않음)을 포함한다.
디코더(400)의 동작에서, 디코더(400)에 의해 수신된 인코딩된 오디오 비트스트림(MPEG-4 AAC 비트스트림)의 블록들의 시퀀스가 버퍼(201)로부터 디포맷터(215)로 어서트된다.
디포맷터(215)는 비트스트림의 각각의 블록을 역다중화하여 SBR 메타데이터(양자화된 포락선 데이터를 포함함) 및 전형적으로 또한 그로부터 다른 메타데이터를 추출하도록 결합 및 구성된다. 디포맷터(215)는 적어도 SBR 메타데이터를 eSBR 처리 스테이지(203)로 어서트하도록 구성된다. 디포맷터(215)는 또한 비트스트림의 각각의 블록으로부터 오디오 데이터를 추출하고, 추출된 오디오 데이터를 디코딩 서브시스템(디코딩 스테이지)(202)으로 어서트하도록 결합 및 구성된다.
디코더(400)의 오디오 디코딩 서브시스템(202)은 디포맷터(215)에 의해 추출된 오디오 데이터를 디코딩하여(이러한 디코딩은 "코어" 디코딩 동작이라고 언급될 수 있다) 디코딩된 오디오 데이터를 생성하고, 디코딩된 오디오 데이터를 eSBR 처리 스테이지(203)로 어서트하도록 구성된다. 디코딩은 주파수 도메인에서 수행된다. 전형적으로, 서브시스템(202)에서의 최종 처리 스테이지는 서브시스템의 출력이 시간 도메인의 디코딩된 오디오 데이터가 되도록, 디코딩된 주파수 도메인 오디오 데이터에 주파수 도메인-시간 도메인 변환을 적용한다. 스테이지(203)는 (디포맷터(215)에 의해 추출된) SBR 메타데이터에 의해 그리고 서브시스템(401)에서 생성된 eSBR 메타데이터에 의해 나타내어진 SBR 도구들(및 eSBR 도구들)을 디코딩된 오디오 데이터에 적용하여(즉, SBR 및 eSBR 메타데이터를 사용하여 디코딩 서브시스템(202)의 출력에 대해 SBR 및 eSBR 처리를 수행하여) 디코더(400)로부터 출력되는 완전히 디코딩된 오디오 데이터를 생성하도록 구성된다. 전형적으로, 디코더(400)는 디포맷터(215)(및 선택적으로 또한 서브시스템(401))로부터 출력되는 디포맷팅된 오디오 데이터 및 메타데이터 출력을 저장하는 메모리(서브시스템(202) 및 스테이지(203)에 의해 액세스 가능함)를 포함하고, 스테이지(203)는 SBR 및 eSBR 처리 동안 필요에 따라 오디오 데이터 및 메타데이터에 액세스하도록 구성된다. 스테이지(203)에서의 SBR 처리는 코어 디코딩 서브시스템(202)의 출력에 대한 후처리인 것으로 간주될 수 있다. 선택적으로, 디코더(400)는 또한 (디포맷터(215)에 의해 추출된 PS 메타데이터를 사용하여, MPEG-4 AAC 표준에서 정의된 파라메트릭 스테레오("PS") 도구들을 적용할 수 있는) 최종 업믹싱 서브시스템을 포함하고, 이는 스테이지(203)의 출력에 대해 업믹싱을 수행하여 APU(210)로부터 출력되는 완전히 디코딩되고 업믹싱된 오디오를 생성하도록 결합 및 구성된다.
도 5의 제어 데이터 생성 서브시스템(401)은 디코딩될 인코딩된 오디오 비트스트림의 적어도 하나의 특성을 검출하고, 검출 단계의 적어도 하나의 결과에 응답하여 eSBR 제어 데이터(이는 본 발명의 다른 실시예들에 따른 인코딩된 오디오 비트스트림들에 포함된 유형들 중 임의의 유형의 eSBR 메타데이터일 수도 있고 또는 이를 포함할 수도 있음)를 생성하도록 결합 및 구성된다. eSBR 제어 데이터는 비트스트림의 특정 특성(또는 특성들의 조합)을 검출할 때 개별 eSBR 도구들 또는 eSBR 도구들의 조합들의 적용을 트리거하고/하거나 그러한 eSBR 도구들의 적용을 제어하기 위해 스테이지(203)로 어서트된다. 예를 들어, 고조파 전위를 사용한 eSBR 처리의 수행을 제어하기 위해, 제어 데이터 생성 서브시스템(401)의 일부 실시예들은: 비트스트림이 음악을 나타내거나 그렇지 않다는 것을 검출하는 것에 응답하여 sbrPatchingMode[ch] 파라미터를 설정하기 위한(그리고 설정된 파라미터를 스테이지(203)로 어서트하기 위한) 음악 검출기(예를 들어, 종래의 음악 검출기의 단순화된 버전); 비트스트림에 의해 나타내어진 오디오 콘텐츠의 과도 상태들의 존재 또는 부재를 검출하는 것에 응답하여 sbrOversamplingFlag[ch] 파라미터를 설정하기 위한(그리고 설정된 파라미터를 스테이지(203)로 어서트하기 위한) 과도 검출기; 및/또는 비트스트림에 의해 나타내어진 오디오 콘텐츠의 피치를 검출하는 것에 응답하여 sbrPitchInBinsFlag[ch] 및 sbrPitchInBins[ch] 파라미터들을 설정하기 위한(그리고 설정된 파라미터들을 스테이지(203)로 어서트하기 위한) 피치 검출기를 포함할 것이다. 본 발명의 다른 양태들은 이 단락 및 이전 단락에서 설명된 본 발명의 디코더의 임의의 실시예에 의해 수행되는 오디오 비트스트림 디코딩 방법들이다.
본 발명의 양태들은 본 발명의 APU, 시스템 또는 디바이스의 임의의 실시예가 수행하도록 구성(예를 들어, 프로그래밍)되는 유형의 인코딩 또는 디코딩 방법을 포함한다. 본 발명의 다른 양태들은 본 발명의 방법의 임의의 실시예를 수행하도록 구성된(예를 들어, 프로그래밍된) 시스템 또는 디바이스, 및 본 발명의 방법 또는 그의 단계들의 임의의 실시예를 구현하기 위한 코드를 (예를 들어, 비일시적인 방식으로) 저장하는 컴퓨터 판독 가능 매체(예를 들어, 디스크)를 포함한다. 예를 들어, 본 발명의 시스템은 본 발명의 방법 또는 그의 단계들의 실시예를 포함하여, 데이터에 대해 다양한 동작들 중 임의의 동작을 수행하도록 소프트웨어 또는 펌웨어로 프로그램되고/되거나 다르게 구성된 프로그램 가능한 범용 프로세서, 디지털 신호 프로세서, 또는 마이크로프로세서일 수 있거나 이를 포함할 수 있다. 이러한 범용 프로세서는 입력 디바이스, 메모리 및 그것에 어서트된 데이터에 응답하여 본 발명의 방법(또는 그의 단계들)의 실시예를 수행하도록 프로그래밍된(및/또는 다르게 구성된) 처리 회로를 포함하는 컴퓨터 시스템일 수 있거나 이를 포함할 수 있다.
본 발명의 실시예들은 하드웨어, 펌웨어, 또는 소프트웨어, 또는 이 둘의 조합으로(예를 들어, 프로그램 가능한 논리 어레이로서) 구현될 수 있다. 다르게 특정되지 않는 한, 본 발명의 일부로서 포함된 알고리즘들 또는 프로세스들은 본질적으로 임의의 특정 컴퓨터 또는 다른 장치와 관련되지 않는다. 특히, 다양한 범용 머신들이 본 명세서의 교시에 따라 작성된 프로그램들과 함께 사용될 수 있거나, 요구된 방법 단계들을 수행하기 위해 더 특수화된 장치(예를 들어, 집적 회로들)를 구성하는 것이 더 편리할 수 있다. 따라서, 본 발명은 적어도 하나의 프로세서, (휘발성 및 비휘발성 메모리 및/또는 저장 요소들을 포함하는) 적어도 하나의 데이터 저장 시스템, 적어도 하나의 입력 디바이스 또는 포트, 및 적어도 하나의 출력 디바이스 또는 포트를 각각 포함하는 하나 이상의 프로그램 가능한 컴퓨터 시스템(예를 들어, 도 1의 요소들, 또는 도 2의 인코더(100)(또는 그의 요소), 도 3의 디코더(200)(또는 그의 요소), 도 4의 디코더(210)(또는 그의 요소), 또는 도 5의 디코더(400)(또는 그의 요소) 중 임의의 것의 구현)에서 실행되는 하나 이상의 컴퓨터 프로그램으로 구현될 수 있다. 프로그램 코드는 본 명세서에서 설명된 기능들을 수행하고 출력 정보를 생성하기 위해 입력 데이터에 적용된다. 출력 정보는 알려진 방식으로 하나 이상의 출력 디바이스에 적용된다.
이러한 각각의 프로그램은 컴퓨터 시스템과 통신하기 위해 임의의 원하는 컴퓨터 언어(머신, 어셈블리 또는 고급 절차적, 논리적, 또는 객체 지향 프로그래밍 언어를 포함함)로 구현될 수 있다. 어떤 경우이든, 이 언어는 컴파일된 언어 또는 해석된 언어일 수 있다.
예를 들어, 컴퓨터 소프트웨어 명령어 시퀀스들에 의해 구현되는 경우, 본 발명의 실시예들의 다양한 기능들 및 단계들은 적절한 디지털 신호 처리 하드웨어에서 실행되는 멀티스레드 소프트웨어 명령어 시퀀스들에 의해 구현될 수 있으며, 이 경우에 실시예의 다양한 디바이스들, 단계들, 및 기능들은 소프트웨어 명령들의 부분들에 대응할 수 있다.
이러한 각각의 컴퓨터 프로그램은 바람직하게는 범용 또는 특수 목적 프로그램 가능한 컴퓨터에 의해 판독 가능한 저장 매체 또는 디바이스(예를 들어, 솔리드 스테이트 메모리 또는 매체, 또는 자기 또는 광학 매체) 상에 저장되거나 다운로드되어, 그 저장 매체 또는 디바이스가 컴퓨터 시스템에 의해 판독될 때 본 명세서에서 설명된 절차들을 수행하도록 컴퓨터를 구성 및 동작시킨다. 본 발명의 시스템은 또한 컴퓨터 프로그램으로 구성되는(즉, 컴퓨터 프로그램을 저장하는), 컴퓨터 판독 가능 저장 매체로서 구현될 수 있으며, 그렇게 구성된 저장 매체는 컴퓨터 시스템이 본 명세서에서 설명된 기능을 수행하도록 특정의 사전 정의된 방식으로 동작하게 한다.
본 발명의 다수의 실시예가 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음이 이해될 것이다. 본 발명의 다수의 수정 및 변형이 상기 교시에 비추어 가능하다. 첨부된 청구항들의 범위 내에서, 본 발명은 본 명세서에서 구체적으로 설명된 것과 다르게 실시될 수 있음을 이해해야 한다. 다음의 청구항들에 포함된 임의의 참조 번호는 단지 예시를 위한 것일 뿐이며 어떤 식으로든 청구항들을 해석하거나 제한하는 데 사용되어서는 안 된다.

Claims (9)

  1. 인코딩된 오디오 비트스트림을 디코딩하기 위한 오디오 처리 유닛으로서,
    상기 인코딩된 오디오 비트스트림을 역다중화하도록 구성된 비트스트림 페이로드 디포맷터; 및
    상기 비트스트림 페이로드 디포맷터에 결합되고 상기 인코딩된 오디오 비트스트림을 디코딩하도록 구성된 디코딩 서브시스템
    을 포함하고,
    상기 인코딩된 오디오 비트스트림은, 필 요소(fill element)의 시작을 나타내는 식별자 및 상기 식별자 다음의 필 데이터(fill data)를 갖는 상기 필 요소를 포함하고,
    상기 필 데이터는, 상기 인코딩된 오디오 비트스트림의 오디오 콘텐츠에 대해 기본 형태의 스펙트럼 대역 복제가 수행되어야 하는지 또는 향상된 형태의 스펙트럼 대역 복제가 수행되어야 하는지를 식별하는 적어도 하나의 플래그를 포함하고,
    상기 기본 형태의 스펙트럼 대역 복제는 스펙트럼 패칭(spectral patching)을 포함하고, 상기 향상된 형태의 스펙트럼 대역 복제는 고조파 전위(harmonic transposition)를 포함하고, 상기 플래그의 하나의 값은, 상기 향상된 형태의 스펙트럼 대역 복제가 상기 오디오 콘텐츠에 대해 수행되어야 함을 나타내고, 상기 플래그의 다른 값은, 상기 고조파 전위가 아니라 상기 기본 형태의 스펙트럼 대역 복제가 상기 오디오 콘텐츠에 대해 수행되어야 함을 나타내고,
    상기 적어도 하나의 플래그는 3의 값을 갖는 bs_extension_id 파라미터로 식별되는 확장 페이로드에 포함되는 오디오 처리 유닛.
  2. 제1항에 있어서,
    상기 필 데이터는 향상된 스펙트럼 대역 복제 메타데이터를 더 포함하는 오디오 처리 유닛.
  3. 제2항에 있어서,
    상기 향상된 스펙트럼 대역 복제 메타데이터는 상기 확장 페이로드에 포함되는 오디오 처리 유닛.
  4. 제2항에 있어서,
    상기 향상된 스펙트럼 대역 복제 메타데이터는 마스터 주파수 대역 표(master frequency band table)를 정의하는 하나 이상의 파라미터를 포함하는 오디오 처리 유닛.
  5. 제2항에 있어서,
    상기 향상된 스펙트럼 대역 복제 메타데이터는 포락선 스케일 팩터들(envelope scalefactors) 또는 잡음 플로어 스케일 팩터들(noise floor scalefactors)을 포함하는 오디오 처리 유닛.
  6. 인코딩된 오디오 비트스트림을 디코딩하기 위한 방법으로서,
    상기 인코딩된 오디오 비트스트림을 역다중화하는 단계; 및
    상기 인코딩된 오디오 비트스트림을 디코딩하는 단계
    를 포함하고,
    상기 인코딩된 오디오 비트스트림은, 필 요소의 시작을 나타내는 식별자 및 상기 식별자 다음의 필 데이터를 갖는 상기 필 요소를 포함하고,
    상기 필 데이터는, 상기 인코딩된 오디오 비트스트림의 오디오 콘텐츠에 대해 기본 형태의 스펙트럼 대역 복제가 수행되어야 하는지 또는 향상된 형태의 스펙트럼 대역 복제가 수행되어야 하는지를 식별하는 적어도 하나의 플래그를 포함하고,
    상기 기본 형태의 스펙트럼 대역 복제는 스펙트럼 패칭을 포함하고, 상기 향상된 형태의 스펙트럼 대역 복제는 고조파 전위를 포함하고, 상기 플래그의 하나의 값은, 상기 향상된 형태의 스펙트럼 대역 복제가 상기 오디오 콘텐츠에 대해 수행되어야 함을 나타내고, 상기 플래그의 다른 값은, 상기 고조파 전위가 아니라 상기 기본 형태의 스펙트럼 대역 복제가 상기 오디오 콘텐츠에 대해 수행되어야 함을 나타내고,
    상기 적어도 하나의 플래그는 3의 값을 갖는 bs_extension_id 파라미터로 식별되는 확장 페이로드에 포함되는 방법.
  7. 제6항에 있어서,
    상기 식별자는 0x6의 값을 갖는 3 비트의 uimsbf(unsigned integer transmitted most significant bit first)인 방법.
  8. 제6항에 있어서,
    상기 필 데이터는 향상된 스펙트럼 대역 복제 메타데이터를 더 포함하는 방법.
  9. 제6항의 방법을 수행하도록 구성된 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체.
KR1020217014850A 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩 KR102321882B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217035410A KR102445316B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP15159067 2015-03-13
EP15159067.6 2015-03-13
US201562133800P 2015-03-16 2015-03-16
US62/133,800 2015-03-16
PCT/US2016/021666 WO2016149015A1 (en) 2015-03-13 2016-03-10 Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element
KR1020187017423A KR102255142B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187017423A Division KR102255142B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217035410A Division KR102445316B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩

Publications (2)

Publication Number Publication Date
KR20210059806A KR20210059806A (ko) 2021-05-25
KR102321882B1 true KR102321882B1 (ko) 2021-11-05

Family

ID=52692473

Family Applications (11)

Application Number Title Priority Date Filing Date
KR1020177025803A KR101884829B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020187017423A KR102255142B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020217037713A KR102481326B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020217019073A KR102330202B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020217035410A KR102445316B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020227031975A KR102530978B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020187021858A KR102269858B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020217014850A KR102321882B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020237033422A KR20230144114A (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020227044962A KR102585375B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020177025797A KR101871643B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩

Family Applications Before (7)

Application Number Title Priority Date Filing Date
KR1020177025803A KR101884829B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020187017423A KR102255142B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020217037713A KR102481326B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020217019073A KR102330202B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020217035410A KR102445316B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020227031975A KR102530978B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
KR1020187021858A KR102269858B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020237033422A KR20230144114A (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020227044962A KR102585375B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림의 디코딩
KR1020177025797A KR101871643B1 (ko) 2015-03-13 2016-03-10 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩

Country Status (23)

Country Link
US (12) US10134413B2 (ko)
EP (10) EP4336499A3 (ko)
JP (8) JP6383501B2 (ko)
KR (11) KR101884829B1 (ko)
CN (22) CN109243475B (ko)
AR (10) AR103856A1 (ko)
AU (5) AU2016233669B2 (ko)
BR (9) BR122019004614B1 (ko)
CA (5) CA3051966C (ko)
CL (1) CL2017002268A1 (ko)
DK (6) DK3598443T3 (ko)
ES (4) ES2893606T3 (ko)
FI (3) FI4141866T3 (ko)
HU (4) HUE057183T2 (ko)
IL (3) IL295809B2 (ko)
MX (2) MX2017011490A (ko)
MY (1) MY184190A (ko)
PL (6) PL3657500T3 (ko)
RU (4) RU2665887C1 (ko)
SG (2) SG11201707459SA (ko)
TW (4) TWI693594B (ko)
WO (2) WO2016149015A1 (ko)
ZA (4) ZA201903963B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI693594B (zh) 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
US10573326B2 (en) * 2017-04-05 2020-02-25 Qualcomm Incorporated Inter-channel bandwidth extension
BR112020012654A2 (pt) 2017-12-19 2020-12-01 Dolby International Ab métodos, aparelhos e sistemas para aprimoramentos de decodificação e codificação de fala e áudio unificados com transpositor de harmônico com base em qmf
TWI812658B (zh) 2017-12-19 2023-08-21 瑞典商都比國際公司 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統
KR20200099561A (ko) 2017-12-19 2020-08-24 돌비 인터네셔널 에이비 통합 음성 및 오디오 디코딩 및 인코딩 개선을 위한 방법, 장치 및 시스템
TWI809289B (zh) * 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
EP4099325B1 (en) * 2018-01-26 2023-05-17 Dolby International AB Backward-compatible integration of high frequency reconstruction techniques for audio signals
AU2019258524B2 (en) * 2018-04-25 2024-03-28 Dolby International Ab Integration of high frequency audio reconstruction techniques
CN114242089A (zh) 2018-04-25 2022-03-25 杜比国际公司 具有减少后处理延迟的高频重建技术的集成
US11081116B2 (en) * 2018-07-03 2021-08-03 Qualcomm Incorporated Embedding enhanced audio transports in backward compatible audio bitstreams
EP3841571B1 (en) * 2018-08-21 2023-03-22 Dolby International AB Methods, apparatuses and systems for generation and processing of immediate playout frames (ipfs)
KR102510716B1 (ko) * 2020-10-08 2023-03-16 문경미 양파를 이용한 잼의 제조방법 및 이로 제조된 양파잼
CN114051194A (zh) * 2021-10-15 2022-02-15 赛因芯微(北京)电子科技有限公司 一种音频轨道元数据和生成方法、电子设备及存储介质
WO2024012665A1 (en) * 2022-07-12 2024-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding of precomputed data for rendering early reflections in ar/vr systems
CN116528330B (zh) * 2023-07-05 2023-10-03 Tcl通讯科技（成都）有限公司 设备入网方法、装置、电子设备及计算机可读存储介质

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
GB0003960D0 (en) * 2000-02-18 2000-04-12 Pfizer Ltd Purine derivatives
TW524330U (en) 2001-09-11 2003-03-11 Inventec Corp Multi-purposes image capturing module
DE60204038T2 (de) * 2001-11-02 2006-01-19 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum codieren bzw. decodieren eines audiosignals
CN100395817C (zh) * 2001-11-14 2008-06-18 松下电器产业株式会社 编码设备、解码设备和解码方法
JP3870193B2 (ja) * 2001-11-29 2007-01-17 コーディング テクノロジーズ アクチボラゲット 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム
CA2388352A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for frequency-selective pitch enhancement of synthesized speed
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7043423B2 (en) * 2002-07-16 2006-05-09 Dolby Laboratories Licensing Corporation Low bit-rate audio coding systems and methods that use expanding quantizers with arithmetic coding
EP1414273A1 (en) 2002-10-22 2004-04-28 Koninklijke Philips Electronics N.V. Embedded data signaling
WO2004073178A2 (en) * 2003-02-06 2004-08-26 Dolby Laboratories Licensing Corporation Continuous backup audio
KR100917464B1 (ko) * 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
BR122018007834B1 (pt) * 2003-10-30 2019-03-19 Koninklijke Philips Electronics N.V. Codificador e decodificador de áudio avançado de estéreo paramétrico combinado e de replicação de banda espectral, método de codificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, sinal de áudio avançado codificado de estéreo paramétrico combinado e de replicação de banda espectral, método de decodificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, e, meio de armazenamento legível por computador
KR100571824B1 (ko) * 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
US7668711B2 (en) * 2004-04-23 2010-02-23 Panasonic Corporation Coding equipment
DE102004046746B4 (de) * 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
US7937272B2 (en) * 2005-01-11 2011-05-03 Koninklijke Philips Electronics N.V. Scalable encoding/decoding of audio signals
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
KR20070003574A (ko) * 2005-06-30 2007-01-05 엘지전자 주식회사 오디오 신호 인코딩 및 디코딩 방법 및 장치
KR100857102B1 (ko) * 2005-07-29 2008-09-08 엘지전자 주식회사 인코딩된 오디오 신호 생성 및 처리 방법
EP1952113A4 (en) * 2005-10-05 2009-05-27 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING AND CODING AND DECODING METHOD AND DEVICE THEREFOR
KR100878766B1 (ko) 2006-01-11 2009-01-14 삼성전자주식회사 오디오 데이터 부호화 및 복호화 방법과 장치
US7610195B2 (en) * 2006-06-01 2009-10-27 Nokia Corporation Decoding of predictively coded data using buffer adaptation
PL3288027T3 (pl) * 2006-10-25 2021-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie i sposób do generowania wartości podpasm audio o wartościach zespolonych
JP4967618B2 (ja) * 2006-11-24 2012-07-04 富士通株式会社 復号化装置および復号化方法
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
CN100524462C (zh) 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
ATE518224T1 (de) * 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
WO2009109373A2 (en) * 2008-03-04 2009-09-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for mixing a plurality of input data streams
BRPI0910792B1 (pt) * 2008-07-11 2020-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. "sintetizador de sinal de áudio e codificador de sinal de áudio"
MY155538A (en) 2008-07-11 2015-10-30 Fraunhofer Ges Forschung An apparatus and a method for generating bandwidth extension output data
PL3246918T3 (pl) * 2008-07-11 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio, sposób dekodowania sygnału audio oraz program komputerowy
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
ES2592416T3 (es) * 2008-07-17 2016-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificación/decodificación de audio que tiene una derivación conmutable
US8290782B2 (en) * 2008-07-24 2012-10-16 Dts, Inc. Compression of audio scale-factors by two-dimensional transformation
US8831958B2 (en) 2008-09-25 2014-09-09 Lg Electronics Inc. Method and an apparatus for a bandwidth extension using different schemes
WO2010053287A2 (en) * 2008-11-04 2010-05-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
KR101336891B1 (ko) 2008-12-19 2013-12-04 한국전자통신연구원 Ｇ.711 코덱의 음질 향상을 위한 부호화 장치 및 복호화 장치
PL3598447T3 (pl) * 2009-01-16 2022-02-14 Dolby International Ab Transpozycja harmonicznych rozszerzona o iloczyn wektorowy
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
PL3246919T3 (pl) * 2009-01-28 2021-03-08 Dolby International Ab Ulepszona transpozycja harmonicznych
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
CN102365680A (zh) * 2009-02-03 2012-02-29 三星电子株式会社 音频信号的编码和解码方法及其装置
BRPI1009467B1 (pt) * 2009-03-17 2020-08-18 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
WO2010117327A1 (en) 2009-04-07 2010-10-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for providing a backwards compatible payload format
US8392200B2 (en) * 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
TWI591625B (zh) * 2009-05-27 2017-07-11 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
CN103559891B (zh) * 2009-09-18 2016-05-11 杜比国际公司 改进的谐波转置
BR112012007803B1 (pt) * 2009-10-08 2022-03-15 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de sinal de áudio multimodal, codificador de sinal de áudio multimodal e métodos usando uma configuração de ruído com base em codificação de previsão linear
WO2011048010A1 (en) * 2009-10-19 2011-04-28 Dolby International Ab Metadata time marking information for indicating a section of an audio object
CA2778240C (en) * 2009-10-20 2016-09-06 Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-mode audio codec and celp coding adapted therefore
MY166169A (en) * 2009-10-20 2018-06-07 Fraunhofer Ges Forschung Audio signal encoder,audio signal decoder,method for encoding or decoding an audio signal using an aliasing-cancellation
EP2491553B1 (en) * 2009-10-20 2016-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for encoding an audio information, method for decoding an audio information and computer program using an iterative interval size reduction
MX2012005723A (es) 2009-12-07 2012-06-13 Dolby Lab Licensing Corp Metodo y aparato para decodificar un cuadrado de una señal de audio digital codificada y medio de almacenamiento que graba un programa de instrucciones.
TWI529703B (zh) * 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
CN102194457B (zh) * 2010-03-02 2013-02-27 中兴通讯股份有限公司 音频编解码方法、系统及噪声水平估计方法
JP5588025B2 (ja) * 2010-03-09 2014-09-10 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． パッチ境界整合を用いてオーディオ信号を処理するための装置および方法
BR112012025878B1 (pt) * 2010-04-09 2021-01-05 Dolby International Ab sistema decodificador, sistema codificador, método de decodificação e método de codificação.
KR101430118B1 (ko) 2010-04-13 2014-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 또는 비디오 인코더, 오디오 또는 비디오 디코더 그리고 가변적인 예상 방향을 이용하여 멀티-채널 오디오 또는 비디오 신호들을 프로세싱하기 위한 관련 방법들
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
TR201904117T4 (tr) 2010-04-16 2019-05-21 Fraunhofer Ges Forschung Kılavuzlu bant genişliği uzantısı ve gözü kapalı bant genişliği uzantısı kullanılarak bir geniş bantlı sinyal üretilmesine yönelik aparat, yöntem ve bilgisayar programı.
CN102254560B (zh) * 2010-05-19 2013-05-08 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
PL2596497T3 (pl) * 2010-07-19 2014-10-31 Dolby Int Ab Przetwarzanie sygnałów audio podczas rekonstrukcji wysokiej częstotliwości
US9236063B2 (en) * 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
US8489391B2 (en) 2010-08-05 2013-07-16 Stmicroelectronics Asia Pacific Pte., Ltd. Scalable hybrid auto coder for transient detection in advanced audio coding with spectral band replication
DK2617035T3 (da) * 2010-09-16 2019-01-02 Dolby Int Ab Krydsprodukt-forstærket underbåndsblokbaseret harmonisk transponering
CN102446506B (zh) * 2010-10-11 2013-06-05 华为技术有限公司 音频信号的分类识别方法及装置
WO2014124377A2 (en) 2013-02-11 2014-08-14 Dolby Laboratories Licensing Corporation Audio bitstreams with supplementary data and encoding and decoding of such bitstreams
US9093120B2 (en) * 2011-02-10 2015-07-28 Yahoo! Inc. Audio fingerprint extraction by scaling in time and resampling
ES2529025T3 (es) * 2011-02-14 2015-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para procesar una señal de audio decodificada en un dominio espectral
SG192718A1 (en) * 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Audio codec using noise synthesis during inactive phases
MX2013010537A (es) * 2011-03-18 2014-03-21 Koninkl Philips Nv Codificador y decodificador de audio con funcionalidad de configuracion.
ES2617958T3 (es) 2011-04-05 2017-06-20 Nippon Telegraph And Telephone Corporation Codificación de una señal acústica
WO2012146757A1 (en) * 2011-04-28 2012-11-01 Dolby International Ab Efficient content classification and loudness estimation
CN103548077B (zh) * 2011-05-19 2016-02-10 杜比实验室特许公司 参数化音频编译码方案的取证检测
EP2711924B1 (en) 2011-05-20 2018-11-14 Socionext Inc. Bit stream transmission device, bit stream reception/transmission system, bit stream reception device, bit stream transmission method, bit stream reception method, and bit stream
US20130006644A1 (en) * 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
KR101845226B1 (ko) * 2011-07-01 2018-05-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
EP2777042B1 (en) * 2011-11-11 2019-08-14 Dolby International AB Upsampling using oversampled sbr
US9779736B2 (en) * 2011-11-18 2017-10-03 Sirius Xm Radio Inc. Systems and methods for implementing efficient cross-fading between compressed audio streams
WO2013079524A2 (en) * 2011-11-30 2013-06-06 Dolby International Ab Enhanced chroma extraction from an audio codec
JP5817499B2 (ja) 2011-12-15 2015-11-18 富士通株式会社 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム
EP2631906A1 (en) 2012-02-27 2013-08-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Phase coherence control for harmonic signals in perceptual audio codecs
EP2950308B1 (en) * 2013-01-22 2020-02-19 Panasonic Corporation Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method
BR122021011658B1 (pt) * 2013-01-28 2023-02-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Método e aparelho para reprodução de áudio normalizado de mídia com e sem metadados de ruído integrado em novos dispositivos de mídia
CN103971694B (zh) * 2013-01-29 2016-12-28 华为技术有限公司 带宽扩展频带信号的预测方法、解码设备
EP3054446B1 (en) 2013-01-29 2023-08-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension
SG10201608613QA (en) 2013-01-29 2016-12-29 Fraunhofer Ges Forschung Decoder For Generating A Frequency Enhanced Audio Signal, Method Of Decoding, Encoder For Generating An Encoded Signal And Method Of Encoding Using Compact Selection Side Information
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
RU2658892C2 (ru) 2013-06-11 2018-06-25 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для расширения диапазона частот для акустических сигналов
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP2830063A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal
EP2830047A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
TWI693594B (zh) * 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
US10628134B2 (en) 2016-09-16 2020-04-21 Oracle International Corporation Generic-flat structure rest API editor
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
TWI809289B (zh) * 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISO/IEC 14496-3:200x Fourth Edition, Contens for Subpart 4. 2009.05.15.*
ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.*

Also Published As

Publication number Publication date
JP2020101824A (ja) 2020-07-02
PL3958259T3 (pl) 2023-02-13
EP3268961B1 (en) 2020-01-01
AR114574A2 (es) 2020-09-23
CN109243474B (zh) 2023-06-16
US10262669B1 (en) 2019-04-16
EP4328909A3 (en) 2024-04-24
US11367455B2 (en) 2022-06-21
AU2017251839B2 (en) 2018-11-15
US11842743B2 (en) 2023-12-12
US20210142813A1 (en) 2021-05-13
US20220293116A1 (en) 2022-09-15
JP2018508831A (ja) 2018-03-29
KR20220132653A (ko) 2022-09-30
BR112017019499B1 (pt) 2022-11-22
BR112017018548B1 (pt) 2022-11-22
EP3657500B1 (en) 2021-09-15
CN109461454A (zh) 2019-03-12
AR103856A1 (es) 2017-06-07
FI4141866T3 (fi) 2024-03-22
US10734010B2 (en) 2020-08-04
US20180322889A1 (en) 2018-11-08
RU2760700C2 (ru) 2021-11-29
US20200111502A1 (en) 2020-04-09
US20180025737A1 (en) 2018-01-25
CN109273016A (zh) 2019-01-25
AU2020277092B2 (en) 2022-06-23
CN109360575B (zh) 2023-06-27
CN109065063B (zh) 2023-06-16
CN109509479B (zh) 2023-05-09
CN109461452B (zh) 2023-04-07
ZA202106847B (en) 2023-03-29
CN109326295A (zh) 2019-02-12
PL3268961T3 (pl) 2020-05-18
CN107408391A (zh) 2017-11-28
CN107430867B (zh) 2018-12-14
US20180025738A1 (en) 2018-01-25
US20220293115A1 (en) 2022-09-15
BR122020018627B1 (pt) 2022-11-01
AU2018260941B9 (en) 2020-09-24
KR20180071418A (ko) 2018-06-27
JP2023164629A (ja) 2023-11-10
FI3985667T3 (fi) 2023-05-25
KR20210145299A (ko) 2021-12-01
IL295809B1 (en) 2023-12-01
AR114580A2 (es) 2020-09-23
KR20210059806A (ko) 2021-05-25
CN109065063A (zh) 2018-12-21
IL295809B2 (en) 2024-04-01
AU2020277092A1 (en) 2020-12-17
EP4198974B1 (en) 2024-02-07
HUE057225T2 (hu) 2022-04-28
KR102530978B1 (ko) 2023-05-11
AU2018260941A1 (en) 2018-11-29
JP6671430B2 (ja) 2020-03-25
KR102445316B1 (ko) 2022-09-21
RU2764186C2 (ru) 2022-01-14
CL2017002268A1 (es) 2018-01-26
JP7038747B2 (ja) 2022-03-18
CA2978915A1 (en) 2016-09-22
SG11201707459SA (en) 2017-10-30
KR102330202B1 (ko) 2021-11-24
DK3985667T3 (da) 2023-05-22
TW201643864A (zh) 2016-12-16
CN109461453B (zh) 2022-12-09
EP3958259B8 (en) 2022-11-23
CN108962269B (zh) 2023-03-03
JP2018508830A (ja) 2018-03-29
TWI693594B (zh) 2020-05-11
CN108899039A (zh) 2018-11-27
CN108899039B (zh) 2023-05-23
ES2946760T3 (es) 2023-07-25
CN108962269A (zh) 2018-12-07
WO2016146492A1 (en) 2016-09-22
DK4198974T3 (da) 2024-03-18
EP4336499A3 (en) 2024-05-01
BR112017019499A2 (pt) 2018-05-15
ES2897660T3 (es) 2022-03-02
EP3598443A1 (en) 2020-01-22
KR20230144114A (ko) 2023-10-13
KR20170115101A (ko) 2017-10-16
HUE057183T2 (hu) 2022-04-28
CN109509479A (zh) 2019-03-22
WO2016149015A1 (en) 2016-09-22
BR122020018673B1 (pt) 2023-05-09
FI4198974T3 (fi) 2024-03-21
SG10201802002QA (en) 2018-05-30
CN109410969B (zh) 2022-12-20
PL3598443T3 (pl) 2021-07-12
US10943595B2 (en) 2021-03-09
CN109273015A (zh) 2019-01-25
JP6383502B2 (ja) 2018-08-29
CN109326295B (zh) 2023-06-20
MX2017011490A (es) 2018-01-25
CN109273014B (zh) 2023-03-10
RU2018118173A3 (ko) 2021-09-16
EP3958259B1 (en) 2022-10-19
BR112017018548A2 (pt) 2018-04-24
DK3958259T3 (da) 2022-12-05
TW202226221A (zh) 2022-07-01
CN109065062B (zh) 2022-12-16
US10262668B2 (en) 2019-04-16
JP6671429B2 (ja) 2020-03-25
BR122019004614B1 (pt) 2023-03-14
CN109360576B (zh) 2023-03-28
BR122020018676B1 (pt) 2023-02-07
EP3657500A1 (en) 2020-05-27
DK3598443T3 (da) 2021-04-19
US10134413B2 (en) 2018-11-20
US10453468B2 (en) 2019-10-22
IL254195A0 (en) 2017-10-31
ES2933476T3 (es) 2023-02-09
CA2978915C (en) 2018-04-24
TW202242853A (zh) 2022-11-01
PL3985667T3 (pl) 2023-07-17
AU2016233669A1 (en) 2017-09-21
BR122020018731B1 (pt) 2023-02-07
EP4328909A2 (en) 2024-02-28
CN109243475B (zh) 2022-12-20
PL3268956T3 (pl) 2021-12-20
US20200411024A1 (en) 2020-12-31
EP3268956A1 (en) 2018-01-17
CA3210429A1 (en) 2016-09-22
KR101871643B1 (ko) 2018-06-26
AR114578A2 (es) 2020-09-23
AR114576A2 (es) 2020-09-23
EP3958259A1 (en) 2022-02-23
JP2022066477A (ja) 2022-04-28
KR101884829B1 (ko) 2018-08-03
EP3268961A1 (en) 2018-01-17
US20230368805A1 (en) 2023-11-16
EP3985667B1 (en) 2023-04-26
CN109003616B (zh) 2023-06-16
HUE060688T2 (hu) 2023-04-28
CA3135370A1 (en) 2016-09-22
BR122020018629B1 (pt) 2022-11-22
PL3657500T3 (pl) 2022-01-03
CA2989595A1 (en) 2016-09-22
ZA202209998B (en) 2024-02-28
DK3657500T3 (da) 2021-11-08
JP2018165845A (ja) 2018-10-25
JP2018165844A (ja) 2018-10-25
AR114572A2 (es) 2020-09-23
KR20180088755A (ko) 2018-08-06
IL295809A (en) 2022-10-01
RU2658535C1 (ru) 2018-06-22
TWI771266B (zh) 2022-07-11
EP4141866B1 (en) 2024-01-17
US20190172475A1 (en) 2019-06-06
US11664038B2 (en) 2023-05-30
RU2018126300A3 (ko) 2021-11-11
ZA201906647B (en) 2023-04-26
KR20170113667A (ko) 2017-10-12
CN109273016B (zh) 2023-03-28
AU2016233669B2 (en) 2017-11-02
CN107430867A (zh) 2017-12-01
CN109360576A (zh) 2019-02-19
JP7354328B2 (ja) 2023-10-02
EP4141866A1 (en) 2023-03-01
KR102481326B1 (ko) 2022-12-28
EP4198974A1 (en) 2023-06-21
CN109273013A (zh) 2019-01-25
ZA201903963B (en) 2022-09-28
TWI758146B (zh) 2022-03-11
AR114575A2 (es) 2020-09-23
CN109461454B (zh) 2023-05-23
IL254195B (en) 2018-03-29
US20200005804A1 (en) 2020-01-02
EP4336499A2 (en) 2024-03-13
KR20210079406A (ko) 2021-06-29
US20190103123A1 (en) 2019-04-04
AU2022204887A1 (en) 2022-07-28
MX2020005843A (es) 2020-09-07
KR20230005419A (ko) 2023-01-09
CN109003616A (zh) 2018-12-14
EP3268956B1 (en) 2021-09-01
KR102255142B1 (ko) 2021-05-24
HUE061857T2 (hu) 2023-08-28
CN109243474A (zh) 2019-01-18
KR102585375B1 (ko) 2023-10-06
KR20210134434A (ko) 2021-11-09
RU2665887C1 (ru) 2018-09-04
EP3268956A4 (en) 2018-11-21
CA3135370C (en) 2024-01-02
AU2018260941B2 (en) 2020-08-27
CN109273013B (zh) 2023-04-04
CN109410969A (zh) 2019-03-01
CN109243475A (zh) 2019-01-18
CN109273014A (zh) 2019-01-25
AU2017251839A1 (en) 2017-11-16
JP6383501B2 (ja) 2018-08-29
MY184190A (en) 2021-03-24
CN107408391B (zh) 2018-11-13
CN109273015B (zh) 2022-12-09
CA3051966C (en) 2021-12-14
AR114579A2 (es) 2020-09-23
EP3598443B1 (en) 2021-03-17
CN109360575A (zh) 2019-02-19
CN109065062A (zh) 2018-12-21
JP2023029578A (ja) 2023-03-03
US11417350B2 (en) 2022-08-16
TW202203206A (zh) 2022-01-16
AR114573A2 (es) 2020-09-23
CA2989595C (en) 2019-10-15
CA3051966A1 (en) 2016-09-22
AR114577A2 (es) 2020-09-23
EP3985667A1 (en) 2022-04-20
US10553232B2 (en) 2020-02-04
KR102269858B1 (ko) 2021-06-28
CN108899040A (zh) 2018-11-27
CN108899040B (zh) 2023-03-10
DK4141866T3 (da) 2024-03-18
ES2893606T3 (es) 2022-02-09
CN109461452A (zh) 2019-03-12
RU2018126300A (ru) 2019-03-12
CN109461453A (zh) 2019-03-12
RU2018118173A (ru) 2018-11-02
BR122020018736B1 (pt) 2023-05-16
IL307827A (en) 2023-12-01

Similar Documents

Publication Publication Date Title
KR102321882B1 (ko) 적어도 하나의 필 요소 내의 향상된 스펙트럼 대역 복제 메타데이터를 사용한 오디오 비트스트림들의 디코딩
JP2020079963A (ja) オーディオ処理ユニットおよびエンコードされたオーディオ・ビットストリームをデコードする方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right