KR101748760B1 - 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치 - Google Patents

오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치 Download PDF

Info

Publication number
KR101748760B1
KR101748760B1 KR1020137027430A KR20137027430A KR101748760B1 KR 101748760 B1 KR101748760 B1 KR 101748760B1 KR 1020137027430 A KR1020137027430 A KR 1020137027430A KR 20137027430 A KR20137027430 A KR 20137027430A KR 101748760 B1 KR101748760 B1 KR 101748760B1
Authority
KR
South Korea
Prior art keywords
frame
extended
information
decoder
payload
Prior art date
Application number
KR1020137027430A
Other languages
English (en)
Other versions
KR20140000336A (ko
Inventor
막스 노이엔도르프
마르쿠스 물트루스
스테판 될라
헤이코 푸른하겐
프란스 드 봉
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베.
돌비 인터네셔널 에이비
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베., 돌비 인터네셔널 에이비, 코닌클리케 필립스 엔.브이. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베.
Publication of KR20140000336A publication Critical patent/KR20140000336A/ko
Application granted granted Critical
Publication of KR101748760B1 publication Critical patent/KR101748760B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereophonic System (AREA)
  • Communication Control (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)

Abstract

한편으로는 너무 높은 비트스트림과 디코딩 오버헤드 및 다른 한편으로는 프레임 요소 배치의 유연성 사이의 더 나은 절충이 비트스트림의 프레임들의 각각의 시퀀스는 N 프레임 요소들의 시퀀스를 포함하고, 다른 한편으로 비트스트림은 요소들의 수(N)를 표시하는 필드 및 N 요소 위치들의 시퀀스의 각각의 요소 위치를 위하여, 복수의 요소 형태 중에서 하나의 요소 형태를 표시하는 형태 표시 구문 부를 포함하는 구성 블록을 포함하며, 프레임들의 N 프레임 요소들의 시퀀스에서, 각각의 프레임 요소는 각각의 프레임 요소가 비트스트림 내의 각각의 프레임의 N 프레임 요소들의 시퀀스 내에 위치되는 각각의 요소 위치를 위하여, 형태 표시 부에 의해 표시되는 요소 형태인 배치에 의해 달성된다. 따라서, 프레임들은 각각의 프레임이 동일한 순차적 순서로 비트스트림 내에 위치되는, 형태 표시 구문 부에 의해 표시되는 프레임 요소 형태의 N 프레임 요소들의 동일한 시퀀스를 포함한다는 점에서 동등하게 구성된다. 이러한 순차적 순서는 N 요소 위치들의 시퀀스의 각각의 요소 위치를 위하여, 복수의 요소 형태들 중에서 하나의 요소 형태를 표시하는 형태 표시 구문 부의 사용에 의한 프레임들의 시퀀스를 위하여 조정가능하다.

Description

오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치{FRAME ELEMENT POSITIONING IN FRAMES OF A BITSTREAM REPRESENTING AUDIO CONTENT}
본 발명은 이른바 통합 음성 및 오디오 코딩(USAC = United Speech and Audio Coding, 이하 USAC로 표기) 코덱과 같은, 오디오 코딩에 관한 것으로, 특히, 각각의 비트스트림의 프레임들 내에 위치하는 프레임 요소에 관한 것이다.
최근에, 일부 오디오 코덱들이 사용가능하였는데, 각각의 오디오 코덱은 특히 전용 애플리케이션에 적합하도록 디자인된다. 대부분, 이러한 오디오 코덱들은 하나 이상의 오디오 채널 또는 오디오 신호를 병렬로 코딩할 수 있다. 일부 오디오 코덱들은 심지어 오디오 콘텐츠의 오디오 채널들 또는 오디오 대상들을 다르게 분류하고 이러한 그룹들을 서로 다른 오디오 코딩 원리들로 종속시킴으로써 오디오 콘텐츠를 서로 다르게 코딩하는데 적합하다. 심지어 이러한 오디오 코덱들 중 일부는 오디오 코덱의 미래의 확장들/개발들을 위하여 수용하도록 하기 위하여 확장 데이터의 비트스트림 내로의 삽입을 허용한다.
그러한 오디오 코덱들의 일례는 ISO/IEC CD 23003-3에 정의된 것과 같은 USAC 코덱이다. "정보 기술 - MPEG 오디오 기술들 - 3부: 통합 음성 및 오디오 코딩"이라 불리는, 이러한 표준은 통합 음성 및 오디오 코딩에 대한 제안을 요청하는 참조 모델의 기능 블록들을 상세히 설명한다.
도 5a 및 5b는 인코더와 디코더 블록 다이어그램을 도시한다. 다음에서, 개별 블록들의 일반적인 기능이 간단히 설명된다. 그 위에, 결과로서 생기는 모든 구문 부들을 함께 하나의 비트스트림으로 표현하는데 있어서의 문제점이 도 6과 관련하여 설명된다.
도 5a 및 5b는 인코더와 디코더 블록 다이어그램을 보여준다. USAC 인코더 및 디코더의 블록 다이어그램은 MPEG-D USAC 코딩의 구조를 반영한다. 일반적인 구조는 다음과 같이 설명될 수 있다: 먼저 스테레오 또는 멀티 채널 프로세싱을 처리하는 MPEG 서라운드(MPEGS) 기능 유닛으로 구성되는 공통 전/후-처리 및 입력 신호에서 더 높은 오디오 주파수들의 파라미터(매개변수) 표현을 처리하는 향상된 스펙트럼 대역 복제(eSBR) 유닛이 있다. 다음으로 두 번째는, 하나는 선형 예측 코딩 (선형 예측 또는 선형 예측 코딩 도메인(영역)) 기반의 경로로 구성된 수정 고급 오디오 코딩(AAC) 도구 경로로 구성되고 다른 하나는 경로에 기반하여 선형 예측 코딩으로 구성되며(선형 예측 또는 선형 예측 코딩 도메인), 이는 차례로 선형 예측 코딩 잔류물의 주파수 영역 표현 또는 시간 도메인 영역 표현 중 하나를 특징으로 한다. 고급 오디오 코딩 및 선형 예측 코딩 모두를 위한 전송된 모든 스펙트럼은 양자화와 연산 코딩을 따르는 변형 이산 코사인 변환 영역에서 표현된다. 시간 영역 표현은 대수 부호 여기 선형 예측(ACELP) 여기 코딩 설계를 이용한다.
MPEG-D USAC 의 기본 구조는 도 10a 및 도 10b에서 보여진다. 이 다이어그램에서 데이터 플로우는 왼쪽에서 오른쪽으로, 위에서 아래로이다. 디코더의 기능은 비트스트림 페이로드에서 양자화된 오디오 스펙트럼 또는 시간 영역의 표현을 찾거나 양자화된 값들 및 다른 복원 정보를 디코딩하는 것이다.
전송된 스펙트럼 정보의 경우 디코더가 양자화된 스펙트럼을 복원하며, 입력 비트스트림 페이로드에 의해 설명되는 것처럼 실제 신호 스펙트럼에서 도달하기 위한 비트스트림 페이로드에서 어떤 도구들이 유효(활성, active)한지를 통해 복원 스펙트럼을 처리하며, 결국 주파수 영역 스펙트럼을 시간 영역으로 변환한다. 스펙트럼 복원의 초기 복원 및 스케일링에 따라, 더 효율적인 코딩을 제공하기 위한 하나 이상의 스펙트럼을 수정하는 선택적인 도구들이 있다.
전송된 시간 영역 신호 표현의 경우에, 디코더는 양자화된 시간 신호를 복원하며, 입력 비트스트림 페이로드에 의해 설명되는 것처럼 실제 시간 영역 신호에 도달하기 위한 비트스트림 페이로드에서 유효한 어떠한 도구들을 통해 복원된 시간 신호를 처리한다.
신호 데이터를 처리하는 선택적 도구들에 대하여, "통과하는(pass through)" 옵션이 유지되며, 처리가 생략되는 모든 경우에서, 스펙트럼 또는 시간 샘플들은 그것의 입력에서 수정 없이 도구(툴, tool)를 통해 직접 통과된다.
비트스트림이 선형 예측 영역에서 비-선형 예측 영역으로 또는 시간 영역에서 주파수 영역 표현으로 또는 그 반대로 그것의 신호 표현을 바꾸는 곳에서, 디코더는 적절한 전이 오버랩-애드 윈도윙(transition overlap-add windowing) 수단에 의해 하나의 영역에서 다른 것으로 전이를 가능하게 한다.
향상된 스펙트럼 대역 복제 및 MPEGS 처리는 전이 처리 후에 양쪽 코딩 경로들에 동일 방법으로 적용된다.
비트스트림 페이로드 디멀티플렉서(demultiplexer)에 대한 입력은 MPEG-D USAC 비트스트림 페이로드이다. 디멀티플렉서는 각 툴에 대한 부분들로 비트스트림 페이로드를 분할하고, 그 툴들에 관련된 비트스트림 페이로드 정보를 각 툴에 제공한다.
비트스트림 페이로드 디멀티플렉서 툴로부터의 출력은 :
Figure 112013093887418-pct00001
현재 프레임 중 하나에서 코어 코딩 타입에 의존 :
o 양자화된 그리고 노이즈없이 코딩된 스펙트럼 표현
o 스케일 팩터 정보
o 산술적으로 코딩된 스펙트럼 라인들
Figure 112013093887418-pct00002
또는 : 어느 하나에 의해 표현되는 여기 신호를 함께 갖는 선형 예측(LP) 파라미터(매개변수)
o 양자화된 그리고 산술적으로 코딩된 스펙트럼 라인들
o ACELP 코딩된 시간 영역 여기
Figure 112013093887418-pct00003
스펙트럼 노이즈 파일링(선택적)
Figure 112013093887418-pct00004
M/S 결정 정보(선택적)
Figure 112013093887418-pct00005
시간적 노이즈 형성(TNS) 정보(선택적)
Figure 112013093887418-pct00006
필터뱅크 제어 정보
Figure 112013093887418-pct00007
시간 업워핑(TW) 제어 정보(선택적)
Figure 112013093887418-pct00008
향상된 스펙트럼 대역폭 복제 제어 정보(선택적)
Figure 112013093887418-pct00009
MPEG 써라운드(MPEGS) 제어 정보
노이즈없이 툴을 디코딩하는 스케일 인수는 비트스트림 페이로드 디멀티플렉서로부터 정보를 취하고, 허프만(Huffman) 및 차분 펄스 부호 변조(Differential Pulse Code Modulation, DPCM) 코딩된 스케일 인수들을 디코딩한다.
노이즈없이 툴을 디코딩하는 스케일 인수에 대한 입력은 :
Figure 112013093887418-pct00010
노이즈없이 스펙트럼들을 코딩하기 위한 스케일 인수 정보
노이즈없이 툴을 디코딩하는 스케일 인수의 출력은 :
Figure 112013093887418-pct00011
스케일 인수들의 디코딩된 정수 표현 :
스펙트럼 노이즈없는 디코딩 툴은 비트스트림 페이로드 디멀티플렉서로부터 정보를 취하며, 그 정보를 분석하며, 산술적으로 코딩된 데이터를 디코딩하고, 양자화된 스펙트럼들을 복원한다. 이 노이즈없는 디코딩 툴에 대한 입력은 :
Figure 112013093887418-pct00012
노이즈없는 코딩된 스펙트럼들
노이즈 없는 디코딩 툴의 출력은 :
Figure 112013093887418-pct00013
스펙트럼들의 양자회된 값들
역 양자화 툴은 스펙트럼들에 대해 양자화된 값들을 취하고, 논-스케일링되고, 복원된 스펙트럼들로 정수 값들을 변환한다. 이 양자화기(quantizer)는 컴팬딩(companding) 양자화기이며, 이것의 컴팬딩 인수는 선택된 코어 코딩 모드에 의존한다.
역 양자화기 툴에 대한 입력은 :
Figure 112013093887418-pct00014
스펙트럼들에 대해 양자화된 값들
역 양자화기 툴의 출력은 :
Figure 112013093887418-pct00015
스케일링되지 않고, 역으로 양자화된 스펙트럼들
노이즈 필링 툴(noise filling tool)은 디코딩된 스펙트럼들에서 스펙트럼 갭들을 채우기 위해 이용되고 이는 예를 들어, 인코더에서 비트 수요상의 강한 제한 때문에 스펙트럼 값이 0으로 양자화될 때 일어난다.
노이즈 필링 툴에 대한 입력은 :
Figure 112013093887418-pct00016
스케일링되지 않고, 역으로 양자화된 스펙트럼들
Figure 112013093887418-pct00017
노이즈 필링 파라미터들
Figure 112013093887418-pct00018
스케일 인수들의 디코딩된 정수 표현
노이즈 필링 툴의 출력들은 :
Figure 112013093887418-pct00019
스케일링되지 않고, 이전에 0으로 양자화된 스펙트럼 라인들에 대해 역으로 양자화된 스펙트럼 값들
Figure 112013093887418-pct00020
스케일 인수들의 수정된 정수 표현
리스케일링 툴(rescaling tool)은 실제 값들로 스케일 인수들의 정수 표현을 변환하고, 스케일링되지 않고 역으로 양자화된 스펙트럼들에 연관 스케일 인수들을 곱한다.
스케일 인수 툴(scale factors tool)에 대한 입력들 :
Figure 112013093887418-pct00021
스케일 인수들의 디코딩된 정수 표현
Figure 112013093887418-pct00022
스케일링되지 않고, 역으로 양자화된 스펙트럼들
스케일 인수 툴로부터의 출력 :
Figure 112013093887418-pct00023
스케일링되고, 역으로 양자화된 스펙트럼들
M/S 툴(M/S tool)에 대한 검토를 위해, ISO/IEC 14496-3:2009, 4.1.1.2를 참조하라.
시간적 노이즈 성형 툴(temporal noise shaping ( TNS ) tool)에 대한 검토를 위해, ISO/IEC 14496-3:2009, 4.1.1.2를 검토하라.
필터뱅크/블록 스위칭 툴은 인코더에 의해 수행되는 주파수 맵핑의 역(inverse)을 적용한다. 역 변형 이산 코사인 변환(inverse modified discrete cosine transform, IMDCT)은 필터뱅크 툴을 위해 이용된다. 역 변형 이산 코사인 변환은 120, 128, 240, 256, 480, 512, 960 또는 1024 스펙트럼 계수들을 지원하도록 구성된다.
필터뱅크 툴에 대한 입력들은 :
Figure 112013093887418-pct00024
(역으로 양자화된) 스펙트럼들
Figure 112013093887418-pct00025
필터뱅크 제어 정보
필터뱅크 툴로부터의 출력(들) :
Figure 112013093887418-pct00026
시간 영역 복원된 오디오 신호(들)
시간 워핑 모드(time warping mode)가 가능할 때, 시간- 워프된 ( warped ) 필터뱅크 / 블록 스위칭 툴은 일반 필터뱅크/블록 스위칭 툴을 교체한다. 필터뱅크는 일반 필터뱅크와 같고(역 변형 이산 코사인 변환), 추가적으로 윈도우된 시간 영역 샘플들은 시간-다양화 리샘플링에 의해 워프된 시간 영역에서 선형 시간 영역으로 맵핑된다.
시간-워프된 필터뱅크 툴들에 대한 입력은 :
Figure 112013093887418-pct00027
역으로 양자화된 스펙트럼들
Figure 112013093887418-pct00028
필터뱅크 제어 정보
Figure 112013093887418-pct00029
시간-워핑 제어 정보(The time-warping control information)
필터뱅크 툴로부터의 출력(들) :
Figure 112013093887418-pct00030
선형 시간 영역 복원된 오디오 신호(들)
향상된 스펙트럼 대역 복제 툴은 오디오 신호의 고대역(highband)를 발생시킨다. 그것은 고조파들의 시퀀스들의 복제에 기반하며, 인코딩 동안 절단된다. 그것은 발생된 고대역의 스펙트럼 포락선(envelope)을 조정하며 역 필터링을 적용하며, 원래 신호의 스펙트럼 특성들을 재생성하기 위해 사인곡선 구성요소들 및 노이즈를 더한다.
향상된 스펙트럼 대역 복제 툴에 대한 입력:
Figure 112013093887418-pct00031
양자화된 포락선 데이터
Figure 112013093887418-pct00032
기타 제어 데이터
Figure 112013093887418-pct00033
주파수 영역 코어 디코더 또는 대수 부호 여기 선형 예측/변환 코딩 여기
향상된 스펙트럼 대역 복제 툴의 출력:
Figure 112013093887418-pct00034
시간 영역 신호 또는
Figure 112013093887418-pct00035
예를 들어, MPEG 서라운드 툴에서 신호의 직각 대칭 필터(QMF)-영역 표현이 이용됨.
MPEG 서라운드(MPEGS) 툴은 적절한 공간 파라미터(매개변수)들에 의해 제어되는 입력 신호(들)에 복잡한 업믹스 절차를 적용하는 것에 의해 하나 이상의 입력 신호들로부터 다중 신호들을 생성한다. USAC 컨텍스트에서 MPEGS는, 전송된 다운믹스된 신호와 함께 파라미터(매개변수) 부가 정보를 전송하는 것에 의해, 멀티-채널 신호를 코딩하기 위해 이용된다.
MPEGS 툴에 대한 입력은 :
Figure 112013093887418-pct00036
다운믹스된 시간 영역 신호 또는
Figure 112013093887418-pct00037
향상된 스펙트럼 대역 복제 툴로부터 다운믹스 신호의 직각 대칭 필터-영역 표현
MPEGS 툴의 출력은 :
Figure 112013093887418-pct00038
멀티-채널 시간 영역 신호
신호 분류기 툴(Signal Classifier tool)은 원래 입력 신호를 분석하고 그것으로부터 상이한 코딩 모드들의 선택을 유발하는(trigger) 제어 정보를 발생시킨다. 입력 신호의 분석은 의존적 실행이며 주어진 입력 신호 프레임에 대해 최적의 코어 코딩 모드를 선택하려고 할 것이다. 신호 분류기의 출력은 또한 (선택적으로), 예를 들어 MPEG 서라운드, 향상된 스펙트럼 대역 복제, 시간-워프된 필터뱅크 및 다른 것들처럼, 다른 툴들의 행동(behavior)에 영향을 미치도록 이용될 수 있다.
신호 분류기 툴에 대한 입력은 :
Figure 112013093887418-pct00039
비수정된(unmodified) 원래 입력 신호
Figure 112013093887418-pct00040
추가 실행 의존 파라미터(매개변수)들
신호 분류기 툴의 출력은 :
Figure 112013093887418-pct00041
코어 코덱의 선택을 제어하기 위한 제어 신호 (비-선형 예측 필터링된 주파수 영역 코딩, 선형 예측 필터링된 주파수 영역 또는 선형 예측 필터링된 시간 영역 코딩)
대수 부호 여기 선형 예측 툴(ACELP tool)은 펄스-유사 시퀀스(혁신 코드워드)와 장기 예측(어댑티브 코드워드(adaptive codeword))를 결합시키는 것에 의해 시간 영역 여기 신호를 효율적으로 표현하는 법을 제공한다. 복원된 여기(excitation)는 시간 영역 신호를 형성하기 위해 LP 합성 필터를 통해 보내진다.
대수 부호 여기 선형 예측에 대한 입력은 :
Figure 112013093887418-pct00042
적응(adaptive) 및 혁신 코드북(innovation codebook) 지수들
Figure 112013093887418-pct00043
적응 및 혁신 코드 이득 값들
Figure 112013093887418-pct00044
다른 제어 데이터
Figure 112013093887418-pct00045
역 양자화된 그리고 보간된(interpolated) 선형 예측 코딩 필터 계수들
대수 부호 여기 선형 예측 툴의 출력은 :
Figure 112013093887418-pct00046
시간 영역 복원된 오디오 신호
변형 이산 코사인 변환 기반 변환 코딩 여기(TCX) 디코딩 툴은 가중된(weighted) 선형 예측 잔류 표현을 변형 이산 코사인 변환-영역으로부터 시간 영역 신호로 되돌리는데 이용되며 가중된 선형 예측 합성 필터링을 포함하는 시간 영역 신호를 출력한다. 역 변형 이산 코사인 변환은 256, 512, 또는 1024 스펙트럼 계수들을 지원하도록 구성된다.
변환 코딩 여기 툴에 대한 출력은 :
Figure 112013093887418-pct00047
(역으로 양자화된) 변형 이산 코사인 변환 스펙트럼
Figure 112013093887418-pct00048
역으로 양자화된 그리고 보간된 선형 예측 코딩 필터 계수들
변환 코딩 여기 툴의 출력은 :
Figure 112013093887418-pct00049
시간 영역 복원된 오디오 신호
ISO/IEC CD 23003-3 에서 공개된 기술은, 여기에 레퍼런스로 첨부된 채널 요소들의 정의를 가능케하는 것이며 이는, 예를 들어, 저주파수 향상(Low-Frequency Enhancement, LFE) 채널에 대해 페이로드를 포함하는 저주파수 향상 채널 요소들 또는 두 채널들에 대한 페이로드를 포함하는 채널 쌍 요소들 또는 단일 채널에 대한 페이로드만을 포함하는 단일 채널 요소이다.
일반적으로, USAC 코덱은 정보를 하나의 비트스트림을 고쳐 하나 또는 두 개 이상의 오디오 채널 또는 오디오 대상의 더 복잡한 오디오 코덱 상에 코딩하고 전달할 수 있는 유일한 코덱이 아니다. 따라서, USAC 코덱은 단지 구체적인 예의 역할을 한다.
도 6은 인코더가 오디오 콘텐츠(10)를 비트스트림(12) 내로 인코딩하고, 디코더가 비트스트림으로부터, 오디오 콘텐츠 또는 적어도 그것들의 일부를 디코딩하는 하나의 공통 배경에 모두 도시되는, 각각, 인코더와 디코더의 더 일반적인 예를 도시한다. 디코딩의 결과, 즉, 재구성은 14에 표시된다. 도 6에 도시된 것과 같이, 오디오 콘텐츠(10)는 다수의 오디오 신호들(16)로 구성될 수 있다. 예를 들면, 오디오 콘텐츠(10)는 다수의 오디오 채널들로 구성되는 공간 오디오 장면일 수 있다. 대안으로서, 오디오 콘텐츠(10)는 예를 들면, 특정 확성기 구성을 위한 공간 오디오 장면의 형태의 오디오 콘텐츠(10)의 재구성(14)을 획득하기 위하여 개별적으로 및/또는 그룹들로, 디코더의 사용자의 재량으로 오디오 신호 내로 만들 수 있는 개별 오디오 대상들을 표현하는 오디오 신호들(16)과 함께 오디오 신호들의 복합체를 표현할 수 있다. 인코더는 연속적인 시간 주기들의 단위들로 오디오 콘텐츠(10)를 인코딩한다. 그러한 시간 주기가 도 6에서 18로 바람직하게 도시된다. 인코더는 동일한 방법을 사용하여 오디오 콘텐츠(10)의 연속적인 주기들(18)을 인코딩한다: 즉, 인코더는 시간 주기(18) 당 하나의 프레임(20)을 비트스트림(12) 내로 삽입한다. 그렇게 함으로써, 인코더는 각각의 시간 주기(18) 내의 오디오 콘텐츠를 그 수와 의미/종류가 각각의 시간 주기(18) 및 프레임(20)에 대하여 동일한, 프레임 요소들 내로 분해한다. 위에 설명된 USAC 코덱과 관련하여, 예를 들면, 인코더는 단일 채널 요소 등을 획득하기 위하여 또 다른 오디오 신호(16)를 위하여 인코딩하는 단일 채널과 같은, 또 다른 코딩 원리를 사용하는 동안에, 매 시간 주기(18)로 오디오 신호들(16)의 동일한 쌍을 프레임들(20)의 요소들(22)의 채널 쌍 요소 내로 인코딩한다. 하나 또는 그 이상의 프레임 요소들(22)에 의해 정의되는 것과 같은 다운믹스 오디오 신호 중 오디오 신호들의 업믹스를 획득하기 위한 파라미터 부가 정보는 프레임(20) 내의 또 다른 프레임 요소를 형성하도록 수집된다. 그러한 경우에 있어서, 이러한 부가 정보를 전달하는 프레임 요소는 다른 프레임 요소들을 위한 일종의 확장 데이터와 관련시키거나 또는 이를 형성한다. 일반적으로, 그러한 확장들은 다중 채널 또는 다중 대상 부가 정보에 한정되지 않는다.
하나의 가능성은 각각의 프레임 요소가 갖는 형태의 각각의 프레임 요소(22) 내에 표시하는 것이다. 바람직하게는, 그러한 과정은 비트스트림 구문의 미래 확장들로의 복사를 허용한다. 특정 프레임 요소 형태들을 처리할 수 없는 디코더들은 이러한 프레임 요소들 내의 각각의 길이 정보를 이용함으로써 비트스트림 내의 각각의 프레임 요소들을 간단하게 생략한다. 게다가, 서로 다른 형태의 표준 순응 디코더들을 허용하는 것이 가능하다: 일부는 형태들의 첫 번째 세트로 이해할 수 있고, 나머지들은 형태들의 또 다른 세트로 이해하고 처리할 수 있다; 대안의 요소 형태들은 각각의 디코더들에 의해 무시될 수 있다. 부가적으로, 인코더는 그것의 재량으로 프레임 요소들을 분류할 수 있는데 따라서 그러한 추가적인 프레임 요소들을 처리할 수 있는 디코더들에 예를 들면, 디코더 내의 버퍼링 필요성을 최소화하는 순서로 프레임들(20) 내의 프레임 요소들이 제공될 수 있다.
그러나, 바람직하지 않게는, 비트스트림은 프레임 요소 당 프레임 요소 형태 정보를 전달하는데, 이러한 필요성은 차례로, 한편으로는 비트스트림(12)의 압축률 및 다른 한편으로는 디코딩 복잡도에 부정적으로 영향을 미치는데 그 이유는 각각의 프레임 요소 형태 정보를 검사하기 위한 파싱 오버헤드(parsing overhead)가 프레임 요소 내에 발생하기 때문이다.
일반적으로, 그렇지 않으면 프레임 요소들(22) 중에서 순서를 고정하는 것이 가능할 수 있으나, 그러한 과정은 인코더들이 예를 들면, 프레임 요소들 중에서 서로 다른 순서를 필요로 하게 하거나 제안하는 미래 확장 프레임 요소들의 특별한 특성들에 기인하여 프레임 요소들을 재배치하는 자유를 갖는 것을 방지한다.
따라서, 각각, 비트스트림, 인코더 및 디코더의 도 다른 개념을 위한 필요성이 존재한다.
따라서, 방금 언급된 문제점을 해결하고 프레임 요소 배치의 더 효율적인 방법의 획득을 허용하는 비트스트림, 인코더 및 디코더를 제공하는 것이 본 발명의 목적이다.
본 발명의 목적은 첨부된 독립항들의 주제에 의해 달성된다.
본 발명은 만일 비트스트림의 프레임들의 각각의 시퀀스가 N 프레임 요소들이 시퀀스를 포함하고, 다른 한편으로는 비트스트림이 요소들의 수(N)를 표시하는 필드, 및 N 요소 위치들의 시퀀스의 각각의 요소 위치를 위하여, 프레임들의 N 프레임 요소들의 시퀀스들 내에, 표시 형태 부에 의해, 비트스트림 내의 각각의 프레임의 N 프레임 요소들의 시퀀스 내에 각각의 프레임 요소들이 위치되는 각각의 요소 위치를 위하여 표시되는 요소 형태인 각각의 프레임 요소를 갖는 복수의 요소 형태 중 하나의 요소 형태를 표시하는 형태표시 구문 부를 포함하는 구성 블록을 포함하면, 한편으로는 너무 높은 비트스트림과 디코딩 오버헤드 및 다른 한편으로는 프레임 요소 배치의 유연성 사이의 더 나은 절충이 획득될 수 있다는 사실을 기초로 한다. 따라서, 프레임들은 각각의 프레임이 동일한 순차적 순서로 비트스트림 내에 위치되는, 형태 표시 구문 부에 의해 표시되는 프레임 요소 형태의 N 프레임 요소들이 동일한 시퀀스를 포함한다는 점에서 동등하게 구성된다. 이러한 순차적 순서는 일반적으로 N 요소 위치들의 시퀀스의 각각의 요소 위치를 위하여, 복수의 요소 형태 중 하나의 요소 형태를 표시하는 형태 표시 구문 부의 사용에 의해 프레임들의 시퀀스를 위하여 조절가능하다.
이러한 수단에 의해, 프레임 요소 형태들은 예를 들면, 사용되는 프레임 요소 형태들에 가장 적합한 순서를 선택하기 위한 인코더의 재량과 같이, 어떠한 순서로도 배치될 수 있다.
복수의 프레임 요소는 예를 들면, 각각의 프레임 요소의 길이에 대한 길이 정보를 포함하는 확장 요소 형태의 프레임 요소들을 갖는 확장 요소 형태를 포함할 수 있으며 따라서 특정 확장 요소 형태를 지원하지 않는 디코더들은 생략 간격 길이(skip interval length)로서 길이 정보를 사용하여 확장 요소 형태의 이러한 프레임 요소들을 생략할 수 있다. 다른 한편으로, 디코더들은 확장 요소 형태의 이러한 프레임 요소들을 처리할 수 있고 따라서 콘텐츠 또는 그것들의 페이로드 부를 처리하며 인코더로서 프레임들의 프레임 요소들의 시퀀스 내의 확장 요소 형태의 이러한 프레임 요소들을 자유롭게 위치시킬 수 있으며, 디코더들에서의 버퍼링 오버헤드는 대략으로 프레임 요소 형태 순서를 선택하고 이를 형태 표시 구문 부 내로 신호를 전달함으로써 최소화될 수 있다.
본 발명의 실시 예들의 바람직한 구현들이 종속항들의 주제이다.
게다가, 본 발명의 바람직한 실시 예들이 도면들에 대하여 아래에 설명된다.
도 1은 일 실시 예에 따른 인코더의 개략적인 블록 다이어그램 및 그것의 입력과 출력을 도시한다.
도 2는 일 실시 예에 따른 디코더의 개략적인 블록 다이어그램 및 그것의 입력과 출력을 도시한다.
도 3은 일 실시 예에 따른 비트스트림을 개략적으로 도시한다.
도 4a 내지 4z 및 4za 내지 4zc는 일 실시 예에 따른 비트스트림의 상세 구문을 나타내는, 유사 코드의 테이블을 도시한다.
도 5a 및 5b는 USAC 인코더와 디코더의 블록 다이어그램을 도시한다.
도 6은 인코더와 디코더의 일반적인 쌍을 도시한다.
도 1은 일 실시 예에 따른 인코더(24)를 도시한다. 인코더(24)는 오디오 콘텐츠(10)를 비트스트림(12) 내로 인코딩하기 위한 것이다.
본 명세서의 도입부에서 설명된 것과 같이, 오디오 콘텐츠(10)는 일부 오디오 신호들(16)의 복합체일 수 있다. 오디오 신호들(16)은 예를 들면, 공간 오디오 장면(spatial audio scene)의 개별 오디오 채널들을 표현한다. 대안으로서, 오디오 신호들(16)은 디코딩 면에서의 자유 믹싱을 위하여 함께 오디오 장면을 정의하는 일련의 오디오 대상들의 오디오 대상들을 형성한다. 오디오 신호들(16)은 26에 도시된 것과 같이 공통의 시간 기준(t)에서 정의된다. 즉, 오디오 신호들(16)은 동일한 시간 간격과 관련될 수 있으며 따라서, 서로에 대하여 시간 정렬될 수 있다.
인코더(24)는 오디오 콘텐츠(10)의 연속적인 시간 주기들(18)을 프레임들(20)의 시퀀스 내로 인코딩하도록 구성되는데, 따라서 각각의 프레임(20)은 오디오 콘텐츠(10)의 시간 주기들(18) 중 각각이 하나를 표현한다. 인코더(24)는 어떤 의미에서, 각각의 프레임(20)이 프레임 요소의 요소 수(N)의 시퀀스를 포함하는 것과 동일한 방법으로 각각의 시간 주기를 인코딩한다. 각각의 프레임(20) 내에, 각각의 프레임 요소(22)는 복수의 요소 종류 중 각각의 하나이고 특정 요소 위치에 위치되는 프레임 요소들(22)은 같거나 또는 동등한 요소 형태라는 것이 유효하다. 즉, 프레임들(20) 내의 제 1 프레임 요소들(22)은 같은 요소 형태이고 프레임 요소들의 제 1 시퀀스(또는 서브스트림)를 형성하며, 모든 프레임(20)의 제 2 프레임 요소들(22)은 서로에 대하여 동일한 요소 형태이고 프레임 요소들의 제 1 시퀀스(또는 서브스트림)를 형성한다.
일 실시 예에 따라, 예를 들면, 인코더(24)는 복수의 요소 형태가 다음을 포함하는 것과 같이 구성된다:
a) 단일 채널 요소 형태의 프레임 요소들은 예를 들면, 하나의 단일 오디오 신호를 발생시키기 위하여 인코더(24)에 의해 발생될 수 있다. 따라서, 프레임들(20) 내의 특정 요소 위치에서 프레임 요소들(22)의 시퀀스, 예를 들면, 0＞i＞N+1을 갖는, 따라서 프레임 요소들의 i번째 서브스트림을 형성하는, i번째 요소 프레임들은 그러한 단일 오디오 신호의 연속적인 시간 주기들(18)을 표현할 수 있다. 따라서 표현된 오디오 신호는 직접적으로 오디오 콘텐츠(10)의 오디오 신호들(16) 중 어느 하나와 상응할 수 있다. 그러나, 대안으로서, 그리고 아래에 더 상세히 설명될 것과 같이, 그러한 표현된 오디오 신호는 프레임들(20) 내의 또 다른 요소 위치에 위치되는 또 다른 프레임 요소 형태의 프레임 요소들의 페이로드 데이터와 함께, 방금 언급된 다운믹스 신호의 채널들의 수보다 높은 오디오 콘텐츠(10)의 오디오 신호들(16)의 수를 생산하는, 다운믹스 신호 중에서 하나의 채널일 수 있다. 아래에 더 상세히 설명되는 실시 예의 경우에 있어서, 그러한 단일 채널 요소 형태의 프레임 요소들은 UsacSingleChannelElement로 표시된다. MPEG 서라운드 및 SAOC의 경우에 있어서, 예를 들면, 단지 하나의 단일 다운믹스 신호가 존재하며, 이는 MPEG 서라운드의 경우에 모노, 스테레오 또는 다중채널일 수 있다. 후자의 경우에 있어서, 예를 들면 5.1 다운믹스는 두 개의 채널 쌍 요소들 및 하나의 단일 채널 요소로 구성된다. 이러한 경우에 있어서 단일 채널 요소뿐만 아니라, 두 개의 채널 쌍 요소들은 단지 다운믹스 신호의 일부분이다. 스테레오 다운믹스 경우에 있어서, 채널 쌍 요소가 사용될 것이다.
b) 채널 쌍 요소 형태의 프레임 요소들은 오디오 신호들의 스테레오 쌍을 표현하기 위하여 인코더(24)에 의해 발생될 수 있다. 즉, 프레임들(20) 내의 공통 요소 위치에 위치;되는 그러한 형태의 프레임 요소들(22)은 그러한 스테레오 오디오 쌍의 연속적인 시간 주기를 표현하는 프레임 요소들의 각각의 서브스트림을 함께 형성할 수 있다. 따라서 표현된 오디오 신호들의 스테레오 쌍은 직접적으로 오디오 콘텐츠(10)의 오디오 신호들(16)의 어떠한 쌍일 수 있거나, 또는 예를 들면, 또 다른 요소 위치에 위치되는 또 다른 프레임 요소 형태의 프레임 요소들의 페이로드 데이터와 함께, 2보다 높은 오디오 콘텐츠(10)의 다수의 오디오 신호들(16)의 수를 생산하는, 다운믹스 신호를 표현할 수 있다. 아래에 더 상세히 설명되는 실시 예에서, 그러한 채널 쌍 요소 형태의 프레임 요소들은 UsacChannelPairElement로 표시된다.
c) 서브우퍼(subwoofer) 채널들 등과 같이 대역폭이 덜 필요한 오디오 콘텐츠(10)의 오디오 신호들(16) 상에 정보를 전달하기 위하여, 인코더(24)는 예를 들면, 단일 오디오 신호의 연속적인 시간 주기들(18)을 표현하는, 공통 요소 위치에 위치되는, 그러한 형태의 프레임 요소들을 갖는 특정 형태의 프레임 요소들을 지원할 수 있다. 이러한 오디오 신호는 바로 오디오 콘텐츠(10)의 오디오 신호들(16) 중 어느 하나일 수 있거나, 또는 단일 채널 요소 형태와 채널 쌍 요소 형태와 관련하여 이전에 설명된 것과 같이 다운믹스 신호의 일부분일 수 있다. 아래에 더 상세히 설명되는 실시 예에서, 그러한 특정 프레임 요소 형태의 프레임 요소들은 UsacLfeElement로 표시된다.
d) 확장 요소 형태의 프레임 요소들은 높은 수의 오디오 신호를 획득하기 위하여 디코더가 형태들 a, b 및/또는 c 중 어느 하나의 프레임 요소들에 의해 표현되는 오디오 신호들 중 어느 하나를 업믹스하는 것을 가능하게 하도록 비트스트림과 함께 부가 정보를 전달하기 위하여 인코더(24)에 의해 발생될 수 있다. 프레임들(20) 내의 특정한 공통 요소 위치에 위치되는, 그러한 확장 요소의 프레임 요소들은 높은 수의 오디오 신호의 각각의 시간 주기를 획득하기 위하여 다른 프레임 요소들 중 어느 하나에 의해 표현되는 하나 또는 그 이상의 오디오 신호의 각각의 시간 주기의 다운믹스를 가능하게 하는 연속적인 시간 주기(18)에 관한 부가 정보를 전달할 수 있는데, 후자는 오디오 콘텐츠(10)의 오리지널 오디오 신호들(16)과 상응할 수 있다. 그러한 부가 정보의 예들은 예를 들면, MPS 또는 SAOC 부가 정보와 같은 파라미터 부가 정보일 수 있다.
아래에 더 상세히 설명되는 실시 예에 따라, 이용가능한 요소 형태들은 단지 위에서 서술된 4가지 요소 형태들로 구성되나, 다른 요소 형태들이 또한 이용가능할 수 있다. 다른 한편으로, 요소 형태들 a 내지 c 중 하나 또는 2가지가 이용가능할 수 있다.
위의 서술로부터 자명한 것과 같이, 디코딩에 있어서 비트스트림(12)으로부터 확장 요소 형태의 프레임 요소들(22)의 생략(omission) 또는 이러한 프레임 요소들의 방치(neglection)는 오디오 콘텐츠(10)의 재구성을 완전히 불가능하게 하지는 않는다: 적어도, 다른 요소 형태들이 나머지 프레임 요소들이 오디오 신호들을 생산하는데 충분한 정보를 전달한다. 이러한 오디오 신호들은 오디오 콘텐츠(10)의 오리지널 오디오 신호들 또는 그것들의 적합한 서브셋과 반드시 상응하지는 않으나, 오디오 콘텐츠(10)의 일종의 "아말감(amallgam)"을 표현할 수 있다. 즉, 확장 요소 형태의 프레임 요소들은 프레임들(20) 내의 서로 다른 요소 위치들에 위치되는 하나 또는 그 이상의 프레임 요소들과 관련하여 부가 정보를 표현하는 정보(페이로드 데이터)를 전달할 수 있다.
그러나, 아래에 설명되는 실시 예에서, 확장 요소 형태의 프레임 요소들은 그러한 종류의 부가 정보 전달에 제한되지 않는다. 오히려, 확장 요소 형태의 프레임 요소들은 다음에서, UsacExtElement로 표시되고 길이 정보와 함께 페이로드 데이터를 전달하도록 정의되며 후자의 길이 정보는 예를 들면, 이러한 프레임 요소들 내의 각각의 페이로드 데이터를 처리할 수 없는 디코더의 경우에 있어서 확장 요소 형태의 이러한 프레임 요소들을 건너뛰기 위하여, 디코더들이 비트스트림(12)을 받는 것을 가능하게 한다.
그러나, 도 1의 인코더의 설명을 계속하기 전에, 위에서 설명된 요소 형태들에 대한 대안들을 위한 일부 가능성이 존재한다는 것을 이해하여야 한다. 특히 위에서 설명된 확장 요소 형태는 사실이다. 특히, 그것들의 페이로드 데이터가 예를 들면, 각각의 페이로드 데이터를 처리할 수 없는 디코더들에 의해 생략될 수 있는 것과 같이 구성되는 확장 요소 형태의 경우에 있어서, 이러한 확장 요소 형태 프레임 요소들의 페이로드 데이터는 모든 페이로드 데이터 형태일 수 있다. 이러한 페이로드 데이터는 다릍 프레임 요소 형태들의 다른 프레임 요소들의 페이로드 데이터에 대하여 부가 정보를 형성할 수 있거나, 또는 예를 들면, 또 다른 오디오 신호를 표현하는 자체형(self-contained) 페이로드 데이터를 형성할 수 있다. 게다가, 다른 프레임 요소 형태들의 프레임 요소들의 페이로드 데이터의 부가 정보를 표현하는 확장 요소 형태 프레임 요소들의 페이로드 데이터의 경우에 있어서, 이러한 확장 요소 형태 프레임 요소들의 페이로드 데이터는 방금 언급된 종류, 주로 다중 채널 또는 다중 대상 부가 정보에 제한되지 않는다. 다중 채널 부가 정보 페이로드는 예를 들면, 채널간 일관성(inter channel coherence, ICC) 값들, 채널간 레벨 차이(ICLD)들, 및/또는 채널간 시간 차이(ICTD)들 및 선택적으로 채널 예측 계수들과 같은 양귀 단서 코딩(binaural cue coding, BCC) 파라미터들과 같은 공간 단서를 갖는, 다른 요소 형태의 프레임 요소들 중 어느 하나에 의해 표현되는 다운믹스 신호를 동반하는데, 이러한 파라미터들은 종래에 예를 들면, MPEG 서라운드 표준으로 알려진다. 방금 언급된 공간 단서 파라미터들은 예를 들면, 시간/주파수 해상도, 즉, 시간/주파수 그리드(grid)의 시간/주파수 타일(tile) 당 하나의 파라미터 내의 확장 요소 형태 프레임 요소들의 페이로드 데이터 내에 전송될 수 있다. 다중 대상 부가 정보의 경우에 있어서, 확장 요소 형태 프레임 요소의 페이로드 데이터는 대상간 상호 상관(inter-object cross-correlation, IOC) 파라미터들, 대상 레벨 차이(object level difference, OLD)들 뿐만 아니라 오리지널 오디오 신호들이 어떻게 또 다른 요소 형태의 프레임 요소들 중 어느 하나에 의해 표현되는 다운믹스 신호의 채널(들) 내로 다운믹스되는지를 나타내는 다운믹스 파라미터들과 같은 유사한 정보를 포함할 수 있다.
후자의 파라미터들은 예를 들면 종래에 SAOC 표준으로부터 알려진다. 그러나, 확장 요소 형태 프레임 요소들의 페이로드 데이터가 표현할 수 있는 서로 자른 부가 정보의 예는 예를 들면, 프레임들(20) 내의 서로 다른 요소 위치에 위치되는 다른 프레임 형태들의 프레임 요소들 중 어느 하나에 의해 표현되는 오디오 신호의 고주파수 부의 포락선을 파라미터로 인코딩하고, 그때 스펙트럼 대역 복제 데이터의 포락선에 의해 획득되는 고주파수 부의 포락선을 갖는 고주파수 부를 위한 기준으로서 후자의 오디오 신호로부터 획득되는 것과 같은 저주파수 부의 사용에 의한 스펙트럼 대역 복제를 가능하게 하기 위한, 스펙트럼 대역 복제 데이터이다. 더 일반적으로, 확장 요소 형태의 프레임 요소들의 페이로드 데이터는 시간 도메인 또는 주파수 도메인에서, 프레임(20) 내의 서로 다른 요소 위치에 위치되는, 다른 요소 형태들 중 어느 하나의 프레임 요소들에 의해 표현되는 오디오 신호들을 변형하기 위한 부가 정보를 전달할 수 있는데 주파수 도메인은 예를 들면, 직각 대칠 필터 도메인 또는 일부 다른 필터뱅크 도메인 또는 변환 도메인일 수 있다.
도 1의 인코더(24)의 기능을 더 설명하면, 인코더는 비트스트림(12) 내로 요소들의 수(N)를 표시하는 필드, 및 N 요소 위치들의 시퀀스의 각각의 요소 부를 위하여, 각각의 요소 형태를 표시하는 형태 표시 구문 부를 포함하는 구성 블록(28)을 인코딩하도록 구성된다. 따라서, 인코더(24)는 각각의 프레임(20)을 위하여, N 프레임 요소들(22)의 시퀀스를 비트스트림(12) 내로 인코딩하도록 구성되는데, 따라서 비트스트림(12) 내의 N 프레임 요소들(22)의 시퀀스 내의 각각의 요소 위치에 위치되는, N 프레임 요소들(22)의 시퀀스의 각각의 프레임 요소(22)는 각각의 요소 위치를 위한 형태 표시 부에 의해 표시되는 요소 형태이다. 바꾸어 말하면, 인코더(24)는 이들 각각이 각각의 요소 형태의 프레임 요소들(22)의 시퀀스인, N 서브스트림들을 형성한다. 즉, 이러한 모든 N 서브스트림들을 위하여, 프레임 요소들은 동일한 요소 형태이나, 반면에 서로 다른 서브스트림들의 프레임 요소들은 서로 다른 요소 형태일 수 있다. 인코더(24)는 하나의 프레임(20)을 형성하기 위하여 하나의 공통 시간 주기(18)에 관하여 이러한 서브스트림들의 모든 N 프레임 요소들을 연관시킴으로써 이러한 모든 프레임 요소들을 비트스트림(12) 내로 다중화하도록(multiplex) 구성된다.따라서, 비트스트림 내에 이러한 프레임 요소들(22)이 프레임들(20) 내에 배치된다. 각각의 프레임(20) 내에, N 서브스트림들의 전형적인 사례, 즉, 동일한 시간 주기(18)에 관한 N 프레임 요소들은 각각, 요소 위치들의 시퀀스 및 구성 블록(28) 내의 형태 표시 구문 부에 의해 정의되는 고정된 순차적 순서로 배치된다.
형태 표시 구문 부의 사용에 의해, 인코더(24)는 N 서브스트림들의 프레임 요소들(22)이 프레임들(22) 내에 배치되는 순서를 자유롭게 선택할 수 있다. 이러한 측정에 의해, 인코더(24)는 예를 들면 가능한 한 낮게 디코딩 면에서 오버헤드의 버퍼링을 계속 할 수 있다. 예를 들면, 비-확장 요소 형태인, 또 다른 서브스트림(기본 서브스트림)의 프레임 요소들을 위한 부가 정보를 전달하는 확장 요소 형태의 프레임 요소들의 서브스트림은 프레임들(20) 내의 이러한 기본 서브스트림 프레임 요소들이 위치되는 요소 위치 바로 다음의 프레임들(20) 내의 요소 위치에 위치될 수 있다. 이러한 측정에 의해, 디코딩 면이 그것에 대한 부가 정보의 적용을 위한 기본 서브스트림의 디코딩의 결과들 또는 중간 결과들을 버퍼링해야만 하는 버퍼링 시간은 낮게 유지되고, 버퍼링 오버헤드가 감소될 수 있다. 프레임 요소(22, 기본 서브스트림)의 또 다른 서브스트림에 의해 표현되는 오디오 신호의, 주파수 도메인과 같은, 중간 결과에 적용되는 확장 요소 형태인, 서브스트림의 프레임 요소들의 페이로드 데이터의 부가 정보의 경우에 있어서, 기본 서브스트림을 즉시 뒤따르도록 확장 요소 형태 프레임 요소들(22)의 서브스트림의 배치는 버퍼링 오버헤드뿐만 아니라, 표현된 오디오 신호의 재구성의 또 다른 처리를 중단해야만 할 수 있는 지속 시간을 시간 주기를 최소화하는데 그 이유는 예를 들면, 확장 요소 형태 프레임 요소들의 페이로드 데이터가 기본 서브스트림의 표현에 대하여 오디오 신호의 재구성을 변형할 것이기 때문이다. 그러나, 또한 확장 서브스트림이 언급하는, 오디오 신호를 표현하는 그것이 기본 서브스트림에 앞서 의존 확장 서브스트림을 위치시키는 것이 바람직할 수 있다. 예를 들면, 인코더(24)는 채널 요소 형태 서브스트림에 대하여 비트스트림 업스트림 내의 확장 페이로드의 서브스트림을 자유롭게 위치시킨다. 예를 들면, 서브스트림(i)의 확장 페이로드는 동적 범위 제어(dynamic range control, DRC) 데이터를 전달하고 예를 들면, 요소 위치(i+1)에서의 채널 서브스트림 내의, 주파수 도메인 코딩을 통하는 것과 같은, 상응하는 오디오 신호의 코딩에 대하여 초기 요소 위치(i) 이전에 또는 초기 요소 위치(i)에 전송될 수 있다. 그리고 나서, 디코더는 비-확장 형태 서브스트림(i+1)에 의해 표현되는 오디오 신호를 디코딩하고 재구성할 때 바로 동적 범위 제어를 사용할 수 있다.
지금까지 설명된 것과 같은 인코더(24)는 본 발명의 가능한 실시 예를 표현한다. 그러나, 도 1은 또한 단지 예로서 이해되는 인코더의 가능한 내부 구조를 도시한다. 도 1에 도시된 것과 같이, 인코더(24)는 다음에 더 상세히 설명되는 방법으로 그 사이에 다양한 인코딩 모듈들(34a-e)이 연결되는 분배기(30) 및 순차 발생기(sequentializer, 32)를 포함할 수 있다. 특히, 분배기(30)는 오디오 콘텐츠(10)의 오디오 신호들(16)을 수신하고 이를 개별 인코딩 모듈들(34a-e) 상으로 분포시키도록 구성된다. 분배기(30)가 오디오 신호(16)의 연속적인 시간 주기들을 인코딩 모듈들(34a-e) 상으로 분포시키는 방법은 고정적이다. 특히, 분포는 각각의 오디오 신호(16)가 독점적으로 인코딩 모듈들(34a 내지 34e) 중의 하나로 전송되는 것과 같을 수 있다. 저주파수 향상 인코더(34a)에 제공되는 오디오 신호는 예를 들면, 저주파수 향상 인코더(34a)에 의해 c 형태(위 참조)의 프레임 요소들(22)의 서브스트림 내로 인코딩된다. 단일 채널 인코더(34b)의 입력에 제공되는 오디오 신호들은 예를 들면, 단일 채널 인코더에 의해 a 형태(위 참조)의 프레임 요소들(22)의 서브스트림 내로 인코딩된다. 유사하게, 채널 쌍 인코더(34c)의 입력에 제공되는 한 쌍의 오디오 신호는 예를 들면, 채널 쌍 인코더에 의해 d 형태(위 참조)의 프레임 요소들(22)의 서브스트림 내로 인코딩된다. 방금 언급된 인코딩 모듈들(34a 내지34c)은 한편으로는 분배기(30) 및 다른 한편으로는 순차 발생기(32) 사이의 그것들의 입력과 출력에 연결된다.
그러나, 도 1에 도시된 것과 같이, 인코더 모듈들(34b 및 34c)의 입력들은 분배기(30)의 출력 인터페이스에만 연결되지 않는다. 오히려, 이는 인코딩 모듈들(34d 및 34e) 중 어느 하나의 출력 신호에 의해 제공될 수 있다. 후자의 인코딩 모듈들(34d 및 34e)은 인바운드 오디오 신호들을 한편으로는 다운믹스 채널들의 낮은 수의 다운믹스 신호 내로 다른 한편으로는 d 형태(위 참조)의 프레임 요소들(22)의 서브스트림 내로 인코딩하도록 구성되는 인코딩 모듈들의 예들이다. 위의 논의로부터 자명한 것과 같이, 인코딩 모듈(34d)은 SAOC 인코더일 수 있으며, 인코딩 모듈(34e)은 MPS 인코더일 수 있다. 다운믹스 신호들은 인코딩 모듈들(34b 및 34c) 중 어느 하나로 전송된다. 인코딩 모듈들(34a 내지 34e)에 의해 발생되는 서브스트림들은 방금 설명된 것과 같이 서브스트림들을 비트스트림(12) 내로 순차적으로 발생시키는 순차 발생기(sequentializer, 32)로 전송된다. 따라서, 인코딩 모듈들(34d 및 34e)은 분배기(30)의 출력 인터페이스에 연결되는 오디오 신호들의 수를 위하여 그것들의 입력을 가지며, 반면에 그것들의 서브스트림 출력은 sequentializer(32)의 입력 인터페이스에 연결되며, 그것들의 다운믹스 출력은 각각 인코딩 모듈들(34b 및또는 34c)의 입력들에 연결된다.
위의 설명에 따라 다중 대상 인코더(34d) 및 다중 채널 인코더(34e)의 존재는 단지 설명이 목적을 위하여 선택되며, 이러한 인코딩 모듈들(34d 및 34e) 중 어느 하나는 버려지거나 또는 예를 들면, 또 다른 인코딩 모듈에 의해 대체될 수 있다는 것을 이해하여야 한다.
디코더(24) 및 그것들의 가능한 내부 구조가 설명된 후에, 도 2와 관련하여 상응하는 디코더가 설명된다. 도 2의 디코더는 일반적으로 참조 부호 36으로 표시되고 비트스트림(12)을 수신하기 위한 입력 및 오디오 콘텐츠(10) 또는 그것들의 아말감의 재구성된 버전(38)을 출력하기 위한 출력을 갖는다. 따라서, 디코더(36)는 구성 블록(28) 및 도 1에 도시된 프레임들(20)의 스퀀스를 포함하는 비트스트림(12)을 디코딩하고, 형태 표시 부에 의해, 각각의 프레임 요소(22)가 비트스트림(12)의 각각의 프레임(20)의 N 프레임 요소들(22)의 시퀀스 내에 위치되는 각각의 요소 위치를 위하여 표시되는 요소 형태에 따라 프레임 요소들(22)을 디코딩함으로써 각각의 프레임(20)을 디코딩하도록 구성된다. 즉, 디코더(36)는 각각의 프레임 요소(22)를 프레임 요소 자체 내의 어떠한 정보보다는 현재 프레임(20) 내의 그것의 요소 위치에 따른 가능한 요소 형태들 중 하나에 할당하도록 구성된다.
확장 요소 형태 프레임 요소들과 관련하여 디코더(36)의 기능을 더 상세히 설명하기 전에, 도 1의 인코더(24)의 내부 구조와 상응하도록 하기 위하여 도 2의 디코더(36)의 가능한 내부 구조가 상세히 설명된다. 인코더(24)와 관련하여 설명된 것과 같이, 내부 구조는 단지 예로서 이해되어야 한다.
특히, 도 2에 도시된 것과 같이, 디코더(36)는 내부적으로 그 사이에 디코딩 모듈들(44a 내지 44e)이 연결되는 분배기(distributor, 40) 및 어레인저(arranger, 42)를 포함한다. 따라서, 분배기(40)는 비드스트림(12)의 N 서브스트림들을 상응하게 디코딩 모듈들(44a 내지 44e) 상에 분포시키도록 구성된다. 디코딩 모듈(44a)은 예를 들면, 그것의 출력에서 협대역(예를 들면) 오디오 신호를 획득하기 위하여 c 형태(위 참조)의 프레임 요소들(22)의 서브스트림을 디코딩하는 저주파수 향상 디코더이다. 유사하게, 단일 채널 디코더(44b)는 그것의 출력에서 단일 오디오 신호를 획득하기 위하여 a 형태(위 참조)의 인바운드(inbound) 서브스트림을 디코딩하며, 채널 쌍 디코더(44c)는 그것의 출력에서 한 쌍의 오디오 신호를 획득하기 위하여 b 형태(위 참조)의 프레임 요소들(22)의 인바운드 서브스트림을 디코딩한다. 디코딩 모듈들(44a 내지 44e)은 한편으로는 분배기(40)의 출력 인터페이스 및 다른 한편으로 어레인저(42)의 입력 인터페이스 사이에 연결되는 그것들의 입력 및 출력을 갖는다.
디코더(36)는 단지 디코딩 모듈들(44a 내지 44c)만을 가질 수 있다. 다른 디코딩 모듈들(44e 및 44d)은 확장 요소 형태 프레임 요소들에 대한 책임이 있으며, 따라서 오디오 코덱의 일치와 관련되는 한 선택적이다. 만일 이러한 확장 모듈들(44e 및 44d) 모두 또는 어느 하나가 없으면, 분배기(40)는 아래에 더 상세히 설명되는 것과 같이 비트스트림(12) 내의 각각의 확장 프레임 요소 서브스트림들을 생략하도록 구성되며, 오디오 콘텐츠(10)의 재구성된 버전(38)은 단지 오디오 신호들(16)을 갖는 오리지널 버전의 아말감이다.
그러나, 만일 존재하면, 즉, 만일 디코더(36)가 SAOC 및또는 MPS 확장 프레임 요소들을 지원하면, 다중 채널 디코더(44e)는 인코더(34e)에 의해 발생되는 서브스트림들을 디코딩하도록 구성될 수 있으며, 반면에 다중 대상 디코더(44d)는 다중 대상 인코더(34d)에 의해 발생되는 서브스트림들에 대한 책임이 있다. 따라서, 존재하는 디코딩 모듈들(44c 및또는 44d)의 경우에, 스위치(46)는 디코딩 모듈들(44c 및 44b) 중의 어느 하나의 출력을 디코딩 모듈(44e 및/또는 44d)의 다운믹스 신호 입력에 연결할 수 있다. 다중 채널 디코더(44e)는 그것의 출력에서 증가된 수의 오디오 신호들을 획득하기 위하여 분배기(40)로부터 인바운드 서브스트림 내의 부가 정보를 사용하여 인바운드 다운믹스 신호를 업믹스(up-mix)할 수 있다. 다중 대상 디코더(44d)는 다중 대상 디코더(44d)는 오디오 대상들로서 개별 오디오 신호들을 처리하고 반면에 다중 채널 디코더(44e)는 오디오 채널들로서 그것의 출력에서 오디오 신호들을 처리하는 차이로 그에 알맞게 작용할 수 있다.
따라서 재구성된 오디오 신호들은 재구성(38)을 형성하기 위하여 그것들을 배치하는 어레인저(42)로 전송된다. 어레인저(42)는 부가적으로 사용자 입력(48)에 의해 제어될 수 있는데, 사용자 입력은 예를 들면, 이용가능한 확성기(loudspeaker) 구성 또는 허용되는 재구성(38)의 가장 높은 수의 채널들을 표시한다. 사용자 입력(48)에 따라, 어레인저(42)는 비록 이들이 존재하고 비트스트림(12) 내에 확장 프레임 요소들이 존재하더라도, 예를 들면, 확장 모듈들(44d 및 44e) 중 어느 하나와 같은 디코딩 모듈들(44a 내지 44e) 중 어느 하나를 사용 불가능하게 할 수 있다.
각각 디코더, 인코더 및 비트스트림의 또 다른 가능한 세부내용을 설명하기 전에, 확장 요소 형태가 아닌, 서브스트림들의 프레임 요소들 중간에, 확장 요소 형태인 서브스트림들의 프레임 요소들을 배치하기 위한 인코더의 능력 때문에, 디코더(36)의 버퍼 오버헤드(buffer overhead)는 대략 서브스트림들 중에서의 순서 및 각각, 각각의 프레임(20) 내의 서브스트림들의 프레임 요소들 중에서의 순서를 선택하는 인코더(24)에 의해 낮아질 수 있다는 것을 이해하여야 한다. 예를 들면, 채널 쌍 디코더(44c)로 들어가는 서브스트림은 프레임(20) 내의 제 1 요소 위치에 위치될 수 있으며, 반면에 디코더(44e)를 위한 다중 채널 서브스트림은 각각의 프레임의 말단에 위치될 수 있다는 것이 예상된다. 그러한 경우에 있어서, 디코더는 각각, 각각의 프레임(20)의 제 1 프레임 요소 및 마지막 요소 프레임의 도착 사이의 시간을 브리징(bridging)하는 시간 기간 동안에 다중 채널 디코더(44e)를 위한 다운믹스 신호를 표현하는 중간 오디오 신호를 버퍼링해야만 할 수 있다. 그때 다중 채널 디코더(44e)만이 그것의 처리를 개시할 수 있다. 이러한 연기는 예를 들면, 프레임들(20)의 제 2 요소 위치에서 다중 채널 디코더(44e) 전용의 서브스트림을 배치하는 인코더(24)에 의해 방지될 수 있다. 다른 한편으로, 분배기(40)는 서브스트림들 어느 하나에 대한 그것의 신분에 대하여 각각의 프레임 요소를 검사할 필요가 없다. 오히려 분배기(40)는 구성 블록 및 그 안에 포함되는 형태 표시 구문 부로부터 N 서브스트림들 중 어느 하나에 대한 현재 프레임 요소(22)의 신분을 추론할 수 있다.
이제 위에 설명된 것과 같이 구성 블록(28) 및 프레임들(20)의 시퀀스를 포함하는 비트스트림(12)을 도시한 도 3이 참조된다. 도 3에서 볼 때 오른쪽으로의 비트스트림 부들은 왼쪽으로의 다른 비트스트림 부들의 위치들을 따른다. 도 3의 경우에 있어서, 예를 들면, 구성 블록(28)은 도 3에 도시된 것과 같은 프레임들(20)을 진행하는데 설명이 목적만을 위하여 단지 세 개의 프레임(20)만이 도 3에서 완전히 도시된다.
또한, 구성 블록(28)은 스트리밍 전송 적용들에서 랜덤 액세스 지점들을 허용하기 위하여 주기적 또는 간헐적 기준으로 프레임들(20) 사이에서 비트스트림(12) 내로 삽입될 수 있다는 것을 이해하여야 한다. 일반적으로 설명하면, 구성 블록(28)은 비트스트림(12)의 단순하게 연결되는 부일 수 있다.
구성 블록(28)은 위에 설명된 것과 같이, 요소들의 수(N), 즉, 각각의 프레임(20) 내의 프레임 요소들의 수(N) 및 위에 설명된 것과 같이 비트스트림(12) 내로 다중화된 서브스트림들의 수를 표시하는 필드(50)를 포함한다. 비트스트림(12)의 상세 구문을 위한 일 실시 예를 설명하는 다음의 실시 예에서, 필드(50)는 numElements로 표시되고 구성 블록(28)은 도 4a-z 및 za-zc의 다음의 특정 구문 실시 예에서 UsacConfig로 불린다. 또한, 구성 블록(28)은 형태 표시 구문 부(52)를 포함한다. 위에서 이미 설명된 것과 같이, 이러한 부(52)는 각각의 요소 위치를 위하여 복수의 요소 형태 중에서 하나의 요소 형태를 표시한다. 도 3에 도시되고 다음의 특정 구문 실시 예와 관련된 경우에서와 같이, 형태 표시 구문 부(52)는 N 구문 요소들(54)의 시퀀스를 포함할 수 있는데 각각의 구문 요소(54)는 각각의 구문 요소(54)가 형태 표시 구문 부(52) 내에 위치되는 각각의 요소 위치를 위한 요소 형태를 표시한다. 바꾸어 말하면, 부(52) 내의 i번째 구문 요소(54)는 각각 각각의 프레임(20)의 i번째 서브스트림 및 i번째 프레임 요소를 표시할 수 있다. 뒤다르는 상세 구문 예에서, 구문 요소는 UsacElementType으로 표시된다. 비록 형태 표시 구문 부(52)가 비트스트림(12)의 단순하게 연결되거나 또는 인접한 부로서 비트스트림(12) 내에 포함될 수 있으나, 이는 그것들의 요소들(54)이 개별적으로 각각의 N 요소 위치들을 위하여 존재하는 구성 블록(28)의 다른 구문 요소 부들과 딱 들어맞는 도 3에 바람직하게 도시된다. 아래에 설명되는 실시 예들에서, 이러한 딱 들어맞는 구문 부들은 그 의미가 다음에 더 상세히 설명되는 서브스트림 특이 구성 데이터(55)를 갖는다
위에 설명된 것과 같이, 각각의 프레임(20)은 N 프레임 요소들(22)의 시퀀스로 구성된다. 이러한 프레임 요소들(22)의 요소 형태들은 프레임 요소들(2@) 내의 각각의 형태 표시기들에 의해 자체로 신호가 전달되지 않는다. 오히려, 프레임 요소들(22)의 요소 형태들은 각각의 프레임(20) 내의 그것들의 요소 위치에 의해 정의된다. 도 3에서 프레임 요소(22a)로 표시되는, 프레임(20) 내에 첫 번째로 발생하는 프레임 요소(22)는 제 1 요소 위치를 가지며 그에 알맞게 구성 블록(28) 내의 구문 부(52)에 의해 제 1 요소 위치를 위하여 표시되는 요소 형태이다. 다음의 프레임 요소들(22)에 대하여 동일하게 적용된다. 예를 들면, 비트스트림(12) 내의 제 1 프레임 요소(22a) 후에 즉시 발생하는 프레임 요소(22b), 즉, 요소 위치 2를 갖는 프레임 요소는 구문 부(52)에 의해 표시되는 요소 형태이다.
특정 실시 예에 따라, 구문 요소들(54)은 그것들이 적용하는 프레임 요소들(22)과 동일한 순서로 비트스트림(12) 내에 배치된다. 즉, 즉 비트스트림(12) 내에 처음으로 발생하고 도 3의 가장 바깥쪽의 좌변에 위치되는, 제 1 구문 요소(54)는 각각의 프레임(20)의 첫 번째로 발생하는 프레임 요소(22a)의 요소 형태를 표시하고, 제 2 구문 요소(54)는 제 2 프레임 요소(22b)의 요소 형태를 표시한다. 자연적으로, 비트스트림(12)과 구문 부들(52) 내의 구문 요소들(54)의 순차적 순서 또는 배치는 프레임들(20) 내의 프레임 요소들(22)의 순차적 순서에 비례하여 전환된다.
디코더(36)를 위하여, 이는 디코더가 형태 표시 구문 부(52)로부터 N 구문 요소들(54)이 이러한 시퀀스를 판독하도록 구성될 수 있다는 것을 의미한다. 더 정확히 설명하면, 디코더(36)는 필드(50)를 판독하며 따라서 디코더(36)는 비트스트림(12)으로부터 판독되는 구문 요소들(54)의 수(N)에 대하여 알고 있다. 방금 언급된 것과 같이, 디코더(36)는 구문 요소들 및 그것들에 의해 표시되는 구문 형태를 프레임들(20) 내의 프레임 요소와 관련시키도록 구성될 수 있는데 따라서 i번째 구문 요소(54)는 i번째 프레임 요소(22)와 관련된다.
위의 설명에 더하여, 구성 블록(28)은 각각의 구성 요소(56)가 N 구성 요소들(56)의 시퀀스(55) 내에 위치되는 각각의 요소 위치를 위하여 요소 형태를 위한 구성 정보를 포함하는 각각의 구성 요소(56)를 갖는 N 구성 요소들의 시퀀스(55)를 포함할 수 있다. 특히, 구성 요소들(56)의 시퀀스가 비트스트림(12) 내로 판독되는(및 디코더(36)에 의해 비트스트림(12)으로부터 판독되는) 순서는 각각 프레임 요소들(22) 및/또는 구문 요소들(54)을 위하여 사용되는 것과 동일한 순서일 수 있다. 즉, 비트스트림(12) 내에 첫 번째로 발생하는 구성 요소(56)는 제 1 프레임 요소(22a)를 위한 구성 정보를 포함할 수 있고, 제 2 구성 요소(22b)는 프레임 요소(22b)를 위한 구성 정보를 포함할 수 있다. 위에서 이미 언급된 것과 같이, 형태 표시 구문 부(52) 및 요소 위치 특이 구성 데이터(55)가 구성 요소(56)가 존재하는 요소 위치(i)는 요소 위치(i) 및 요소 위치(i+1)를 위한 형태 표시기 사이의 비트스트림(12) 내에 위치된다는 점에서 서로 교차 배치되는 것과 같이 도 3의 실시 예에 도시된다. 바꾸어 말하면, 구성 요소들(56) 및 구문 요소들(54)은 교대로 비트스트림 내에 배치되고 그것으로부터 교대로 디코더(36)에 의해 판독되나, 만일 이러한 데이터가 블록(28) 내의 비트스트림(12) 내에 배치되면 다른 배치가 또한 이전에 언급된 것과 같이 실현 가능할 수 있다.
구성 블록(28) 내의 각각의 요소 위치(1....N)를 위한 구성 요소(56)를 전달함으로써, 비트스트림은 서로 다른 서브스트림들과 요소 위치들에 속하나, 동일한 요소 형태인 프레임 요소들을 서로 다르게 구성하는 것을 허용한다. 예를 들면, 비트스트림(12)은 두 개의 단일 채널 서브스트림 및 그에 알맞게 각각의 프레임(20) 내의 단일 채널 요소 형태의 두 개의 프레임 요소를 포함할 수 있다. 그러나, 서브스트림들 모두를 위한 구성 정보는 비트스트림(12) 내에 서로 다르게 조절될 수 있다. 이는 차례로, 도 1의 인코더(24)가 이러한 서로 다른 서브스트림들을 위한 구성 정보 내의 코딩 파라미터들을 서로 다르게 설정할 수 있고 디코더(36)의 단일 채널 디코더(44b)는 이러한 두 서브스트림을 디코딩할 때 이러한 서로 다른 코딩 파라미터들을 사용함으로써 제어된다는 것을 의미한다. 이는 또한 다른 디코딩 모듈들에도 사실이다. 더 일반적으로 설명하면, 디코더(36)는 구성 블록(28)으로부터 N 구성 요소들(56)의 시퀀스를 판독하고 i번째 구문 요소(54)에 의해 표시되는 요소 형태에 따라, 그리고 i번째 구성 요소(56)에 의해 포함되는 구성 정보를 사용하여 i번째 프레임 요소(22)를 디코딩한다.
설명의 목적을 위하여, 도 3에서 제 2 서브스트림, 즉, 각각이 프레임(20) 내의 두 번째 요소 위치에서 발생하는 프레임 요소들(22)로 구성되는 서브스트림은 확장 요소 형태의 프레임 요소들(22)로 구성되는 확장 요소 형태 서브스트림을 갖는다고 가정된다. 물론, 이는 단지 실례가 되는 것이다.
또한, 비트스트림 또는 구성 블록(28)이 구문 부(52)에 의해 그러한 요소 위치를 위하여 표시되는 요소 형태와 관계없이 요소 위치 당 하나의 구성 요소(5^)를 포함한다는 것은 단지 설명의 목적을 위한 것이다. 대안의 실시 예에 따라, 예를 들면, 구성 블록(28)에 의해 어더한 구성 요소도 포함되지 않는 하나 또는 그 이상의 요소 형태가 존재할 수 있는데 따라서 후자의 경우에, 구성 블록(28) 내의 구성 요소들(56)의 수는 각각 구문 부(52)와 프레임들(20) 내에 발생하는 그러한 요소 형태들의 프레임 요소들의 수에 따라 N보다 적을 수 있다.
어떠한 경우에 있어서, 도 3은 확장 요소 형태에 관한 구성 요소들(56)을 만들기 위한 또 다른 실시 예를 도시한다. 이후에 설명되는 특정 구문 실시 예에서, 이러한 구문 요소들(56)은 UsacExtElementConfig로 표시된다. 완전성만을 위하여, 이후에 설명되는 특정 구문 실시 예에서, 다른 요소 형태들을 위한 구성 요소들은 UsacSingleChannelElementConfig, UsacChannelPairElementConfig 및 UsacLfeElementConfig로 표시되는 것에 유의하여야 한다.
그러나, 확장 요소 형태를 위한 구성 요소(56)의 가능한 구조를 설명하기 전에, 확장 요소 형태의 프레임 요소의 가능한 구조, 여기서는 제 2 프레임 요소(22b)를 도시한 도 3의 부가 참조된다. 도시된 것과 같이, 확장 요소 형태의 프레임 요소들은 각각이 프레임 요소(22b)의 길이에 대한 길이 정보(58)를 포함할 수 있다. 디코더(36)는 모든 프레임(20)의 확장 요소 형태의 각각의 프레임 요소(22b)로부터, 이러한 길이 정보(58)를 판독하도록 구성된다. 만일 디코더(36)가 확장 요소 형태의 이러한 프레임 요소가 속하는 서브스트림을 처리할 수 없거나 또는 사용자 입력에 의해 이를 처리하지 않도록 명령되면, 디코더(36)는 길이 정보(58)를 사용하여 생략 간격 길이, 즉, 생략되려는 비트스트림의 부의 길이로서 이러한 프레임 요소(22b)를 생략한다. 바꾸어 말하면, 디코더(36)는 또 다른 비트스트림(12)의 판독을 수행하기 위하여, 현재 프레임(20) 내의 그 다음의 프레임 요소 또는 그 다음의 프레임(20)의 시작을 액세스하거나 방문할 때까지 생략되려는, 비트스트림 간격 길이를 정의하기 위하여 바이트들의 수 또는 다른 적절한 측정을 계산하는데 길이 정보(58)를 사용할 수 있다.
아래에 더 상세히 설명될 것과 같이, 확장 요소 형태의 프레임 요소들은 미래 또는 대안의 확장들 혹은 오디오 코덱의 개발을 위하여 수용하도록 구성될 수 있다. 일부 적용들에 따라 특정 서브스트림의 확장 요소 형태 프레임 요소들이 일정한 길이이거나 또는 매우 좁은 통계적 길이 분포를 갖는 가능성을 이용하기 위하여, 본 발명의 일부 실시 예들에 따라, 확장 요소 형태를 위한 구성 요소들(56)은 도 3에 도시된 것과 같은 디폴트 페이로드 길이 정보(60)를 포함할 수 있다. 그러한 경우에 있어서, 각각의 서브스트림의 확장 요소 형태의 프레임 요소들(22b)이 페이로드 길이를 분명히 전송하는 대신에 각각의 서브스트림을 위한 각각의 구성 요소(56) 내에 포함되는 이러한 디폴트 페이로드 길이 정보(60)를 적용하는 것이 가능하다. 특히, 도 3에 도시된 것과 같이, 그러한 경우에 있어서 길이 정보(58)는 만일 디폴트 페이로드 길이 플래그(64)가 설정되지 않으면, 확장 페이로드 길이 값(66)이 따르는 디폴트 확장 페이로드 길이 플래그(64) 형태의 조건부 구문 부(62)를 포함할 수 있다. 확장 요소 형태의 어떠한 프레임 요소(22b)도 확장 요소 형태의 각각의 프레임 요소(22b)의 길이 정보(62)의 디폴트 확장 페이로드 길이 플래그(64)가 설정된 경우에 상응하는 구성 요소(56) 내의 정보(60)에 의해 표시되는 것과 같은 디폴트 확장 페이로드 길이를 가지며, 확장 요소 형태의 각각의 프레임(22b)의 길이 정보의 디폴트 확장 페이로드 길이 플래그(64)가 설정되지 않은 경우에 확장 요소 형태의 각각의 프레임 요소(22b)의 길이 정보(58)의 확장 페이로드 길이 값(66)과 상응하는 확장 페이로드 길이를 갖는다. 즉, 확장 페이로드 길이 값(66)의 명백한 코딩은 단지 각각 상응하는 서브스트림 및 요소 위치의 구성 요소(56) 내의 디폴트 페이로드 길이 정보(60)에 의해 표시되는 것과 같은 디폴트 확장 페이로드 길이를 적용하는 것이 가능할 때마다 인코더(24)에 의해 방지될 수 있다. 디코더(36)는 다음과 같이 작용한다. 이는 구성 요소(56)를 판독하는 동안에 디폴트 페이로드 길이 정보(60)를 판독한다. 상응하는 서브스트림의 프레임 요소(22b)를 판독할 때, 디코더(36)는 이러한 프레임 요소들의 길이 정보를 판독하는데 있어서, 디폴트 확장 길이 플래그(64)를 판독하고 이것이 설정되는지 않는지를 검사한다. 만일 디폴트 페이로드 길이 플래그(64)가 설정되지 않으면, 디코더는 각각의 프레임 요소의 확장 페이로드 길이를 획득하기 위하여 비트스트림으로부터 조건부 구문 부(62)의 확장 페이로드 길이 값(66)의 판독을 진행한다. 그러나, 만일 디폴트 페이로드 플래그(64)가 설정되면, 디코더(36)는 정보(60)로부터 유래하는 것과 같은 디폴트 확장 페이로드 길이와 동일하도록 각각의 프레임의 확장 페이로드 길이를 설정한다. 디코더(36)의 생략은 그리고 나서 생략 간격 길이, 즉, 현재 프레임(20)의 그 다음의 프레임 요소(22) 또는 그 다음 프레임(20)의 시작을 액세스하기 위하여 생략되려는 비트스트림(12)의 부의 길이로서 방금 결정된 확장 페이로드 길이를 사용하여 현재 프레임 요소의 페이로드 섹션(68)의 생략을 포함한다.
따라서, 이전에 설명된 것과 같이, 특정 서브스트림의 확장 요소 형태의 프레임 요소들의 페이로드 길이의 프레임-방식 반복 전송(frame-wise repeated transmission)은 이러한 프레임 요소들의 다양한 페이로드 길이가 오히려 낮을 때마다 플래그(64) 메커니즘을 사용하여 방지될 수 있다.
그러나, 특정 서브스트림의 확장 요소 형태의 프레임 요소들에 의해 전달되는 페이로드가 프레임 요소들의 페이로드 길이에 관한 그러한 통계를 갖는지, 그리고 따라서 디폴트 페이로드 길이를 확장 요소 형태의 프레임 요소들의 그러한 서브스트림의 구성 요소 내로 명백하게 전송하는 것이 가치가 있는지가 분명하지 않기 때문에, 또 다른 실시 예에 따라, 디폴트 페이로드 길이 정보(60)는 또한 다음의 특정 구문 예에서 UsacExtElementDefaultLengthPresent로 불리고 디폴트 페이로드 길이의 분명한 전송이 발생하는지를 표시하는 플래그(60a)를 포함하는 조건부 구문 부에 의해 구현된다. 만일 설정되면, 조건부 구문 부는 다음의 특정 구문 예에서 UsacExtElementDefaultLength로 불리는 디폴트 페이로드 길이의 분명한 전송(60b)을 포함한다. 그렇지 않으면, 디폴트 페이로드 길이는 디폴드에 의해 0으로 설정된다, 후자의 경우에 있어서, 디폴트 페이로드 길이의 명백한 전송이 방지되기 때문에 비트스트림 비트 소비가 절약된다. 즉, 디코더(36, 및 이전에 그리고 이후에 설명되는 모든 판독, 과정들에 대한 책임이 있는 분배기(40))는 디폴트 페이로드 길이 정보(60)를 판독하는데 있어서, 비트스트림(12)으로부터 디폴트 페이로드 길이 존재 플래그(60a)를 판독하고, 디폴트 페이로드 길이 존재 플래그(60a)가 설정되는지를 검사하도록 구성될 수 있으며, 만일 디폴트 페이로드 길이 존재 플래그(60a)가 설정되면, 디폴트 페이로드 길이를 0으로 설정하고, 만일 디폴트 페이로드 길이 존재 플래그(60a)가 설정되지 않으면, 비트스트림(12)으로부터 디폴트 확장 페이로드 길이(60b, 주로, 플래그(60a) 다음의 필드(60b))를 분명하게 판독한다.
디폴트 페이로드 길이 메커니즘에 더하여, 또는 대안으로서, 길이 정보(58)는 확장 페이로드 존재 플래그(extension payload present flag, 70)을 포함할 수 있는데 길이 정보(58)의 페이로드 데이터 존재 플래그(70)가 설정되지 않은, 확장 요소 형태의 어떠한 프레임 요소(22b)는 단지 확장 페이로드 존재 플래그(70)로만 구성되고 그것이 전부다. 즉 어떠한 페이로드 섹션(68)도 존재하지 않는다. 다른 한편으로, 길이 정보(58)의 페이로드 데이터 존재 플래그(70)가 설정되는, 확장 요소 형태의 어떠한 프레임 요소(22b)의 길이 정보(58)는 각각의 프레임(22b)의 확장 페이로드 길이, 즉, 그것의 페이로드 섹션(68)의 길이를 나타내는 구문 부(62 또는 66)를 더 포함한다. 디폴트 페이로드 길이 메커니즘에 더하여, 즉, 디폴트 확장 페이로드 길이 플래그(64)와 결합하여, 확장 페이로드 존재 플래그(70)는 확장 요소 형태의 각각의 프레임 요소에 2가지의 효율적으로 코딩할 수 있는 페이로드 길이, 즉 한편으로는 0 및 다른 한편으로는 디폴트 페이로드 길이, 즉 가장 가능성 있는 페이로드 길이를 제공하는 것을 가능하게 한다.
확장 요소 형태의 현재 프레임 요소(22b)의 길이 정보를 분석하거나 판독하는데 있어서, 디코더(36)는 비트스트림(12)으로부터 확장 페이로드 존재 플래그(70)를 판독하고, 확장 페이로드 존재 플래그(70)가 설정되는지를 검사하며, 만일 확장 페이로드 존재 플래그(70)가 설정되지 않으면, 각각의 프레임 요소(22b)의 판독을 중단하고 현재 프레임(20)의 또 다른, 그 다음의 프레임 요소(22)의 판독을 진행하거나 또는 그 다음 프레임(20)의 판독 또는 분석을 시작한다. 반면에 만일 페이로드 데이터 존재 플래그(70)가 설정되면, 디코더(36)는 구문 부(62) 또는 적어도 부(만일 이러한 메커니즘이 이용가능하지 않기 때문에 플래그(64)가 존재하지 않으면)를 판독하고 만일 현재 프레임 요소(22)이 페이로드가 생략되면, 생략 간격 길이로서 확장 요소 형태의 각각의 프레임 요소(22b)의 확장 페이로드 길이를 사용함으로써 페이로드 섹션(68)을 생략한다.
위에 설명된 것과 같이, 확장 요소 형태의 프레임 요소들은 오디오 코덱의 미래 확장들 또는 현재 디코더에는 적합하지 않은 대안의 확장들을 수용하기 위하여 확장 요소 형태의 프레임 요소들이 제공될 수 있으며, 그에 알맞게 확장 요소 형태의 프레임 요소들이 구성가능해야만 한다. 특히, 일 실시 예에 따라, 구성 블록(28)은 형태 표시부(52)가 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 확장 요소 형태를 위한 구성 정보를 포함하는 구성 요소(56)를 포함하는데, 구성 정보는 위에 설명된 컴포넌트들에 더하여 또는 대안으로서, 복수의 페이로드 데이터 형태 중에서 하나의 페이로드 데이터 형태를 표시하는 확장 요소 형태 필드(72)를 포함한다. 일 실시 예에 따라, 복수의 페이로드 데이터 형태는 예를 들면, 미래 개발을 위한 다른 데이터 형태들 이외에 다중 채널 부가 정보 형태 및 다중 대상 부가 정보 형태를 포함한다. 표시되는 페이로드 데이터 형태에 따라, 구성 요소(56)는 부가적으로 페이로드 데이터 형태 특이 구성 데이터를 포함한다. 따라서, 각각 상응하는 요소 위치에서의 프레임 요소들(22) 및 각각의 서브스트림의 프레임 요소들(22)은 그것의 페이로드 섹션들(68) 내에 표시된 페이로드 데이터 형태와 상응하는 페이로드 데이터를 전달한다. 페이로드 데이터 형태 특이 구성 데이터(74)의 페이로드 데이터 형태로의 적용을 허용하기 위하여, 그리고 또 다른 페이로드 데이터 형태들의 미래 개발들에 대한 예약을 허용하기 위하여, 아래에 설명되는 특정 구문 실시 예들은 부가적으로 UsacExtElementConfigLength라 불리는 구성 요소 길이 값을 포함하는 확장 요소 형태의 구성 요소들(56)을 갖는데 따라서 현재 스트림을 위하여 표시되는 페이로드 데이터 형태를 알지 못하는 디코더들(36)은 그 다음의 요소 위치의 요소 형태 구문 요소(54)와 같은 뒤따르는 비트스트림(12)의 부 또는 도 4a와 관련하여 도시될 것과 같이 구성 블록(28) 또는 일부 다른 데이터 다음으로 제 1 프레임의 시작을 즉시 액세스하기 위하여 구성 요소(56) 및 그것의 페이로드 데이터 형태 특이 구성 데이터(74)를 생략할 수 있다. 특히, 구문을 위한 다음의 특정 실시 예에서, 다중 채널 부가 정보 구성 데이터는 SpatialSpecificConfig 내에 포함되나, 다중 대상 부가 정보 구성 데이터는 SaocSpecificConfig 내에 포함된다.
후자의 양상에 따라, 디코더(36)는 구성 블록(28)을 판독하는데 있어서, 형태 표시부(52)가 확장 요소 형태를 표시하는 각각의 요소 위치 또는 서브스트림을 위하여 다음의 단계들을 실행하도록 구성될 수 있다:
복수의 이용가능한 페이로드 데이터 형태 중에서 하나의 페이로드 데이터 형태를 나타내는 확장 요소 형태 필드(72)를 판독하는 단계를 포함하는, 구성 요소(56)를 판독하는 단계,
만일 확장 요소 형태 필드(72)가 다중 채널 부가 정보 형태를 나타내면, 비트스트림(12)으로부터 구성 정보의 일부로서, 다중 채널 부가 정보 구성 데이터(74)를 판독하는 단계, 및 만일 확장 요소 형태 필드(72)가 다중 대상 부가 정보 형태를 나타내면, 비트스트림(12)으로부터 구성 정보의 일부로서, 다중 대상 부가 정보 구성 데이터(74)를 판독하는 단계.
그리고 나서, 상응하는 프레임 요소들(22b), 즉, 각각 상응하는 요소 위치 및 서브스트림의 요소들을 디코딩하는데 있어서, 디코더(36)는 다중 채널 부가 정보 형태를 표시하는 페이로드 데이터 형태의 경우에, 다중 채널 부가 정보 구성 데이터(74)를 사용하고 이에 따라 구성된 다중 채널 디코더(44e)에 다중 채널 부가 정보로서 각각의 프레임 요소들(22b)의 페이로드 데이터(68)를 제공하는 다중 채널 디코더(44e)를 구성할 수 있고, 다중 대상 부가 정보 형태를 표시하는 페이로드 데이터 형태의 경우에, 다중 대상 부가 정보 구성 데이터(74)를 사용하고 이에 따라 구성된 다중 대상 디코더(44e)에 프레임 요소(22b)의 페이로드 데이터(68)를 제공하는 다중 채널 디코더(44e)를 제공하는 다중 대상 디코더(44d)를 구성함으로써 상응하는 프레임 요소들(22b)을 디코딩할 수 있다.
그러나, 만일 알려지지 않은 페이로드 데이터 형태가 필드(72)에 의해 표시되면, 디코더(36)는 또한 현재 구성 요소에 의해 포함되는 앞서 언급된 구성 길이값을 사용하여 페이로드 데이터 형태 특정 구성 데이터(74)를 생략할 수 있다.
예를 들면, 디코더(36)는 형태 표시부(52)가 확장 요소 형태를 나타내는 어떠한 요소 위치를 위하여, 구성 데이터 길이를 획득하기 위하여 각각의 요소 위치를 위한 구성 요소(56)의 구성 정보의 일부로서, 비트스트림(12)으로부터 구성 데이터 길이 필드(76)를 판독하고, 각각의 요소 위치를 위한 구성 요소의 구성 정보의 확장 요소 형태 필드(72)에 의해 표시되는 페이로드 데이터 형태가 복수의 페이로드 데이터 형태의 서브셋인 미리 결정된 페이로드 데이터 형태들의 세트에 속하는지를 검사하도록 구성될 수 있다. 만일 각각의 요소 위치를 위한 구성 요소의 구성 정보의 확장 요소 형태 필드(72)에 의해 표시되는 페이로드 데이터 형태가 미리 결정된 페이로드 데이터 형태들의 세트에 속하면, 디코더(36)는 데이터 스트림(12)으로부터 각각의 요소 위치를 위한 구성 요소의 구성 정보의 일부로서 페이로드 데이터 의존 구성 데이터(74)를 판독하고, 페이로드 데이터 의존 구성 데이터(74)를 사용하여, 프레임들(20) 내의 각각의 요소 위치에서 확장 요소 형태의 프레임 요소들을 디코딩한다. 그러나, 만일 각각의 요소 위치를 위한 구성 요소의 구성 정보의 확장 요소 형태 필드(72)에 의해 표시되는 페이로드 데이터 형태가 미리 결정된 페이로드 데이터 형태들의 세트에 속하지 않으면, 디코더는 구성 데이터 길이를 사용하여 페이로드 데이터 의존 구성 데이터(74)를 생략하고, 그 안의 길이 정보(58)를 사용하여 프레임들(20) 내의 각각의 요소 위치에서 확장 요소 형태의 프레임 요소들을 생략할 수 있다.
위의 메커니즘들에 더하여, 또는 대안으로서, 특정 서브스트림의 프레임 요소들은 완전히 프레임 당 하나보다는 오히려 단편들로 전송되도록 구성될 수 있다. 예를 들면, 확장 요소 형태들의 구성 요소들은 단편 사용 플래그(78)를 포함할 수 있으며, 디코더는 형태 표시부가 확장 요소 형태를 나타내고 구성 요소의 단편 사용 플래그(78)가 설정되는, 어떠한 요소 위치에 위치되는 프레임 요소들(22)을 판독하는데 있어서, 비트스트림(12)으로부터 단편 정보(80)를 판독하고, 연속적인 프레임들의 이러한 프레임 요소들의 페이로드 데이터를 종합하기 위하여 단편 정보들 사용하도록 구성될 수 있다. 다음의 특정 구문 예에서, 단편 사용을 위하여 플래그(78)가 설정되는 서브스트림의 각각의 확장 형태 프레임 요소는 한 쌍의, 서브스트림의 페이로드의 시작을 나타내는 시작 플래그, 및 서브스트림의 페이로드 아이템의 종료를 나타내는 종료 플래그를 포함한다. 이러한 플래그들은 다음의 특정 구문 예에서 usacExtElementSrat 및 usacExtElementStop으로 불린다.
또한, 위의 메커니즘들에 더하여, 또는 대안으로서, 동일한 가변 길이 코드가 길이 정보, 확장 요소 형태 필드(72), 및 구성 데이터 길이 필드(76)를 판독하도록 사용될 수 있으며, 그렇게 함으로서, 예를 들면, 디코더를 구현하기 위한 복잡도룰 낮추고, 미래 확장 요소 형태들, 더 큰 확장 요소 형태 길이들 등과 같이 거의 발생하지 않는 경우들에서 추가적인 비트들을 필요하게 함으로써 비트들을 절약한다. 그 뒤에 설명되는 특정 예에서, 이러한 가변 길이 코드는 도 4m으로부터 유래한다.
위를 요약하면, 디코더의 기능을 위하여 다음이 적용될 수 있다:
(1) 구성 블록(28)의 판독, 및
(2) 프레임들(20)의 시퀀스의 판독/분석. 단계 1 및 2는 디코더(36), 더 정확히는 분배기(distributor, 40)에 의해 실행된다.
(3) 오디오 콘텐츠의 재구성은 그러한 서브스트림들, 즉, 디코더(36)에 의해 디코딩이 지원되는, 요소 위치들의 프레임 요소들의 그러한 시퀀스들에 한정된다. 단계 3은 예를 들면, 그것들의 디코딩 모듈에서 디코더(36) 내에 실행된다(도 2 참조).
따라서, 단계 1에서 디코더(36)는 각각 프레임(20) 당 서브스트림들의 수(50)와 프레임 요소들(22)의 수뿐만 아니라, 각각 이러한 서브스트림들과 요소 위치들 각각의 요소 형태를 드러내는 요소 형태 구문 부(52)를 판독한다. 단계 2에서 비트스트림의 분석을 위하여, 디코더(36)는 기리고 나서 비트스트림(12)으로부터 프레임들(20)의 시퀀스의 프레임 요소들(22)을 주기적으로 판독한다. 그렇게 함으로써, 디코더(36)는 위에 설명된 것과 같이 길이 정보(58)의 사용에 의해, 프레임 요소들 또는 그것들의 나머지/페이로드 부들을 생략한다. 세 번째 단계에서, 디코더(36)는 생략되지 않은 프레임 요소들을 디코딩함으로써 재구성을 실행한다.
단계 2에서 요소 위치들과 서브스트림들 중 어떤 것이 생략되는가를 판정하는데 있어서, 디코더(36)는 구성 블록(28) 내의 구성 요소들(56)을 검사할 수 있다. 그렇게 하기 위하여, 디코더(36)는 요소 형태 표시기들(54)과 프레임 요소들(22) 자체를 위하여 사용되는 것과 동일한 순서로 비트스트림(12)의 구성 블록(28)으로부터 구성 요소들(22)을 주기적으로 판독하도록 구성될 수 있다. 위에 표시된 것과 같이, 구성 요소들(22)의 주기적인 판독은 구문 요소들(22)의 주기적인 판독과 교차 배치될(interleave) 수 있다. 특히, 디코더(36)는 확장 요소 형태 서브스트림들의 구성 요소들(56) 내의 확장 요소 형태 필드(72)를 검사할 수 있다. 만일 확장 요소 형태가 지원되지 않는 것이면, 디코더(36)는 프레임들(20) 내의 각각의 프레임 요소 위치들에서 각각의 서브스트림과 상응하는 프레임 요소들(22)을 생략한다.
길이 정보(58)를 전송하는데 필요한 비트레이트를 용이하게 하기 위하여, 디코더(36)는 확장 요소 형태 서브스트림들의 구성 요소들(56), 및 특히 단계 1의 디폴트 페이로드 길이 정보(60)를 검사하도록 구성된다. 두 번째 단계에서, 디코더(36)는 생략되려는 확장 프레임 요소들(22)의 길이 정보(58)를 검사한다. 특히, 우선, 디코더(36)는 플래그(64)를 검사한다. 만일 설정되면, 디코더(36)는 프레임들의 프레임 요소들의 주기적인 판독/분석을 진행하기 위하여 생략되려는 나머지 페이로드 길이로서, 디폴트 페이로드 길이 정보(60)에 의해 각각의 서브스트림을 위하여 표시되는 디폴트 길이를 사용한다. 그러나, 만일 플래그(64)가 설정되지 않으면 그때 디코더(36)는 비트스트림(12)으로부터 페이로드 길이(66)를 명백하게 판독한다. 비록 위에서 명확히 설명되지 않았으나, 디코더(36)는 현재 프레임의 그 다음의 프레임 요소 또는 일부 부가적인 계산에 의한 그 다음의 프레임을 액세스하기 위하여 생략되려는 비트들 또는 바이트들의 수를 파생할 수 있다. 예를 들면, 디코더(36)는 플래그(78)와 관련하여 위에 설명된 것과 같이, 단편 메커니즘이 활성화되는지 그렇지 않은지를 고려할 수 있다. 만일 활성화되면, 디코더(36)는 플래그(78) 세트를 갖는 서브스트림이 프레임 요소들은 어떤 경우라도 단편 정보(80)를 가지며 따라서, 페이로드 데이터(68)는 설정되지 않은 단편 플래그(78)의 경우에 가질 수 있는 것과 같이 늦게 시작한다는 것을 고려할 수 있다.
단계 3의 디코딩에서, 디코더는 평소처럼 작용한다: 즉, 개별 스트림들이 도 2에 도시된 것과 같이, 각각의 디코딩 메커니즘들 또는 디코딩 모듈들의 대상이며, 일부 서브스트림은 확장 서브스트림들의 특정 예들과 관련하여 위에서 설명되었던 것과 같이 다른 서브스트림들에 관하여 부가 정보를 형성할 수 있다.
디코더 기능과 관련한 다른 가능한 세부설명과 관련하여, 위의 논의들이 참조된다. 완전성만을 위하여, 디코더(36)는 또한 주로 생략되려는 그러한 요소 위치들을 위하여, 단계 1의 구성 요소들의 또 다른 분석(parsing)을 생략할 수 있는데, 그 이유는 예를 들면, 필드(76)에 의해 표시되는 확장 요소 형태는 지원되는 확장 요소 형태들의 세트와 일치하지 않기 때문이다. 그리고 나서, 디코더(36)는 구성 요소들(56)을 주기적으로 판독/분석하는데 있어서, 각각의 구성 요소를 생략하기 위하여, 즉, 그 다음의 요소 위치의 형태 표시기(54)와 같은 비트스트림 구문 요소를 액세스하기 위하여 비트들/바이트들의 각각의 수를 생략하는데 있어서 구성 길이 정보를 사용할 수 있다.
위에서 설명된 특정 구문 실시 예를 계속 설명하기 전에, 본 발명은 통합 음성 및 오디오 코딩 및, 주파수 도메인 코딩 같은 고급 오디오 코딩 및 파라미터 코딩(ACELP)과 변환 코딩(TCX)을 사용하는 선형 예측 코딩 사이의 혼합 또는 전환을 사용하는 전환 코어 코딩 같은 그것의 측면들로 구현되는 것으로 한정되지 않는다는 것을 이해하여야 한다. 오히려, 위에 설명된 서브스트림들은 어떠한 코딩 방식을 사용하는 오디오 신호들을 표현할 수 있다. 게다가, 아래에 설명되는 특정 구문 실시 예는 스펙트럼 대역 복제가 단일 채널 및 채널 쌍 요소 형태 서브스트림들을 사용하여 오디오 신호들을 표현했던 코어 코덱의 코딩 옵션이라고 가정하나, 스펙트럼 대역 복제는 또한 후자의 요소 형태들의 어떠한 옵션도 존재하지 않을 수 있으며, 단지 확장 요소 형태들을 사용하여 사용할 수 있다.
다음에서 비트스트림(12)을 위한 특정 구문 예가 설명된다. 특정 구문 예는 도 3의 실시 예를 위한 가능한 구현을 표현하고 다음의 구문의 구문 요소들과 도 3의 비트스트림의 구조 사이의 용어 색인은 도 3의 각각의 표시와 도 3의 설명으로부터 나타내거나 유래한다는 것을 이해하여야 한다. 다음이 특정 예의 기본 양상들이 이제 설명된다. 이와 관련하여, 도 3과 관련하여 위에서 이미 설명된 것과 더하여 어떠한 부가 설명들도 도 3의 실시 예의 가능한 확장으로 이해되어야 한다는 것에 유의해야 한다. 이러한 모든 확장들은 개별적으로 도 3의 실시 예에 포함될 수 있다. 최종 주의로서, 아래에 설명되는 특정 구문 예는 각각 도 5a 및 5b의 디코더와 인코더를 언급한다는 것에 유의하여야 한다.
오디오 컨텐츠에 포함된, 샘플링 레이트, 정확한 채널 구성 같은, 높은 레벨 정보는 오디오 비트스트림에 존재한다. 이는 비트스트림을 더 독립적으로 만들며 이 정보를 명백히 전송할 수단을 갖지 않을 수 있는 전송 설계에 내장될 때 구성 및 페이로드의 전송을 쉽게 만든다.
구성 구조는 결합된 프레임 길이 및 스펙트럼 대역 복제 샘플링 레이트 비율 지수(coreSbrFrameLengthIndex))를 포함한다. 이는 양쪽 값들의 효율적인 전송을 담보하고 프레임 길이 및 스펙트럼 대역 복제 비율의 의미없는 조합들이 신호화될 수 없다는 것을 확실히 한다. 후자(latter)는 디코더의 실시를 단순화한다.
이러한 구성은 전용 구성 확장 메커니즘 수단에 의해 확장될 수 있다. 이는 MPEG-4 AudioSpecificConfig()으로부터 알려진 구성 확장들의 부피가 크고 비효율적인 전송을 방지할 것이다. 구성은 각각 전송된 오디오 채널과 관련된 확성기 위치들의 자유로운 시그널링(신호화)를 가능케 한다. 확성기 맵핑에 일반적으로 이용되는 채널의 시그널링은 channelConfigurationIndex 수단에 의해 효율적으로 시그널링 될 수 있다. 각 채널 요소에 대한 구성은 개별 구조에 함유되고 각 채널 요소는 독립적으로 구성될 수 있다.
스펙트럼 대역 복제 구성 데이터("SBR header")는 SbrInfo() 및 SbrHeader()로 분할된다. SbrHeader()에 대해 디폴트 버젼(default version)이 정의되고(SbrDfltHeader()), 이는 비트스트림에서 효율적으로 참조될 수 있다. 이는 SBR 구성의 재전송이 요구되는 곳에서 비트 수요를 감소시킨다.
SBR에 더 일반적으로 적용되는 구성 변화들은 SbrInfo() 구문 요소의 도움으로 효율적으로 시그널링 될 수 있다.
파라미터(매개변수) 대역폭 확장(SBR) 및 파라미터(매개변수) 스테레오 코딩 툴들(MPS212, aka. MPEG Surround 2-1-2)에 대한 구성은 USAC 구성 구조에 단단히 통합된다. 이는 양 기술들이 기준에서 실제로 이용되는 방식으로 더 잘 표현한다.
구문은 코덱에 존재하는 그리고 미래 확장들의 전송들을 허용하는 확장 메커니즘을 특징으로 한다. 상기 확장들은 어떠한 순서로 채널 요소들에 맡겨질 수도 있다(즉, 끼워지는). 이는 확장이 적용될 특정 채널 요소 전 또는 후에 읽혀질 필요가 있는 확장들을 가능하게 한다.
디폴트 길이는 구문 확장에 대해 정의될 수 있고, 이는 일정한 길이 확장들의 전송을 매우 효율적으로 만들며, 이는 확장 페이로드의 길이가 언제나 전송될 필요는 없기 때문이다.
필요하다면 값들의 범위를 확장하기 위한 탈출 메커니즘의 도움으로 값을 시그널링하는(신호하는) 일반적인 케이스는(경우는) 비트 필드 확장들 및 모든 요구되는 탈출 값 무리들을 커버하기 충분하게 유연한 전용 진정(dedicated genuine) 구문 요소(escapedValue())에 모듈화된다.
비트스트림 구성(Bitstream Configuration )
UsacConfig () (도 4a)
UsacConfig() 은 디코더 설정(set-up)을 완성하기 위해 필요한 모든 것들 QNs만 아니라 함유된 오디오 컨텐츠에 대한 정보를 함유하도록 확장된다. 오디오(샘플링 레이트, 채널 구성, 출력 프레인 길이)에 대한 가장 높은 레벨 정보(top level information)는 더 높은 (응용) 레이어들로부터 용이한 엑세스를 위해 초기단계에서(at the beginning) 모아진다.
channelConfigurationIndex , UsacChannelConfig () (도 4b)
이러한 요소들은 확성기들로의 그들의 맵핑 및 함유된 비트스트림 구성요소들에 대한 정보를 준다. channelConfigurationIndex 은 실질적으로 관련이 있다고 생각되는 미리 설정된 모노, 스트레오 또는 멀티-채널 구성들의 범위로부터 하나를 시그널링하는(신호하는) 쉽고 편한 방법을 가능하게 한다.
channelConfigurationIndex 에 의해 커버되지 않는 더 정교한 구성들에 대해 UsacChannelConfig() 는 32 스피커 위치들의 리스트 밖의 확성기 위치에 대한 요소들의 자유로운 배치를 가능하게 하며, 이는 홈 또는 시네마 사운드 재생에 대해 모두 알려진 스피커 설정들에서 모든 현재 알려진 스피커 위치들을 커버한다.
스피커 위치들의 리스트는 MPEG 써라운드 기준(ISO/IEC 23003-1에서 도 1의 표1을 참조)에서 특징지어진 리스트의 확대집합(superset)이다. 네개의 추가 스피커 위치들은 최근 도입된 22.2 스피커 설정(도 3a, 3b, 4a 및 4b 참조)을 커버할 수 있도록 추가되었다.
UsacDecoderConfig () (도 4c)
이 요소는 디코더 구성의 중심에 있고 그것은 비트스트림을 해석하기 위해 디코더에 의해 요구되는 모든 추가 정보를 함유한다.
특히 비트스트림의 구조는 비트스트림에서 그들의 순서 및 요소들의 숫자를 명백히 언급하는 것에 의해 여기에서 정의된다.
모든 요소들에 대한 루프(loop)는 그 후 모든 타입들(단일, 쌍, 저주파수 향상, 확장)의 모든 요소들의 구성을 가능케한다.
UsacConfigExtension () (도 4l)
장래의 확장들을 설명하기 위해, 상기 구성은 USAC에 대한 아직 비-존재하는(non-existent) 구성 확장들에 대한 구성을 확장하기 위한 강력한 메커니즘을 특징으로 한다.
UsacSingleChannelElementConfig () (도 4d)
이 요소 구성은 하나의 단일 채널을 디코딩하기 위한 디코더를 구성하기 위해 필요한 모든 정보를 함유한다. 이는 필수적으로 코어 코더 관련 정보이고 SBR이 SBR 관련 정보에서 이용되는 경우이다.
UsacChannelPairElementConfig () (도 4e)
위와 유사하게 이 요소 구성은 하나의 채널 쌍을 디코딩하기 위한 디코더를 구성하는데 필요한 모든 정보를 포함한다. 위에서 언급된 코어 구성 및 SBR 구성에 추가하여 이는 (MPS212, 잔류물 등등과 함께 또는 없이) 적용되는 스테레오 코딩의 정확한 종류 같은 스테레오-특정 구성들을 포함한다. 이 요소는 USAC에서 이용가능한 스테레오 코딩 옵션들의 모든 종류들을 커버한다는 것에 주목하라.
UsacLfeElementConfig () (도 4f)
저주파수 향상 요소 구성은 저주파수 향상 요소가 고정 구성을 갖기 때문에 구성 데이터를 함유하지 않는다.
UsacExtElementConfig () (도 4k)
이 요소 구성은 코덱에 현재의 또는 장래의 확장의 어느 종류든 구성하기 위해 이용될 수 있다. 각 확장 요소 타입은 그 자신의 전용 ID 값을 갖는다. 길이 필드(length field)는 디코더에 알려지지 않은 구성 확장들을 편리하게 생략하는 것을 가능하게 하기 위해 포함된다. 디폴트 페이로드 길이의 선택적 정의는 실제 비트스트림에 존재하는 확장 페이로드들의 코딩 효율을 더 증가시킨다.
USAC에 결합되기 위해 이미 가시화된(envisioned) 확장들은 : MPEG 써라운드(Surround), SAOC, 및 MPEG-4 AAC로부터 알려진 FIL 요소의 몇몇 종류를 포함한다.
UsacCoreConfig () (도 4g)
이 요소는 코어 코더 설정에 영향을 갖는 구성 데이터를 함유한다. 현재 이것들은 시간 워핑 툴(time warping tool) 및 노이즈 필링 툴(noise filling tool)에 대한 스위치들(switches)이다.
SbrConfig () (도 4h)
sbr_header()의 잦은 재-전송에 의해 생성되는 비트 오버헤드(overhead)를 감소시키기 위해, 일반적으로 일정하게 유지되는 sbr_header()의 요소에 대한 디폴트 값은 이제 구성 요소 SbrDfltHeader() 에서 운반된다. 게다가, 고정 SBR 구성 요소들은 SbrConfig()에서도 운반된다. 이러한 고정 비트들은, 고조파 전위(transposition) 또는 인터 TES(inter TES) 같은, 향상된 SBR의 특정 특징들을 가능- 또는 불가능하게 하는 플래그들(flags)을 포함한다.
SbrDfltHeader () (도 4i)
이는 일반적으로 일정하게 유지되는 sbr_header() 의 요소들을 운반한다. 진폭 해상도(amplitude resolution), 크로스오버 밴드(crossover band), 스펙트럼 프리플래트닝(spectrum preflattening) 같은 요소가 작용하는 것들은 그것들이 즉시 효율적으로 변화되는 것을 가능하게 하는 SbrInfo() 에서 이제 운반된다.
Mps212Config () (도 4j)
위의 SBR 구성과 유사하게, MPEG 써라운드 2-1-2 툴들에 대한 모든 설정 파라미터(매개변수)들은 이 구성에서 조립된다. 이 컨텍스트에서 관계없는 또는 여분인 SpatialSpecificConfig()로부터의 모든 요소들은 제거된다.
비트스트림 페이로드( Bitstream Payload )
UsacFrame () (도 4n)
이는 USAC 비트스트림 주변에서 가장 외곽 래퍼(포장지, wrapper)이며 USAC 엑세스 유닛을 표현한다. 그것은 구성 파트에서 시그널링되는 것에 따라 모두 포함된 확장 요소들 및 채널 요소들에 대한 루프(loop)를 함유한다. 이는 그것이 함유할 수 있는 것이 무엇이냐는 관점에서 비트스트림 형식을 훨씬 더 유연하게 만들며 어떠한 장래 확장에 대한 장래 증거(future proof)이다.
UsacSingleChannelElement () (도 4o)
이 요소는 모노 스트림을 디코딩하기 위한 모든 데이터를 함유한다. 상기 컨텐츠는 코어 코더 관련 부분 및 eSBR 관련 부분에서 분할된다. 후자(latter)는 이제 코어에 훨씬 더 가까이 연결되며, 이는 데이터가 디코더에 의해 필요한 곳에서 또한 훨씬 좋은 순서(order)를 반영한다.
UsacChannelPairElement () (도 4p)
이 요소는 스테레오 쌍을 인코딩하기 위해 가능한 모든 방법들에 대한 데이터를 커버한다. 특히, 코딩 기반 레거시(legacy) M/S 부터 MPEG 써라운드 2-1-2의 도움을 갖는 완전 매개변수형 스테레오 코딩의 범위까지, 통합 스테레오 코딩의 모든 특징들이 커버된다. stereoConfigIndex 는 실제로 이용되는 특징들을 가리킨다. 적절한 eSBR 데이터 및 MPEG 써라운드 2-1-2 데이터는 이 요소에 보내진다.
UsacLfeElement () (도 4q)
이전 lfe_channel_element() 는 일관된 명명(네이밍, naming) 설계에 따르기 위해서만 재명명된다(renamed).
UsacExtElement () (도 4r)
확장 요소는 최대로 유연하게 그러나 동시에 작은 페이로드를 갖는 확장들에 대해서도 최대로 효율적일 수 있도록 신중히 설계된다. 확장 페이로드 길이는 그것을 생략하기 위한 모르는(nescient) 디코더들에 대해 시그널링된다. 유저-설정된 확장들은 확장 타입들의 예약된 범위의 수단에 의해 시그널링 될 수 있다. 확장들은 요소들의 순서로 자유롭게 위치될 수 있다. 확장 요소들의 범위는 필 바이트들(fill bytes)을 쓰기(write) 위한 메커니즘을 포함하여 이미 고려되었다.
UsacCoreCoderData () (도 4s)
이 새로운 요소는 코어 코더들에 영향을 미치는 모든 정보를 요약하고 이런 이유로 또한 fd_channel_stream()'s 및 lpd_channel_stream()'s 를 함유한다.
StereoCoreToolInfo () (도 4t)
구문의 가독성(readability)를 용이하게 하기 위해, 정보와 관련된 모든 스테레오는 이 요소에서 포획된다(captured). 그것은 스테레오 코딩 모드들에서 비트들의 수많은 의존도들을 다룬다.
UsacSbrData () (도 4x)
스케일링가능한 오디오 코딩의 레거시(legacy) 설명 요소들 및 CRC 기능성은 sbr_extension_data() 요소에서 이용되는 것으로부터 제거된다. 헤더 데이터(header data) 및 SBR 정보의 잦은 재전송에 의해 야기되는 오버헤드를 감소시키기 위해, 이러한 것들의 존재는 명백히 시그널링될 수 있다.
SbrInfo () (도 4y)
SBR 구성 데이터는 신속하게 자주 수정된다. 이는, 완전한 sbr_header()의 전송을 이전에 필요로 하는(6.3 in [N11660], "Efficiency" 참조), 진폭 해상도, 크로스오버 밴드, 스펙트럼 프리플래트닝(preflattening), 같은 것들을 제어하는 요소들을 포함한다.
SbrHeader () (도 4z)
sbr_header() 에서 값들을 신속하게 sbr_header() 에서 값들을 변화시키기 위한 SBR의 능력을 유지하기 위해, SbrDfltHeader()에 보내지는 것들이 이용되어야 하는 것보다 다른 값들의 경우에 UsacSbrData() 안에서 SbrHeader()을 운반하는 것이 가능하다. bs_header_extra 메커니즘은 가장 공통적인 케이스들에 대해 가능한 가장 낮은 오버헤드를 유지하기 위해 이용된다.
sbr _ data () (도 4za)
다시, SBR 스케일링 가능한 코딩의 USAC 컨텍스트에서 나머지들(remnants)는 제거되며 이는 그것들은 USAC 컨텍스트에서 적용가능하지 않기 때문이다. 채널들의 숫자에 의존하여 sbr_data()는 하나의 sbr_single_channel_element() 또는 하나의 sbr_channel_pair_element() 를 함유한다.
usacSamplingFrequencyIndex
이 표는 오디오 코덱의 샘플링 주파수를 시그널링하기 위해 MPEG-4에서 이용되는 표의 확대집합(superset)이다. 상기 표는 USAC 작업 모드들에서 현재 이용되는 샘플링 레이트들도 커버하기 위해 더 확장되었다. 샘플링 주파수들의 몇몇 배수들도 더해진다.
channelConfigurationIndex
이 표는 channelConfiguration(채널구성)을 시그널링하기 위해 MPEG-4에서 이용되는 표의 확대집합이다. 그것은 일반적으로 이용되고 가시화된 장래 확성기 설정들의 시그널링을 허용하도록 더 확장되었다. 이 표에 대한 지수는 장래 확장들을 허용하기 위해 5 비트들로 시그널링되었다.
usacElementType
오직 4 요소 타입들만 존재한다. 네개의 기본 비트스트림 요소들 각각에 대한 하나는 : UsacSingleChannelElement(), UsacChannelPairElement(), UsacLfeElement(), UsacExtElement() 이다. 이 요소들은 모두 유연성(flexibility)이 요구되는 유지(maintaining) 동안 필요한 최고 레벨 구조(top level structure)를 제공한다.
usacExtElementType
UsacExtElement()의 안에서, 이 요소는 확장들의 과잉(plethora)을 시그널링할 수 있게 한다. 장래 증거(프루프, proof)가 되기 위해 비트 필드는 모든 상상할 수 있는 확장들에 대해 가능하도록 충분히 크게 선택된다.
현재 알려진 확장들을 넘어 이미 몇몇들이 고려되도록 제안되었다 : 충전 요소(fill element), MPEG 써라운드, 및 SAOC.
usacConfigExtType
어떠한 포인트에서 구성을 확장하는 것이 필요하며 그 후 이는 각 새로운 구성에 타입을 할당하도록 허용하는 UsacConfigExtension() 수단에 의해 처리될 수 있다. 현재 시그널링 될 수 있는 유일한 타입은 상기 구성에 대한 충전 메커니즘이다.
coreSbrFrameLengthIndex
이 표는 디코더의 관점의 다중 구성을 시그널링 할 것이다. 특히 이것들은 출력 프레임 길이, SBR 비율 및 결과 코어 코더 프레임 길이(ccfl)들이다. 동시에 그것은 SBR에서 이용되는 QMF 분석 및 합성 대역들을 가리킨다.
stereoConfigIndex
이 표는 UsacChannelPairElement()의 내부 구조를 결정한다. 그것은 모노 또는 스테레오 코어의 이용, MPS212의 이용, 스테레오 SBR이 적용되는지 여부, 및 잔류 코딩이 MPS212에서 적용되는지 여부를 가리킨다.
디폴트 헤더 플래그 수단에 의해 참조될 수 있는 디폴트 헤더에 대한 eSBR 헤더 필드들의 큰 부분들을 움직이는 것에 의해, eSBR 제어 데이터를 전송하기 위한 비트 수요는 크게 감소된다. 현실 시스템에서 아마도 변화하는 것으로 고려되는 이전 sbr_header() 비트 필드들은 sbrInfo() 요소에 아웃소싱되고(outsourced) 이는 이제 8비트의 최대값을 커버하는 4 요소들로만 구성된다. sbr_header()에 비교하여, 이는 적어도 18비트들로 구성되고 이는 10비트를 절약한다.
전체 비트레이트상에서 이 변화의 영향(임팩트, impact)를 측정하는 것은 더 어렵고, 이는 그것이 sbrInfo()에서 eSBR 제어 데이터의 전송 레이트에 크게 의존하기 때문이다. 그러나, sbr 크로스오버가 비트스트림에서 변화된 곳에서의 이미 일반적인 이용에 대해 비트 절약(saving)은 완전히 전송된 sbr_header() 대신에 sbrInfo() 를 전송할 때 발생(occurrence) 당(per) 22비트만큼 높을 수 있다.
USAC 디코더의 출력은 MPEG 써라운드(MPS)(ISO/IEC 23003-1) 또는 SAOC (ISO/IEC 23003-2)에 의해 더 처리될 수 있다. 만약 USAC에서 SBR 툴이 유효상태라면(active), ISO/IEC 23003-1 4.4에서 HE-AAC 에 대해 설명된 것과 동일한 방식으로 QMF 영역에서 USAC 디코더는 그들을 묶는 것에 의해 이후 MPS/SAOC 디코더와 효율적으로 결합될 수 있다. QMF 영역에서 연결이 가능하지 않다면, 그것들은 시간 영역에서 연결된 필요가 있다.
MPS/SAOC 부가 정보(side information)은 usacExtElement 메커니즘 수단에 의해 (ID_EXT_ELE_MPEGS 또는 ID_EXT_ELE_SAOC USAC 인 usacExtElementType과 함께) 비트스트림에 내장되고, USAC 데이터 및 MPS/SAOC 데이터 사이의 시간-정렬은 USAC 디코더 및 MPS/SAOC 디코더 사이의 가장 효율적인 연결을 가정한다. USAC에서 SBR 툴이 유효한(active) 경우 만약 MPS/SAOC가 64 대역 QMF 영역 표현을 이용하는 경우 (ISO/IEC 23003-1 6.6.3 참조), 가장 효율적인 연결은 QMF 영역에서이다. 다른 경우에, 가장 효율적인 연결은 시간 영역에서이다. 이는 ISO/IEC 23003-1 4.4, 4.5, 및 7.2.1에서 정의되는 것처럼 HE-AAC 및 MPS 의 결합에 대한 시간-정렬에 대응한다.
USAC 디코딩 뒤에 MPS를 더하는 것에 의해 도입되는 추가 지연은 ISO/IEC 23003-1 4.5 에 의해 주어지며 HQ MPS 또는 LP MPS가 이용되는지 여부, 시간 영역에서 또는 QMF 영역에서 USAC 에 MPS가 연결되는지 여부에 의존한다.
ISO/IEC 23003-1 4.4 는 USAC 및 MPEG 시스템들 사이의 인터페이스를 명확히한다. 시스템 인터페이스로부터 오디오 디코더에 전달되는 모든 엑세스 유닛은 시스템 인터페이스로부터 전달되는 대응하는 구성 유닛, 즉 구성기(컴퍼지터, compositor),를 도출할 것이다. 이는 스타트-업 및 셧-다운(shut-down) 조건들, 즉, 엑세스 유닛들의 유한한 시퀀스에서 엑세스 유닛이 첫번째 또는 마지막일 때,를 포함한다.
오디오 구성 유닛에 대해, ISO/IEC 14496-1 7.1.3.5 구성 시간 스탬프(Composition Time Stamp , CTS)는 구성 유닛 내에서 구성 시간이 n-번째 오디오 샘플에 적용하는 것을 특정한다. USAC에 대해, n의 값은 언제나 1이다. 이는 USAC 디코더 그 자체의 출력에 적용된다는 것을 주의하라. USAC 디코더가, 예를 들어, USAC 디코더가 MPS 디코더와 결합되는 경우 MPS 디코더의 출력에서 전달되는 구성 유닛들을 감안하기 위해 필요하다.
만일 MPS/SAOC 부가 정보가 usacExtElement 메커니즘(ID_EXT_ELE_MPEGS 또는 ID_EXT_ELE_SAOC인 ExtElementType을 갖는)에 의해 USAC 비트스트림 내로 내장되면, 선택적으로, 다음의 제한들이 적용될 수 있다:
Figure 112013093887418-pct00050
MPS/SAOC sacTimeAlign 파라미터(ISO/IEC 23003-1 7.2.5 참조)는 값 0을 가져야만 한다.
Figure 112013093887418-pct00051
MPS/SAOC의 샘플링 주파수는 USAC의 출력 샘플링 주파수와 동일하여야만 한다.
Figure 112013093887418-pct00052
MPS/SAOC bsFramel이 충분한 파라미터(ISO/IEC 23003-1 5.2 참조)는 미리 결정된 리스트의 허용된 값들 중 하나를 가져야만 한다.
USAC 비트스트림 페이로드 구문이 도 4n 내지 4r에 도시되며, 부수적인 페이로드 요소들이 도 4s-w에 도시되며, 향상된 스펙트럼 대역 복제 페이로드 구문이 도 4x 내지 4zc에 도시된다.
데이터 요소들의 간략한 설명( Short Description of Data Elements )
UsacConfig () 이것은 함유된 오디오 컨텐츠 뿐만 아니라 완전한 디코더 설정을 위해 필요한 모든 정보를 함유한다.
UsacChannelConfig () 이 요소는 확성기들에 그들의 맵핑 및 함유된 비트스트림 요소들에 대한 정보를 준다.
UsacDecoderConfig () 이 요소는 비트스트림을 해석하기 위해 디코더에 의해 요구되는 모든 추가 정보를 포함한다. 특히 SBR 리샘플링 비율은 여기서 시그널링되며 비트스트림의 구조는 비트스트림에서 그들의 순서 및 요소들의 숫자를 명백히 언급하는 것에 의해 여기서 정의된다.
UsacConfigExtension () USAC 에 대한 추가 구성 확장을 위해 구성을 확장하기 위한 구성 확장 메커니즘
UsacSingleChannelElementConfig ()
UsacSingleChannelElementConfig()는 하나의 단일 채널을 디코딩하기 위한 디코더를 구성하기 위해 필요한 모든 정보를 포함한다. 이는 필수적으로 코어 코더 관련 정보이고 만약 SBR 이 이용되는 경우 SBR 관련 정보이다.
UsacChannelPairElementConfig () 위 요소 구성에 유사하게 하나의 채널 쌍을 디코딩하기 위한 디코더를 구성하는데 필요한 모든 정보를 포함한다. 위에서 언급된 코어 구성 및 sbr 구성에 더하여 이는 (MPS212, 잔류물 등등과 함께 또는 없이) 적용된 스테레오 코딩의 정확한 종류같이 이것은 스테레오 특정 구성을 포함한다. 이 요소는 USAC에서 현재 가능한 스테레오 코딩 옵션들의 모든 종류를 커버한다.
UsacChannelPairElementConfig () 위 내용에 유사하게 이 요소 구성은 한 채널 쌍을 디코딩하기 위한 디코더를 구성하기 위해 필요한 모든 정보를 함유한다.
UsacLfeElementConfig () 저주파수 향상 요소 구성은 저주파수 향상 요소가 고정 구성을 갖기 때문에 구성 데이터를 함유하지 않는다.
UsacExtElementConfig () 이 요소 구성은 코덱에 어떠한 종류의 기존 또는 추가 확장들을 구성하기 위해 이용될 수 있다. 각 확장 요소 타입은 그것의 자체 전용 타입 값을 갖는다. 길이 필드는 디코더에 알려지지 않은 구성 확장들을 생략할 수 있도록 포함된다.
UsacCoreConfig () 이는 코어 코더 셋-업에서 임팩트를 갖는 구성 데이터를 포함한다.
SbrConfig () 는 일반적으로 일정한 eSBR 의 구성 요소들에 대한 디폴트 값들을 포함한다. 게다가, 고정 SBR 구성 요소들은 SbrConfig()에서도 운반된다. 이러한 고정 비트들은, 고조파 전위 또는 인터(inter) TES 같은, 향상된 SBR 의 특정 특징들을 가능 또는 불가능하게 하는 플래그들(flags)을 포함한다.
SbrDfltHeader () 이 요소는 이러한 요소들에 대해 다르지 않은 값들이 요구되는 경우와 관련될 수 있는 SbrHeader() 의 요소들의 디폴트 버젼(version)을 운반한다.
Mps212Config () MPEG 써라운드 2-1-2 툴들에 대한 모든 설정 파라미터들은 이 구성에서 조립된다.
escapedValue () 이 요소는 다양한 수의 비트들을 이용하는 정수 값을 전송하기 위한 일반적인 방법을 실행한다. 그것은 추가 비트들의 연속적인 전송에 의해 값들의 표현할 수 있는 범위를 확장하는 것을 가능하게 하는 2 레벨 탈출 메커니즘(two level escape mechanism)을 특징으로 한다.
usacSamplingFrequencyIndex 이 지수는 디코딩 후에 오디오 신호의 샘플링 주파수를 결정한다. usacSamplingFrequencyIndex 의 값 및 그들의 관련된 샘플링 주파수들은 표 C에서 설명된다.
표 C - usacSamplingFrequencyIndex 의 값 및 의미
usacSamplingFrequencyIndex sampling frequency
(샘플링 주파수)
0x00 96000
0x01 88200
0x02 64000
0x03 48000
0x04 44100
0x05 32000
0x06 24000
0x07 22050
0x08 16000
0x09 12000
0x0a 11025
0x0b 8000
0x0c 7350
0x0d reserved
0x0e reserved
0x0f 57600
0x10 51200
0x11 40000
0x12 38400
0x13 34150
0x14 28800
0x15 25600
0x16 20000
0x17 19200
0x18 17075
0x19 14400
0x1a 12800
0x1b 9600
0x1c reserved
0x1d reserved
0x1e reserved
0x1f escape value
NOTE : UsacSamplingFrequencyIndex 0x00 에서 0x0e 까지의 값들은 ISO/IEC 14496-3:2009 에서 특정된 AudioSpecificConfig()에 포함된 0x0 에서 0xe 까지의 samplingFrequencyIndex 의 것들과 동일하다.
usacSamplingFrequency usacSamplingFrequencyIndex 가 0인 경우 서명이 없는 정수 값에 따라 코딩된 디코더의 출력 샘플링 주파수.
channelConfigurationIndex 이 지수는 채널 구성을 결정한다. channelConfigurationIndex > 0 인 경우 상기 지수는 표 Y에 따라 맵핑하는 관련 확성기 및 채널 요소들, 채널들 숫자를 분명하게 정의한다. 확성기 위치들의 이름들, 이용된 축약들 및 이용가능한 확성기들의 일반적 위치는 도 3a, 3b, 도 4a 및 4b로부터 추측될 수 있다.
bsOutputChannelPos 이 지수는 도 4a 에 따라 주어진 채널에 관련된 확성기 위치들을 설명한다. 도 4b는 청취자의 3D 환경에서 확성기 위치를 가리킨다. 확성기 위치들의 이해를 돕기 위하여 도 4a는 관심있는 리더들(reader)에 대한 정보에 대해 여기에 나열된 IEC 100/1706/CDV에 따라 확성기 위치들을 포함한다.
표 - coreSbrFrameLengthIndex 에 의존하는 numSlots 및 coreCoderFrameLength, sbrRatio , outputFrameLength 의 값들
Index
(지수) 		coreCoder - FrameLength sbrRatio
( sbrRatioIndex ) 		output - FrameLength Mps212 numSlots
0 768 no SBR (0) 768 N.A.
1 1024 no SBR (0) 1024 N.A.
2 768 8:3 (2) 2048 32
3 1024 2:1 (3) 2048 32
4 1024 4:1 (1) 4096 64
5-7 reserved
usacConfigExtensionPresent 는 구성에 확장들의 존재를 표시한다.
numOutChannels 는 channelConfigurationIndex 의 값이 미리-설정된 채널 구성들 중 아무것도 이용되지 않는다는 것을 가리키는 경우 그 후 이 요소는 특정 확정기 위치가 관련되는 것에 대해 오디오 채널들의 숫자를 결정한다.
numElements 이 필드는 UsacDecoderConfig() 에서 요소 타입들에 대한 루프(loop)에서 따를 요소들의 숫자를 포함한다.
usacElementType [elemIdx] 는 비트스트림에서 위치 elemIdx 에서의 요소들의 USAC 채널 요소 타입을 정의한다. 네개의 요소 타입들이 존재하며, 네개의 기초 비트스트림 요소들 각각에 대한 하나는 : UsacSingleChannelElement(), UsacChannelPairElement(), UsacLfeElement(),UsacExtElement()이다. 이 요소들은 모든 필요한 유연성(flexibility)을 유지(maintaining)하는 동안 필요한 최고 레벨 구조(top level structure)를 공급한다. usacElementType 의 의미는 표 A에서 정의된다.
표 A - usacElementType 의 값
usacElementType Value(값)
ID_USAC_SCE 0
ID_USAC_CPE 1
ID_USAC_LFE 2
ID_USAC_EXT 3
stereoConfigIndex 이 요소는 UsacChannelPairElement()의 내부 구조를 결정한다. 그것은 단일 또는 스테레오 코어의 이용, MPS212, 스테레오 SBR이 적용되는지 여부, 잔류 코딩이 표 ZZ에 따라 MPS212에서 적용되는지 여부를 가리킨다. 이 요소는 또한 보조 요소들(helper elements) bsStereoSbr 및 bsResidualCoding 의 값들을 정의한다.
표 ZZ - stereoConfigIndex 의 값들 및 그 의미 그리고 bsStereoSbr 및 bsResidualCoding 의 내재된 배치
stereoConfigIndex meaning (의미) bsStereoSbr bsResidualCoding
0 regular CPE (no MPS212) N/A 0
1 single channel + MPS212 N/A 0
2 two channels + MPS212 0 1
3 two channels + MPS212 1 1
tw _ mdct 이 플래그는 이 스트림에서 시간-워프된 MDCT의 이용을 시그널링한다(신호한다)
noiseFilling 이 플래그는 FD 코어 코더에서 스펙트럼 홀들의 노이즈 필링의 이용을 시그널링한다.
harmonicSBR 이 플래그는 SBR 에 대한 고조파 패칭의 이용을 시그널링한다.
bs _ interTes 이 플래그는 SBR에서 inter-TES의 이용을 시그널링한다.
dflt _ start _ freq 이것은, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_start_freq 에 대한 디폴트 값이다.
dflt _ stop _ freq 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_stop_freq 에 대한 디폴트 값이다.
dflt _ header _ extra1 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_header_extra1 에 대한 디폴트 값이다.
dflt _ header _ extra2 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_header_extra2 에 대한 디폴트 값이다.
dflt _ freq _ scale 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_freq_scale 에 대한 디폴트 값이다.
dflt _ alter _ scale 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_alter_scale 에 대한 디폴트 값이다.
dflt _ noise _ bands 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_noise_bands 에 대한 디폴트 값이다.
dflt _ limiter _ bands 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_limiter_bands에 대한 디폴트 값이다.
dflt _ limiter _ gains 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_limiter_gains에 대한 디폴트 값이다.
dflt _ interpol _ freq 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_interpol_freq에 대한 디폴트 값이다.
dflt _ smoothing _ mode 이는, 플래그 sbrUseDfltHeader 가 SbrHeader() 요소들에 대한 디폴트 값들이 추정된다는 것을 가리키는 경우에 적용되는, 비트스트림 요소 bs_smoothing_mode에 대한 디폴트 값이다.
usacExtElementType 이 요소는 비트스트림 확장들 타입들을 신호할 수 있게 한다. usacExtElementType 의 의미는 표 B에서 정의된다.
표 B - usacExtElementType 의 값
usacExtElementType Value (값)
ID_EXT_ELE_FILL 0
ID_EXT_ELE_MPEGS 1
ID_EXT_ELE_SAOC 2
/* reserved for ISO use */ 3-127
/* reserved for use outside of ISO scope */ 128 및 그 이상(128 and higher)
NOTE : 응용-특정 usacExtElementType 값들은 ISO 범위 밖의 이용을 위해 예약된 공간에 있도록 권한이 주어진다. 구조의 최소값(minimum)이 이 확장들을 생략하기 위해 디코더에 의해 요구되기 때문에 이들은 디코더에 의해 생략된다.
usacExtElementConfigLength 는 바이트들(octets)에서 확장 구성의 길이를 시그널링한다.
usacExtElementDefaultLengthPresent 이 플래그는 usacExtElementDefaultLength 이 UsacExtElementConfig()에서 운송되는지 여부를 시그널링한다.
usacExtElementDefaultLength 는 바이트들(bytes)에서 확장 요소의 디폴트 길이를 시그널링한다. 주어진 엑세스 유닛에서 확장 요소만이 이 값으로부터 벗어나는 경우, 추가 길이는 비트스트림에서 전송될 필요가 있다. 이 요소는 명백히 전송되는 경우(usacExtElementDefaultLengthPresent==0) 그 후 usacExtElementDefaultLength 의 값은 0으로 설정될 것이다.
usacExtElementPayloadFrag 이 플래그는 이 확장 요소의 페이로드가 분열될 수 있는지 그리고 연속 USAC 프레임들에서 몇몇 세그먼트들에 따라 전송할 수 있는지 여부를 표시한다.
numConfigExtensions 만약 구성에 대한 확장들이 UsacConfig() 에서 존재하는 경우 이 값은 시그널링된 구성 확장들을 가리킨다.
confExtIdx confExtIdx 구성 확장들에 대한 지수
usacConfigExtType 이 요소는 구성 확장 타입들을 시그널링할 수 있게 한다. usacExtElementType 의 의미는 표 D에서 정의된다.
표 D - usacConfigExtType 의 값
usacConfigExtType Value (값)
ID_CONFIG_EXT_FILL 0
/* reserved for ISO use */ 1-127
/* reserved for use outside of ISO scope */ 128 and higher
usacConfigExtLength 은 바이트들(octets)에서 구성 확장의 길이를 시그널링한다.
bsPseudoLr 이 플래그는 역 중간/측면(mid/side) 회전(rotation)이 Mps212 프로세싱에 앞서 코어 신호에 적용되어야 한다는 것을 시그널링한다.
표 - bsPseudoLr
bsPseudoLr Meaning (의미)
0 코어 코더 출력은 DMX/RES
(Core decoder output is DMX/RES)
1 코어 코더 출력은 유사 L/R
(Core decoder output is Pseudo L/R)
bsStereoSbr 이 플래그는 MPEG 써라운드 디코딩과 결합하는 스테레오 SBR 의 이용을 시그널링한다.
표 - bsStereoSbr
bsStereoSbr Meaning(의미)
0 모노 SBR(Mono SBR)
1 스테레오 SBR(Stereo SBR)
bsResidualCoding 는 아래 표에 따라 잔류 코딩이 적용되는지 여부를 가리킨다. bsResidualCoding 의 값은 stereoConfigIndex (X를 참조) 에 의해 정의된다.
표 - bsResidualCoding
bsResidualCoding Meaning (의미)
0 비 잔류 코딩, 코어 코더는 모노
(no residual coding, core coder is mono)
1 잔류 코딩, 코어 코더는 스테레오
(residual coding, core coder is stereo)
sbrRatioIndex eSBR 프로세싱 후 샘플링 레이트 및 코어 샘플링 레이트 사이의 비율을 가리킨다. 동시에 밑의 표에 따라 SBR에서 이용되는 합성 대역들 및 QMF 분석의 숫자를 가리킨다.
표 - sbrRatioIndex 의 정의
sbrRatioIndex sbrRatio QMF 대역 비율(QMF band ratio)
분석:합성(analysis:synthesis)
0 no SBR -
1 4:1 16:64
2 8:3 24:64
3 2:1 32:64
elemIdx UsacFrame() 및 UsacDecoderConfig() 에서 존재하는 요소들에 대한 지수.
UsacConfig ()
UsacConfig() 는 채널 구성 및 출력 샘플링 주파수에 대한 정보를 포함한다. 이 정보는 예를 들어, MPEG-4 AudioSpecificConfig()에서 이 요소 바깥으로 시그널링되는 정보와 동일할 것이다.
Usac Output Sampling Frequency
만약 샘플링 레이트(rate)가 오른쪽 컬럼(column)에서 나열된 레이트들 중 하나가 아닌 경우, 표들(코드 표들, 스케일 인수 대역 표들 등등)에 의존하는 샘플링 주파수는 비트스트림 페이로드가 파싱되기(parsed) 위해 추론되어야만 한다. 주어진 샘플링 주파수가 오직 하나의 샘플링 주파수 표와 관련되었기 때문에, 그리고 최대 유연성(flexibility)가 가능한 샘플링 주파수들의 범위에서 요구되기 때문에, 다음 표는 요구되는 샘플링 주파수 의존 표들과 적용된 샘플링 주파수를 관련시키도록 이용될 것이다.
표 1 - 샘플링 주파수 맵핑
주파수 범위 (in Hz) 샘플링 주파수에 대한 이용 표들(in Hz)
(Use tables for sampling frequency)
f >= 92017 96000
92017 > f >= 75132 88200
75132 > f >= 55426 64000
55426 > f >= 46009 48000
46009 > f >= 37566 44100
37566 > f >= 27713 32000
27713 > f >= 23004 24000
23004 > f >= 18783 22050
18783 > f >= 13856 16000
13856 > f >= 11502 12000
11502 > f >= 9391 11025
9391 > f 8000
UsacChannelConfig ()
채널 구성 표는 가장 일반적인 확성기 위치들을 커버한다. 추가 유연성을 위해 채널들은 다양한 응용들에서 현대의 확성기 설정들에서 발견되는 32 확성기 위치들의 전체적인 선택에 맵핑(mapped) 될 수 있다(도 3a, 3b 참조).
비트스트림에 포함된 각 채널에 대해 UsacChannelConfig() 는 이 특정 채널이 맵핑되는 곳에 관련 확성기 위치를 특정한다. bsOutputChannelPos 에 의해 색인된(연동된, indexed) 확성기 위치들은 도 4a에 나열되어 있다. 다중 채널 요소들의 경우에 bsOutputChannelPos[i] 의 지수 i 는 비트스트림에서 채널이 나타나는 위치를 가리킨다. 도 Y 는 청취자와의 관계에서 확성기 위치에 대한 개요를 준다.
더 정확하게 채널들은 그것들이 0(zero)로 시작하는 비트스트림에서 나타나는 시퀀스로 순서가 매겨진다. UsacSingleChannelElement() 또는 UsacLfeElement() 의 사소한 경우에 채널 숫자는 채널 숫자는 그 채널에 할당되고 채널 카운트(count)는 하나가 증가한다. UsacChannelPairElement() 의 경우 (지수 ch==0을 갖는) 그 요소에서의 제1채널이 첫번째로 순서가 매겨지며, 반면 (지수 ch==1을 갖는) 그 동일 요소에서 제2채널은 다음으로 높은 숫자를 받으며 채널 카운트는 2가 높아진다.
numOutChannels 은 비트스트림에 포함된 모든 채널들의 누적된 합보다 작거나 또는 그와 같을 것이다. 모든 채널들의 누적된 합은 모든 UsacSingleChannelElement()s 의 숫자에 모든 UsacLfeElement()s 의 숫자를 더하고 모든 UsacChannelPairElement()s 의 두 배 숫자를 더한 것과 같다.
배치(array) bsOutputChannelPos 에서 모든 입력들(entries)은 비트스트림에서 확성기 위치들의 이중 배치를 피하기 위해 상호 구별될 것이다.
channelConfigurationIndex 이 0 이고 numOutChannels 이 비트스트림에 포함된 모든 채널들의 누적된 합보다 작은 특별한 경우, 비-할당 채널(non-assigned channels)의 처리는 이 명세서 범위 밖이다. 이에 대한 정보는, 예를 들어, 특별히 설계된 (전용) 확장 페이로드들에 의해 또는 더 높은 응용 레이어들에서 적절한 수단에 의해 전달될 수 있다.
UsacDecoderConfig ()
UsacDecoderConfig()은 비트스트림을 해석하기 위해 디코더에 의해 요구되는 모든 추가 정보를 포함한다. 먼저 sbrRatioIndex 의 값은 코어 코더 프레임 기리 (ccfl) 및 출력 프레임 길이 사이의 비율을 결정한다. 다음 sbrRatioIndex 은 본 비트스트림에서 모든 채널 요소들에 걸친 루프(loop)이다. 각 반복에 대해 요소의 타입은 usacElementType[]에서 시그널링되고, 그 대응하는 구성 구조가 즉시 뒤따른다. UsacDecoderConfig() 에서 다양한 요소들이 존재하는 순서는 UsacFrame() 에서 대응하는 페이로드의 순서와 동일할 것이다.
요소의 각 인스턴스(instance)는 독립적으로 구성될 수 있다.UsacFrame() 에서 각 채널 요소를 읽을 때, 각 요소에 대해, 즉 동일 elemIdx를 가지는, 그 인스턴스의 대응하는 구성이 이용될 것이다.
UsacSingleChannelElementConfig ()
UsacSingleChannelElementConfig() 는 하나의 단일 채널을 디코딩하기 위해 디코더를 구성하기 위한 필요한 모든 정보를 포함한다. SBR 구성 데이터는 오직 SBR이 실제로 이용될 때만 전송된다.
UsacChannelPairElementConfig ()
UsacChannelPairElementConfig()은 코어 코더 관련 구성 데이터 뿐만 아니라 SBR의 이용에 의존하는 SBR 구성 데이터도 포함한다. 스테레오 코딩 알고리즘의 정확한 타입은 stereoConfigIndex에 의해 표시된다. USAC에서 채널 쌍은 다양한 방법으로 인코딩 될 수 있다. 이들은 :
1. MDCT 영역에서 복잡한 예측의 가능성에 의해 확장되는, 종래의 결합 스테레오 코딩 기술을 이용하는 스테레오 코어 코더 쌍
2. 완전히 파라미터적인 스테레오 코딩에 대해 MPS212 기반 MPEG 써라운드와 결합하는 모노 코어 코더 채널. 모노 SBR 프로세싱은 코어 신호 상에 적용된다.
3. MPS212 기반 MPEG 써라운드와 결합하는 스테레오 코어 코더 쌍, 여기서 제1코어 코더 채널은 다운믹스 신호를 운반하고 제2채널은 잔류 신호를 운반한다. 잔류물은 부분 잔류 코딩을 실현하기 위해 제한된 대역일 수 있다. 모노 SBR 프로세싱은 MPS212 프로세싱 전에 다운믹스 신호 상에만 적용된다.
4. MPS212 기반 MPEG 써라운드와 결합하는 스테레오 코어 코더 쌍, 여기서 제1코어 코더 채널은 다운믹스 신호를 운반하고 제2채널은 잔류 신호를 운반한다. 잔류물은 부분 잔류 코딩을 실현하기 위해 제한된 대역일 수 있다. 스테레오 SBR은 MPS212 프로세싱 후에 복원된 스테레오 신호상에 적용된다.
옵션 3 및 4는 코어 코더 뒤에 유사(pseudo) LR 채널 회전과 추가로 결합될 수 있다.
UsacLfeElementConfig ()
시간 워프된 MDCT의 이용 및 노이즈 필링이 저주파수 향상 채널들에 허용되지 않기 때문에, 이러한 도구들에 대해 통상적인 코어 코더 플래그를 전송할 필요가 없다. 그것들은 대신에 0으로 설정될 것이다.
또한 SBR의 이용은 LEF 컨텍스트에서 허용되지도 않고 의미있지도 않다. 그래서, SBR 구성 데이터는 전송되지 않는다.
UsacCoreConfig ()
UsacCoreConfig() 은 오직 글로벌 비트스트림 레벨 상에 스펙트럼 노이즈 필링 및 시간 워프된 MDCT 의 이용을 가능- 또는 불가능하게 하는 플래그들을 포함한다. 만약 tw_mdct가 0으로 설정되는 경우, 시간 워핑은 적용되지 않을 것이다. 만약 노이즈필링이 0으로 설정되는 경우 스펙트럼 노이즈 필링은 적용되지 않을 것이다.
SbrConfig ()
SbrConfig() 비트스트림 요소는 정확한 eSBR 설정 파라미터들을 시그널링하기 위한 목적으로 기능한다. 한편 SbrConfig() 은 eSBR 툴들의 일반적 이용을 시그널링한다. 다른 한편, 그것은 SbrHeader(), 및 SbrDfltHeader()의 디폴트 버젼을 포함한다. 다르지 않은 SbrHeader()가 비트스트림에서 전송되는 경우 이 디폴트 헤더의 값들이 추정될 것이다. 이 메커니즘의 배경은, 하나의 비트스트림에 일반적으로 SbrHeader() 값들의 오직 한 세트가 적용된다는 것이다. SbrDfltHeader() 의 전송은 비트스트림에서 오직 하나의 비트를 이용하여 아주 효율적으로 값들의 이 디폴트 집합(세트, set)을 참조할 수 있도록 한다. 즉시 SbrHeader 의 값들을 다양화하는 가능성은 비트스트림 그 자체에서 새로운 SbrHeader 의 대역-내 전송을 허용하는 것에 의해 여전히 보유될 수 있다.
SbrDfltHeader ()
SbrDfltHeader() 는 기본 SbrHeader() 템플릿이라 불릴수 있고 대부분 이용된 eSBR 구성에 대한 값들을 포함해야 한다. 비트스트림에서 이 구성은 sbrUseDfltHeader 플래그를 설정하는 것에 의해 언급될 수 있다. SbrDfltHeader() 의 구조는 SbrHeader()의 그것과 동일하다. SbrDfltHeader() 및 SbrHeader()의 값들 사이를 구별할 수 있도록, SbrDfltHeader() 의 비트 필드들은 "bs_" 대신에 "dflt_" 로 접두사가 붙여진다(prefixed). SbrDfltHeader() 의 이용이 표시되는 경우, SbrHeader() 비트 필드들은 대응하는 SbrDfltHeader()의 값들을 추정하는데, 즉,
bs_start_freq = dflt_start_freq;
bs_stop_freq = dflt_stop_freq;
등등.
(bs_xxx_yyy = dflt_xxx_yyy; : 같은 SbrHeader()에서의 모든 요소들에 대해 계속함)
Mps212Config ()
Mps212Config()은 MPEG 써라운드의 SpatialSpecificConfig() 과 유사하고 그것으로부터 추론된 큰 부분들에 있었다. 그러나 그것은 USAC 컨텍스트에서 모노 to 스테레오 업믹싱에 관련된 정보만을 포함하도록 크기가 감소된다. 결론적으로 MPS212는 오직 하나의 OTT 박스만 구성한다.
UsacExtElementConfig ()
UsacExtElementConfig() 는 USAC에 대한 확장 요소들의 구성 데이터에 대한 일반적인 컨테이너이다. 각 USAC 확장은, 도 6k에서 정의되는, usacExtElementType, 고유 타입 식별기를 갖는다. 각 UsacExtElementConfig() 에 대해 포함된 확장 구성의 길이는 다양한 usacExtElementConfigLength 에서 전송되고 디코더들이 usacExtElementType 가 알려지지 않은 확장 요소들을 안전하게 생략하는 것을 가능하게 한다.
일반적으로 일정한 페이로드 길이를 갖는 USAC 확장들에 대해, UsacExtElementConfig() 는 usacExtElementDefaultLength의 전송을 허용한다. 구성에서 디폴트 페이로드 길이를 정의하는 것은 UsacExtElement() 내에서 usacExtElementPayloadLength 의 고 효율 시그널링을 가능케하고, 여기서 비트 소비는 낮게 유지될 필요가 있다.
데이터의 더 큰 양이 프레임 당(per frame) 기준으로가 아닌 매 두번째 프레임마다 또는 훨씬 더 드물게 누적되고 전송되는 곳에서의 USAC 확장들의 경우에, 이 데이터는 몇몇 USAC 프레임들에 걸친 분할들(fragments) 또는 부분들(segments)로 전송될 수 있다.
이는 더 균등화된 비트 저장을 유지하기 위해 유용할 수 있다. 이 메커니즘의 이용은 플래그 usacExtElementPayloadFrag 플래그에 의해 시그널링된다. 분할 메커니즘(fragmentation mechanism)은 6.2.X.에서 usacExtElement 의 서술로 더 설명된다.
UsacConfigExtension ()
UsacConfigExtension()는 UsacConfig의 확장들에 대한 일반 컨테이너(container)이다. 그것은 디코더 초기화 또는 설정시에 변경되는 정보를 수정 또는 확장하기 위한 편리한 방법을 제공한다. 구성(config) 확장들의 존재는 usacConfigExtensionPresent 에 의해 표시된다. 만약 구성 확장들이 존재한다면(usacConfigExtensionPresent==1), 이러한 확장들의 정확한 숫자는 비트 필드 numConfigExtensions를 따른다. 각 구성 확장은 고유 타입 식별기(unique type identifier), usacConfigExtType 를 갖는다. 각 UsacConfigExtension 에 대해 포함된 구성 확장의 길이는 다양한 usacConfigExtLength 에서 전송되고 구성 비트스트림 파서(parser)가 usacConfigExtType 이 알려지지 않은 구성 확장들을 안전하게 생략할 수 있도록 한다.
오디오 개체( 오브젝트 , object ) 타입 USAC 에 대한 최고 레벨 페이로드들( Top level payloads for the audio object type USAC )
용어들 및 정의들( Terms and definitions )
UsacFrame() 이 데이터의 블록은 하나의 USAC 프레임의 시간 길이에 대한 오디오 데이터, 관련 정보 및 다른 데이터를 포함한다. UsacDecoderConfig()에서 시그널링 될 때, UsacFrame() 은 numElements 요소들을 포함한다. 이러한 요소들은, 하나 또는 두 채널들에 대한 오디오 데이터, 저주파수 향상 또는 확장 페이로드에 대한 오디오 데이터를 포함할 수 있다.
UsacSingleChannelElement() 축약형 SCE. 단일 오디오 채널에 대해 코딩된 데이터를 포함하는 비트스트림의 구문(Syntactic) 요소. single_channel_element() 는 기본적으로, FD 또는 LPD 코어 코더 중 하나에 대한 데이터를 포함하는, UsacCoreCoderData()로 구성된다. SBR이 유효한 경우, UsacSingleChannelElement 는 또한 SBR 데이터를 포함한다.
UsacChannelPairElement() 축약형 CPE. 채널들 쌍에 대한 데이터를 포함하는 비트스트림 페이로드의 구문 요소. 채널 쌍은 두개의 개별 채널들을 전송하는 것에 의해 또는 한개의 개별 채널 및 관련 Mps212 페이로드에 의해 어느 하나로 달성될 수 있다. 이는 stereoConfigIndex 의 수단에 의해 시그널링된다. UsacChannelPairElement은 SBR이 유효한 경우 SBR 데이터를 더 포함한다.
UsacLfeElement() 축약형 저주파수 향상. 낮은 샘플링 주파수 향상 채널을 포함하는 구문요소. 저주파수 향상들은 언제나 fd_channel_stream() 요소를 이용하여 인코딩된다.
UsacExtElement() 확장 페이로드를 포함하는 구문 요소. 확장 요소의 길이는 구성(USACExtElementConfig())에서 디폴트 길이에 따라 시그널링되거나 또는 UsacExtElement() 그 자체에서 시그널링된다. 만약 존재한다면, 구성에서 시그널링된 것에 따라, 확장 페이로드는 타입 usacExtElementType이다.
usacIndependencyFlag 는 현재 UsacFrame() 가 아래 표에 따라 이전 프레임들로부터 정보를 완전히 알지 못하고 디코딩 될 수 있는 경우를 가리킨다.
표 - usacIndependencyFlag 의 의미
usacIndependencyFlag 의 값
( value of usacIndependencyFlag ) 		의미( Meaning )
0 UsacFrame() 에서 운반된 데이터의 디코딩은 이전 UsacFrame()에 대한 엑세스를 필요로 할 수도 있다.
1 UsacFrame()에서 운반된 데이터의 디코딩은 이전 UsacFrame()에 대한 엑세스 없이도 가능하다.
NOTE : usacIndependencyFlag 의 이용에 있어 추천들(recommendations)에 대한 X.Y 를 참조하라.
usacExtElementUseDefaultLength
usacExtElementUseDefaultLength 는 확장 요소의 길이가, UsacExtElementConfig()에서 정의되었던, usacExtElementDefaultLength에 대응하는지 여부를 가리킨다.
usacExtElementPayloadLength
usacExtElementPayloadLength 는 바이트들에서 확장 요소의 길이를 포함할 것이다. 현재 엑세스 유닛에서 확장 요소의 길이가 디폴트 값, usacExtElementDefaultLength으로부터 벗어나는 경우 이 값은 비트스트림에서 오직 명백히 전송되어야 한다.
usacExtElementStart
usacExtElementStart 는 현재 usacExtElementSegmentData 이 데이터 블록을 시작하는 경우를 가리킨다.
usacExtElementStop
usacExtElementStop 는 현재 usacExtElementSegmentData 가 데이터 블록을 끝내는 경우를 가리킨다.
usacExtElementSegmentData
usacExtElementStart==1 을 갖는 UsacExtElement() 으로부터 시작해서 usacExtElementStop==1 을 갖는 UsacExtElement() 까지 포함하는, 연속적인 USAC 프레임들의 UsacExtElement() 으로부터 모든 usacExtElementSegmentData 의 연속(concatenation)은 하나의 데이터 블록을 형성한다. 하나의 UsacExtElement()에 완전한 데이터 블록이 포함되는 경우, usacExtElementStart 및 usacExtElementStop 은 양쪽 모두 1로 설정될 것이다. 데이터 블록들은 다음 표에 따른 usacExtElementType 에 의존하는 바이트 정렬된 확장 페이로드로 해석된다.
표 - USAC 확장 페이로드 디코딩에 대한 데이터 블록들의 해석
usacExtElementType 연속된 usacExtElementSegmentData 표현들 :
ID_EXT_ELE_FIL Series of fill _ byte
ID_EXT_ELE_MPEGS SpatialFrame()
ID_EXT_ELE_SAOC SaocFrame()
unknown 알려지지 않은 데이터. 데이터 블록은 버려질 것이다.
fill_byte
정보를 운반하지 않는 비트들을 가지고 비트스트림을 덧대기(pad) 위해 이용될 수 있는 비트들의 옥텟(octet). fill_byte를 위해 이용되는 정확한 비트 패턴은 '10100101'이어야 한다.
보조 요소들( Helper Elements )
nrCoreCoderChannels
채널 쌍 요소의 컨텍스트에서 이 변수는 스테레오 코딩에 대한 기초를 형성하는 코어 코더 채널들의 숫자를 가리킨다. stereoConfigIndex 값에 의존하여 이 값은 1 또는 2가 될 것이다.
nrSbrChannels
채널 쌍 요소의 컨텍스트에서 이 변수는 SBR 프로세싱이 적용되는 채널들의 숫자를 가리킨다. stereoConfigIndex 의 값에 의존하여 이 값은 1 또는 2가 될 것이다.
USAC 에 대한 보조 페이로드들( Subsidiary payloads )
용어들 및 정의들(Terms and Definitions)
UsacCoreCoderData()
데이터의 이 블록은 코어-코더 오디오 데이터를 포함한다. 페이로드 요소는 하나 또는 두개의 코어-코더 채널들에 대한, FD 또는 LPD 모드 중 어느 하나에 대한, 데이터를 포함한다. 특정 모드는 상기 요소의 초기에 채널 당(per channel) 시그널링된다.
StereoCoreToolInfo()
모든 스테레오 관련 정보는 이 요소에서 캡쳐된다(captured). 이것은 스테레오 코딩 모드들에서 비트 필드들의 수많은 의존도들을 다룬다.
보조 요소들(Helper Elements)
commonCoreMode
CPE에서 이 플래그는 양쪽 인코딩된 코어 코더 채널들이 동일 모드를 이용하는지 여부를 가리킨다.
Mps212Data()
데이터의 이 블록은 Mps212 스테레오 모듈에 대한 페이로드를 포함한다. 이 데이터의 존재는 stereoConfigIndex 에 의존한다.
common_window
common_window는 CPE의 채널 0 및 채널 1이 동일(identical) 윈도우 파라미터들을 이용하는지 여부를 가리킨다.
common_tw
common_tw 는 CPE의 채널 0 및 채널 1 이 시간 워프된 MDCT에 대해 동일 파라미터들을 이용하는지 여부를 가리킨다.
UsacFrame () 의 디코딩
하나의 UsacFrame() 은 USAC 비트스트림의 하나의 엑세스 유닛을 형성한다. 각 UsacFrame은 표로부터 결정된 output-FrameLength(출력-프레임길이) 에 따라 768, 1024, 2048 또는 4096 출력 샘플들로 디코딩한다.
UsacFrame()에서 제1비트는 usacIndependencyFlag이고, 이는 주어진 프레임이 이전 프레임에 대한 어떠한 인지 없이 디코딩될 수 있는지 여부를 결정한다. usacIndependencyFlag 이 0으로 설정되는 경우, 이전 프레임에 대한 의존들(dependencies)은 현재 프레임의 페이로드에 존재할 수 있다.
UsacFrame() 은 UsacDecoderConfig()에서 그들의 대응하는 구성 요소들과 동일 순서로 비트스트림에서 나타날 하나 이상의 구문 요소들로 더 구성된다. 모든 요소들의 연속(시리즈, series)에서 각 요소의 위치는 elemIdx 으로 색인된다(indexed). 각 요소에 대해, UsacDecoderConfig()에서 전송되는 것에 따라, 그 인스턴스의, 즉 동일 elemIdx 를 갖는, 대응하는 구성이 이용될 것이다.
이러한 구문 요소들은 표에 나열된, 네개의 타입들 중 하나이다. 이러한 요소들 각각의 타입은 usacElementType 에 의해 결정된다. 동일 타입의 다중 요소들이 있을 수 있다. 상이한 프레임들내에서 동일 위치 elemIdx 에서 일어나는(발생하는) 요소들은 동일 스트림에 속할 것이다.
표 - 단순 가능 비트스트림 페이로드들의 예들
numElements elemIdx usacElementType[ elemIdx ]
모노 출력 신호
(mono output signal)		 1 0 ID_USAC_SCE
스테레오 출력 신호
(stereo output signal)		 1 0 ID_USAC_CPE
5.1 채널 출력 신호
(5.1 channel output signal)		 4 0 ID_USAC_SCE
1 ID_USAC_CPE
2 ID_USAC_CPE
3 ID_USAC_LFE
이러한 비트스트림 페이로드들이 일정한 레이트 채널에 대해 전송된다면 그것들은 즉각적인 비트레이트를 조정하기 위해 ID_EXT_ELE_FILL 의 usacExtElementType 을 갖는 확장 페이로드를 포함할 수도 있다. 이 경우 코딩된 스테레오 신호의 예는 :
표 - 필 비트( fill ) 비트들을 쓰기( writing ) 위해 확장 페이로드를 갖는 단순 스테레오 비트스트림의 예들
numElements elemIdx usacElementType[ elemIdx ]
스테레오 출력 신호
(stereo output signal)		 2 0 ID_USAC_CPE
1 ID_USAC_EXT
with
usacExtElementType== ID_EXT_ELE_FILL
UsacSingleChannelElement () 의 디코딩
UsacSingleChannelElement() 의 단순 구조는 1로 설정되는 nrCoreCoderChannels 를 갖는 UsacCoreCoderData() 요소의 하나의 인스턴스(instance)로 만들어진다. 이 요소의 sbrRatioIndex 에 의존하여 UsacSbrData() 요소는 1로 설정되는 nrSbrChannels 또한 따른다.
UsacExtElement ()의 디코딩
비트스트림에서의 UsacExtElement() 구조는 USAC 디코더에 의해 생략되거나 디코딩될 수 있다. 모든 확장은 UsacExtElement()의 관련 UsacExtElementConfig() 에서 전달되는, usacExtElementType 에 의해 식별된다. 각 usacExtElementType 에 대해 특정 디코더가 존재할 수 있다.
확장에 대한 디코더가 USAC 디코더에 이용가능한 경우 확장의 페이로드는 UsacExtElement() 가 USAC 디코더에 의해 파싱된(parsed) 후에 즉시 확장 디코더에 포워딩된다.
확장에 대한 디코더가 USAC 디코더에 이용가능하지 않은 경우, 구조의 최소값은 비트스트림 내에서 제공되며, 확장은 USAC 디코더에 의해 무시될 수 있다.
확장 요소의 길이는, UsacExtElement() 에서 기각될(무효될, overruled) 수 있고 대응 UsacExtElementConfig() 내에서 시그널링될 수 있는, 옥텟들(octets)에서 디폴트 길이에 의해, 또는 구문 요소 escapedValue() 를 이용하여, 하나 또는 세개의 옥텟 길이 중 하나인, UsacExtElement() 에서 명백히 제공된 길이 정보에 의해, 특정된다.
하나 이상의 UsacFrame()s 에 걸친 확장 페이로드들은 분할될 수 있고 그들의 페이로드들은 몇몇 UsacFrame()s 중에 분포될 수 있다. 이 경우 usacExtElementPayloadFrag 플래그는 1로 설정되고 디코더는 1로 설정되는 usacExtElementStart 를 갖는 UsacFrame()를 포함하고 1로 설정되는 usacExtElementStart 를 갖는 UsacFrame()로부터 모든 분할들(fragments)을 모아야 한다. usacExtElementStop 이 1로 설정될 때 상기 확장은 완성된 것으로 고려되고 상기 확장 디코더에 지나가게 된다.
분할된 확장 페이로드에 대한 완전성( integrity ) 보호는 이 명세서에서 제공되지 않으며 확장 페이로드들의 완전성을 담보하기 위해 다른 수단이 이용되어야 한다.
모든 확장 페이로드 데이터는 바이트-정렬( byte - aligned )로 추정된다.
각 UsacExtElement() 는 usacIndependencyFlag 의 이용으로부터 도출되는 요구사항들(requirements)을 준수할 것이다. 더 명백히하자면, 만약 usacIndependencyFlag 이 (==1) 로 설정되는 경우 UsacExtElement() 는 이전 프레임(그리고 그것에 포함될 수 있는 확장 페이로드)의 인지(knowledge) 없이 디코딩가능할 것이다.
디코딩 프로세스
UsacChannelPairElementConfig()에서 전송되는 stereoConfigIndex 는 주어진 CPE 에서 적용되는 스테레오 코딩의 정확한 타입을 결정한다. 스테레오 코딩의 이 타입에 의존하여 하나 또는 두개의 코어 코더 채널들 중 하나는 비트스트림에서 실제로 전송되며 변수 nrCoreCoderChannels 는 그에 맞춰 설정될 필요가 있다. 구문 요소 UsacCoreCoderData() 는 그 후 하나 또는 두개의 코어 코더 채널들에 대한 데이터를 제공한다.
유사하게 eSBR의 이용 및 스테레오 코딩 타입에 의존하여 (즉, sbrRatioIndex>0 라면) 하나 또는 두 채널들에 대해 이용가능한 데이터가 있을 수 있다. nrSbrChannels 의 값은 그에 맞춰 설정될 필요가 있고 요소 UsacSbrData() 는 하나 또는 두 채널들에 대한 eSBR 데이터를 제공한다. 결국 Mps212Data()가 stereoConfigIndex 의 값에 의존하여 전송된다.
저주파수 향상( Low frequency enhancement , LFE ) 채널 요소, UsacLfeElement()
일반( General )
디코더에서 일반적 구조를 유지하기 위해, UsacLfeElement() 는 기준 fd_channel_stream(0,0,0,0,x) 요소로 정의되며, 즉 그것은 주파수 영역 코더를 이용하는 UsacCoreCoderData() 와 같다. 이와 같이, 디코딩은 UsacCoreCoderData()-요소를 디코딩하기 위해 기준 절차를 이용하여 수행될 수 있다.
그러나, 더 많은 비트레이트 및 저주파수 향상 디코더의 하드웨어 효율적 실행을 수용하기 위해서는, 몇몇 제한들이 이 요소의 인코딩을 위해 이용되는 옵션들에 적용된다:
Figure 112013093887418-pct00053
window_sequence 필드는 언제나 0으로 설정된다 (ONLY_LONG_SEQUENCE)
Figure 112013093887418-pct00054
어떤 저주파수 향상의 오직 가장 낮은 24 스펙트럼 계수들만이 0이 아닐 수 있다
Figure 112013093887418-pct00055
시간적 노이즈 성형(Temporal Noise Shaping)은 이용되지 않고, 즉 tns_data_present 은 0으로 설정된다
Figure 112013093887418-pct00056
시간 워핑(Time warping)은 유효하지 않다(not active)
Figure 112013093887418-pct00057
노이즈 필링(noise filling)은 적용되지 않는다
UsacCoreCoderData ()
UsacCoreCoderData() 는 한개 이상의 코어 코더 채널들을 디코딩하기 위한 모든 정보를 포함한다.
디코딩의 순서는 :
·각 채널에 대해 core_mode[] 를 얻는다
·두개의 코어 코딩된 채널들의 경우(nrChannels==2), StereoCoreToolInfo() 를 파싱(parse)하고 모든 스테레오 관련 파라미터들을 결정한다
·시그널링된 core_modes 에 의존하여 각 채널에 대한 fd_channel_stream() 또는 lpd_channel_stream() 를 전송한다
상기 리스트에서 보여질 수 있는 것처럼, 한 코어 코더 채널의 디코딩(nrChannels==1)은, core_mode 에 의존하여, lpd_channel_stream 또는 fd_channel_stream가 뒤따르는 core_mode 비트를 얻는 결과를 도출한다.
두 코어 코더 채널의 경우에서는, 특히 양 채널들의 core_mode 가 0이라면 채널들 사이의 몇몇 시그널링 여분들이 이용될 수 있다. 더 자세한 내용을 위해 6.2.X (StereoCoreToolInfo() 의 디코딩)을 참조하라.
StereoCoreToolInfo ()
StereoCoreToolInfo() 는 효율적으로 파라미터들을 코딩할 수 있고, 그 값들은 양 채널들이 FD 모드에서 코딩되는 경우(core_mode[0,1]==0)에 CPE의 코어 코드 채널들을 넘어 공유될 수 있다. 비트스트림에서 적절한 플래그가 1로 설정될 때, 특히 다음 데이터 요소들이 공유된다.
표 - 코어 코더 채널 쌍의 채널들을 넘어 공유되는 비트스트림 요소들
common _ xxx 플래그는 1로 설정
( common _ xxx flag is set to 1) 		채널 0 및 1은 다음 요소들을 공유:
( channels 0 and 1 share the following elements :)
common_window ics_info()
common_window && common_max_sfb max_sfb
common_tw tw_data()
common_tns tns_data()
적절한 플래그가 설정되지 않는 경우 상기 데이터 요소들은 UsacCoreCoderData() 요소에서 StereoCoreToolInfo()를 따르는 fd_channel_stream() 에서 또는 StereoCoreToolInfo() (max_sfb, max_sfb1)에서 각 코어 코더 채널에 대해 개별적으로 전송된다.
common_window==1 의 경우 StereoCoreToolInfo() 는 또한 MDCT 영역에서 복합 예측 데이터(complex prediction data) alc M/S 스테레오 코딩에 대한 정보를 포함한다( 7.7.2 참조).
UsacSbrData()
데이터의 이 블록은 하나 이상의 채널들의 SBR 샌드위치 확장에 대한 페이로드를 포함한다. 이 데이터의 존재는 sbrRatioIndex 상에 의존한다.
SbrInfo()
이 요소는 변화시에 디코더 리셋(reset)을 필요로 하지 않는 SBR 제어 파라미터들을 포함한다.
SbrHeader()
이 요소는 비트스트림이 지속하는 동안 일반적으로 변하지 않는, SBR 구성 파라미터들을 갖는 SBR 헤더 데이터를 포함한다.
SBR payload for USAC
USAC에서 SBR 페이로드는 UsacSbrData()에서 전송되며, 이는 각 단일 채널 요소 또는 채널 쌍 요소의 정수 부분이다. UsacSbrData() 는 UsacCoreCoderData() 를 즉시 따른다. 저주파수 향상 채널들에 대한 스펙트럼 대역 복제 페이로드는 없다.
numSlots Mps212Data 프레임에서의 시간 슬롯들의 숫자
비록 몇몇 관점들은 장치들의 문맥에서 설명되지만, 이러한 관점들은 또한 대응하는 방법의 묘사도 나타낸다는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 관점들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명 또한 나타낸다.
특정한 실행의 요구들에 의존하여, 이 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행들은 전자적으로 읽을 수 있는 컨트롤 신호들을 그곳에 저장하고 있는 디지털 저장매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리,를 이용하여 수행될 수 있고 그것은, 각 방법이 수행되는, 프로그래밍 가능한 컴퓨터 시스템과 연동한다.(또는 연동 가능하다)
본 발명에 따른 몇몇 실시 예들은 전자적 판독 가능한 컨트롤 신호들을 갖는 데이터 캐리어를 포함하며, 그것은 여기서 설명된 방법 중 하나가 수행되는 프로그래밍 가능한 컴퓨터 시스템과 연동 가능하다.
일반적으로 본 발명의 실시 예들은 프로그램 코드로 컴퓨터 프로그램 결과물에서 실행될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 결과물이 컴퓨터에서 수행될 때 상기 방법 중 하나를 수행하도록 작동되는 것이다. 프로그램 코드는 예시적으로 기계 판독가능 캐리어에 저장될 수도 있다.
다른 실시 예들은 여기에 설명되고, 기계 판독가능 캐리어에 저장된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다른 말로, 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터에서 운영될 때 여기서 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 그 자체에 포함하는 데이터 캐리어이다.(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체)
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 순서 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 순서는, 예를 들어 인터넷같은 데이터 통신 연결을 통해 전송되기 위해 예시적으로 구성될 수 있다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되기 위하여 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.
몇몇 실시 예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시 예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.
상기 설명된 실시 예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시 예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.
10 : 오디오 콘텐츠
12 : 비트스트림
16 : 오디오 신호
18 : 시간 주기
20 : 프레임
22 : 프레임 요소
24 : 인코더
28 : 구성 블록
30 : 분배기
32 : 순차 발생기
34d : 다중 대상 인코더
34e : 다중 채널 인코더
34c : 채널 쌍 인코더
34b : 단일 채널 인코더
34a : 저주파수 향상 인코더
36 : 디코더
40 : 분배기
42 : 어레인저
44d : 다중 대상 디코더
44e : 다중 채널 디코더
44c : 채널 쌍 디코더
44b : 단일 채널 디코더
44a : 저주파수 향상 디코더
46 : 스위치
50 : 필드
52 : 형태 표시 구문 부
54 : 구문 요소
55 : 서브스트림 특이 구성 데이터
56 : 구성 요소
58 : 길이 정보
60 : 디폴트 페이로드 길이 정보
62 : 조건부 구문 부
64 : 디폴트 페이로드 길이 플래그
66 : 확장 페이로드 길이 값
68 : 페이로드 섹션
70 : 확장 페이로드 존재 플래그
72 : 확장 요소 형태 필드
74 : 다중 대상 부가 정보 구성 데이터
76 : 구성 데이터 길이 필드
78 : 단편 사용 플래그

Claims (27)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 각각 오디오 콘텐츠(10)의 연속적인 시간 주기들(18)을 표현하는 구성 블록(28) 및 프레임들(20)의 시퀀스를 포함하는 비트스트림을 디코딩하기 위한 디코더에 있어서, 상기 구성 블록은 프레임 당 프레임 요소들의 수 N을 표시하는 필드, 및 N개 요소 위치들의 시퀀스의 각각의 요소 위치를 위하여, 복수의 요소 형태들 중 하나의 요소 형태를 표시하는 형태 표시 구문 부(52)를 포함하며, 프레임들(20)의 각각의 시퀀스는 N개 프레임 요소들의 시퀀스를 포함하고,
    상기 디코더는 상기 형태 표시 구문 부에 의해 표시되는 요소 형태에 따라 각각의 프레임 요소(22)를 디코딩함으로써 각각의 프레임을 디코딩하도록 구성되어, N개 프레임 요소들(22)의 시퀀스의 i번째 프레임 요소는 i번째 요소 위치에 대해 형태 표시 구문 부(52)에 의해 표시되는 요소 형태에 따라 디코딩되며,

    상기 복수의 요소 형태는 확장 요소 형태를 포함하며,
    상기 디코더는 어떠한 프레임(20)의 상기 확장 요소 형태의 각각의 프레임 요소(22b)로부터, 상기 각각의 프레임 요소의 길이에 대한 길이 정보(58)를 판독하고,
    생략 간격 길이로서 상기 각각의 프레임 요소의 길이에 대한 상기 길이 정보(58)를 사용하여 상기 프레임들(20)의 상기 확장 요소 형태의 적어도 일부의 프레임 요소들(22) 중 적어도 일부를 생략하도록 구성되며,

    상기 디코더는 상기 확장 요소 형태를 위한 구성 요소를 판독하는데 있어서, 상기 비트스트림으로부터 디폴트 확장 페이로드 길이에 대한 디폴트 페이로드 길이 정보(60)의 판독과 함께, 상기 형태 표시 구문 부가 상기 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 상기 구성 블록(28)으로부터 상기 확장 요소 형태를 위한 구성 정보를 포함하는 구성 요소(74)를 판독하도록 구성되며,
    상기 디코더는 또한 상기 확장 요소 형태의 상기 프레임 요소들(22)의 상기 길이 정보(58)를 판독하는데 있어서, 상기 비트스트림(12)으로부터 조건부 구문 부(62)의 디폴트 확장 페이로드 길이 플래그(64)를 판독하고, 상기 디폴트 페이로드 길이 플래그(64)가 설정되는지를 검사하며, 만일 디폴트 페이로드 길이 플래그(64)가 설정되지 않으면, 상기 각각의 프레임 요소의 확장 페이로드 길이를 획득하기 위하여 상기 비트스트림(12)으로부터 상기 조건부 구문 부(62)의 확장 페이로드 길이 값(68)을 판독하고, 만일 디폴트 페이로드 길이 플래그(64)가 설정되면, 상기 디폴트 확장 페이로드 길이와 동등하도록 상기 각각의 프레임 요소들의 상기 확장 페이로드 길이를 설정하도록 구성되며,
    상기 디코더는 또한 생략 간격 길이로서 상기 각각의 프레임 요소의 상기 확장 페이로드 길이를 사용하여 상기 프레임들(20)의 상기 확장 요소 형태의 상기 적어도 일부의 프레임 요소들(22)의 페이로드 섹션(68)을 생략하도록 구성되며,

    상기 디코더는 상기 디폴트 페이로드 길이 정보(60)를 판독하는데 있어서,
    상기 비트스트림(12)으로부터 디폴트 페이로드 길이 존재 플래그를 판독하고,
    상기 디폴트 페이로드 길이 존재 플래그가 설정되는지를 검사하며,
    만일 상기 디폴트 페이로드 길이 존재 플래그가 설정되지 않으면, 상기 디폴트 확장 페이로드 길이가 0이 되도록 설정하며, 및
    만일 상기 디폴트 페이로드 길이 존재 플래그가 설정되면, 상기 비트스트림으로부터 상기 디폴트 확장 페이로드 길이를 분명하게 판독하도록 구성되는 것을 특징으로 하는 디코더.
  10. 제 9항에 있어서, 상기 디코더는 상기 형태 표시 구문 부(52)로부터 N개 구문 요소들(54)의 시퀀스를 판독하도록 구성되며, 각각의 요소는 상기 N개 구문 요소들의 시퀀스 내에 상기 각각의 구문 요소가 위치되는 상기 각각의 구문 요소를 위한 상기 요소 형태를 표시하는 것을 특징으로 하는 디코더.
  11. 제 9항에 있어서, 구성 정보를 포함하는 각 구성 요소와 함께, 상기 디코더는 상기 구성 블록(28)으로부터 N개 구성 요소들(56)의 시퀀스를 판독하도록 구성되어, i번째 구성 요소가 i번째 요소 위치를 위한 요소 형태에 관한 구성 정보를 포함하며,
    상기 디코더는, N개 프레임 요소들(22)의 시퀀스의 i번째 프레임 요소(22)를 디코딩하는 데 있어, i번째 요소 위치를 위한 요소 형태에 관한 구성 정보를 이용하도록 구성되는 것을 특징으로 하는 디코더.
  12. 제 11항에 있어서, 상기 형태 표시 구문 부(52)는 N개 구문 요소들의 시퀀스 내에 상기 각각의 구문 요소가 위치되는 상기 각각의 요소 위치를 위한 요소 형태를 표시하는 각각의 구문 요소(54)를 갖는 N개 구문 요소들의 시퀀스를 포함하며, 상기 디코더는 교대로 상기 비트스트림(12)으로부터 상기 구성 요소들(56) 및 상기 구문 요소들(54)을 판독하도록 구성되는 것을 특징으로 하는 디코더.
  13. 삭제
  14. 삭제
  15. 제 9항에 있어서, 상기 디코더는 상기 프레임들의 상기 확장 요소 형태의 어떠한 프레임 요소의 상기 길이 정보(58)를 판독하는데 있어서, 상기 비트스트림(12)으로부터 확장 페이로드 존재 플래그(70)를 판독하고, 상기 확장 페이로드 존재 플래그(70)가 설정되는지를 검사하며, 만일 확장 페이로드 존재 플래그(70)가 설정되지 않으면, 개별 프레임 요소(22b)의 판독을 중단하고 현재 프레임(20)의 또 다른 프레임 요소(22) 또는 그 다음의 프레임(20)의 프레임 요소의 판독을 진행하고, 만일 확장 페이로드 존재 플래그(70)가 설정되면, 상기 비트스트림으로부터 상기 확장 요소 형태의 상기 각각의 프레임의 확장 페이로드 길이를 표시하는 구문 부를 판독하며, 적어도 상기 길이 정보의 상기 확장 페이로드 존재 플래그(70)가 설정된 상기 프레임(20)들의 상기 확장 요소 형태의 상기 프레임 요소들(22)의 일부를 위하여, 생략 간결 길이로서 상기 비트스트림으로부터 판독되는 상기 확장 요소 형태의 상기 각각의 프레임 요소(22b)의 상기 확장 페이로드 길이를 사용하여 그것들의 페이로드 섹션(68)을 생략하도록 구성되는 것을 특징으로 하는 디코더.
  16. 삭제
  17. 삭제
  18. 각각 오디오 콘텐츠(10)의 연속적인 시간 주기들(18)을 표현하는 구성 블록(28) 및 프레임들(20)의 시퀀스를 포함하는 비트스트림을 디코딩하기 위한 디코더에 있어서, 상기 구성 블록은 프레임 당 프레임 요소들의 수 N을 표시하는 필드, 및 N개 요소 위치들의 시퀀스의 각각의 요소 위치를 위하여, 복수의 요소 형태들 중 하나의 요소 형태를 표시하는 형태 표시 구문 부(52)를 포함하며, 프레임들(20)의 각각의 시퀀스는 N개 프레임 요소들의 시퀀스를 포함하고,
    상기 디코더는 상기 형태 표시 구문 부에 의해 표시되는 요소 형태에 따라 각각의 프레임 요소(22)를 디코딩함으로써 각각의 프레임을 디코딩하도록 구성되어, N개 프레임 요소들(22)의 시퀀스의 i번째 프레임 요소는 i번째 요소 위치에 대해 형태 표시 구문 부(52)에 의해 표시되는 요소 형태에 따라 디코딩되며,

    상기 복수의 요소 형태는 확장 요소 형태를 포함하며,
    상기 디코더는 어떠한 프레임(20)의 상기 확장 요소 형태의 각각의 프레임 요소(22b)로부터, 상기 각각의 프레임 요소의 길이에 대한 길이 정보(58)를 판독하고,
    생략 간격 길이로서 상기 각각의 프레임 요소의 길이에 대한 상기 길이 정보(58)를 사용하여 상기 프레임들(20)의 상기 확장 요소 형태의 적어도 일부의 프레임 요소들(22) 중 적어도 일부를 생략하도록 구성되며,

    상기 디코더는 구성 블록(28)을 판독하는데 있어서, 상기 형태 표시 구문 부(52)가 상기 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 상기 비트스트림(12)으로부터 상기 확장 요소 형태를 위한 구성 정보를 포함하는 구성 요소(56)를 판독하도록 더 구성되며, 상기 구성 정보는 복수의 페이로드 데이터 형태 중에서 하나의 페이로드 데이터를 표시하는 확장 요소 형태 필드(72)를 포함하며,

    상기 복수의 페이로드 데이터 형태는 다중 채널 부가 정보 형태 및 다중 대상 코딩 부가 정보 형태를 포함하며,
    상기 디코더는 상기 구성 블록(28)을 판독하는데 있어서, 상기 형태 표시 구문 부(52)가 상기 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 만일 상기 확장 요소 형태 필드(72)가 상기 다중 채널 부가 정보 형태를 표시하면, 상기 비트스트림(12)으로부터 상기 구성 정보의 일부로서 다중 채널 부가 정보 구성 데이터(74)를 판독하고, 만일 상기 확장 요소 형태 필드(72)가 상기 다중 대상 코딩 부가 정보 형태를 표시하면, 상기 비트스트림(12)으로부터 상기 구성 정보의 일부로서 다중 대상 부가 정보 구성 데이터(74)를 판독하도록 구성되며,
    상기 디코더는 각각의 프레임을 디코딩하는데 있어서,
    상기 다중 채널 부가 정보 구성 데이터(74)를 사용하고 그에 따라 구성되는 다중 채널 디코더(44e)에 다중 채널 부가 정보로서 상기 확장 요소 형태의 상기 각각의 프레임 요소들(22b)의 페이로드 데이터(68)를 제공하는 다중 채널 디코더(44e)를 구성함으로써, 상기 형태 표시 구문 부가 상기 확장 요소 형태를 표시하고 상기 구성 요소(56)의 상기 확장 요소 형태가 다중 채널 정보 형태를 표시하는 어떠한 요소 위치에 위치되는 상기 확장 요소 형태의 상기 프레임 요소들을 디코딩하고,
    상기 다중 대상 부가 정보 구성 데이터(74)를 사용하고 그에 따라 구성되는 다중 채널 디코더(44d)에 다중 대상 부가 정보로서 상기 확장 요소 형태의 상기 각각의 프레임 요소들(22b)의 페이로드 데이터(68)를 제공하는 다중 대상 디코더(44d)를 구성함으로써, 상기 형태 표시 구문 부가 상기 확장 요소 형태를 표시하고 상기 구성 요소(56)의 상기 확장 요소 형태가 다중 대상 코딩 부가 정보 형태를 표시하는 어떠한 요소 위치에 위치되는 상기 확장 요소 형태의 상기 프레임 요소들을 디코딩하도록 구성되는 것을 특징으로 하는 디코더.
  19. 삭제
  20. 제 9항에 있어서,
    상기 디코더는 상기 형태 표시 구문 부(52)가 상기 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 상기 구성 블록(28)을 판독하는데 있어서, 상기 비트스트림(12)으로부터 상기 확장 요소 형태를 위한 구성 정보를 포함하는 구성 요소(56)를 판독하도록 구성되고, 상기 구성 정보는 단편 사용 플래그(78)를 포함하며,
    상기 디코더는 상기 형태 표시 구문 부(52)가 상기 확장 요소 형태를 표시하고 상기 구성 요소의 상기 단편 사용 플래그(78)가 설정되는 어떠한 요소 위치에 위치되는 프레임 요소들(22)을 판독하는데 있어서, 상기 비트스트림으로부터 단편 정보를 판독하고, 이러한 연속적인 프레임들의 프레임 요소들의 페이로드 데이터를 만들기 위하여 상기 단편 정보를 사용하도록 구성되는 것을 특징으로 하는 디코더.
  21. 삭제
  22. 제 9항에 있어서, 상기 디코더는 상기 형태 표시 구문 부가 채널 쌍 요소 형태를 표시하는 요소 위치에서 상기 프레임들(20) 내의 프레임 요소들(22)을 디코딩하는데 있어서, 상기 디코더가 두 개의 오디오 신호를 재구성하도록 구성되는 것을 특징으로 하는 디코더.
  23. 삭제
  24. 삭제
  25. 각각 오디오 콘텐츠(10)의 연속적인 시간 주기들(18)을 표현하는 구성 블록(28) 및 프레임들(20)의 시퀀스를 포함하는 비트스트림을 디코딩하기 위한 방법에 있어서,
    상기 구성 블록(28)은 프레임 당 프레임 요소들의 수 N을 표시하는 필드(50), 및 N개 요소 위치들의 각각의 요소 위치를 위하여, 복수의 요소 형태들 중 하나의 요소 형태를 표시하는 형태 표시 구문 부(52)를 포함하며,
    상기 방법은 상기 형태 표시 구문 부에 의해 표시되는 요소 형태에 따라 각각의 프레임 요소(22)를 디코딩함으로써 각각의 프레임을 디코딩하는 단계를 포함하여, 프레임들(20)의 각각의 시퀀스는 N개 프레임 요소들의 시퀀스를 포함하고, N개 프레임 요소들(22)의 시퀀스의 i번째 프레임 요소는 i번째 요소 위치에 대해 형태 표시 구문 부(52)에 의해 표시되는 요소 형태에 따라 디코딩되며,

    상기 복수의 요소 형태는 확장 요소 형태를 포함하며,
    상기 방법은 어떠한 프레임(20)의 상기 확장 요소 형태의 각각의 프레임 요소(22b)로부터, 상기 각각의 프레임 요소의 길이에 대한 길이 정보(58)를 판독하고,
    생략 간격 길이로서 상기 각각의 프레임 요소의 길이에 대한 상기 길이 정보(58)를 사용하여 상기 프레임들(20)의 상기 확장 요소 형태의 적어도 일부의 프레임 요소들(22) 중 적어도 일부를 생략하는 것을 더 포함하며,

    상기 방법은 구성 블록(28)을 판독하는데 있어서, 상기 형태 표시 구문 부(52)가 상기 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 상기 비트스트림(12)으로부터 상기 확장 요소 형태를 위한 구성 정보를 포함하는 구성 요소(56)를 판독하는 것을 더 포함하며, 상기 구성 정보는 복수의 페이로드 데이터 형태 중에서 하나의 페이로드 데이터를 표시하는 확장 요소 형태 필드(72)를 포함하며,

    상기 복수의 페이로드 데이터 형태는 다중 채널 부가 정보 형태 및 다중 대상 코딩 부가 정보 형태를 포함하며,
    상기 방법은 상기 구성 블록(28)을 판독하는데 있어서, 상기 형태 표시 구문 부(52)가 상기 확장 요소 형태를 표시하는 각각의 요소 위치를 위하여, 만일 상기 확장 요소 형태 필드(72)가 상기 다중 채널 부가 정보 형태를 표시하면, 상기 비트스트림(12)으로부터 상기 구성 정보의 일부로서 다중 채널 부가 정보 구성 데이터(74)를 판독하고, 만일 상기 확장 요소 형태 필드(72)가 상기 다중 대상 코딩 부가 정보 형태를 표시하면, 상기 비트스트림(12)으로부터 상기 구성 정보의 일부로서 다중 대상 부가 정보 구성 데이터(74)를 판독하는 것을 더 포함하며,
    상기 방법은 각각의 프레임을 디코딩하는데 있어서,
    상기 다중 채널 부가 정보 구성 데이터(74)를 사용하고 그에 따라 구성되는 다중 채널 디코더(44e)에 다중 채널 부가 정보로서 상기 확장 요소 형태의 상기 각각의 프레임 요소들(22b)의 페이로드 데이터(68)를 제공하는 다중 채널 디코더(44e)를 구성함으로써, 상기 형태 표시 구문 부가 상기 확장 요소 형태를 표시하고 상기 구성 요소(56)의 상기 확장 요소 형태가 다중 채널 정보 형태를 표시하는 어떠한 요소 위치에 위치되는 상기 확장 요소 형태의 상기 프레임 요소들을 디코딩하고,
    상기 다중 대상 부가 정보 구성 데이터(74)를 사용하고 그에 따라 구성되는 다중 채널 디코더(44d)에 다중 대상 부가 정보로서 상기 확장 요소 형태의 상기 각각의 프레임 요소들(22b)의 페이로드 데이터(68)를 제공하는 다중 대상 디코더(44d)를 구성함으로써, 상기 형태 표시 구문 부가 상기 확장 요소 형태를 표시하고 상기 구성 요소(56)의 상기 확장 요소 형태가 다중 대상 코딩 부가 정보 형태를 표시하는 어떠한 요소 위치에 위치되는 상기 확장 요소 형태의 상기 프레임 요소들을 디코딩하는 것을 포함하는 것을 특징으로 하는 비트스트림을 디코딩하기 위한 방법.
  26. 삭제
  27. 컴퓨터상에서 구동할 때, 제 25항의 방법을 실행하기 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 매체.
KR1020137027430A 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치 KR101748760B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161454121P 2011-03-18 2011-03-18
US61/454,121 2011-03-18
PCT/EP2012/054821 WO2012126891A1 (en) 2011-03-18 2012-03-19 Frame element positioning in frames of a bitstream representing audio content

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR1020167011885A Division KR101742135B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020167011887A Division KR101748756B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020167011886A Division KR101742136B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치

Publications (2)

Publication Number Publication Date
KR20140000336A KR20140000336A (ko) 2014-01-02
KR101748760B1 true KR101748760B1 (ko) 2017-06-19

Family

ID=45992196

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020167011887A KR101748756B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020137027429A KR101712470B1 (ko) 2011-03-18 2012-03-19 유연한 구성 기능을 갖는 오디오 인코더 및 디코더
KR1020137027430A KR101748760B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020167011886A KR101742136B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020137027431A KR101767175B1 (ko) 2011-03-18 2012-03-19 오디오 코딩에서의 프레임 요소 길이 전송
KR1020167011885A KR101742135B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020167012032A KR101854300B1 (ko) 2011-03-18 2012-03-19 유연한 구성 기능을 갖는 오디오 인코더 및 디코더

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020167011887A KR101748756B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020137027429A KR101712470B1 (ko) 2011-03-18 2012-03-19 유연한 구성 기능을 갖는 오디오 인코더 및 디코더

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020167011886A KR101742136B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020137027431A KR101767175B1 (ko) 2011-03-18 2012-03-19 오디오 코딩에서의 프레임 요소 길이 전송
KR1020167011885A KR101742135B1 (ko) 2011-03-18 2012-03-19 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
KR1020167012032A KR101854300B1 (ko) 2011-03-18 2012-03-19 유연한 구성 기능을 갖는 오디오 인코더 및 디코더

Country Status (16)

Country Link
US (5) US9779737B2 (ko)
EP (3) EP2686848A1 (ko)
JP (3) JP5820487B2 (ko)
KR (7) KR101748756B1 (ko)
CN (5) CN103703511B (ko)
AR (3) AR085446A1 (ko)
AU (5) AU2012230442B2 (ko)
BR (2) BR112013023949A2 (ko)
CA (3) CA2830439C (ko)
HK (1) HK1245491A1 (ko)
MX (3) MX2013010537A (ko)
MY (2) MY163427A (ko)
RU (2) RU2589399C2 (ko)
SG (2) SG193525A1 (ko)
TW (3) TWI488178B (ko)
WO (3) WO2012126891A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5981913B2 (ja) * 2010-07-08 2016-08-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ フォワードエイリアシング消去を用いた符号器
RU2562384C2 (ru) * 2010-10-06 2015-09-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Способ и устройство для обработки аудио сигнала и для обеспечения большей детализации во времени для комбинированного унифицированного кодека речи и аудио (usac)
EP2777042B1 (en) * 2011-11-11 2019-08-14 Dolby International AB Upsampling using oversampled sbr
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
CN109166587B (zh) * 2013-01-15 2023-02-03 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
TWI618051B (zh) * 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
US9830917B2 (en) 2013-02-14 2017-11-28 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
EP2956935B1 (en) 2013-02-14 2017-01-04 Dolby Laboratories Licensing Corporation Controlling the inter-channel coherence of upmixed audio signals
CN105074818B (zh) 2013-02-21 2019-08-13 杜比国际公司 音频编码系统、用于产生比特流的方法以及音频解码器
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
CN103336747B (zh) * 2013-07-05 2015-09-09 哈尔滨工业大学 VxWorks操作系统下CPCI总线数字量输入与开关量输出可配置驱动器及驱动方法
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830058A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Frequency-domain audio coding supporting transform length switching
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
TWI774136B (zh) 2013-09-12 2022-08-11 瑞典商杜比國際公司 多聲道音訊系統中之解碼方法、解碼裝置、包含用於執行解碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置的音訊系統
KR102329309B1 (ko) 2013-09-12 2021-11-19 돌비 인터네셔널 에이비 Qmf 기반 처리 데이터의 시간 정렬
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
US9847804B2 (en) * 2014-04-30 2017-12-19 Skyworks Solutions, Inc. Bypass path loss reduction
CN107210041B (zh) * 2015-02-10 2020-11-17 索尼公司 发送装置、发送方法、接收装置以及接收方法
BR112017019053A2 (pt) 2015-03-09 2018-04-17 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. conversão em código de áudio alinhado por fragmento
EP3067886A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
TWI693594B (zh) * 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI693595B (zh) * 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
EP3869825A1 (en) * 2015-06-17 2021-08-25 Samsung Electronics Co., Ltd. Device and method for processing internal channel for low complexity format conversion
KR102537541B1 (ko) * 2015-06-17 2023-05-26 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
EP3312837A4 (en) * 2015-06-17 2018-05-09 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
KR102657547B1 (ko) * 2015-06-17 2024-04-15 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
US10008214B2 (en) * 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
AU2017357453B2 (en) * 2016-11-08 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain
PL3568853T3 (pl) * 2017-01-10 2021-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio, enkoder audio, sposób dostarczania dekodowanego sygnału audio, sposób dostarczania enkodowanego sygnału audio, strumień audio, moduł dostarczania strumienia audio i program komputerowy używający identyfikator strumienia
US10224045B2 (en) 2017-05-11 2019-03-05 Qualcomm Incorporated Stereo parameters for stereo decoding
WO2019020757A2 (en) 2017-07-28 2019-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS FOR ENCODING OR DECODING A MULTI-CHANNEL SIGNAL ENCODED USING A FILLING SIGNAL GENERATED BY A BROADBAND FILTER
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483883A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
TWI812658B (zh) 2017-12-19 2023-08-21 瑞典商都比國際公司 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統
BR112020012654A2 (pt) * 2017-12-19 2020-12-01 Dolby International Ab métodos, aparelhos e sistemas para aprimoramentos de decodificação e codificação de fala e áudio unificados com transpositor de harmônico com base em qmf
TWI809289B (zh) * 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
US10365885B1 (en) 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
CN110505425B (zh) * 2018-05-18 2021-12-24 杭州海康威视数字技术股份有限公司 一种解码方法、解码装置、电子设备和可读存储介质
CA3091241A1 (en) * 2018-07-02 2020-01-09 Dolby Laboratories Licensing Corporation Methods and devices for generating or decoding a bitstream comprising immersive audio signals
US11081116B2 (en) * 2018-07-03 2021-08-03 Qualcomm Incorporated Embedding enhanced audio transports in backward compatible audio bitstreams
CN109448741B (zh) * 2018-11-22 2021-05-11 广州广晟数码技术有限公司 一种3d音频编码、解码方法及装置
EP3761654A1 (en) * 2019-07-04 2021-01-06 THEO Technologies Media streaming
KR102594160B1 (ko) * 2019-11-29 2023-10-26 한국전자통신연구원 필터뱅크를 이용한 오디오 신호 부호화/복호화 장치 및 방법
TWI772099B (zh) * 2020-09-23 2022-07-21 瑞鼎科技股份有限公司 應用於有機發光二極體顯示器之亮度補償方法
CN112422987B (zh) * 2020-10-26 2022-02-22 眸芯科技（上海）有限公司 适用于avc的熵解码硬件并行计算方法及应用
US11659330B2 (en) * 2021-04-13 2023-05-23 Spatialx Inc. Adaptive structured rendering of audio channels

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09146596A (ja) * 1995-11-21 1997-06-06 Japan Radio Co Ltd 音声信号合成方法
US6256487B1 (en) * 1998-09-01 2001-07-03 Telefonaktiebolaget Lm Ericsson (Publ) Multiple mode transmitter using multiple speech/channel coding modes wherein the coding mode is conveyed to the receiver with the transmitted signal
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
EP1430726A2 (en) * 2001-09-18 2004-06-23 Koninklijke Philips Electronics N.V. Video coding and decoding method, and corresponding signal
US7054807B2 (en) * 2002-11-08 2006-05-30 Motorola, Inc. Optimizing encoder for efficiently determining analysis-by-synthesis codebook-related parameters
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
CA2514682A1 (en) 2002-12-28 2004-07-15 Samsung Electronics Co., Ltd. Method and apparatus for mixing audio stream and information storage medium
DE10345996A1 (de) * 2003-10-02 2005-04-28 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7684521B2 (en) * 2004-02-04 2010-03-23 Broadcom Corporation Apparatus and method for hybrid decoding
US7516064B2 (en) 2004-02-19 2009-04-07 Dolby Laboratories Licensing Corporation Adaptive hybrid transform for signal analysis and synthesis
US8131134B2 (en) 2004-04-14 2012-03-06 Microsoft Corporation Digital media universal elementary stream
CN1954364B (zh) * 2004-05-17 2011-06-01 诺基亚公司 带有不同编码帧长度的音频编码
US7930184B2 (en) * 2004-08-04 2011-04-19 Dts, Inc. Multi-channel audio coding/decoding of random access points and transients
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
JP4610650B2 (ja) 2005-03-30 2011-01-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 多チャンネルオーディオ符号化
DE102005014477A1 (de) 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
WO2006126859A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method of encoding and decoding an audio signal
WO2006126843A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
JP4988717B2 (ja) * 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US8108219B2 (en) * 2005-07-11 2012-01-31 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signal
RU2380767C2 (ru) 2005-09-14 2010-01-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования аудиосигнала
KR100851972B1 (ko) * 2005-10-12 2008-08-12 삼성전자주식회사 오디오 데이터 및 확장 데이터 부호화/복호화 방법 및 장치
TWI336599B (en) 2006-02-23 2011-01-21 Lg Electronics Inc Method and apparatus for processing a audio signal
WO2008039038A1 (en) 2006-09-29 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
AU2007312597B2 (en) 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation
DE102006049154B4 (de) * 2006-10-18 2009-07-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung eines Informationssignals
CN101197703B (zh) 2006-12-08 2011-05-04 华为技术有限公司 对Zigbee网络进行管理的方法及系统及设备
DE102007007830A1 (de) 2007-02-16 2008-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und Vorrichtung und Verfahren zum Lesen eines Datenstroms
DE102007018484B4 (de) * 2007-03-20 2009-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Senden einer Folge von Datenpaketen und Decodierer und Vorrichtung zum Decodieren einer Folge von Datenpaketen
EP3518547B1 (en) * 2007-04-12 2021-10-06 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
US7778839B2 (en) * 2007-04-27 2010-08-17 Sony Ericsson Mobile Communications Ab Method and apparatus for processing encoded audio data
KR20090004778A (ko) * 2007-07-05 2009-01-12 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2242047B1 (en) * 2008-01-09 2017-03-15 LG Electronics Inc. Method and apparatus for identifying frame type
KR101461685B1 (ko) 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
EP4224471A3 (en) 2008-07-11 2023-09-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and audio decoder
ES2396927T3 (es) * 2008-07-11 2013-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para decodificar una señal de audio codificada
MY154452A (en) 2008-07-11 2015-06-15 Fraunhofer Ges Forschung An apparatus and a method for decoding an encoded audio signal
PL2346030T3 (pl) * 2008-07-11 2015-03-31 Fraunhofer Ges Forschung Koder audio, sposób kodowania sygnału audio oraz program komputerowy
PL3246918T3 (pl) 2008-07-11 2023-11-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio, sposób dekodowania sygnału audio oraz program komputerowy
EP2169665B1 (en) * 2008-09-25 2018-05-02 LG Electronics Inc. A method and an apparatus for processing a signal
US8346379B2 (en) * 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
KR101108061B1 (ko) * 2008-09-25 2012-01-25 엘지전자 주식회사 신호 처리 방법 및 이의 장치
WO2010053287A2 (en) * 2008-11-04 2010-05-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
KR101315617B1 (ko) * 2008-11-26 2013-10-08 광운대학교 산학협력단 모드 스위칭에 기초하여 윈도우 시퀀스를 처리하는 통합 음성/오디오 부/복호화기
CN101751925B (zh) * 2008-12-10 2011-12-21 华为技术有限公司 一种语音解码方法及装置
BRPI1005300B1 (pt) * 2009-01-28 2021-06-29 Fraunhofer - Gesellschaft Zur Forderung Der Angewandten Ten Forschung E.V. Codificador de áudio, decodificador de áudio, informações de áudio codificado e métodos para codificar e decodificar um sinal de áudio com base em uma informação de áudio codificado e em uma informação de áudio de entrada.
KR101622950B1 (ko) 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
CN102365680A (zh) * 2009-02-03 2012-02-29 三星电子株式会社 音频信号的编码和解码方法及其装置
KR20100090962A (ko) * 2009-02-09 2010-08-18 주식회사 코아로직 멀티채널 오디오 디코더, 그 디코더를 포함한 송수신 장치 및 멀티채널 오디오 디코딩 방법
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
CA2763793C (en) * 2009-06-23 2017-05-09 Voiceage Corporation Forward time-domain aliasing cancellation with application in weighted or original signal domain
WO2011010876A2 (ko) * 2009-07-24 2011-01-27 한국전자통신연구원 Mdct 프레임과 이종의 프레임 연결을 위한 윈도우 처리 방법 및 장치, 이를 이용한 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
CN107516532A (zh) 2017-12-26
CA2830631A1 (en) 2012-09-27
SG193525A1 (en) 2013-10-30
RU2571388C2 (ru) 2015-12-20
KR101712470B1 (ko) 2017-03-22
AU2012230440C1 (en) 2016-09-08
CN107342091A (zh) 2017-11-10
KR101767175B1 (ko) 2017-08-10
JP2014512020A (ja) 2014-05-19
MX2013010535A (es) 2014-03-12
AR088777A1 (es) 2014-07-10
AU2012230442A1 (en) 2013-10-31
CN103703511B (zh) 2017-08-22
CA2830439A1 (en) 2012-09-27
RU2013146526A (ru) 2015-04-27
KR20140000336A (ko) 2014-01-02
AR085446A1 (es) 2013-10-02
US20140016787A1 (en) 2014-01-16
AU2016203416B2 (en) 2017-12-14
AU2012230442A8 (en) 2013-11-21
CN103562994B (zh) 2016-08-17
MY163427A (en) 2017-09-15
US9773503B2 (en) 2017-09-26
BR112013023949A2 (pt) 2017-06-27
BR112013023945A2 (pt) 2022-05-24
WO2012126866A1 (en) 2012-09-27
US20140016785A1 (en) 2014-01-16
CA2830633A1 (en) 2012-09-27
AU2012230440A1 (en) 2013-10-31
AU2016203416A1 (en) 2016-06-23
AU2012230415A1 (en) 2013-10-31
KR20160056953A (ko) 2016-05-20
JP6007196B2 (ja) 2016-10-12
KR101742135B1 (ko) 2017-05-31
TW201246190A (en) 2012-11-16
US9524722B2 (en) 2016-12-20
CN103703511A (zh) 2014-04-02
AU2012230415B2 (en) 2015-10-29
US9972331B2 (en) 2018-05-15
US20170270938A1 (en) 2017-09-21
AU2012230442B2 (en) 2016-02-25
CA2830439C (en) 2016-10-04
AU2016203417B2 (en) 2017-04-27
KR101854300B1 (ko) 2018-05-03
WO2012126891A1 (en) 2012-09-27
US10290306B2 (en) 2019-05-14
AU2012230440B2 (en) 2016-02-25
KR20140018929A (ko) 2014-02-13
CN103620679A (zh) 2014-03-05
KR20160056328A (ko) 2016-05-19
US9779737B2 (en) 2017-10-03
JP5820487B2 (ja) 2015-11-24
EP2686847A1 (en) 2014-01-22
TWI488178B (zh) 2015-06-11
CN107342091B (zh) 2021-06-15
RU2013146530A (ru) 2015-04-27
CN103562994A (zh) 2014-02-05
AU2016203419B2 (en) 2017-12-14
MY167957A (en) 2018-10-08
SG194199A1 (en) 2013-12-30
WO2012126893A1 (en) 2012-09-27
KR20140000337A (ko) 2014-01-02
JP2014510310A (ja) 2014-04-24
TW201303853A (zh) 2013-01-16
CA2830633C (en) 2017-11-07
AR085445A1 (es) 2013-10-02
US20180233155A1 (en) 2018-08-16
TW201243827A (en) 2012-11-01
AU2016203417A1 (en) 2016-06-23
JP5805796B2 (ja) 2015-11-10
CN103620679B (zh) 2017-07-04
MX2013010536A (es) 2014-03-21
HK1245491A1 (zh) 2018-08-24
CN107516532B (zh) 2020-11-06
JP2014509754A (ja) 2014-04-21
TWI571863B (zh) 2017-02-21
RU2013146528A (ru) 2015-04-27
MX2013010537A (es) 2014-03-21
EP2686848A1 (en) 2014-01-22
KR20160058191A (ko) 2016-05-24
US20140019146A1 (en) 2014-01-16
RU2589399C2 (ru) 2016-07-10
KR101748756B1 (ko) 2017-06-19
AU2016203419A1 (en) 2016-06-16
EP2686849A1 (en) 2014-01-22
KR20160056952A (ko) 2016-05-20
KR101742136B1 (ko) 2017-05-31
CA2830631C (en) 2016-08-30
TWI480860B (zh) 2015-04-11

Similar Documents

Publication Publication Date Title
KR101748760B1 (ko) 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant