KR102488704B1 - 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩 - Google Patents

예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩 Download PDF

Info

Publication number
KR102488704B1
KR102488704B1 KR1020217013811A KR20217013811A KR102488704B1 KR 102488704 B1 KR102488704 B1 KR 102488704B1 KR 1020217013811 A KR1020217013811 A KR 1020217013811A KR 20217013811 A KR20217013811 A KR 20217013811A KR 102488704 B1 KR102488704 B1 KR 102488704B1
Authority
KR
South Korea
Prior art keywords
metadata
audio
loudness
bitstream
program
Prior art date
Application number
KR1020217013811A
Other languages
English (en)
Other versions
KR20210055800A (ko
Inventor
미쉘 그랜트
스코트 그레고리 노르크로스
제프리 리드밀러
미쉘 와드
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority to KR1020237001019A priority Critical patent/KR20230011500A/ko
Publication of KR20210055800A publication Critical patent/KR20210055800A/ko
Application granted granted Critical
Publication of KR102488704B1 publication Critical patent/KR102488704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems

Abstract

비트스트림에 프로그램 라우드니스 메타데이터 및 오디오 데이터를, 및 선택적으로 또한 비트스트림의 적어도 하나의 세그먼트(예로서, 프레임)에 프로그램 경계 메타데이터를 포함함으로써 포함하는, 인코딩된 오디오 비트스트림을 생성하기 위한 장치 및 방법들. 다른 양상들은 예로서 상기 비트스트림에 의해 표시된 오디오 프로그램의 오디오 데이터의 적응적 라우드니스 프로세싱, 또는 이러한 오디오 프로그램의 메타데이터 및/또는 오디오 데이터의 인증 및/또는 확인을 수행함으로써 포함하는, 이러한 비트스트림을 디코딩하기 위한 장치 및 방법들이다. 또 다른 양상은 방법의 임의의 실시예를 수행하도록 구성된(예로서, 프로그램된) 또는 방법의 임의의 실시예에 따라 생성된 오디오 비트스트림의 적어도 하나의 프레임을 저장하는 버퍼 메모리를 포함하는 오디오 프로세싱 유닛(예로서, 인코더, 디코더, 또는 후-처리기)이다.

Description

예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩{DECODING OF ENCODED AUDIO BITSTREAM WITH METADATA CONTAINER LOCATED IN RESERVED DATA SPACE}
관련 출원들에 대한 상호-참조
본 출원은 2013년 1월 21일에 출원된 미국 가 특허 출원 번호 제61/754,882호 및 2013년 5월 16일에 출원된 미국 가 특허 출원 번호 제61/824,010호에 대한 우선권을 주장하며, 그 각각은 여기에 전체적으로 참조로서 통합된다.
본 발명은 오디오 신호 프로세싱, 및 보다 특히, 오디오 콘텐트의 라우드니스 프로세싱 상태 및 비트스트림들에 의해 표시된 오디오 프로그램 경계들의 위치를 표시한 메타데이터를 갖는 오디오 데이터 비트스트림들의 인코딩 및 디코딩과 관련된다. 본 발명의 몇몇 실시예들은 AC-3, 강화 AC-3(즉, E-AC-3), 또는 돌비 E로서 알려진 포맷들 중 하나의 오디오 데이터를 생성하거나 또는 디코딩한다.
돌비, 돌비 디지털, 돌비 디지털 플러스, 및 돌비 E는 돌비 레버러토리즈 라이센싱 코포레이션의 상표들이다. 돌비 레버러토리즈들은 각각 돌비 디지털 및 돌비 디지털 플러스로서 알려진 AC-3 및 E-AC-3의 독점 구현들을 제공한다.
오디오 데이터 프로세싱 유닛들은 통상적으로 블라인드 방식으로 동작하며 데이터가 수신되기 전에 발생하는 오디오 데이터의 프로세싱 이력에 주목하지 않는다. 이것은 타겟 미디어 렌더링 디바이스가 인코딩된 오디오 데이터의 모든 디코딩 및 렌더링을 하는 동안 단일 엔티티가 다양한 타겟 미디어 렌더링 디바이스들에 대한 모든 오디오 데이터 프로세싱 및 인코딩을 하는 프로세싱 프레임워크에서 동작할 수 있다. 그러나, 이러한 블라인드 프로세싱은 복수의 오디오 프로세싱 유닛들이 다양한 네트워크에 걸쳐 산재되거나 또는 일렬로(즉, 체인) 위치되며 그것들 각각의 유형들의 오디오 프로세싱을 최적으로 수행하는 것으로 예상되는 상황들에서 잘 동작하지 않는다(또는 전혀 동작하지 않는다). 예를 들면, 몇몇 오디오 데이터는 고 성능 미디어 시스템들에 대해 인코딩될 수 있으며 미디어 프로세싱 체인을 따라 이동 디바이스에 적합한 축소된 형태로 변환되어야 할 수 있다. 따라서, 오디오 프로세싱 유닛은 이미 수행된 오디오 데이터 상에서 일 유형의 프로세싱을 불필요하게 수행할 수 있다. 예를 들면, 볼륨 레벨링 유닛은 동일한 또는 유사한 볼륨 레벨링이 입력 오디오 클립 상에서 이전에 수행되었는지 여부에 관계없이, 입력 오디오 클립 상에서 프로세싱을 수행할 수 있다. 그 결과, 볼륨 레벨링 유닛은 그것이 필요하지 않을 때조차 레벨링을 수행할 수 있다. 이러한 불필요한 프로세싱은 또한 오디오 데이터의 콘텐트를 렌더링하면서 특정 특징들의 열화 및/또는 제거를 야기할 수 있다.
오디오 데이터의 통상적인 스트림은 오디오 콘텐트(예로서, 오디오 콘텐트의 하나 이상의 채널들) 및 상기 오디오 콘텐트의 적어도 하나의 특성을 표시한 메타데이터 양쪽 모두를 포함한다. 예를 들면, AC-3 비트스트림에서, 구체적으로 청취 환경으로 전달된 프로그램의 사운드를 변경할 때 사용하기 위해 의도되는 여러 개의 오디오 메타데이터 파라미터들이 있다. 메타데이터 파라미터들 중 하나는 오디오 프로그램을 발생시킨 다이얼로그의 평균 레벨을 표시하도록 의도된 DIALNORM 파라미터이며, 오디오 재생 신호 레벨을 결정하기 위해 사용된다.
상이한 오디오 프로그램 세그먼트들(각각이 상이한 DIALNORM 파라미터를 갖는)의 시퀀스를 포함한 비트스트림의 재생 동안, AC-3 디코더는 상기 세그먼트들의 시퀀스의 다이얼로그의 지각된 라우드니스가 일정 레벨에 있도록 그것이 재생 레벨 또는 라우드니스를 수정하는 일 유형의 라우드니스 프로세싱을 수행하기 위해 각각의 세그먼트의 DIALNORM 파라미터를 사용한다. 인코딩된 오디오 아이템들의 시퀀스에서 각각의 인코딩된 오디오 세그먼트(아이템)는 (일반적으로) 상이한 DIALNORM 파라미터를 가질 것이며, 디코더는 각각의 아이템에 대한 다이얼로그의 재생 레벨 또는 라우드니스가 동일하거나 또는 매우 유사하도록, 이것이 재생 동안 아이템들의 상이한 것들로의 상이한 양들의 이득의 적용을 요구할 수 있을지라도, 아이템들의 각각의 레벨을 스케일링할 것이다.
DIALNORM은 통상적으로 사용자에 의해 설정되며, 어떤 값도 사용자에 의해 설정되지 않는 경우 디폴트 DIALNORM 값이 있을지라도, 자동으로 생성되지 않는다. 예를 들면, 콘텐트 생성기는 AC-3 인코더의 외부에 있는 디바이스를 갖고 라우드니스 측정들을 할 수 있으며 그 후 DIALNORM 값을 설정하기 위해 결과를(오디오 프로그램의 음성 다이얼로그의 라우드니스를 표시한) 인코더에 전달한다. 따라서, DIALNORM 파라미터를 정확하게 설정하기 위해 콘텐트 생성기에 대한 의존이 있다.
AC-3 비트스트림에서의 DIALNORM 파라미터가 부정확할 수 있는 여러 개의 상이한 이유들이 있다. 첫 번째로, 각각의 AC-3 인코더는 DIALNORM 값이 콘텐트 생성기에 의해 설정되지 않는다면 비트스트림의 생성 동안 사용되는 디폴트 DIALNORM 값을 가진다. 이러한 디폴트 값은 오디오의 실제 다이얼로그 라우드니스 레벨과 상당히 상이할 수 있다. 두 번째로, 콘텐트 생성기가 라우드니스를 측정하며 그에 따라 DIALNORM 값을 설정할지라도, 권고된 AC-3 라우드니스 측정 방법을 따르지 않는 라우드니스 측정 알고리즘 또는 미터가 사용되었을 수 있어서, 부정확한 DIALNORM 값을 야기한다. 세 번째로, AC-3 비트스트림이 콘텐트 생성기에 의해 정확하게 측정되고 설정된 DIALNORM 값을 갖고 생성되었을지라도, 그것은 비트스트림의 송신 및/또는 저장 동안 부정확한 값으로 변경되었을 수 있다. 예를 들면, 텔레비전 방송 애플리케이션들에서 AC-3 비트스트림들이 부정확한 DIALNORM 메타데이터 정보를 사용하여 디코딩되고, 수정되며, 그 후 재-인코딩되는 것은 드물지 않다. 따라서, AC-3 비트스트림에 포함된 DIALNORM 값은 맞지 않거나 또는 부정확할 수 있으며 그러므로 청취 경험의 품질에 부정적인 영향을 줄 수 있다.
뿐만 아니라, DIALNORM 파라미터는 대응하는 오디오 데이터의 라우드니스 프로세싱 상태(예로서, 어떤 유형(들)의 라우드니스 프로세싱이 오디오 데이터에 대해 수행되었는지)를 표시하지 않는다. 본 발명까지, 오디오 비트스트림은 본 개시에 설명된 유형의 포맷에서, 오디오 비트스트림의 오디오 콘텐트의 라우드니스 프로세싱 상태(예로서, 적용된 라우드니스 프로세싱의 유형(들)) 또는 비트스트림의 오디오 콘텐트의 라우드니스 프로세싱 상태 및 라우드니스를 표시한, 메타데이터를 포함하지 않았다. 이러한 포맷에서 라우드니스 프로세싱 상태 메타데이터는, 특히 효율적인 방식으로, 오디오 비트스트림의 적응적 라우드니스 프로세싱 및/또는 오디오 콘텐트의 라우드니스 프로세싱 상태 및 라우드니스의 유효성의 검증을 용이하게 하기에 유용하다.
본 발명은 AC-3 비트스트림, E-AC-3 비트스트림, 또는 돌비 E 비트스트림과 함께 사용하기 위해 제한되지 않지만, 편리함을 위해 그것은 그것이 라우드니스 프로세싱 상태 메타데이터를 포함하는 이러한 비트스트림을 생성, 디코딩, 또는 그 외 프로세싱하는 실시예들에서 사용될 것이다.
AC-3 인코딩된 비트스트림은 오디오 콘텐트의 메타데이터 및 1 내지 6 채널들을 포함한다. 오디오 콘텐트는 지각적 오디오 코딩을 사용하여 압축된 오디오 데이터이다. 메타데이터는 청취 환경으로 전달된 프로그램의 사운드를 변경할 때 사용하기 위해 의도되는 여러 개의 오디오 메타데이터 파라미터들을 포함한다.
AC-3(또한 돌비 디지털로서 알려진) 코딩의 세부사항들이 잘 알려져 있으며 다음을 포함한 많은 공개된 참조 문헌들에 설명된다.
ATSC 표준 A52/A: 디지털 오디오 압축 표준(AC-3), 개정 A, 개선된 텔레비전 시스템들 위원회, 2001년 8월 20일; 및
미국 특허들(제5,583,962; 제5,632,005호; 제5,633,981호; 제5,727,119호; 및 제6,021,386호), 그 모두는 여기에 전체적으로 참조로서 통합된다.
돌비 디지털 플러스(E-AC-3) 코딩의 세부 사항들이 2004년 10월 28일, 제 117회 AES 컨벤션, AES 컨벤션 논문 6196, "돌비 디지털 플러스로의 도입, 돌비 디지털 코딩 시스템으로의 강화"에 설명된다.
돌비 E 코딩의 세부 사항들은 1999년 8월, 107회 AES 컨퍼런스, AES 사전 인쇄 5068, "오디오 분배 시스템에서 효율적인 비트 할당, 양자화, 및 코딩" 및 1999년 8월, 107회 AES 컨퍼런스, AES 사전 인쇄 5033, "비디오와 함께 사용하기 위해 최적화된 전문 오디오 코더"에 설명된다.
AC-3 인코딩된 오디오 비트스트림의 각각의 프레임은 디지털 오디오의 1536개의 샘플들에 대한 오디오 콘텐트 및 메타데이터를 포함한다. 48 kHz의 샘플링 레이트에 대해, 이것은 32 밀리초들의 디지털 오디오 또는 오디오의 초당 31.25 프레임들의 레이트를 나타낸다.
E-AC-3 인코딩된 오디오 비트스트림의 각각의 프레임은 프레임이 각각 1, 2, 3, 또는 6개의 블록들의 오디오 데이터를 포함하는지 여부에 의존하여, 디지털 오디오의 256, 512, 768 또는 1536개의 샘플들에 대한 오디오 콘텐트 및 메타데이터를 포함한다. 48 kHz의 샘플링 레이트에 대해, 이것은 각각 5.333, 10.667, 16 또는 32 밀리초들의 디지털 오디오 또는 각각 오디오의 초당 189.9, 93.75, 62.5 또는 31.25 프레임들의 레이트를 나타낸다.
도 4에 표시된 바와 같이, 각각의 AC-3 프레임은 다음을 포함하는, 섹션들(세그먼트들)로 분할된다: 동기화 워드(SW) 및 두 개의 에러 보정 워드들 중 첫 번째(CRC1)를 포함하는 동기화 정보(SI) 섹션(도 5에 도시된 바와 같은); 메타데이터의 대부분을 포함하는 비트스트림 정보(BSI) 섹션; 데이터 압축 오디오 콘텐트를 포함하는(및 또한 메타데이터를 포함할 수 있는) 6개의 오디오 블록들(AB0 내지 AB5); 오디오 콘텐트가 압축된 후 남겨진 임의의 사용되지 않은 비트들을 포함하는 폐기 비트 세그먼트들(W); 보다 많은 메타데이터를 포함할 수 있는 보조(AUX) 정보 섹션; 및 두 개의 에러 보정 워드들의 두 번째(CRC2). 폐기 비트 세그먼트(W)는 또한 "스킵 필드"로서 불릴 수 있다.
도 7에 표시된 바와 같이, 각각의 E-AC-3 프레임은 다음을 포함하는, 섹션들(세그먼트들)로 분할된다: 동기화 워드(SW)를 포함하는 동기화 정보(SI) 섹션(도 5에 도시된 바와 같은); 메타데이터의 대부분을 포함하는 비트스트림 정보(BSI) 섹션; 데이터 압축 오디오 콘텐트를 포함하는(및 또한 메타데이터를 포함할 수 있는) 하나 및 6개의 오디오 블록들(AB0 내지 AB5) 사이의 섹션; 오디오 콘텐트가 압축된 후 남겨진 임의의 사용되지 않은 비트들을 포함하는 폐기 비트 세그먼트들(W)(단지 하나의 폐기 비트 세그먼트가 도시되지만, 상이한 폐기 비트 세그먼트는 통상적으로 각각의 오디오 블록에 뒤따른다); 보다 많은 메타데이터를 포함할 수 있는 보조(AUX) 정보 섹션; 및 에러 보정 워드(CRC). 폐기 비트 세그먼트(W)는 또한 "스킵 필드"로서 불리울 수 있다.
AC-3(또는 E-AC-3) 비트스트림에서, 구체적으로 청취 환경으로 전달된 프로그램의 사운드를 변경할 때 사용하기 위해 의도되는 여러 개의 오디오 메타데이터 파라미터들이 있다. 메타데이터 파라미터들 중 하나는 DIALNORM 파라미터이며, 이것은 BSI 세그먼트에 포함된다.
도 6에 도시된 바와 같이, AC-3 프레임의 BSI 세그먼트는 프로그램에 대한 DIALNORM 값을 표시한 5-비트 파라미터("DIALNORM")를 포함한다. 동일한 AC-3 프레임에 운반된 제 2 오디오 프로그램에 대한 DIALNORM 값을 표시한 5-비트 파라미터("DIALNORM2")는, 이중-모노 또는 "1+1" 채널 구성이 사용 중임을 표시하는, AC-3 프레임의 오디오 코딩 모드("acmod")가 "0"인 경우 포함된다.
BSI 세그먼트는 또한 "addbsie" 비트에 뒤따르는 부가적인 비트 스트림 정보의 존재(또는 부재)를 표시한 플래그("addbsie"), "addbsil" 값에 뒤따르는 임의의 부가적인 비트 스트림 정보의 길이를 표시한 파라미터("addbsil"), 및 "addbsil" 값에 뒤따르는 64 비트들까지의 부가적인 비트 스트림 정보("addbsi")를 포함한다.
BSI 세그먼트는 구체적으로 도 6에 도시되지 않는 다른 메타데이터 값들을 포함한다.
본 발명은 오디오 신호 프로세싱, 및 보다 특히, 오디오 콘텐트의 라우드니스 프로세싱 상태 및 비트스트림들에 의해 표시된 오디오 프로그램 경계들의 위치를 표시한 메타데이터를 갖는 오디오 데이터 비트스트림들의 인코딩 및 디코딩과 관련된다.
실시예들의 클래스에서, 본 발명은 버퍼 메모리, 오디오 디코더, 및 파서를 포함하는 오디오 프로세싱 유닛이다. 버퍼 메모리는 인코딩된 오디오 비트스트림의 적어도 하나의 프레임을 저장한다. 인코딩된 오디오 비트스트림은 오디오 데이터 및 메타데이터 컨테이너를 포함한다. 메타데이터 컨테이너는 헤더, 하나 이상의 메타데이터 페이로드들, 및 보호 데이터를 포함한다. 상기 헤더는 컨테이너의 시작을 식별하는 동기워드(syncword)를 포함한다. 하나 이상의 메타데이터 페이로드들은 오디오 데이터와 연관된 오디오 프로그램을 설명한다. 상기 보호 데이터는 상기 하나 이상의 메타데이터 페이로드들 후 위치된다. 상기 보호 데이터는 또한 상기 메타데이터 컨테이너 및 상기 메타데이터 컨테이너 내에서의 하나 이상의 페이로드들의 무결성을 검증하기 위해 사용될 수 있다. 상기 오디오 디코더는 버퍼 메모리에 결합되며 오디오 데이터를 디코딩할 수 있다. 상기 파서는 상기 오디오 디코더에 결합되거나 또는 그것과 통합될 수 있으며 상기 메타데이터 컨테이너를 파싱할 수 있다.
통상적인 실시예들에서, 방법은 인코딩된 오디오 비트스트림이 하나 이상의 프레임들로 분할되는 인코딩된 오디오 비트스트림을 수신하는 단계를 포함한다. 상기 오디오 데이터는 메타데이터의 컨테이너와 함께, 인코딩된 오디오 비트스트림으로부터 추출된다. 상기 메타데이터의 컨테이너는 헤더에 이어 하나 이상의 메타데이터 페이로드들에 이어 보호 데이터를 포함한다. 마지막으로, 상기 컨테이너 및 상기 하나 이상의 메타데이터 페이로드들의 무결성은 상기 보호 데이터의 사용을 통해 검증된다. 상기 하나 이상의 메타데이터 페이로드들은 상기 오디오 데이터와 연관된 오디오 프로그램의 측정된 라우드니스를 표시한 데이터를 포함하는 프로그램 라우드니스 페이로드를 포함할 수 있다.
라우드니스 프로세싱 상태 메타데이터("LPSM")로서 불리우고, 본 발명의 통상적인 실시예들에 따라 오디오 비트스트림에 내장된 프로그램 라우드니스 메타데이터의 페이로드는, 예를 들면, 라우드니스 규제 엔티티들로 하여금 특정한 프로그램의 라우드니스가 이미 특정된 범위 내에 있는지 및 대응하는 오디오 데이터 자체가 수정되지 않았음을(그에 의해 적용 가능한 규제들을 준수함을 보장하는) 검증할 수 있게 하기 위해, 인증되고 검증될 수 있다. 라우드니스 프로세싱 상태 메타데이터를 포함한 데이터 블록에 포함된 라우드니스 값은 라우드니스를 다시 계산하는 대신에, 이를 검증하기 위해 판독될 수 있다. LPSM에 응답하여, 규제 기관은 대응하는 오디오 콘텐트가 오디오 콘텐트의 라우드니스를 계산할 필요 없이 라우드니스 규정 및/또는 규제 요건들(예로서, "CALM" 법으로서 또한 알려진, 상업 광고 라우드니스 완화 법안 하에 반포된 규제들)을 준수한다는 것을(LPSM에 의해 표시된 바와 같이) 결정할 수 있다.
몇몇 라우드니스 규정 및/또는 규제 요건들(예로서, CALM 법안 하에 반포된 규제들)의 준수를 위해 요구되는 라우드니스 측정들은 통합된 프로그램 라우드니스에 기초한다. 통합된 프로그램 라우드니스는 다이얼로그 레벨 또는 전체-믹싱 레벨 중 하나의 라우드니스 측정이 전체 오디오 프로그램에 걸쳐 이루어짐을 요구한다. 따라서, 통상적인 법적 요건들에 대한 준수를 검증하도록 프로그램 라우드니스 측정들(예로서, 방송 체인에서의 다양한 스테이지들에서)을 행하기 위해, 측정들이 어떤 오디오 데이터(및 메타데이터)가 전체 오디오 프로그램을 결정하는지에 대한 지식을 갖고 이루어지는 것이 필수적이며, 이것은 통상적으로 프로그램의 시작 및 종료의 위치에 대한 지식을 요구한다(예로서, 오디오 프로그램들의 시퀀스를 표시한 비트스트림의 프로세싱 동안).
본 발명의 통상적인 실시예들에 따르면, 인코딩된 오디오 비트스트림은 적어도 하나의 오디오 프로그램(예로서, 오디오 프로그램들의 시퀀스)을 표시하며, 상기 비트스트림에 포함된 프로그램 경계 메타데이터 및 LPSM은 프로그램의 끝에서 프로그램 라우드니스 측정의 재설정을 가능하게 하며 따라서 통합된 프로그램 라우드니스를 측정하는 자동화 방식을 제공한다. 본 발명의 통상적인 실시예들은 효율적인 방식으로 인코딩된 오디오 비트스트림에 프로그램 경계 메타데이터를 포함하며, 이것은 상기 비트스트림에 의해 표시된 연속 오디오 프로그램들 사이에서의 적어도 하나의 경계의 정확하며 강력한 결정을 허용한다. 통상적인 실시예들은 그것들이 상이한 프로그램들을 표시한 비트스트림들이 스플라이싱된 비트스트림들 중 하나 또는 양쪽 모두를 절단하는 방식으로(및 그에 따라 사전-스플라이싱 비트스트림들 중 적어도 하나에 포함된 프로그램 경계 메타데이터를 폐기한다) 함께 스플라이싱되는(본 발명의 비트스트림을 생성하기 위해) 경우들에서조차 정확한 프로그램 경계 결정을 허용한다는 점에서 볼 때 프로그램 경계의 정확하며 강력한 결정을 허용한다.
통상적인 실시예들에서, 본 발명의 비트스트림의 프레임에서의 프로그램 경계 메타데이터는 프레임 카운트를 표시한 프로그램 경계 플래그이다. 통상적으로, 상기 플래그는 현재 프레임(플래그를 포함하는 프레임) 및 프로그램 경계(현재 오디오 프로그램의 시작 또는 끝) 사이에서의 프레임들의 수를 표시한다. 몇몇 바람직한 실시예들에서, 프로그램 경계 플래그들은 단일 프로그램을 표시한 각각의 비트스트림 세그먼트의 시작 및 끝에서 대칭의, 효율적인 방식으로 삽입되며(즉, 세그먼트의 시작 후 몇몇 미리 결정된 수의 프레임들 내에서 발생한 프레임들에서, 및 세그먼트의 끝 전에 몇몇 미리 결정된 수의 프레임들 내에서 발생한 프레임들에서), 따라서 두 개의 이러한 비트스트림 세그먼트들이 연쇄될 때(두 개의 프로그램들의 시퀀스를 표시하도록), 프로그램 경계 메타데이터는 두 개의 프로그램들 사이에서의 경계의 양쪽 측면들 상에 존재할 수 있다(예로서, 대칭적으로).
인코딩된 오디오 비트스트림(하나의 오디오 프로그램 또는 오디오 프로그램들의 시퀀스를 표시할 수 있는)에 프로그램 경계 메타데이터를 포함하는 것으로부터 기인한 데이터 레이트 증가를 제한하기 위해, 통상적인 실시예들에서, 프로그램 경계 플래그들은 단지 비트스트림의 프레임들의 서브세트에만 삽입된다. 통상적으로, 경계 플래그 삽입 레이트는 상기 프레임들의 각각에 가장 가까운 프로그램 경계로부터 비트스트림의 프레임들(플래그가 삽입되는)의 각각의 간격을 증가시키는 비-증가 함수이며, 여기에서 "경계 플래그 삽입 레이트"는 프로그램 경계 플래그를 포함하는 프레임들의 수(프로그램을 표시한) 대 프로그램 경계 플래그를 포함하지 않는 프레임들의 수(프로그램을 표시한)의 평균 비를 표시하며, 여기에서 평균은 인코딩된 오디오 비트스트림의 연속 프레임들의 수(예로서, 비교적 작은 수)에 걸친 이동 평균이다. 실시예들의 클래스에서, 경계 플래그 삽입 레이트는 가장 가까운 프로그램 경계로부터 거리(각각의 플래그 삽입 위치의)를 증가시키는 대수적 감소 함수이며, 플래그들 중 하나를 포함하는 각각의 플래그-포함 프레임에 대해, 상기 플래그-포함 프레임에서의 플래그의 크기는 상기 플래그-포함 프레임보다 가장 가까운 프로그램 경계에 더 가까이 위치된 프레임에서의 각각의 플래그의 크기와 같거나 또는 클 수 있다(즉, 각각의 플래그-포함 프레임에서의 프로그램 경계 플래그의 크기는 가장 가까운 프로그램 경계로부터의 상기 플래그-포함 프레임의 간격을 증가시키는 비-감소 함수이다).
본 발명의 또 다른 양상은 본 발명의 방법의 임의의 실시예를 수행하도록 구성된 오디오 프로세싱 유닛(APU)이다. 실시예들의 또 다른 클래스에서, 본 발명은 본 발명의 방법의 임의의 실시예에 의해 생성된 인코딩된 오디오 비트스트림의 적어도 하나의 프레임을 저장하는(예로서, 비-일시적 방식으로) 버퍼 메모리(버퍼)를 포함한 APU이다. APU의 예들은, 이에 제한되지 않지만, 인코더들(예로서, 트랜스코더들), 디코더들, 코덱들, 전-처리 시스템들(전-처리기들), 후-처리 시스템들(후-처리기들), 오디오 비트스트림 프로세싱 시스템들, 및 이러한 요소들의 조합들을 포함한다.
실시예들의 또 다른 클래스에서, 본 발명은 오디오 데이터 세그먼트들 및 메타데이터 세그먼트들을 포함한 인코딩된 오디오 비트스트림을 생성하도록 구성된 오디오 프로세싱 유닛(APU)이며, 여기에서 오디오 데이터 세그먼트들은 오디오 데이터를 나타내며, 메타데이터 세그먼트들 중 적어도 몇몇의 각각은 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함한다. 통상적으로, 비트스트림의 프레임에서 적어도 하나의 이러한 메타데이터 세그먼트는 제 1 유형의 라우드니스 프로세싱이 프레임의 오디오 데이터(프레임의 적어도 하나의 오디오 데이터 세그먼트에서의 오디오 데이터) 상에서 수행되었는지 여부를 표시한 LPSM의 적어도 하나의 세그먼트, 및 프레임의 오디오 데이터의 적어도 몇몇의 라우드니스(예로서, 다이얼로그를 표시하는 프레임의 오디오 데이터 중 적어도 몇몇의 다이얼로그 라우드니스)를 표시한 LPSM의 적어도 하나의 다른 세그먼트를 포함한다. 이러한 클래스에서의 일 실시예에서, APU는 인코딩된 오디오를 생성하기 위해 입력 오디오를 인코딩하도록 구성된 인코더이며, 오디오 데이터 세그먼트들은 인코딩된 오디오를 포함한다. 이러한 클래스에서의 통상적인 실시예들에서, 메타데이터 세그먼트들의 각각은 여기에 설명될 바람직한 포맷을 가진다.
몇몇 실시예들에서, LPSM(예로서, LPSM 및 프로그램 경계 메타데이터)을 포함하는 인코딩된 비트스트림(몇몇 실시예들에서 AC-3 비트스트림 또는 E-AC-3 비트스트림)의 메타데이터 세그먼트들의 각각은 비트스트림의 프레임의 스킵 필드 세그먼트의 폐기 비트(예로서, 도 4 또는 도 7에 도시된 유형의 폐기 비트 세그먼트(W))에 포함된다. 다른 실시예들에서, LPSM(예로서, LPSM 및 프로그램 경계 메타데이터)을 포함하는 인코딩된 비트스트림(몇몇 실시예들에서 AC-3 비트스트림 또는 E-AC-3 비트스트림)의 메타데이터 세그먼트들의 각각은 비트스트림의 프레임의 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드에 또는 비트스트림의 프레임의 끝에서의 auxdata 필드(예로서, 도 4 또는 도 7에 도시된 유형의 AUX 세그먼트)에 부가적인 비트 스트림 정보로서 포함된다. LPSM을 포함한 각각의 메타데이터 세그먼트는 이하의 표 1 및 표 2를 참조하여 여기에 특정된 포맷을 가질 수 있다(즉, 그것은 표 1에 특정된 코어 요소들 또는 그것에 대한 변형에 이어, 페이로드 ID(LPSM으로서 메타데이터를 식별하는) 및 페이로드 크기 값들에 이어, 페이로드(표 2에 표시된 바와 같은 포맷, 또는 여기에 설명된 표 2 상에서의 변형에 표시된 바와 같은 포맷을 가진 LPSM 데이터)를 포함한다). 몇몇 실시예들에서, 프레임은 그 각각이 LPSM을 포함하는 하나 또는 두 개의 메타데이터 세그먼트들을 포함할 수 있으며, 프레임이 두 개의 메타데이터 세그먼트들을 포함한다면, 하나는 프레임의 addbsi 필드에, 다른 하나는 프레임의 AUX 필드에 존재한다.
실시예들의 클래스에서, 본 발명은 메타데이터 세그먼트(비트스트림의 적어도 하나의 프레임의)에 LPSM 및 프로그램 경계 메타데이터 및 선택적으로 또한 프레임이 속하는 오디오 프로그램에 대한 다른 메타데이터를 포함하는 단계를 포함하는, AC-3 또는 E-AC-3 인코딩된 오디오 비트스트림을 생성하기 위해 오디오 데이터를 인코딩하는 단계들을 포함하는 방법이다. 몇몇 실시예들에서, 각각의 이러한 메타데이터 세그먼트는 프레임의 addbsi 필드, 또는 프레임의 auxdata 필드에 포함된다. 다른 실시예들에서, 각각의 이러한 메타데이터 세그먼트는 프레임의 폐기 비트 세그먼트에 포함된다. 몇몇 실시예들에서, LPSM 및 프로그램 경계 메타데이터를 포함하는 각각의 메타데이터 세그먼트는 코어 헤더(및 선택적으로 또한 부가적인 코어 요소들)를 포함하며, 코어 헤더(또는 코어 헤더 및 다른 코어 요소들) 후, LPSM 페이로드(또는 컨테이너) 세그먼트는 다음의 포맷을 가진다:
통상적으로, 적어도 하나의 식별 값(예로서, 여기에 설명된 표 2에 표시된 바와 값이, LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들)을 포함한, 헤더, 및
상기 헤더 후, LPSM 및 프로그램 경계 메타데이터. 프로그램 경계 메타데이터는 프로그램 경계 프레임 카운트, 및 프레임이 단지 프로그램 경계 프레임 카운트를 포함하는지 또는 프로그램 경계 프레임 카운트 및 오프셋 값 양쪽 모두를 포함하는지 여부를 표시한 코드 값(예로서, "offset_exist" 값), 및 (몇몇 경우들에서) 오프셋 값을 포함할 수 있다. LPSM은 다음을 포함할 수 있다:
대응하는 오디오 데이터가 다이얼로그를 표시하는지 또는 다이얼로그를 표시하는지 않는지(예로서, 대응하는 오디오 데이터의 어떤 채널들이 다이얼로그를 표시하는지)를 표시하는 적어도 하나의 다이얼로그 표시 값. 다이얼로그 표시 값(들)은 다이얼로그가 대응하는 오디오 데이터의 채널들의 임의의 조합에 존재하는지 또는 그것 모두에 존재하는지 여부를 표시할 수 있다;
대응하는 오디오 데이터가 표시된 세트의 라우드니스 규제들을 준수하는지 여부를 표시하는 적어도 하나의 라우드니스 규제 준수 값;
대응하는 오디오 데이터 상에서 수행된 적어도 하나의 유형의 라우드니스 프로세싱을 표시한 적어도 하나의 라우드니스 프로세싱 값; 및
대응하는 오디오 데이터의 적어도 하나의 라우드니스(예로서, 피크 또는 평균 라우드니스) 특성을 표시한 적어도 하나의 라우드니스 값.
다른 실시예들에서, 인코딩된 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이 아닌 비트스트림이며, LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각은 부가적인 데이터의 저장을 위해 예약된 비트스트림의 세그먼트(또는 필드 또는 슬롯)에 포함된다. LPSM을 포함한 각각의 메타데이터 세그먼트는 이하의 표 1 및 표 2를 참조하여 여기에 특정된 것과 유사하거나 또는 동일한 포맷을 가질 수 있다(즉, 그것은 표 1에 특정된 것들과 유사하거나 또는 동일한 코어 요소들, 이어서 페이로드 ID(LPSM으로서 메타데이터를 식별하는) 및 페이로드 크기 값들, 이어서 페이로드(표 2에 표시된 포맷 또는 여기에 설명된 표 2에 대한 변형과 유사하거나 또는 동일한 포맷을 갖는 LPSM 데이터)을 포함한다.
몇몇 실시예들에서, 인코딩된 비트스트림은 프레임들의 시퀀스를 포함하며, 프레임들의 각각은 "addbsi" 필드(때때로 세그먼트 또는 슬롯으로서 불리우는) 및 auxdata 필드 또는 슬롯(예로서, 인코딩된 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이다)을 포함한 비트스트림 정보("BSI") 세그먼트를 포함하며, 오디오 데이터 세그먼트들(예로서, 도 4에 도시된 프레임의 AB0 내지 AB5 세그먼트들) 및 메타데이터 세그먼트들을 포함하고, 여기에서 오디오 데이터 세그먼트들은 오디오 데이터를 표시하며, 메타데이터 세그먼트들의 적어도 몇몇의 각각은 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함한다. LPSM은 다음의 포맷에서의 비트스트림에 존재한다. LPSM을 포함하는 메타데이터 세그먼트들의 각각은 비트스트림의 프레임의 BSI 세그먼트의 "addbsi" 필드에, 또는 비트스트림의 프레임의 auxdata 필드에, 또는 비트스트림의 프레임의 폐기 비트 세그먼트에 포함된다. LPSM을 포함한 각각의 메타데이터 세그먼트는 다음의 포맷을 가진 LPSM 페이로드(또는 컨테이너) 세그먼트를 포함한다:
헤더(통상적으로, 적어도 하나의 식별 값, 예로서 이하의 표 2에 표시된 LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들을 포함한); 및
헤더 후, LPSM 및 선택적으로 또한 프로그램 경계 메타데이터. 상기 프로그램 경계 메타데이터는 프로그램 경계 프레임 카운트, 및 프레임이 단지 프로그램 경계 프레임 카운트를 포함하는지 또는 프레임 경계 프레임 카운트 및 오프셋 값 양쪽 모두, 및 (몇몇 경우들에서) 오프셋 값을 포함하는지 여부를 표시한 코드 값(예로서, "offset_exist" 값)을 포함할 수 있다. LPSM은:
대응하는 오디오 데이터가 다이얼로그를 표시하는지 또는 다이얼로그를 표시하지 않는지(예로서 대응하는 오디오 데이터의 어떤 채널들이 다이얼로그를 표시하는지) 여부를 표시하는 적어도 하나의 다이얼로그 표시 값(예로서, 표 2의 파라미터("다이얼로그 채널(들)"). 상기 다이얼로그 표시 값(들)은 다이얼로그가 대응하는 오디오 데이터의 채널들의 임의의 조합에 존재하는지 또는 그것 모두에 존재하는지 여부를 표시할 수 있다;
대응하는 오디오 데이터가 표시된 세트의 라우드니스 규제들을 준수하는지를 표시하는 적어도 하나의 라우드니스 규제 준수 값(예로서, 표 2의 파라미터("라우드니스 규제 유형");
대응하는 오디오 데이터 상에서 수행된 적어도 하나의 유형의 라우드니스 프로세싱을 표시한 적어도 하나의 라우드니스 프로세싱 값(예로서, 표 2의, 파라미터들("다이얼로그 게이팅된 라우드니스 보정 플래그", "라우드니스 보정 유형") 중 하나 이상); 및
대응하는 오디오 데이터의 적어도 하나의 라우드니스(예로서, 피크 또는 평균 라우드니스) 특성을 표시한 적어도 하나의 라우드니스 값(예로서, 표 2의 파라미터들("ITU 상대적 게이팅된 라우드니스", "ITU 속도 게이팅된 라우드니스", "ITU(EBU 3341) 단기 3초 라우드니스", 및 "실제 피크" 중 하나 이상)을 포함할 수 있다.
대응하는 오디오 데이터를 표시한 적어도 하나의 라우드니스 값을 고려하고, 사용하거나 또는 생성하는 본 발명의 임의의 실시예에서, 라우드니스 값(들)은 오디오 데이터의 라우드니스 및/또는 동적 범위를 프로세싱하기 위해 이용된 적어도 하나의 라우드니스 측정 특성을 표시할 수 있다.
몇몇 구현들에서, 비트스트림의 프레임의, "addbsi" 필드 또는 auxdata 필드, 또는 폐기 비트 세그먼트에서의 메타데이터 세그먼트들의 각각은 다음의 포맷을 가진다:
코어 헤더(통상적으로 메타데이터 세그먼트의 시작을 식별하는 동기워드, 이어서 식별 값들, 예로서 코어 요소 버전, 길이, 및 기간, 연장된 요소 카운트, 및 이하의 표 1에 표시된 서브스트림 연관 값들을 포함하는); 및
상기 코어 헤더 후, 라우드니스 프로세싱 상태 메타데이터 또는 대응하는 오디오 데이터 중 적어도 하나의 복호화, 인증, 또는 검증 중 적어도 하나에 유용한, 적어도 하나의 보호 값(예로서, HMAC 다이제스트 및 오디오 핑거프린트 값들, 여기에서 HMAC 다이제스트는 표 1에 표시된 바와 같이, 전체 프레임의 오디오 데이터, 코어 요소, 및 모든 확장된 요소들에 대해 계산된 256-비트 HMAC 다이제스트(SHA-2 알고리즘을 사용한)일 수 있다); 및
또한 상기 코어 헤더 후, 메타데이터 세그먼트가 LPSM을 포함한다면, LPSM 페이로드로서 다음의 메타데이터를 식별하며 LPSM 페이로드의 크기를 표시하는 LPSM 페이로드 식별("ID") 및 LPSM 페이로드 크기 값들. LPSM 페이로드 세그먼트(바람직하게는 상기 특정된 포맷을 가진)는 LPSM 페이로드 ID 및 LPSM 페이로드 크기 값들에 뒤따른다.
이전 단락에 설명된 유형의 몇몇 실시예들에서, 프레임의 auxdata 필드(또는 "addbsi" 필드 또는 폐기 비트 세그먼트)에서의 메타데이터 세그먼트들의 각각은 3개의 레벨들의 구조를 가진다:
auxdata(또는 addbsi) 필드가 메타데이터를 포함하는지 여부를 표시한 플래그, 어떤 유형(들)의 메타데이터가 존재하는지를 표시한 적어도 하나의 ID 값, 및 통상적으로 또한 얼마나 많은 비트들의 메타데이터(예로서, 각각의 유형의)가 존재하는지(메타데이터가 존재한다면)를 표시한 값을 포함한, 상위 레벨 구조. 존재할 수 있는 일 유형의 메타데이터는 LPSM이고, 존재할 수 있는 또 다른 유형의 메타데이터는 프로그램 경계 메타데이터이며, 존재할 수 있는 또 다른 유형의 메타데이터는 미디어 연구 메타데이터이다;
각각의 식별된 유형의 메타데이터를 위한 코어 요소를 포함한, 중간 레벨 구조(예로서, 각각의 식별된 유형의 메타데이터에 대한, 예로서 상기 언급된 유형의, 코어 헤더, 보호 값들, 및 페이로드 ID 및 페이로드 크기 값들); 및
하나의 코어 요소를 위한 각각의 페이로드를 포함한, 하위 레벨 구조(예로서, 하나가 존재하는 것으로서 코어 요소에 의해 식별된다면, LPSM 페이로드, 및/또는 하나가 존재하는 것으로서 코어 요소에 의해 식별된다면 또 다른 유형의 메타데이터 페이로드).
이러한 3 레벨 구조에서의 데이터 값들은 내포될 수 있다. 예를 들면, 코어 요소에 의해 식별된 LPSM 페이로드 및/또는 또 다른 메타데이터 페이로드에 대한 보호 값들이 각각의 페이로드가 코어 요소에 의해 식별된 후(및 따라서 코어 요소의 코어 헤더 후) 포함될 수 있다. 일 예에서, 코어 헤더는 LPSM 페이로드 및 또 다른 메타데이터 페이로드를 식별하고, 제 1 페이로드(예로서, LPSM 페이로드)에 대한 페이로드 ID 및 페이로드 크기 값들은 코어 헤더를 뒤따를 수 있고, 제 1 페이로드 자체는 ID 및 크기 값들을 뒤따를 수 있고, 제 2 페이로드에 대한 페이로드 ID 및 페이로드 크기 값은 제 1 페이로드를 뒤따를 수 있고, 제 2 페이로드 자체는 이들 ID 및 크기 값들을 뒤따를 수 있으며, 페이로드들 중 하나 또는 양쪽 모두에 대한(또는 코어 요소 값들 및 페이로드들 중 하나 또는 양쪽 모두에 대한) 보호 값(들)이 마지막 페이로드를 뒤따를 수 있다.
몇몇 실시예들에서, 프레임의 auxdata 필드(또는 "addbsi" 필드 또는 폐기 비트 세그먼트)에서의 메타데이터 세그먼트의 코어 요소는 코어 헤더(통상적으로 식별 값들, 예로서 코어 요소 버전을 포함한), 및 코어 헤더 후: 핑거프린트 데이터가 메타데이터 세그먼트의 메타데이터를 위해 포함되는지 여부를 표시한 값들, 외부 데이터(메타데이터 세그먼트의 메타데이터에 대응하는 오디오 데이터에 관련된)가 존재하는지 여부를 표시한 값들, 코어 요소에 의해 식별된 각각의 유형의 메타데이터(예로서, LPSM 및/또는 LPSM이 아닌 유형의 메타데이터)에 대한 페이로드 ID 및 페이로드 크기 값들, 및 코어 요소에 의해 식별된 적어도 일 유형의 메타데이터에 대한 보호 값들을 포함한다. 메타데이터 세그먼트의 메타데이터 페이로드(들)는 코어 헤더를 뒤따르며, (몇몇 경우들에서) 코어 요소의 값들 내에 내포된다.
또 다른 바람직한 포맷에서, 인코딩된 비트스트림은 돌비 E 비트스트림이며, LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각은 돌비 E 보호 대역 간격의 제 1 N 샘플 위치들에 포함된다.
또 다른 클래스의 실시예들에서, 본 발명은 오디오 데이터를 표시하는 오디오 데이터 세그먼트들 및 적어도 몇몇의 각각이 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함하는 메타데이터 세그먼트들을 포함한 인코딩된 오디오 비트스트림을 수신하고, 비트스트림으로부터 LPSM을 추출하고, 오디오 데이터에 응답하여 디코딩된 오디오 데이터를 생성하고, 및 LPSM을 사용하여 오디오 데이터에 대한 적어도 하나의 적응적 라우드니스 프로세싱 동작을 수행하도록 결합되며 구성된 APU(예로서, 디코더)이다. 이 클래스에서 몇몇 실시예들은 또한 APU에 결합된 후-처리기를 포함하며, 여기에서 상기 후-처리기는 LPSM을 사용하여 상기 오디오 데이터에 대한 적어도 하나의 적응적 라우드니스 프로세싱 동작을 수행하도록 결합 및 구성된다.
또 다른 클래스의 실시예들에서, 본 발명은 버퍼 메모리(버퍼) 및 상기 버퍼에 결합된 프로세싱 서브시스템을 포함한 오디오 프로세싱 유닛(APU)이며, 여기에서 상기 APU는 오디오 데이터 세그먼트들 및 메타데이터 세그먼트들을 포함한 인코딩된 오디오 비트스트림을 수신하기 위해 결합되고, 상기 오디오 데이터 세그먼트들은 오디오 데이터를 표시하며, 상기 메타데이터 세그먼트들 중 적어도 몇몇의 각각은 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함하며, 상기 버퍼는 상기 인코딩된 오디오 비트스트림의 적어도 하나의 프레임을 (예로서, 비-일시적 방식으로) 저장하며, 상기 프로세싱 서브시스템은 비트스트림으로부터 LPSM을 추출하도록 및 상기 LPSM을 사용하여 상기 오디오 데이터에 대한 적어도 하나의 적응적 라우드니스 프로세싱 동작을 수행하도록 구성된다. 이 클래스에서 통상적인 실시예들에서, 상기 APU는 인코더, 디코더, 및 후-처리기 중 하나이다.
본 발명의 방법의 몇몇 구현들에서, 생성된 오디오 비트스트림은 라우드니스 프로세싱 상태 메타데이터, 뿐만 아니라 다른 메타데이터(예로서, DIALNORM 메타데이터 파라미터, 동적 범위 제어 메타데이터 파라미터들, 및 다른 메타데이터 파라미터들)를 포함하여, AC-3 인코딩된 비트스트림, E-AC-3 비트스트림, 또는 돌비 E 비트스트림 중 하나이다. 상기 방법의 몇몇 다른 구현들에서, 생성된 오디오 비트스트림은 또 다른 유형의 인코딩된 비트스트림이다.
본 발명의 양상들은 본 발명의 방법의 임의의 실시예를 수행하도록 구성된(예로서, 프로그램된) 시스템 또는 디바이스, 및 본 발명의 방법 또는 그것의 단계들의 임의의 실시예를 구현하기 위한 코드를 저장하는(예로서, 비-일시적 방식으로) 컴퓨터 판독 가능한 매체(예로서, 디스크)를 포함한다. 예를 들면, 본 발명의 시스템은 소프트웨어 또는 펌웨어를 갖고 프로그램되고 및/또는 그 외 본 발명의 방법 또는 그것의 단계들의 실시예를 포함한, 데이터에 대한 다양한 동작들 중 임의의 것을 수행하도록 구성된, 프로그램 가능한 범용 프로세서, 디지털 신호 프로세서, 또는 마이크로프로세서일 수 있거나 또는 이를 포함할 수 있다. 이러한 범용 프로세서는 그것에 어서팅된 데이터에 응답하여 본 발명의 방법(또는 그것의 단계들)의 실시예를 수행하도록 프로그램된(및/또는 그 외 구성된) 입력 디바이스, 메모리, 및 프로세싱 회로를 포함한 컴퓨터 시스템일 수 있거나 또는 이를 포함할 수 있다.
본 발명은 AC-3 비트스트림, E-AC-3 비트스트림, 또는 돌비 E 비트스트림과 함께 사용하기 위해 제한되지 않지만, 편리함을 위해 그것은 그것이 라우드니스 프로세싱 상태 메타데이터를 포함하는 이러한 비트스트림을 생성, 디코딩, 또는 그 외 프로세싱하는 실시예들에서 사용될 것이다.
도 1은 본 발명의 방법의 실시예를 수행하도록 구성될 수 있는 시스템의 실시예의 블록도.
도 2는 본 발명의 오디오 프로세싱 유닛의 실시예인 인코더의 블록도.
도 3은 본 발명의 오디오 프로세싱 유닛의 실시예인 디코더, 및 본 발명의 오디오 프로세싱 유닛의 또 다른 실시예인 그것에 결합된 후-처리기의 블록도.
도 4는 그것이 분할되는 세그먼트들을 포함한, AC-3 프레임의 다이어그램.
도 5는 그것이 분할되는 세그먼트들을 포함한, AC-3 프레임의 동기화 정보(SI) 세그먼트의 다이어그램.
도 6은 그것이 분할되는 세그먼트들을 포함한, AC-3 프레임의 비트스트림 정보(BSI) 세그먼트의 다이어그램.
도 7은 그것이 분할되는 세그먼트들을 포함한 E-AC-3 프레임의 다이어그램.
도 8은 그 포맷이 본 발명의 실시예에 따르는 프로그램 경계 메타데이터를 포함하는 인코딩된 오디오 비트스트림의 프레임들의 다이어그램.
도 9는 도 9의 인코딩된 오디오 비트스트림의 다른 프레임들의 다이어그램. 이들 프레임들의 몇몇은 본 발명의 실시예에 따른 포맷을 가진 프로그램 경계 메타데이터를 포함한다.
도 10은 두 개의 인코딩된 오디오 비트스트림들, 즉: 프로그램 경계("경계"로 라벨링된)가 비트스트림의 두 개의 프레임들 사이에서의 전이를 갖고 정렬되는 비트스트림(IEB), 및 프로그램 경계("실제 경계"로 라벨링된)가 비트스트림의 두 개의 프레임들 사이에서의 전이로부터 512 개 샘플들만큼 오프셋되는 또 다른 비트스트림(TB)의 다이어그램.
도 11은 4개의 인코딩된 오디오 비트스트림들을 도시한 다이어그램들의 세트를 도시하는 도면. 도 11의 최상부에서의 비트스트림("시나리오 1"로서 라벨링된)은 또한 프로그램 경계 메타데이터를 포함하는 제 2 오디오 프로그램(P2)에 앞서 프로그램 경계 메타데이터를 포함한 제 1 오디오 프로그램(P1)을 표시하고; 제 2 비트스트림("시나리오 2"로서 라벨링된)은 프로그램 경계 메타데이터를 포함하지 않는 제 2 오디오 프로그램(P2)에 앞서 프로그램 경계 메타데이터를 포함하는 제 1 오디오 프로그램(P1)을 표시하고; 제 3 비트스트림("시나리오 3"으로 라벨링된)은 프로그램 경계 메타데이터를 포함하며, 프로그램 경계 데이터를 포함하는 전체 제 2 오디오 프로그램(P2)을 갖고 스플라이싱된 절단된 제 1 오디오 프로그램(P1)을 표시하며; 제 4 비트스트림("시나리오 4"로 라벨링된)은 프로그램 경계 메타데이터를 포함하는 절단된 제 1 오디오 프로그램(P1), 및 프로그램 경계 메타데이터를 포함하며 제 1 오디오 프로그램의 일 부분을 갖고 스플라이싱된 절단된 제 2 오디오 프로그램(P2)을 표시한다.
표기법 및 명명법
청구항들에 포함한, 본 개시 전체에 걸쳐, 신호 또는 데이터"에 대한" 동작(예로서, 신호 또는 데이터를 필터링하고, 스케일링하고, 변환하거나, 또는 그것에 이득을 적용하는)을 수행하는 표현은 신호 또는 데이터에 대해 직접, 또는 신호 또는 데이터의 프로세싱된 버전에 대해(예로서, 동작의 수행 이전에 예비 필터링 또는 전-처리를 겪은 신호의 버전에 대해) 동작을 수행하는 것을 나타내기 위해 광범위한 의미로 사용된다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현("시스템")은 디바이스, 시스템, 또는 서브시스템을 나타내기 위해 광범위한 의미로 사용된다. 예를 들면, 디코더를 구현하는 서브시스템은 디코더 시스템으로서 불리울 수 있으며, 이러한 서브시스템을 포함한 시스템(예로서, 다수의 입력들에 응답하여 X 출력 신호들을 생성하는 시스템, 여기에서 서브시스템은 M의 입력들을 생성하며 다른 X-M 입력들이 외부 소스로부터 수신된다)은 또한 디코더 시스템으로서 불리울 수 있다.
청구항들에 포함한 본 개시 전체에 걸쳐, 용어("프로세서")는 데이터(예로서, 오디오, 또는 비디오 또는 다른 이미지 데이터)에 대한 동작들을 수행하도록 프로그램 가능한 또는 그 외 구성 가능한(예로서, 소프트웨어 또는 펌웨어를 갖고) 시스템 또는 디바이스를 나타내기 위해 광범위한 의미로 사용된다. 프로세서들의 예들은 필드-프로그램 가능한 게이트 어레이(또는 다른 구성 가능한 집적 회로 또는 칩셋), 오디오 또는 다른 사운드 데이터에 대한 파이프라인 프로세싱을 수행하도록 프로그램된 및/또는 그 외 구성된 디지털 신호 프로세서, 프로그램 가능한 범용 프로세서 또는 컴퓨터, 및 프로그램 가능한 마이크로프로세서 칩 또는 칩셋을 포함한다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현들("오디오 프로세서" 및 "오디오 프로세싱 유닛")은 상호 교환 가능하게, 및 광범위한 의미로, 오디오 데이터를 프로세싱하도록 구성된 시스템을 나타내기 위해 사용된다. 오디오 프로세싱 유닛들의 예들은, 이에 제한되지 않지만, 인코더들(예로서, 트랜스코더들), 디코더들, 코덱들, 전-처리 시스템들, 후-처리 시스템들, 및 비트스트림 프로세싱 시스템들(때때로 비트스트림 프로세싱 툴들로서 불리우는)을 포함한다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현("프로세싱 상태 메타데이터")(예로서, 표현("라우드니스 프로세싱 상태 메타데이터")에서처럼)은 대응하는 오디오 데이터(또한 프로세싱 상태 메타데이터를 포함하는 오디오 데이터 스트림의 오디오 콘텐트)로부터 분리된 및 상이한 데이터를 나타낸다. 프로세싱 상태 메타데이터는 오디오 데이터와 연관되고, 대응하는 오디오 데이터의 라우드니스 프로세싱 상태를 표시하며(예로서, 어떤 유형(들)의 프로세싱이 오디오 데이터에 대해 이미 수행되었는지), 통상적으로 또한 오디오 데이터의 적어도 하나의 특징 또는 특성을 표시한다. 오디오 데이터와 프로세싱 상태 메타데이터의 연관은 시간-동기식이다. 따라서, 현재(가장 최근에 수신된 또는 업데이트된) 프로세싱 상태 메타데이터는 대응하는 오디오 데이터가 표시된 유형(들)의 오디오 데이터 프로세싱의 결과들을 동시 발생적으로 포함함을 표시한다. 몇몇 경우들에서, 프로세싱 상태 메타데이터는 표시된 유형들의 프로세싱에서 사용되며 및/또는 그로부터 도출되는 파라미터들의 일부 또는 모두 및/또는 프로세싱 이력을 포함할 수 있다. 부가적으로, 프로세싱 상태 메타데이터는 대응하는 오디오 데이터의 적어도 하나의 특징 또는 특성을 포함할 수 있으며, 이것은 오디오 데이터로부터 계산되거나 또는 추출되었다. 프로세싱 상태 메타데이터는 또한 대응하는 오디오 데이터의 임의의 프로세싱에 관련되지 않거나 또는 그로부터 도출되지 않는 다른 메타데이터를 포함할 수 있다. 예를 들면, 제 3 자 데이터, 추적 정보, 식별자들, 독점 또는 표준 정보, 사용자 주석 데이터, 사용자 선호 데이터 등은 다른 오디오 프로세싱 유닛들로 전하기 위해 특정한 오디오 프로세싱 유닛에 의해 부가될 수 있다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현("라우드니스 프로세싱 상태 메타데이터"(또는 "LPSM"))은 대응하는 오디오 데이터의 라우드니스 프로세싱 상태(예로서, 어떤 유형(들)의 라우드니스 프로세싱이 오디오 데이터에 대해 수행되었는지) 및 통상적으로 또한 대응하는 오디오 데이터의 적어도 하나의 특징 또는 특성(예로서, 라우드니스)을 표시한 프로세싱 상태 메타데이터를 나타낸다. 라우드니스 프로세싱 상태 메타데이터는 라우드니스 프로세싱 상태 메타데이터가 아닌(즉, 그것이 단독으로 고려될 때) 데이터(예로서, 다른 메타데이터)를 포함할 수 있다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현("채널"(또는 "오디오 채널"))은 모노포닉 오디오 신호를 나타낸다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현("오디오 프로그램")은 하나 이상의 오디오 채널들의 세트 및 선택적으로 또한 연관된 메타데이터(예로서, 원하는 공간 오디오 프리젠테이션, 및/또는 LPSM, 및/또는 프로그램 경계 메타데이터를 설명하는 메타데이터)를 나타낸다.
청구항들에 포함한 본 개시 전체에 걸쳐, 표현("프로그램 경계 메타데이터")은 인코딩된 오디오 비트스트림의 메타데이터를 나타내며, 여기에서 인코딩된 오디오 비트스트림은 적어도 하나의 오디오 프로그램(예로서, 둘 이상의 오디오 프로그램들)을 표시하며, 프로그램 경계 메타데이터는 적어도 하나의 상기 오디오 프로그램의 적어도 하나의 경계(시작 및/또는 종료)의 비트스트림에서의 위치를 표시한다. 예를 들면, 프로그램 경계 메타데이터(오디오 프로그램을 표시한 인코딩된 오디오 비트스트림의)는 프로그램의 시작의 위치(예로서, 비트스트림의 제 "N" 프레임의 시작, 또는 비트스트림의 제 "N" 프레임의 제 "M" 샘플 위치)를 표시한 메타데이터, 및 프로그램의 종료의 위치(예로서, 비트스트림의 제 "J" 프레임의 시작, 또는 비트스트림의 제 "J" 프레임의 제 "K" 샘플 위치)를 표시한 부가적인 메타데이터를 포함할 수 있다.
청구항들에 포함한 본 개시 전체에 걸쳐, 용어("결합하는" 또는 "결합된")는 직접 또는 간접 연결을 의미하기 위해 사용된다. 따라서, 제 1 디바이스가 제 2 디바이스에 결합하면, 상기 연결은 직접 연결을 통하거나 또는 다른 디바이스들 및 연결들을 경유하여 간접 연결을 통할 수 있다.
본 발명의 통상적인 실시예들에 따르면, 라우드니스 프로세싱 상태 메타데이터(loudness processing state metadata; "LPSM")로서 불리우는, 프로그램 라우드니스 메타데이터의 페이로드 및 선택적으로 또한 프로그램 경계 메타데이터가 또한 다른 세그먼트들(오디오 데이터 세그먼트들)에 오디오 데이터를 포함하는 오디오 비트스트림의 메타데이터 세그먼트들의 하나 이상의 예약 필드들(또는 슬롯들)에 내장된다. 통상적으로, 비트스트림의 각각의 프레임의 적어도 하나의 세그먼트는 LPSM을 포함하며, 프레임의 적어도 하나의 다른 세그먼트는 대응하는 오디오 데이터(즉, 그것의 라우드니스 프로세싱 상태 및 라우드니스가 LPSM에 의해 표시되는 오디오 데이터)를 포함한다. 몇몇 실시예들에서, LPSM의 데이터 볼륨은 오디오 데이터를 운반하기 위해 할당된 비트 레이트에 영향을 미치지 않고 운반되기 위해 충분히 작을 수 있다.
오디오 데이터 프로세싱 체인에서 라우드니스 프로세싱 상태 메타데이터를 전달하는 것은 둘 이상의 오디오 프로세싱 유닛들이 프로세싱 체인(또는 콘텐트 수명) 전체에 걸쳐 서로 동시에 작동할 필요가 있을 때 특히 유용하다. 오디오 비트스트림에 라우드니스 프로세싱 상태 메타데이터의 포함 없이, 품질, 레벨 및 공간적 열화들과 같은 심각한 미디어 프로세싱 문제들이, 예를 들면, 둘 이상의 오디오 코덱들이 체인에서 이용되며 싱글-엔드형 볼륨 레벨링이 비트스트림의 여정 동안 1회 이상 미디어 소비 디바이스(또는 비트스트림의 오디오 콘텐트의 렌더링 포인트)에 적용될 때, 발생할 수 있다.
도 1은 대표적인 오디오 프로세싱 체인(오디오 데이터 프로세싱 시스템)의 블록도이며, 여기에서 시스템의 요소들 중 하나 이상은 본 발명의 실시예에 따라 구성될 수 있다. 시스템은 도시된 바와 같이 함께 결합된, 다음의 요소들을 포함한다: 전-처리 유닛, 인코더, 신호 분석 및 메타데이터 보정 유닛, 트랜스코더, 디코더, 및 전-처리 유닛. 도시된 시스템에 대한 변형들에서, 요소들 중 하나 이상은 생략되거나, 또는 부가적인 오디오 데이터 프로세싱 유닛들이 포함된다.
몇몇 구현들에서, 도 1의 전-처리 유닛은 입력으로서 오디오 콘텐트를 포함한 PCM(시간-도메인) 샘플들을 수용하도록, 및 프로세싱된 PCM 샘플들을 출력하도록 구성된다. 인코더는 입력으로서 PCM 샘플들을 수용하도록 및 오디오 콘텐트를 표시한 인코딩된(예로서, 압축된) 오디오 비트스트림을 출력하도록 구성될 수 있다. 오디오 콘텐트를 표시하는 비트스트림의 데이터는 때때로 여기서 "오디오 데이터"로서 불리운다. 인코더가 본 발명의 통상적인 실시예에 따라 구성된다면, 인코더로부터 출력된 오디오 비트스트림은 오디오 데이터뿐만 아니라 라우드니스 프로세싱 상태 메타데이터(및 선택적으로 프로그램 경계 메타데이터를 포함한, 통상적으로 또한 다른 메타데이터)를 포함한다.
도 1의 신호 분석 및 메타데이터 보정 유닛은 입력으로서 하나 이상의 인코딩된 오디오 비트스트림들을 수용하며 각각의 인코딩된 오디오 비트스트림에서의 프로세싱 상태 메타데이터가 정확한지 여부를, 신호 분석을 수행함으로써(예로서, 인코딩된 오디오 비트스트림에서의 프로그램 경계 메타데이터를 사용함으로써) 결정할 수 있다. 신호 분석 및 메타데이터 보정 유닛이 포함된 메타데이터가 유효하지 않다는 것을 발견한다면, 그것은 통상적으로 부정확한 값(들)을 신호 분석으로부터 획득된 정확한 값(들)으로 교체한다. 따라서, 신호 분석 및 메타데이터 보정 유닛으로부터 출력된 각각의 인코딩된 오디오 비트스트림은 인코딩된 오디오 데이터뿐만 아니라 보정된(또는 보정되지 않은) 프로세싱 상태 메타데이터를 포함할 수 있다.
도 1의 트랜스코더는 입력으로서 인코딩된 오디오 비트스트림들을 수용할 수 있으며, 이에 응답하여(예로서, 입력 스트림을 디코딩하며 디코딩된 스트림을 상이한 인코딩 포맷으로 재-인코딩함으로써) 수정된(예로서, 상이하게 인코딩된) 오디오 비트스트림들을 출력할 수 있다. 트랜스코더가 본 발명의 통상적인 실시예에 따라 구성된다면, 트랜스코더로부터 출력된 오디오 비트스트림은 인코딩된 오디오 데이터뿐만 아니라 라우드니스 프로세싱 상태 메타데이터(및 통상적으로 또한 다른 메타데이터)를 포함한다. 메타데이터는 비트스트림에 포함될 수 있다.
도 1의 디코더는 입력으로서 인코딩된(예로서, 압축된) 오디오 비트스트림들을 수용하며, (이에 응답하여) 디코딩된 PCM 오디오 스트림들을 출력할 수 있다. 디코더가 본 발명의 통상적인 실시예에 따라 구성된다면, 통상적인 동작에서 디코더의 출력은 다음 중 임의의 것이거나 또는 이를 포함한다:
오디오 샘플들의 스트림, 및 입력 인코딩된 비트스트림으로부터 추출된 라우드니스 프로세싱 상태 메타데이터(및 통상적으로 또한 다른 메타데이터)의 대응하는 스트림; 또는
오디오 샘플들의 스트림, 및 입력 인코딩된 비트스트림으로부터 추출된 라우드니스 프로세싱 상태 메타데이터(및 통상적으로 또한 다른 메타데이터)로부터 결정된 제어 비트들의 대응하는 스트림; 또는
프로세싱 상태 메타데이터의 대응하는 스트림 또는 프로세싱 상태 메타데이터로부터 결정된 제어 비트들이 없는, 오디오 샘플들의 스트림. 이러한 마지막 경우에, 디코더는, 그것이 추출된 메타데이터 또는 그로부터 결정된 제어 비트들을 출력하지 않을지라도, 입력 인코딩된 비트스트림으로부터 라우드니스 프로세싱 상태 메타데이터(및/또는 다른 메타데이터)를 추출하며 추출된 메타데이터에 대한 적어도 하나의 동작(예로서, 검증)을 수행할 수 있다.
본 발명의 통상적인 실시예에 따라 도 1의 후-처리 유닛을 구성함으로써, 후-처리 유닛은 디코딩된 PCM 오디오 샘플들의 스트림을 수용하도록, 및 샘플들과 함께 수신된 라우드니스 프로세싱 상태 메타데이터(및 통상적으로 또한 다른 메타데이터), 또는 샘플들과 함께 수신된 제어 비트들(라우드니스 프로세싱 상태 메타데이터 및 통상적으로 또한 다른 메타데이터로부터 디코더에 의해 결정된)을 사용하여 그것 상에서 후처리를 수행하도록(예로서, 오디오 콘텐트의 볼륨 레벨링) 구성된다. 상기 후-처리 유닛은 통상적으로 또한 하나 이상의 스피커들에 의한 재생을 위해 후-처리된 오디오 콘텐트를 렌더링하도록 구성된다.
본 발명의 통상적인 실시예들은 오디오 프로세싱 유닛들(예로서, 인코더들, 디코더들, 트랜스코더들, 및 전- 및 후-처리 유닛들)이 오디오 프로세싱 유닛들에 의해 각각 수신된 라우드니스 프로세싱 상태 메타데이터에 의해 표시된 바와 같이 미디어 데이터의 동시 발생 상태에 따라 오디오 데이터에 적용되도록 그것들 각각의 프로세싱을 적응시키는 강화된 오디오 프로세싱 체인을 제공한다.
도 1 시스템(예로서, 도 1의 인코더 또는 트랜스코더)의 임의의 오디오 프로세싱 유닛에 입력된 오디오 데이터는 오디오 데이터(예로서, 인코딩된 오디오 데이터)뿐만 아니라 라우드니스 프로세싱 상태 메타데이터(및 선택적으로 또한 다른 메타데이터)를 포함할 수 있다. 이러한 메타데이터는 본 발명의 실시예에 따라 도 1 시스템의 또 다른 요소(또는 도 1에 도시되지 않은, 또 다른 소스)에 의해 입력 오디오에 포함될 수 있다. 입력 오디오를 수신하는(메타데이터와 함께) 프로세싱 유닛은 메타데이터에 대한 적어도 하나의 동작(예로서, 검증) 또는 메타데이터에 응답하여(예로서, 입력 오디오의 적응적 프로세싱) 수행하도록 및 통상적으로 또한 메타데이터, 상기 메타데이터의 프로세싱된 버전, 또는 메타데이터로부터 결정된 제어 비트들을 그것의 출력 오디오에 포함하도록 구성될 수 있다.
본 발명의 오디오 프로세싱 유닛(또는 오디오 프로세서)의 통상적인 실시예는 오디오 데이터에 대응하는 라우드니스 프로세싱 상태 메타데이터에 의해 표시된 바와 같이 오디오 데이터의 상태에 기초하여 오디오 데이터의 적응적 프로세싱을 수행하도록 구성된다. 몇몇 실시예들에서, 적응적 프로세싱은 (메타데이터가 라우드니스 프로세싱, 또는 그것에 유사한 프로세싱이 오디오 데이터에 대해 이미 수행되지 않았음을 표시하지만, 라우드니스 프로세싱이 아닌 경우(및 포함하지 않는 경우)(메타데이터가 이러한 라우드니스 프로세싱, 또는 그것에 유사한 프로세싱이 이미 오디오 데이터에 대해 수행되었다면)) 라우드니스 프로세싱이다(또는 이를 포함한다). 몇몇 실시예들에서, 적응적 프로세싱은 오디오 프로세싱 유닛이 라우드니스 프로세싱 상태 메타데이터에 의해 표시된 바와 같이 오디오 데이터의 상태에 기초하여 오디오 데이터의 다른 적응적 프로세싱을 수행함을 보장하기 위해 메타데이터 확인(예로서, 메타데이터 확인 서브-유닛에서 수행된)이거나 또는 이를 포함한다. 몇몇 실시예들에서, 확인은 오디오 데이터와 연관된(예로서, 그것을 가진 비트스트림에 포함된) 라우드니스 프로세싱 상태 메타데이터의 신뢰성을 결정한다. 예를 들면, 메타데이터가 신뢰성 있는 것으로 검증된다면, 이전 수행된 오디오 프로세싱의 유형으로부터의 결과들은 재사용될 수 있으며 동일한 유형의 오디오 프로세싱의 새로운 수행이 회피될 수 있다. 다른 한편으로, 메타데이터가 조작된 것이(또는 그 외 신뢰 가능하지 않다는 것이) 발견된다면, 알려진 대로 이전 수행된(신뢰 가능하지 않은 메타데이터에 의해 표시된 바와 같이) 미디어 프로세싱의 유형은 오디오 프로세싱 유닛에 의해 반복될 수 있으며, 및/또는 다른 프로세싱은 메타데이터 및/또는 오디오 데이터에 대해 오디오 프로세싱 유닛에 의해 수행될 수 있다. 오디오 프로세싱 유닛은 또한, 유닛이 프로세싱 상태 메타데이터가 유효하다고 결정한다면(예로서, 추출된 암호 값 및 기준 암호 값의 매칭에 기초하여), 라우드니스 프로세싱 상태 메타데이터(예로서, 미디어 비트스트림에 존재하는)가 유효함을 강화된 미디어 프로세싱 체인에서의 다운스트림에서 다른 오디오 프로세싱 유닛들에 시그널링하도록 구성될 수 있다.
도 2는 본 발명의 오디오 프로세싱 유닛의 실시예인 인코더(100)의 블록도이다. 인코더(100)의 구성요소들 또는 요소들 중 임의의 것은 하나 이상의 프로세스들 및/또는 하나 이상의 회로들(예로서, ASIC들, FPGA들, 또는 다른 집적 회로들)로서, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합으로, 구현될 수 있다. 인코더(100)는 도시된 바와 같이 연결된, 프레임 버퍼(110), 파서(111), 디코더(101), 오디오 상태 확인기(102), 라우드니스 프로세싱 스테이지(103), 오디오 스트림 선택 스테이지(104), 인코더(106), 스터퍼/포맷터 스테이지(107), 메타데이터 생성 스테이지(106), 다이얼로그 라우드니스 측정 서브시스템(108), 및 프레임 버퍼(109)를 포함한다. 통상적으로, 또한, 인코더(100)는 다른 프로세싱 요소들(도시되지 않음)을 포함한다.
인코더(100)(트랜스코더인)는 입력 오디오 비트스트림(예를 들면, AC-3 비트스트림, E-AC-3 비트스트림, 또는 돌비 E 비트스트림 중 하나일 수 있는)을 입력 비트스트림에 포함된 라우드니스 프로세싱 상태 메타데이터를 사용하여 적응적 및 자동화된 라우드니스 프로세싱을 수행함으로써 포함한 인코딩된 출력 오디오 비트스트림(예를 들면, AC-3 비트스트림, E-AC-3 비트스트림, 또는 돌비 E 비트스트림 중 또 다른 것일 수 있는)으로 변환하도록 구성된다. 예를 들면, 인코더(100)는 입력 돌비 E 비트스트림(그것에 방송되어 온 오디오 프로그램들을 수신하는 소비자 디바이스들에서가 아닌 생산 및 방송 설비들에서 통상적으로 사용된 포맷)에서 AC-3 또는 E-AC-3 포맷으로 인코딩된 출력 오디오 비트스트림(소비자 디바이스들로 방송하기에 적합한)으로 변환하도록 구성될 수 있다.
도 2의 시스템은 또한 인코딩된 오디오 전달 서브시스템(150)(인코더(100)로부터 출력된 인코딩된 비트스트림들을 저장 및/또는 전달하는) 및 디코더(152)를 포함한다. 인코더(100)로부터 출력된 인코딩된 오디오 비트스트림은 서브시스템(150)에 의해 저장되거나(예로서, DVD 또는 블루 레이 디스크의 형태로) 또는 서브시스템(150)(송신 링크 또는 네트워크를 구현할 수 있는)에 의해 송신될 수 있거나, 또는 서브시스템(150)에 의해 저장 및 송신 모두 될 수 있다. 디코더(152)는 비트스트림의 각각의 프레임으로부터 라우드니스 프로세싱 상태 메타데이터(LPSM)를 추출하며(및 선택적으로 또한 비트스트림으로부터 프로그램 경계 메타데이터를 추출하는), 디코딩된 오디오 데이터를 생성함으로써 포함하여, 서브시스템(150)을 통해 그것이 수신하는 인코딩된 오디오 비트스트림(인코더(100)에 의해 생성된)을 디코딩하도록 구성된다. 통상적으로, 디코더(152)는 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 사용하여 디코딩된 오디오 데이터에 대한 적응적 라우드 프로세싱을 수행하고, 및/또는 디코딩된 오디오 데이터 및 LPSM을 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 사용하여 디코딩된 오디오 데이터에 대한 적응적 라우드니스 프로세싱을 수행하도록 구성된 후-처리기로 포워딩하도록 구성된다. 통상적으로, 디코더(152)는 서브시스템(150)으로부터 수신된 인코딩된 오디오 비트스트림을 저장(예로서, 비-일시적 방식으로)하는 버퍼를 포함한다.
인코더(100) 및 디코더(152)의 다양한 구현들은 본 발명의 방법의 상이한 실시예들을 수행하도록 구성된다.
프레임 버퍼(110)는 인코딩된 입력 오디오 비트스트림을 수신하기 위해 결합된 버퍼 메모리이다. 동작 시, 버퍼(110)는 인코딩된 오디오 비트스트림의 적어도 하나의 프레임을 저장하며(예로서, 비-일시적 방식으로), 인코딩된 오디오 비트스트림의 프레임들의 시퀀스는 버퍼(110)로부터 파서(111)로 어서팅(assert)된다.
파서(111)는 이러한 메타데이터가 포함되는 인코딩된 입력 오디오의 각각의 프레임으로부터 라우드니스 프로세싱 상태 메타데이터(LPSM), 및 선택적으로 또한 프로그램 경계 메타데이터(및/또는 다른 메타데이터)를 추출하기 위해, 오디오 상태 확인기(102), 라우드니스 프로세싱 스테이지(103), 스테이지(106) 및 서브시스템(108)에 적어도 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터 및/또는 다른 메타데이터)을 어서팅하기 위해, 인코딩된 입력 오디오로부터 오디오 데이터를 추출하기 위해, 및 오디오 데이터를 디코더(101)에 어서팅하기 위해 결합되며 구성된다. 인코더(100)의 디코더(101)는 디코딩된 오디오 데이터를 생성하기 위해 오디오 데이터를 디코딩하도록, 및 디코딩된 오디오 데이터를 라우드니스 프로세싱 스테이지(103), 오디오 스트림 선택 스테이지(104), 서브시스템(108)에, 및 통상적으로 또한 상태 확인기(102)에 어서팅하도록 구성된다.
상태 확인기(102)는 그것에 어서팅된 LPSM(및 선택적으로 다른 메타데이터)을 인증 및 확인하도록 구성된다. 몇몇 실시예들에서, LPSM은 입력 비트스트림에 포함된 데이터 블록이다(또는 그것에 포함된다)(예로서, 본 발명의 실시예에 따라). 블록은 LPSM(및 선택적으로 또한 다른 메타데이터)을 프로세싱하기 위한 암호 해시(해시-기반 메시지 인증 코드 또는 "HMAC") 및/또는 기저 오디오 데이터(디코더(101)로부터 확인기(102)에 제공된)를 포함할 수 있다. 데이터 블록은 이들 실시예들에서 디지털로 서명될 수 있으며, 따라서 다운스트림 오디오 프로세싱 유닛은 프로세싱 상태 메타데이터를 비교적 쉽게 인증 및 확인할 수 있다.
예를 들면, HMAC는 다이제스트를 생성하기 위해 사용되며, 본 발명의 비트스트림에 포함된 보호 값(들)은 다이제스트를 포함할 수 있다. 다이제스트는 AC-3 프레임을 위해 다음과 같이 생성될 수 있다:
1. AC-3 데이터 및 LPSM이 인코딩된 후, 프레임 데이터 바이트들(연쇄된 프레임_데이터#1 및 프레임_데이터#2) 및 LPSM 데이터 바이트들이 해시-함수 HMAC를 위한 입력으로서 사용된다. auxdata 필드 내부에 존재할 수 있는 다른 데이터는 다이제스트를 산출하기 위해 고려되지 않는다. 이러한 다른 데이터는 AC-3 데이터에도 LSPSM 데이터에도 속하지 않는 바이트들일 수 있다. LPSM에 포함된 보호 비트들은 HMAC 다이제스트를 산출하기 위해 고려되지 않을 수 있다.
2. 다이제스트가 산출된 후, 그것은 보호 비트들을 위해 예약된 필드에서 비트스트림으로 기록된다.
3. 완전한 AC-3 프레임의 생성의 마지막 단계는 CRC-검사의 산출이다. 이것은 프레임의 막판에 기록되며 LPSM 비트들을 포함하여, 이러한 프레임에 속하는 모든 데이터가 고려된다.
이에 제한되지 않지만 하나 이상의 비-HMAC 암호 방법들 중 임의의 것을 포함한 다른 암호 방법들이 LPSM 및/또는 기저 오디오 데이터의 안전한 송신 및 수신을 보장하기 위해 LPSM의 확인(예로서, 확인기(102)에서)을 위해 사용될 수 있다. 예를 들면, 확인(이러한 암호 방법을 사용하여)은 비트스트림에 포함된 라우드니스 프로세싱 상태 메타데이터 및 대응하는 오디오 데이터가 특정 라우드니스 프로세싱(메타데이터에 의해 표시된 바와 같이)을 겪었는지(및/또는 그로부터 기인하였는지) 및 이러한 특정 라우드니스 프로세싱의 수행 후 수정되지 않았는지를 결정하기 위해 본 발명의 오디오 비트스트림의 실시예를 수신하는 각각의 오디오 프로세싱 유닛에서 수행될 수 있다.
상태 확인기(102)는 확인 동작의 결과들을 표시하기 위해, 제어 데이터를 오디오 스트림 선택 스테이지(104), 메타데이터 생성기(106), 및 다이얼로그 라우드니스 측정 서브시스템(108)에 어서팅한다. 제어 데이터에 응답하여, 스테이지(104)는 다음 중 하나를 선택할 수 있다(및 인코더(105)를 통과할 수 있다):
라우드니스 프로세싱 스테이지(103)의 적응적으로 프로세싱된 출력(예로서, LPSM이 디코더(101)로부터 출력된 오디오 데이터가 특정 유형의 라우드니스 프로세싱을 겪지 않았음을 표시하며, 확인기(102)로부터의 제어 비트들이 LPSM이 유효하다고 표시할 때); 또는
디코더(101)로부터 출력된 오디오 데이터(예로서, LPSM이 디코더(101)로부터 출력된 오디오 데이터가 스테이지(103)에 의해 수행될 특정 유형의 라우드니스 프로세싱을 이미 겪었다고 표시하며 확인기(102)로부터의 제어 비트들이 LPSM이 유효하다고 표시할 때).
인코더(100)의 스테이지(103)는 디코더(101)에 의해 추출된 LPSM에 의해 표시된 하나 이상의 오디오 데이터 특성들에 기초하여, 디코더(101)로부터 출력된 디코딩된 오디오 데이터에 대한 적응적 라우드니스 프로세싱을 수행하도록 구성된다. 스테이지(103)는 적응적 변환-도메인 실시간 라우드니스 및 동적 범위 제어 프로세서일 수 있다. 스테이지(103)는 사용자 입력(예로서, 사용자 타겟 라우드니스/동적 범위 값들 또는 dialnorm 값들), 또는 다른 메타데이터 입력(예로서, 하나 이상의 유형들의 제 3 자 데이터, 추적 정보, 식별자들, 독점 또는 표준 정보, 사용자 주석 데이터, 사용자 선호 데이터 등) 및/또는 다른 입력(예로서, 핑거프린팅 프로세스로부터)을 수신할 수 있으며, 이러한 입력을 디코더(101)로부터 출력된 디코딩된 오디오 데이터를 프로세싱하기 위해 사용한다. 스테이지(103)는 단일 오디오 프로그램(파서(111)에 이해 추출된 프로그램 경계 메타데이터에 의해 표시된 바와 같이)을 표시한 디코딩된 오디오 데이터(디코더(101)로부터 출력된)에 대한 적응적 라우드니스 프로세싱을 수행할 수 있으며, 파서(111)에 의해 추출된 프로그램 경계 메타데이터에 의해 표시된 바와 같이 상이한 오디오 프로그램을 표시한 디코딩된 오디오 데이터(디코더(101)로부터 출력된)를 수신하는 것에 응답하여 라우드니스 프로세싱을 리셋할 수 있다.
다이얼로그 라우드니스 측정 서브시스템(108)은 확인기(102)로부터의 제어 비트들이 LPSM이 유효하지 않음을 표시할 때, 예로서 디코더(101)에 의해 추출된 LPSM(및/또는 다른 메타데이터)을 사용하여, 다이얼로그(또는 다른 스피치)를 표시하는 디코딩된 오디오(디코더(101)로부터의)의 세그먼트들의 라우드니스를 결정하도록 동작할 수 있다. 다이얼로그 라우드니스 측정 서브시스템(108)의 동작은 확인기(102)로부터의 제어 비트들이 LPSM이 유효하다고 표시할 때 LPSM이 디코딩된 오디오(디코더(101)로부터)의 다이얼로그(또는 다른 스피치) 세그먼트들의 이전에 결정된 라우드니스를 표시할 때 불능될 수 있다. 서브시스템(108)은 단일 오디오 프로그램(파서(111)에 의해 추출된 프로그램 경계 메타데이터에 의해 표시된 바와 같이)을 표시한 디코딩된 오디오 데이터에 대한 라우드니스 측정을 수행할 수 있으며, 이러한 프로그램 경계 메타데이터에 의해 표시된 바와 같이 상이한 오디오 프로그램을 표시한 디코딩된 오디오 데이터를 수신하는 것에 응답하여 상기 측정을 리셋할 수 있다.
유용한 툴들(예로서, 돌비 LM100 라우드니스 미터)이 오디오 콘텐트에서 다이얼로그의 레벨을 편리하게 및 쉽게 측정하기 위해 존재한다. 본 발명의 APU(예로서, 인코더(100)의 스테이지(108))의 몇몇 실시예들이 오디오 비트스트림(예로서, 인코더(100)의 디코더(101)로부터 스테이지(108)에 어서팅된 디코딩된 AC-3 비트스트림)의 오디오 콘텐트의 평균 다이얼로그 라우드니스를 측정하기 위해 이러한 툴을 포함하도록(또는 그것의 기능들을 수행하도록) 구현된다.
스테이지(108)가 오디오 데이터의 실제 평균 다이얼로그 라우드니스를 측정하기 위해 구현된다면, 측정은 대개 스피치를 포함하는 오디오 콘텐트의 세그먼트들을 분리하는 단계를 포함할 수 있다. 대개 스피치인 오디오 세그먼트들은 그 후 라우드니스 측정 알고리즘에 따라 프로세싱된다. AC-3 비트스트림으로부터 디코딩된 오디오 데이터에 대해, 이러한 알고리즘은 표준 K-가중 라우드니스 측정(국제 표준 ITU-R BS.1770에 따라)일 수 있다. 대안적으로, 다른 라우드니스 측정들이 사용될 수 있다(예로서, 라우드니스의 음향 심리학 모델들에 기초한 것들).
스피치 세그먼트들의 분리는 오디오 데이터의 평균 다이얼로그 라우드니스를 측정하기 위해 필수적이지 않다. 그러나, 그것은 측정의 정확도를 개선하며 통상적으로 청취자의 관점으로부터 보다 만족스러운 결과들을 제공한다. 모든 오디오 콘텐트가 다이얼로그(스피치)를 포함하는 것은 아니기 때문에, 전체 오디오 콘텐트의 라우드니스 측정은 스피치가 존재하는, 오디오의 다이얼로그 레벨의 충분한 근사를 제공할 수 있다.
메타데이터 생성기(106)는 인코더(100)로부터 출력될 인코딩된 비트스트림에서 스테이지(107)에 의해 포함될 메타데이터를 생성한다(및/또는 스테이지(107)를 통과한다). 메타데이터 생성기(106)는 인코더(101) 및/또는 파서(111)(예로서, 확인기(102)로부터의 제어 비트들이 LPSM 및/또는 다른 메타데이터가 유효하다는 것을 표시할 때)에 의해 추출된 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터 및/또는 다른 메타데이터)을 스테이지(107)로 전달하거나, 또는 새로운 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터 및/또는 다른 메타데이터)을 생성하며 새로운 메타데이터를 스테이지(107)에 어서팅할 수 있다(예로서, 확인기(102)로부터의 제어 비트들이 디코더(101)에 의해 추출된 LPSM 및/또는 다른 메타데이터가 유효하지 않다고 표시할 때, 또는 그것이 디코더(101) 및/또는 파서(111)에 의해 추출된 메타데이터 및 새롭게 생성된 메타데이터의 조합을 스테이지(107)에 어서팅할 수 있을 때). 메타데이터 생성기(106)는 서브시스템(108)에 의해 생성된 라우드니스 데이터, 및 서브시스템(108)에 의해 수행된 라우드니스 프로세싱의 유형을 표시한 적어도 하나의 값을 포함할 수 있으며, LPSM에서 그것은 인코더(100)로부터 출력될 인코딩된 비트스트림에서의 포함을 위해 스테이지(107)에 어서팅한다.
메타데이터 생성기(106)는 인코딩된 비트스트림에 포함될 LPSM(및 선택적으로 또한 다른 메타데이터) 및/또는 인코딩된 비트스트림에 포함될 기저 오디오 데이터의 복호화, 인증, 또는 확인 중 적어도 하나에 유용한 보호 비트들(해시-기반 메시지 인증 코드 또는 "HMAC"로 이루어지거나 또는 포함할 수 있는)을 생성할 수 있다. 메타데이터 생성기(106)는 인코딩된 비트스트림에서의 포함을 위해 스테이지(107)에 이러한 보호 비트들을 제공할 수 있다.
통상적인 동작에서, 다이얼로그 라우드니스 측정 서브시스템(108)은 라우드니스 값들(예로서, 게이팅된 및 게이팅되지 않은 다이얼로그 라우드니스 값들) 및 동적 범위 값들에 응답하여 생성하기 위해 디코더(101)로부터 출력된 오디오 데이터를 프로세싱한다. 이들 값들에 응답하여, 메타데이터 생성기(106)는 인코더(100)로부터 출력될 인코딩된 비트스트림으로의 포함을 위한(스터퍼/포맷터(107)에 의한) 라우드니스 프로세싱 상태 메타데이터(LPSM)를 생성할 수 있다.
부가적으로, 선택적으로, 또는 대안적으로, 인코더(100)의 106 및/또는 108의 서브시스템들은 스테이지(107)로부터 출력될 인코딩된 비트스트림에서의 포함을 위한 오디오 데이터의 적어도 하나의 특성을 표시한 메타데이터를 생성하기 위해 오디오 데이터의 부가적인 분석을 수행할 수 있다.
인코더(105)는 선택 스테이지(104)로부터 출력된 오디오 데이터를 인코딩하며(예로서, 그것에 대한 압축을 수행함으로써), 스테이지(107)로부터 출력될 인코딩된 비트스트림에서의 포함을 위한 스테이지(107)에 인코딩된 오디오를 어서팅한다.
스테이지(107)는 스테이지(107)로부터 출력될 인코딩된 비트스트림을 생성하기 위해 인코더(105)로부터 인코딩된 오디오 및 생성기(106)로부터 메타데이터(LPSM을 포함한)를 다중화하며, 바람직하게는 따라서 인코딩된 비트스트림은 본 발명의 바람직한 실시예에 의해 특정된 바와 같은 포맷을 가진다.
프레임 버퍼(109)는 스테이지(107)로부터 출력된 인코딩된 오디오 비트스트림의 적어도 하나의 프레임을 저장하는(예로서, 비-일시적 방식으로) 버퍼 메모리이며, 인코딩된 오디오 비트스트림의 프레임들의 시퀀스는 인코더(100)로부터 전달 시스템(150)으로 출력되는 바와 같이 버퍼(109)로부터 어서팅된다.
메타데이터 생성기(106)에 의해 생성되며 스테이지(107)에 의해 인코딩된 비트스트림에 포함된 LPSM은 대응하는 오디오 데이터의 라우드니스 프로세싱 상태(예로서, 어떤 유형(들)의 라우드니스 프로세싱이 오디오 데이터에 대해 수행되었는지) 및 대응하는 오디오 데이터의 라우드니스(예로서, 측정된 다이얼로그 라우드니스, 게이팅된 및/또는 게이팅되지 않은 라우드니스, 및/또는 동적 범위)를 표시한다.
여기에서, 오디오 데이터에 대해 수행된 라우드니스 및/또는 레벨 측정들의 "게이팅"은 임계치를 초과하는 계산된 값(들)이 최종 측정(예로서, 최종 측정된 값들에서 -60 dBFS 아래의 단기 라우드니스 값들을 무시하는)에 포함되는 특정 레벨 또는 라우드니스 임계치를 나타낸다. 절대 값에 대한 게이팅은 고정 레벨 또는 라우드니스를 나타내는 반면에, 상대 값에 대한 게이팅은 현재 "게이팅되지 않은" 측정 값에 의존적인 값을 나타낸다.
인코더(100)의 몇몇 구현들에서, 메모리(109)에 버퍼링된(및 전달 시스템(150)에 출력된) 인코딩된 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이며, 오디오 데이터 세그먼트들(예로서, 도 4에 도시된 프레임의 AB0 내지 AB5 세그먼트들) 및 메타데이터 세그먼트들을 포함하고, 여기에서 오디오 데이터 세그먼트들은 오디오 데이터를 나타내며, 메타데이터 세그먼트들의 적어도 몇몇의 각각은 라우드니스 프로세싱 상태 메타데이터(LPSM)를 포함한다. 스테이지(107)는 다음의 포맷에서 비트스트림으로 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 삽입한다. LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각은 비트스트림의 폐기 비트 세그먼트(예로서, 도 4 또는 도 7에 도시된 바와 같이 폐기 비트 세그먼트("W")), 또는 비트스트림의 프레임의 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드에, 또는 비트스트림의 프레임의 끝에서 auxdata 필드(예로서, 도 4 또는 도 7에 도시된 AUX 세그먼트)에 포함된다. 비트스트림의 프레임은 각각이 LPSM을 포함하는, 하나 또는 두 개의 메타데이터 세그먼트들을 포함할 수 있으며, 프레임이 두 개의 메타데이터 세그먼트들을 포함한다면, 하나는 프레임의 addbsi 필드에 및 다른 것은 프레임의 AUX 필드에 존재할 수 있다. 몇몇 실시예들에서, LPSM을 포함한 각각의 메타데이터 세그먼트는 다음의 포맷을 가진 LPSM 페이로드(또는 컨테이너) 세그먼트를 포함한다:
헤더(통상적으로 LPSM 페이로드의 시작을 식별한 동기워드, 이어서 적어도 하나의 식별 값, 예로서 이하의 표 2에 표시된 LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들을 포함하는); 및
상기 헤더 후,
대응하는 오디오 데이터가 다이얼로그를 표시하는지 또는 다이얼로그를 표시하지 않는지(예로서, 대응하는 오디오 데이터의 어떤 채널들이 다이얼로그를 표시하는지)를 표시한 적어도 하나의 다이얼로그 표시 값(예로서, 표 2의 파라미터("다이얼로그 채널(들)");
대응하는 오디오 데이터가 표시된 세트의 라우드니스 규제들을 준수하는지 여부를 표시한 적어도 하나의 라우드니스 규제 준수 값(예로서, 표 2의 파라미터("라우드니스 규제 유형");
대응하는 오디오 데이터에 대해 수행된 적어도 일 유형의 라우드니스 프로세싱을 표시한 적어도 하나의 라우드니스 프로세싱 값(예로서, 표 2의 파라미터들("다이얼로그 게이팅된 라우드니스 보정 플래그", "라우드니스 보정 유형") 중 하나 이상); 및
대응하는 오디오 데이터의 적어도 하나의 라우드니스(예로서, 피크 또는 평균 라우드니스) 특성을 표시한 적어도 하나의 라우드니스 값(예로서, 표 2의 파라미터들("ITU 상대적 게이팅된 라우드니스", "ITU 스피치 게이팅된 라우드니스", "ITU(EBU3341) 단기 3초 라우드니스", 및 "실제 피크") 중 하나 이상).
몇몇 실시예들에서, LPSM 및 프로그램 경계 메타데이터를 포함하는 각각의 메타데이터 세그먼트는 코어 헤더(및 선택적으로 또한 부가적인 코어 요소들), 및 상기 코어 헤더(또는 코어 헤더 및 다른 코어 요소들) 후, 다음의 포맷을 가진 LPSM 페이로드(또는 컨테이너) 세그먼트를 포함한다:
통상적으로 적어도 하나의 식별 값(예로서, 여기에 설명된 표 2에 표시된 바와 같이, LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들)을 포함한 헤더, 및
상기 헤더 후, LPSM 및 프로그램 경계 메타데이터. 프로그램 경계 메타데이터는 프로그램 경계 프레임 카운트, 및 프레임이 단지 프로그램 경계 프레임 카운트만을 포함하는지 또는 프로그램 경계 프레임 카운트 및 오프셋 값 양쪽 모두를 포함하는지 여부를 표시한 코드 값(예로서, "offset_exist" 값), 및 (몇몇 경우들에서) 오프셋 값을 포함할 수 있다.
몇몇 구현들에서, 스테이지(107)에 의해 비트스트림의 프레임의 폐기 비트 세그먼트 또는 "addbsi" 필드 또는 auxdata 필드로 삽입된 메타데이터 세그먼트들의 각각은 다음의 포맷을 가진다:
코더 헤더(통상적으로 메타데이터 세그먼트의 시작을 식별한 동기워드, 이어서 식별 값들, 예로서 코어 요소 버전, 길이, 및 이하에서 표 1에 표시된 기간, 연장된 요소 카운트, 및 서브스트림 연관 값들을 포함하는); 및
상기 코어 헤더 후, 라우드니스 프로세싱 상태 메타데이터 또는 대응하는 오디오 데이터 중 적어도 하나의 복호화, 인증, 또는 확인 중 적어도 하나에 유용한 적어도 하나의 보호 값(예로서, 표 1의 HMAC 다이제스트 및 오디오 핑거프린트 값들); 및
또한 상기 코어 헤더 후, 메타데이터 세그먼트가 LPSM을 포함한다면, LPSM 페이로드로서 다음의 메타데이터를 식별하며 LPSM 페이로드의 크기를 식별하는 LPSM 페이로드 식별("ID") 및 LPSM 페이로드 크기 값들.
LPSM 페이로드(또는 컨테이너) 세그먼트(바람직하게는 상기-특정된 포맷을 가진)는 LPSM 페이로드 ID 및 LPSM 페이로드 크기 값들을 따른다.
몇몇 실시예들에서, 프레임의 auxdata 필드(또는 "addbsi" 필드)에서의 메타데이터 세그먼트들의 각각은 3개의 레벨들의 구조를 가진다:
auxdata(또는 addbsi) 필드가 메타데이터를 포함하는지를 표시한 플래그, 어떤 유형(들)의 메타데이터가 존재하는지를 표시한 적어도 하나의 ID 값, 및 통상적으로 또한 얼마나 많은 비트들의 메타데이터(예로서, 각각의 유형의)가 존재하는지(메타데이터가 존재한다면)를 표시한 값을 포함한, 상위 레벨 구조. 존재할 수 있는 일 유형의 메타데이터는 LPSM이고, 존재할 수 있는 또 다른 유형의 메타데이터는 프로그램 경계 메타데이터이며, 존재할 수 있는 또 다른 유형의 메타데이터는 미디어 연구 메타데이터(예로서, 닐센 미디어 리서치 메타데이터)이다;
각각의 식별된 유형의 메타데이터를 위한 코어 요소(예로서, 상기 언급된 바와 같이, 각각의 식별된 유형의 메타데이터에 대한, 코어 헤더, 보호 값들, 및 LPSM 페이로드 ID 및 LPSM 페이로드 크기 값들)를 포함한, 중간 레벨 구조; 및
하나의 코어 요소를 위한 각각의 페이로드를 포함한, 저 레벨 구조(예로서, 그것이 코어 요소에 의해 존재하는 것으로서 식별된다면, LPSM 페이로드, 및/또는 그것이 코어 요소에 의해 존재하는 것으로 식별된다면, 또 다른 유형의 메타데이터 페이로드).
이러한 3 레벨 구조에서의 데이터 값들은 내포될 수 있다. 예를 들면, 코어 요소에 의해 식별된 LPSM 페이로드 및/또는 또 다른 메타데이터 페이로드에 대한 보호 값(들)은 코어 요소에 의해 식별된 각각의 페이로드 후(및 그에 따라 코어 요소의 코어 헤더 후) 포함될 수 있다. 일 예에서, 코어 헤더는 LPSM 페이로드 및 또 다른 메타데이터 페이로드를 식별할 수 있고, 제 1 페이로드(예로서, LPSM 페이로드)에 대한 페이로드 ID 및 페이로드 크기 값들은 코어 헤더를 따를 수 있고, 제 1 페이로드 자체는 ID 및 크기 값들을 따를 수 있고, 제 2 페이로드에 대한 페이로드 ID 및 페이로드 크기 값은 제 1 페이로드를 따를 수 있고, 제 2 페이로드 자체는 이들 ID 및 크기 값들을 따를 수 있으며, 페이로드들 양쪽 모두에 대한(또는 코어 요소 값들 및 양쪽 페이로드들 모두에 대한) 보호 비트들이 마지막 페이로드를 따를 수 있다.
몇몇 실시예들에서, 디코더(101)가 암호 해시를 갖고 본 발명의 실시예에 따라 생성된 오디오 비트스트림을 수신한다면, 디코더는 비트스트림으로부터 결정된 데이터 블록으로부터 암호 해시를 파싱 및 검색하도록 구성되며, 상기 블록은 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함한다. 확인기(102)는 수신된 비트스트림 및/또는 연관된 메타데이터를 확인하기 위해 암호 해시를 사용할 수 있다. 예를 들면, 확인기(102)가 기준 암호 해시 및 데이터 블록으로부터 검색된 암호 해시 사이에서의 매칭에 기초하여 유효한 것으로 LPSM을 발견한다면, 그것은 대응하는 오디오 데이터에 대한 프로세서(103)의 동작을 불능시키며 선택 스테이지(104)가 (변경되지 않은) 오디오 데이터를 통과하게 한다. 부가적으로, 선택적으로, 또는 대안적으로, 다른 유형들의 암호 기술들이 암호 해시에 기초한 방법을 대신하여 사용될 수 있다.
도 2의 인코더(100)는 후/전-처리 유닛이 인코딩될 오디오 데이터(요소들(105, 106, 및 107))에 대한 일 유형의 라우드니스 프로세싱을 수행하였음을 결정할 수 있으며(디코더(101)에 의해 추출된, LPSM, 및 선택적으로 또한 프로그램 경계 메타데이터에 응답하여) 그러므로 이전 수행된 라우드니스 프로세싱에서 사용되고 및/또는 그로부터 도출된 특정 파라미터들을 포함하는 라우드니스 프로세싱 상태 메타데이터를 생성할 수 있다(생성기(106)에서). 몇몇 구현들에서, 인코더(100)는 인코더가 오디오 콘텐트에 대해 수행된 상기 유형들의 프로세싱을 알고 있는 한 오디오 콘텐트에 대한 프로세싱 이력을 표시한 프로세싱 상태 메타데이터를 생성할 수 있다(및 그로부터 출력된 인코딩된 비트스트림에 포함할 수 있다).
도 3은 본 발명의 오디오 프로세싱 유닛의, 및 그것에 결합된 후-처리기(300)의 실시예인 디코더(200)의 블록도이다. 후-처리기(300)는 또한 본 발명의 오디오 프로세싱 유닛의 실시예이다. 디코더(200) 및 후-처리기(300)의 구성요소들 또는 요소들 중 임의의 것이 하나 이상의 프로세스들 및/또는 하나 이상의 회로들(예로서, ASIC들, FPGA들, 또는 다른 집적 회로들)로서, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있다. 디코더(200)는 도시된 바와 같이 연결된, 프레임 버퍼(201), 파서(205), 오디오 디코더(202), 오디오 상태 확인 스테이지(확인기)(203), 및 제어 비트 생성 스테이지(204)를 포함한다. 통상적으로, 또한 디코더(200)는 다른 프로세싱 요소들(도시되지 않음)을 포함한다.
프레임 버퍼(201)(버퍼 메모리)는 디코더(200)에 의해 수신된 인코딩된 오디오 비트스트림의 적어도 하나의 프레임을 저장한다(예로서, 비-일시적 방식으로). 인코딩된 오디오 비트스트림의 프레임들의 시퀀스는 버퍼(201)로부터 파서(205)로 어서팅된다.
파서(205)는 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터, 및 인코딩된 입력 오디오의 각각의 프레임으로부터의 다른 메타데이터를 추출하기 위해, 적어도 상기 LPSM(및 임의의 것이 추출된다면 프로그램 경계 메타데이터)을 오디오 상태 확인기(203) 및 스테이지(204)에 어서팅하기 위해, 상기 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 출력으로서(예로서 후-처리기(300)에) 어서팅하기 위해, 인코딩된 입력 오디오로부터 오디오 데이터를 추출하기 위해, 및 상기 추출된 오디오 데이터를 디코더(202)에 어서팅하기 위해 결합되고 구성된다.
디코더(200)에 입력된 인코딩된 오디오 비트스트림은 AC-3 비트스트림, E-AC-3 비트스트림, 또는 돌비 E 비트스트림 중 하나일 수 있다.
도 3의 시스템은 또한 후-처리기(300)를 포함한다. 후-처리기(300)는 프레임 버퍼(301) 및 버퍼(301)에 결합된 적어도 하나의 프로세싱 요소를 포함한 다른 프로세싱 요소들(도시되지 않음)을 포함한다. 프레임 버퍼(301)는 디코더(200)로부터 후-처리기(300)에 의해 수신된 디코딩된 오디오 비트스트림의 적어도 하나의 프레임을 저장한다(예로서, 비-일시적 방식으로). 후-처리기(300)의 프로세싱 요소들은 디코더(202)로부터 출력된 메타데이터(LPSM 값들을 포함한) 및/또는 디코더(200)의 스테이지(204)로부터 출력된 제어 비트들을 사용하여, 버퍼(301)로부터 출력된 디코딩된 오디오 비트스트림의 프레임들의 시퀀스를 수신하고 적응적으로 프로세싱하기 위해 결합되며 구성된다. 통상적으로, 후-처리기(300)는 LPSM 값들 및 선택적으로 또한 프로그램 경계 메타데이터(예로서, 단일 오디오 프로그램을 표시한 오디오 데이터에 대한 LPSM에 의해 표시된, 라우드니스 프로세싱 상태, 및/또는 하나 이상의 오디오 데이터 특성들에 기초하여)를 사용하여 디코딩된 오디오 데이터에 대한 적응적 라우드니스 프로세싱을 수행하도록 구성된다.
디코더(200) 및 후-처리기(300)의 다양한 구현들은 본 발명의 방법의 상이한 실시예들을 수행하도록 구성된다.
디코더(200)의 오디오 디코더(202)는 디코딩된 오디오 데이터를 생성하기 위해 파서(205)에 의해 추출된 오디오 데이터를 디코딩하도록, 및 출력으로서(예로서, 후-처리기(300)에) 디코딩된 오디오 데이터를 어서팅하도록 구성된다.
상태 확인기(203)는 그것에 어서팅된 LPSM(및 선택적으로 다른 메타데이터)을 인증 및 확인하도록 구성된다. 몇몇 실시예들에서, LPSM은 (예로서, 본 발명의 실시예에 따라) 입력 비트스트림에 포함된 데이터 블록이다(또는 그것에 포함된다). 블록은 LPSM(및 선택적으로 또한 다른 메타데이터) 및/또는 기저 오디오 데이터(파서(205) 및/또는 디코더(202)로부터 확인기(203)로 제공된)를 프로세싱하기 위해 암호 해시(해시-기반 메시지 인증 코드 또는 "HMAC")를 포함할 수 있다. 데이터 블록은 이들 실시예들에서 디지털로 서명될 수 있으며, 따라서 다운스트림 오디오 프로세싱 유닛은 프로세싱 상태 메타데이터를 비교적 쉽게 인증 및 확인할 수 있다.
이에 제한되지 않지만 하나 이상의 비-HMAC 암호 방법들 중 임의의 것을 포함한 다른 암호 방법들이 LPSM 및/또는 기저 오디오 데이터의 안전한 송신 및 수신을 보장하기 위해 LPSM의 확인(예로서, 확인기(203)에서)을 위해 사용될 수 있다. 예를 들면, 확인(이러한 암호 방법을 사용한)은 비트스트림에 포함된 라우드니스 프로세싱 상태 메타데이터 및 대응하는 오디오 데이터가 특정 라우드니스 프로세싱(메타데이터에 의해 표시된 바와 같이)을 겪는지(및/또는 그로부터 기인하는지) 및 이러한 특정 라우드니스 프로세싱의 수행 후 수정되지 않았는지를 결정하기 위해 본 발명의 오디오 비트스트림의 실시예를 수신하는 각각의 오디오 프로세싱 유닛에서 수행될 수 있다.
상태 확인기(203)는, 확인 동작의 결과들을 표시하기 위해, 제어 비트 생성기(204)에 제어 데이터를 어서팅하고, 및/또는 제어 데이터를 출력으로서(예로서, 후-처리기(300)에) 어서팅한다. 제어 데이터(및 선택적으로 또한 입력 비트스트림으로부터 추출된 다른 메타데이터)에 응답하여, 스테이지(204)는 다음 중 하나를 생성할 수 있다(및 후-처리기(300)에 어서팅할 수 있다):
디코더(202)로부터 출력된 디코딩된 오디오 데이터가 특정 유형의 라우드니스 프로세싱을 겪었음을 표시하는 제어 비트들(LPSM이 디코더(202)로부터 출력된 오디오 데이터가 특정 유형의 라우드니스 프로세싱을 겪었음을 표시하며, 확인기(203)로부터의 제어 비트들이 LPSM이 유효하다고 표시할 때); 또는
디코더(202)로부터 출력된 디코딩된 오디오 데이터가 특정 유형의 라우드니스 프로세싱을 겪어야 함을 표시하는 제어 비트들(예로서, LPSM이 디코더(202)로부터 출력된 오디오 데이터가 특정 유형의 라우드니스 프로세싱을 겪지 않았음을 표시할 때, 또는 LPSM이 디코더(202)로부터 출력된 오디오 데이터가 특정 유형의 라우드니스 프로세싱을 겪었음을 표시하지만 확인기(203)로부터의 제어 비트들이 LPSM이 유효하지 않다고 표시할 때).
대안적으로, 디코더(200)는 입력 비트스트림으로부터 디코더(202)에 의해 추출된 메타데이터, 및 입력 비트스트림으로부터 파서(205)에 의해 추출된 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 후-처리기(300)에 어서팅하며, 후-처리기(300)는 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 사용하여 디코딩된 오디오 데이터에 대한 라우드니스 프로세싱을 수행하거나, 또는 LPSM의 확인을 수행하며 그 후 확인이 LPSM이 유효하다고 표시한다면, LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 사용하여 디코딩된 오디오 데이터에 대한 라우드니스 프로세싱을 수행한다.
몇몇 실시예들에서, 디코더(200)가 암호 해시를 갖고 본 발명이 실시예에 따라 생성된 오디오 비트스트림을 수신한다면, 디코더는 비트스트림으로부터 결정된 데이터 블록으로부터 암호 해시를 파싱 및 검색하도록 구성되며, 상기 블록은 라우드니스 프로세싱 상태 메타데이터(LPSM)를 포함한다. 확인기(203)는 수신된 비트스트림 및/또는 연관된 메타데이터를 확인하기 위해 암호 해시를 사용할 수 있다. 예를 들면, 확인기(203)가 기준 암호 해시 및 상기 데이터 블록으로부터 검색된 암호 해시 사이에서의 매칭에 기초하여 LPSM을 유효한 것으로 발견한다면, 그것은 (변경되지 않은) 비트스트림의 오디오 데이터를 통과시키기 위해 다운스트림 오디오 프로세싱 유닛(예로서, 볼륨 레벨링 유닛이거나 또는 이를 포함할 수 있는, 후-처리기(300))에 시그널링할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 다른 유형들의 암호 기술들이 암호 해시에 기초한 방법을 대신하여 사용될 수 있다.
디코더(200)의 몇몇 구현들에서, 수신된(및 메모리(201)에 버퍼링된) 인코딩된 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이며, 오디오 데이터 세그먼트들(예로서, 도 4에 도시된 프레임의 AB0 내지 AB5 세그먼트들) 및 메타데이터 세그먼트들을 포함하고, 여기에서 오디오 데이터 세그먼트들은 오디오 데이터를 표시하며, 메타데이터 세그먼트들 중 적어도 일부의 각각은 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함한다. 디코더 스테이지(202)(및/또는 파서(205))는 다음의 포맷을 가진 비트스트림 LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)으로부터 추출하도록 구성된다. LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각은 비트스트림의 프레임의 폐기 비트 세그먼트, 또는 비트스트림의 프레임의 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드에, 또는 비트스트림의 끝에서 auxdata 필드(예로서, 도 4에 도시된 AUX 세그먼트)에 포함된다. 비트스트림의 프레임은, 각각이 LPSM을 포함할 수 있는 하나 또는 두 개의 메타데이터 세그먼트들을 포함할 수 있으며, 프레임이 두 개의 메타데이터 세그먼트들을 포함한다면, 하나는 프레임의 addbsi 필드에 및 다른 것은 프레임의 AUX 필드에 존재할 수 있다. 몇몇 실시예들에서, LPSM을 포함한 각각의 메타데이터 세그먼트는 다음의 포맷을 가진 LPSM 페이로드(또는 컨테이너) 세그먼트를 포함한다:
헤더(통상적으로 LPSM 페이로드의 시작을 식별하는 동기워드, 이어서 식별 값들, 예로서 이하의 표 2에 표시된 LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들을 포함한); 및
상기 헤더 후,
대응하는 오디오 데이터가 다이얼로그를 표시하는지 또는 다이얼로그를 표시하지 않는지(예로서, 대응하는 오디오 데이터의 어떤 채널들이 다이얼로그를 표시하는지)를 표시하는 적어도 하나의 다이얼로그 표시 값(예로서, 표 2의 파라미터("다이얼로그 채널(들)"));
대응하는 오디오 데이터가 표시된 세트의 라우드니스 규제들을 준수하는지를 표시하는 적어도 하나의 라우드니스 규제 준수 값(예로서, 표 2의 파라미터("라우드니스 규제 유형"));
대응하는 오디오 데이터에 대해 수행된 적어도 일 유형의 라우드니스 프로세싱을 표시한 적어도 하나의 라우드니스 프로세싱 값(예로서, 표 2의 파라미터들("다이얼로그 게이팅된 라우드니스 보정 플래그", "라우드니스 보정 유형") 중 하나 이상); 및
대응하는 오디오 데이터의 적어도 하나의 라우드니스(예로서, 피크 또는 평균 라우드니스) 특성을 표시한 적어도 하나의 라우드니스 값(예로서, 표 2의 파라미터들("ITU 상대적 게이팅된 라우드니스", "ITU 스피치 게이팅된 라우드니스", "ITU(EBU 3341) 단기 3초 라우드니스", 및 "실제 피크") 중 하나 이상).
몇몇 실시예들에서, LPSM 및 프로그램 경계 메타데이터를 포함하는 각각의 메타데이터 세그먼트는 코어 헤더(및 선택적으로 또한 부가적인 코어 요소들), 및 상기 코어 헤더(또는 코어 헤더 및 다른 코어 요소들) 후, 다음의 포맷을 가진 LPSM 페이로드(또는 컨테이너) 세그먼트를 포함한다:
통상적으로 적어도 하나의 식별 값(예로서, 이하의 표 2에 표시된 바와 같이, LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들)을 포함한 헤더, 및
상기 헤더 후, LPSM 및 프로그램 경계 메타데이터. 상기 프로그램 경계 메타데이터는 프로그램 경계 프레임 카운트, 및 프레임이 단지 프로그램 경계 프레임 카운트만을 포함하는지 또는 프로그램 경계 프레임 카운트 및 오프셋 값 모두를 포함하는지를 표시한 코드 값(예로서, "offset-exist" 값), 및 (몇몇 경우들에서) 오프셋 값을 포함할 수 있다.
몇몇 구현들에서, 파서(205)(및/또는 디코더 스테이지(202))는 비트스트림의 프레임의 폐기 비트 세그먼트, 또는 "addbsi" 필드, 또는 auxdata 필드로부터 추출하도록 구성되며, 각각의 메타데이터 세그먼트는 다음의 포맷을 가진다:
코어 헤더(통상적으로, 메타데이터 세그먼트의 시작을 식별한 동기워드, 이어서 적어도 하나의 식별 값, 예로서 코어 요소 버전, 길이, 및 이하의 표 1에 표시된 기간, 연장된 요소 카운트, 및 서브스트림 연관 값들을 포함한); 및
상기 코어 헤더 후, 라우드니스 프로세싱 상태 메타데이터 또는 대응하는 오디오 데이터의 적어도 하나의 복호화, 인증, 또는 확인 중 적어도 하나에 유용한 적어도 하나의 보호 값(예로서, 표 1의 HMAC 다이제스트 및 오디오 핑거프린트 값들); 및
또한 상기 코어 헤더 후, 메타데이터 세그머트가 LPSM을 포함한다면, 다음의 메타데이터를 LPSM 페이로드로 식별하며 LPSM 페이로드의 크기를 표시하는 LPSM 페이로드 식별("ID") 및 LPSM 페이로드 크기 값들.
LPSM 페이로드(또는 컨테이너) 세그먼트(바람직하게는 상기-특정된 포맷을 가진)는 LPSM 페이로드 ID 및 LPSM 페이로드 크기 값들을 따른다.
보다 일반적으로, 본 발명의 바람직한 실시예들에 의해 생성된 인코딩된 오디오 비트스트림은 코어(의무적) 또는 확장(선택적 요소들)으로서 메타데이터 요소들 및 서브-요소들을 라벨링하기 위한 메커니즘을 제공하는 구조를 가진다. 이것은 비트스트림(그것의 메타데이터를 포함한)의 데이터 레이트가 다수의 애플리케이션들에 걸쳐 스케일링하도록 허용한다. 바람직한 비트스트림 구문의 코어(의무적) 요소들은 또한 오디오와 연관된 확장된(선택적) 요소들이 존재하고(대역 내) 및/또는 원격 위치(대역 외)에 있음을 시그널링할 수 있어야 한다.
코어 요소(들)는 비트스트림의 매 프레임에 존재하도록 요구된다. 코어 요소들의 몇몇 서브-요소들은 선택적이며 임의의 조합으로 존재할 수 있다. 확장된 요소들은 매 프레임에 존재하도록 요구되지 않는다(비트레이트 오버헤드를 제한하기 위해). 따라서, 확장된 요소들은 몇몇 프레임들에 존재할 수 있지만 다른 프레임들에는 존재하지 않을 수 있다. 확장된 요소의 몇몇 서브-요소들은 선택적이며 임의의 조합으로 존재할 수 있는 반면, 확장된 요소의 몇몇 서브-요소들은 의무적일 수 있다(즉, 확장된 요소가 비트스트림의 프레임에 존재한다면).
실시예들의 클래스에서, 오디오 데이터 세그먼트들 및 메타데이터 세그먼트들의 시퀀스를 포함한 인코딩된 오디오 비트스트림이 생성된다(예로서, 본 발명을 구체화한 오디오 프로세싱 유닛에 의해). 오디오 데이터 세그먼트들은 오디오 데이터를 표시하고, 메타데이터 세그먼트들의 적어도 일부의 각각은 라우드니스 프로세싱 상태 메타데이터(LPSM) 및 선택적으로 또한 프로그램 경계 메타데이터를 포함하며, 오디오 데이터 세그먼트들은 메타데이터 세그먼트들과 시분할 다중화된다. 이 클래스에서 바람직한 실시예들에서, 메타데이터 세그먼트들의 각각은 여기에 설명될 바람직한 포맷을 가진다.
바람직한 일 포맷에서, 인코딩된 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이며, LPSM을 포함하는 메타데이터 세그먼트들의 각각이 비트스트림의 프레임의 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드(도 6에 도시된)에, 또는 비트스트림의 프레임의 auxdata 필드에, 또는 비트스트림의 프레임의 폐기 비트 세그먼트에 부가적인 비트 스트림 정보로서 포함된다(예로서, 인코더(100)의 바람직한 구현의 스테이지(107)에 의해).
바람직한 포맷에서, 프레임들의 각각은 프레임의 addbsi 필드(또는 폐기 비트 세그먼트)에서, 이하의 표 1에 도시된 포맷을 가진 코어 요소를 포함한다:
파라미터 디스크립션 의무/선택
SYNC[ID] 동기워드는 0x5838의 값으로 설정된 16-비트 값일 수 있다. 의무
코어 요소 버전 의무
코어 요소 길이 의무
코어 요소 기간 (xxx) 의무
연장된 요소 카운트 코어 요소와 연관된 연장된 메타데이터 요소들의 수를 표시한다. 이값은 비트스트림이 분포 및 최종 방출을 통해 제품으로부터 전달됨에 따라 증가/감소할 수 있다. 의무
서브스트림 연관 코어 요소가 어떤 서브스트림(들)과 연관되는지를 설명함. 의무
서명(HMAC 다이제스트) 전체 프레임의, 오디오 데이터, 코어 요소, 및 모든 확장된 요소들을 통해 계산된 256-비트 HMAC 다이제스트(SHA-2 알고리즘을 사용하여). 의무
PGM 경계 카운트다운 필드는 단지 오디오 프로그램 파일/스트림의 헤드 또는 테일에서 프레임들의 몇몇 수에 대해서만 나타난다. 따라서 코어 요소 버전 변화는 이 파라미터의 포함을 시그널링하기 위해 사용될 수 있다. 선택
오디오 핑거프린트 코어 요소 기간 필드에 의해 표현된 몇몇 수의 PCM 오디오 샘플들에 걸쳐 취해진 오디오 핑거프린트. 선택
비디오 핑거프린트 코어 요소 기간 필드에 의해 표현된 (만약에 있다면) 몇몇 수의 압축된 비디오 샘플들에 걸쳐 취해진 비디오 핑거프린트. 선택
URL/UUID 이 필드는 부가적인 프로그램 콘텐트(본질) 및/또는 비트스트림과 연관된 메타데이터의 외부 위치를 참조하는 URL 및/또는 UUID(그것은 핑거프린트에 중복일 수 있다)를 운반하기 위해 정의된다. 선택
바람직한 포맷에서, LPSM을 포함하는 addbsi(또는 auxdata) 필드들 또는 폐기 비트 세그먼트들의 각각은 코어 헤더(및 선택적으로 또한 부가적인 코어 요소들), 및 상기 코어 헤더(또는 코어 헤더 및 다른 코어 요소들) 후, 다음의 LPSM 값들(파라미터들)을 포함한다:코어 요소 값들(예로서, 표 1에 특정된 바와 같이)을 따르는 페이로드 ID(LPSM으로서 메타데이터를 식별하는);페이로드 ID를 따르는 페이로드 크기(LPSM 페이로드의 크기를 표시한); 및
다음의 표(표 2)에 표시된 바와 같은 포맷을 갖는 LPSM 데이터(페이로드 ID 및 페이로드 크기 값을 따르는):
LPSM 파라미터
[지능적 라우드니스]		 설명 고유 상태들의 수 의무/선택 삽입 레이트(파라미터의 업데이팅 기간)
LPSM 버전 의무
LPSM 기간 (xxx) xxx 필드 전용에 적용 가능함 의무
LPSM 카운트 의무
LPSM 서브스트림 연관 의무
다이얼로그 채널(들) L, C, 및 R 오디오 채널들의 조합이 이전 0.5초들에 걸쳐 스피치를 포함하는지를 표시함. 스피치가 임의의 L, C, 또는 R 조합에 존재하지 않을 때, 이 파라미터는 "다이얼로그 없음"을 표시할 것이다. 8 의무 ~0.5초들
(통상적)
라우드니스 규제 유형 연관된 오디오 데이터 스트림이 특정 세트의 규제들(예로서, ATSC A/85 또는 EBU R128)을 준수하는지를 표시함 8 의무 프레임
다이얼로그 게이팅된 라우드니스 보정 플래그 연관된 오디오 스트림이 다이얼로그 게이팅에 기초하여 보정된 경우 표시함 2 선택(단지 라우드니스_규제_유형이 대응하는 오디오가 보정되지 않음을 표시하는 경우에만 존재함) 프레임
라우드니스 보정 유형 연관된 오디오 스트림이 무한 예견(파일-기반)를 갖고 또는 실시간(RT) 라우드
니스 및 동적 범위 제어기를 갖고 보정되었는지를 표시함		 2 선택(단지 라우드니스_규제_유형이 대응하는 오디오가 보정되지 않음을 표시하는 경우에만 존재함) 프레임
ITU 상대적 게이팅된 라우드니스(INF) 적용된 메타데이터 없이 연관된 오디오 스트림의 ITU-R BS.1770-3 통합 라우드니스를 표시함(예로서, 7 비트들: -58 ->+5.5 LKFS 0.5 LKFS 스텝들) 128 선택적 1초
ITU 스피치 게이팅된 라우드니스(INF) 적용된 메타데이터 없이 연관된 오디오 스트림의 스피치/다이얼로그의 ITU-R BS.1770-1/3 통합 라우드니스를 표시함(예로서, 7비트들:-58->+5.5 LKFS 0.5 LKFS 스텝들) 128 선택적 1초
ITU(EBU 3341) 단기 3초 라우드니스 ~10Hz 삽입 레이트에서 적용된 메타데이터(슬라이딩 윈도우) 없이 연관된 오디오 스트림의 3-초 게이팅되지 않은 ITU(ITU-BS.1771-1) 라우드니스를 표시함(예로서, 8비트들:116->+11.5 LKFS 0.5 LKFS 스텝들) 256 선택적 0.1초
실제 피크 값 적용된 메타데이터 없이 연관된 오디오 스트림의 ITU-R BS.1770-3 부속물 2 실제 피크 값(dB TP)을 표시함(즉, 요소 기간 필드에서 시그널링된 프레임 기간에 걸친 최대 값) 116->+11.5 LKFS 0.5 LKFS 스텝들 256 선택적 0.5초
다운믹스 오프셋 다운믹스 라우드니스 오프셋을 표시함
프로그램 경계 프로그램 경계가 발생할 것이거나 또는 발생했을 때 프레임들에서 표시함. 프로그램 경계가 프레임 경계에 없을 때, 선택적 샘플 오프셋은 실제 프로그램 경계가 프레임에서 얼마나 멀리서 발생했는지를 표시할 것이다.
본 발명에 따라 생성된 인코딩된 비트스트림의 또 다른 바람직한 포맷에서, 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이며, LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각은 다음의 것 중 임의의 것에서 포함된다(예로서, 인코더(100)의 바람직한 구현의 스테이지(107)에 의해): 비트스트림의 프레임의 폐기 비트 세그먼트; 또는 비트스트림의 프레임의 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드(도 6에 도시됨); 또는 비트스트림의 프레임의 끝에서 auxdata 필드(예로서, 도 4에 도시된 AUX 세그먼트). 프레임은 그 각각이 LPSM을 포함하는, 하나 또는 두 개의 메타데이터 세그먼트들을 포함할 수 있으며, 프레임이 두 개의 메타데이터 세그먼트들을 포함한다면, 하나는 프레임의 addbsi 필드에 및 다른 하나는 프레임의 AUX 필드에 존재할 수 있다. LPSM을 포함한 각각의 메타데이터 세그먼트는 상기 표 1 및 표 2를 참조하여 상기 특정된 포맷을 가진다(즉, 그것은 표 1에 특정된 코어 요소들, 이어서 상기 특정된 페이로드 ID(LPSM으로서 메타데이터를 식별하는) 및 페이로드 크기 값들, 이어서 페이로드(표 2에 표시된 바와 같은 포맷을 갖는 LPSM 데이터)).또 다른 바람직한 포맷에서, 인코딩된 비트스트림은 돌비 E 비트스트림이며, LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각은 돌비 E 보호 대역 간격의 첫 N개의 샘플 위치들이다. LPSM을 포함하는 이러한 메타데이터 세그먼트를 포함한 돌비 E 비트스트림은 바람직하게는 SMPTE 337M 프리앰블의 Pd 워드에서 시그널링된 LPSM 페이로드 길이를 표시한 값을 포함한다(SMPTE 337M Pa 워드 반복 레이트는 바람직하게는 연관된 비디오 프레임 레이트와 동일한 채로 있다).인코딩된 비트스트림이 E-AC-3 비트스트림인 바람직한 포맷에서, LPSM(및 선택적으로 또한 프로그램 경계 메타데이터)을 포함하는 메타데이터 세그먼트들의 각각이 비트스트림의 프레임의, 폐기 비트 세그먼트에, 또는 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드에 부가적인 비트스트림 정보로서 포함된다(예로서, 인코더(100)의 바람직한 구현의 스테이지(107)에 의해). 우리는 다음에 이러한 바람직한 포맷에서 LPSM을 갖고 E-AC-3 비트스트림을 인코딩하는 부가적인 양상들을 설명한다:
1. E-AC-3 비트스트림의 생성 동안, E-AC-3 인코더(비트스트림에 LPSM 값들을 삽입하는)가 생성된 매 프레임(syncframe)에 대해 "활성"인 동안, 비트스트림은 프레임의 addbsi 필드(또는 폐기 비트 세그먼트)에 운반된 메타데이터 블록(LPSM을 포함한)을 포함해야 한다. 메타데이터 블록을 운반하기 위해 요구된 비트들은 인코더 비트레이트(프레임 길이)를 증가시키지 않아야 한다.
2. 매 메타데이터 블록(LPSM을 포함한)은 다음의 정보를 포함해야 한다:
라우드니스_보정_유형_플래그: '1'이 대응하는 오디오 데이터의 라우드니스가 인코더로부터 업스트림으로 보정되었음을 표시하며, '0'은 라우드니스가 인코더에 내장된 라우드니스 보정기에 의해 보정되었음을 표시하는 경우(예로서, 도 2의 인코더(100)의 라우드니스 프로세서(103))
스피치_채널: 소스 채널(들)이 스피치를 포함함을 표시한다(이전 0.5초에 걸쳐). 어떤 스피치도 검출되지 않는다면, 이것은 이와 같이 표시될 것이다;
스피치_라우드니스: 스피치를 포함하는(이전 0.5초에 걸쳐) 각각의 대응하는 오디오 채널의 통합된 스피치 라우드니스를 표시한다;
ITU_라우드니스: 각각의 대응하는 오디오 채널의 통합된 ITU BS.1770-3 라우드니스를 표시한다; 및
이득: 디코더에서 역전을 위한 라우드니스 복합 이득(들)(가역성을 입증하기 위해);
3. E-AC-3 인코더(LPSM 값들을 비트스트림에 삽입하는)가 "활성"이며 '신뢰' 플래그를 갖고 AC-3 프레임을 수신하는 동안, 인코더에서의 라우드니스 제어기(예로서, 도 2의 인코더(100)의 라우드니스 프로세서(103))가 바이패싱되어야 한다. '신뢰된' 소스 dialnorm 및 DRC 값들은 E-AC-3 인코더 구성요소(예로서, 인코더(100)의 스테이지(107))로 전달되어야 한다(예로서, 인코더(100)의 생성기(106)에 의해). LPSM 블록 생성은 계속되며 라우드니스_보정_유형_플래그는 '1'로 설정된다. 라우드니스 제어기 바이패스 시퀀스는 '신뢰' 플래그가 나타나는 디코딩된 AC-3 프레임의 시작에 동기화되어야 한다. 라우드니스 제어기 바이패스 시퀀스는 다음과 같이 구현되어야 한다: 레벨러_양 제어는 10개의 오디오 블록 기간들(즉, 53.3msec)에 걸쳐 9의 값에서 0의 값으로 감소되며 레벨러_백_엔드_미터 제어는 바이패스 모드로 위치된다(이 동작은 끊김 없는 전이를 야기해야 한다). 용어(레벨러의 "신뢰된" 바이패스)는 소스 비트스트림의 dialnorm 값이 또한 인코더의 출력에서 재-이용됨을 내포한다. (예로서, '신뢰된' 소스 비트스트림이 -30의 dialnorm 값을 갖는다면, 인코더의 출력은 아웃바운드 dialnorm 값에 대해 -30을 이용해야 한다);
4. E-AC-3 인코더(LPSM 값들을 비트스트림에 삽입하는)가 "활성"이며 '신뢰' 플래그 없이 AC-3 프레임을 수신하는 동안, 인코더에 내장된 라우드니스 제어기(예로서, 도 2의 인코더(100)의 라우드니스 프로세서(103))는 활성이어야 한다. LPSM 블록 생성은 계속되며 라우드니스_보정_유형_플래그는 '0'으로 설정된다. 라우드니스 제어기 활성화 시퀀스는 '신뢰' 플래그가 사라지는 디코딩된 AC-3 프레임의 시작에 동기화되어야 한다. 라우드니스 제어기 활성화 시퀀스는 다음과 같이 구현되어야 한다: 레벨러_양 제어는 1 오디오 블록 기간(즉, 5.3msec)에 걸쳐 0의 값에서 9의 값으로 증가되며 레벨러_백_엔드_미터 제어는 '활성' 모드로 위치된다(이 동작은 끊김 없는 전이를 야기하며 백_엔드_미터 통합 리셋을 포함해야 한다); 및
5. 인코딩 동안, 그래픽 사용자 인터페이스(GUI)는 다음의 파라미터들을 사용자에게 나타내야 한다: "입력 오디오 프로그램: [신뢰된/신뢰되지 않은]" - 이러한 파라미터의 상태는 입력 신호 내에서의 "신뢰" 플래그의 존재에 기초하며; "실-시간 라우드니스 보정: [가능/불능]" - 이러한 파라미터의 상태는 인코더에 내장된 이러한 라우드니스 제어기가 활성인지 여부에 기초한다.
비트스트림의 각각의 프레임의, 폐기 비트 세그먼트, 또는 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드에 포함된 LPSM(바람직한 포맷에서)을 갖는 AC-3 또는 E-AC-3 비트스트림을 디코딩할 때, 디코더는 LPSM 블록 데이터(폐기 비트 세그먼트 또는 addbsi 필드에)를 파싱하며 추출된 LPSM 값들의 모두를 그래픽 사용자 인터페이스(GUI)를 전달해야 한다. 추출된 LPSM 값들의 세트는 매 프레임마다 리프레싱된다.
본 발명에 따라 생성된 인코딩된 비트스트림의 또 다른 바람직한 포맷에서, 인코딩된 비트스트림은 AC-3 비트스트림 또는 E-AC-3 비트스트림이며, LPSM을 포함하는 메타데이터 세그먼트들의 각각은 비트스트림의 프레임의, 폐기 비트 세그먼트에, 또는 Aux 세그먼트에, 또는 비트스트림 정보("BSI") 세그먼트의 "addbsi" 필드(도 6에 도시된)에서의 부가적인 비트 스트림 정보로서 포함된다(예로서, 인코더(100)의 바람직한 구현의 스테이지(107)에 의해). 이러한 포맷(표 1 및 표 2를 참조하여 상기 설명된 포맷에 대한 변형인)에서, LPSM을 포함하는 addbsi(또는 Aux 또는 폐기 비트) 필드들의 각각은 다음의 LPSM 값들을 포함한다:
표 1에 특정된 코어 요소들, 이어서 페이로드 ID(LPSM으로서 메타데이터를 식별한) 및 페이로드 크기 값들, 이어서 다음의 포맷(상기 표 2에 표시된 의무 요소들과 유사한)을 가진 페이로드(LPSM 데이터):
LPSM 페이로드의 버전: LPSM 페이로드의 버전을 표시한 2-비트 필드;
dialchan: 대응하는 오디오 데이터의 좌, 우 및/또는 중심 채널들이 음성 다이얼로그를 포함하는지 여부를 표시하는 3-비트 필드. dialchan 필드의 비트 할당은 다음과 같을 수 있다: 좌측 채널에서의 다이얼로그의 존재를 표시하는, 비트 0은 dialchan 필드의 최상위 비트에 저장되며; 중심 채널에서의 다이얼로그의 존재를 표시하는 비트 2는 dialchan 필드의 최하위 비트에 저장된다. dialchan 필드의 각각의 비트는 대응하는 채널이 프로그램의 이전 0.5초들 동안 음성 다이얼로그를 포함한다면 '1'로 설정된다.
loudregtyp: 프로그램 라우드니스가 어떤 라우드니스 규제 표준을 준수하는지를 표시하는 4-비트 필드. "loudregtype" 필드를 '000'으로 설정하는 것은 LPSM은 라우드니스 규제 준수를 표시하지 않음을 표시한다. 예를 들면, 이러한 필드의 하나의 값(예로서, 0000)은 라우드니스 규제 표준의 준수가 표시되지 않음을 표시할 수 있고, 이러한 필드의 또 다른 값(예로서, 0001)은 프로그램의 오디오 데이터가 ATSC A/85 표준을 준수함을 표시할 수 있으며, 이러한 필드의 또 다른 값(예로서, 0010)은 프로그램의 오디오 데이터가 EBU R128 표준을 준수함을 표시할 수 있다. 상기 예에서, 필드가 '0000'이 아닌 임의의 값으로 설정된다면, loudcorrdialgat 및 loudcorrtyp 필드들은 페이로드를 따라야 한다;
loudcorrdialgat: 다이얼로그-게이팅된 라우드니스 보정이 적용된다면 표시하는 1-비트 필드. 프로그램의 라우드니스가 다이얼로그 게이팅을 사용하여 보정된다면, loudcorrdialgat 필드의 값은 '1'로 설정된다. 그렇지 않다면 그것은 '0'으로 설정된다;
loudcorrtyp: 프로그램에 적용된 라우드니스 보정의 유형을 표시하는 1-비트 필드. 프로그램의 라우드니스가 무한 예견(파일-기반) 라우드니스 보정 프로세스를 갖고 보정된다면, loudcorrtyp 필드의 값은 '0'으로 설정된다. 프로그램의 라우드니스가 실시간 라우드니스 측정 및 동적 범위 제어의 조합을 사용하여 보정된다면, 이 필드의 값은 '1'로 설정된다;
loudrelgate: 상대적 게이팅된 라우드니스 데이터(ITU)가 존재하는지 여부를 표시하는 1-비트 필드. lourelgate 필드가 '1'로 설정된다면, 7-비트 ituloudrelgat 필드는 페이로드를 따라야 한다;
loudrelgat: 상대적 게이팅된 프로그램 라우드니스(ITU)를 표시하는 7-비트 필드. 이 필드는 적용되는 dialnorm 및 동적 범위 압축으로 인한 임의의 이득 조정들 없이 ITU-R BS.1770-3에 따라 측정된 오디오 프로그램의 통합된 라우드니스를 표시한다. 0 내지 127의 값들은 0.5 LKFS 스텝들에서, -58 LKFS 내지 +5.5 LKFS로서 해석된다.
loudspchgate: 스피치-게이팅된 라우드니스 데이터(ITU)가 존재하는지 여부를 표시하는 1-비트 필드. loudspchgate 필드가 '1'로 설정된다면, 7-비트 loudspchgat 필드는 페이로드를 따라야 한다;
loudspchgat: 스피치-게이팅된 프로그램 라우드니스를 표시하는 7-비트 필드. 이 필드는 적용되는 dialnorm 및 동적 범위 압축으로 인한 임의의 이득 조정들 없이, ITU-R BS.1770-3의 공식(2)에 따라 측정된, 전체 대응하는 오디오 프로그램의 통합 라우드니스를 표시한다. 0 내지 127의 값들은 0.5 LKFS 스텝들에서, -58 내지 +5.5 LKFS로서 해석된다;
loudstrm3se: 단기(3초) 라우드니스 데이터가 존재하는지 여부를 표시하는 1-비트 필드. 필드가 '1'로 설정된다면, 7-비트 loudstrm3s 필드는 페이로드를 따라야 한다;
loudstrm3s: 적용되는 dialnorm 및 동적 범위 압축으로 인한 임의의 이득 조정들 없이 및 ITU-R BS.1771-1에 따라 측정된, 대응하는 오디오 프로그램의 이전 3초들의 게이팅되지 않은 라우드니스를 표시하는 7-비트 필드. 0 내지 256의 값들은 0.5 LKFS 스텝들에서 -116 LKFS 내지 +11.5 LKFS로서 해석된다;
truepke: 실제 피크 라우드니스 데이터가 존재하는지를 표시하는 1-비트 필드. truepke 필드가 '1'로 설정된다면, 8-비트 truepk 필드는 페이로드를 따라야 한다; 및
truepk: 적용되는 dialnorm 및 동적 범위 압축으로 인한 임의의 이득 조정들 없이 및 ITU-R BS.1770-3의 부록 2에 따라 측정된, 프로그램의 실제 피크 샘플 값을 표시하는 8-비트 필드. 0 내지 256의 값들은 0.5 LKFS 스텝들에서 -116 LKFS 내지 +11.5 LKFS로서 해석된다.
몇몇 실시예들에서, AC-3 비트스트림 또는 E-AC-3 비트스트림의 프레임의 폐기 비트 세그먼트에서 또는 auxdata(또는 "addbsi") 필드에서 메타데이터 세그먼트의 코어 요소는 코어 헤더(통상적으로, 식별 값들, 예로서, 코어 요소 버전을 포함하는), 및 상기 코어 헤더 후: 핑거프린트 데이터가(또는 다른 보호 값들이) 메타데이터 세그먼트의 메타데이터를 위해 포함되는지 여부를 표시하는 값들, 외부 데이터(메타데이터 세그먼트의 메타데이터에 대응하는 오디오 데이터에 관련된)가 존재하는지 여부를 표시하는 값들, 코어 요소에 의해 식별된 메타데이터의 각각의 유형(예로서, LPSM, 및/또는 LPSM이 아닌 유형의 메타데이터)에 대한 페이로드 ID 및 페이로드 크기 값들, 및 코어 요소에 의해 식별된 적어도 일 유형의 메타데이터에 대한 보호 값들을 포함한다. 메타데이터 세그먼트의 메타데이터 페이로드(들)는 코어 헤더를 따르며, (몇몇 경우들에서) 코어 요소의 값들 내에 내포된다.
본 발명의 통상적인 실시예들은 비트스트림에 의해 표시된 연속적인 오디오 프로그램들 사이에서의 적어도 하나의 경계의 정확하며 강력한 결정을 허용하는 효율적인 방식으로 인코딩된 오디오 비트스트림에 프로그램 경계 메타데이터를 포함한다. 통상적인 실시예들은 그것들이 상이한 프로그램들을 표시한 비트스트림들이 스플라이싱된 비트스트림들 중 하나 또는 양쪽 모두를 절단하는(및 그에 따라 사전-스플라이싱 비트스트림들 중 적어도 하나에 포함된 프로그램 경계 메타데이터를 폐기하는) 방식으로 함께 스플라이싱되는(본 발명의 비트스트림을 생성하기 위해) 경우들에서조차 정확한 프로그램 경계 결정을 허용한다는 점에서 프로그램 경계의 정확하며 강력한 결정을 허용한다.
통상적인 실시예들에서, 본 발명의 비트스트림의 프레임에서 프로그램 경계 메타데이터는 프레임 카운트를 표시한 프로그램 경계 플래그이다. 통상적으로, 플래그는 현재 프레임(플래그를 포함하는 프레임) 및 프로그램 경계(현재 오디오 프로그램의 시작 또는 끝) 사이에서의 프레임들의 수를 표시한다. 몇몇 바람직한 실시예들에서, 프로그램 경계 플래그들은 단일 프로그램을 표시하는 각각의 비트스트림 세그먼트의 시작 및 끝에서 대칭의, 효율적인 방식으로 삽입되며(즉, 세그먼트의 시작 후 몇몇 미리 결정된 수의 프레임들 내에서 발생한 프레임들에서, 및 세그먼트의 끝 전에 몇몇 미리 결정된 수의 프레임들 내에서 발생하는 프레임들에서), 따라서 두 개의 이러한 비트스트림 세그먼트들이 연쇄될 때(두 개의 프로그램들의 시퀀스를 표시하도록), 프로그램 경계 메타데이터는 두 개의 프로그램들 사이에서의 경계의 양쪽 측면들 상에 존재할 수 있다(예로서, 대칭적으로).
최대 강건성은 프로그램을 표시하는 비트스트림의 매 프레임에서 프로그램 경계 플래그를 삽입함으로써 달성될 수 있지만, 이것은 통상적으로 데이터 레이트에서의 연관된 증가로 인해 실현 가능하지 않을 것이다. 통상적인 실시예들에서, 프로그램 경계 플래그들은 인코딩된 오디오 비트스트림의 프레임들의 서브세트에만 삽입되며(하나의 오디오 프로그램 또는 오디오 프로그램들의 시퀀스를 표시할 수 있는), 경계 플래그 삽입 레이트는 상기 프레임들의 각각에 가장 가까운 프로그램 경계로부터 비트스트림의 프레임들(플래그가 삽입되는)의 각각의 간격을 증가시키는 비-증가 함수이고, 여기에서 "경계 플래그 삽입 레이트"는 프로그램 경계 플래그를 포함하는 프레임들(프로그램을 표시한)의 수 대 프로그램 경계 플래그를 포함하지 않는 프레임들(프로그램을 표시한)의 수의 평균 비를 나타내며, 여기에서 평균은 인코딩된 오디오 비트스트림의 연속 프레임들의 수(예로서, 비교적 작은 수)에 걸친 이동 평균이다.
경계 플래그 삽입 레이트를 증가시키는 것은(예로서, 프로그램 경계에 더 가까운 비트스트림에서의 위치들에서) 비트스트림의 전달을 위해 요구된 데이터 레이트를 증가시킨다. 이를 보상하기 위해, 각각의 삽입된 플래그의 크기(비트들의 수)는 바람직하게는 경계 플래그 삽입 레이트가 증가됨에 따라 감소된다(예로서, 비트스트림의 제 "N" 프레임에서의 프로그램 경계 플래그(여기에서 N은 정수이다)의 크기가 제 "N" 프레임 및 가장 가까운 프로그램 경계 사이에서의 거리(프레임들의 수)의 비-증가 함수이므로). 실시예들의 클래스에서, 경계 플래그 삽입 레이트는 가장 가까운 프로그램 경계로부터 증가하는 거리(각각의 플래그 삽입 위치의)의 대수적으로 감소 함수이며, 플래그들 중 하나를 포함하는 각각의 플래그-포함 프레임에 대해, 상기 플래그-포함 프레임에서의 플래그의 크기는 상기 플래그 포함 프레임인 것보다 가장 가까운 프로그램 경계에 더 가까이 위치된 프레임에서의 각각의 플래그의 크기와 같거나 또는 그보다 크다. 통상적으로, 각각의 플래그의 크기는 플래그의 삽입 위치로부터 가장 가까운 프로그램 경계로 프레임들의 수의 증가 함수에 의해 결정된다.
예를 들면, 도 8 및 도 9의 실시예를 고려하면, 이 경우에 프레임 번호(최상위 로우에서)에 의해 식별된 각각의 컬럼이 인코딩된 오디오 비트스트림의 프레임을 표시한다. 비트스트림은 도 9의 좌측 측면 상에서 프레임 번호("17")에 의해 식별된 컬럼의 좌측으로 즉시 발생하는 제 1 프로그램 경계(프로그램의 시작을 표시하는), 및 도 8의 우측 측면 상에서 프레임 번호("1")에 의해 식별된 컬럼의 우측으로 즉시 발생하는 제 2 프로그램 경계(프로그램의 끝을 표시하는)를 가진 오디오 프로그램을 표시한다. 도 8에 도시된 프레임들에 포함된 프로그램 경계 플래그들은 현재 프레임 및 제 2 프로그램 경계 사이에서 프레임들의 수를 카운트 다운한다. 도 9에 도시된 프레임들에 포함된 프로그램 경계 플래그들은 현재 프레임 및 제 1 프로그램 경계 사이에서 프레임들의 수를 카운트 업한다.
도 8 및 도 9의 실시예에서, 프로그램 경계 플래그는 단지 비트스트림에 의해 표시된 오디오 프로그램의 시작 후 인코딩된 비트스트림의 첫 X 프레임들의 제 "2N" 프레임들의 각각에 및 비트스트림에 의해 표시된 프로그램의 끝에 가장 가까운 제 "2N" 프레임들(비트스트림의 마지막 X 프레임들의)의 각각에 삽입되며, 여기에서 프로그램은 Y 프레임들을 포함하고, X는 Y/2보다 작거나 또는 같은 정수이며, N은 1에서 log2(X)까지의 범위에서의 양의 정수이다. 따라서(도 8 및 도 9에 표시된 바와 같이), 프로그램 경계 플래그는 비트스트림(프로그램의 시작에 가장 가까운 플래그-포함 프레임)의 제 2 프레임(N=1)에, 제 4 프레임(N=2)에, 제 8 프레임(N=3) 등에, 및 비트스트림의 끝으로부터 제 8 프레임에, 비트스트림의 끝으로부터 제 4 프레임에, 및 비트스트림(프로그램의 끝에 가장 가까운 플래그-포함 프레임)의 끝으로부터 제 2 프레임에 삽입된다. 이 예에서, 프로그램의 시작(또는 끝)으로부터 제 "2N" 프레임에서의 프로그램 경계 플래그는 도 8 및 도 9에 표시된 바와 같이 log2(2N+2) 이진 비트들을 포함한다. 따라서, 프로그램의 시작(또는 끝)으로부터 제 2 프레임(N=1)에서의 프로그램 경계 플래그는 log2(2N+2)=log2(23)=3 이진 비트들을 포함하며, 프로그램의 시작(또는 끝)으로부터 제 4 프레임(N=2)에서의 플래그는 log2(2N+2)=log2(24)=4 이진 비트들 등을 포함한다.
도 8 및 도 9의 예에서, 각각의 프로그램 경계 플래그의 포맷은 다음과 같다. 각각의 프로그램 경계 플래그는 리딩 "1" 비트, 상기 리딩 비트 후 "0" 비트들의 시퀀스("0" 비트가 없거나 또는 하나 이상의 연속적인 "0" 비트들), 및 2-비트 트레일링 코드로 이루어진다. 상기 트레일링 코드는 도 8에 표시된 바와 같이, 비트스트림의 마지막 X 프레임들(프로그램 끝에 가장 가까운 프레임들)에서의 플래그들에 대해 "11"이다. 트레일링 코드는 도 9에 표시된 바와 같이, 비트스트림의 첫 X 프레임들(프로그램의 시작에 가장 가까운 프레임들)에서의 플래그들에 대해 "10"이다. 따라서, 각각의 플래그를 판독(디코딩)하기 위해, 리딩 "1" 비트 및 트레일링 코드 사이에서의 제로들의 수가 카운팅된다. 트레일링 코드가 "11"인 것으로 식별된다면, 플래그는 현재 프레임(플래그를 포함하는 프레임) 및 프로그램의 끝 사이에 (2Z+1-1) 프레임들이 있음을 표시하며, 여기에서 Z는 플래그의 리딩 "1" 비트 및 트레일링 코드 사이에서의 제로들의 수이다. 디코더는 각각의 이러한 플래그의 제 1 및 마지막 비트를 무시하기 위해, 플래그의 다른 (중간) 비트들의 시퀀스의 역을 결정하기 위해(예로서, 중간 비트들의 시퀀스가 시퀀스에서 마지막 비트인 "1" 비트를 갖고, "0001"이면, 중간 비트들의 반전된 시퀀스는 반전된 시퀀스에서 제 1 비트인 "1" 비트를 갖는 "1000"이다), 및 프로그램의 끝에 대하여 현재 프레임(플래그가 포함되는 프레임)의 인덱스로서 중간 비트들의 반전된 시퀀스의 이진 값을 식별하기 위해 효율적으로 구현될 수 있다. 예를 들면, 중간 비트들의 반전된 시퀀스가 "1000"이면, 이러한 반전된 시퀀스는 이진 값(24=16)을 가지며, 프레임은 프로그램의 끝(프레임("0")을 설명하는 도 9의 컬럼에서 표시된 바와 같이) 전 제 16 프레임으로서 식별된다.
트레일링 코드가 "10"인 것으로 식별된다면, 플래그는 프로그램의 시작 및 현재 프레임(플래그를 포함하는 프레임) 사이에 (2Z+1-1) 프레임들이 있음을 표시하며, 여기에서 Z는 플래그의 리딩 "1" 비트 및 트레일링 코드 사이에서의 제로들의 수이다. 디코더는 각각의 이러한 플래그의 제 1 및 마지막 비트를 무시하기 위해, 플래그의 중간 비트들의 시퀀스의 역을 결정하기 위해(예로서, 중간 비트들의 시퀀스가 시퀀스에서 마지막 비트인 "1" 비트를 갖는 "0001"이면, 중간 비트들의 반전된 시퀀스는 반전된 시퀀스에서 제 1 비트인 "1" 비트를 갖는 "1000"이다), 및 프로그램의 시작에 대하여 현재 프레임(플래그가 포함되는 프레임)의 인덱스로서 중간 비트들의 반전된 시퀀스의 이진 값을 식별하기 위해 효율적으로 구현될 수 있다. 예를 들면, 중간 비트들의 반전된 시퀀스가 "1000"이면, 이러한 반전된 시퀀스는 이진 값(24=16)을 가지며, 프레임은 프로그램의 시작 후(프레임("32")을 설명하는 도 9의 컬럼에서 표시된 바와 같이) 제 16 프레임으로서 식별된다.
도 8 및 도 9의 예에서, 프로그램 경계 플래그는 단지 비트스트림에 의해 표시된 오디오 프로그램의 시작 후 인코딩된 비트스트림의 첫 X 프레임들의 제 "2N" 프레임들의 각각에, 및 비트스트림에 의해 표시된 프로그램의 끝에 가장 가까운 제 "2N" 프레임들(비트스트림의 마지막 X 프레임들의)의 각각에 존재하며, 여기에서 프로그램은 Y 프레임들을 포함하고, X는 Y/2보다 작거나 또는 같은 정수이며, N은 1에서 log2(X)까지의 범위에 있는 양의 정수이다. 프로그램 경계 플래그들의 포함은 단지 플래그들 없이 비트스트림을 송신하기 위해 요구된 비트 레이트에 1.875 비트들/프레임의 평균 비트 레이트를 더한다.
비트스트림이 AC-3 인코딩된 오디오 비트스트림인 도 8 및 도 9의 실시예의 통상적인 구현에서, 각각의 프레임은 디지털 오디오의 1536 샘플들에 대한 오디오 콘텐트 및 메타데이터를 포함한다. 48 kHz의 샘플링 레이트에 대해, 이것은 32 밀리초들의 디지털 오디오 또는 오디오의 초당 31.25 프레임들의 레이트를 표현한다. 따라서, 이러한 실시예에서, 프로그램 경계로부터 몇몇 수의 프레임들("X" 프레임들) 만큼 분리된 프레임에서의 프로그램 경계 플래그는 경계가 플래그-포함 프레임의 끝 후 32X 밀리초들(또는 플래그-포함 프레임의 시작 전 32 밀리초들)을 발생시킴을 표시한다.
비트스트림이 E-AC-3 인코딩된 오디오 비트스트림인 도 8 및 도 9의 실시예의 통상적인 구현에서, 비트스트림의 각각의 프레임은 프레임이 각각 오디오 데이터의 1, 2, 3 또는 6개 블록들을 포함하는지 여부에 의존하여, 디지털 오디오의 256, 512, 768, 또는 1536 샘플들에 대한 오디오 콘텐트 및 메타데이터를 포함한다. 48 kHz의 샘플링 레이트에 대해, 이것은 각각 5.333, 10.667 또는 32 밀리초들의 디지털 오디오 또는 각각 오디오의 초당 189.9, 93.75, 62.5 또는 31.25 프레임들의 레이트를 표현한다. 따라서, 이러한 실시예에서(각각의 프레임이 32 밀리초들의 디지털 오디오를 표시한다고 가정하면), 프로그램 경계로부터 몇몇 수의 프레임들("X" 프레임들)만큼 분리된 프레임에서의 프로그램 경계 플래그는 경계가 플래그-포함 프레임의 끝 후 32X 밀리초들(또는 플래그-포함 프레임의 시작 전 32 밀리초들)을 발생시킴을 표시한다.
프로그램 경계가 오디오 비트스트림의 프레임(즉, 프레임의 시작 또는 끝과 일직선이 아닌) 내에서 발생할 수 있는 몇몇 실시예들에서, 비트스트림의 프레임에 포함된 프로그램 경계 메타데이터는 프로그램 경계 프레임 카운트(즉, 프레임 카운트-포함 프레임의 시작 또는 끝 및 프로그램 경계 사이에서의 전체 프레임의 수를 표시한 메타데이터) 및 오프셋 값을 포함한다. 오프셋 값은 프로그램 경계-포함 프레임의 시작 또는 끝, 및 프로그램 경계-포함 프레임 내에서의 프로그램 경계의 실제 위치 사이에서의 오프셋(통상적으로, 샘플들의 수)을 표시한다.
인코딩된 오디오 비트스트림은 대응하는 시퀀스의 비디오 프로그램들의 프로그램들(사운드트랙들)의 시퀀스를 표시할 수 있으며, 이러한 오디오 프로그램들의 경계들은 오디오 프레임들의 에지들에서보다는 비디오 프레임들의 에지들에서 발생하려는 경향이 있다. 또한, 몇몇 오디오 코덱들(예로서, E-AC-3 코덱들)은 비디오 프레임들과 정렬되지 않는 오디오 프레임 크기들을 사용한다. 또한, 몇몇 경우들에서, 처음에 인코딩된 오디오 비트스트림은 트랜스코딩된 비트스트림을 생성하기 위해 트랜스코딩을 겪으며, 처음에 인코딩된 비트스트림은 프로그램 경계(처음에 인코딩된 비트스트림에 의해 결정된)가 트랜스코딩된 비트스트림의 프레임 경계에서 발생하는 것을 보장되지 않도록 트랜스코딩된 비트스트림과 상이한 프레임 크기를 가진다. 예를 들면, 처음에 인코딩된 비트스트림(예로서, 도 10의 비트스트림("IEB"))이 프레임당 1536 샘플들의 프레임 크기를 가지며, 트랜스코딩된 비트스트림(예로서, 도 10의 비트스트림("TB"))이 프레임당 1024 샘플들의 프레임 크기를 갖는다면, 트랜스코딩 프로세스는 상이한 코덱들의 상이한 프레임 크기들로 인해, 실제 프로그램 경계가 트랜스코딩된 비트스트림의 프레임 경계에서가 아닌 그것의 프레임에서의 어딘가에서 발생하게 할 수 있다. 인코딩된 오디오 비트스트림의 프레임에 포함된 프로그램 경계 메타데이터가 프로그램 경계 프레임 카운트뿐만 아니라 오프셋 값을 포함하는 본 발명의 실시예들은 이 단락에서 언급된 3개의 경우들에서(뿐만 아니라 다른 경우들에서) 유용하다.
도 8 및 도 9를 참조하여 상기 설명된 실시예는 인코딩된 비트스트림의 프레임들 중 임의의 것에 오프셋 값(예로서, 오프셋 필드)을 포함하지 않는다. 이 실시예에 대한 변형들에서, 오프셋 값은 프로그램 경계 플래그를 포함하는 인코딩된 오디오 비트스트림의 각각의 프레임에(예로서, 도 8에서 0, 8, 12, 및 14로 넘버링된 프레임들에 대응하는 프레임들 및 도 9에서 18, 20, 24, 및 32로 넘버링된 프레임들에) 포함된다.
실시예들의 클래스에서, 데이터 구조(본 발명의 프로그램 경계 메타데이터를 포함하는 인코딩된 비트스트림의 각각의 프레임에서)는 프레임이 단지 프로그램 경계 프레임 카운트만을 포함하는지, 또는 프로그램 경계 프레임 카운트 및 오프셋 값 모두를 포함하는지 여부를 표시한 코드 값을 포함한다. 예를 들면, 코드 값이 단일-비트 필드(여기에서 "offset_exist" 필드로서 불리우는)의 값일 수 있고, 값("offset_exist"=0)은 어떤 오프셋 값도 프레임에 포함되지 않음을 표시할 수 있으며, 값("offset_exist"=1)은 프로그램 경계 프레임 카운트 및 오프셋 값 양쪽 모두가 프레임에 포함됨을 표시할 수 있다.
몇몇 실시예들에서, AC-3 또는 E-AC-3 인코딩된 오디오 비트스트림의 적어도 하나의 프레임은 비트스트림에 의해 결정된 오디오 프로그램에 대한 LPSM 및 프로그램 경계 메타데이터(및 선택적으로 또한 다른 메타데이터)를 포함하는 메타데이터 세그먼트를 포함한다. 각각의 이러한 메타데이터 세그먼트(비트스트림의 addbsi 필드, 또는 auxdata 필드, 또는 폐기 비트 세그먼트에 포함될 수 있는)는 코어 헤더(및 선택적으로 또한 부가적인 코어 요소들), 및 상기 코더 헤더(또는 코어 헤더 및 다른 코어 요소들) 후 다음의 포맷을 가진 LPSM 페이로드(또는 컨테이너) 세그먼트를 포함한다:
헤더(통상적으로 적어도 하나의 식별 값, 예로서, LPSM 포맷 버전, 길이, 기간, 카운트, 및 서브스트림 연관 값들을 포함한), 및
상기 헤더 후, 프로그램 경계 메타데이터(프로그램 경계 프레임 카운트, 프레임이 단지 프로그램 경계 프레임 카운트만을 포함하는지 또는 프로그램 경계 프레임 카운트 및 오프셋 값 양쪽 모두를 포함하는지를 표시하는 코드 값(예로서, "offset_exist" 값), 및 몇몇 경우들에서 오프셋 값) 및 LPSM. LPSM은 다음을 포함한다:
대응하는 오디오 데이터가 다이얼로그를 표시하는지 또는 다이얼로그를 표시하지 않는지 여부를 표시한 적어도 하나의 다이얼로그 표시 값(예로서, 대응하는 오디오 데이터의 어떤 채널들이 다이얼로그를 표시하는지). 다이얼로그 표시 값(들)은 대응하는 오디오 데이터의 채널들의 임의의 조합으로 존재하는지, 또는 그것 모두에 존재하는지 여부를 표시할 수 있다.
대응하는 오디오 데이터가 표시된 세트의 라우드니스 규제들을 준수하는지 여부를 표시한 적어도 하나의 라우드니스 규제 준수 값;
대응하는 오디오 데이터에 대해 수행된 적어도 일 유형의 라우드니스 프로세싱을 표시한 적어도 하나의 라우드니스 프로세싱; 및
대응하는 오디오 데이터의 적어도 하나의 라우드니스(예로서, 피크 또는 평균 라우드니스) 특성을 표시한 적어도 하나의 라우드니스 값.
몇몇 실시예들에서, LPSM 페이로드 세그먼트는 프레임이 단지 프로그램 경계 프레임 카운트만을 포함하는지 또는 프로그램 경계 프레임 카운트 및 오프셋 값 양쪽 모두를 포함하는지를 표시한 코드 값("offset_exist" 값)을 포함한다. 예를 들면, 이러한 일 실시예에서, 이러한 코드 값이 프레임이 프로그램 경계 프레임 카운트 및 오프셋 값을 포함한다고 표시할 때(예로서, offset_exist=1), LPSM 페이로드 세그먼트는 11-비트 부호화되지 않은 정수(즉 0에서 2048까지의 값을 가진)이며 시그널링된 프레임 경계(프로그램 경계를 포함하는 프레임의 경계) 및 실제 프로그램 경계 사이에서의 부가적인 오디오 샘플들의 수를 표시하는 오프셋 값을 포함할 수 있다. 프로그램 경계 프레임 카운트가 프로그램 경계-포함 프레임에 대한 프레임들의 수(현재 프레임 레이트에서)를 표시한다면, 프로그램 경계(LPSM 페이로드 세그먼트를 포함하는 프레임의 시작 또는 끝에 대하여)의 정확한 위치(샘플들의 수의 단위들에서)는 다음과 같이 산출될 것이다:
S=(프레임_카운트*프레임 크기)+오프셋,
여기에서 S는 프로그램 경계(LPSM 페이로드 세그먼트를 포함하는 프레임의 시작 또는 끝으로부터)에 대한 샘플들의 수이고, "프레임_카운터"는 프로그램 경계 프레임 카운트에 의해 표시된 프레임 카운트이고, "프레임 크기"는 프레임당 샘플들의 수이며, "오프셋"은 오프셋 값에 의해 표시된 샘플들의 수이다.
프로그램 경계 플래그들의 삽입 레이트가 실제 프로그램 경계 가까이로 증가하는 몇몇 실시예들은 프레임이 프로그램 경계를 포함하는 프레임으로부터 몇몇 수("Y")의 프레임들보다 작거나 또는 같다면 오프셋 값이 결코 프레임에 포함되지 않는다는 규칙을 구현한다. 통상적으로, Y=32. 이러한 규칙(Y=32를 갖는)을 구현하는 E-AC-3 인코더에 대해, 인코더는 결코 오디오 프로그램의 최종 초에서 오프셋 값을 삽입하지 않는다. 이 경우에, 수신 디바이스는 타이머를 유지하며 그에 따라 그 자신의 오프셋 산출을 수행할 책임이 있다(프로그램 경계-포함 프레임으로부터 Y개 이상의 프레임들인 인코딩된 비트스트림의 프레임에서, 오프셋 값을 포함한, 프로그램 경계 메타데이터에 응답하여).
오디오 프로그램들이 대응하는 비디오 프로그램들(예로서, 통상적인 기여는 돌비 E 인코딩된 오디오를 제공한다)의 비디오 프레임들에 "프레임 정렬"되는 것으로 알려져 있는 프로그램들에 대해, 오디오 프로그램들을 표시한 인코딩된 비트스트림들에 오프셋 값들을 포함하는 것은 필요치 않을 것이다. 따라서, 오프셋 값들은 통상적으로 이러한 인코딩된 비트스트림들에 포함되지 않을 것이다.
도 11을 참조하면, 우리는 다음에 인코딩된 오디오 비트스트림들이 본 발명의 오디오 비트스트림의 실시예를 생성하기 위해 함께 스플라이싱되는 경우들을 고려한다.
도 11의 최상부에서의 비트스트림("시나리오 1"로서 라벨링된)은 또한 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함하는 전체 제 2 오디오 프로그램(P2)에 앞서 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함한 전체 제 1 오디오 프로그램(P1)을 표시한다. 상기 제 1 프로그램의 끝 부분(그 일부는 도 11에 도시된다)에서의 프로그램 경계 플래그들은 도 8을 참조하여 설명된 것들과 동일하거나 또는 유사하며, 두 개의 프로그램들 사이에서의 경계(즉, 제 2 프로그램의 시작에서의 경계)의 위치를 결정한다. 상기 제 2 프로그램의 시작 부분(그 일부가 도 11에 도시된다)에서의 프로그램 경계 플래그들은 도 9를 참조하여 설명된 것들과 동일하거나 또는 유사하며, 그것들은 또한 경계의 위치를 결정한다. 통상적인 실시예들에서, 인코더 또는 디코더는 프로그램 경계를 카운트 다운하는 타이머(제 1 프로그램에서의 플래그들에 의해 교정된), 및 동일한 프로그램 경계로부터 카운트 업하는 동일한 타이머(제 2 프로그램에서의 플래그들에 의해 교정된)를 구현한다. 도 11의 시나리오 1에서 경계 타이머 그래프에 의해 표시된 바와 같이, 이러한 타이머의 카운트다운(제 1 프로그램에서의 플래그들에 의해 교정된)은 경계에서 0에 도달하며, 타이머의 카운트 업(제 2 프로그램에서의 플래그들에 의해 교정된)은 경계의 동일한 위치를 표시한다.
도 11의 최상부로부터의 제 2 비트스트림("시나리오 2"로서 라벨링된)은 프로그램 경계 메타데이터를 포함하지 않는 전체 제 2 오디오 프로그램(P2)에 앞서 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함한 전체 제 1 오디오 프로그램(P1)을 표시한다. 제 1 프로그램의 끝 부분(그 일부가 도 11에 도시된다)에서의 프로그램 경계 플래그들은, 시나리오 1에서처럼, 도 8을 참조하여 설명된 것들과 동일하거나 또는 유사하며, 두 개의 프로그램들 사이에서의 경계(즉, 제 2 프로그램의 시작에서의 경계)의 위치를 결정한다. 통상적인 실시예들에서, 인코더 또는 디코더는 프로그램 경계로 카운트 다운하는 타이머(제 1 프로그램에서의 플래그들에 의해 교정된), 및 프로그램 경계로부터 계속해서 카운트 업하는 동일한 타이머(추가 교정되지 않고)(도 11의 시나리오 2에서의 경계 타이머 그래프에 의해 표시된 바와 같이)를 구현한다.
도 11의 최상부로부터의 제 3 비트스트림("시나리오 3"으로서 라벨링된)은 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함하며, 또한 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함하는 전체 제 2 오디오 프로그램(P2)을 갖고 스플라이싱된 절단된 제 1 오디오 프로그램(P1)을 표시한다. 상기 스플라이싱은 제 1 프로그램의 마지막 "N" 프레임들을 제거하였다. 제 2 프로그램의 시작 부분(그 일부가 도 11에 도시된다)에서의 프로그램 경계 플래그들은 도 9를 참조하여 설명된 것들과 동일하거나 또는 유사하며, 그것들은 절단된 제 1 프로그램 및 전체 제 2 프로그램 사이에서의 경계(스플라이스)의 위치를 결정한다. 통상적인 실시예들에서, 인코더 또는 디코더는 절단되지 않은 제 1 프로그램의 끝으로 카운트 다운하는 타이머(제 1 프로그램에서의 플래그들에 의해 교정된), 및 제 2 프로그램의 시작으로부터 카운트 업하는 동일한 타이머(제 2 프로그램에서의 플래그들에 의해 교정된)를 구현한다. 제 2 프로그램의 시작은 시나리오 3에서 프로그램 경계이다. 도 11의 시나리오 3에서의 경계 타이머 그래프에 의해 표시된 바와 같이, 이러한 타이머의 카운트다운(제 1 프로그램에서의 프로그램 경계 메타데이터에 의해 교정된)은 그것이 0에 도달하기 전에(제 1 프로그램에서의 프로그램 경계 메타데이터에 응답하여) 리셋된다(제 2 프로그램에서의 프로그램 경계 메타데이터에 응답하여). 따라서, 제 1 프로그램의 절단(스플라이스에 의한)은 타이머가 단독으로 제 1 프로그램에서의 프로그램 경계 메타데이터에 응답하여(즉, 그것에 의한 교정 하에서) 제 2 프로그램의 시작 및 절단된 제 1 프로그램 사이에서의 프로그램 경계를 식별하는 것을 방지하지만, 제 2 프로그램에서의 프로그램 메타데이터는 타이머를 리셋하며, 따라서 리셋 타이머는 절단된 제 1 프로그램 및 제 2 프로그램의 시작 사이에서의 프로그램 경계의 위치를 정확하게 표시한다(리셋 타이머의 "0" 카운트에 대응하는 위치로서).
제 4 비트스트림("시나리오 4"로서 라벨링된)은 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함하는 절단된 제 1 오디오 프로그램(P1), 및 프로그램 경계 메타데이터(프로그램 경계 플래그들, F)를 포함하며 제 1 오디오 프로그램의 일 부분(비-절단된 부분)을 갖고 스플라이싱된 절단된 제 2 오디오 프로그램(P2)을 표시한다. 전체(사전-절단) 제 2 프로그램(그 일부가 도 11에 도시된다)의 시작 부분에서의 프로그램 경계 플래그들은 도 9를 참조하여 설명된 것들과 동일하거나 또는 유사하며, 전체(사전-절단) 제 1 프로그램(그 일부가 도 11에 도시된다)의 끝 부분에서의 프로그램 경계 플래그들은 도 8을 참조하여 설명된 것들과 동일하거나 또는 유사하다. 스플라이싱은 제 1 프로그램의 마지막 "N" 프레임들(및 따라서 스플라이스 전에 그에 포함된 프로그램 경계 플래그들의 일부) 및 제 2 프로그램의 첫 "M" 프레임들(및 따라서 스플라이스 전에 그에 포함된 프로그램 경계 플래그들의 일부)을 제거하였다. 통상적인 실시예들에서, 인코더 또는 디코더는 절단되지 않은 제 1 프로그램의 끝을 향해 카운트 다운하는 타이머(절단된 제 1 프로그램에서의 플래그들에 의해 교정된), 및 절단되지 않은 제 2 프로그램의 시작으로부터 카운트 업하는 동일한 타이머(절단된 제 2 프로그램에서의 플래그들에 의해 교정된)를 구현한다. 도 11의 시나리오 4에서의 경계 타이머 그래프에 의해 표시된 바와 같이, 이러한 타이머의 카운트다운(제 1 프로그램에서의 프로그램 경계 메타데이터에 의해 교정된)은 그것이 0에 도달하기 전에(제 1 프로그램에서의 프로그램 경계 메타데이터에 응답하여) 리셋된다(제 2 프로그램에서의 프로그램 경계 메타데이터에 응답하여). 제 1 프로그램의 절단(스플라이스에 의한)은 타이머가 단독으로 제 1 프로그램에서의 프로그램 경계 메타데이터에 응답하여(즉, 그것에 의한 교정 하에서) 절단된 제 1 프로그램 및 절단된 제 2 프로그램의 시작 사이에서의 프로그램 경계를 식별하는 것을 방지한다. 그러나, 리셋 타이머는 절단된 제 1 프로그램의 끝 및 절단된 제 2 프로그램의 시작 사이에서의 프로그램 경계의 위치를 정확하게 표시하지 않는다. 따라서, 스플라이싱된 비트스트림들 양쪽 모두의 절단은 그것들 사이에서의 경계의 정확한 결정을 방지할 수 있다.
본 발명의 실시예들은 하드웨어, 펌웨어, 또는 소프트웨어, 또는 양쪽 모두의 조합(예로서, 프로그램 가능한 로직 어레이로서)에서 구현될 수 있다. 달리 특정되지 않는다면, 알고리즘들 또는 프로세스들은 본질적으로 임의의 특정한 컴퓨터 또는 다른 장치에 관련되지 않는다. 특히, 다양한 범용 기계들은 여기에서의 교시들에 따라 기록된 프로그램들을 갖고 사용될 수 있거나, 또는 요구된 방법 단계들을 수행하기 위해 보다 전문화된 장치(예로서, 집적 회로들)를 구성하는 것이 더 편리할 수 있다. 따라서, 각각이 적어도 하나의 프로세서, 적어도 하나의 데이터 저장 시스템(휘발성 및 비-휘발성 메모리 및/또는 저장 요소들), 적어도 하나의 입력 디바이스 또는 포트, 및 적어도 하나의 출력 디바이스 또는 포트를 포함한 하나 이상의 프로그램 가능한 컴퓨터 시스템들(예로서, 도 1의 요소들, 또는 도 2의 인코더(100)(또는 그것의 요소), 또는 도 3의 디코더(200)(또는 그것의 요소), 또는 도 3의 후-처리기(또는 그것의 요소) 중 임의의 것의 구현)) 상에서 실행한 하나 이상의 컴퓨터 프로그램들에서 구현될 수 있다. 프로그램 코드는 여기에 설명된 기능들을 수행하며 출력 정보를 생성하기 위해 입력 데이터에 적용된다. 출력 정보는 알려진 방식으로, 하나 이상의 출력 디바이스들에 적용된다.
각각의 이러한 프로그램은 컴퓨터 시스템과 통신하기 위해 임의의 원하는 컴퓨터 언어(기계, 어셈블리, 또는 고 레벨 절차, 논리 또는 오브젝트 지향 프로그래밍 언어들을 포함한)로 구현될 수 있다. 임의의 경우에, 언어는 컴파일링 또는 해석형 언어일 수 있다.
예를 들면, 컴퓨터 소프트웨어 지시 시퀀스들에 의해 구현될 때, 본 발명의 실시예들의 다양한 기능들 및 단계들은 적절한 디지털 신호 프로세싱 하드웨어에서 구동하는 다중스레드 소프트웨어 지시 시퀀스들에 의해 구현될 수 있으며, 그 경우에 실시예들의 다양한 디바이스들, 단계들, 및 기능들이 소프트웨어 지시들의 부분들에 대응할 수 있다.
각각의 이러한 컴퓨터 프로그램은 바람직하게는, 저장 미디어 또는 디바이스가 여기에 설명된 절차들을 수행하기 위해 컴퓨터 시스템에 의해 판독될 때, 컴퓨터를 구성 및 동작시키기 위해, 일반 또는 특수 목적 프로그램 가능한 컴퓨터에 의해 판독 가능한 저장 미디어 또는 디바이스(예로서, 고체 상태 메모리 또는 미디어, 또는 자기 또는 광학 미디어) 상에 저장되거나 또는 그것으로 다운로딩된다. 본 발명의 시스템은 또한 컴퓨터 프로그램을 갖고 구성된(즉, 저장한), 컴퓨터-판독 가능한 저장 매체로서 구현될 수 있으며, 여기에서 그렇게 구성된 저장 매체는 컴퓨터 시스템이 여기에 설명된 기능들을 수행하기 위해 특정 및 미리 정의된 방식으로 동작하게 한다.
본 발명의 다수의 실시예들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 본 발명의 사상 및 범위로부터 벗어나지 않고 이루어질 수 있다는 것이 이해될 것이다. 본 발명의 다수의 수정들 및 변형들이 상기 교시들을 고려하여 가능하다. 첨부된 청구항들의 범위 내에서, 본 발명은 여기에 구체적으로 설명된 바와 달리 실시될 수 있다는 것이 이해될 것이다.
100: 인코더 101: 디코더
102: 오디오 상태 확인기 103: 라우드니스 프로세싱 스테이지
104: 오디오 스트림 선택 스테이지 106: 인코더
107: 스퍼터/포맷터 스테이지
108: 다이얼로그 라우드니스 측정 서브시스템
109: 프레임 버퍼 110: 프레임 버퍼
111: 파서 150: 오디오 전달 서브시스템
152: 디코더 200: 디코더
201: 프레임 버퍼 202: 오디오 디코더
203: 확인기 204: 제어 비트 생성 스테이지
205: 파서 300: 후-처리기
301: 프레임 버퍼

Claims (8)

  1. 오디오 처리 유닛에 있어서:
    인코딩된 오디오 비트스트림을 저장하도록 구성된 버퍼 메모리로서, 상기 인코딩된 오디오 비트스트림은 오디오 데이터 및 메타데이터를 포함하고, 상기 메타데이터는 라우드니스 메타데이터의 페이로드를 포함하는, 상기 버퍼 메모리;
    상기 버퍼 메모리에 결합되고, 상기 인코딩된 오디오 비트스트림으로부터 상기 오디오 데이터 및 상기 라우드니스 메타데이터의 페이로드를 추출하도록 구성된 파서(parser);
    상기 파서에 결합되고, 상기 오디오 데이터를 디코딩하여, 디코딩된 오디오 데이터를 생성하도록 구성된 디코더; 및
    상기 파서 및 상기 디코더에 결합되고, 상기 라우드니스 메타데이터에 응답하여 상기 디코딩된 오디오 데이터에 후-처리를 수행하도록 구성된 서브시스템을 포함하고,
    상기 라우드니스 메타데이터는 오디오 프로그램 라우드니스가 상기 라우드니스 메타데이터의 페이로드에 존재하는 것을 나타내는 메타데이터를 포함하고, 상기 오디오 프로그램 라우드니스가 상기 라우드니스 메타데이터의 페이로드에 존재할 때, 상기 라우드니스 메타데이터는 상기 오디오 프로그램 라우드니스를 결정하기 위해 사용된 측정 방법의 지시(indication)를 더 포함하는, 오디오 처리 유닛.
  2. 제 1 항에 있어서,
    상기 측정 방법은 ITU-R BS.1770에 규정되는, 오디오 처리 유닛.
  3. 오디오 처리 방법에 있어서:
    인코딩된 오디오 비트스트림을 수신하는 단계로서, 상기 인코딩된 오디오 비트스트림은 오디오 데이터 및 메타데이터를 포함하고, 상기 메타데이터는 라우드니스 메타데이터의 페이로드를 포함하는, 상기 수신 단계;
    상기 인코딩된 오디오 비트스트림으로부터 상기 오디오 데이터 및 상기 라우드니스 메타데이터의 페이로드를 추출하는 단계;
    상기 오디오 데이터를 디코딩하여, 디코딩된 오디오 데이터를 생성하는 단계; 및
    상기 라우드니스 메타데이터에 응답하여 상기 디코딩된 오디오 데이터에 후-처리를 수행하는 단계를 포함하고,
    상기 라우드니스 메타데이터는 오디오 프로그램 라우드니스가 상기 라우드니스 메타데이터의 페이로드에 존재하는 것을 나타내는 메타데이터를 포함하고, 상기 오디오 프로그램 라우드니스가 상기 라우드니스 메타데이터의 페이로드에 존재할 때, 상기 라우드니스 메타데이터는 상기 오디오 프로그램 라우드니스를 결정하기 위해 사용된 측정 방법의 지시를 더 포함하는, 오디오 처리 방법.
  4. 제 3 항에 있어서,
    상기 측정 방법은 ITU-R BS.1770에 규정되는, 오디오 처리 방법.
  5. 소프트웨어가 저장된 비일시적인 매체로서, 상기 소프트웨어는:
    인코딩된 오디오 비트스트림을 수신하고, 상기 인코딩된 오디오 비트스트림은 오디오 데이터 및 메타데이터를 포함하고, 상기 메타데이터는 라우드니스 메타데이터의 페이로드를 포함하고;
    상기 인코딩된 오디오 비트스트림으로부터 상기 오디오 데이터 및 상기 라우드니스 메타데이터의 페이로드를 추출하고;
    상기 오디오 데이터를 디코딩하여, 디코딩된 오디오 데이터를 생성하고;
    상기 라우드니스 메타데이터에 응답하여 상기 디코딩된 오디오 데이터에 후-처리를 수행하고,
    상기 라우드니스 메타데이터는 오디오 프로그램 라우드니스가 상기 라우드니스 메타데이터의 페이로드에 존재하는 것을 나타내는 메타데이터를 포함하고, 상기 오디오 프로그램 라우드니스가 상기 라우드니스 메타데이터의 페이로드에 존재할 때, 상기 라우드니스 메타데이터는 상기 오디오 프로그램 라우드니스를 결정하기 위해 사용된 측정 방법의 지시를 더 포함하기 위한, 하나 이상의 장치들을 제어하는 명령들을 포함하는, 소프트웨어가 저장된 비일시적인 매체.
  6. 제 5 항에 있어서,
    상기 측정 방법은 ITU-R BS.1770에 규정되는, 소프트웨어가 저장된 비일시적인 매체.
  7. 삭제
  8. 삭제
KR1020217013811A 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩 KR102488704B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237001019A KR20230011500A (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361754882P 2013-01-21 2013-01-21
US61/754,882 2013-01-21
US201361824010P 2013-05-16 2013-05-16
US61/824,010 2013-05-16
PCT/US2014/011672 WO2014113465A1 (en) 2013-01-21 2014-01-15 Audio encoder and decoder with program loudness and boundary metadata
KR1020207033614A KR102251763B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033614A Division KR102251763B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237001019A Division KR20230011500A (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩

Publications (2)

Publication Number Publication Date
KR20210055800A KR20210055800A (ko) 2021-05-17
KR102488704B1 true KR102488704B1 (ko) 2023-01-17

Family

ID=51210033

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020177016786A KR102183712B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020237001019A KR20230011500A (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020157009559A KR102192755B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
KR1020157009454A KR101637897B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
KR1020217013811A KR102488704B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020207033614A KR102251763B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020167005828A KR102153278B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
KR1020167015999A KR102158002B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020177016786A KR102183712B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020237001019A KR20230011500A (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020157009559A KR102192755B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
KR1020157009454A KR101637897B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020207033614A KR102251763B1 (ko) 2013-01-21 2014-01-15 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
KR1020167005828A KR102153278B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더
KR1020167015999A KR102158002B1 (ko) 2013-01-21 2014-01-15 프로그램 라우드니스 및 경계 메타데이터를 가진 오디오 인코더 및 디코더

Country Status (22)

Country Link
US (6) US9916838B2 (ko)
EP (3) EP3244406B1 (ko)
JP (9) JP6212565B2 (ko)
KR (8) KR102183712B1 (ko)
CN (2) CN107657959B (ko)
AU (1) AU2014207590B2 (ko)
BR (5) BR122016011963B1 (ko)
CA (1) CA2888350C (ko)
DK (1) DK2901449T3 (ko)
ES (4) ES2843744T3 (ko)
HK (3) HK1212091A1 (ko)
HU (1) HUE036119T2 (ko)
IL (9) IL293618A (ko)
MX (6) MX339611B (ko)
MY (2) MY193854A (ko)
PL (1) PL2901449T3 (ko)
RU (3) RU2719690C2 (ko)
SG (2) SG11201502405RA (ko)
TR (1) TR201802631T4 (ko)
TW (9) TWI611396B (ko)
UA (3) UA122050C2 (ko)
WO (1) WO2014113465A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946919B (zh) * 2011-11-22 2016-11-09 杜比实验室特许公司 用于产生音频元数据质量分数的方法和系统
US9570090B2 (en) * 2015-05-26 2017-02-14 Google Inc. Dialog system with automatic reactivation of speech acquiring mode
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
CN109785851B (zh) 2013-09-12 2023-12-01 杜比实验室特许公司 用于各种回放环境的动态范围控制
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
US10063207B2 (en) 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
CN110177297B (zh) 2014-05-28 2021-12-24 弗劳恩霍夫应用研究促进协会 数据处理器及用户控制数据至音频解码器和渲染器的传输
EP3196877A4 (en) * 2014-09-08 2018-02-28 Sony Corporation Coding device and method, decoding device and method, and program
JP6676047B2 (ja) * 2014-10-10 2020-04-08 ドルビー ラボラトリーズ ライセンシング コーポレイション 伝送に関知しない呈示ベースのプログラム・ラウドネス
US9584911B2 (en) * 2015-03-27 2017-02-28 Cirrus Logic, Inc. Multichip dynamic range enhancement (DRE) audio processing methods and apparatuses
FI3311379T3 (fi) 2015-06-17 2023-02-28 Äänenvoimakkuuden ohjaus käyttäjän interaktiivisuuta varten audio-koodausjärjestelmissä
US9837086B2 (en) * 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
WO2017024001A1 (en) 2015-08-05 2017-02-09 Dolby Laboratories Licensing Corporation Low bit rate parametric encoding and transport of haptic-tactile signals
US9590580B1 (en) * 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
US10341770B2 (en) * 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC
US10007713B2 (en) * 2015-10-15 2018-06-26 Disney Enterprises, Inc. Metadata extraction and management
US10594689B1 (en) 2015-12-04 2020-03-17 Digimarc Corporation Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication
US10573324B2 (en) 2016-02-24 2020-02-25 Dolby International Ab Method and system for bit reservoir control in case of varying metadata
US10015612B2 (en) * 2016-05-25 2018-07-03 Dolby Laboratories Licensing Corporation Measurement, verification and correction of time alignment of multiple audio channels and associated metadata
US10210881B2 (en) * 2016-09-16 2019-02-19 Nokia Technologies Oy Protected extended playback mode
CN116631413A (zh) 2017-01-10 2023-08-22 弗劳恩霍夫应用研究促进协会 音频解码器、提供解码的音频信号的方法、和计算机程序
US10354669B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
US10878879B2 (en) * 2017-06-21 2020-12-29 Mediatek Inc. Refresh control method for memory system to perform refresh action on all memory banks of the memory system within refresh window
US10943573B2 (en) * 2018-05-17 2021-03-09 Mediatek Inc. Audio output monitoring for failure detection of warning sound playback
EP3659040A4 (en) 2017-07-28 2020-12-02 Dolby Laboratories Licensing Corporation PROCESS AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER
CN109389987B (zh) 2017-08-10 2022-05-10 华为技术有限公司 音频编解码模式确定方法和相关产品
CN111052752A (zh) 2017-08-28 2020-04-21 杜比实验室特许公司 媒体感知导航元数据
EP3756355A1 (en) 2018-02-22 2020-12-30 Dolby International AB Method and apparatus for processing of auxiliary media streams embedded in a mpeg-h 3d audio stream
US10937434B2 (en) * 2018-05-17 2021-03-02 Mediatek Inc. Audio output monitoring for failure detection of warning sound playback
JP2022505964A (ja) * 2018-10-26 2022-01-14 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 方向性音量マップベースのオーディオ処理
KR20230156156A (ko) 2019-03-14 2023-11-13 가우디오랩 주식회사 라우드니스 레벨을 제어하는 오디오 신호 처리 방법 및 장치
JP7314398B2 (ja) * 2019-08-15 2023-07-25 ドルビー・インターナショナル・アーベー 変更オーディオビットストリームの生成及び処理のための方法及び装置
US20230144545A1 (en) 2019-10-30 2023-05-11 National University Corporation Okayama University Prophylactic and/or therapeutic agent for inflammatory pulmonary disease
US11922532B2 (en) 2020-01-15 2024-03-05 Digimarc Corporation System for mitigating the problem of deepfake media content using watermarking
CN115280791A (zh) * 2020-03-11 2022-11-01 字节跳动有限公司 数字媒体完整性的指示
US11315581B1 (en) 2020-08-17 2022-04-26 Amazon Technologies, Inc. Encoding audio metadata in an audio frame
CN115292545B (zh) * 2022-10-08 2022-12-20 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置、设备以及可读存储介质

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3449715B2 (ja) 1991-01-08 2003-09-22 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 多次元音場のための符号器・復号器
US5632005A (en) 1991-01-08 1997-05-20 Ray Milton Dolby Encoder/decoder for multidimensional sound fields
KR0152037B1 (ko) * 1994-09-27 1998-11-02 김광호 다채널 오디오신호의 전송 비트열구조
US5727119A (en) 1995-03-27 1998-03-10 Dolby Laboratories Licensing Corporation Method and apparatus for efficient implementation of single-sideband filter banks providing accurate measures of spectral magnitude and phase
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio
GB2373975B (en) 2001-03-30 2005-04-13 Sony Uk Ltd Digital audio signal processing
US6807528B1 (en) * 2001-05-08 2004-10-19 Dolby Laboratories Licensing Corporation Adding data to a compressed data frame
US7072477B1 (en) 2002-07-09 2006-07-04 Apple Computer, Inc. Method and apparatus for automatically normalizing a perceived volume level in a digitally encoded file
US7454331B2 (en) * 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
US8301884B2 (en) * 2002-09-16 2012-10-30 Samsung Electronics Co., Ltd. Method of managing metadata
KR100860984B1 (ko) 2002-10-15 2008-09-30 삼성전자주식회사 메타데이터 관리 방법
US8979655B2 (en) * 2002-12-10 2015-03-17 Ol2, Inc. System and method for securely hosting applications
WO2004077406A1 (ja) * 2003-02-28 2004-09-10 Matsushita Electric Industrial Co., Ltd. 再生装置および再生方法
US7508484B2 (en) * 2003-06-18 2009-03-24 Thomson Licensing Apparatus for recording data on motion picture film
US7509255B2 (en) 2003-10-03 2009-03-24 Victor Company Of Japan, Limited Apparatuses for adaptively controlling processing of speech signal and adaptively communicating speech in accordance with conditions of transmitting apparatus side and radio wave and methods thereof
EP1706999A1 (en) 2004-01-08 2006-10-04 Koninklijke Philips Electronics N.V. Marking program boundaries in a personal video recording device
US8131134B2 (en) 2004-04-14 2012-03-06 Microsoft Corporation Digital media universal elementary stream
DE602005023997D1 (de) 2004-06-21 2010-11-18 Mitsubishi Electric Corp Codierungseinrichtung für bewegliche bilder, aufzeichnungseinrichtung für bewegliche bilder und wiedergabeeinrichtung für bewegliche bilder
US7617109B2 (en) 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
KR100991803B1 (ko) * 2004-07-22 2010-11-04 주식회사 넷앤티비 Ｓａｆ 동기화 계층 패킷 구조를 제공하는 ｓａｆ 동기화 계층 패킷 제공 시스템 및 사용자 단말
KR100689443B1 (ko) 2004-08-21 2007-03-08 삼성전자주식회사 방송 데이터를 저장하기 위한 디지털 방송 시스템 및송수신 방법
US7729673B2 (en) 2004-12-30 2010-06-01 Sony Ericsson Mobile Communications Ab Method and apparatus for multichannel signal limiting
KR20070117660A (ko) 2005-03-10 2007-12-12 콸콤 인코포레이티드 컨텐트 적응적 멀티미디어 처리
TWI397903B (zh) 2005-04-13 2013-06-01 Dolby Lab Licensing Corp 編碼音訊之節約音量測量技術
TW200638335A (en) * 2005-04-13 2006-11-01 Dolby Lab Licensing Corp Audio metadata verification
CA2606238C (en) * 2005-04-26 2017-03-14 D-Box Technologies Inc. Method and apparatus for providing a motion signal with a sound signal using an existing sound signal encoding format
US7702279B2 (en) * 2005-12-20 2010-04-20 Apple Inc. Portable media player as a low power remote control and method thereof
JP5254808B2 (ja) * 2006-02-23 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
US20080025530A1 (en) 2006-07-26 2008-01-31 Sony Ericsson Mobile Communications Ab Method and apparatus for normalizing sound playback loudness
US20080080722A1 (en) 2006-09-29 2008-04-03 Carroll Tim J Loudness controller with remote and local control
WO2008136608A1 (en) 2007-05-02 2008-11-13 Pixtree Technologis, Inc. Method of processing media data and receiver, broadcasting system
BRPI0811833B1 (pt) * 2007-07-02 2020-12-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V aparelho e método para armazenamento e leitura de um arquivo tendo um container de dados de mídia e um container de metadados
CN101350604B (zh) 2007-07-19 2012-07-04 鸿富锦精密工业（深圳）有限公司 自动切换音量调节模式的装置及方法
US20090164473A1 (en) 2007-12-19 2009-06-25 Harman International Industries, Incorporated Vehicle infotainment system with virtual personalization settings
US20090164378A1 (en) * 2007-12-21 2009-06-25 Steven Marcus Jason West Music Distribution
JP5142769B2 (ja) * 2008-03-11 2013-02-13 株式会社日立製作所 音声データ検索システム及び音声データの検索方法
US20090253457A1 (en) 2008-04-04 2009-10-08 Apple Inc. Audio signal processing for certification enhancement in a handheld wireless communications device
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
US8315396B2 (en) 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
WO2010012925A1 (fr) * 2008-07-29 2010-02-04 France Telecom Procede de mise a jour d'un codeur par interpolation de filtre
US8218790B2 (en) 2008-08-26 2012-07-10 Apple Inc. Techniques for customizing control of volume level in device playback
JP2010135906A (ja) 2008-12-02 2010-06-17 Sony Corp クリップ防止装置及びクリップ防止方法
JP4519934B2 (ja) * 2008-12-26 2010-08-04 株式会社東芝 音声再生装置
JP5267115B2 (ja) 2008-12-26 2013-08-21 ソニー株式会社 信号処理装置、その処理方法およびプログラム
US8422699B2 (en) 2009-04-17 2013-04-16 Linear Acoustic, Inc. Loudness consistency at program boundaries
CN102549655B (zh) * 2009-08-14 2014-09-24 Dts有限责任公司 自适应成流音频对象的系统
TWI447709B (zh) 2010-02-11 2014-08-01 Dolby Lab Licensing Corp 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
TWI525987B (zh) 2010-03-10 2016-03-11 杜比實驗室特許公司 在單一播放模式中組合響度量測的系統
ES2526761T3 (es) 2010-04-22 2015-01-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para modificar una señal de audio de entrada
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
US20120033819A1 (en) 2010-08-06 2012-02-09 Samsung Electronics Co., Ltd. Signal processing method, encoding apparatus therefor, decoding apparatus therefor, and information storage medium
MX2013001650A (es) * 2010-08-12 2013-03-20 Fraunhofer Ges Forschung Re-muestreo de señales de salida de codificadores de audio con base qmf (filtro espejo en cuadratura).
JP5903758B2 (ja) 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
TWI665659B (zh) * 2010-12-03 2019-07-11 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
US8989884B2 (en) 2011-01-11 2015-03-24 Apple Inc. Automatic audio configuration based on an audio output device
EP2695161B1 (en) 2011-04-08 2014-12-17 Dolby Laboratories Licensing Corporation Automatic configuration of metadata for use in mixing audio programs from two encoded bitstreams
JP2012235310A (ja) 2011-04-28 2012-11-29 Sony Corp 信号処理装置および方法、プログラム、並びにデータ記録媒体
US9135929B2 (en) * 2011-04-28 2015-09-15 Dolby International Ab Efficient content classification and loudness estimation
US20120287999A1 (en) 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
US8965774B2 (en) 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
JP2013102411A (ja) 2011-10-14 2013-05-23 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
EP2791938B8 (en) 2011-12-15 2016-05-04 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer programm for avoiding clipping artefacts
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
EP2757558A1 (en) 2013-01-18 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Time domain level adjustment for audio signal decoding or encoding
RU2639663C2 (ru) 2013-01-28 2017-12-21 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Способ и устройство для нормализованного проигрывания аудио медиаданных с вложенными метаданными громкости и без них на новых медиаустройствах
US9607624B2 (en) 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
US9559651B2 (en) 2013-03-29 2017-01-31 Apple Inc. Metadata for loudness and dynamic range control
JP2015050685A (ja) 2013-09-03 2015-03-16 ソニー株式会社 オーディオ信号処理装置および方法、並びにプログラム
JP6531649B2 (ja) 2013-09-19 2019-06-19 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
US9300268B2 (en) 2013-10-18 2016-03-29 Apple Inc. Content aware audio ducking
EP3951778A1 (en) 2013-10-22 2022-02-09 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Concept for combined dynamic range compression and guided clipping prevention for audio devices
US9240763B2 (en) 2013-11-25 2016-01-19 Apple Inc. Loudness normalization based on user feedback
US9276544B2 (en) 2013-12-10 2016-03-01 Apple Inc. Dynamic range control gain encoding
JP6593173B2 (ja) 2013-12-27 2019-10-23 ソニー株式会社 復号化装置および方法、並びにプログラム
US9608588B2 (en) 2014-01-22 2017-03-28 Apple Inc. Dynamic range control with large look-ahead
US9654076B2 (en) 2014-03-25 2017-05-16 Apple Inc. Metadata for ducking control
CN111326165B (zh) 2014-03-25 2023-12-12 弗朗霍夫应用科学研究促进协会 音频编码器装置、音频解码器装置、及其操作方法
CN110177297B (zh) 2014-05-28 2021-12-24 弗劳恩霍夫应用研究促进协会 数据处理器及用户控制数据至音频解码器和渲染器的传输
JPWO2015182491A1 (ja) 2014-05-30 2017-04-20 ソニー株式会社 情報処理装置および情報処理方法
CN106471574B (zh) 2014-06-30 2021-10-12 索尼公司 信息处理装置和信息处理方法
TWI631835B (zh) 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
US20160315722A1 (en) 2015-04-22 2016-10-27 Apple Inc. Audio stem delivery and control
US10109288B2 (en) 2015-05-27 2018-10-23 Apple Inc. Dynamic range and peak control in audio using nonlinear filters
BR112017025552B1 (pt) 2015-05-29 2023-01-24 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V Dispositivo e método para controle de volume e sintonizador de rádio
FI3311379T3 (fi) 2015-06-17 2023-02-28 Äänenvoimakkuuden ohjaus käyttäjän interaktiivisuuta varten audio-koodausjärjestelmissä
US9934790B2 (en) 2015-07-31 2018-04-03 Apple Inc. Encoded audio metadata-based equalization
US9837086B2 (en) 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
US10341770B2 (en) 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC

Also Published As

Publication number Publication date
CN107657959A (zh) 2018-02-02
BR122020018591B1 (pt) 2022-06-14
KR20160075835A (ko) 2016-06-29
KR102153278B1 (ko) 2020-09-09
SG10201604643RA (en) 2016-07-28
IL256016A (en) 2018-01-31
KR102158002B1 (ko) 2020-09-21
AU2014207590B2 (en) 2015-08-13
CN107657959B (zh) 2021-06-11
DK2901449T3 (en) 2018-03-05
KR102192755B1 (ko) 2020-12-18
UA112249C2 (uk) 2016-08-10
US10672413B2 (en) 2020-06-02
BR122015008454A2 (pt) 2019-08-20
ES2667871T3 (es) 2018-05-14
TWI811934B (zh) 2023-08-11
EP2901449A4 (en) 2016-06-15
IL256015A (en) 2018-01-31
JP2016197250A (ja) 2016-11-24
EP2901449B1 (en) 2018-01-03
EP3244406A1 (en) 2017-11-15
IL237561A (en) 2017-12-31
AU2014207590A1 (en) 2015-05-07
SG11201502405RA (en) 2015-04-29
TW201442020A (zh) 2014-11-01
TWI590231B (zh) 2017-07-01
IL293618A (en) 2022-08-01
IL259412A (en) 2018-07-31
MY183382A (en) 2021-02-18
KR101637897B1 (ko) 2016-07-08
IL269138B (en) 2020-06-30
CA2888350A1 (en) 2014-07-24
CA2888350C (en) 2016-04-19
JP2023134751A (ja) 2023-09-27
IL269138A (en) 2019-11-28
MX2015004468A (es) 2015-07-14
TW202111689A (zh) 2021-03-16
JP6442443B2 (ja) 2018-12-19
US9911426B2 (en) 2018-03-06
TWI524329B (zh) 2016-03-01
RU2016119385A3 (ko) 2019-11-27
JP2017173836A (ja) 2017-09-28
HK1248913A1 (zh) 2018-10-19
JP6472481B2 (ja) 2019-02-20
PL2901449T3 (pl) 2018-05-30
KR20200134343A (ko) 2020-12-01
JP6641058B2 (ja) 2020-02-05
IL280583A (en) 2021-03-25
HK1245490A1 (zh) 2018-08-24
ES2843744T3 (es) 2021-07-20
BR112015007723B1 (pt) 2022-02-15
RU2589362C1 (ru) 2016-07-10
TR201802631T4 (tr) 2018-03-21
TW202242849A (zh) 2022-11-01
CN104737228B (zh) 2017-12-29
JP6371340B2 (ja) 2018-08-08
RU2016119393A (ru) 2018-11-05
UA122050C2 (uk) 2020-09-10
IL287218A (en) 2021-12-01
ES2749089T3 (es) 2020-03-19
BR112015007723A2 (pt) 2017-07-04
US20200357422A1 (en) 2020-11-12
WO2014113465A1 (en) 2014-07-24
KR20150047633A (ko) 2015-05-04
TW201610984A (zh) 2016-03-16
JP2018022180A (ja) 2018-02-08
TW201824253A (zh) 2018-07-01
MX339611B (es) 2016-05-31
IL256016B (en) 2018-06-28
JP2021182160A (ja) 2021-11-25
US20180151188A1 (en) 2018-05-31
TWI754286B (zh) 2022-02-01
MY193854A (en) 2022-10-28
IL237561A0 (en) 2015-04-30
BR122015008454B1 (pt) 2022-02-15
RU2016119393A3 (ko) 2019-12-03
MX356196B (es) 2018-05-18
ES2660487T3 (es) 2018-03-22
TW201727621A (zh) 2017-08-01
TWI636454B (zh) 2018-09-21
RU2713609C2 (ru) 2020-02-05
JP7371067B2 (ja) 2023-10-30
IL280583B (en) 2021-12-01
KR20210055800A (ko) 2021-05-17
IL259412B (en) 2019-10-31
KR20160032252A (ko) 2016-03-23
IL274397A (en) 2020-06-30
JP2015531498A (ja) 2015-11-02
US9916838B2 (en) 2018-03-13
US20170206912A1 (en) 2017-07-20
JP2019197222A (ja) 2019-11-14
TW201907390A (zh) 2019-02-16
JP2016191941A (ja) 2016-11-10
TWI666628B (zh) 2019-07-21
JP6561097B2 (ja) 2019-08-14
MX2021011251A (es) 2022-10-28
BR122016011963A2 (pt) 2020-07-14
UA122560C2 (uk) 2020-12-10
IL287218B (en) 2022-07-01
IL274397B (en) 2021-02-28
KR102183712B1 (ko) 2020-11-27
US20170221496A1 (en) 2017-08-03
BR122020020608B1 (pt) 2022-05-10
MX2022013535A (es) 2022-11-16
JP6929345B2 (ja) 2021-09-01
US20150325243A1 (en) 2015-11-12
EP3822970A1 (en) 2021-05-19
MX2018006149A (es) 2021-09-17
TWI696171B (zh) 2020-06-11
BR122016011963B1 (pt) 2022-02-08
EP3244406B1 (en) 2020-12-09
RU2719690C2 (ru) 2020-04-21
MX343571B (es) 2016-11-09
KR20150099709A (ko) 2015-09-01
TWI611395B (zh) 2018-01-11
KR102251763B1 (ko) 2021-05-14
IL256015B (en) 2019-02-28
RU2016119385A (ru) 2018-11-07
EP2901449A1 (en) 2015-08-05
US20180108367A1 (en) 2018-04-19
HK1212091A1 (en) 2016-06-03
TW201730875A (zh) 2017-09-01
TW201944394A (zh) 2019-11-16
HUE036119T2 (hu) 2018-06-28
JP6212565B2 (ja) 2017-10-11
KR20230011500A (ko) 2023-01-20
KR20170073737A (ko) 2017-06-28
US9905237B2 (en) 2018-02-27
RU2020100805A (ru) 2021-07-14
CN104737228A (zh) 2015-06-24
JP2020074006A (ja) 2020-05-14
TWI611396B (zh) 2018-01-11

Similar Documents

Publication Publication Date Title
KR102488704B1 (ko) 예약된 데이터 공간에 위치된 메타데이터 컨테이너를 갖는 인코딩된 오디오 비트스트림의 디코딩
EP2954515B1 (en) Audio encoder and decoder with program information or substream structure metadata
EP3082128B1 (en) Audio decoder with program loudness and boundary metadata

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant