KR101981437B1

KR101981437B1 - 인코딩된 오디오 메타데이터 기반 라우드니스 등화 및 drc 동안의 동적 등화

Info

Publication number: KR101981437B1
Application number: KR1020187005552A
Authority: KR
Inventors: 프랭크 바움가르테
Original assignee: 애플 인크.
Priority date: 2015-09-30
Filing date: 2016-09-26
Publication date: 2019-05-22
Also published as: JP6595099B2; CN114070217A; US10785569B2; KR20180034565A; JP2020008878A; US20190327558A1; WO2017058731A1; CN107925391B; KR20190055272A; CN107925391A; US10341770B2; JP6982604B2; EP3329592B1; US20170094409A1; JP2018533046A; EP3329592A1

Abstract

오디오 콘텐츠에 대한 순시적인 라우드니스 값들을 포함하는 메타데이터를 사용하는, 재생 시스템의 수신된 오디오 콘텐츠의 동적 라우드니스 등화. 재생 레벨은 재생 시스템의 사용자 볼륨 설정으로부터 유도되며, 오디오 콘텐츠에 할당된 믹싱 레벨과 비교된다. 필터링된 오디오 콘텐츠로 스피커를 구동하기 전에, 오디오 콘텐츠를 필터링하는 등화 필터를 정의하는 파라미터들이 순시적인 라우드니스 값들 및 재생 레벨과 할당 믹싱 레벨의 비교에 기초하여 계산된다. 다른 실시예들이 또한 기술되고 청구된다.

Description

인코딩된 오디오 메타데이터 기반 라우드니스 등화 및 DRC 동안의 동적 등화

본 출원은 2015년 9월 30일 출원된 미국 가특허 출원 제62/235,293호의 우선 출원일의 이익을 주장한다.

기술분야

본 발명의 일 실시예는 청취자의 경험을 향상시키기 위한, 디지털 오디오 콘텐츠의 재생 측에서의 메타데이터와 연관된 디지털 오디오 신호 프로세싱에 관한 것이다. 다른 실시예들이 또한 기술된다.

영화의 음악이나 사운드 트랙과 같은 오디오 콘텐츠는 보통 소정 재생 레벨(예컨대, 재생 도중에, 오디오 신호의 초기 또는 디코딩된 형식과 그것이 스피커에 의해 사운드로 변환된 때 사이에서, 오디오 콘텐츠의 생성자가 의도한 것과 동일한 음압(sound pressure) 레벨을 청취자의 위치에서 얻기 위해 오디오 신호에 적용되어야 하는 "전체 이득(overall gain)")을 가정하여 생성된다. 상이한 재생 레벨이 사용되면, 콘텐츠는 소리가 커지거나 약해질(soft) 뿐만 아니라 상이한 톤 특성을 갖는 것처럼 나타날 수 있다. 재생 레벨의 함수로서, 저주파수에서의 라우드니스 인지의 비선형적 증가는 심리음향(psychoacoutics)으로 인한 효과로 알려져 있다. 이 효과는 균일한 인지 라우드니스 컨투어(loudness contour)들에 의해, 또한 재생 레벨의 함수인 인지 라우드니스 및 신호 특성들의 측정치에 의해 정량화될 수 있다. 일반적으로, 생성자가 의도한 것보다 더 낮은 레벨에서 콘텐츠가 재생되는 경우에, 다른 주파수와 비교하여 저주파수 성분의 부분 손실이 보고된다. 과거에는, 재생 볼륨 설정에 따라 저주파수 범위를 증폭하는 적응형 필터에 의해 라우드니스 등화(loudness equalization)가 수행되었다. 이전의 많은 오디오 수신기에는 그런 방식으로 작동하는 "라우드니스" 버튼이 있다.

메타데이터 기반 라우드니스 등화(EQ)를 위한 여러 가지 스킴들이 아래에 기술되어 있다. 일부는 다음과 같은 장점들 중 하나 이상, 예컨대, 감소된 재생 측 복잡도, 더 적은 지연 및 더 높은 품질을 가질 수 있다. 품질 향상들 중 일부는 인코딩 측에서의 오프라인 프로세싱에 기인할 수 있는데, 이들은 실시간 프로세싱의 한계 및 재생 디바이스의 낮은 레이턴시 요건에 제약을 받지 않는다. 본 명세서에 기술된 메타데이터 기반 접근법은 기존 MPEG-D DRC 표준, ISO/IEC, "Information technology ― MPEG audio technologies ― Part 4: Dynamic range control," ISO/IEC 23003-4:2015에도 원활하게 통합될 수 있고 동적 범위 제어와 함께 작동할 수 있다.

DRC 프로세스 내에서 동적 EQ를 제공하는 접근법 또한 기술된다. 이는 더 적은 대역 수 또는 단지 단일 대역 DRC를 이용하면서도 멀티 밴드 DRC와 유사한 EQ를 달성할 수 있다. 동적 EQ는 메타데이터에 의해 제어될 수 있으며 대중적인 MPEG-D DRC 표준에 통합될 수 있다.

위의 발명의 내용은 본 발명의 모든 양태들의 전수적인 목록을 포함하지는 않는다. 본 발명이 위에 요약된 다양한 양태들의 모든 적합한 조합들로부터 실시될 수 있는 모든 시스템들 및 방법들 뿐만 아니라, 아래의 발명을 실시하기 위한 구체적인 내용에 개시된 것들, 특히 출원과 함께 제출된 청구범위에서 지적된 것들을 포함한다는 것이 고려된다. 그러한 조합들은 위의 발명의 내용에서 구체적으로 언급되지 않은 특정한 이점들을 갖는다.

본 발명의 실시예들은 첨부 도면의 도면들에서 제한으로서가 아니라 예로서 도시되며, 첨부 도면에서 유사한 도면 부호는 유사한 요소들을 표시한다. 본 개시내용에서 본 발명의 "일" 또는 "하나의" 실시예에 대한 참조들은 반드시 동일한 실시예에 대한 것은 아니며, 이들은 적어도 하나를 의미함을 유의해야 한다. 또한, 간결함 및 도면들의 총 수를 감소시키기 위해, 주어진 도면은 본 발명의 하나 초과의 실시예의 특징부들을 도시하는데 사용될 수 있으며, 도면의 모든 요소들이 소정의 실시예에 대해 요구되지는 않을 수 있다.
도 1은 오디오 콘텐츠의 수신된 메타데이터로부터 추출된 순시적인(instantaneous) 라우드니스 값들에 기초한 디코딩 측 라우드니스 등화기의 블록 다이어그램이다.
도 2는 순시적인 라우드니스 값들을 포함하는 메타데이터를 생성하기 위한 생성 측 또는 인코딩 측 시스템의 블록 다이어그램이다.
도 3은 인코딩 측에서 DRC 이득 값들을 계산하기 위해 사용되고 디코딩 측에서 그들의 역 형태들로 사용될 수 있는 일부 예시적인 DRC 특성들을 도시한다.
도 4는 어떻게 역 DRC 특성이 라우드니스 등화 필터의 적응을 위해 디코딩 측에서 순시적인 라우드니스 값들을 생성하는 데 사용되는지를 예시하는 다이어그램이다.
도 5는 디코딩 측에서 동적 범위 압축 및 라우드니스 등화가 오디오 콘텐츠에 적용되는 것을 예시한다.
도 6은 디코딩 측에서 동적 범위 압축 및 동적 등화가 오디오 콘텐츠에 적용되는 것을 도시한다.
도 7은 디코딩 측에서의 라우드니스 등화를 위한 다른 시스템의 블록 다이어그램이다.

본 발명의 여러 실시예들이 이제 첨부 도면을 참조하여 설명된다. 실시예들에 기술된 부분들의 형상들, 상대 위치들 및 다른 양태들이 명확히 정의되지 않을 때마다, 본 발명의 범주는 단지 예시의 목적을 위해 의도되는 도시된 부분들로만 한정되지는 않는다. 또한, 많은 상세 사항들이 기재되지만, 본 발명의 일부 실시예들은 이들 상세 사항 없이 실시될 수 있다는 것이 이해된다. 다른 예시들에서, 본 설명의 이해를 모호하게 하지 않기 위해, 잘 알려진 회로들, 구조들, 및 기법들은 상세히 나타내지 않는다.

위의 배경기술 섹션에서 소개된 종래의 "라우드니스" 버튼 메커니즘은 청취자에 의해 보고된 저주파수 범위 손실량이 그 주파수 범위의 청취자에서의 음향 레벨에 의존하고 이는 오디오 콘텐츠 자체에 의존한다는 중요한 문제를 무시한다. 본 발명의 일 실시예는 (스피커를 구동하기 전에) 오디오 신호가 통과되는 시변 필터를 제어하기 위해, 오디오 콘텐츠의 스펙트럼 대역의 시변 레벨을 고려하는 라우드니스 등화 스킴이다. 시변 필터(본 명세서에서 등화 필터라고도 지칭되는 스펙트럼 정형 필터)는 비선형 라우드니스 인지에 기인하여 재생 레벨 및 주파수 대역의 함수로서 나타날 스펙트럼 왜곡을 보상하는 것을 목표로 한다.

재생 중인 오디오 콘텐츠와 연관하여 메타데이터에 기초하여 동작하는 라우드니스 등화기의 개념을 도시하는 블록 다이어그램이 도 1에 주어진다. 이 다이어그램(또한 본 명세서의 다른 도면들의 모든 다이어그램들)은 디지털 신호 프로세싱(DSP) 동작 또는 DSP 논리 하드웨어 유닛(예컨대, 홈 오디오 시스템, 가전 제품 스피커 디바이스 또는 차량 내 오디오 시스템의 로컬 저장소 또는 메모리와 같은 기계 판독가능 매체에 저장된 명령어들을 실행하는 프로세서)를 지칭하며, 오디오 콘텐츠를 수신하고 있는 디코딩 및 재생 시스템 - 예컨대, 데스크탑 컴퓨터, 홈 오디오 엔터테인먼트 시스템, 셋톱 박스, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰 또는 결과적인 디지털 오디오 출력 신호가 아날로그 형태로 변환되고 이어서, 스피커(예컨대, 라우드스피커, 이어폰)를 구동하고 있는 오디오 전력 증폭기에 공급되는 기타 전자 오디오 재생 시스템 - 으로 지칭되기도 한다. 예컨대, 인터넷 스트리밍 또는 인터넷 다운로드를 통해 초기에 수신된 오디오 콘텐츠는 그것이 본 명세서의 도면들에 설명된 프로세싱에 다다를 때면, 그것의 메타데이터와 함께, 재생 시스템에서 언패킹(unpack)되고 디코딩된 비트 스트림으로 인코딩되고 멀티플렉싱되었을 수 있다.

메타데이터(2)는 오디오 콘텐츠의 믹싱 레벨 및 옵션적으로 프로그램 라우드니스를 예컨대, 완전한 콘텐츠(본 명세서에서는 오디오 프로그램 또는 오디오 자산으로도 지칭됨)에 대한 각각의 단일 값으로서 포함하는 정적 메타데이터를 포함한다. 믹싱 레벨은 생성 중에 (또는 인코딩 측에서) 다음의 확립된 표준들을 따라 측정될 수 있다. 프로그램 라우드니스 값은 ITU, "Algorithms to measure audio programme loudness and true-peak audio level," ITU-R BS.1770-3에서 정의된 것과 같은 라우드니스 모델을 사용하여 측정될 수 있다. 또한 순시적인 라우드니스 값들(예컨대, 음향 레벨들, 음압 레벨들, SPL들)은 메타데이터 스트림을 통해 동적 메타데이터로서 전달되며 - 다수의 순시적인 라우드니스 값들은 시간의 경과에 따라 (오디오 콘텐츠 신호의 프레임들과 동기화되어) 프레임별 또는 블록 단위로(on a per frame or block basis) 순차적으로 수신되어 청취자의 예상 위치에서의 오디오 콘텐츠의 음압 레벨(SPL)을 기술함 -; 환언하면, 순시적인 라우드니스는 오디오 콘텐츠를 정의하는 그러한 프레임들 또는 블록들의 시간 시퀀스에 따라 변경된다. 메타데이터는 오디오 콘텐츠(도면들에 "오디오 입력"으로 표시됨)와 함께 예컨대, 디코딩 및 재생 시스템으로 도시되어 있는 재생 또는 디코딩 측으로, 인터넷 다운로드를 통해 또는 인터넷 스트리밍을 통해 전달될 수 있다. 디코딩 또는 재생 측에서, 순시적인 라우드니스 값들이 메타데이터에 있기 때문에 부가적인 지연이 발생하지 않고, 따라서 재생 측에서의 라우드니스 추정 프로세스가 필요하지 않다. 개선된 평활화, 감소된 디코더 복잡도 및 부가적 지연의 부재는 모두 (메타데이터를 사용하지 않고 재생 측에서만 독점적으로 실행되는) 최신의 라우드니스 등화를 초월하는 본 제안 발명의 이점들이다.

재생 측에서, (재생 동안 라우드스피커 또는 이어폰으로부터의 사운드 볼륨을 수동으로 제어하기 위한) 사용자의 볼륨 설정이 볼륨 제어 블록(4)으로 입력된다. 이어서, 볼륨 제어 블록(4)은 디지털 오디오 출력 신호(도면의 "오디오 출력")에 적용될 적절한 이득 값(예컨대, 전대역 스케일링 인자(full band scaling factor))을 생성(예컨대, 계산(어쩌면 룩업 테이블을 이용하는 것을 포함함))한다. 이는 또한 사용자 볼륨 설정에 기초하고 또한 재생 시스템의 레벨 전달 특성(감도)에 관한 저장되거나 미리결정된 지식에 기초하여 재생 레벨을 유도한다. 후자의 경우는 어떻게 주어진 오디오 출력 신호가 청취자의 귀에 결과적 음압 레벨을 갖는 사운드로 렌더링되는지를 기술한다(이 감도 역시 사용자 볼륨 설정과 같은 인자들에 따라 달라질 수 있다는 것을 감안함).

필터 적응 블록(7)은 메타데이터(2) 및 정적 믹싱 레벨(메타데이터에 표시됨)과 재생 레벨 사이에서 계산된 차이를 취하고(예컨대, 2개의 dB 값들 사이의 감산으로서, 믹싱 레벨과 재생 레벨을 비교하는 것으로도 지칭됨), 그 차이에 기초하여 등화(EQ) 필터(5)를 제어(예컨대, 정의)하는 필터 파라미터들을 생성한다. 필터 적응 블록(7)은 먼저 재생 레벨이 믹싱 레벨보다 더 높거나 더 낮은지를 결정할 수 있다. (만약 믹싱 레벨이 메타데이터에 의해 제공되지 않는다면, 평균 믹싱 레벨이 가정될 수 있다(예컨대, 사운드 프로그램이나 오디오 레코딩 생성 환경에서 일반적으로 사용되는 레벨). 재생 레벨이 더 낮다면, (메타데이터(2)에 의해) 오디오 콘텐츠에 대해 보고된 순시적인 라우드니스에 따라, 저주파수 범위 및 옵션적으로 고주파수 범위가 어느 정도 부스트될 필요가 있다. 유사하게, 재생 레벨이 더 높다면 이 스펙트럼 범위들은 어느 정도 감쇠될 필요가 있다. EQ 필터(5)는 그와 같이 하도록 구성되며, (예컨대, 그와 연관된 순시적인 라우드니스 값을 메타데이터에 갖는 디지털 오디오 콘텐츠(오디오 입력)의 매 프레임에 대해, 또는 EQ 필터(5)가 오디오 콘텐츠의 모든 프레임에 대해 업데이트될 필요가 없도록 일부 프레임들을 스킵함으로써) 프레임별 단위로 업데이트될 수 있다.

재생 레벨이 믹싱 레벨보다 더 낮은 경우, EQ 필터(5)에 의해 부여된 부스트량은 더 크고, 믹싱 레벨에 비해 재생 레벨이 더 낮을수록, 순시적인 라우드니스는 더 낮아짐에 유의한다. 이것은 사람들의 레벨 대비 라우드니스 인지가 낮은 음압 레벨들에서 비선형적으로 증가하는 것에 기인한다. 또한, 재생 레벨이 믹싱 레벨과 충분히 상이하지 않은 것으로 밝혀지는 하나의 실시예에서, EQ 필터(5)에 의한 스펙트럼 정형은 필요하지 않다(예컨대, 그 응답은 0 dB로 평탄해야 함).

일반적으로, 오디오 스펙트럼을 여러 대역으로 나누고, 그 대역 각각의 라우드니스를 개별적으로 추정하는 것이 유리하다. 특히 본 명세서에서 다루고 있는 라우드니스 등화의 경우, 저주파수에서의 대역과 고주파수에서의 다른 (비-중첩) 대역이 인코딩 측에서의 라우드니스 측정을 위해 정의될 수 있다(이는 메타데이터에서 순시적인 라우드니스 값의 쌍들의 시퀀스로 나타남). 이는 그들 주파수 범위에서의 사람의 청각 인지를 모델링하기 위한 시도로서 수행된다. 대안적으로, 순시적인 라우드니스 값들은 단지 단일의 주파수 대역, 예컨대, 200 ㎐ 미만의 저주파수에 대해서만 제공될 수 있다. 결국, 이 라우드니스 값들은 위에서 개념적으로 기술한 방식으로 EQ 필터(5)를 제어하는 데 적합하다.

하나의 실시예에서, EQ 필터(5)를 제어하는데 필요한 정보는 (I) 믹싱(생성) 시 및 (II) 재생 시 오디오 콘텐츠에 대한 소정 오디오 대역(스펙트럼 범위)의 순시적인 SPL을 포함한다. 다음에서 (I)는

로 지칭되고, (II)는

로 지칭된다. 이러한 입력을 사용하면, 특정 주파수 대역에서 필요에 따라 부스트 이득 또는 커트 이득을 계산하기 위해 종래의 접근법들이 사용될 수 있다.

오디오 콘텐츠가 주어지면, 생성 측 또는 인코딩 측에서, 순시적인 라우드니스 레벨은 오디오 대역에서 추정될 수 있지만, 재생 중의 절대 레벨은 재생 시스템의 감도를 아는 경우에만 결정될 수 있다. 재생 시스템의 경우, 감도

는 음향 레벨[음압 레벨]

과 그 레벨을 이끌어낸 콘텐츠의 전기 오디오 신호 레벨[dBFS] 사이에서 측정된 차이를 기술한다. 생성 시스템의 경우, 감도는 콘텐츠의 전기적 오디오 신호 레벨

과 결과적으로 측정된 SPL, 예컨대 SPL의 믹싱 레벨 간의 차이로서 정의될 수 있다.

믹싱 시스템의 감도는 메타데이터에 정적 값으로서 포함될 수 있다. 대안적으로, 이것은 재생 시스템에서 믹싱 레벨(예컨대, 믹싱 스튜디오에서 측정된 평균 SPL)과 평균 라우드니스 레벨(두 값 모두 메타데이터로서 전달될 수 있음) 사이의 차이를 계산함으로써 추정될 수 있다. 평균 라우드니스 레벨은 예를 들어 ITU-R BS.1770-3에 기술된 방법에 의해 계산될 수 있다. 이 추정을 프로그램 라우드니스라고 칭한다 - 도 1 참조. 일반적으로, 생성/믹싱 시스템의 감도는 일정하다. 그러나, 재생 시스템의 경우, 사용자가 예를 들어 디바이스의 볼륨 노브를 돌림으로써 볼륨 조정을 수행 할 때 이것이 가변될 수 있다.

믹싱 스튜디오에서 순시적인 라우드니스 값[SPL]을 계산하거나 측정할 수 없는 경우, 추정된 순시적인 라우드니스 레벨이 [dBFS]의 절대 콘텐츠 레벨인 L_{range, content}(t)에 기초하여 재생 측에서 계산될 수 있으며, (t)는 이것이 콘텐츠(오디오 입력)의 레벨 변동에 기인하여 시간이 지남에 따라 변함을 표시한다. 이 추정치를 이용하여, 스펙트럼 범위의 SPL이 믹싱 측과 재생 측에 대해 계산될 수 있다:

및

대안적으로, 생성 측과 재생 측 사이의 평균 레벨 차이

은 평균 믹싱 레벨

및 재생 레벨

에 기초하여 직접 계산될 수 있다:

결과에 기초하여, 재생 측에서의 순시적인 SPL은 다음과 같다:

특정 스펙트럼 범위의 사람에게 인지된 라우드니스는 저주파수 범위에서 더 낮은 음압 레벨(SPL)에서 비선형적으로 감소된다. 믹싱 시의 저주파수 및 중-범위에 대한 실험실 설정에서, 그리고 재생 시나리오에서 측정될 수 있는 종래의 인지 라우드니스 곡선들이 있다.

다양한 테스트 신호의 주파수 및 레벨 의존적 라우드니스의 심리음향학적 측정에 관한 다양한 발행물에 기초하여, 종래의 기술들이 그러한 부스트 이득의 양을 계산하는데 사용될 수 있다. 예컨대, T. Holman and F Kampmann, "Loudness Compensation: Use and Abuse", Journal of the Audio Engineering Society, July/August 1978, Vol. 26, No. 2/8을 참조한다. 데이터의 일반적인 표현들은 레벨 대비 라우드니스 증가를 보여주는 균일한 라우드니스 컨투어 또는 그래프 형태이다. 그러한 심리음향학의 데이터를 이용하여 부스트 이득의 양은 순시적인 라우드니스 값들의 함수로서, 그리고 전술한 바와 같은 재생 및 믹싱 레벨들에 기초하여 (필터 적응 블록(7)을 프로그래밍함으로써) 용이하게 계산될 수 있다. 부스트 이득 값 및 주파수 부스트가 적용되어야 하는 대역에 기초하여, EQ 필터(5)의 일부인 디지털 필터 요소의 파라미터들이 유도될 수 있고, 관심 주파수 범위에서 적절한 부스트를 생성할 것이다.

예시적인 EQ 필터 요소들

다음은 라우드니스 등화를 위해 원하는 주파수 응답을 근사화할 수 있는 저주파수 및 고주파수 범위에 대한 예시적인 커트 및 부스트 필터 요소들을 도시한다. 이 예에서, 도 1의 EQ 필터(5)의 일부로서, 여러 개의 상이한 필터 요소들이 캐스케이드를 형성하도록 연결되어 있으며, 각각의 요소는 커트 또는 부스트 주파수 범위를 가지되, 나머지 오디오 스펙트럼이 변경되지 않게(0 dB 게인 입력) 유지할 수 있다. 이들은 저주파수 정형 필터 및 고주파수 정형 필터의 예로서, 저주파수 및 고주파수 정형 필터들은 EQ 필터(5)의 일부로서 캐스케이드된다.

(EQ 필터(5)의 일부인) 각각의 저주파수 정형 필터는 실수 계수들을 갖는 다음의 형태를 갖는 일차 IIR 필터일 수 있다:

저주파수 커트 필터는 원하는 코너 주파수에 의존하는 고정 계수 a₁을 가질 수 있다. 필터 파라미터 b₁은 위에 정의된 부스트 이득

또는

에 기초하여 다음과 같이 동적으로 계산될 수 있다:

저주파수 부스트 필터는 코너 주파수에 의존하는 고정 계수 b₁을 가질 수 있다. 필터 파라미터 a₁은 선형 이득

에 기초하여 동적으로 계산될 수 있다:

각각의 고주파수 정형 필터는 실수 계수들을 갖는 다음의 형태를 갖는 이차 IIR 필터일 수 있다:

필터의 코너 주파수는 오디오 샘플 속도 및 정규화된 코너 주파수에 의존할 수 있다.

각각의 고주파수 커트 필터는 b₁을 제외하고 고정 계수들을 가질 수 있다. 고정 필터 계수들은 코너 주파수 인덱스 및 극점/영점 반경(pole/zero radius) 파라미터에 따라 달라진다:

필터 파라미터 b₁은 부스트 이득

또는

에 기초하여 동적으로 계산될 수 있다:

A

고주파수 부스트 필터는 a 계수들이 커트 필터에 대한 b 계수들과 동일한 방식으로 계산되고, b 계수들이 커트 필터에 대한 a 계수들과 동일한 방식으로 계산된다는 점을 제외하고는 동일한 계수들을 가질 수 있다.

필터 파라미터 a₁은 부스트 이득

에 기초하여 동적으로 계산될 수 있다:

주어진 오디오 프로그램에 대한 순시적인 라우드니스(예컨대, SPL) 값들을 포함하는 메타데이터를 생성하기 위한 예시적인 생성/인코딩 측 시스템이 도 2에 도시되어 있다. 인코딩 측에서 이루어진 순시적인 라우드니스 또는 SPL 측정의 정확성을 향상시키기 위해, 재생 측에서의 EQ 필터(5)의 보다 양호한 다운스트림 제어를 위해, 오디오 신호는 오디오 신호가 라우드니스 측정 모듈(14)에 입력되기 전에, 관심 스펙트럼 범위(EQ 필터(5)에 의해 수정될 스펙트럼 범위)를 벗어나는 모든 성분들을 제거하는 대역 통과 필터(13)에 의해 먼저 프로세싱될 수 있다. 이러한 방식으로, 스펙트럼 범위 내에서 보다 양호한 인지 품질의 라우드니스 등화를 얻기 위해, 순시적인 라우드니스의 보다 정확한 추정이 달성될 수 있다. 순시적인 라우드니스는, 예를 들어, 대역 통과 필터(13)의 출력에서 단기 에너지를 계산하는 라우드니스 측정 모듈(14)에 의해, 그리고 이어서 순시적인 라우드니스 값의 빠른 변동을 기피하도록, 계산된 단기 에너지 시퀀스를 평활화하는 것(평활화 블록(16))에 의해 유도될 수 있다. (라이브 스트리밍과 비교하여) 오디오 콘텐츠의 오프라인 프로세싱의 경우, 평활화를 개선하고 (순시적인 라우드니스 값들에 대한 응답으로) EQ 필터(5)가 너무 빨리 또는 정확하지 못한 시간에 적용되는 경우에 달리 발생할 수 있는 아티팩트들을 기피하기 위해 평활화의 룩-어헤드(look-ahead)가 증가될 수 있다.

본 발명의 다른 실시예에 따라, (디코더 측/재생 시스템에서 라우드니스 EQ를 달성하기 위해) 다음의 접근법을 사용함으로써, 순시적인 라우드니스 값들(생성 측 또는 인코딩 측에서 계산됨)의 시퀀스를 메타데이터에 포함시켜야 할 필요성이 제거된다. ISO/IEC, "Information technology ― MPEG audio technologies ― Part 4: Dynamic range control," ISO/IEC 23003-4:2015는 라우드니스 및 동적 범위 제어(DRC)에 대한 유연한 스킴을 정의한다. 이는 메타데이터 내의 이득 시퀀스들을 사용하여 DRC 이득 값들을 디코더 측에 전달하고, 디코딩된 오디오 신호에 DRC 이득 값들을 적용함으로써 디코더 측에 압축 효과를 적용한다. 다시 인코더의 경우, 이들 DRC 이득 값은 일반적으로 도 3에 도시된 것과 같은 DRC 특성을 평활화된 순시적인 라우드니스 추정치들에 적용함으로써 생성된다. 도 3은 ISO/IEC, "Information technology― MPEG audio technologies― Part 4: Dynamic range control," ISO/IEC 23003-4:2015에서 인용한 것이다. 도 3의 그래프에서 DRC 입력 레벨은 평활화된 순시적인 라우드니스 레벨이다.

본 발명의 실시예에 따라, (재생 중 동일한 오디오 프로그램에 대해), MPEG-D DRC에서 정의된 것과 같은 오디오 프로그램의 압축을 목적으로 의도된 메타데이터-소싱된(metadata-sourced) DRC 이득 시퀀스와 동일한 것을 라우드니스 EQ의 목적을 위해 사용할 수 있다. 도 4를 참조하면, 이는 역 DRC 특성 함수(20)를 (디코딩 측의) DRC 이득 시퀀스에 적용함으로써 수행될 수 있는데, 평활화된 순시적인 라우드니스 값들은 복원되고, 순시적인 SPL 값들로 재해석되고, 이어서 상술한 바와 같이, 라우드니스 EQ 필터(5)를 동적으로 업데이트하는 데 사용될 수 있다. 역함수는, 예를 들어, 메타데이터에 수신된 인코딩 DRC 이득 값들의 시퀀스를 계산하기 위해 인코딩 측에 적용되었던 DRC 특성 또는 이를 표현하는 (예를 들어, 도 3에 도시된 것들과 같은) 여러 DRC 이득 곡선들 중 하나인 수학 함수의 입력 및 출력 변수들을 역으로 하여 획득될 수 있다. 환언하면, 역 DRC 특성은 DRC 이득 값들을 생성하기 위해 인코딩 측에서 오디오 콘텐츠에 적용되었던 DRC 특성의 역함수일 수 있다. 이제 후자의 시퀀스가 수학 함수의 "출력"에 (또는 수학 함수의 계산된 역함수에 대한 입력으로서) 적용되어 DRC 프레임별 단위로, 순시적인 라우드니스 레벨들로서 처리되는 라우드니스 값들의 대응하는 시퀀스를 생성한다. 예컨대, 오프셋이 기준 음향 레벨을 나타내는 예를 들어, dB 단위의 고정 값인 경우, 시퀀스의 각각의 그러한 순시적인 값을 조정하도록 기준 레벨 오프셋이 적용된 후에, 오프셋 조정된 시퀀스를 필터 적응 블록(7)에 공급할 수 있음에 유의한다. 도 4의 다른 모든 양태는 현재 사용자 볼륨 설정을 반영하기 위해 EQ 필터(5)로부터 나오는 (디코딩된 오디오 프로그램의) 필터링된 오디오 콘텐츠를 스케일링하거나 곱하기 전에, 볼륨 제어(4)에 의해 계산된 dB 값들을 선형 형식으로 변환하는데 필요할 수 있는 선형 블록(22)(도 1에 도시되지 않음)으로의 옵션적인 변환을 포함하여, 도 1에서와 동일할 수 있다.

본 발명의 다른 실시예에 따라, 라우드니스 EQ에 대해 독점적으로 타겟화된 메타데이터의 별개의 DRC 이득 시퀀스를 갖는 것 또한 유용하다는 것이 인식된다. 그 목적을 위해, MPEG-D DRC 표준은 (메타데이터에 포함된) 여러 개의 이득 시퀀스들 중 어느 것이 라우드니스 EQ를 위해(EQ 필터(5)를 제어하기 위해) 적합한지와, 또한 어느 주파수 범위를 제어해야 하는지에 관한 정보를 운반하는 부가적인 메타데이터 신택스(syntax)에 의해 확장될 수 있다. 메타데이터에는 이러한 전용 DRC 이득 시퀀스들이 여러 개 있을 수 있으며 각각 상이한 주파수 범위에서 라우드니스 EQ를 수행하도록 지향된다. 게다가, 부가적인 메타데이터는, 라우드니스 EQ에 대해 사용될 이득 시퀀스 중 어느 것이 특정 다운믹스를 위해, 그리고 적용가능한 경우, 동적 범위 제어를 위해 또한 적합한지를 특정할 수 있다. 이 실시예는 도 5의 블록 다이어그램을 사용하여 설명된다. 도 5와 도 4의 유사성이 명백한 한편, 다음의 차이점들을 포함한다: 도 5에서, 동적 범위 제어(DRC 이득 조정)는 승산기에서 적용되고, 상이한 DRC 이득 시퀀스인 시퀀스(2)로부터 유도되는 반면(이 경우, 옵션적 DRC 이득 수정 블록(25)을 이용함), 도 4에서는 아무런 DRC 이득 조정이 적용되지 않고, EQ 필터(5)(라우드니스 EQ)는 이제 독점적으로 타겟화된 DRC 이득 시퀀스(1)로부터 유도된 순시적인 라우드니스(SPL) 값들의 함수로서 제어되고, 동적 제어를 위한 승산기에 동시에 적용되는 (DRC 이득 시퀀스(2)에서 유도되는) DRC 이득 조정 값들에 의해 (합산 유닛에서) 보정된다.

또한 도 5에서, 예를 들어, 고정 기준 SPL인 순시적인 라우드니스 값들에 대한 정적 오프셋 대신에, DRC 이득 수정 블록(25)의 출력에 의해 주어질 수 있는 동적 보정이 행해지고 있다. 그러나, 순시적인 라우드니스 값에 대해 행해진 보정은 메타데이터로부터 소싱된 DRC 이득 시퀀스(2)에 의해 대신에 직접 주어질 수 있으므로, 블록(25)은 선택 사항이다. (메타데이터 소싱된 DRC 이득 시퀀스를 계산하기 위해) 생성/인코딩 측에 의해 선택되고 사용되던 것에 비해, DRC 이득 수정 블록(25)이 옵션적으로 포함됨으로써 재생 동안 적용되는 압축 프로파일 또는 DRC 특성을 변경할 수 있다. DRC 이득 수정 블록(25)은 이 특정 재생 시스템에 더 적합 할 수 있는, 소위 "수정된" DRC 이득(새로운 DRC 이득 조정 값)을 생성하는 미국 특허 출원 공개 제2014/0294200호(문단 [0040] 내지 [0045])의 설명과 일치할 수 있다. 어느 경우에나, 필터 적응 블록(7)에 입력되는 순시적인 라우드니스 시퀀스는 이제, 예컨대, 동적 범위 제어를 위해, 도면의 승산기에 의해 도시된 바와 같이, EQ 필터(5)의 하류에서, DRC 이득 값 시퀀스 - DRC 이득 값 시퀀스의 이득 값들은 오디오 콘텐츠를 스케일링하기 위해 또한 적용됨 - 에 의해 보정된다. 따라서, 그러한 기술을 이용하면, 메타데이터가 이미 프레임별 DRC 이득 값들을 제공하고 있다면, 별개의 순시적인 라우드니스 값들의 시퀀스(도 1과 관련하여 위 참조)가 (재생 측에서의 라우드니스 EQ를 달성하기 위해) 메타데이터에 포함될 필요가 없다.

또 다른 실시예에서, 이제 도 6을 참조하면, 도 4의 라우드니스 EQ 스킴이 DRC와 결합되고, 따라서 동적 범위 조정된 오디오 콘텐츠가 EQ 필터(5)에 의해 필터링되어 궁극적으로, EQ 필터링되고 또한 동적 범위 조정된 오디오 콘텐츠를 생성하게 된다. 그러나 이것은 도 5에서 수행된 것(라우드니스 EQ와 DRC를 또한 결합함)과 상이한 방식으로 수행된다. 도 5와 관련된 차이점들은 주어진 DRC 이득 시퀀스(1)로(메타데이터에) 역 DRC 특성 함수(20)를 적용하는 것에 의해 제공되는 순시적인 라우드니스 시퀀스에 기준 레벨 (예컨대, 고정 값)을 부가함으로써 믹싱 시 필터 적응 블록(7)에 순시적인 음향 레벨을 제공하는 것과; 동시에 적용되는 DRC 이득에 따라 재생 레벨과 믹싱 레벨 사이의 정적 차이를 동적으로 조정함으로써 필터 적응 블록(7)에 대한 입력을 동적으로 업데이트하는 것을 포함한다. 다른 차이점들로는 MPEG-D DRC에서 정의된 바와 같은, 제어 파라미터를 DRC 블록으로 공급하는 형식인 DRC 인터페이스의 추가, 및 (도 5에 보이는 EQ 필터(5)의 하류에 비해) EQ 필터 (5)의 상류에 오디오 콘텐츠에 대한 DRC 이득의 적용이 포함된다.

동적 등화 및 DRC

위에 기술된 스킴들은 MPEG-D DRC에서 제공되는 것과 같은 DRC와 결합될 수 있는 라우드니스 EQ 도구를 제공한다. 그러나 일부 응용들의 경우, 예를 들어 재생 레벨을 알 수 없기 때문에, 라우드니스 EQ 도구가 너무 복잡하거나 적절한 제어가 불가능할 수 있다.

많은 응용들에서 동적 범위 압축을 달성하기 위해 다중 대역 DRC가 채용된다. 많은 경우, "동적 등화"도 각각의 DRC 대역에서 개별적으로 압축을 제어함으로써 가능하다. 다음의 접근법은 라우드니스 EQ만이라기 보다 일반적인 목적을 위한 이러한 동적 EQ 스킴을 제공한다.

다음은 상술한 라우드니스 EQ와 유사한 일부 방식들로 진행되는 DRC를 위한 동적 EQ 스킴에 대해 기술한다. 차이점은 이는 재생 레벨(예컨대, 볼륨 제어 블록(4)에 의해 생성됨 - 도 1, 도 4, 도 5, 도 6 참조)을 고려하지 않는다는 것이다. 이는 대신에 동적 범위 제어의 색상 효과(coloration effect) - 이 효과는 DRC의 적용과 라우드니스 인지의 연관된 심리음향학적 속성에 기인한 레벨 변경으로 인해 부분적으로 발생할 수 있음 - 를 보완하기 위해 EQ를 적용한다. 본 명세서에 기술된 동적 EQ 접근법의 다른 유용한 응용들은 그렇지 않으면 귀찮은 소리를 낼 수 있는 잡음의 큰 증폭을 피하기 위해, 예를 들어 오디오 콘텐츠에서 노이즈가 많은 저-레벨 백그라운드 사운드를 대역 통과 필터링하는 것을 포함할 수 있다.

아래에 기술된 스킴은 (메타데이터에 기초하여) MPEG-D DRC에 통합될 수 있다. 그러나 그것은 (메타데이터 없이) 일반적인 실시간 동적 범위 제어에도 또한 사용될 수 있다. 이는 이전에는 멀티 밴드 메타데이터 기반 DRC 프로세스가 지원되는 경우에만 가능했던 단일 밴드 DRC에 대한 동적 EQ의 이점을 제공할 수 있다. 종래의 메타데이터 기반 단일 대역 DRC 프로세스는 모든 주파수 성분들에 동일한 이득을 적용하기 때문에, 예를 들어, 저주파수 범위의 DRC 이득만 선택적으로 감소시킬 수 없다.

게다가, 아래에 기술되는 스킴은 종래의 메타데이터 기반 멀티-밴드 DRC 프로세스의 서브-밴드 해상도에 한정되지 않으며, 따라서 더 평활한 스펙트럼 정형을 제공할 수 있고 더 낮은 계산적인 복잡도를 가질 수 있다. 도 7은 동적 EQ와 결합된 DRC 능력의 예를 도시한다. EQ는 간접적으로 DRC 이득 시퀀스에 의해 동적으로 제어되며, 이 양태는 역 DRC 특성 함수(20), DRC 이득 값들에 의해 순시적인 라우드니스를 보정하는 합산 유닛, 및 옵션적인 DRC 이득 수정 블록(25)을 포함한다는 점에서 도 5의 일부와 유사하다(블록(25)에 의해 생성된 DRC 이득 값들은 dB 블록(26)으로의 변환에 의해 라우드니스 dB 값들로 변환됨). 그러나, 본 명세서에서 라우드니스 값들은 역 DRC 특성 함수(20)를 DRC 이득 값들을 생성하는 동일한 메타데이터 소싱된 DRC 이득 시퀀스에 적용함으로써 얻어진다. 본 실시예에서, EQ 필터(5)는 부분적으로: 필터 유형(예컨대, 저주파수 커트/부스트, 고주파수 커트/부스트), 필터 강도 및 적응 주파수 범위를 결정하는 비트 스트림으로 전달되는 정적 메타데이터에 기초하여 설정된다. 여기서 도 1, 도 4, 도 5의 등화기의 실시예에서 메타데이터의 정적 필터 구성 정보가 필요하지 않은 점에 유의한다.

도 7의 것과 대안적인 스킴에서, 역 DRC 특성 함수(20)가 생략되며, 필터 적응 블록(7)은 복잡도를 절약하기 위해 DRC 이득 값들에 의해 직접 구동된다. 환언하면, EQ 필터(5)를 정의하는 동적 파라미터들은 메타데이터에 수신된 DRC 이득 값들에 직접 기초하여 계산되는 한편, 이러한 DRC 이득 값들은 (동적 범위 제어를 수행하기 위해) EQ 필터링된 오디오 콘텐츠에 적용되는 DRC 이득 조정 값들을 (예컨대, 선택적인 DRC 수정 블록(25)에 의해) 계산하기 위해 프로세싱된다.

다음과 같은 본 발명의 진술이 이제 이루어진다. 제조 물품은 오디오 재생 시스템의 프로세서에 의해 실행될 때, 다음과 같이, 동적 범위 제어를 적용하면서 동적 오디오 등화를 수행하는 명령어들을 저장하고 있는 기계 판독가능 매체를 포함한다. 오디오 콘텐츠가 수신되고, 오디오 콘텐츠에 대한 메타데이터가 또한 수신되며, 메타데이터는 오디오 콘텐츠에 대해 계산된 복수의 동적 범위 제어(DRC) 이득 값들을 포함한다. 오디오 콘텐츠에 대한 복수의 순시적인 라우드니스 값들을 계산하기 위해 역 DRC 특성이 메타데이터에 수신된 복수의 DRC 이득 값들에 적용된다. 등화 필터를 정의하는 복수의 동적 파라미터들이 계산되며, 동적 파라미터들은 계산된 복수의 순시적인 라우드니스 값들에 기초하여 계산된다. 오디오 콘텐츠는 EQ 필터링된 오디오 콘텐츠를 생성하기 위해 등화 필터에 의해 필터링된다. 복수의 DRC 이득 조정 값들을 계산하기 위해 메타데이터에 수신된 복수의 DRC 이득 값들이 사용된다. 동적 범위 제어를 수행하기 위해 복수의 DRC 이득 조정 값들이 EQ 필터링된 오디오 콘텐츠에 적용된다. 동적 등화의 또 다른 실시예에서, 복수의 DRC 이득 조정 값들에 따라 계산된 복수의 순시적인 라우드니스 값들을 보정하여 보정된 순시적인 라우드니스 값들을 생성하며, 등화 필터를 정의하는 복수의 동적 파라미터들은 복수의 보정된 순시적인 라우드니스 값들에 기초하여 계산된다. 또한, 계산된 복수의 순시적인 라우드니스 값들을 보정하는 것은 계산된 복수의 순시적인 라우드니스 값들을 복수의 DRC 이득 조정 값들과 dB 형식으로 합산하는 것을 포함할 수 있다. 다른 양태에서, 메타데이터는 등화 필터를 정의하기 위해: a) 저주파수 커트 또는 부스트, 또는 고주파수 커트 또는 부스트와 같은 유형, b) 필터 강도, 및 c) 적응 또는 유효 주파수 범위 중 하나 이상을 특정하는 정적 필터 구성 데이터를 포함한다. 그러한 경우에, 정적 필터 구성 데이터에 따라 구성된 등화 필터는 오디오 콘텐츠가 그것을 통과하는 동안, 동적 파라미터들에 의해 동적으로 수정된다. 여전히 추가의 양태에서, 등화 필터를 정의하는 복수의 동적 파라미터들의 계산은 믹싱 레벨 또는 재생 레벨을 사용하지 않는다.

제조 물품은 오디오 재생 시스템의 프로세서에 의해 실행될 때, 다음과 같이, 동적 범위 제어를 적용하면서 동적 오디오 등화를 수행하는 명령어들을 저장하고 있는 기계 판독가능 매체를 포함한다. 오디오 콘텐츠 및 오디오 콘텐츠에 대한 메타데이터가 수신되며, 메타데이터는 오디오 콘텐츠에 대해 계산된 복수의 동적 범위 제어(DRC) 이득 값들을 포함한다. 등화 필터를 정의하는 복수의 동적 파라미터들이 계산되며, 동적 파라미터들은 메타데이터에 수신된 DRC 이득 값들에 기초하여 계산된다. 수신된 오디오 콘텐츠는 EQ 필터링된 오디오 콘텐츠를 생성하기 위해 등화 필터를 사용하여 필터링된다. 복수의 DRC 이득 조정 값들을 계산하기 위해 메타데이터에 수신된 복수의 DRC 이득 조정 값들이 프로세싱된다. 계산된 복수의 DRC 이득 조정 값들은 동적 범위 제어를 수행하기 위해 EQ 필터링된 오디오 콘텐츠에 적용된다.

소정 실시예들이 설명되고 첨부 도면에 도시되었지만, 그러한 실시예들은 광범위한 발명을 제한하는 것이 아니라 단지 예시하는 것이며, 다양한 다른 변형들이 당업자에게 떠오를 수 있기 때문에 본 발명이 도시되고 설명된 특정 구성들 및 배열들로 한정되지 않는다는 것이 이해될 것이다. 따라서, 본 설명은 제한 대신에 예시적인 것으로 간주되어야 한다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
재생 시스템의 라우드니스 등화(loudness equalization)를 위한 방법으로서,
오디오 콘텐츠 및 상기 오디오 콘텐츠에 대한 메타데이터를 수신하는 단계 - 상기 메타데이터는 상기 오디오 콘텐츠에 대해 계산된 복수의 동적 범위 제어(DRC) 이득 값들을 포함함 -;
상기 재생 시스템에 대한 사용자 볼륨 설정으로부터 재생 레벨을 유도하는 단계;
상기 재생 레벨을 상기 오디오 콘텐츠에 할당된 할당 믹싱 레벨(assigned mixing level)과 비교하는 단계;
상기 오디오 콘텐츠에 대한 복수의 순시적인(instantaneous) 라우드니스 값들을 계산하기 위해 상기 메타데이터에 수신된 상기 복수의 DRC 이득 값들에 역 DRC 특성을 적용하는 단계 - 상기 역 DRC 특성은 상기 DRC 이득 값들을 생성하기 위해 인코딩 측에서 상기 오디오 콘텐츠에 적용되었던 DRC 특성의 역함수(inverse)임 -; 및
상기 재생 시스템의 스피커를 구동하기 전에, 상기 수신된 오디오 콘텐츠가 그에 의해 필터링되는 등화 필터를 정의하는 복수의 파라미터들을 계산하는 단계를 포함하며, 상기 파라미터들은 1) 상기 역 DRC 특성을 사용하여 계산된 상기 복수의 순시적인 라우드니스 값들, 및 2) 상기 재생 레벨과 상기 믹싱 레벨 사이의 차이에 기초하여 계산되는, 방법.
제8항에 있어서, 상기 메타데이터는 상기 오디오 콘텐츠에 대한 복수의 순시적인 라우드니스 값들을 개별적으로 포함하지 않는, 방법.
제8항에 있어서, 기준 음향 레벨을 표현하는 고정된 오프셋 값에 의해 상기 계산된 복수의 순시적인 라우드니스 값들 각각을 조정하는 단계를 더 포함하는, 방법.
제8항에 있어서,
EQ 필터링된 오디오 콘텐츠를 생성하기 위해 상기 수신된 오디오 콘텐츠를 상기 등화 필터에 의해 필터링하는 단계;
상기 메타데이터에 제2 복수의 DRC 이득 값들을 수신하는 단계;
동적 범위 제어 조정되고 EQ 필터링된 오디오 콘텐츠를 생성하기 위해 상기 제2 복수의 DRC 이득 값들을 상기 EQ 필터링된 오디오 콘텐츠에 적용하는 단계; 및
보정된 순시적인 라우드니스 값들을 생성하기 위해, 상기 계산된 복수의 순시적인 라우드니스 값들을 상기 제2 복수의 DRC 이득 값들에 따라 보정하는 단계를 더 포함하며, 상기 등화 필터를 정의하는 상기 복수의 파라미터들은 상기 복수의 보정된 순시적인 라우드니스 값들에 기초하여 계산되는, 방법.
제11항에 있어서, 수정된 DRC 이득 값들을 생성하기 위해 상기 제2 복수의 DRC 이득 값들이 프로세싱되는 DRC 이득 수정 프로세스를 수행하는 단계를 더 포함하며,
상기 계산된 복수의 순시적인 라우드니스 값들을 보정하는 단계는 상기 수정된 DRC 이득 값들과 합산하는 단계를 포함하고,
동적 범위 제어 조정들을 수행하기 위해 상기 제2 복수의 DRC 이득 값들을 상기 EQ 필터링된 오디오 콘텐츠에 적용하는 단계는 상기 EQ 필터링된 오디오 콘텐츠를 상기 수정된 DRC 이득 값들과 곱하는 단계를 포함하는, 방법.
제8항에 있어서,
상기 메타데이터에 제2 복수의 DRC 이득 값들을 수신하는 단계;
동적 범위 조정된 오디오 콘텐츠를 생성하기 위해 상기 제2 복수의 DRC 이득 값들을 상기 오디오 콘텐츠에 적용하는 단계;
EQ 필터링되고 동적 범위 조정된 오디오 콘텐츠를 생성하기 위해 상기 동적 범위 조정된 오디오 콘텐츠를 상기 등화 필터에 의해 필터링하는 단계; 및
보정된 순시적인 라우드니스 값들을 생성하기 위해, 상기 계산된 복수의 순시적인 라우드니스 값들을 상기 제2 복수의 DRC 이득 값들에 따라 보정하는 단계를 더 포함하며, 상기 등화 필터를 정의하는 상기 복수의 파라미터들은 상기 복수의 보정된 순시적인 라우드니스 값들에 기초하여 계산되는, 방법.
동적 범위 제어를 적용하는 재생 시스템의 동적 오디오 등화를 위한 방법으로서,
오디오 콘텐츠 및 상기 오디오 콘텐츠에 대한 메타데이터를 수신하는 단계 - 상기 메타데이터는 상기 오디오 콘텐츠에 대해 계산된 복수의 동적 범위 제어(DRC) 이득 값들을 포함함 -;
상기 오디오 콘텐츠에 대한 복수의 순시적인 라우드니스 값들을 계산하기 위해 역 DRC 특성을 상기 메타데이터에 수신된 상기 복수의 DRC 이득 값들에 적용하는 단계;
등화 필터를 정의하는 복수의 동적 파라미터들을 계산하는 단계 - 상기 동적 파라미터들은 상기 계산된 복수의 순시적인 라우드니스 값들에 기초하여 계산됨 -;
EQ 필터링된 오디오 콘텐츠를 생성하기 위해 상기 오디오 콘텐츠를 상기 등화 필터에 의해 필터링하는 단계;
복수의 DRC 이득 조정 값들을 계산하기 위해 상기 메타데이터에 수신된 상기 복수의 DRC 이득 값들을 프로세싱하는 단계; 및
동적 범위 제어를 수행하기 위해 상기 복수의 DRC 이득 조정 값들을 상기 EQ 필터링된 오디오 콘텐츠에 적용하는 단계를 포함하는, 방법.
제14항에 있어서,
보정된 순시적인 라우드니스 값들을 생성하기 위해, 상기 계산된 복수의 순시적인 라우드니스 값들을 상기 복수의 DRC 이득 조정 값들에 따라 보정하는 단계를 더 포함하며, 상기 등화 필터를 정의하는 상기 복수의 동적 파라미터들은 상기 복수의 보정된 순시적인 라우드니스 값들에 기초하여 계산되는, 방법.
제15항에 있어서, 상기 계산된 복수의 순시적인 라우드니스 값들을 보정하는 단계는, 상기 계산된 복수의 순시적인 라우드니스 값들을 상기 복수의 DRC 이득 조정 값들과 dB 형식으로 합산하는 단계를 포함하는, 방법.
제14항에 있어서, 상기 메타데이터는 상기 등화 필터를 정의하기 위해: a) 저주파수 커트 또는 부스트, 또는 고주파수 커트 또는 부스트와 같은 유형, b) 필터 강도, 및 c) 적응 또는 유효 주파수 범위 중 하나 이상을 특정하는 정적 필터 구성 데이터를 포함하며,
상기 정적 필터 구성 데이터에 따라 구성된 상기 등화 필터는 상기 오디오 콘텐츠가 그것을 통과하는 동안, 상기 동적 파라미터들에 의해 동적으로 수정되는, 방법.
제14항에 있어서, 등화 필터를 정의하는 상기 복수의 동적 파라미터들을 계산하는 단계는 믹싱 레벨 또는 재생 레벨을 사용하지 않는, 방법.
동적 범위 제어를 적용하는 재생 시스템의 동적 오디오 등화를 위한 방법으로서,
오디오 콘텐츠 및 상기 오디오 콘텐츠에 대한 메타데이터를 수신하는 단계 - 상기 메타데이터는 상기 오디오 콘텐츠에 대해 계산된 복수의 동적 범위 제어(DRC) 이득 값들을 포함함 -;
등화 필터를 정의하는 복수의 동적 파라미터들을 계산하는 단계 - 상기 동적 파라미터들은 상기 메타데이터에 수신된 상기 DRC 이득 값들에 기초하여 계산됨 -;
EQ 필터링된 오디오 콘텐츠를 생성하기 위해 상기 수신된 오디오 콘텐츠를 상기 등화 필터에 의해 필터링하는 단계;
복수의 DRC 이득 조정 값들을 계산하기 위해 상기 메타데이터에 수신된 상기 복수의 DRC 이득 값들을 프로세싱하는 단계; 및
동적 범위 제어를 수행하기 위해 상기 계산된 복수의 DRC 이득 조정 값들을 상기 EQ 필터링된 오디오 콘텐츠에 적용하는 단계를 포함하는, 방법.
오디오 재생 시스템용 제조 물품으로서,
오디오 재생 시스템의 프로세서에 의해 실행될 때,
오디오 콘텐츠 및 상기 오디오 콘텐츠에 대한 메타데이터를 수신하고 - 상기 메타데이터는 상기 오디오 콘텐츠에 대한 복수의 순시적인 라우드니스 값들을 포함함 -,
상기 재생 시스템의 사용자 볼륨 설정으로부터 재생 레벨을 유도하고,
상기 재생 레벨을 상기 오디오 콘텐츠에 할당된 할당 믹싱 레벨과 비교하고,
상기 오디오 콘텐츠를 필터링하기 위한 등화 필터를 정의하는 복수의 파라미터들을 계산한 후에 상기 필터링된 오디오 콘텐츠를 이용하여 스피커를 구동하는 명령어들이 저장되어 있는 기계 판독가능 매체를 포함하며, 상기 파라미터들은 1) 상기 복수의 순시적인 라우드니스 값들 및 2) 상기 재생 레벨과 상기 할당 믹싱 레벨 사이의 차이에 기초하여 계산되는, 제조 물품.
제20항에 있어서, 상기 기계 판독가능 매체는, 상기 프로세서에 의해 실행될 때,
상기 등화 필터를 정의하는 상기 파라미터들을 프레임별 단위로(on a per frame basis) 업데이트하는 명령어들을 더 저장하고 있으며, 상기 재생 레벨이 상기 믹싱 레벨보다 낮은 경우에, 상기 등화 필터는 상기 프레임에 대한 상기 메타데이터에 수신된 상기 순시적인 라우드니스에 따라 저주파수 범위를 고주파수 범위에 대해 부스트하고, 상기 재생 레벨이 상기 믹싱 레벨보다 높은 경우에, 상기 등화 필터는 상기 저주파수 범위를 상기 고주파수 범위에 대해 커트하는, 제조 물품.
제20항에 있어서, 상기 기계 판독가능 매체는, 상기 프로세서에 의해 실행될 때,
상기 복수의 순시적인 라우드니스 값들을 각각의 프레임에 대해 쌍으로 - 하나는 저주파수 대역용이고 다른 하나는 고주파수 대역용임 - 수신하는 명령어들을 저장하고 있으며, 상기 등화 필터를 정의하는 상기 파라미터들은 저주파수 정형 필터 및 고주파수 정형 필터를 계산함으로써 계산되고, 상기 저주파수 정형 필터 및 상기 고주파수 정형 필터는 상기 등화 필터의 일부로서 캐스케이드되는, 제조 물품.
오디오 재생 시스템용 제조 물품으로서,
오디오 재생 시스템의 프로세서에 의해 실행될 때 상기 재생 시스템의 라우드니스 등화를 수행하는 명령어들을 저장하고 있는 기계 판독가능 매체를 포함하며, 상기 라우드니스 등화를 수행하는 것은,
오디오 콘텐츠 및 상기 오디오 콘텐츠에 대한 메타데이터를 수신하고 - 상기 메타데이터는 상기 오디오 콘텐츠에 대해 계산된 복수의 동적 범위 제어(DRC) 이득 값들을 포함함 -;
상기 재생 시스템에 대한 사용자 볼륨 설정으로부터 재생 레벨을 유도하고;
상기 재생 레벨을 상기 오디오 콘텐츠에 할당된 할당 믹싱 레벨과 비교하고;
상기 오디오 콘텐츠에 대한 복수의 순시적인 라우드니스 값들을 계산하기 위해 상기 메타데이터에 수신된 상기 복수의 DRC 이득 값들에 역 DRC 특성을 적용하고 - 상기 역 DRC 특성은 상기 DRC 이득 값들을 생성하기 위해 인코딩 측에서 상기 오디오 콘텐츠에 적용되었던 DRC 특성의 역함수임 -;
상기 재생 시스템의 스피커를 구동하기 전에, 상기 수신된 오디오 콘텐츠가 그에 의해 필터링되는 등화 필터를 정의하는 복수의 파라미터들을 계산하는 것에 의해 수행되며, 상기 파라미터들은 1) 상기 역 DRC 특성을 사용하여 계산된 상기 복수의 순시적인 라우드니스 값들, 및 2) 상기 재생 레벨과 상기 믹싱 레벨 사이의 차이에 기초하여 계산되는, 제조 물품.
제23항에 있어서, 상기 기계 판독가능 매체는, 상기 프로세서에 의해 실행될 때,
기준 음향 레벨을 표현하는 고정된 오프셋 값에 의해 상기 계산된 복수의 순시적인 라우드니스 값들 각각을 조정하는 명령어들을 저장하고 있는, 제조 물품.
제23항에 있어서, 상기 기계 판독가능 매체는, 상기 프로세서에 의해 실행될 때,
EQ 필터링된 오디오 콘텐츠를 생성하기 위해 상기 수신된 오디오 콘텐츠를 상기 등화 필터를 사용하여 필터링하고,
상기 메타데이터에 제2 복수의 DRC 이득 값들을 수신하고,
동적 범위 제어 조정되고 EQ 필터링된 오디오 콘텐츠를 생성하기 위해 상기 제2 복수의 DRC 이득 값들을 상기 EQ 필터링된 오디오 콘텐츠에 적용하고,
보정된 순시적인 라우드니스 값들을 생성하기 위해, 상기 계산된 복수의 순시적인 라우드니스 값들을 상기 제2 복수의 DRC 이득 값들에 따라 보정하는 명령어들을 저장하고 있으며, 상기 등화 필터를 정의하는 상기 복수의 파라미터들은 상기 복수의 보정된 순시적인 라우드니스 값들에 기초하여 계산되는, 제조 물품.
제25항에 있어서, 상기 기계 판독가능 매체는, 상기 프로세서에 의해 실행될 때,
수정된 DRC 이득 값들을 생성하기 위해 상기 제2 복수의 DRC 이득 값들이 프로세싱되는 DRC 이득 수정 프로세스를 수행하는 명령어들을 더 저장하고 있으며,
상기 계산된 복수의 순시적인 라우드니스 값들을 보정하는 것은 상기 수정된 DRC 이득 값들과 합산하는 것을 포함하고,
동적 범위 제어 조정들을 수행하기 위해 상기 제2 복수의 DRC 이득 값들을 상기 EQ 필터링된 오디오 콘텐츠에 적용하는 것은 상기 EQ 필터링된 오디오 콘텐츠를 상기 수정된 DRC 이득 값들과 곱하는 것을 포함하는, 제조 물품.
제25항에 있어서, 상기 기계 판독가능 매체는, 상기 프로세서에 의해 실행될 때,
상기 메타데이터에 제2 복수의 DRC 이득 값들을 수신하고,
동적 범위 조정된 오디오 콘텐츠를 생성하기 위해 상기 제2 복수의 DRC 이득 값들을 상기 오디오 콘텐츠에 적용하고,
EQ 필터링되고 동적 범위 조정된 오디오 콘텐츠를 생성하기 위해 상기 동적 범위 조정된 오디오 콘텐츠를 상기 등화 필터에 의해 필터링하고,
보정된 순시적인 라우드니스 값들을 생성하기 위해, 상기 계산된 복수의 순시적인 라우드니스 값들을 상기 제2 복수의 DRC 이득 값들에 따라 보정하는 명령어들을 더 저장하고 있으며, 상기 등화 필터를 정의하는 상기 복수의 파라미터들은 상기 복수의 보정된 순시적인 라우드니스 값들에 기초하여 계산되는, 제조 물품.