KR20160075756A - 오브젝트 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정을 위한 디코더, 인코더 및 방법 - Google Patents

오브젝트 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정을 위한 디코더, 인코더 및 방법 Download PDF

Info

Publication number
KR20160075756A
KR20160075756A KR1020167014090A KR20167014090A KR20160075756A KR 20160075756 A KR20160075756 A KR 20160075756A KR 1020167014090 A KR1020167014090 A KR 1020167014090A KR 20167014090 A KR20167014090 A KR 20167014090A KR 20160075756 A KR20160075756 A KR 20160075756A
Authority
KR
South Korea
Prior art keywords
loudness
audio
signal
signals
information
Prior art date
Application number
KR1020167014090A
Other languages
English (en)
Other versions
KR101852950B1 (ko
Inventor
조우니 파울루스
사샤 디쉬
하랄드 푹스
번하드 그릴
올리버 헬무트
아드리안 무르타자
팔코 리더부슈
레온 테렌티브
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20160075756A publication Critical patent/KR20160075756A/ko
Application granted granted Critical
Publication of KR101852950B1 publication Critical patent/KR101852950B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한 디코더가 제공된다. 디코더는 복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 수신하기 위한, 오디오 오브젝트 신호들에 대한 라우드니스 정보를 수신하기 위한, 그리고 하나 이상의 오디오 오브젝트 신호가 증폭되어야 하는지 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하기 위한, 수신 인터페이스(110)를 포함한다. 게다가, 디코더는 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키기 위한 신호 프로세서(120)를 포함한다. 신호 프로세서(120)는 라우드니스 정보에 의존하고 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 신호 프로세서(120)는 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다. 오디오 출력 신호를 발생시키기 위하여 하나 이상의 우회 오디오 오브젝트 신호가 사용된다. 게다가, 인코더가 제공된다.

Description

오브젝트 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정을 위한 디코더, 인코더 및 방법{DECODER, ENCODER AND METHOD FOR INFORMED LOUDNESS ESTIMATION IN OBJECT-BASED AUDIO CODING SYSTEMS}
본 발명은 오디오 신호 인코딩, 처리 및 디코딩에 관한 것으로서, 특히 오브젝트(object) 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정(informed loudness estimation)을 위한 디코더, 인코더 및 방법에 관한 것이다.
최근에, 오디오 코딩 분야(예를 들면, [BCC], [JSC], [SAOC], [SAOC1] 및 [SAOC2] 참조) 및 정통한 음원 분리(예를 들면, [ISS1], [ISS2], [ISS3], [ISS4], [ISS5] 및 [ISS6] 참조) 분야에서 다중 오디오 오브젝트를 포함하는 오디오 장면들의 비트레이트 효율적인 전송/저장을 위한 파라미터 기술들이 제안되어 왔다. 이러한 기술들은 전송되거나 및/또는 저장된 오디오 장면 및/또는 오디오 장면 내의 오디오 소스 오브젝트들을 기술하는 부가적인 부가정보를 기초로 하여 원하는 출력 오디오 장면 또는 원하는 오디오 소스 오브젝트의 재구성을 목표로 한다. 이러한 재구성은 정통한 소스 분리 전략을 사용하여 디코더 내에서 발생한다. 재구성된 오브젝트들은 출력 오디오 장면을 생산하기 위하여 결합될 수 있다. 오브젝트들이 결합되는 방법에 의존하여, 출력 증면의 지각적 라우드니스는 변경될 수 있다.
텔레비전 및 라디오 방송에서, 다양한 프로그램들의 오디오 트랙들의 볼륨 레벨들은 피크 신호 레벨 또는 라우드니스 레벨과 같은, 다양한 양상들을 기초로 하여 정규화될 수 있다. 신호들의 동적 특성들에 의존하여, 동일한 피크 레벨을 갖는 두 레벨은 지각되는 라우드니스의 크게 다른 레벨을 가질 수 있다. 이제 프로그램들 또는 채널들 사이를 전환할 때 신호 라우드니스의 차이들은 매우 성가시고 방송에서의 최종 사용자의 불평의 주요 원인이 되어왔다.
종래에, 지각적 신호 라우드니스를 사용하여 공통 기준 레벨과 유사하게 모든 채널 상에 모든 프로그램을 정규화하는 것이 제안되었다. 유럽에서의 그러한 한 가지 권고가 유럽 방송 연합 권고(EBU Recommendation) R128(이후에 R128으로서 언급되는)이다[EBU].
권고는 예를 들면, 하나의 프로그램(또는 하나의 광고, 또는 일부 다른 중요한 프로그램 엔티티)에 대한 평균 라우드니스가 지정된 레벨과 동일하여야만(작게 허용된 편차들로) 한다고 설명한다. 더 많은 방송진행자가 이러한 권고 및 필요로 하는 정규화에 순응할 때, 프로그램들 및 채널들 사이의 평균 라우드니스의 차이들은 최소화되어야 한다.
라우드니스 추정은 몇몇 방법으로 실행될 수 있다. 오디오 신호의 지각적 라우드니스의 추정을 위하여 일부 수학적 모델들이 존재한다. 유럽 방송 연합 권고 R128은 라우드니스 추정을 위하여 국제 전기 통신 연합-전파통신부문(ITU-R) BS. 1770(뒤에 BS. 1770으로 언급되는)에 제시된 모델에 의존한다([ITU] 참조).
이전에 설명된 것과 같이, 예를 들면 유럽 방송 연합 권고 R128에 따라, 하나의 프로그램에 대한 평균 라우드니스는 작게 허용된 편차들을 갖는 지정된 레벨과 동일하여야 한다. 그러나, 이는 오디오 렌더링이 수행될 때, 지금까지 종래 기술에서 해결하지 못한, 상당한 문제점에 이르게 한다. 디코더 측 상에서의 오디오 렌더링의 수행은 수신된 오디오 입력 신호의 전체/총 라우드니스에 대하여 상당한 효과를 갖는다. 그러나, 장면 렌더링이 수행됨에도 불구하고, 수신된 오디오신호의 총 라우드니스는 동일하게 유지되어야 한다.
현재, 이러한 문제점을 위한 어떠한 특정 디코더-측 해결책도 존재한다.
유럽특허 제 EP 2 146 522 A1호([EP]}는 오브젝트 기반 메타데이터를 사용하여 오디오 출력 신호들을 발생시키기 위한 개념들에 관한 것이다. 적어도 두 개의 서로 다른 오디오 오브젝트 신호의 중첩을 표현하는 적어도 하나의 오디오 출력 신호가 발생되나, 이러한 문제점을 위한 해결책을 제공하지는 않는다.
국제특허 제 WO 2008/035275 A2호([BRE]}는 복수의 오디오 오브젝트를 표현하는 다운-믹스 오디오 신호 및 파라미터 데이터를 발생시키는 인코딩 유닛 내의 오디오 오브젝트들을 인코딩하는 인코더를 포함하는 오디오 시스템을 설명한다. 다운-믹스 오디오 신호 및 파라미터 데이터는 오디오 오브젝트의 근사치의 복제들을 발생시키는 디코딩 유닛 및 오디오 오브젝트들로부터 출력 신호를 발생시키는 렌더링 유닛을 포함하는 디코더에 전송된다. 디코더는 게다가 인코더로 전송된 인코딩 변형 데이터를 발생시키기 위한 프로세서를 포함한다. 인코더는 그리고 나서 오디오 오브젝트들의 인코딩을 변형하고, 특히 인코딩 변형 데이터에 응답하여 파라미터 데이터를 변형한다. 이러한 접근법은 오디오 오브젝트들의 조작이 디코더에 의해 제어되나 인코더에 의해 완전히 또는 부분적으로 실행되도록 허용한다. 따라서, 조작은 근사치의 복제들 상에서보다 오히려 실제 독립적인 오디오 오브젝트 상에서 실행될 수 있고 이에 의해 향상된 성능을 제공한다.
유럽특허 제 EP 2 146 522 A1호([SCH])는 적어도 두 개의 서로 다른 오디오 오브젝트의 중첩을 표현하는 적어도 하나의 오디오 출력 신호를 발생시키기 위한 장치를 설명하는데, 이는 오디오 입력 신호의 오브젝트 표현을 제공하기 위하여 오디오 입력 신호를 처리하기 위한 프로세서를 포함하고, 이러한 오브젝트 표현은 오브젝트 다운믹스 신호를 사용하여 원래 오브젝트들의 파라미터로 안내되는 근사치에 의해 발생될 수 있다. 오브젝트 매니퓰레이터(object manipulator)는 조작된 오디오 오브젝트들을 획득하기 위하여 개별 오디오 오브젝트들을 언급하는 오디오 오브젝트 기반 메타데이터를 사용하여 오브젝트들을 개별적으로 조작한다. 조작된 오디오 오브젝트들은 특정 렌더링 설정에 의존하여 최종적으로 하나 또는 여러 개의 채널 신호를 갖는 오디오 출력 신호를 획득하기 위하여 오브젝트 믹서(object mixer)를 사용하여 믹싱된다.
국제특허 제 WO 2008/046531 A1호[ENG]는 복수의 오디오 오브젝트를 사용하여 인코딩된 오브젝트 신호를 발생시키기 위한 오디오 오브젝트 코더를 설명하는데, 이는 복수의 오디오 오브젝트의 적어도 두 개의 다운믹스 채널 내로의 분포를 나타내는 다운믹스 정보를 발생시키기 위한 다운믹스 정보 발생기, 오디오 오브젝트들을 위한 오브젝트 파라미터들을 발생시키기 위한 오디오 오브젝트 파라미터 발생기, 및 다운믹스 정보 및 오브젝트 파라미터들을 사용하여 도입된 오디오 출력 신호를 발생시키기 위한 출력 인터페이스를 포함한다. 오디오 합성기(audio synthesizer)는 미리 정의된 오디오 출력 구성의 출력 채널을 생성하는데 사용될 수 있는 출력 데이터를 발생시키기 위하여 다운믹스 정보를 사용한다.
지연 없이 출력 평균 라우드니스의 정확한 추정 또는 평균 라우드니스의 변화를 갖는 것이 바람직할 수 있고 그리고 프로그램이 변경되지 않거나 또는 렌더링 장면이 변경되지 않을 때, 평균 라우드니스 추정은 또한 그대로 유지되어야 한다.
본 발명의 목적은 향상된 오디오 신호 인코딩, 처리 및 디코딩 개념들을 제공하는 것이다. 본 발명의 목적은 청구항 1에 따른 디코더, 청구항 15에 따른 인코더, 청구항 18에 따른 시스템, 청구항 19에 따른 방법, 청구항 20에 따른 방법 및 청구항 21에 따른 컴퓨터 프로그램에 의해 해결된다.
오브젝트 기반 오디오 코딩 시스템 내의 출력의 라우드니스를 추정하기 위한 정통한 방법이 제공된다. 제공되는 개념들은 디코더에 제공되려는 오디오 혼합물(asdio mixture) 내의 오브젝트들의 라우드니스에 대한 정보에 의존한다. 디코더는 출력 신호의 라우드니스를 추정하기 위한 렌더링 정보와 함께 이러한 정보를 사용한다. 이는 그리고 나서 예를 들면, 디폴트 다운믹스 및 렌더링된 출력 사이의 라우드니스 차이를 추정하도록 허용한다. 그리고 나서 렌더링 정보와 관계없이 출력 내의 대략 일정한 라우드니스를 획득하기 위하여 차이를 보상하는 것이 가능하다. 디코더 내의 라우드니스 추정은 완전히 파라미터 방식으로 발생하고, 이는 신호 기반 라우드니스 추정 개념들과 비교하여 계산적으로 매우 쉽고 정확하다.
순수하게 파라미터 개념들을 사용하여 특정 출력 장면의 라우드니스에 대한 정보를 획득하기 위한 개념들이 제공되고, 이는 그리고 나서 디코더 내의 분명한 신호 기반 라우드니스 추정 없이 라우드니스 처리를 허용한다. 게다가, MPEG에 의한 공간적 오디오 오브젝트 코딩(SAOC) 표준의 특정 기술[saoc]이 설명되나, 제공되는 개념들은 또한 다른 오디오 오브젝트 코딩 기술들과 함께 사용될 수 있다.
하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한 디코더가 제공된다. 디코더는 복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 수신하기 위한, 오디오 오브젝트 신호들에 대한 라우드니스 정보를 수신하기 위한, 그리고 하나 이상의 오디오 오브젝트 신호가 증폭되어야 하는지 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하기 위한, 수신 인터페이스(receiving interface)를 포함한다. 게다가, 디코더는 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키기 위한 신호 프로세서를 포함한다. 신호 프로세서는 라우드니스 정보에 의존하고 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 신호 프로세서는 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
일 실시 예에 따르면, 신호 프로세서는 오디오 출력 신호의 라우드니스가 오디오 입력 신호의 라우드니스와 동일한 것과 같이, 혹은 오디오 출력 신호의 라우드니스가 렌더링 정보에 따른 오디오 입력 신호의 오디오 오브젝트 신호들을 증폭하거나 또는 감쇠함으로써 오디오 입력 신호의 변형을 야기할 수 있는 변형된 오디오 신호의 라우드니스보다 오디오 입력 신호의 라우드니스에 더 가까운 것과 같이, 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성될 수 있다.
또 다른 실시 예에 따르면, 오디오 입력 신호의 각각의 오디오 오브젝트 신호들은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당될 수 있고, 두 개 이상의 그룹 각각은 오디오 입력 신호의 하나 이상의 오디오 오브젝트 신호를 포함할 수 있다. 그러한 실시 예에서, 수신 인터페이스는 라우드니스 정보로서 두 개 이상의 그룹의 각각의 그룹을 위한 라우드니스 값을 수신하도록 구성될 수 있고, 상기 라우드니스 값은 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 원래의 총 라우드니스를 나타낸다. 게다가, 수신 인터페이스는 상기 그룹의 하나 이상의 오디오 오브젝트 신호가 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 변형된 총 라우드니스를 나타냄으로써 증폭되거나 또는 감쇠되어야 하는지를 나타내는, 두 개 이상의 그룹 중 적어도 하나의 그룹을 위한 렌더링 정보를 수신하도록 구성될 수 있다. 게다가, 그러한 실시 예에서, 신호 프로세서는 상기 두 개 이상의 그룹 중 적어도 하나의 그룹의 각각의 변형된 총 라우드니스에 의존하고 두 개 이상의 그룹들 각각의 원래의 총 라우드니스에 의존하여 라우드니스 보상 값을 결정하도록 구성될 수 있다. 게다가, 신호 프로세서는 상기 두 개 이상의 그룹 중 적어도 하나의 그룹의 각각의 변형된 촐 라우드니스에 의존하고 상기 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성될 수 있다.
특정 실시 예들에서, 두 개 이상의 그룹 중 적어도 하나의 그룹은 두 개 이상의 오디오 오브젝트 신호를 포함할 수 있다.
게다가 인코더가 제공된다. 인코더는 복수의 오디오 오브젝트 신호를 포함하는 인코딩된 오디오 신호를 획득하기 위하여 복수의 오디오 오브젝트 신호를 인코딩하기 위한 오브젝트 기반 인코딩 유닛을 포함한다. 게다가, 인코더는 오디오 오브젝트 신호들에 대한 라우드니스 정보를 인코딩하기 위한 오브젝트 라우드니스 인코딩 유닛을 포함한다. 라우드니스 정보는 하나 이상의 라우드니스 값을 포함하고, 하나 이상의 라우드니스 값 각각은 하나 이상의 오디오 오브젝트 신호에 의존한다.
일 실시 예에 따르면, 인코딩된 오디오 신호의 오디오 오브젝트 신호들 각각은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당될 수 있고, 두 개 이상의 그룹 각각은 인코딩된 오디오 신호의 하나 이상의 오디오 신호를 포함한다. 오브젝트 라우드니스 인코딩 유닛은 두 개 이상의 그룹의 각각의 그룹을 위한 라우드니스 값을 결정함으로써 라우드니스 정보의 하나 이상의 라우드니스 값을 결정하도록 구성될 수 있고, 상기 그룹의 상기 라우드니스 값은 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 원래 총 라우드니스를 나타낸다.
게다가, 시스템이 제공된다. 시스템은 복수의 오디오 오브젝트 신호를 포함하는 인코딩된 오디오 신호를 획득하도록 복수의 오디오 오브젝트 신호를 인코딩하기 위한, 그리고 오디오 오브젝트 신호들에 대한 라우드니스 정보를 인코딩하기 위한, 위에 설명된 실시 예들 중 어느 하나에 따른 인코더를 포함한다. 게다가, 시스템은 하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한, 위에 설명된 실시 예들 중 어느 하나에 따른 디코더를 포함한다. 디코더는 오디오 입력 신호 및 라우드니스 정보로서 인코딩된 오디오 신호를 수신하도록 구성된다. 게다가, 디코더는 렌더링 정보를 더 수신하도록 구성된다. 게다가, 디코더는 라우드니스 정보에 의존하고 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 디코더는 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
게다가, 하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한 방법이 제공된다. 방법은:
- 복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 수신하는 단계,
- 오디오 오브젝트 신호들에 대한 정보를 수신하는 단계,
- 하나 이상의 오디오 오브젝트 신호가 증폭되거나 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하는 단계,
- 라우드니스 정보에 의존하고 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하는 단계, 및
- 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키는 단계,를 포함한다.
게다가 인코딩을 위한 방법이 제공된다. 방법은:
- 복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 인코딩하는 단계, 및
- 오디오 오브젝트 신호들에 대한 라우드니스 정보를 인코딩하는 단계,를 포함하되, 라우드니스 정보는 하나 이상의 라우드니스 값을 포함하고, 하나 이상의 라우드니스 값 각각은 하나 이상의 오디오 오브젝트 신호에 의존한다.
게다가, 컴퓨터 또는 신호 프로세서 상에서 실행될 때, 위에 설명된 방법을 구현하기 위한 컴퓨터 프로그램이 제공된다.
바람직한 실시 예들이 종속항들에 제공된다.
다음에서, 도면들을 참조하여 본 발명의 실시 예들이 더 상세히 설명된다.
도 1은 일 실시 예에 따라 하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한 디코더를 도시한다.
도 2는 일 실시 예에 다른 인코더를 도시한다.
도 3은 일 실시 예에 따른 시스템을 도시한다.
도 4는 공간적 오디오 오브젝트 코딩 인코더 및 공간적 오디오 오브젝트 코딩 디코더를 포함하는 공간적 오디오 오브젝트 코딩 시스템을 도시한다.
도 5는 부가 정보 디코더, 오브젝트 분리기(object separator) 및 렌더러(renderer)를 포함하는 공간적 오디오 오브젝트 코딩 디코더를 도시한다.
도 6은 라우드니스 변화 상의 출력 신호 라우드니스 추정들의 행동을 도시한다.
도 7은 일 실시 예에 따른 인코더 및 디코더의 성분들을 나타내는, 일 실시 예에 따른 정통한 라우드니스 추정을 도시한다.
도 8은 또 다른 실시 예에 따른 인코더를 도시한다.
도 9는 우회 채널(bypass channel)들을 포함하는, 공간적 오디오 오브젝트 코딩-다이얼로그 향상과 관련된, 일 실시 예에 따른 인코더 및 디코더를 도시한다.
도 10은 측정된 라우드니스 변화 및 파라미터 방식으로 라우드니스의 변화를 추정하기 위하여 제공된 개념들을 사용한 결과의 제 1 도해를 도시한다.
도 11은 측정된 라우드니스 변화 및 파라미터 방식으로 라우드니스의 변화를 추정하기 위하여 제공된 개념들을 사용한 결과의 제 2 도해를 도시한다.
도 12는 라우드니스 보상을 수행하기 위한 또 다른 실시 예를 도시한다.
바람직한 실시 예들이 상세히 설명되기 전에, 라우드니스 추정, 공간적 오디오 오브젝트 코딩 및 다이얼로그 향상(DE)이 설명된다.
우선, 라우드니스 추정이 설명된다.
이전에 이미 설명된 것과 같이, 유럽 방송 연합 권고 R128은 라우드니스 추정을 위한 ITU-R BS. 1770에서 제시된 모델에 의존한다. 이러한 측정이 예로서 사용될 것이나, 아래에 설명되는 개념들은 또한 다른 라우드니스 측정을 사용될 수 있다.
BS. 1770에 따른 라우드니스 추정의 연산은 상대적으로 간단하고 이는 다음의 주요 단계들을 기초로 한다[ITU]:
- 신호(들, y i )를 획득하기 위하여 입력 신호(x i , 또는 다중 채널 신호의 경우에서의 신호들)는 K-필터로 필터링된다(쉘빙(shelving) 및 고역 통과 필터들의 조합).
- 신호(y i )의 평균 제곱 에너지(z i )가 계산된다.
- 다중 채널 신호의 경우에, 채널 가중(G i )이 적용되고, 가중된 신호들이 더해진다. 신호의 라우드니스는 그때 다음이 되도록 정의된다:
Figure pct00001
여기서 상수 c=-0.691이다. 출력은 그리고 나서 데시벨 스케일과 유사하게 스케일링하는 "전체 스케일에 대한, JK-가중된, 라우드니스(LKFS)"의 유닛 내에 표현된다.
위의 공식에서, G i 은 예를 들면, 채널들의 일부를 위하여 1과 동일할 수 있으나, G i 은 예를 들면, 일부 다른 채널을 위하여 1.41일 수 있다. 예를 들면, 만일 왼쪽 채널, 오른쪽 채널, 중앙 채널, 왼쪽 서라운드 채널 및 오른쪽 서라운드 채널이 고려되면, 각각의 가중(G i )은 예를 들면, 왼쪽, 오른쪽 및 중앙 채널을 위하여 1일 수 있고 예를 들면, 왼쪽 서라운드 채널 및 오른쪽 서라운드 채널을 위하여 1.41일 수 있는데, [ITU]가 참조된다.
라우드니스 값(L)은 신호 에너지의 로그 대수와 밀접하게 관련된다는 것을 알 수 있다.
다음에서, 공간적 오디오 오브젝트 코딩이 설명된다.
오브젝트 기반 오디오 코딩 개념들은 체인의 디코더 측 내의 많은 유연성을 허용한다. 오브젝트 기반 오디오 코딩 개념의 일례가 공간적 오디오 오브젝트 코딩이다.
도 4는 공간적 오디오 오브젝트 코딩 인코더(410) 및 공간적 오디오 오브젝트 코딩 디코더(420)를 포함하는 공간적 오디오 오브젝트 코딩 시스템을 도시한다.
공간적 오디오 오브젝트 코딩 인코더(410)는 입력으로서 N 오디오 오브젝트 신호들(S 1 ,...,S N )을 수신한다. 게다가, 공간적 오디오 오브젝트 코딩 인코더(410)는 M 다운로드 채널들(X 1 ,...,X M )을 포함하는 다운믹스 신호를 획득하기 위하여 이러한 오브젝트들이 어떻게 결합되어야만 하는가의 명령들 "믹싱 정보 D"을 더 수신한다. 공간적 오디오 오브젝트 코딩 인코더(410)는 오브젝트들 및 다운믹싱 과정들로부터 일부 부가 정보를 추출하고, 이러한 부가 정보는 다운믹스 신호들과 함께 전송되거나 및/또는 저장된다.
공간적 오디오 오브젝트 코딩 시스템의 주요 특성은 '다운믹스 채널들(X 1 ,...,X M )을 포함하는 다운믹스 신호(X)가 의미상으로(semantically) 의미 있는 신호를 형성한다는 것이다. 바꾸어 말하면, 다운믹스 신호를 청취하는 것이 가능하다. 예를 들면 만일 수신기가 공간적 오디오 오브젝트 코딩 디코더 기능을 갖지 않으면, 수신기는 그럼에도 불구하고 출력으로서 다운믹스 신호를 제공한다.
도 5는 부가 정보 디코더(510), 오브젝트 분리기(520) 및 렌더러(530)를 포함하는 공간적 오디오 오브젝트 코딩 디코더를 도시한다. 도 5에 의해 도시된 공간적 오디오 오브젝트 코딩 디코더는 예를 들면 공간적 오디오 오브젝트 코딩 인코더로부터, 다운믹스 신호 및 부가 정보를 수신한다. 다운믹스 신호는 오디오 오브젝트 신호들을 포함하는 오디오 입력 신호로서 고려될 수 있는데, 그 이유는 오디오 오브젝트 신호들이 다운믹스 신호 내에 믹싱되기 때문이다(오디오 오브젝트 신호들은 다운믹스 신호의 하나 이상의 다운믹스 채널 내에 믹싱된다).
공간적 오디오 오브젝트 코딩 디코더는 예를 들면, 그리고 나서 예를 들면 디코딩된 부가 정보를 사용하여, 오브젝트 분리기(520)를 이용함으로써, 원래 오브젝트들을 (가상으로) 재구성하려고 시도할 수 있다. 이러한 (가상) 오브젝트 재구성들(
Figure pct00002
), 예를 들면 재구성된 오디오 오브젝트 신호들은 그리고 나서 오디오 출력 신호(Y)의 K 오디오 출력 채널들(Y 1 ,...,Y K )을 생산하기 위하여 렌더링 정보, 예를 들면 렌더링 매트릭스(R)를 기초로 하여 결합된다.
공간적 오디오 오브젝트 코딩에서, 오디오 오브젝트 신호들은 예를 들면, 공간적 오디오 오브젝트 코딩 인코더로부터 공간적 오디오 오브젝트 코딩 디코더로 전송되는, 공분산 정보(covariance information), 예를 들면 신호 공분산 매드릭스(E)를 사용함으로써 재구성된다.
예를 들면, 디코더 측 상에서 오디오 오브젝트 신호들을 재구성하기 위하여 다음의 공식이 사용될 수 있다:
Figure pct00003
여기서
N은 오디오 오브젝트 신호들의 수이고,
Nsamples는 오디오 오브젝트 신호의 고려된 샘플들의 수이며,
M은 다운믹스 채널들의 수이며,
X는 오디오 신호의 다운믹스, 크기 M×Nsamples이며,
D는 다운믹싱 매트릭스, 크기 M×N이며,
E는 신호 공분산 매트릭스, 크기 E = XX H 로서 정의되는 N×N이며,
S는 파라미터로 재구성된 N 오디오 오브젝트 신호들, 크기 N×Nsamples이며,
(·)H 는 (·)의 공액 전치(conjugate transpose)를 표현하는 자기 수반( self-adjoint, 에르미트 행렬(Hermitian)) 연산자이다.
그리고 나서 렌더링 매트릭스(R)는 예를 들면 다음의 공식에 따라, 오디오 출력 신호(Y)의 오디오 출력 채널들을 획득하기 위하여 재구성된 오디오 오브젝트 신호들(S) 상에 적용될 수 있다:
Y = RS
여기서
K는 오디오 풀력 신호(Y)의 오디오 출력 채널들(Y1,...YK)의 수이고,
R은 크기 K×N의 렌더링 매트릭스이며,
Y는 크기 K×Nsamples의, 오디오 출력 채널들을 포함하는 오디오 출력 신호이다.
도 5에서, 예를 들면 오브젝트 분리기(520)에 의해 수행되는, 오브젝트 재구성의 과정은 "가상적" 또는 "선택적" 개념과 함께 언급되는데, 그 이유는 반드시 발생할 필요는 없으나, 원하는 기능이 파라미터 도메인 내의 재구성 및 렌더링 단계들을 조합함으로써(즉, 방정식들을 조합함으로써) 획득될 수 있기 때문이다.
바꾸어 말하면, 오디오 출력 채널들(Y 1,...,Y K)을 획득하기 위하여 먼저 믹싱 정보(D) 및 공분산 정보(E)를 사용하여 오디오 오브젝트 신호들을 재구성하고, 그리고 제구성된 오디오 오브젝트 신호들에 대한 렌더링 정보(R)를 적용하는 대신에, 두 단계는 단일 단계로 수행될 수 있고, 따라서 오디오 출력 채널들(Y 1,...,Y K)은 다운믹스 채널들로부터 직접적으로 발생된다.
예를 들면, 다음의 공식이 사용될 수 있다:
Figure pct00004
원칙적으로, 렌더링 정보(R)는 원래 오디오 오브젝트 신호들의 어떠한 조합을 요구한다. 그러나, 실제로 오브젝트 재구성들은 재구성 오류들을 포함할 수 있고 요구된 출력 장면이 반드시 도달될 필요는 없다. 많은 실용적인 경우를 포함하는 일반적인 경우에, 요구된 출력 장면이 다운믹스 신호와 많이 다를수록, 더 많은 가청 재구성 오류들이 존재할 것이다.
다음에서, 다이얼로그 향상이 설명된다. 공간적 오디오 오브젝트 코딩 기술은 예를 들면 장면을 실행하도록 사용될 수 있다,.비록 명칭 "다이얼로그 향상"이 다이얼로그 기원 신호들에 초점을 맞추도록 제안하더라도, 또한 다른 신호 형태들과 함께 동일한 원리가 사용될 수 있다는 것에 유의하여야 한다.
다이얼로그 향상 시나리오에서, 시스템 내의 자유도는 일반적인 경우로부터 제한된다.
예를 들면, 오디오 오브젝트 신호들(S 1 ,...,S N = S)은 전경 오브젝트(foreground object, FGO, SFGO) 및 배경 오브젝트(BGO, SBGO)의 두 개의 메타-오브젝트로 그룹핑된다(그리고 가능하게는 믹싱된다).
게다가, 출력 장면(Y1,...YK = Y)은 다운믹스 신호(X1,...,XN = X)와 유사하다. 더 구체적으로, 두 신호는 동일한 차원수를 갖는데, 즉 K = M이고, 최종 사용자는 두 메타-오브젝트(FGO 및 BGO)의 상대적 혼합 레벨들만을 제어할 수 있다. 더 정확하게 설명하면, 다운믹스 신호는 전경 오브젝트 및 배경 오브젝트를 믹싱함으로써 획득되고 일부 스칼라 가중들은 다음과 같으며,
X = hFGOSFSO + hBGOSBGO,
출력 장면은 전경 오브젝트 및 배경 오브젝트의 일부 스칼라 가중과 유사하게 획득된다:
Y = gFGOSFSO + gBGOSBGO .
믹싱 가중들의 상대적 값들에 의존하여, 전경 오브젝트 및 배경 오브젝트 사이의 균형이 변할 수 있다. 예를 들면, 다음의 설정으로
Figure pct00005
혼합물 내의 전경 오브젝트의 상대적 레벨을 증가시키는 것이 가능하다. 만일 전경 오브젝트가 다이얼로그이면, 설정은 다이얼로그 향상 기능을 제공한다.
사용자 경우의 예로서, 배경 오브젝트는 스포츠 이벤트 동안의 경기장 잡음들 및 다른 배경 음향일 수 있고 전경 오브젝트는 해설자의 음성일 수 있다. 다이얼로그 향상 기능은 최종 사용자가 배경과 관련하여 해설자의 레벨을 증폭시키거나 또는 감쇠하도록 허용한다.
실시 예들은 방송 시나리오에서의 공간적 오디오 오브젝트 코딩 기술의 사용이 최종 사용자의 확장된 신호 조작(signal manipulation) 기능의 제공을 허용한다는 사실을 기초로 한다. 채널을 바꾸고 재생 볼륨을 조정하는 것보다 더 많은 기능이 제공된다.
다이얼로그 향상 기술을 사용하기 위한 한 가지 가능성이 위에 간단히 설명되었다. 만일 공간적 오디오 오브젝트 코딩을 위한 다운믹스 신호인, 방송 신호가 예를 들면 R128에 따라 레벨이 정규화되면, 서로 다른 프로그램들은 어떠한 (공간적 오디오 오브젝트 코딩)-처리도 적용되지 않을 때(또는 렌더링 기술이 다운믹싱 기술과 동일할 때) 유사한 평균 라우드니스를 갖는다. 그러나, 일부 (공간적 오디오 오브젝트 코딩)-처리가 적용될 때, 출력 신호는 디폴트 다운믹스 신호와 다르고 출력 신호의 라우드니스는 디폴트 다운믹스 신호의 라우드니스와 다를 수 있다. 최종 사용자의 관점에서, 이는 채널들 또는 프로그램들 사이의 출력 신호 라우드니스가 다시 바람직하지 않은 점프(jump)들 또는 차이들을 가질 수 있는 상황으로 이르게 할 수 있다. 바꾸어 말하면, 방송사에 의에 적용되는 정규화의 장점이 부분적으로 손실된다.
이러한 문제점은 공간적 오디오 오브젝트 코딩 또는 다이얼로그 향상 시나리오에 특정되지 않고, 또한 최종 사용자가 콘텐츠와 상호 작용하도록 허용하는 다른 오디오 코딩 개념들과 함께 발생할 수 있다. 그러나, 많은 경우에 있어서 만일 출력 신호가 디폴드 다운믹스와 서로 다른 라우드니스를 가지면 이는 어떠한 피해도 야기하지 않는다.
이전에 설명된 것과 같이, 오디오 입력 신호 프로그램의 총 라우드니스는 작게 허용된 편차로 특정 레벨과 동일해야 한다. 그러나, 이미 설명된 것과 같이, 오디오 렌더링이 수행될 때 이는 상당한 문제점에 이르게 할 수 있는데, 그 이유는 렌더링이 수신된 오디오 신호의 전체/총 라우드니스에 상당한 영향을 가질 수 있기 때문이다. 그러나, 장면 렌더링이 수행되더라도, 수신된 오디오 신호의 총 라우드니스는 동일하게 남아야 한다.
한가지 접근법은 재생되는 동안에, 그리고 적절한 시간적 통합 개념과 함께 신호의 라우드니스를 추정하는 것일 수 있으며, 추정은 시간이 조금 지나서 진정한 평균 라우드니스에 수렴될 수 있다. 그러나 수렴을 위하여 필요한 시간은 최종 사용자의 관점에서 문제가 된다. 심지어 신호 상에 어떠한 변화도 적용되지 않을 때 라우드니스 추정이 변할 때, 라우드니스 변화 보상은 또한 그것의 행동에 반응하고 그것의 행동을 바꾸어야 한다. 이는 오히려 성가신 것으로서 인식될 수 있는, 시간적으로 변경하는 평균 라우드니스를 갖는 출력 신호에 이르게 할 수 있다.
도 6은 라우드니스 변화 상의 출력 신호 라우드니스 추정들의 행동을 도시한다. 그 중에서도, 방금 설명된 것과 같은 해결책의 효과를 나타내는, 신호 기반 출력 신호 라우드니스 추정이 도시된다. 추정은 정확한 추정을 상당히 느리게 처리한다. 신호 기반 출력 신호 라우드니스 추정 대신에, 출력 신호 라우드니스를 정확하게 바로 결정하는, 정통한 출력 신호 라우드니스 추정이 바람직할 수 있다.
특히 도 6에서, 사용자 입력, 예를 들면 다이얼로그 오브젝트의 레벨은 값의 증가에 의해 시간 인스턴트(T)에서 변화한다. 진정한 출력 신호 레벨, 및 상응하게는 라우드니스는 동일한 시간 인스턴트에서 변화한다. 일부 시간적 통합 시간을 갖는 출력 신호로부터 출력 신호 라우드니스 추정이 실행될 때, 추정은 점진적으로 변화하고 특정 지연 후에 정확한 값에 도달할 것이다. 이러한 지연 동안에, 추정 값들은 변화하고 출력 신호의 뒤따르는 처리를 위하여, 예를 들면 라우드니스 정정을 위하여 확실하게 사용될 수는 없다.
이미 설명된 것과 같이, 지연 없이 출력 평균 라우드니스의 정확한 추정 또는 평균 라우드니스의 변화를 갖는 것이 바람직할 수 있고 프로그램이 변화하지 않거나 또는 렌더링 장면이 변화하지 않을 때, 평균 라우드니스 추정은 또한 그대로 유지되어야 한다. 바꾸어 말하면, 일부 라우드니스 변화 보상이 적용될 때, 보상 파라미터는 프로그램이 변화하거나 또는 일부 사용자 상호작용이 존재할 때만 변화하여야 한다.
바람직한 행동이 도 6의 가장 하부 부분(정통한 출력 신호 라우드니스 추정)에 도시된다. 출력 신호 라우드니스의 추정은 사용자 입력이 변경될 때 바로 변경되어야 한다.
도 2는 일 실시 예에 따른 인코더를 도시한다.
인코더는 복수의 오디오 오브젝트 신호를 포함하는 인코딩된 오디오 신호를 획득하기 위하여 복수의 오디오 오브젝트 신호를 인코딩하기 위한 오브젝트 기반 인코딩 유닛(210)을 포함한다.
게다가, 인코더는 오디오 오브젝트 신호들에 대한 라우드니스 정보를 인코딩하기 위한 오브젝트 라우드니스 인코딩 유닛을 포함한다. 라우드니스 정보는 하나 이상의 라우드니스 값을 포함하고, 하나 이상의 라우드니스 값 각각은 하나 이상의 오디오 오브젝트 신호에 의존한다.
일 실시 예에 따르면, 인코딩된 오디오 신호의 오디오 오브젝트 신호들 각각은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당되고, 두 개 이상의 그룹 각각은 인코딩된 오디오 신호의 하나 이상의 오디오 오브젝트 신호를 포함한다. 오브젝트 라우드니스 인코딩 유닛(220)은 두 개 이상의 그룹의 각각의 그룹을 위한 라우드니스 값을 결정함으로써 라우드니스 정보의 하나 이상의 라우드니스 값을 결정하도록 구성되고, 상기 그룹이 상기 라우드니스 값은 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 원래의 총 라우드니스를 나타낸다.
도 1은 일 실시 예에 따라 하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한 디코더를 도시한다.
디코더는 복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 수신하기 위한, 오디오 오브젝트 신호들에 대한 라우드니스 정보를 수신하기 위한, 그리고 하나 이상의 오디오 오브젝트 신호가 증폭되거나 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하기 위한, 수신 인터페이스(110)를 포함한다.
게다가, 디코더는 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키기 위한 신호 프로세서(120)를 포함한다. 신호 프로세서(120)는 라우드니스 정보에 의존하고 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 신호 프로세서(120)는 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
일 실시 예에 따르면, 신호 프로세서(110)는 오디오 출력 신호의 라우드니스가 오디오 입력 신호의 라우드니스와 동일한 것과 같이, 혹은 오디오 출력 신호의 라우드니스가 렌더링 정보에 따른 오디오 입력 신호의 오디오 오브젝트 신호들을 증폭하거나 또는 감쇠함으로써 오디오 입력 신호의 변형을 야기할 수 있는 변형된 오디오 신호의 라우드니스보다 오디오 입력 신호의 라우드니스에 더 가까운 것과 같이, 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
또 다른 실시 예에 따르면, 오디오 입력 신호의 각각의 오디오 오브젝트 신호들은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당되고, 두 개 이상의 그룹 각각은 오디오 입력 신호의 하나 이상의 오디오 오브젝트 신호를 포함한다.
그러한 실시 예에서, 수신 인터페이스(110)는 라우드니스 정보로서 두 개 이상의 그룹의 각각의 그룹을 위한 라우드니스 값을 수신하도록 구성되고, 상기 라우드니스 값은 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 원래의 총 라우드니스를 나타낸다. 게다가, 수신 인터페이스(110)는 상기 그룹의 하나 이상의 오디오 오브젝트 신호가 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 변형된 총 라우드니스를 나타냄으로써 증폭되거나 또는 감쇠되어야 하는지를 나타내는, 두 개 이상의 그룹 중 적어도 하나의 그룹을 위한 렌더링 정보를 수신하도록 구성된다. 게다가, 그러한 실시 예에서, 신호 프로세서(120)는 상기 두 개 이상의 그룹 중 적어도 하나의 그룹의 각각의 변형된 총 라우드니스에 의존하고 두 개 이상의 그룹들 각각의 원래의 총 라우드니스에 의존하여 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 신호 프로세서(120)는 상기 두 개 이상의 그룹 중 적어도 하나의 그룹의 각각의 변형된 총 라우드니스에 의존하고 상기 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
특정 실시 예들에서, 두 개 이상의 그룹 중 적어도 하나의 그룹은 두 개 이상의 오디오 오브젝트 신호를 포함한다.
디음의 공식에 따라 오디오 오브젝트 신호(i)의 에너지(e i ) 및 오디오 오브젝트 신호(i)의 라우드니스(L i ) 사이에 직접적인 연관성이 존재하는데:
Figure pct00006
여기서 c는 상수이다.
실시 예들은 다음의 발견들을 기초로 한다. 오디오 입력 신호의 서로 다른 오디오 오브젝트 신호들은 서로 다른 라우드니스 및 따라서 서로 다른 에너지를 가질 수 있다. 예를 들면 만일 사용자가 오디오 입력 신호들 중 하나의 라우드니스를 증가시키도록 원하면, 렌더링 정보는 상응하게 조정될 수 있고, 이러한 오디오 오브젝트 신호의 라우드니스의 증가는 오디오 오브젝트의 에너지를 증가시킨다. 이는 오디오 출력 신호의 증가된 라우드니스에 이르게 할 수 있다. 총 라우드니스를 일정하게 유지하기 위하여, 라우드니스 보상이 수행되어야 한다. 바꾸어 말하면, 오디오 입력 신호에 대한 렌더링 정보의 적용으로부터 야기할 수 있는 변형된 오디오 신호는 조정되어야만 할 수도 있다. 그러나, 변형된 오디오 신호의 총 라우드니스에 대한 오디오 오브젝트 신호들 중 어느 하나의 증폭의 정확한 효과는 라우드니스가 증가하는, 예를 들면 오디오 오브젝트 신호의, 증폭된 오디오 오브젝트 신호의 원래의 라우드니스에 의존한다. 만일 이러한 오브젝트의 원래의 라우드니스가 상당히 낮았던, 에너지와 상응하면, 오디오 입력 신호의 총 라우드니스에 대한 효과는 작을 것이다. 그러나 만일 이러한 오브젝트의 원래이 라우드니스가 상당히 높았던, 에너지와 상응하면, 오디오 입력 신호의 총 라우드니스에 대한 효과는 상당할 것이다.
두 가지 실시 예가 고려될 수 있다. 두 실시 예에서, 오디오 입력 신호는 두 개의 오디오 오브젝트 신호를 포함하고, 두 실시 예에서, 렌더링 정보를 적용함으로써, 오디오 오브젝트 신호들 중 첫 번째 하나는 505 증가된다.
제 1 실시 예에서, 제 1 오디오 신호는 오디오 입력 신호의 총 에너지에 20%를 기여하고 제 2 오디오 신호는 오디오 입력 신호의 총 에너지에 80%를 기여한다. 그러나, 제 2 실시 예에서, 제 1 오디오 신호는 오디오 입력 신호의 총 에너지에 40%를 기여하고 제 2 오디오 신호는 오디오 입력 신호의 총 에너지에 60%를 기여한다. 두 실시 예에서, 이러한 기여들은 오디오 오브젝트 신호들에 대한 라우드니스 정보로부터 유도될 수 있는데, 그 이유는 라우드니스 및 에너지 사이에 직접적인 연관성이 존재하기 때문이다.
제 1 실시 예에서, 제 1 오디오 오브젝트의 에너지의 50%의 증가는 오디오 입력 신호에 대한 렌더링 정보를 적용함으로써 발생된 변형된 오디오 신호가 오디오 입력 신호의 에너지의 총 에너지(1.5×40% + 80% = 110%)를 갖는다는 사실을 야기한다.
제 2 실시 예에서, 제 1 오디오 오브젝트의 에너지의 50%의 증가는 오디오 입력 신호에 대한 렌더링 정보를 적용함으로써 발생된 변형된 오디오 신호가 오디오 입력 신호의 에너지의 총 에너지(1.5×40% + 60% = 120%)를 갖는다는 사실을 야기한다.
따라서, 오디오 입력 신호에 대한 렌더링 정보의 적용 후에, 제 1 실시 예에서, 변형된 오디오 신호의 총 에너지는 두 오디오 입력 신호 및 오디오 출력 신호 내에 동등한 에너지를 획득하기 위하여 9%(10/110)만 감소되어야만 하고, 제 2 실시 예에서, 변형된 오디오 신호의 총 에너지는 17%(20/120) 감소되어야 한다. 이러한 목적을 위하여, 라우드니스 보상 값이 계산될 수 있다.
예를 들면, 라우드니스 보상 값은 오디오 출력 신호의 모든 오디오 출력 채널 상에 적용되는 스칼라일 수 있다.
일 실시 예에 따르면, 신호 프로세서는 렌더링 정보에 따라 오디오 입력 신호의 오디오 오브젝트 신호들의 증폭 또는 감쇠에 의해 오디오 입력 신호를 변형시킴으로써 변형된 오디오 신호를 발생시키도록 구성된다. 게다가, 신호 프로세서는 오디오 출력 신호의 라우드니스가 오디오 입력 신호의 라우드니스와 동일한 것과 같이, 혹은 오디오 출력 신호의 라우드니스가 변형된 오디오 신호의 라우드니스보다 오디오 입력 신호의 라우드니스와 더 가까운 것과 같이, 변형된 오디오 신호에 대한 라우드니스 보상 값을 적용함으로써 오디오 출력 신호를 발생시키도록 구성된다.
예를 들면, 위의 제 1 실시 예에서, 라우드니스 보상 값(lcv)은 예를 들면, 값(lcv = 10/11)으로 설정될 수 있고, 10/11의 곱셈 인자는 렌더링 정보에 따라 오디오 입력 채널들의 제공으로부터 야기하는 모든 채널 상에 적용될 수 있다.
따라서, 예를 들면 위의 제 2 실시 예에서, 라우드니스 보상 값(lcv)은 예를 들면, 값(lcv = 10/12 = 5/6)으로 설정될 수 있고, 5/6의 곱셈 인자는 렌더링 정보에 따라 오디오 입력 채널들의 제공으로부터 야기하는 모든 채널 상에 적용될 수 있다.
다른 실시 예들에서, 각각의 오디오 오브젝트 신호들은 복수의 그룹 중 하나에 할당될 수 있고, 라우드니스 값은 상기 그룹의 오디오 오브젝트 신호들의 총 라우드니스 값을 나타내는 각각의 그룹들을 위하여 전송될 수 있다. 만일 렌더링 정보가 그룹들 중 하나의 에너지가 감쇠되거나 또는 증폭되는 것으로, 예를 들면 위에서와 같이 50% 증폭되는 것으로 지정되면, 총 에너지 증가가 계산될 수 있고 위에 설명된 것과 같이 에너지 보상 값이 결정될 수 있다.
예를 들면, 일 실시 예에 따르면, 오디오 입력 신호의 각각의 오디오 오브젝트 신호들은 두 개 이상의 그룹으로서 정확하게 두 개의 그룹 중 정확하게 하나의 그룹에 할당된다. 오디오 입력 신호의 각각의 오디오 오브젝트 신호들은 정확하게 두 개의 그룹의 전경 오브젝트 그룹에 할당되거나 또는 정확하게 두 개의 그룹의 배경 오브젝트 그룹에 할당된다. 수신 인터페이스(110)는 전경 오브젝트 그룹의 하나 이상의 오디오 오브젝트 신호의 원래 총 라우드니스를 수신하도록 구성된다. 게다가, 수신 인터페이스(110)는 배경 오브젝트 그룹의 하나 이상의 오디오 오브젝트 신호의 원래 총 라우드니스를 수신하도록 구성된다. 게다가, 수신 인터페이스(110)는 정확하게 두 개의 그룹 중 적어도 하나의 그룹을 위하여 각각의 상기 적어도 하나의 그룹의 하나 이상의 오디오 오브젝트 신호가 상기 그룹의 하나 이상의 오디오 오브젝트 신호의 변형된 총 라우드니스를 나타냄으로써 증폭되거나 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하도록 구성된다.
그러한 실시 예에서, 신호 프로세서(120)는 각각의 상기 적어도 하나의 그룹의 변형된 총 라우드니스에 의존하고, 전경 오브젝트 그룹의 하나 이상의 원래 총 라우드니스에 의존하고, 그리고 전경 오브젝트 그룹의 하나 이상의 원래 총 라우드니스에 의존하여, 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 신호 프로세서(120)는 각각의 상기 적어도 하나의 그룹의 변형된 총 라우드니스에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
일부 실시 예들에 따르면, 각각의 오디오 오브젝트 신호들은 세 개 이상의 그룹 중 하나에 할당되고, 수신 인터페이스는 세 개 이상의 그룹 각각을 위하여 상기 그룹의 오디오 오브젝트 신호들의 총 라우드니스를 나타내는 라우드니스 값을 수신하도록 구성될 수 있다.
일 실시 예에 따르면, 두 개 이상의 오디오 오브젝트 신호의 총 라우드니스 값을 결정하기 위하여, 예를 들면, 각각의 오디오 오브젝트 신호를 위하여 라우드니스 값과 상응하는 에너지 값이 결정되고, 모든 라우드니스 값이 에너지 값들은 에너지 합께를 획득하기 위하여 더해지며, 두 개 이상의 오디오 오브젝트 신호의 총 라우드니스 값으로서 에너지 합계와 상응하는 라우드니스 값이 결정된다. 예를 들면, 다음의 공식이 사용될 수 있다:
Figure pct00007
일부 실시 예들에서, 라우드니스 값들은 각각의 오디오 오브젝트 신호들을 위하여 전송되거나, 혹은 오디오 오브젝트 신호들은 하나 또는 두 개 이상의 그룹에 할당되며, 각각의 그룹들을 위하여 라우드니스 값은 전송된다.
그러나 일부 실시 예들에서, 하나 이상의 오디오 오브젝트 신호들을 위하여 혹은 오디오 오브젝트 신호들을 포함하는 하나 이상의 그룹을 위하여, 어떠한 라우드니스 값도 전송되지 않는다. 대신에, 디코더는 예를 들면, 어떠한 라우드니스 값도 전송되지 않는, 이러한 오디오 오브젝트 신호들 혹은 오디오 오브젝트 신호들의 그룹들이 미리 정의된 라우드니스 값을 갖는 것으로 추정할 수 있다. 디코더는 예를 들면, 이러한 미리 정의된 값에 대한 모든 추가의 결정을 기초로 할 수 있다.
일 실시 예에 따르면, 수신 인터페이스(110)는 오디오 입력 신호로서 하나 이상의 다운믹스 채널을 포함하는 다운믹스 신호를 수신하도록 결정되고, 하나 이상의 다운믹스 채널은 오디오 오브젝트 신호들을 포함하며, 오디오 오브젝트 신호들의 수는 하나 이상의 다운믹스 채널의 수보다 작다. 수신 인터페이스(110)는 오디오 오브젝트 신호들이 어떻게 하나 이상의 다운믹스 채널 내에 믹싱되는지를 나타내는 다운믹스 정보를 수신하도록 구성된다. 게다가, 신호 프로세서(120)는 다운믹스 정보에 의존하여, 렌더링 정보에 의존하여, 그리고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다. 특정 실시 예에서, 신호 프로세서(120)는 예를 들면, 다운믹스 정보에 의존하여 라우드니스 보상 값을 계산하도록 구성될 수 있다.
예를 들면, 다운믹스 정보는 다운믹스 매트릭스일 수 있다. 실시 예들에서, 디코더는 공간적 오디오 오브젝트 코딩 디코더일 수 있다. 그러한 실시 예들에서, 수신 인터페이스(110)는 예를 들면, 공분산 정보, 예를 들면 위에 설명된 것과 같은 공분산 매트릭스를 수신하도록 더 구성될 수 있다.
하나 이상의 오디오 오브젝트 신호가 증폭되어야 하는지 또는 감쇠되어야 하는지를 나타내는 렌더링 정보와 관련하여, 예를 들면, 어떻게 하나 이상의 오디오 오브젝트 신호가 증폭되어야 하는지 또는 감쇠되어야 하는지를 나타내는 정보가 렌더링 정보이다. 예를 들면, 렌더링 매트릭스(R), 예를 들면 공간적 오디오 오브젝트 코딩의 렌더링 매트릭스가 렌더링 정보이다.
도 3은 일 실시 예에 따른 실시 예를 도시한다.
시스템은 복수의 오디오 오브젝트 신호를 포함하는 인코딩된 오디오 신호를 획득하기 위하여 복수의 오디오 오브젝트 신호를 인코딩하기 위한 위에 설명된 실시 예들 중 하나에 따른 인코더(310)를 포함한다.
게다가, 시스템은 하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한 위에 설명된 실시 예들 중 하나에 따른 디코더(320)를 포함한다. 디코더는 오디오 입력 신호 및 라우드니스 정보로서 인코딩된 오디오 신호를 수신하도록 구성된다. 게다가, 디코더(320)는 라우드니스 정보에 의존하고 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성된다. 게다가, 디코더(320)는 렌더링 정보에 의존하고 라우드니스 보상 값에 의존하여 오디오 입력 신호로부터 오디오 출력 신호의 하나 이상의 오디오 출력 채널을 발생시키도록 구성된다.
도 7은 일 실시 예에 따른 정통한 라우드니스 추정을 도시한다. 전송 스트림(730)의 왼쪽 상에, 오브젝트 기반 오디오 코딩 인코더의 성분들이 도시된다. 특히, 오브젝트 기반 인코딩 유닛(710, "오브젝트 기반 오디오 인코더") 및 오브젝트 라우드니스 인코딩 유닛(720, "오브젝트 라우드니스 추정")이 도시된다.
전송 스트림(730) 자체는 라우드니스 정보(L), 다운믹싱 정보(D) 및 오브젝트 오디오 인코더(710)의 출력(B)을 포함한다.
전송 스트림(730)의 오른쪽 상에, 오브젝트 기반 오디오 코딩 디코더의 신호 프로세서의 성분들이 도시된다. 디코더의 수신 인터페이스는 도시되지 않는다. 라우드니스 추정기(740)의 출력 및 오브젝트 기반 오디오 디코딩 유닛(750)이 도시된다. 출력 라우드니스 추정기(740)는 라우드니스 보상 값을 결정하도록 구성될 수 있다. 오브젝트 기반 오디오 디코딩 유닛(750)은 렌더링 정보(R)를 적용함으로써, 디코더에 입력되려는, 오디오 신호로부터 변형된 오디오 신호를 결정하도록 구성될 수 있다. 렌더링에 의해 야기되는 총 라우드니스 변화를 보상하기 위하여 변형된 오디오 신호에 대한 라우드니스 보상 값의 적용은 도 7에 도시되지 않는다.
인코더로의 입력은 최소에서의 입력 오브젝트들(S)로 구성된다. 시스템은 예를 들면 오브젝트 라우드니스 인코딩 유닛(720)에 의해, 각각의 오브젝트(또는 오브젝트 에너지들과 같은 일부 다른 라우드니스 관련 정보)를 추정하고, 이러한 정보(L)는 전송되거나 및/또는 저장된다(시스템으로의 입력으로서 오드젝트들의 라우드니스가 제공되고 시스템 내의 추정 단계가 생략될 수 있는 것이 또한 가능하다).
도 7의 실시 예에서, 디코더는 적어도 오브젝트 라우드니스 정보 및, 예를 들면 출력 신호 내로의 오브젝트들의 믹싱을 기술하는 렌더링 정보(R)를 수신한다. 이것들을 기초로 하여, 예를 들면 출력 라우드니스 추정기(740)는 출력 신호의 라우드니스를 추정하고 그것의 출력으로서 이러한 정보를 제공한다.
이 경우에 있어서 라우드니스 추정이 다운믹스 신호 라우드니스의 추정을 제공하는, 렌더링 정보로서 다운믹싱 정보(D)가 제공될 수 있다. 오브젝트 라우드니스 추정에 입력으로서 다운믹싱 정보를 제공하고 오브젝트 라우드니스 정보와 함께 이를 전송하거나 및/또는 저장하는 것이 또한 가능하다. 출력 라우드니스 추정은 그리고 나서 다운믹스 신호의 라우드니스 및 제공된 렌더링된 출력을 동시에 추정하고 출력 라우드니스 정보로서 이러한 두 값 또는 그것들의 차이를 제공할 수 있다. 차이 값(또는 그것의 역)은 그것의 라우드니스를 다운믹스 신호의 라우드니스와 유사하게 만들기 위하여 렌더링된 출력 신호 상에 적용되어야만 하는 필요한 보상을 설명한다. 오브젝트 라우드니스 정보는 부가적으로 다양한 오브젝트들 사이의 상관 계수들에 관한 정보를 포함하고 이러한 상관 정보는 더 정확한 추정을 위하여 출력 라우드니스 추정에서 사용될 수 있다.
다음에서, 다이얼로그 향상 적용을 위한 바람직한 실시 예가 설명된다.
다이얼로그 향상 적용에서, 위에 설명된 것과 같이, 입력 오디오 오브젝트 신호들은 그룹핑되고, 그리고 나서 최종 다운믹스 신호의 획득을 위하여 평범하게 더해질 수 있는, 두 개의 메타-오브젝트(전경 오브젝트 및 배경 오브젝트)를 형성하기 위하여 부분적으로 다운믹싱된다.
공간적 오디오 오브젝트 코딩[SAOC]의 기술 후에, N 입력 오브젝트 신호들은 크기(N×N samples )의 매트릭스(S)로서 표현되고 다운믹싱 정보는 크기(M×N)의 매트릭스(D)로서 표현된다. 다운믹스 신호들은 그리고 나서 X = DS로서 획득될 수 있다.
다운믹싱 정보(D)는 이제 메타-오브젝트들을 위하여 두 부분으로 분할될 수 있다:
D = D FGO + D BGO
매트릭스(D)의 각각의 컬럼이 원래 오디오 오브젝트 신호와 상응하기 때문에, 두 성분의 다운믹스 매트릭스는 제로 내로 다른 메타-오브젝트와 상응하는, 컬럼들을 설정함으로써 획득될 수 있다(어떠한 원래 오브젝트도 두 메타-오브젝트 내에 존재할 수 없다고 가정하여). 바꾸어 말하면, 메타-오브젝트(배경 오브젝트)와 상응하는 컬럼들은 D FGO 내에서 제로로 설정되고 반대의 경우도 마찬가지이다.
이러한 새로운 다운믹싱 매트릭스들은 입력 오브젝트들로부터 두 개의 메타-오브젝트가 획득될 수 있는 방법을 기술하는데, 즉:
S FGO = D FGO S 및 S BGO = D BGO S이고,
실제 다운믹싱은 다음과 같이 단순화된다:
X = S FGO + S BGO .
또한 오브젝트(예를 들면, 공간적 오디오 오브젝트 코딩) 디코더가 메타-오브젝트들을 재구성하려고 시도하는 것이 고려될 수 있고:
Figure pct00008
다이얼로그 향상 특정 렌더링은 이러한 두 메타-오브젝트 재구성의 조합으로서 쓸 수 있다:
Figure pct00009
오브젝트 라우드니스 추정은 입력으로서 두 개의 메타-오브젝트(S FGO 및 S BGO )를 수신하고 그것들 각각의 라우드니스를 추정하는데, L FGO 는 S FGO 의 (총/전체) 라우드니스이고, L BGO 는 S BGO 의 (총/전체) 라우드니스이다. 이러한 라우드니스 값들은 전송되거나 및/또는 저장된다.
대안으로서, 메타오브젝트들 중 하나, 예를 들면 참조로서 전경 오브젝트를 사용하여, 다음과 같이 이러한 두 오브젝트의 라우드니스 차이를 계산하는 것이 가능하다:
△L FGO = L BGO - L FGO .
이러한 신호 값은 전송되거나 및/또는 저장된다.
도 8은 또 다른 실시 예에 따른 인코더를 도시한다. 도 8의 인코더는 오브젝트 다운믹서(811) 및 오브젝트 부가 정보 추정기(812)를 포함한다. 게다가, 도 8의 인코더는 오브젝트 라우드니스 인코딩 유닛(820)을 더 포함한다. 게다가, 도 8의 인코더는 메타 오디오 오브젝트 믹서(805)를 포함한다.
도 8의 인코더는 오브젝트 라우드니스 추정에 대한 입력으로서 중간 오디오 메타-오브젝트들을 사용한다. 실시 예들에서, 도 8의 인코더는 두 개의 메타-오브젝트를 발생시키도록 구성될 수 있다. 다른 실시 예들에서, 도 8의 인코더는 세 개 이상의 메타-오브젝트를 발생시키도록 구성될 수 있다.
그 중에서도, 제공되는 개념들은 인코더가 예를 들면 모든 입력 오브젝트의 평균 라우드니스를 추정할 수 았는 새로운 특징을 제공한다. 오브젝트들은 예를 들면, 전송되는 다운믹스 신호 내로 믹싱될 수 있다. 제공되는 개념들은 게다가 오브젝트 라우드니스 및 다운믹싱 정보가 예를 들면 전송되는 오브젝트-코딩 부가 정보 내에 포함될 수 있는 새로운 특징을 제공한다.
디코더는 예를 들면, 오브젝트들의 (가상) 분리를 위하여 오브젝트-코딩 부가 정보를 사용할 수 있고 렌더링 정보를 사용하여 오브젝트들을 재결합할 수 있다.
게다가, 제공되는 개념들은 다운믹싱 정보가 디폴트 다운믹스 신호의 라우드니스를 추정하기 위하여 사용될 수 있거나, 또는 렌더링 정보 및 수신된 오브젝트 라우드니스가 출력 신호의 평균 라우드니스를 추정하기 위하여 사용될 수 있거나, 및/또는 이러한 두 값으로부터 라우드니스 변화가 추정될 수 있는 새로운 특징을 제공한다. 또는, 다운믹싱 및 렌더링 정보는 제공되는 개념들의 새로운 특징인, 디폴트 다운믹스로부터 라우드니스 변화를 추정하도록 사용될 수 있다.
게다가, 제공되는 개념들은 변형된 신호의 평균 라우드니스가 디폴트 다운믹스의 평균 라우드니스와 일치하도록 디코더 출력이 라우드니스의 변화를 보상하기 위하여 변형될 수 있는 새로운 특징을 제공한다.
공간적 오디오 오브젝트 코딩-다이얼로그 향상과 관련된 특정 실시 예가 도 9에 도시된다. 시스템은 입력 오디오 오브젝트 신호들, 다운믹싱 정보, 및 메타-오브젝트들로의 오브젝트들의 그룹핑의 정보를 수신한다. 이것들을 기초로 하여, 메타 오디오 오브젝트 믹서(905)는 두 개의 메타-오브젝트(S FGO 및 S BGO )를 형성한다. 공간적 오디오 오브젝트 코딩으로 처리되는 신호의 부분이 전체 신호를 구성하지 않는 것이 가능하다. 예를 들면 5.1 채널 구성에서, 공간적 오디오 오브젝트 코딩은 전면 채널(왼쪽, 오른쪽, 및 중앙) 상과 같은, 채널들의 서브-셋 상에 전개될 수 있으나, 다른 채널들(왼쪽 서라운드, 오른쪽 서라운드, 및 저주파수 효과들)은 공간적 오디오 오브젝트 코딩 주위에(우회하여) 라우팅되고 그와 같이 전달된다. 공간적 오디오 오브젝트 코딩에 의해 처리되지 않는 이러한 채널들은 X bypass 로 표시된다. 라우드니스 정보의 더 정확한 추정을 위하여 인코더를 위한 가능한 우회 채널들이 제공될 필요가 있다.
우회 채널들이 다양한 방법으로 처리될 수 있다.
예를 들면, 우회 채널들은 독립적인 메타-오브젝트를 형성할 수 있다. 이는 세 개의 모든 메타-오브젝트가 독립적으로 스케일링되도록 렌더링의 정의를 허용한다.
또는, 예를 들면, 우회 채널들은 다른 두 메타-오브젝트 중 하나와 결합될 수 있다. 그러한 메타-오브젝트의 렌더링 설정들은 또한 우회 채널 부분을 제어한다. 예를 들면, 다이얼로그 향상 시나리오에서, 다음과 같이 우회 채널들을 배경 메타-오브젝트와 결합하는 것이 중요할 수 있다: X BGO = S BGO + X bypass .
또는, 예를 들면, 유회 채널들은 무시될 수 있다.
실시 예들에 따르면, 인코더의 오브젝트 기반 인코딩 유닛(210)은 오디오 오브젝트 신호들을 수신하도록 구성되고, 각각의 오디오 오브젝트 신호들은 정확하게 두 개의 그룹 중 정확하게 하나의 그룹에 할당되며, 정확하게 두 개의 그룹 각각은 하나 이상의 오디오 오브젝트 신호를 포함한다. 게다가, 오브젝트 기반 인코딩 유닛(210)은 인코딩된 오디오 신호로서 하나 이상의 다운믹스 오디오 채널을 포함하는 다운믹스 신호를 획득하기 위하여 정확하게 두 개의 그룹에 의해 포함되는, 오디오 오브젝트 신호들을 다운믹싱하도록 구성되고, 하나 이상의 다운믹스 오디오 채널의 수는 정확하게 두 개의 그룹에 의해 포함되는 오디오 오브젝트 신호들의 수보다 작다. 오브젝트 라우드니스 인코딩 유닛(220)은 하나 이상의 또 다른 우회 오디오 오브젝트 신호를 수신하도록 할당되고, 하나 이상의 또 다른 우회 오디오 오브젝트 신호 각각은 제 3 그룹에 할당되며, 하나 이상의 또 다른 우회 오디오 오브젝트 신호 각각은 제 1 그룹에 의해 포함되지 않고 제 2 그룹에 의해 포함되지 않으며, 오브젝트 기반 인코딩 유닛(210)은 하나 이상의 또 다른 우회 오디오 오브젝트 신호를 다운믹스 신호와 다운믹싱하지 않도록 구성된다.
일 실시 예에서, 오브젝트 라우드니스 인코딩 유닛(220)은 라우드니스 정보의 제 1 라우드니스 값, 제 2 라우드니스 값 및 제 3 라우드니스 값을 결정하도록 구성되는데, 제 1 라우드니스 값은 제 1 그룹의 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내고, 제 2 라우드니스 값은 제 2 그룹의 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내며, 제 3 라우드니스 값은 제 3 그룹의 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타낸다. 또 다른 실시 예에서, 오브젝트 라우드니스 인코딩 유닛(220)은 라우드니스 정보의 제 1 라우드니스 값 및 제 2 라우드니스 값을 결정하도록 구성되는데, 제 1 라우드니스 값은 제 1 그룹의 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내고, 제 2 라우드니스 값은 제 2 그룹의 하나 이상의 오디오 오브젝트 신호 및 제 3 그룹의 하나 이상의 또 다른 우회 오디오 오브젝트 신호의 총 라우드니스를 나타낸다.
일 실시 예에 따르면, 인코더의 수신 인터페이스(110)는 다운믹스 신호를 수신하도록 구성된다. 게다가, 수신 인터페이스(110)는 하나 이상의 또 다른 우회 오디오 오브젝트 신호를 수신하도록 구성되고, 하나 이상의 또 다른 우회 오디오 오브젝트 신호는 다운믹스신호 내에 믹싱되지 않는다. 게다가, 수신 인터페이스(110)는 다운믹스 신호 내에 믹싱되는 오디오 오브젝트 신호들의 라우드니스에 대한 정보를 나타내고 다운믹스 신호 내에 믹싱되지 않는 하나 이상의 또 다른 우회 오디오 오브젝트 신호의 라우드니스에 대한 정보를 나타내는 라우드니스 정보를 수신하도록 구성된다. 게다가, 신호 프로세서(120)는 다운믹스 신호 내에 믹싱되는 오디오 오브젝트 신호들의 라우드니스에 대한 정보에 의존하고, 다운믹스 신호 내에 믹싱되지 않는 하나 이상의 또 다른 우회 오디오 오브젝트 신호의 라우드니스에 대한 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성된다.
도 9는 우회 채널들을 포함하는, 공간적 오디오 오브젝트 코딩-다이얼로그 향상과 관련된 일 실시 예에 따른 인코더 및 디코더를 도시한다. 그 중에서도, 도 9의 인코더는 공간적 오디오 오브젝트 코딩 인코더(902)를 포함한다.
도 9의 실시 예에서, 우회 채널들의 다른 메타-오브젝트들과의 가능한 결합이 포함된 우회 채널들로부터 정의된 부분들로 메타-오브젝트들(X FGO 및 X BGO )을 생산하는, 두 "우회 포함" 블록(913, 914)에서 발생한다.
이러한 메타-오브젝트 모두의 지각적 라우드니스(L BYPASS , L FGO , 및 L BGO )는 라우드니스 추정 유닛들(921, 922, 923) 내에서 추정된다. 이러한 라우드니스 정보는 그리고 나서 메타-오브젝트 라우드니스 정보 추정기(925) 내의 적절한 인코딩으로 변환되고 그리고 나서 전송되거나 및/또는 저장된다.
실제 공간적 오디오 오브젝트 코딩 인코더 및 디코더는 예상되는 오브젝트들로부터 오브젝트 부가 정보의 추출, 다운믹스 신호(X)의 생성, 및 디코더로의 정보의 전송 및/또는 저장으로서 작동한다. 가능한 우회 채널들이 다른 정보와 함께 디코더로 전송되거나 및/또는 저장된다.
공간적 오디오 오브젝트 코딩-다이얼로그 향상 디코더(945)는 사용자 입력으로서 이득 값 "다이얼로그 이득"을 수신한다. 이러한 입력 및 수신된 다운믹싱 정보를 기초로 하여, 공간적 오디오 오브젝트 코딩 디코더(945)는 렌더링 정보를 결정한다. 공간적 오디오 오브젝트 코딩 디코더(945)는 그리고 나서 신호(Y)로서 렌더링된 출력 장면을 생산한다. 이에 더하여, 공간적 오디오 오브젝트 코딩 디코더는 가능한 우회 신호들(Y BYPASS ) 상에서 적용되어야만 하는 이득 인자(및 지연 값)를 생산한다.
"우회 포함" 유닛(955)은 렌더링된 출력 장면 및 우회 신호들과 함께 이러한 정보를 수신하고 완전한 출력 장면 신호를 생성한다. 공간적 오디오 오브젝트 코딩 디코더(945)는 또는 메타-오브젝트 이득 값들의 세트, 메타-오브젝트 그룹핑에 의존하는 이것들의 양 및 원하는 라우드니스 정보 형태를 생산한다.
이득 값들은 또한 인코더로부터 메타-오브젝트 라우드니스 정보를 수신하는 혼합 라우드니스 추정기(mixture loudness estimator, 960)에 제공된다.
혼합 라우드니스 추정기(960)는 그리고 나서 다운믹스 신호, 렌더링된 출력 장면의 라우드니스, 및/또는 다운믹스 신호와 렌더링된 출력 장면 사이의 차이를 포함할 수 있으나 이에 한정되지 않는, 원하는 라우드니스 정보를 결정할 수 았다.
일부 실시 예들에서, 라우드니스 정보는 자체로 충분하나, 다른 실시 예들에서, 결정된 라우드니스 정보에 의존하여 완전한 출력을 처리하는 것이 바람직하다. 이러한 처리는 예를 들면, 다운믹스 신호 및 렌더링된 출력 장면 사이의 라우드니스의 어떠한 차이의 보상일 수 있다. 예를 들면 라우드니스 처리 유닛(970)에 의한, 그러한 처리는 방송 장면에서 타당할 수 있는데 그 이유는 사용자 상호작용(입력 "다이얼로그 이득"의 설정)과 관계없이 지각된 신호 라우드니스의 변화를 감소시킬 수 있기 때문이다.
이러한 특정 실시 예에서의 라우드니스 관련 처리는 복수의 새로운 특징을 포함한다. 그 중에서도, 다운믹싱이 간단하게 새로운 특징을 구성하는, 두 개의 사전 믹싱된 신호들에 의해 함께(예를 들면, 1의 다운믹스 매드릭스 계수들) 수행되도록 전경 오브젝트, 배경 오브젝트, 및 가능한 우회 채널들이 최종 채널 구성 내로 사전 믹싱된다. 게다가, 미래의 새로운 특징으로서, 전경 오브젝트 및 배경 오브젝트의 평균 라우드니스가 추정되고, 차이가 계산된다. 게다가, 오브젝트들이 전송되는 다운믹스 신호 내로 믹싱된다. 게다가, 미래의 새로운 특징으로서, 라우드니스 차이가 전송되는 부가 정보에 포함된다. 게다가, 디코더는 오브젝트들의 (가상) 분리를 위하여 부가 정보를 사용하고 다운믹싱 정보 및 사용자 입력 변형 이득을 기초로 하는 렌더링 정보를 사용하여 오브젝트들을 재결합한다. 게다가, 또 다른 새로운 특징으로서, 디코더는 디폴트 다운믹스와 비교하여 시스템 출력의 평균 라우드니스의 변화를 추정하기 위하여 변형 이득 및 전송된 라우드니스 정보를 사용한다.
다음에서, 실시 예들의 공식의 설명이 제공된다.
오브젝트들을 더할 때 오브젝트 라우드니스 값들이 에너지 값들의 로그 대수와 유사하다고 가정하면, 라우드니스 값들은 선형 도메인으로 변환되어야만 하고, 거기서 더해지며, 최종적으로 로그 대수 도메인으로 다시 변환된다. BS. 1770 라우드니스 측정의 정의를 통한 이의 동기유발이 이제 제안될 것이다(단순성을 위하여, 채널들의 수는 하나로 설정되나, 동일한 원리가 채널들에 대한 적절한 합계를 갖는 다중 채널 신호들 상에 적용될 수 있다).
평균 제곱 에너지(e i )를 갖는, i번째 K-필터링된 신호(z i )의 라우드니스는 다음과 같이 정의되고,
Figure pct00010
여기서 c는 오프셋 상수이다. 예를 들면, c는 -0,691일 수 있다. 이로부터, 다음을 갖는 라우드니스로부터 신호의 에너지가 결정될 수 있다:
Figure pct00011
N 비-상관 신호들(
Figure pct00012
)의 합계의 에너지는 그리고 나서 다음과 같으며,
Figure pct00013
그때 이러한 합계 신호의 라우드니스는 다음과 같다:
Figure pct00014
만일 신호들이 상관되지 않으면, 다음과 같이 합계 신호의 에너지의 근사치를 계산할 때 상관 계수들(C i,j )이 고려되어야만 하는데,
Figure pct00015
여기서 i번째 및 j번째 오브젝트들 사이의 크로스-에너지(e i,j )는 다음과 같이 정의되는데,
Figure pct00016
여기서 -1≤C i,j ≤1은 두 오브젝트(i 및 j) 사이의 상관 계수이다.
두 오브젝트가 상관되지 않을 때, 상관 계수는 0과 동일하고, 두 오브젝트가 동일할 때, 상관 계수는 1과 동일하다.
믹싱 과정 내의 신호들, 즉
Figure pct00017
상에 적용되도록 하기 위하여 믹싱 가중들(g)을 갖는 모델로 더 확장하면, 합계 신호의 에너지는 다음과 같을 것이고,
Figure pct00018
이전과 같이 다음과 함께, 이로부터 혼합 신호 내의 라우드니스가 획득될 수 있다:
Figure pct00019
두 신호의 라우드니스의 차이는 다음과 같이 추정될 수 있다:
△L(i,j) = L i - L j
만일 이전과 같이 라우드니스의 정의가 지금 사용되면, 이는 신호 에너지들의 함수가 되도록 관찰될 수 있는, 다음과 같을 수 있다.
Figure pct00020
만일 이제 가능하게는 다른 혼합 가중들(g i 및 h i )을 갖는 다음과 같은 두 혼합물 사이의 라우드니스 차이를 추정하려고 하면,
Figure pct00021
이고,
이는 다음으로 추정될 수 있다.
Figure pct00022
오브젝트들이 상관되지 않는 경우에(
Figure pct00023
), 차이 추정은 다음과 같이 된다:
Figure pct00024
다음에서, 차동 인코딩(differential encoding)이 고려된다.
선택된 기준 오브젝트의 라우드니스로부터의 차이들로서 오브젝트 당 라우드니스 값들을 인코딩하는 것이 가능한데,
K i = L i - L REF ,
여기서 L REF 는 기준 오브젝트의 라우드니스이다. 이러한 인코딩은 그 결과로서 어떠한 절대 라우드니스 값이 필요하지 않을 때 유리한데, 그 이유는 이제 하나의 값을 덜 전송하는 것이 필하기 때문이며, 라우드니스 차이 추정은 다음과 같을 수 있거나,
Figure pct00025
또는 비-상관된 오브젝트들의 경우에 다음과 같을 수 있다:
Figure pct00026
다음에서, 다이얼로그 향상 시나리오가 고려된다. 다시 다이얼로그 향상의 적용 시나리오가 고려된다. 디코더 내의 렌더링 정보의 정의의 자유는 두 메타-오브젝트의 레벨의 변화에서만 한정된다. 게다가 두 메타-오브젝트가 상관되지 않는 것으로, 즉 C FGO,BGO = 0으로 가정된다. 만일 메타-오브젝트들의 다운믹싱 가중들이 h FGO 및 h BGO 이면, 그것들은 이득들(f FGO 및 f BGO )로 렌더링되고, 디폴트 다운믹스에 대한 출력의 라우드니스는 다음과 같다:
Figure pct00027
만일 디폴트 다운믹스에서와 같이 출력 내에 동일한 라우드니스를 갖는 것이 바람직하면 이는 그때 또한 필요한 보상이다.
△L(A,B)는 디코더의 신호 프로세서(120)에 의해 전송될 수 있는, 라우드니스 보상 값으로서 고려될 수 있다. △L(A,B)는 또한 라우드니스 변화 값으로 불릴 수 있고 따라서 실제 보상 값은 역 값일 수 있다. 또는 이의 명명을 위하여 "라우드니스 보상 인자"를 사용하는 것이 가능하다. 따라서, 이전에 언급된 라우드니스 보상 값(lcv)은 아래의 값(gDelta)과 상응할 수 있다.
예를 들면,
Figure pct00028
은 오디오 입력 신호에 대한 렌더링 정보의 적용으로부터 야기하는 변형된 오디오 신호의 각각의 채널 상의 곱셈 인자로서 적용될 수 있다. gDelta을 위한 이러한 방정식은 선형 도메인 내에서 작동한다. 로그 대수 도메인에서, 방정식은 1/△L(A,B)과 같이 다를 수 있고 이에 알맞게 적용된다.
만일 다운믹스 신호를 획득하기 위하여 두 메타-오브젝트가 통합 가중들로 믹싱되는 것과 같이 다운믹싱 처리가 단순화되면, h FGO = h BGO = 1이고, 이제 이러한 두 오브젝트를 위한 렌더링 이득들은 g FGO 및 g BGO 로 표시된다. 이는 다음으로의 라우드니스 변화를 위한 방정식을 단순화한다:
Figure pct00029
다시, △L(A,B)는 신호 프로세서(120)에 의해 결정되는 라우드니스 보상 값으로서 고려될 수 있다.
일반적으로, g FGO 는 전경 오브젝트(FGO, 전경 오브젝트 그룹)를 위한 렌더링 이득으로서 고려될 수 있고, g BGO 는 배경 오브젝트(BGO, 배경 오브젝트 그룹)를 위한 렌더링 이득으로서 고려될 수 있다.
이전에 언급된 것과 같이, 절대 라우드니스 대신에 라우드니스 차이를 전송하는 것이 가능하다. 전경 오브젝트 메타-오브젝트로서 기준 라우드니스를 정의하면(L REF = L FGO ), K FGO = L FGO - L REF = 0이고 K BGO = L BGO - L REF = L BGO - L FGO 이다. 이제 라우드니스 변화는 다음과 같다:
Figure pct00030
또한 공간적 오디오 오브젝트 코딩-다이얼로그 향상에서와 같이, 두 메타-오브젝트가 개별 스케일링 인자들을 갖지 않을 수 있고, 오브젝트들 중 하나는 왼쪽 비-변형되고, 나머지는 오브젝트들 사이의 정확한 믹싱 비율을 획득하기 위하여 감쇠된다. 이러한 렌더링 설정에서, 출력은 디폴프 혼합물에서보다 라우드니스가 낮을 것이며, 라우드니스의 변화는 다음과 같으며,
Figure pct00031
여기서
Figure pct00032
이다.
이러한 형태는 이미 상당히 간단하고, 사용된 라우드니스 측정에 대하여 상당히 사용 가능하다. 실제로 유일한 필요사항은 라우드니스 값들이 지수 도메인(exponential domain) 내에서 더해져야 한다는 것이다. 라우드니스 값들 대신에 신호 에너지들의 값들을 전송/저장하는 것이 가능한데, 그 이유는 둘 모두 밀접한 관계를 갖기 때문이다.
위의 공식들 각각에서, △L(A,B)는 디코더의 신호 프로세서(120)에 의해 전송될 수 있는, 라우드니스 보상 값으로서 고려될 수 있다.
다음에서, 예시의 경우들이 고려된다. 제공되는 개념들이 정확도가 두 실시 예의 신호들을 통하여 도시된다. 두 신호 모두는 공간적 오디오 오브젝트 코딩 처리로부터 우회되는 서라운드 및 저주파수 효과(LFE) 채널들을 갖는 5.1 다운믹스를 갖는다.
두 가지 주요 접근법이 사용되는데, 하나("3-항")는 예를 들면 다음과 같이, 세 개의 메타-오브젝트(전경 오브젝트, 배경 오브젝트, 및 우회 채널들)를 갖는다:
X = X FGO + X BGO + X BYPASS .
나머지 하나("2-항")는 예를 들면 다음과 같이, 두 개의 메타-오브젝트를 갖는다:
X = X FGO + X BGO .
2-항 접근법에서, 우회 채널들은 메타-오브젝트 라우드니스 추정을 위하여 예를 들면, 배경 오브젝트와 함께 믹싱될 수 있다. 두 오브젝트 모두(또는 세 개 모두)뿐만 아니라 다운믹스 신호의 라우드니스가 추정되고, 값들이 저장된다.
렌더링 명령들은 다음의 형태이고:
Figure pct00033
각각 두 접근법을 위하여 다음과 같다:
Figure pct00034
이득 값들은 예를 들면, 다음에 따라 결정되는데:
Figure pct00035
,
여기서 전경 오브젝트 이득(g FGO )은 -24 및 +24 dB 사이에서 변경된다.
출력 시나리오가 렌더링되고, 라우드니스가 측정되며, 다운믹스 신호의 라우드니스로부터 감쇠가 계산된다.
이러한 결과가 원형 표시의 청색 선으로 도 10 및 11에 표시된다.도 10은 측정된 라우드니스 변화 및 순수하게 파라미터 방식으로 라우드니스의 변화를 추정하기 위하여 제공된 개념들을 사용한 결과의 제 1 도해를 도시하고 도 11은 제 2 도해를 도시한다.
그 다음에, 다운믹스로부터의 감쇠가 저장된 메타-오브젝트 라우드니스 값들 및 다운믹싱과 렌더링 정보를 사용하여 파라미터로 추정된다. 세 개의 메타-오브젝트의 라우드니스를 사용한 추정이 정사각형 표시의 녹색 선으로 표시되고, 두 개의 메타-오브젝트의 라우드니스를 사용한 추정이 별 표시의 적색 선으로 표시된다.
도면들로부터, 2- 및 3-항 접근법들이 실제로 동일한 결과를 제공하고, 그것들 모두가 또한 측정된 값에 근접한 것을 알 수 있다.
제공되는 개념들은 다수의 장점을 나타낸다. 예를 들면, 제공되는 개념들은 혼합물을 형성하는 상분 신호들의 라우드니스로부터 혼합 신호의 라우드니스의 추정을 허용한다. 이러한 장점은 성분 신호 라우드니스가 한번 추정되고, 혼합 신호의 라우드니스 추정이 실제 신호 기반 라우드니스 추정의 필요성 없이 어떠한 혼합물을 위하여 파라미터로 획득될 수 있다는 것이다. 이는 다양한 혼합물의 라우드니스 추정이 필요한 전체 시스템의 계산 효율성에서의 상당한 향상을 제공한다. 예를 들면, 최종 사용자가 렌더링 설정을 변경할 때, 출력의 라우드니스 출력이 즉시 이용 가능하다.
국제 전기 통신 연합 R128 권고에 따를 때와 같은, 일부 적용들에서, 전체 프로그램에 대한 평균 라우드니스는 중요하다. 만일 예를 들면 방송 장면 내의 수신기 내의 라우드니스 추정이 수신된 신호를 기초로 하여 수행되면, 추정은 전체 프로그램이 수신된 후에만 평균 라우드니스로 수렴한다. 이 때문에, 라우드니스의 어떠한 보상도 오류들을 갖거나 또는 시간적 변이들을 나타낼 것이다. 제안된 것과 같이 성분 오브젝트들의 라우드니스를 추정하고 라우드니스 정보를 전송할 때, 지연 없이 수신기 내의 평균 혼합물 라우드니스를 추정하는 것이 가능하다.
출력 신호의 평균 라우드니스가 렌더링 정보의 변화와 관계없이 (대략) 일정하게 유지되고, 이러한 이유로 제공된 개념들이 보상 인자의 결정을 허용하는 것이 바람직하다. 디코더에서 이에 필요한 계산들은 그것들의 계산적 복잡성으로부터 무시되고, 따라서 기능은 어떠한 디코더에도 추가될 수 있다.
출력의 절대 라우드니스 레벨이 중요하지 않으나 그준 장면으로부터 라우드니스의 변화를 결정하는 것이 중요한 경우들이 존재한다. 그러한 경우들에서 오브젝트들의 절대 레벨은 중요하지 않으나, 그것들의 상대적 레벨들은 중요하다. 이는 기준 오브젝트로서 오브젝트들 중 하나를 정의하고 이러한 기준 오브젝트의 라우드니스에 대하여 다른 오브젝트들의 라우드니스를 표현하도록 허용한다. 이는 라우드니스 정보의 전송 및/또는 저장을 고려할 대 일부 장점을 갖는다.
무엇보다도, 기준 라우드니스 레벨을 전송할 필요가 없다. 두 메타-오브젝트의 적용의 경우에서, 이는 전송되려는 데이터의 양을 반으로 감소시킨다. 두 번째 장점은 가능한 양자화 및 라우드니스 값들이 표현에 관한 것이다. 오브젝트들의 절대 레벨들이 거의 모든 것이 될 수 있기 대문에, 절대 라우드니스 값들이 또한 거의 모든 것이 될 수 있다. 다른 한편으로 상대적 절대 값이 0 평균 및 평균 주위의 상당히 잘 형성된 분포를 갖는 것으로 추정된다. 표현들 사이의 차이는 양자화된 표현을 위하여 사용되는 비트들이 동일한 수로 잠재적으로 더 큰 정확도를 갖는 방법으로 상대적 표현의 양자화 그리드(quantization grid)의 정의를 허용한다.
도 12는 라우드니스 보상을 수행하기 위한 또 다른 실시 예들 도시한다. 도 12에서, 라우드니스 보상은 예를 들면, 라우드니스에서의 손실을 보상하도록 수행될 수 있다. 이러한 목적을 위하여, 예를 들면 DE_control_info로부터의 값들(DE_loudness_diff_dialogue (= K FGO ) 및 DE_loudness_diff_background (= K BGO ))이 사용될 수 있다. 여기서, DE_control_info는 고급 클린 오디오(Advanced Clean Audio) "다이올로그 향상) 제어 정보를 지정할 수 있다.
라우드니스 보상은 공간적 오디오 오브젝트 코딩-다이얼로그 향상 출력 신호 및 우회된 채널들(다중 채널 신호의 경우) 상에 이득 값("g")을 적용함으로써 달성된다.
도 12의 실시 예에서, 이는 다음과 같이 수행된다:
전경 오브젝트(FGO, 예를 들면 다이얼로그) 및 배경 오브젝트(BGO, 예를 들면 앰비언스(ambience))를 위한 효율적인 이득들을 결정하기 위하여 제한된 다이얼로그 변형 이득 값(m G )이 사용된다. 이는 이득 값들(m FGO 및 m BGO )을 생산하는 ("이득 매핑(gain mapping)" 블록(1220)에 의해 수행된다.
"출력 라우드니스 추정기" 블록(1230)은 디폴트 다운믹스 경우와 비교하여 이러한 가능한 라우드니스의 변화를 추정하기 위하여 라우드니스 정보(K FGO 및 K BGO ) 및 효율적인 이득 값들(m FGO 및 m BGO )을 사용한다. 변화는 그리고 나서 최종 "출력 신호들"의 생산을 위하여 출력 채널들 상에 적용되는 "라우드니스 보상 인자" 내로 매핑된다.
라우드니스 보상을 위하여 다음의 단계들이 적용된다:
- 공간적 오디오 오브젝트 코딩-다이얼로그 향상 디코더(조항 12.8 "공간적 오디오 오브젝트 코딩-다이얼로그 향상을 위한 변형 범위 제어"[DE]에서 정의된 것과 같이)로부터 제한된 이득 값(m G )을 수신하고, 적용된 전경 오브젝트/배경 오브젝트 이득들을 결정하는 단계;
Figure pct00036
.
- 메타-오브젝트 라우드니스 정보(K FGO 및 K BGO )를 획득하는 단계.
- 아래와 같이 디폴트 다운믹스와 비교하여 출력 라우드니스의 변화를 계산하는 단계:
Figure pct00037
- 라우드니스 보상 이득(g△ = 10-0.05△ L )을 계산하는 단계.
- 스케일링 인자들(
Figure pct00038
)을 계산하는 단계를 포함하되,
Figure pct00039
이고, N은 출력 채널들의 총 수이다. 도 12에서, 이득 조정은 두 단계로 세분된다:
가능한 "우회 채널들의 이득"은 그것들을 "공간적 오디오 오브젝트 코딩-다이얼로그 향상 출력 채널들"과 결합하기 전에 m BGO 로 조정되고, 그리고 나서 공통 이득(g△)이 모든 결합된 채널 상에 적용된다. 이는 단지 이득 조정 연산들의 가능한 재배열이나, g는 여기서는 두 이득 조정 단계를 하나의 이득 조정으로 결합한다.
- "공간적 오디오 오브젝트 코딩-다이얼로그 향상 출력 채널들(Y SAOC )" 및 가능한 시간-정렬된 "우회 채널들(Y BYPASS )"로 구성되는 오디오 채널들(Y FULL ) 상에 스케일링 값들(g)을 적용하는 단계:
T FULL = Y SAOC ∪ Y BYPASS
오디오 채널들(Y FULL ) 상에 스케일링 값들(g)을 적용하는 단계는 이득 조정 유닛(1240)에 의해 수행된다.
위에 계산된 것과 같이 △L은 라우드니스 보상 값으로서 고려된다. 일반적으로, m FGO 는 전경 오브젝트(FGO, 전경 오브젝트 그룹)를 위한 렌더링 이득을 나타내고, m BGO 는 배경 오브젝트(FGO, 배경 오브젝트 그룹)를 위한 렌더링 이득을 나타낸다.
장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것을 이해하여야 한다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 장치의 블록 또는 아이템 또는 특징의 설명을 나타낸다.
본 발명의 분해된 신호는 디지털 저장 매체 상에서 저장될 수 있거나 또는 무선 전송 매체 또는 인터넷과 같은 유선 전송 매체와 같은 전송 매체 상에서 전송될 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 예를 들면, 각각의 방법이 실행될 것과 같이 프로그램가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 디지털 저장 매체, 예를 들면, 플로피 디스크, DVD, CD< ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 비-일시적 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 그 안에 기록된, 컴퓨터 프로그램을 포함하는, 데이터 캐리어(또는 데이터 저장 매체, 또는 컴퓨터 판독가능 매체)이다.
따라서, 본 발명의 방법의 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 그 안에 설치된 컴퓨터 프로그램을 갖는 컴퓨터를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모든 기능을 실행하기 위하여 프로그램가능 논리 장치(예를 들면 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치의 일부분 상에서 실행된다.
위에 설명된 실시 예들은 단지 본 발명의 원리들의 설명을 나타낸다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해하여야 한다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용에 의해서가 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
참고문헌
[BCC] C. Faller and F. Baumgarte, “Binaural Cue Coding - Part II: Schemes and applications,” IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
[EBU] EBU Recommendation R 128 “Loudness normalization and permitted maximum level of audio ignals”, Geneva,2011.
[JSC] C. Faller, “Parametric Joint-Coding of Audio Sources”, 120th AES Convention, Paris,2006.
[ISS1] M. Parvaix and L. Girin: “Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding”, IEEE ICASSP, 2010.
[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: “A watermarking-based method for informed source separation of audio signals with a single sensor”, IEEE Transactions on Audio, Speech and Language Processing, 2010.
[ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: “Informed source separation through spectrogram coding and data embedding”, Signal Processing Journal, 2011.
[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: “Informed source separation: source coding meets source separation”, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
[ISS5] S. Zhang and L. Girin: “An Informed Source Separation System for Speech Signals”, INTERSPEECH, 2011.
[ISS6] L. Girin and J. Pinel: “Informed Audio Source Separation from Compressed Linear Stereo Mixtures”, AES 42nd International Conference: Semantic Audio, 2011.
[ITU] International Telecommunication Union: “Recommendation ITU-R BS.1770-3 Algorithms to measure audio programme loudness and true-peak audio level”, Geneva,2012.
[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: “From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio”, 22nd Regional UKAESConference,Cambridge,UK,April2007.
[SAOC2] J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: “Spatial Audio Object Coding (SAOC) The Upcoming MPEG Standard on Parametric Object Based Audio Coding”, 124th AES Convention, Amsterdam 2008.
[SAOC] ISO/IEC, “MPEG audio technologies Part 2: Spatial Audio Object Coding (SAOC),” ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.
[EP] EP 2146522 A1: S. Schreiner, W. Fiesel, M. Neusinger, O. Hellmuth, R. Sperschneider, ”Apparatus and method for generating audio output signals using object based metadata“, 2010.
[DE] ISO/IEC, “MPEG audio technologies Part 2: Spatial Audio Object Coding (SAOC) Amendment 3, Dialogue Enhancement,” ISO/IEC 23003-2:2010/DAM 3, Dialogue Enhancement.
[BRE] WO 2008/035275 A2.
[SCH] EP 2 146 522 A1.
[ENG] WO 2008/046531 A1.
110 : 수신 인터페이스
120 : 신호 프로세서
210 : 오브젝트 기반 인코딩 유닛
220 : 오브젝트 라우드니스 인코딩 유닛
310 : 인코더
320 : 디코더
410 : 공간적 오디오 오브젝트 코딩 인코더
420 : 공간적 오디오 오브젝트 코딩 디코더
510 : 부가 정보 디코더
520 : 오브젝트 분리기
530 : 렌더러
710 : 오브젝트 기반 인코딩 유닛
720 : 오브젝트 라우드니스 인코딩 유닛
730 : 전송 스트림
740 : 라우드니스 추정기
750 : 오브젝트 기반 오디오 디코딩 유닛
805 : 메타 오디오 오브젝트 믹서
811 :오브젝트 다운믹서
812 : 오브젝트 부가 정보 추정기
820 : 오브젝트 라우드니스 인코딩 유닛
902 : 공간적 오디오 오브젝트 코딩 인코더
905 : 메타 오디오 오브젝트 믹서
921, 922, 923 : 라우드니스 추정 유닛
925 : 메타-오브젝트 라우드니스 정보 추정기
945 : 공간적 오디오 오브젝트 코딩-다이얼로그 향상 디코더
955 : 우회 포함 유닛
960 : 혼합 라우드니스 추정기
970 : 라우드니스 처리 유닛
1220 : 이득 매핑 블록
1230 : 출력 라우드니스 추정기 블록

Claims (21)

  1. 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더에 있어서,
    복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 수신하기 위한, 상기 오디오 오브젝트 신호들에 대한 라우드니스 정보를 수신하기 위한, 그리고 하나 이상의 상기 오디오 오브젝트 신호가 증폭되어야 하는지 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하기 위한, 수신 인터페이스(110); 및
    상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키기 위한 신호 프로세서(120);를 포함하고,
    상기 신호 프로세서(120)는 상기 라우드니스 정보에 의존하고 상기 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성되고,
    상기 신호 프로세서(120)는 상기 렌더링 정보에 의존하고 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  2. 제 1항에 있어서, 상기 신호 프로세서(120)는 상기 오디오 출력 신호의 라우드니스가 상기 오디오 입력 신호의 라우드니스와 동일하도록 하기 위하여 혹은 상기 오디오 출력 신호의 라우드니스가 상기 렌더링 정보에 따른 상기 오디오 입력 신호의 상기 오디오 오브젝트 신호들을 증폭하거나 또는 감쇠함으로써 상기 오디오 입력 신호의 변형을 야기할 수 있는 변형된 오디오 신호의 라우드니스보다 상기 오디오 입력 신호의 라우드니스에 더 가깝도록 하기 위하여, 상기 렌더링 정보에 의존하고 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  3. 제 2항에 있어서,
    상기 신호 프로세서(120)는 상기 렌더링 정보에 따라 상기 오디오 입력 신호의 상기 오디오 오브젝트 신호들의 증폭 또는 감쇠에 의해 상기 오디오 입력 신호를 변형시킴으로써 상기 변형된 오디오 신호를 발생시키도록 구성되고,
    상기 신호 프로세서(120)는 상기 오디오 출력 신호의 라우드니스가 상기 오디오 입력 신호의 라우드니스와 동일하도록 하기 위하여, 혹은 상기 오디오 출력 신호의 라우드니스가 상기 변형된 오디오 신호의 라우드니스보다 상기 오디오 입력 신호의 라우드니스와 더 가깝도록 하기 위하여, 상기 변형된 오디오 신호에 대한 상기 라우드니스 보상 값을 적용함으로써 상기 오디오 출력 신호를 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  4. 제 1항 내지 3항 중 어느 한 항에 있어서,
    상기 오디오 입력 신호의 각각의 상기 오디오 오브젝트 신호들은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당되고, 상기 두 개 이상의 그룹 각각은 상기 오디오 입력 신호의 상기 하나 이상의 오디오 오브젝트 신호를 포함하며,
    상기 수신 인터페이스(110)는 상기 라우드니스 정보로서 상기 두 개 이상의 그룹의 각각의 그룹을 위한 라우드니스 값을 수신하도록 구성되며,
    상기 신호 프로세서(120)는 각각의 상기 두 개 이상의 그룹의 상기 라우드니스 값에 의존하여 상기 라우드니스 보상 값을 결정하도록 구성되며,
    상기 신호 프로세서(120)는 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  5. 제 4항에 있어서, 상기 두 개 이상의 그룹 중 적어도 하나의 그룹은 두 개 이상의 상기 오디오 오브젝트 신호를 포함하는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  6. 제 1항 내지 3항 중 어느 한 항에 있어서,
    상기 오디오 입력 신호의 각각의 상기 오디오 오브젝트 신호들은 상기 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당되고, 상기 두 개 이상의 그룹 각각은 상기 오디오 입력 신호의 하나 이상의 상기 오디오 오브젝트 신호를 포함하며,
    상기 수신 인터페이스(110)는 상기 라우드니스 정보로서 상기 두 개 이상의 그룹의 각각의 그룹에 대한 라우드니스 값을 수신하도록 구성되며,
    상기 신호 프로세서(120)는 상기 두 개 이상의 그룹 각각의 상기 라우드니스 값에 의존하여 상기 라우드니스 보상 값을 결정하도록 구성되며,
    상기 신호 프로세서(120)는 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  7. 제 6항에 있어서, 상기 두 개 이상의 그룹 중 적어도 하나의 그룹은 두 개 이상의 상기 오디오 오브젝트 신호를 포함하는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  8. 제 4항 내지 7항 중 어느 한 항에 있어서,
    상기 신호 프로세서(120)는 다음의 공식에 따라:
    Figure pct00040

    또는 다음의 공식에 따라:
    Figure pct00041

    상기 라우드니스 보상 값을 결정하도록 구성되며,
    여기서 ΔL은 상기 라우드니스 보상 값이고,
    i는 상기 오디오 오브젝트 신호들의 i번째 오디오 오브젝트 신호를 나타내며,
    L i 는 상기 i번째 오디오 오브젝트 신호의 라우드니스이며,
    g i 는 상기 i번째 오디오 오브젝트 신호에 대한 제 1 믹싱 가중이며,
    h i 는 상기 i번째 오디오 오브젝트 신호에 대한 제 2 믹싱 가중이며,
    c는 상수 값이며,
    N은 수(number)인, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  9. 제 4항 내지 7항 중 어느 한 항에 있어서,
    상기 신호 프로세서(120)는 다음의 공식에 따라 상기 라우드니스 보상 값을 결정하도록 구성되며:
    Figure pct00042

    여기서 ΔL은 상기 라우드니스 보상 값이고,
    i는 상기 오디오 오브젝트 신호들의 i번째 오디오 오브젝트 신호를 나타내며,
    g i 는 상기 i번째 오디오 오브젝트 신호에 대한 제 1 믹싱 가중이며,
    h i 는 상기 i번째 오디오 오브젝트 신호에 대한 제 2 믹싱 가중이며,
    N은 수(number)이며,
    K i 는 다음에 따라 정의되며:
    K i = L i - L REF ,
    여기서 L i 는 상기 i번째 오디오 오브젝트 신호의 라우드니스이며,
    L REF 는 기준 오브젝트의 상기 라우드니스인, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  10. 제 4항 또는 5항에 있어서,
    상기 오디오 입력 신호의 각각의 상기 오디오 오브젝트 신호들은 상기 두 개 이상의 그룹으로서 정확하게 두 개의 그룹 중 정확하게 하나의 그룹에 할당되고,
    상기 오디오 입력 신호의 상기 각각의 오디오 오브젝트 신호들은 상기 정확하게 두 개의 그룹 중 전경 오브젝트 그룹에 할당되거나 또는 상기 정확하게 두 개의 그룹 중 배경 오브젝트 그룹에 할당되며,
    상기 수신 인터페이스(110)는 상기 전경 오브젝트 그룹의 상기 라우드니스 값을 수신하도록 구성되며,
    상기 수신 인터페이스(110)는 상기 배경 오브젝트 그룹의 상기 라우드니스 값을 수신하도록 구성되며,
    상기 신호 프로세서(120)는 상기 전경 오브젝트 그룹의 상기 라우드니스 값에 의존하고 상기 배경 오브젝트 그룹의 상기 라우드니스 값에 의존하여 상기 라우드니스 보상 값을 결정하도록 구성되며,
    상기 신호 프로세서(120)는 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  11. 제 10항에 있어서,
    상기 신호 프로세서(120)는 다음의 공식에 따라 상기 라우드니스 보상 값을 결정하도록 구성되며:
    Figure pct00043

    여기서 ΔL은 상기 라우드니스 보상 값을 나타내고,
    K FGO 는 상기 전경 오브젝트 그룹의 상기 라우드니스 값을 나타내며,
    K BGO 는 상기 배경 오브젝트 그룹의 상기 라우드니스 값을 나타내며,
    m FGO 는 상기 전경 오브젝트 그룹의 렌더링 이득을 나타내며,
    m BGO 는 상기 전경 오브젝트 그룹의 렌더링 이득을 나타내는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  12. 제 10항에 있어서,
    상기 신호 프로세서(120)는 다음의 공식에 따라 상기 라우드니스 보상 값을 결정하도록 구성되며:
    Figure pct00044

    여기서 ΔL은 상기 라우드니스 보상 값을 나타내고,
    L FGO 는 상기 전경 오브젝트 그룹의 상기 라우드니스 값을 나타내며,
    L BGO 는 상기 배경 오브젝트 그룹의 상기 라우드니스 값을 나타내며,
    g FGO 는 상기 전경 오브젝트 그룹의 렌더링 이득을 나타내며,
    g BGO 는 상기 전경 오브젝트 그룹의 렌더링 이득을 나타내는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  13. 제 1항 내지 12항 중 어느 한 항에 있어서,
    상기 수신 인터페이스(110)는 오디오 입력 신호로서 하나 이상의 다운믹스 채널을 포함하는 다운믹스 신호를 수신하도록 구성되고, 상기 하나 이상의 다운믹스 채널은 상기 오디오 오브젝트 신호들을 포함하며, 상기 하나 이상의 다운믹스 채널의 수는 상기 오디오 오브젝트 신호들의 수보다 작으며,
    상기 수신 인터페이스(110)는 상기 오디오 오브젝트 신호들이 어떻게 상기 하나 이상의 다운믹스 채널 내에서 믹싱되지는지를 나타내는 다운믹스 정보를 수신하도록 구성되며,
    상기 신호 프로세서(120)는 상기 다운믹스 정보에 의존하고, 상기 렌더링 정보에 의존하며, 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  14. 제 13항에 있어서,
    상기 수신 인터페이스(110)는 하나 이상의 또 다른 우회 오디오 오브젝트 신호를 수신하도록 구성되고, 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호는 상기 다운믹스 신호 내에 믹싱되지 않으며,
    상기 수신 인터페이스(110)는 상기 다운믹스 신호 내에 믹싱되는 상기 오디오 오브젝트 신호들에 대한 정보를 나타내고 상기 다운믹스 신호 내에 믹싱되지 않는 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호의 상기 라우드니스에 대한 정보를 나타내는 상기 라우드니스 정보를 수신하도록 구성되며,
    상기 신호 프로세서(120)는 상기 다운믹스 신호 내에 믹싱되는 상기 오디오 오브젝트 신호들의 라우드니스에 대한 정보에 의존하고, 상기 다운믹스 신호 내에 믹싱되지 않는 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호들의 라우드니스에 대한 정보에 의존하여 상기 라우드니스 보상 값을 결정하도록 구성되는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 디코더.
  15. 복수의 오디오 오브젝트 신호를 포함하는 인코딩된 오디오 신호를 획득하기 위하여 상기 복수의 오디오 오브젝트 신호를 인코딩하기 위한 오브젝트 기반 인코딩 유닛(210; 710); 및
    상기 오디오 오브젝트 신호들에 대한 라우드니스 정보를 인코딩하기 위한 오브젝트 라우드니스 인코딩 유닛(220; 720; 820);을 포함하고
    상기 라우드니스 정보는 하나 이상의 라우드니스 값을 포함하고, 상기 하나 이상의 라우드니스 값 각각은 하나 이상의 상기 오디오 오브젝트 신호에 의존하는, 인코더.
  16. 제 15항에 있어서,
    상기 인코딩된 오디오 신호의 각각의 상기 오디오 오브젝트 신호들은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당되고, 상기 두 개 이상의 그룹 각각은 상기 인코딩된 오디오 신호의 상기 하나 이상의 상기 오디오 오브젝트 신호를 포함하며,
    상기 오브젝트 기반 인코딩 유닛(210; 710)은 상기 두 개 이상의 그룹의 각각의 그룹에 대한 라우드니스 값을 결정함으로써 상기 라우드니스 정보의 상기 하나 이상의 라우드니스 값을 결정하도록 구성되고, 상기 그룹의 상기 라우드니스 값은 상기 그룹의 상기 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내는, 인코더
  17. 제 15항에 있어서,
    상기 오브젝트 기반 인코딩 유닛(210; 710)은 상기 오디오 오브젝트 신호들을 수신하도록 구성되고, 각각의 상기 오디오 오브젝트 신호들은 두 개 이상의 그룹 중 정확하게 하나의 그룹에 할당되며, 상기 두 개 이상의 그룹 각각은 하나 이상의 상기 오디오 오브젝트 신호를 포함하며,
    상기 오브젝트 기반 인코딩 유닛(210)은 상기 인코딩된 오디오 신호로서 하나 이상의 다운믹스 오디오 채널을 포함하는 다운믹스 신호를 획득하기 위하여, 상기 두 개 이상의 그룹에 의해 포함되는 상기 오디오 오브젝트 신호들을 다운믹싱하도록 구성되고, 상기 하나 이상의 다운믹스 오디오 채널의 수는 상기 두 개 이상의 그룹에 의해 포함되는 상기 오디오 오브젝트 신호들의 수보다 작으며,
    상기 오브젝트 라우드니스 인코딩 유닛(220; 720; 820)은 하나 이상의 또 다른 우회 오디오 오브젝트 신호를 수신하도록 할당되고, 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호 각각은 제 3 그룹에 할당되며, 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호 각각은 상기 제 1 그룹에 의해 포함되지 않고 상기 제 2 그룹에 의해 포함되지 않으며, 상기 오브젝트 기반 인코딩 유닛(210; 710)은 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호를 상기 다운믹스 신호와 다운믹싱하지 않도록 구성되며,
    상기 오브젝트 라우드니스 인코딩 유닛(220; 720; 820)은 상기 라우드니스 정보의 제 1 라우드니스 값, 제 2 라우드니스 값 및 제 3 라우드니스 값을 결정하도록 구성되고, 상기 제 1 라우드니스 값은 상기 제 1 그룹의 상기 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내고, 상기 제 2 라우드니스 값은 상기 제 2 그룹의 상기 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내며, 상기 제 3 라우드니스 값은 상기 제 3 그룹의 상기 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내거나, 혹은 상기 오브젝트 라우드니스 인코딩 유닛(220; 720; 820)은 상기 라우드니스 정보의 제 1 라우드니스 값 및 제 2 라우드니스 값을 결정하도록 구성되고, 상기 제 1 라우드니스 값은 상기 제 1 그룹의 상기 하나 이상의 오디오 오브젝트 신호의 총 라우드니스를 나타내고, 상기 제 2 라우드니스 값은 상기 제 2 그룹의 상기 하나 이상의 오디오 오브젝트 신호 및 상기 제 3 그룹의 상기 하나 이상의 또 다른 우회 오디오 오브젝트 신호의 총 라우드니스를 나타내는, 인코더.
  18. 복수의 오디오 오브젝트 신호를 포함하는 인코딩된 오디오 신호를 획득하기 위하여 상기 복수의 오디오 오브젝트 신호를 인코딩하기 위한 제 15항 내지 17항에 따른 인코더(310); 및
    하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 발생시키기 위한, 제 1항 내지 14항 중 어느 한 항에 따른 디코더(320);를 포함하고,
    상기 디코더(320)는 오디오 입력 신호로서 상기 인코딩된 오디오 신호를 수신하고 상기 라우드니스 정보를 수신하도록 구성되며,
    상기 디코더(320)는 렌더링 정보를 더 수신하도록 구성되며,
    상기 디코더(320)는 상기 라우드니스 정보에 의존하고 상기 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하도록 구성되며,
    상기 디코더(320)는 상기 렌더링 정보에 의존하고 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키도록 구성되는, 시스템.
  19. 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 방법에 있어서,
    복수의 오디오 오브젝트 신호를 포함하는 오디오 입력 신호를 수신하는 단계;
    상기 오디오 오브젝트 신호들에 대한 라우드니스 정보를 수신하는 단계;
    하나 이상의 상기 오디오 오브젝트 신호가 증폭되어야 하는지 또는 감쇠되어야 하는지를 나타내는 렌더링 정보를 수신하는 단계;
    상기 라우드니스 정보에 의존하고 상기 렌더링 정보에 의존하여 라우드니스 보상 값을 결정하는 단계; 및
    상기 렌더링 정보에 의존하고 상기 라우드니스 보상 값에 의존하여 상기 오디오 입력 신호로부터 상기 오디오 출력 신호의 상기 하나 이상의 오디오 출력 채널을 발생시키는 단계;를 포함하는, 하나 이상의 오디오 출력 신호를 포함하는 오디오 출력 신호를 발생시키기 위한 방법.
  20. 인코딩을 위한 방법에 있어서,
    복수의 오디오 오브젝트 신호를 포함하는 오디오 출력 신호를 인코딩하는 단계; 및
    상기 오디오 오브젝트 신호들에 대한 라우드니스 정보를 인코딩하는 단계, - 상기 라우드니스 정보는 하나 이상의 라우드니스 값을 포함하고, 상기 하나 이상의 라우드니스 값 각각은 하나 이상의 상기 오디오 오브젝트 신호에 의존함 -;을 포함하는, 인코딩을 위한 방법.
  21. 컴퓨터 또는 신호 프로세서 상에서 실행될 때 제 19항 또는 20항의 방법을 구현하기 위한 컴퓨터 프로그램.
KR1020167014090A 2013-11-27 2014-11-27 오브젝트 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정을 위한 디코더, 인코더 및 방법 KR101852950B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13194664.2A EP2879131A1 (en) 2013-11-27 2013-11-27 Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
EP13194664.2 2013-11-27
PCT/EP2014/075787 WO2015078956A1 (en) 2013-11-27 2014-11-27 Decoder, encoder and method for informed loudness estimation in object-based audio coding systems

Publications (2)

Publication Number Publication Date
KR20160075756A true KR20160075756A (ko) 2016-06-29
KR101852950B1 KR101852950B1 (ko) 2018-06-07

Family

ID=49683543

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167014090A KR101852950B1 (ko) 2013-11-27 2014-11-27 오브젝트 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정을 위한 디코더, 인코더 및 방법
KR1020157021813A KR101742137B1 (ko) 2013-11-27 2014-11-27 오브젝트 기반 오디오 코딩 시스템 내의 우회 오디오 오브젝트 신호들을 사용하여 정통한 라우드니스를 추정하기 위한 디코더, 인코더 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157021813A KR101742137B1 (ko) 2013-11-27 2014-11-27 오브젝트 기반 오디오 코딩 시스템 내의 우회 오디오 오브젝트 신호들을 사용하여 정통한 라우드니스를 추정하기 위한 디코더, 인코더 및 방법

Country Status (19)

Country Link
US (8) US9947325B2 (ko)
EP (3) EP2879131A1 (ko)
JP (2) JP6218928B2 (ko)
KR (2) KR101852950B1 (ko)
CN (4) CN105874532B (ko)
AR (2) AR098558A1 (ko)
AU (2) AU2014356467B2 (ko)
BR (2) BR112015019958B1 (ko)
CA (2) CA2931558C (ko)
ES (2) ES2666127T3 (ko)
HK (1) HK1217245A1 (ko)
MX (2) MX350247B (ko)
MY (2) MY196533A (ko)
PL (2) PL3074971T3 (ko)
PT (2) PT3074971T (ko)
RU (2) RU2672174C2 (ko)
TW (2) TWI569259B (ko)
WO (2) WO2015078964A1 (ko)
ZA (1) ZA201604205B (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
ES2709117T3 (es) * 2014-10-01 2019-04-15 Dolby Int Ab Codificador y decodificador de audio
JP6564068B2 (ja) * 2015-02-02 2019-08-21 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 符号化されたオーディオ信号を処理するための装置および方法
KR102465286B1 (ko) 2015-06-17 2022-11-10 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
AU2016279775A1 (en) * 2015-06-17 2018-01-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Loudness control for user interactivity in audio coding systems
US9590580B1 (en) 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
CN112218229B (zh) 2016-01-29 2022-04-01 杜比实验室特许公司 用于音频信号处理的系统、方法和计算机可读介质
CN105741835B (zh) * 2016-03-18 2019-04-16 腾讯科技（深圳）有限公司 一种音频信息处理方法及终端
EP4322551A3 (en) * 2016-11-25 2024-04-17 Sony Group Corporation Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program
US11200882B2 (en) * 2017-07-03 2021-12-14 Nec Corporation Signal processing device, signal processing method, and storage medium for storing program
JP7123134B2 (ja) * 2017-10-27 2022-08-22 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． デコーダにおけるノイズ減衰
US11330370B2 (en) 2018-02-15 2022-05-10 Dolby Laboratories Licensing Corporation Loudness control methods and devices
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
EP3588988B1 (en) * 2018-06-26 2021-02-17 Nokia Technologies Oy Selective presentation of ambient audio content for spatial audio presentation
US11544032B2 (en) * 2019-01-24 2023-01-03 Dolby Laboratories Licensing Corporation Audio connection and transmission device
CN113366865B (zh) * 2019-02-13 2023-03-21 杜比实验室特许公司 用于音频对象聚类的自适应响度规范化
KR20220025107A (ko) * 2019-06-14 2022-03-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 매개변수 인코딩 및 디코딩
EP4022606A1 (en) * 2019-08-30 2022-07-06 Dolby Laboratories Licensing Corporation Channel identification of multi-channel audio signals
KR102390643B1 (ko) * 2019-10-10 2022-04-27 가우디오랩 주식회사 오디오 라우드니스 메타데이터 생성 방법 및 이를 위한 장치
US20220270626A1 (en) 2021-02-22 2022-08-25 Tencent America LLC Method and apparatus in audio processing
CN117837173A (zh) * 2021-08-27 2024-04-05 北京字跳网络技术有限公司 用于音频渲染的信号处理方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008035275A2 (en) * 2006-09-18 2008-03-27 Koninklijke Philips Electronics N.V. Encoding and decoding of audio objects
KR20080086445A (ko) * 2006-01-19 2008-09-25 엘지전자 주식회사 신호 디코딩 방법 및 장치
KR20110130623A (ko) * 2010-05-28 2011-12-06 한국전자통신연구원 상이한 분석 단계를 사용하는 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA921988B (en) * 1991-03-29 1993-02-24 Sony Corp High efficiency digital data encoding and decoding apparatus
US5699479A (en) * 1995-02-06 1997-12-16 Lucent Technologies Inc. Tonality for perceptual audio compression based on loudness uncertainty
CA2301547C (en) * 1997-09-05 2006-06-06 Lexicon 5-2-5 matrix encoder and decoder system
US7415120B1 (en) * 1998-04-14 2008-08-19 Akiba Electronics Institute Llc User adjustable volume control that accommodates hearing
US6778966B2 (en) * 1999-11-29 2004-08-17 Syfx Segmented mapping converter system and method
EP1360798B1 (en) * 2001-02-06 2014-10-01 Polycom Israel Ltd. Control unit for multipoint multimedia/audio conference
US6852151B2 (en) * 2002-06-03 2005-02-08 Siemens Vdo Automotive Inc. Air cleaner and resonator assembly
US7631483B2 (en) * 2003-09-22 2009-12-15 General Electric Company Method and system for reduction of jet engine noise
JP5106115B2 (ja) * 2004-11-30 2012-12-26 アギア システムズ インコーポレーテッド オブジェクト・ベースのサイド情報を用いる空間オーディオのパラメトリック・コーディング
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
JP4728031B2 (ja) * 2005-04-15 2011-07-20 株式会社日立製作所 リモートコピーペアの移行を行うシステム
RU2426180C2 (ru) * 2006-04-04 2011-08-10 Долби Лэборетериз Лайсенсинг Корпорейшн Расчет и регулировка воспринимаемой громкости и/или воспринимаемого спектрального баланса звукового сигнала
RU2407072C1 (ru) * 2006-09-29 2010-12-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
PL2068307T3 (pl) * 2006-10-16 2012-07-31 Dolby Int Ab Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu
JP5302207B2 (ja) * 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
TWI443647B (zh) 2007-02-14 2014-07-01 Lg Electronics Inc 用以將以物件為主之音訊信號編碼與解碼之方法與裝置
RU2394283C1 (ru) * 2007-02-14 2010-07-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов
WO2008120933A1 (en) * 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US7825322B1 (en) 2007-08-17 2010-11-02 Adobe Systems Incorporated Method and apparatus for audio mixing
EP2238589B1 (en) * 2007-12-09 2017-10-25 LG Electronics Inc. A method and an apparatus for processing a signal
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
EP2146522A1 (en) 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
KR101387902B1 (ko) * 2009-06-10 2014-04-22 한국전자통신연구원 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
US20100324915A1 (en) 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
WO2011061174A1 (en) * 2009-11-20 2011-05-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
US9111528B2 (en) * 2009-12-10 2015-08-18 Reality Ip Pty Ltd Matrix decoder for surround sound
RU2559899C2 (ru) 2010-04-09 2015-08-20 Долби Интернешнл Аб Стереофоническое кодирование на основе mdct с комплексным предсказанием
WO2012125855A1 (en) * 2011-03-16 2012-09-20 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
JP6185457B2 (ja) * 2011-04-28 2017-08-23 ドルビー・インターナショナル・アーベー 効率的なコンテンツ分類及びラウドネス推定
US9952576B2 (en) 2012-10-16 2018-04-24 Sonos, Inc. Methods and apparatus to learn and share remote commands
WO2014088328A1 (ko) * 2012-12-04 2014-06-12 삼성전자 주식회사 오디오 제공 장치 및 오디오 제공 방법
CN104885151B (zh) * 2012-12-21 2017-12-22 杜比实验室特许公司 用于基于感知准则呈现基于对象的音频内容的对象群集
CN203134365U (zh) * 2013-01-21 2013-08-14 杜比实验室特许公司 用于利用响度处理状态元数据处理音频的音频解码器
PL2901449T3 (pl) * 2013-01-21 2018-05-30 Dolby Laboratories Licensing Corp Koder i dekoder audio z metadanymi głośności i granicy programu
JP6192813B2 (ja) * 2013-05-24 2017-09-06 ドルビー・インターナショナル・アーベー オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化
CN105531759B (zh) * 2013-09-12 2019-11-26 杜比实验室特许公司 用于下混合音频内容的响度调整
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
EP3127109B1 (en) * 2014-04-01 2018-03-14 Dolby International AB Efficient coding of audio scenes comprising audio objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080086445A (ko) * 2006-01-19 2008-09-25 엘지전자 주식회사 신호 디코딩 방법 및 장치
WO2008035275A2 (en) * 2006-09-18 2008-03-27 Koninklijke Philips Electronics N.V. Encoding and decoding of audio objects
KR20110130623A (ko) * 2010-05-28 2011-12-06 한국전자통신연구원 상이한 분석 단계를 사용하는 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Charles Q Robinson, et al. Dynamic Range Control via Metadata. Audio Engineering Society Convention 107. Audio Engineering Society, 1999.09.27.* *
ISO/IEC FDIS 23003-2:2010(E). Information technology - MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC). ISO/IEC JTC 1/SC 29/WG 11. 2010.03.10. *

Also Published As

Publication number Publication date
RU2651211C2 (ru) 2018-04-18
CN105144287B (zh) 2020-09-25
TW201535353A (zh) 2015-09-16
US10497376B2 (en) 2019-12-03
US20180197554A1 (en) 2018-07-12
US11875804B2 (en) 2024-01-16
US10891963B2 (en) 2021-01-12
CN105874532B (zh) 2020-03-17
US20200058313A1 (en) 2020-02-20
CN112151049B (zh) 2024-05-10
US20210118454A1 (en) 2021-04-22
US20160254001A1 (en) 2016-09-01
TWI569260B (zh) 2017-02-01
TW201525990A (zh) 2015-07-01
WO2015078964A1 (en) 2015-06-04
MX2015013580A (es) 2016-02-05
AU2014356467A1 (en) 2016-06-09
BR112016011988A2 (ko) 2017-08-08
EP2879131A1 (en) 2015-06-03
US11423914B2 (en) 2022-08-23
US9947325B2 (en) 2018-04-17
EP2941771A1 (en) 2015-11-11
JP2016520865A (ja) 2016-07-14
ES2629527T3 (es) 2017-08-10
CA2900473C (en) 2018-01-30
KR101852950B1 (ko) 2018-06-07
AU2014356467B2 (en) 2016-12-15
BR112016011988B1 (pt) 2022-09-13
MY196533A (en) 2023-04-19
KR101742137B1 (ko) 2017-05-31
RU2015135181A (ru) 2017-02-27
PL2941771T3 (pl) 2017-10-31
BR112015019958B1 (pt) 2021-12-14
CN111312266A (zh) 2020-06-19
CN111312266B (zh) 2023-11-10
EP3074971B1 (en) 2018-02-21
MX358306B (es) 2018-08-14
US10699722B2 (en) 2020-06-30
AU2014356475B2 (en) 2016-08-18
US20220351736A1 (en) 2022-11-03
AR098558A1 (es) 2016-06-01
CA2900473A1 (en) 2015-06-04
MX2016006880A (es) 2016-08-19
AU2014356475A1 (en) 2015-09-03
AR099360A1 (es) 2016-07-20
CA2931558C (en) 2018-11-13
RU2016125242A (ru) 2018-01-09
MY189823A (en) 2022-03-10
EP2941771B1 (en) 2017-03-29
US11688407B2 (en) 2023-06-27
US20150348564A1 (en) 2015-12-03
JP2017502324A (ja) 2017-01-19
BR112015019958A2 (pt) 2017-07-18
KR20150123799A (ko) 2015-11-04
MX350247B (es) 2017-08-31
JP6346282B2 (ja) 2018-06-20
PT2941771T (pt) 2017-06-30
TWI569259B (zh) 2017-02-01
CN112151049A (zh) 2020-12-29
EP3074971A1 (en) 2016-10-05
ES2666127T3 (es) 2018-05-03
CA2931558A1 (en) 2015-06-04
US20200286496A1 (en) 2020-09-10
CN105144287A (zh) 2015-12-09
HK1217245A1 (zh) 2016-12-30
US20230306973A1 (en) 2023-09-28
PT3074971T (pt) 2018-05-25
RU2672174C2 (ru) 2018-11-12
JP6218928B2 (ja) 2017-10-25
ZA201604205B (en) 2017-11-29
CN105874532A (zh) 2016-08-17
WO2015078956A1 (en) 2015-06-04
PL3074971T3 (pl) 2018-07-31

Similar Documents

Publication Publication Date Title
KR101852950B1 (ko) 오브젝트 기반 오디오 코딩 시스템 내의 정통한 라우드니스 추정을 위한 디코더, 인코더 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant