KR20230007563A - 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱 - Google Patents

공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱 Download PDF

Info

Publication number
KR20230007563A
KR20230007563A KR1020227046243A KR20227046243A KR20230007563A KR 20230007563 A KR20230007563 A KR 20230007563A KR 1020227046243 A KR1020227046243 A KR 1020227046243A KR 20227046243 A KR20227046243 A KR 20227046243A KR 20230007563 A KR20230007563 A KR 20230007563A
Authority
KR
South Korea
Prior art keywords
audio
audio object
signals
speaker
objects
Prior art date
Application number
KR1020227046243A
Other languages
English (en)
Inventor
더크 예로엔 브레바트
라이 루
니콜라스 알. 칭고스
안토니오 마테오스 솔레
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션, 돌비 인터네셔널 에이비 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20230007563A publication Critical patent/KR20230007563A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Abstract

분산된 또는 공간적으로 큰 오디오 오브젝트들은 특수한 프로세싱을 위해 식별될 수 있다. 비상관 프로세스는 비상관된 큰 오디오 오브젝트 오디오 신호들을 생성하기 위해 큰 오디오 오브젝트들에 대응하는 오디오 신호들에 대해 수행될 수 있다. 이들 비상관된 큰 오디오 오브젝트 오디오 신호들은 오브젝트 위치들과 연관될 수 있으며, 이것은 고정된 또는 시변 위치들일 수 있다. 예를 들면 비상관된 큰 오디오 오브젝트 오디오 신호들은 가상 또는 실제 스피커 위치들로 렌더링될 수 있다. 이러한 렌더링 프로세스의 출력은 장면 간소화 프로세스로 입력될 수 있다. 비상관, 연관 및/또는 장면 간소화 프로세스들은 오디오 데이터를 인코딩하는 프로세스 이전에 수행될 수 있다.

Description

공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱{PROCESSING SPATIALLY DIFFUSE OR LARGE AUDIO OBJECTS}
관련 출원들에 대한 상호-참조
본 출원은 2013년 7월 31일에 출원된 스페인 특허 출원 번호 제P201331193호 및 2013년 10월 2일에 출원된 미국 가 출원 번호 제61/885,805호에 대한 우선권을 주장하며, 각각은 여기에서 전체적으로 참조로서 통합된다.
본 개시는 오디오 데이터를 프로세싱하는 것에 관한 것이다. 특히, 본 개시는 분산된 또는 공간적으로 큰 오디오 오브젝트들에 대응하는 오디오 데이터를 프로세싱하는 것에 관한 것이다.
1927년에 필름과 함께 사운드의 도입 이래, 영화 사운드 트랙의 예술적 의도를 캡처하고 이러한 콘텐트를 재생하기 위해 사용된 기술의 꾸준한 진화가 있어 왔다. 1970년대에, 돌비는 3개의 스크린 채널들 및 모노 서라운드 채널과의 믹스들을 인코딩하며 분배하는 비용-효과적인 수단을 도입하였다. 돌비는 별개의, 좌측, 중앙 및 우측 스크린 채널들, 좌측 및 우측 서라운드 어레이들 및 저-주파수 효과들을 위한 서브우퍼 채널을 제공하는 5.1 채널 포맷으로 1990년대 동안 시네마에 디지털 사운드를 가져왔다. 2010년에 도입된, 돌비 서라운드 7.1은, 기존의 좌측 및 우측 서라운드 채널들을 4개의 "구역들"로 분리함으로써 서라운드 채널들의 수를 증가시켰다.
시네마 및 홈 시어터 오디오 재생 시스템들 양쪽 모두는 점점 더 다목적이며 복잡해지고 있다. 홈 시어터 오디오 재생 시스템들은 증가하는 수들의 스피커들을 포함하고 있다. 채널들의 수가 증가하며 라우드스피커 레이아웃이 평면 2-차원(2D) 어레이에서 고도를 포함한 3-차원(3D) 어레이로 전이함에 따라, 재생 환경에서 사운드들을 재생하는 것은 점점 더 복잡한 프로세스가 되고 있다. 오디오 프로세싱 방법들의 개선이 바람직할 것이다.
분산된 또는 공간적으로 큰 오디오 오브젝트들을 프로세싱하기 위한 개선된 방법들이 제공된다. 여기에서 사용된 바와 같이, 용어 "오디오 오브젝트"는 임의의 특정한 재생 환경에 대한 참조 없이 생성되거나 또는 "저작"될 수 있는 오디오 신호들(또한 여기에서 "오디오 오브젝트 신호들"로서 불림) 및 연관된 메타데이터를 나타낸다. 연관된 메타데이터는 오디오 오브젝트 위치 데이터, 오디오 오브젝트 이득 데이터, 오디오 오브젝트 크기 데이터, 오디오 오브젝트 궤적 데이터 등을 포함할 수 있다. 여기에서 사용된 바와 같이, 용어 "렌더링"은 오디오 오브젝트들을 특정한 재생 환경을 위한 스피커 피드 신호들로 변환하는 프로세스를 나타낸다. 렌더링 프로세스는 연관된 메타데이터에 따라 및 재생 환경 데이터에 따라, 적어도 부분적으로 수행될 수 있다. 재생 환경 데이터는 재생 환경에서 스피커들의 수에 대한 표시 및 재생 환경 내에서 각각의 스피커의 위치에 대한 표시를 포함할 수 있다.
공간적으로 큰 오디오 오브젝트는 포인트 사운드 소스로서 여겨지도록 의도되지 않지만, 대신에 큰 공간 영역을 커버하는 것으로 여겨져야 한다. 몇몇 사례들에서, 큰 오디오 오브젝트는 청취자를 둘러싸는 것으로서 여겨져야 한다. 이러한 오디오 효과들은 패닝(panning) 만으로 달성 가능하지 않을 수 있지만, 대신에 부가적인 프로세싱을 요구할 수 있다. 확실한 공간 오브젝트 크기, 또는 공간 확산을 생성하기 위해, 재생 환경에서 상당한 비율의 스피커 신호들이 상호 독립적이거나 또는 적어도 상관되지 않아야 한다(예를 들면, 1차 교차 상관 또는 공분산에 대하여 독립적인). 극장을 위한 렌더링 시스템과 같은, 충분히 복잡한 렌더링 시스템은 이러한 비상관(decorrelation)을 제공할 수 있을 것이다. 그러나, 홈 시어터 시스템들을 위해 의도된 것들과 같은, 덜 복잡한 렌더링 시스템들은 적절한 비상관을 제공할 수 없을 것이다.
여기에서 설명된 몇몇 구현들은 특수한 프로세싱을 위해 분산된 또는 공간적으로 큰 오디오 오브젝트들을 식별하는 것을 수반할 수 있다. 비상관 프로세스는 비상관된 큰 오디오 오브젝트 오디오 신호들을 생성하기 위해 큰 오디오 오브젝트들에 대응하는 오디오 신호들에 대해 수행될 수 있다. 이들 비상관된 큰 오디오 오브젝트 오디오 신호들은 고정된 또는 시변 위치들일 수 있는, 오브젝트 위치들과 연관될 수 있다. 연관 프로세스는 실제 재생 스피커 구성에 독립적일 수 있다. 예를 들면, 비상관된 큰 오디오 오브젝트 오디오 신호들은 가상 스피커 위치들로 렌더링될 수 있다. 몇몇 구현들에서, 이러한 렌더링 프로세스의 출력은 장면 간소화 프로세스로 입력될 수 있다.
따라서, 본 개시의 적어도 몇몇 양상들은 오디오 오브젝트들을 포함한 오디오 데이터를 수신하는 것을 수반할 수 있는 방법에서 구현될 수 있다. 오디오 오브젝트들은 오디오 오브젝트 신호들 및 연관된 메타데이터를 포함할 수 있다. 메타데이터는 적어도 오디오 오브젝트 크기 데이터를 포함할 수 있다.
상기 방법은 오디오 오브젝트 크기 데이터에 기초하여, 임계 크기보다 큰 오디오 오브젝트 크기를 가진 큰 오디오 오브젝트를 결정하는 단계 및 비상관된 큰 오디오 오브젝트 오디오 신호들을 생성하기 위해 상기 큰 오디오 오브젝트의 오디오 신호들에 대한 비상관 프로세스를 수행하는 단계를 수반할 수 있다. 상기 방법은 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 오브젝트 위치들과 연관시키는 단계를 수반할 수 있다. 상기 연관 프로세스는 실제 재생 스피커 구성에 독립적일 수 있다. 상기 실제 재생 스피커 구성은 결국 비상관된 큰 오디오 오브젝트 오디오 신호들을 재생 환경의 스피커들로 렌더링하기 위해 사용될 수 있다.
상기 방법은 큰 오디오 오브젝트에 대한 비상관 메타데이터를 수신하는 단계를 수반할 수 있다. 상기 비상관 프로세스는 비상관 메타데이터에 따라, 적어도 부분적으로, 수행될 수 있다. 상기 방법은 상기 연관 프로세스로부터 출력된 오디오 데이터를 인코딩하는 단계를 수반할 수 있다. 몇몇 구현들에서, 상기 인코딩 프로세스는 상기 큰 오디오 오브젝트에 대한 비상관 메타데이터를 인코딩하는 단계를 수반하지 않을 수 있다.
상기 오브젝트 위치들은 수신된 오디오 오브젝트들의 오디오 오브젝트 위치 데이터 중 적어도 일부에 대응하는 위치들을 포함할 수 있다. 상기 오브젝트 위치들 중 적어도 일부는 고정될 수 있다. 그러나, 몇몇 구현들에서, 상기 오브젝트 위치들 중 적어도 일부는 시간에 걸쳐 달라질 수 있다.
상기 연관 프로세스는 가상 스피커 위치들에 따라 비상관된 큰 오디오 오브젝트 오디오 신호들을 렌더링하는 단계를 수반할 수 있다. 몇몇 예들에서, 상기 수신 프로세스는 스피커 위치들에 대응하는 하나 이상의 오디오 베드 신호들(audio bed signals)을 수신하는 단계를 수반할 수 있다. 상기 방법은 상기 수신된 오디오 베드 신호들 또는 상기 수신된 오디오 오브젝트 신호들 중 적어도 일부와 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 믹싱하는 단계를 수반할 수 있다. 상기 방법은 부가적인 오디오 베드 신호들 또는 오디오 오브젝트 신호들로서 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 출력하는 단계를 수반할 수 있다.
상기 방법은 상기 비상관된 큰 오디오 오브젝트 오디오 신호들에 레벨 조정 프로세스를 적용하는 단계를 수반할 수 있다. 몇몇 구현들에서, 상기 큰 오디오 오브젝트 메타데이터는 오디오 오브젝트 위치 메타데이터를 포함할 수 있으며 상기 레벨 조정 프로세스는 적어도 부분적으로, 상기 큰 오디오 오브젝트의 상기 오디오 오브젝트 크기 메타데이터 및 상기 오디오 오브젝트 위치 메타데이터에 의존할 수 있다.
상기 방법은 상기 비상관 프로세스가 수행된 후 상기 큰 오디오 오브젝트의 오디오 신호들을 감쇠시키거나 또는 제거하는 단계를 수반할 수 있다. 그러나, 몇몇 구현들에서, 상기 방법은 상기 비상관 프로세스가 수행된 후 상기 큰 오디오 오브젝트의 포인트 소스 기여에 대응하는 오디오 신호들을 보유하는 단계를 수반할 수 있다.
상기 큰 오디오 오브젝트 메타데이터는 오디오 오브젝트 위치 메타데이터를 포함할 수 있다. 몇몇 이러한 구현들에서, 상기 방법은 상기 큰 오디오 오브젝트 위치 데이터 및 상기 큰 오디오 오브젝트 크기 데이터에 의해 정의된 오디오 오브젝트 영역 또는 볼륨 내에서의 가상 소스들로부터의 기여를 계산하는 단계를 수반할 수 있다. 상기 방법은 또한 적어도 부분적으로, 상기 계산된 기여들에 기초하여, 복수의 출력 채널들의 각각에 대한 오디오 오브젝트 이득 값들의 세트를 결정하는 단계를 수반할 수 있다. 상기 방법은 상기 큰 오디오 오브젝트로부터의 거리의 임계량만큼 공간적으로 분리되는 오디오 오브젝트들에 대한 오디오 신호들과 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 믹싱하는 단계를 수반할 수 있다.
몇몇 구현들에서, 상기 방법은 상기 비상관 프로세스 후 오디오 오브젝트 클러스터링 프로세스를 수행하는 단계를 수반할 수 있다. 몇몇 이러한 구현들에서, 상기 오디오 오브젝트 클러스터링 프로세스는 상기 연관 프로세스 후 수행될 수 있다.
상기 방법은 콘텐트 유형을 결정하기 위해 상기 오디오 데이터를 평가하는 단계를 수반할 수 있다. 몇몇 이러한 구현들에서, 상기 비상관 프로세스는 상기 콘텐트 유형에 따라 선택적으로 수행될 수 있다. 예를 들면, 수행될 비상관의 양은 상기 콘텐트 유형에 의존할 수 있다. 상기 비상관 프로세스는 지연들, 전대역-통과 필터들, 의사-랜덤 필터들 및/또는 반향 알고리즘들을 수반할 수 있다.
여기에서의 방법들 개시는 하나 이상의 비-일시적 미디어에 저장된 하드웨어, 펌웨어, 소프트웨어, 및/또는 그것의 조합들을 통해 구현될 수 있다. 예를 들면, 본 개시의 적어도 몇몇 양상들은 인터페이스 시스템 및 로직 시스템을 포함하는 장치에서 구현될 수 있다. 상기 인터페이스 시스템은 사용자 인터페이스 및/또는 네트워크 인터페이스를 포함할 수 있다. 몇몇 구현들에서, 상기 장치는 메모리 시스템을 포함할 수 있다. 상기 인터페이스 시스템은 상기 로직 시스템 및 상기 메모리 시스템 사이에 적어도 하나의 인터페이스를 포함할 수 있다.
상기 로직 시스템은 범용 단일- 또는 다중-칩 프로세서, 디지털 신호 프로세서(DSP), 애플리케이션 특정 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA) 또는 다른 프로그램 가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들, 및/또는 그것의 조합들과 같은, 적어도 하나의 프로세서를 포함할 수 있다.
몇몇 구현들에서, 상기 로직 시스템은 상기 인터페이스를 통해, 오디오 오브젝트들을 포함한 오디오 데이터를 수신할 수 있을 것이다. 상기 오디오 오브젝트들은 오디오 오브젝트 신호들 및 연관된 메타데이터를 포함할 수 있다. 몇몇 구현들에서, 상기 메타데이터는 적어도 오디오 오브젝트 크기 데이터를 포함한다. 상기 로직 시스템은 상기 오디오 오브젝트 크기 데이터에 기초하여, 임계 크기보다 큰 오디오 오브젝트 크기를 가진 큰 오디오 오브젝트를 결정하며 비상관된 큰 오디오 오브젝트 오디오 신호들을 생성하기 위해 상기 큰 오디오 오브젝트의 오디오 신호들에 대해 비상관 프로세스를 수행할 수 있을 것이다. 상기 로직 시스템은 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 오브젝트 위치들과 연관시킬 수 있을 것이다.
상기 연관 프로세스는 실제 재생 스피커 구성에 독립적일 수 있다. 예를 들면, 상기 연관 프로세스는 가상 스피커 위치들에 따라 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 렌더링하는 단계를 수반할 수 있다. 상기 실제 재생 스피커 구성은 결국 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 재생 환경의 스피커들로 렌더링하기 위해 사용될 수 있다.
상기 로직 시스템은, 상기 인터페이스 시스템을 통해, 상기 큰 오디오 오브젝트에 대한 비상관 메타데이터를 수신할 수 있을 것이다. 상기 비상관 프로세스는 적어도 부분적으로, 상기 비상관 메타데이터에 따라, 수행될 수 있다.
상기 로직 시스템은 연관 프로세스로부터 출력된 오디오 데이터를 인코딩할 수 있을 것이다. 몇몇 구현들에서, 상기 인코딩 프로세스는 상기 큰 오디오 오브젝트에 대한 비상관 메타데이터를 인코딩하는 단계를 수반하지 않을 수 있다.
오브젝트 위치들 중 적어도 일부는 고정될 수 있다. 그러나, 오브젝트 위치들 중 적어도 일부는 시간에 걸쳐 달라질 수 있다. 상기 큰 오디오 오브젝트 메타데이터는 오디오 오브젝트 위치 메타데이터를 포함할 수 있다. 상기 오브젝트 위치들은 상기 수신된 오디오 오브젝트들의 오디오 오브젝트 위치 메타데이터 중 적어도 일부에 대응하는 위치들을 포함할 수 있다.
수신 프로세스는 스피커 위치들에 대응하는 하나 이상의 오디오 베드 신호들을 수신하는 단계를 수반할 수 있다. 상기 로직 시스템은 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 상기 수신된 오디오 베드 신호들 또는 상기 수신된 오디오 오브젝트 신호들 중 적어도 일부와 믹싱할 수 있을 것이다. 상기 로직 시스템은 부가적인 오디오 베드 신호들 또는 오디오 오브젝트 신호들로서 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 출력할 수 있을 것이다.
상기 로직 시스템은 상기 비상관된 큰 오디오 오브젝트 오디오 신호들에 레벨 조정 프로세스를 적용할 수 있을 것이다. 상기 레벨 조정 프로세스는, 적어도 부분적으로, 상기 큰 오디오 오브젝트의 상기 오디오 오브젝트 크기 메타데이터 및 상기 오디오 오브젝트 위치 메타데이터에 의존할 수 있다.
상기 로직 시스템은 상기 비상관 프로세스가 수행된 후 상기 큰 오디오 오브젝트의 오디오 신호들을 감쇠시키거나 또는 제거할 수 있을 것이다. 그러나, 장치는 상기 비상관 프로세스가 수행된 후 큰 오디오 오브젝트의 포인트 소스 기여에 대응하는 오디오 신호들을 보유할 수 있을 것이다.
상기 로직 시스템은 상기 큰 오디오 오브젝트 위치 데이터 및 상기 큰 오디오 오브젝트 크기 데이터에 의해 정의된 오디오 오브젝트 영역 또는 볼륨 내에서 가상 소스들로부터의 기여들을 계산할 수 있을 것이다. 상기 로직 시스템은 적어도 부분적으로, 상기 계산된 기여들에 기초하여 복수의 출력 채널들의 각각에 대한 오디오 오브젝트 이득 값들의 세트를 결정할 수 있을 것이다. 상기 로직 시스템은 상기 큰 오디오 오브젝트로부터의 거리의 임계량만큼 공간적으로 분리되는 오디오 오브젝트들에 대한 오디오 신호들과 상기 비상관된 큰 오디오 오브젝트 오디오 신호들을 믹싱할 수 있을 것이다.
상기 로직 시스템은 상기 비상관 프로세스 후 오디오 오브젝트 클러스터링 프로세스를 수행할 수 있을 것이다. 몇몇 구현들에서, 상기 오디오 오브젝트 클러스터링 프로세스는 상기 연관 프로세스 후 수행될 수 있다.
상기 로직 시스템은 콘텐트 유형을 결정하기 위해 상기 오디오 데이터를 평가할 수 있을 것이다. 상기 비상관 프로세스는 상기 콘텐트 유형에 따라 선택적으로 수행될 수 있다. 예를 들면, 수행될 비상관의 양은 콘텐트 유형에 의존한다. 상기 비상관 프로세스는 지연들, 전대역-통과 필터들, 의사-랜덤 필터들 및/또는 반향 알고리즘들을 수반할 수 있다.
본 명세서에서 설명된 주제의 하나 이상의 구현들에 대한 세부사항들이 이하에서의 첨부한 도면 및 설명에서 제시된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 다음의 도면들의 상대적인 치수들은 일정한 비율로 그려지지 않을 수 있다는 것을 주의하자.
본 발명에 따르면, 매우 다양한 재생 시스템들 및 송신 미디어에서 다수의 오브젝트들의 정확한 재생을 용이하게 할 수 있다.
도 1은 돌비 서라운드 5.1 구성을 가진 재생 환경의 예를 도시한 도면.
도 2는 돌비 서라운드 7.1 구성을 가진 재생 환경의 예를 도시한 도면.
도 3a 및 도 3b는 높이 스피커 구성들을 포함하는 홈 시어터 재생 환경들의 2개의 예들을 예시한 도면.
도 4a는 가상 재생 환경에서 달라지는 고도들에서 스피커 구역들을 나타내는 그래픽 사용자 인터페이스(GUI)의 예를 도시한 도면.
도 4b는 또 다른 재생 환경의 예를 도시한도면.
도 5는 공간적으로 큰 오디오 오브젝트들에 대한 오디오 프로세싱의 예를 제공하는 흐름도.
도 6a 내지 도 6Ff 큰 오디오 오브젝트들을 프로세싱할 수 있는 오디오 프로세싱 장치의 구성요소들의 예들을 예시하는 블록도들.
도 7은 클러스터링 프로세스를 실행할 수 있는 시스템의 예를 도시하는 블록도.
도 8은 적응적 오디오 프로세싱 시스템에서 오브젝트들 및/또는 베드들을 클러스터링할 수 있는 시스템의 예를 예시하는 블록도.
도 9는 큰 오디오 오브젝트들에 대한 비상관 프로세스를 따르는 클러스터링 프로세스의 예를 제공하는 블록도.
도 10a는 재생 환경에 대한 가상 소스 위치들의 예를 도시한 도면.
도 10b는 재생 환경에 대한 가상 소스 위치들의 대안적인 예를 도시한 도면.
도 11은 오디오 프로세싱 장치의 구성요소들의 예들을 제공하는 블록도.
다양한 도면들에서 유사한 참조 번호들 및 지정들은 유사한 요소들을 나타낸 도면.
다음의 설명은 본 개시의 몇몇 획기적인 양상들, 뿐만 아니라 이들 획기적인 양상들이 구현될 수 있는 콘텍스트들의 예들을 설명하기 위한 특정한 구현들에 관한 것이다. 그러나, 여기에서 교시들은 다양한 상이한 방식들로 적용될 수 있다. 예를 들면, 다양한 구현들이 특정한 재생 환경들에 대하여 설명되지만, 여기에서의 교시들은 다른 알려진 재생 환경들, 뿐만 아니라 미래에 도입될 수 있는 재생 환경들에 광범위하게 적용 가능하다. 게다가, 설명된 구현들은 적어도 부분적으로, 하드웨어, 소프트웨어, 펌웨어, 클라우드-기반 시스템들 등으로서 다양한 디바이스들 및 시스템들에서 구현될 수 있다. 따라서, 본 개시의 교시들은 도면들에 도시되고 및/또는 여기에서 설명된 구현들에 제한되도록 의도되지 않으며, 대신에 광범위한 적용 가능성을 가진다.
도 1은 돌비 서라운드 5.1 구성을 가진 재생 환경의 예를 도시한다. 이 예에서, 재생 환경은 시네마 재생 환경이다. 돌비 서라운드 5.1은 1990년대에 개발되었지만, 이 구성은 홈 및 시네마 재생 환경들에서 여전히 광범위하게 효율적으로 사용된다. 시네마 재생 환경에서, 프로젝터(105)는 스크린(150) 상에서, 예를 들면, 영화를 위한, 비디오 이미지들을 투사하도록 구성될 수 있다. 오디오 데이터는 비디오 이미지들과 동기화되며 사운드 프로세서(110)에 의해 프로세싱될 수 있다. 전력 증폭기들(115)은 재생 환경(100)의 스피커들에 스피커 피드 신호들을 제공할 수 있다.
돌비 서라운드 5.1 구성은 좌측 서라운드 어레이(122)를 위한 좌측 서라운드 채널(120) 및 우측 서라운드 어레이(127)를 위한 우측 서라운드 채널(125)을 포함한다. 돌비 서라운드 5.1 구성은 또한 좌측 스피커 어레이(132)를 위한 좌측 채널(130), 중앙 스피커 어레이(137)를 위한 중앙 채널(135) 및 우측 스피커 어레이(142)를 위한 우측 채널(140)을 포함한다. 시네마 환경에서, 이들 채널들은 각각 좌측 스크린 채널, 중앙 스크린 채널 및 우측 스크린 채널로서 불리울 수 있다. 별개의 저-주파수 효과들(LFE) 채널(144)이 서브우퍼(145)를 위해 제공된다.
2010년에, 돌비는 돌비 서라운드 7.1을 도입함으로써 디지털 시네마 사운드에 대한 강화들을 제공하였다. 도 2는 돌비 서라운드 7.1 구성을 가진 재생 환경의 예를 도시한다. 디지털 프로젝터(205)는 디지털 비디오 데이터를 수신하며 스크린(150) 상에서 비디오 이미지들을 투사하도록 구성될 수 있다. 오디오 데이터는 사운드 프로세서(210)에 의해 프로세싱될 수 있다. 전력 증폭기들(215)은 재생 환경(200)의 스피커들에 스피커 피드 신호들을 제공할 수 있다.
돌비 서라운드 5.1처럼, 돌비 서라운드 7.1 구성은 좌측 스피커 어레이(132)에 대한 좌측 채널(130), 중앙 스피커 어레이(137)에 대한 중앙 채널(135), 우측 스피커 어레이(142)에 대한 우측 채널(140) 및 서브우퍼(145)를 위한 LFE 채널(144)을 포함한다. 돌비 서라운드 7.1 구성은 좌측 측면 서라운드(Lss) 어레이(220) 및 우측 측면 서라운드(Rss) 어레이(225)를 포함하며, 그 각각은 단일 채널에 의해 구동될 수 있다.
그러나, 돌비 서라운드 7.1은 돌비 서라운드 5.1의 좌측 및 우측 서라운드 채널들을 4개의 구역들로 분리함으로써 서라운드 채널들의 수를 증가시키며; 좌측 측면 서라운드 어레이(220) 및 우측 측면 서라운드 어레이(225) 외에, 별개의 채널들이 좌측 후방 서라운드(Lrs) 스피커들(224) 및 우측 후방 서라운드(Rrs) 스피커들(226)을 위해 포함된다. 재생 환경(200) 내에서 서라운드 구역들의 수를 증가시키는 것은 사운드의 국소화를 상당히 개선할 수 있다.
보다 몰입감 있는 환경을 생성하기 위한 노력으로, 몇몇 재생 환경들은 증가된 수들의 채널들에 의해 구동된, 증가된 수들의 스피커들을 갖고 구성될 수 있다. 게다가, 몇몇 재생 환경들은 다양한 고도들에 배치된 스피커들을 포함할 수 있으며, 그 일부는 재생 환경의 좌석 영역 위에서의 영역으로부터 사운드를 생성하도록 구성된 "높이 스피커들"일 수 있다.
도 3a 및 도 3b는 높이 스피커 구성들을 포함하는 홈 시어터 재생 환경들의 두 개의 예들을 예시한다. 이들 예들에서, 재생 환경들(300a 및 300b)은 좌측 서라운드 스피커(322), 우측 서라운드 스피커(327), 좌측 스피커(332), 우측 스피커(342), 중앙 스피커(337) 및 서브우퍼(145)를 포함하여, 돌비 서라운드 5.1 구성의 주요 특징들을 포함한다. 그러나, 재생 환경(300)은 높이 스피커들을 위한 돌비 서라운드 5.1 구성의 확대를 포함하며, 이것은 돌비 서라운드 5.1.2 구성으로서 불리울 수 있다.
도 3a는 홈 시어터 재생 환경의 천장(ceiling)(360) 상에 장착된 높이 스피커들을 가진 재생 환경의 예를 예시한다. 이 예에서, 재생 환경(300a)은 좌측 최상부 중간(Ltm) 위치에 있는 높이 스피커(352) 및 우측 최상부 중간(Rtm) 위치에 있는 높이 스피커(357)를 포함한다. 도 3b에 도시된 예에서, 좌측 스피커(332) 및 우측 스피커(342)는 천장(360)으로부터의 사운드를 반사하도록 구성되는 돌비 고도 스피커들이다. 적절히 구성된다면, 반사된 사운드는 사운드 소스가 천장(360)에서 비롯된 것처럼 청취자들(365)에 의해 감지될 수 있다. 그러나, 스피커들의 수 및 구성은 단지 예로서 제공된다. 몇몇 현재 홈 시어터 구현들은 34개까지의 스피커 위치들을 위해 제공하며, 고려된 홈 시어터 구현들은 훨씬 더 많은 스피커 위치들을 허용할 수 있다.
따라서, 현재 동향은 보다 많은 스피커들 및 보다 많은 채널들을 포함할 뿐만 아니라, 또한 상이한 높이들에서의 스피커들을 포함하기 위한 것이다. 채널들의 수가 증가하며 스피커 레이아웃이 2D에서 3D로 전이함에 따라, 사운드들을 위치 결정하며 렌더링하는 태스크들은 점점 더 어려워지고 있다.
따라서, 돌비는, 이에 제한되지 않지만, 3D 오디오 사운드 시스템에 대한 기능을 증가시키고 및/또는 이에 대한 저작 복잡도를 감소시키는, 사용자 인터페이스들을 포함한, 다양한 툴들을 개발하여 왔다. 몇몇 이러한 툴들은 오디오 오브젝트들 및/또는 오디오 오브젝트들에 대한 메타데이터를 생성하기 위해 사용될 수 있다.
도 4a는 가상 재생 환경에서 가변적인 고도들에서의 스피커 구역들을 나타내는 그래픽 사용자 인터페이스(GUI)의 예를 도시한다. GUI(400)는, 예를 들면, 로직 시스템으로부터의 지시들에 따라, 사용자 입력 디바이스들로부터 수신된 신호들 등에 따라 디스플레이 디바이스 상에 디스플레이될 수 있다. 몇몇 이러한 디바이스들은 도 11을 참조하여 이하에서 설명된다.
가상 재생 환경(404)과 같은 가상 재생 환경들을 참조하여 여기에서 사용된 바와 같이, 용어 "스피커 구역"은 일반적으로 실제 재생 환경의 스피커와의 1-대-1 대응을 갖거나 또는 갖지 않을 수 있는 논리적 구성을 나타낸다. 예를 들면, "스피커 구역 위치"는 시네마 재생 환경의 특정한 스피커 위치에 대응하거나 또는 대응하지 않을 수 있다. 대신에, 용어 "스피커 구역 위치"는 일반적으로 가상 재생 환경의 구역을 나타낼 수 있다. 몇몇 구현들에서, 가상 재생 환경의 스피커 구역은 2-채널 스테레오 헤드폰들의 세트를 사용하여 실시간으로 가상 서라운드 사운드 환경을 생성하는, 예로서 Dolby Headphone™(때때로 Mobile Surround™로 불리우는)과 같은 가상화 기술의 사용을 통해, 가상 스피커에 대응할 수 있다. GUI(400)에서, 제 1 고도에서 7개의 스피커 구역들(402a) 및 제 2 고도에서 2개의 스피커 구역들(402b)이 있어서, 가상 재생 환경(404)에서 총 9개의 스피커 구역들을 만든다. 이 예에서, 스피커 구역들(1 내지 3)은 가상 재생 환경(404)의 전방 영역(405)에 있다. 전방 영역(405)은 예를 들면, 스크린(150)이 위치되는 시네마 재생 환경의 영역에, 텔레비전 스크린이 위치되는 홈의 영역 등에 대응할 수 있다.
여기에서, 스피커 구역(4)은 일반적으로 좌측 영역(410)에서의 스피커들에 대응하며 스피커 구역(5)은 가상 재생 환경(404)의 우측 영역(415)에서의 스피커들에 대응한다. 스피커 구역(6)은 좌측 후방 영역(412)에 대응하며 스피커 구역(7)은 가상 재생 환경(404)의 우측 후방 영역(414)에 대응한다. 스피커 구역(8)은 상부 영역(420a)에서의 스피커들에 대응하며 스피커 구역(9)은 가상 천장 영역일 수 있는, 상부 영역(420b)에서의 스피커들에 대응한다. 따라서, 도 4a에 도시되는 스피커 구역들(1 내지 9)의 위치들은 실제 재생 환경의 스피커들의 위치들에 대응하거나 또는 대응하지 않을 수 있다. 게다가, 다른 구현들은 보다 많거나 또는 보다 적은 스피커 구역들 및/또는 고도들을 포함할 수 있다.
여기에서 설명된 다양한 구현들에서, GUI(400)와 같은 사용자 인터페이스는 저작 툴 및/또는 렌더링 툴의 부분으로서 사용될 수 있다. 몇몇 구현들에서, 저작 툴 및/또는 렌더링 툴은 하나 이상의 비-일시적 미디어 상에 저장된 소프트웨어를 통해 구현될 수 있다. 상기 저작 툴 및/또는 렌더링 툴은 도 11을 참조하여 이하에서 설명되는 로직 시스템 및 다른 디바이스들과 같은, 하드웨어, 펌웨어 등에 의해 구현될 수 있다(적어도 부분적으로). 몇몇 저작 구현들에서, 연관된 저작 툴은 연관된 오디오 데이터를 위한 메타데이터를 생성하기 위해 사용될 수 있다. 메타데이터는, 예를 들면, 3-차원 공간, 스피커 구역 제약 데이터 등에서 오디오 오브젝트의 위치 및/또는 궤적을 표시한 데이터를 포함할 수 있다. 상기 메타데이터는 실제 재생 환경의 특정한 스피커 레이아웃에 대한 것보다는, 가상 재생 환경(404)의 스피커 구역들(402)에 대하여 생성될 수 있다. 렌더링 툴은 오디오 데이터 및 연관된 메타데이터를 수신할 수 있으며, 재생 환경을 위한 오디오 이득들 및 스피커 피드 신호들을 계산할 수 있다. 이러한 오디오 이득들 및 스피커 피드 신호들은 진폭 패닝 프로세스에 따라 계산될 수 있으며, 이것은 사운드가 재생 환경에서 위치(P)로부터 온다는 지각을 생성할 수 있다. 예를 들면, 스피커 피드 신호들은 다음의 식에 따라 재생 환경의 스피커들(1 내지 N)에 제공될 수 있다:
xi(t) = gix(t), i = 1, ... N (식 1)
식 1에서, xi(t)는 스피커(i)에 인가될 스피커 피드 신호를 나타내며, gi는 대응 채널의 이득 인자를 나타내고, x(t)는 오디오 신호를 나타내며 t는 시간을 나타낸다. 이득 인자들은 예를 들면, V. Pulkki, 진폭-패닝된 가상 소스들의 변위를 보상하는 방법(가상, 합성 및 엔터테인먼트 오디오에 대한 오디오 엔지니어링 협회(AES) 국제 컨퍼런스)의 섹션 2, 페이지들 3-4에 설명된 진폭 패닝 방법들에 따라, 결정될 수 있으며, 이것은 여기에서 참조로서 통합된다. 몇몇 구현들에서, 이득들은 주파수 의존적일 수 있다. 몇몇 구현들에서, 시간 지연은 x(t)를 x(t-△t)로 대체함으로써 도입될 수 있다.
몇몇 렌더링 구현들에서, 스피커 구역들(402)을 참조하여 생성된 오디오 재생 데이터는 광범위한 재생 환경들의 스피커 위치들에 매핑될 수 있으며, 이것은 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 하마사키(Hamasaki) 22.2 구성, 또는 또 다른 구성에 있을 수 있다. 예를 들면, 도 2를 참조하면, 렌더링 툴은 스피커 구역들(4 및 5)을 위한 오디오 재생 데이터를 돌비 서라운드 7.1 구성을 가진 재생 환경의 좌측 측면 서라운드 어레이(220) 및 우측 측면 서라운드 어레이(225)에 매핑시킬 수 있다. 스피커 구역들(1, 2 및 3)에 대한 오디오 재생 데이터는 각각 좌측 스크린 채널(230), 우측 스크린 채널(240) 및 중앙 스크린 채널(235)에 매핑될 수 있다. 스피커 구역들(6, 7)에 대한 오디오 재생 데이터는 좌측 후방 서라운드 스피커들(224) 및 우측 후방 서라운드 스피커들(226)에 매핑될 수 있다.
도 4b는 또 다른 재생 환경의 예를 도시한다. 몇몇 구현들에서, 렌더링 툴은 스피커 구역들(1, 2 및 3)에 대한 오디오 재생 데이터를 재생 환경(450)의 대응하는 스크린 스피커들(455)에 매핑시킬 수 있다. 렌더링 툴은 스피커 구역들(4 및 5)에 대한 오디오 재생 데이터를 좌측 측면 서라운드 어레이(460) 및 우측 측면 서라운드 어레이(465)에 매핑시킬 수 있으며 스피커 구역들(8 및 9)에 대한 오디오 재생 데이터를 좌측 오버헤드 스피커들(470a) 및 우측 오버헤드 스피커들(470b)에 매핑시킬 수 있다. 스피커 구역들(6 및 7)에 대한 오디오 재생 데이터는 좌측 후방 서라운드 스피커들(480a) 및 우측 후방 서라운드 스피커들(480b)에 매핑될 수 있다.
몇몇 저작 구현들에서, 저작 툴은 오디오 오브젝트들에 대한 메타데이터를 생성하기 위해 사용될 수 있다. 상기 메타데이터는 오브젝트의 3D 위치, 렌더링 제약들, 콘텐트 유형(예로서, 다이얼로그, 효과들 등) 및/또는 다른 정보를 표시할 수 있다. 구현에 의존하여, 상기 메타데이터는 폭 데이터, 이득 데이터, 궤적 데이터 등과 같은, 다른 유형들의 데이터를 포함할 수 있다. 몇몇 오디오 오브젝트들은 정적일 수 있는 반면, 다른 것들은 움직일 수 있다.
오디오 오브젝트들은 그것들의 연관된 메타데이터에 따라 렌더링되며, 이것은 일반적으로 주어진 시간 포인트에서 3-차원 공간에서 오디오 오브젝트의 위치를 표시한 위치 메타데이터를 포함한다. 오디오 오브젝트들이 재생 환경에서 모니터링되거나 또는 재생될 때, 오디오 오브젝트들은, 돌비 5.1 및 돌비 7.1과 같은 종래의, 채널-기반 시스템들이 갖는 경우인 것처럼, 미리 결정된 물리 채널로 출력되기보다는, 재생 환경에 존재하는 스피커들을 사용하여 위치 메타데이터에 따라 렌더링된다.
위치 메타데이터 외에, 다른 유형들의 메타데이터가 의도된 오디오 효과들을 생성하기 위해 필요할 수 있다. 예를 들면, 몇몇 구현들에서, 오디오 오브젝트와 연관된 메타데이터는, 또한 "폭"으로서 불리울 수 있는, 오디오 오브젝트 크기를 표시할 수 있다. 크기 메타데이터는 오디오 오브젝트에 의해 점유된 공간 영역 또는 볼륨을 표시하기 위해 사용될 수 있다. 공간적으로 큰 오디오 오브젝트는 단지 오디오 오브젝트 위치 메타데이터에 의해서만 정의된 위치를 가진 포인트 사운드 소스로서가 아닌, 큰 공간 영역을 커버하는 것으로서 여겨져야 한다. 몇몇 인스턴스들에서, 예를 들면, 큰 오디오 오브젝트는 가능하게는, 청취자를 고르게 둘러싸는, 재생 환경의 상당한 부분을 점유하는 것으로서 여겨져야 한다.
인간 청각 시스템은 양쪽 귀들에 도착한 신호들의 상관 또는 간섭에서의 변화들에 매우 민감하며, 정규화된 상관이 +1의 값보다 작다면 지각된 오브젝트 크기 속성에 이러한 상관을 매핑시킨다. 그러므로, 확실한 공간 오브젝트 크기, 또는 공간 확산을 생성하기 위해, 재생 환경에서의 상당한 비율의 스피커 신호들이 상호 독립적이거나, 또는 적어도 상관되지 않아야 한다(예로서, 1차 교차 상관 또는 공분산에 대하여 독립적인). 만족스러운 비상관 프로세스는 통상적으로 다소 복잡하며, 보통 시변 필터들을 수반한다.
시네마 사운드 트랙은 각각이 그것의 연관된 위치 메타데이터, 크기 메타데이터 및 가능하게는 다른 공간 메타데이터를 갖는, 수백 개의 오브젝트들을 포함할 수 있다. 게다가, 시네마 사운드 시스템은 수백 개의 라우드스피커들을 포함할 수 있으며, 이것은 오디오 오브젝트 위치들 및 크기들의 만족스러운 지각을 제공하기 위해 개별적으로 제어될 수 있다. 시네마에서, 그러므로, 수백 개의 오브젝트들은 수백 개의 라우드스피커들에 의해 재생될 수 있으며, 오브젝트-대-라우드스피커 신호 매핑은 패닝 계수들의 매우 큰 매트릭스로 이루어진다. 오브젝트들의 수가 M으로 제공되며, 라우드스피커들의 수가 N으로 제공될 때, 이러한 매트릭스는 M*N개까지의 요소들을 가진다. 이것은 분산된 또는 큰-크기 오브젝트들의 재생을 위한 함축들을 가진다. 확실한 공간 오브젝트 크기, 또는 공간 확산을 생성하기 위해, N개의 라우드스피커 신호들의 상당한 비율이 상호 독립적이거나, 또는 적어도 상관되지 않아야 한다. 이것은 일반적으로 많은(N개까지의) 독립적 비상관 프로세스들의 사용을 수반하여, 렌더링 프로세스에 대한 상당한 프로세싱 부하를 야기한다. 게다가, 비상관의 양은 각각의 오브젝트에 대해 상이할 수 있으며, 이것은 렌더링 프로세스를 추가로 복잡하게 한다. 상업적 극장을 위한 렌더링 시스템과 같은, 충분히 복잡한 렌더링 시스템은 이러한 비상관을 제공할 수 있을 것이다.
그러나, 홈 시어터 시스템들을 위해 의도된 것들과 같은, 덜 복잡한 렌더링 시스템들은 적절한 비상관을 제공할 수 없을 것이다. 몇몇 이러한 렌더링 시스템들은 전혀 비상관을 제공할 수 없다. 홈 시어터 시스템상에서 실행되기에 충분히 간단한 비상관 프로그램들은 아티팩트들을 도입할 수 있다. 예를 들면, 콤-필터 아티팩트들은 저-복잡도 비상관 프로세스가 다운믹스 프로세스로 이어진다면 도입될 수 있다.
또 다른 잠재적인 문제점은 몇몇 애플리케이션들에서, 오브젝트-기반 오디오가, 역-호환 가능한 믹스로부터 하나 이상의 오브젝트들을 검색하기 위해 부가적인 정보를 갖고 증가된, 상기 역-호환 가능한 믹스(돌비 디지털 또는 돌비 디지털 플러스와 같은)의 형태로 송신된다. 역-호환 가능한 믹스는 보통 비상관의 효과가 포함되지 않을 것이다. 몇몇 이러한 시스템들에서, 오브젝트들의 재구성은 단지 역-호환 가능한 믹스가 간단한 패닝 절차들을 사용하여 생성되는 경우에만 신뢰 가능하게 작동할 수 있다. 이러한 프로세스들에서의 비상관기들의 사용은, 때때로 심하게, 오디오 오브젝트 재구성 프로세스를 손상시킬 수 있다. 과거에, 이것은 이것이 역-호환 가능한 믹스에서 비상관을 적용하지 않도록 선택되어, 그에 의해 상기 믹스의 예술적 의도를 저하시키거나, 또는 오브젝트 재구성 프로세스에서의 저하를 수용함을 의미하였다.
이러한 잠재적인 문제점들을 처리하기 위해, 여기에서 설명된 몇몇 구현들은 특수한 프로세싱을 위해 분산된 또는 공간적으로 큰 오디오 오브젝트들을 식별하는 것을 수반한다. 이러한 방법들 및 디바이스들은 홈 시어터에서 렌더링될 오디오 데이터에 특히 적절할 수 있다. 그러나, 이들 방법들 및 디바이스들은 홈 시어터 사용에 제한되지 않으며, 광범위한 적용 가능성을 가진다.
그것들의 공간적으로 분산된 특징으로 인해, 큰 크기를 가진 오브젝트들은 조밀하며 간결한 위치를 가진 포인트 소스들로서 지각되지 않는다. 그러므로, 다수의 스피커들은 이러한 공간적으로 분산된 오브젝트들을 재생하기 위해 사용된다. 그러나, 큰 오디오 오브젝트들을 재생하기 위해 사용되는 재생 환경에서 스피커들의 정확한 위치들은 조밀한, 작은-크기 오디오 오브젝트들을 재생하기 위해 스피커 사용의 위치들보다 덜 중대하다. 따라서, 큰 오디오 오브젝트들의 고-품질 재생은 결국 비상관된 큰 오디오 오브젝트 오디오 신호들을 재생 환경의 실제 스피커들로 렌더링하기 위해 사용된 실제 재생 스피커 구성에 대한 사전 지식 없이 가능하다. 결과적으로, 큰 오디오 오브젝트들을 위한 비상관 프로세스들은 청취자들을 위해, 홈 시어터 시스템과 같은, 재생 환경에서 재생을 위해 오디오 데이터를 렌더링하는 프로세스 전에, "업스트림으로" 수행될 수 있다. 몇몇 예들에서, 큰 오디오 오브젝트들을 위한 비상관 프로세스들은 이러한 재생 환경들로의 송신을 위한 오디오 데이터를 인코딩하기 전에 수행된다.
이러한 구현들은 고-복잡도 비상관이 가능하도록 재생 환경의 렌더러에 요구하지 않으며, 그에 의해 비교적 더 간단하고, 더 효율적이며 더 저렴할 수 있는 렌더링 프로세스들을 허용한다. 역-호환 가능한 다운믹스들은 렌더링-측 비상관을 위한 오브젝트를 재구성하기 위한 요구 없이, 최상의 가능한 예술적 의도를 유지하기 위해 비상관의 효과를 포함할 수 있다. 고-품질 비상관기들은 예로서, 사운드 스튜디오에서 저작 또는 포스트-프로덕션 프로세스 동안, 최종 렌더링 프로세스의 업스트림으로 큰 오디오 오브젝트들에 적용될 수 있다. 이러한 비상관기들은 다운믹싱 및/또는 다른 다운스트림 오디오 프로세싱에 관하여 강력할 수 있다.
도 5는 공간적으로 큰 오디오 오브젝트들을 위한 오디오 프로세싱의 예를 제공하는 흐름도이다. 여기에서 설명된 다른 방법들과 마찬가지로, 방법(500)의 동작들은 반드시 표시된 순서로 수행되는 것은 아니다. 게다가, 이들 방법들은 도시되고 및/또는 설명된 것보다 많거나 또는 적은 블록들을 포함할 수 있다. 이들 방법들은 도 11에 도시되며 이하에서 설명되는 로직 시스템(1110)과 같은 로직 시스템에 의해, 적어도 부분적으로, 구현될 수 있다. 이러한 로직 시스템은 오디오 프로세싱 시스템의 구성요소일 수 있다. 대안적으로, 또는 부가적으로, 이러한 방법들은 그것 상에 저장된 소프트웨어를 가진 비-일시적 매체를 통해 구현될 수 있다. 소프트웨어는 여기에서 설명된 방법들을, 적어도 부분적으로, 수행하도록 하나 이상의 디바이스들을 제어하기 위한 지시들을 포함할 수 있다.
이 예에서, 방법(500)은 블록(505)으로 시작하며, 이것은 오디오 오브젝트들을 포함한 오디오 데이터를 수신하는 것을 수반한다. 오디오 데이터는 오디오 프로세싱 시스템에 의해 수신될 수 있다. 이 예에서, 오디오 오브젝트들은 오디오 오브젝트 신호들 및 연관된 메타데이터를 포함한다. 여기에서, 연관된 메타데이터는 오디오 오브젝트 크기 데이터를 포함한다. 연관된 메타데이터는 또한 3차원 공간에서의 오디오 오브젝트의 위치, 비상관 메타데이터, 오디오 오브젝트 이득 정보 등을 표시한 오디오 오브젝트 위치 데이터를 포함할 수 있다. 오디오 데이터는 또한 스피커 위치들에 대응하는 하나 이상의 오디오 베드 신호들을 포함할 수 있다.
이러한 구현에서, 블록(510)은, 오디오 오브젝트 크기 데이터에 기초하여, 임계 크기보다 큰 오디오 오브젝트 크기를 가진 큰 오디오 오브젝트를 결정하는 것을 수반한다. 예를 들면, 블록(510)은 수치적 오디오 오브젝트 크기 값이 미리 결정된 레벨을 초과하는지를 결정하는 것을 수반할 수 있다. 수치적 오디오 오브젝트 크기 값은 예를 들면, 오디오 오브젝트에 의해 점유된 재생 환경의 일 부분에 대응할 수 있다. 대안적으로, 또는 부가적으로, 블록(510)은 플래그, 비상관 메타데이터 등과 같은, 또 다른 유형의 표시가, 오디오 오브젝트가 임계 크기보다 큰 오디오 오브젝트 크기를 가진다는 것을 표시하는지를 결정하는 것을 수반할 수 있다. 방법(500)의 논의 중 상당 부분이 단일의 큰 오디오 오브젝트를 프로세싱하는 것을 수반하지만, 동일한(또는 유사한) 프로세스들이 다수의 큰 오디오 오브젝트들에 적용될 수 있다는 것이 이해될 것이다.
이 예에서, 블록(515)은 큰 오디오 오브젝트의 오디오 신호들에 대한 비상관 프로세스를 수행하여, 비상관된 큰 오디오 오브젝트 오디오 신호들을 생성하는 것을 수반한다. 몇몇 구현들에서, 비상관 프로세스는 적어도 부분적으로, 수신된 비상관 메타데이터에 따라 수행될 수 있다. 비상관 프로세스는, 지연들, 전대역-통과 필터들, 의사-랜덤 필터들 및/또는 반향 알고리즘들을 수반할 수 있다.
여기서, 블록(520)에서, 비상관된 큰 오디오 오브젝트 오디오 신호들은 오브젝트 위치들과 연관된다. 이 예에서, 연관 프로세스는 결국 비상관된 큰 오디오 오브젝트 오디오 신호들을 재생 환경의 실제 재생 스피커들로 렌더링하기 위해 사용될 수 있는 실제 재생 스피커 구성에 독립적이다. 그러나, 몇몇 대안적인 구현들에서, 오브젝트 위치들은 실제 재생 스피커 위치들과 부합할 수 있다. 예를 들면, 몇몇 이러한 대안적인 구현들에 따르면, 오브젝트 위치들은 공통으로-사용된 재생 스피커 구성들의 재생 스피커 위치들과 부합할 수 있다. 오디오 베드 신호들이 블록(505)에서 수신된다면, 오브젝트 위치들은 오디오 베드 신호들 중 적어도 일부에 대응하는 재생 스피커 위치들과 부합할 수 있다. 대안적으로, 또는 부가적으로, 오브젝트 위치들은 수신된 오디오 오브젝트들의 오디오 오브젝트 위치 데이터 중 적어도 일부에 대응하는 위치들일 수 있다. 따라서, 오브젝트 위치들 중 적어도 일부는 고정될 수 있는 반면, 오브젝트 위치들 중 적어도 일부는 시간에 걸쳐 달라질 수 있다. 몇몇 구현들에서, 블록(520)은 큰 오디오 오브젝트로부터 임계 거리만큼 공간적으로 분리되는 오디오 오브젝트들에 대한 오디오 신호들과 비상관된 큰 오디오 오브젝트 오디오 신호들을 믹싱하는 것을 수반할 수 있다.
몇몇 구현들에서, 블록(520)은 가상 스피커 위치들에 따라 비상관된 큰 오디오 오브젝트 오디오 신호들을 렌더링하는 것을 수반할 수 있다. 몇몇 이러한 구현들은 큰 오디오 오브젝트 위치 데이터 및 큰 오디오 오브젝트 크기 데이터에 의해 정의된 오디오 오브젝트 영역 또는 볼륨 내에서 가상 소스들로부터의 기여들을 계산하는 것을 수반할 수 있다. 이러한 구현들은 적어도 부분적으로, 계산된 기여들에 기초하여 복수의 출력 채널들의 각각에 대한 오디오 오브젝트 이득 값들의 세트를 결정하는 것을 수반할 수 있다. 몇몇 예들이 이하에서 설명된다.
몇몇 구현들은 연관 프로세스로부터 출력된 오디오 데이터를 인코딩하는 것을 수반할 수 있다. 몇몇 이러한 구현들에 따르면, 인코딩 프로세스는 오디오 오브젝트 신호들 및 연관된 메타데이터를 인코딩하는 것을 수반한다. 몇몇 구현들에서, 인코딩 프로세스는 데이터 압축 프로세스를 포함한다. 상기 데이터 압축 프로세스는 무손실이거나 또는 손실될 수 있다. 몇몇 구현들에서, 데이터 압축 프로세스는 양자화 프로세스를 수반한다. 몇몇 예들에 따르면, 인코딩 프로세스는 큰 오디오 오브젝트에 대한 비상관 메타데이터를 인코딩하는 것을 수반하지 않는다.
몇몇 구현들은 또한 여기에서 "장면 간소화" 프로세스로서 불리우는, 오디오 오브젝트 클러스터링 프로세스를 수행하는 것을 수반한다. 예를 들면, 오디오 오브젝트 클러스터링 프로세스는 블록(520)의 일부일 수 있다. 인코딩하는 것을 수반하는 구현들에 대해, 인코딩 프로세스는 오디오 오브젝트 클러스터링 프로세스로부터 출력되는 오디오 데이터를 인코딩하는 것을 수반할 수 있다. 몇몇 이러한 구현들에서, 오디오 오브젝트 클러스터링 프로세스는 비상관 프로세스 후 수행될 수 있다. 장면 간소화 프로세스들을 포함한, 방법(500)의 블록들에 대응하는 프로세스들의 추가 예들이 이하에서 제공된다.
도 6a 내지 도 6f는 여기에서 설명된 바와 같이 큰 오디오 오브젝트들을 프로세싱할 수 있는 오디오 프로세싱 시스템들의 구성요소들의 예들을 예시하는 블록도들이다. 이들 구성요소들은, 예를 들면, 오디오 프로세싱 시스템의 로직 시스템의 모듈들에 대응할 수 있으며, 이것은 하나 이상의 비-일시적 미디어에 저장된 하드웨어, 펌웨어, 소프트웨어, 또는 그것의 조합들을 통해 구현될 수 있다. 로직 시스템은 범용 단일- 또는 다중-칩 프로세서들과 같은, 하나 이상의 프로세서들을 포함할 수 있다. 상기 로직 시스템은 디지털 신호 프로세서(DSP), 애플리케이션 특정 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA) 또는 다른 프로그램 가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들 및/또는 그것의 조합들을 포함할 수 있다.
도 6a에서, 오디오 프로세싱 시스템(600)은 큰 오디오 오브젝트(605)와 같은, 큰 오디오 오브젝트들을 검출할 수 있다. 검출 프로세스는 도 5의 블록(510)을 참조하여 설명된 프로세스들 중 하나와 실질적으로 유사할 수 있다. 이 예에서, 큰 오디오 오브젝트(605)의 오디오 신호들은 비상관된 큰 오디오 오브젝트 신호들(611)을 생성하기 위해, 비상관 시스템(610)에 의해 비상관된다. 비상관 시스템(610)은 적어도 부분적으로, 큰 오디오 오브젝트(605)에 대한 수신된 비상관 메타데이터에 따라, 비상관 프로세스를 수행할 수 있다. 비상관 프로세스는 지연들, 전대역-통과 필터들, 의사-랜덤 필터들 또는 반향 알고리즘들 중 하나 이상을 수반할 수 있다.
오디오 프로세싱 시스템(600)은 또한 이 예에서 다른 오디오 오브젝트들 및/또는 베드들(615)인, 다른 오디오 신호들을 수신할 수 있다. 여기에서, 다른 오디오 오브젝트들은 큰 오디오 오브젝트인 것으로서 오디오 오브젝트를 특성화하기 위한 임계 크기 아래에 있는 크기를 가진 오디오 오브젝트들이다.
이 예에서, 오디오 프로세싱 시스템(600)은 다른 오브젝트 위치들과 비상관된 큰 오디오 오브젝트 오디오 신호들(611)을 연관시킬 수 있다. 오브젝트 위치들은 고정될 수 있거나 또는 시간에 걸쳐 달라질 수 있다. 연관 프로세스는 도 5의 블록(520)을 참조하여 상기 설명된 프로세스들 중 하나 이상과 유사할 수 있다.
연관 프로세스는 믹싱 프로세스를 수반할 수 있다. 믹싱 프로세스는, 적어도 부분적으로, 큰 오디오 오브젝트 위치 및 또 다른 오브젝트 위치 사이에서의 거리에 기초할 수 있다. 도 6a에 도시된 구현에서, 오디오 프로세싱 시스템(600)은 오디오 오브젝트들 및/또는 베드들(615)에 대응하는 적어도 몇몇 오디오 신호들과 비상관된 큰 오디오 오브젝트 신호들(611)을 믹싱할 수 있다. 예를 들면, 오디오 프로세싱 시스템(600)은 큰 오디오 오브젝트로부터의 거리의 임계량만큼 공간적으로 분리되는 다른 오디오 오브젝트들에 대한 오디오 신호들과 비상관된 큰 오디오 오브젝트 오디오 신호들(611)을 믹싱할 수 있을 것이다.
몇몇 구현들에서, 연관 프로세스는 렌더링 프로세스를 수반할 수 있다. 예를 들면, 연관 프로세스는 가상 스피커 위치들에 따라 비상관된 큰 오디오 오브젝트 오디오 신호들을 렌더링하는 것을 수반할 수 있다. 몇몇 예들이 이하에서 설명된다. 렌더링 프로세스 후, 비상관 시스템(610)에 의해 수신된 큰 오디오 오브젝트에 대응하는 오디오 신호들을 보유하기 위한 요구가 없을 수 있을 것이다. 따라서, 오디오 프로세싱 시스템(600)은 비상관 프로세스가 비상관 시스템(610)에 의해 수행된 후 큰 오디오 오브젝트(605)의 오디오 신호들을 감쇠시키거나 또는 제거하기 위해 구성될 수 있다. 대안적으로, 오디오 프로세싱 시스템(600)은 비상관 프로세스가 수행된 후 큰 오디오 오브젝트(605)의 오디오 신호들의 적어도 일 부분(예로서, 큰 오디오 오브젝트(605)의 포인트 소스 기여에 대응하는 오디오 신호들)을 보유하기 위해 구성될 수 있다.
이 예에서, 오디오 프로세싱 시스템(600)은 오디오 데이터를 인코딩할 수 있는 인코더(620)를 포함한다. 여기에서, 인코더(620)는 연관 프로세스 후 오디오 데이터를 인코딩하기 위해 구성된다. 이 구현에서, 인코더(620)는 오디오 데이터에 데이터 압축 프로세스를 적용할 수 있다. 인코딩된 오디오 데이터(622)는 다운스트림 프로세싱, 재생 등을 위해 저장되고 및/또는 다른 오디오 프로세싱 시스템들에 송신될 수 있다.
도 6b에 도시된 구현에서, 오디오 프로세싱 시스템(600)은 레벨 조정이 가능하다. 이 예에서, 레벨 조정 시스템(612)은 비상관 시스템(610)의 출력의 레벨들을 조정하도록 구성된다. 레벨 조정 프로세스는 원래 콘텐트에서 오디오 오브젝트들의 메타데이터에 의존할 수 있다. 이 예에서, 레벨 조정 프로세스는, 적어도 부분적으로, 큰 오디오 오브젝트(605)의 오디오 오브젝트 크기 메타데이터 및 오디오 오브젝트 위치 메타데이터에 의존한다. 이러한 레벨 조정은 오디오 오브젝트들 및/또는 베드들(615)과 같은, 다른 오디오 오브젝트들로의 비상관기 출력의 분배를 최적화하기 위해 사용될 수 있다. 이것은 결과적인 렌더링의 공간 확산을 개선하기 위해, 공간적으로 먼 다른 오브젝트 신호들에 비상관기 출력들을 믹싱하도록 선택할 수 있다.
대안적으로, 또는 부가적으로, 레벨 조정 프로세스는 비상관된 큰 오디오 오브젝트(605)에 대응하는 사운드들이 단지 특정한 방향으로부터의 라우드스피커들에 의해 재생됨을 보장하기 위해 사용될 수 있다. 이것은 단지 원하는 방향 또는 위치의 부근에서의 오브젝트들에 비상관기 출력들을 부가함으로써 성취될 수 있다. 이러한 구현들에서, 큰 오디오 오브젝트(605)의 위치 메타데이터는 그것의 사운드들이 온 지각된 방향에 관한 정보를 보존하기 위해, 레벨 조정 프로세스로 인자화(factored)된다. 이러한 구현들은 중간 크기의 오브젝트들에, 예로서 크지만 그것들의 크기가 전체 재현/재생 환경을 포함할 만큼 크지 않은 것으로 간주되는 오디오 오브젝트들에 적절할 수 있다.
도 6c에 도시된 구현에서, 오디오 프로세싱 시스템(600)은 비상관 프로세스 동안 부가적인 오브젝트들 또는 베드 채널들을 생성할 수 있다. 이러한 기능은, 예를 들면, 다른 오디오 오브젝트들 및/또는 베드들(615)이 적절하거나 또는 최적이 아닌 경우, 바람직할 수 있다. 예를 들면, 몇몇 구현들에서, 비상관된 큰 오디오 오브젝트 신호들(611)은 가상 스피커 위치들에 대응할 수 있다. 다른 오디오 오브젝트들 및/또는 베드들(615)이 원하는 가상 스피커 위치들에 충분히 가까운 위치들에 대응하지 않는다면, 비상관된 큰 오디오 오브젝트 신호들(611)은 새로운 가상 스피커 위치들에 대응할 수 있다.
이 예에서, 큰 오디오 오브젝트(605)는 먼저 비상관 프로세스(610)에 의해 프로세싱된다. 그 다음에, 비상관된 큰 오디오 오브젝트 신호들(611)에 대응하는 부가적인 오브젝트들 또는 베드 채널들이 인코더(620)에 제공된다. 이 예에서, 비상관된 큰 오디오 오브젝트 신호들(611)은 인코더(620)로 전송되기 전에 레벨 조정을 겪는다. 비상관된 큰 오디오 오브젝트 신호들(611)은 베드 채널 신호들 및/또는 오디오 오브젝트 신호들일 수 있으며, 그 후자는 정적 또는 이동하는 오브젝트들에 대응할 수 있다.
몇몇 구현들에서, 인코더(620)로 출력된 오디오 신호들은 또한 원래 큰 오디오 오브젝트 신호들 중 적어도 일부를 포함할 수 있다. 상기 주지된 바와 같이, 오디오 프로세싱 시스템(600)은 비상관 프로세스가 수행된 후 큰 오디오 오브젝트(605)의 포인트 소스 기여에 대응하는 오디오 신호들을 보유할 수 있을 것이다. 이것은 예를 들면, 상이한 신호들이 가변하는 정도들로 서로와 상관될 수 있기 때문에 유리할 수 있다. 그러므로, 큰 오디오 오브젝트(605)(예를 들면, 포인트 소스 기여)에 대응하는 원래 오디오 신호의 적어도 일 부분을 통과하며 그것을 개별적으로 렌더링하는 것이 도움이 될 수 있을 것이다. 이러한 구현들에서, 큰 오디오 오브젝트(605)에 대응하는 비상관된 신호들 및 원래 신호들을 레벨링하는 것이 유리할 수 있다.
하나의 이러한 예는 도 6d에 도시된다. 이 예에서, 원래 큰 오디오 오브젝트 신호들(613) 중 적어도 일부는 레벨 조정 시스템(612a)에 의해 제 1 레벨링 프로세스를 겪으며, 비상관된 큰 오디오 오브젝트 신호들(611)은 레벨 조정 시스템(612b)에 의해 레벨링 프로세스를 겪는다. 여기에서, 레벨 조정 시스템(612a) 및 레벨 조정 시스템(612b)은 출력 오디오 신호들을 인코더(620)에 제공한다. 레벨 조정 시스템(612b)의 출력은 또한 이 예에서 다른 오디오 오브젝트들 및/또는 베드들(615)과 믹싱된다.
몇몇 구현들에서, 오디오 프로세싱 시스템(600)은 콘텐트 유형을 결정하기 위해(또는 적어도 추정하기 위해) 입력 오디오 데이터를 평가할 수 있을 것이다. 비상관 프로세스는 적어도 부분적으로 콘텐트 유형에 기초할 수 있다. 몇몇 구현들에서, 비상관 프로세스는 콘텐트 유형에 따라 선택적으로 수행될 수 있다. 예를 들면, 입력 오디오 데이터에 대해 수행될 비상관의 양은 적어도 부분적으로, 콘텐트 유형에 의존할 수 있다. 예를 들면, 이것은 일반적으로 스피치를 위한 비상관의 양을 감소시키기를 원할 것이다.
일 예가 도 6e에 도시된다. 이 예에서, 미디어 지능 시스템(625)은 오디오 신호들을 평가하며 콘텐트 유형을 추정할 수 있다. 예를 들면, 미디어 지능 시스템(625)은 큰 오디오 오브젝트들(605)에 대응하는 오디오 신호들을 평가하며 콘텐트 유형이 스피치, 음악, 사운드 효과들 등인지를 추정할 수 있을 것이다. 도 6e에 도시된 예에서, 미디어 지능 시스템(625)은 콘텐트 유형의 추정에 따라 오브젝트의 비상관의 양 또는 크기 프로세싱을 제어하기 위해 제어 신호들(627)을 전송할 수 있다.
예를 들면, 미디어 지능 시스템(625)이 큰 오디오 오브젝트(605)의 오디오 신호들이 스피치에 대응한다고 추정한다면, 미디어 지능 시스템(625)은 이들 신호들에 대한 비상관의 양이 감소되어야 하거나 또는 이들 신호들이 비상관되지 않아야 함을 표시한 제어 신호들(627)을 전송할 수 있다. 스피치 신호인 신호의 우도를 자동으로 결정하는 다양한 방법들이 사용될 수 있다. 일 실시예에 따르면, 미디어 지능 시스템(625)은 적어도 부분적으로, 중앙 채널에서의 오디오 정보에 기초하여 스피치 우도 값을 생성할 수 있는 스피치 우도 추정기를 포함할 수 있다. 몇몇 예들은 "라우드니스 모니터링을 위한 자동화된 스피치/다른 식별"(2005년 5월, 오디오 엔지니어링 협회, 컨벤션 118의 프리프린트 번호 6437)에서 Robinson 및 Vinton에 의해 설명된다.
몇몇 구현들에서, 제어 신호들(627)은 레벨 조정의 양을 표시할 수 있고 및/또는 오디오 오브젝트들 및/또는 베드들(615)에 대한 오디오 신호들과 비상관된 큰 오디오 오브젝트 신호들(611)을 믹싱하기 위한 파라미터들을 표시할 수 있다.
대안적으로, 또는 부가적으로, 큰 오디오 오브젝트에 대한 비상관의 양은 콘텐트 유형의 "스템들(stems)", "태그들" 또는 다른 분명한 표시들에 기초할 수 있다. 콘텐트 유형의 이러한 분명한 표시들은, 예를 들면, 콘텐트 생성기에 의해 생성되며(예로서, 포스트-프로덕션 프로세스 동안) 대응하는 오디오 신호들을 가진 메타데이터로서 송신될 수 있다. 몇몇 구현들에서, 이러한 메타데이터는 인간-판독 가능할 수 있다. 예를 들면, 인간-판독 가능한 스템 또는 태그는 사실상, "이것은 다이얼로그이다", "이것은 특수 효과이다", "이것은 음악이다", 등을 명확히 표시할 수 있다.
몇몇 구현들은 예를 들면, 공간 위치, 공간 크기 또는 콘텐트 유형에 대하여, 몇몇 점들에서 유사한 오브젝트들을 조합하는 클러스터링 프로세스를 수반할 수 있다. 클러스터링의 몇몇 예들은 도 7 및 도 8을 참조하여 이하에서 설명된다. 도 6f에 도시된 예에서, 오브젝트들 및/또는 베드들(615a)은 클러스터링 프로세스(630)로 입력된다. 보다 작은 수의 오브젝트들 및/또는 베드들(615b)이 클러스터링 프로세스(630)로부터 출력된다. 오브젝트들 및/또는 베드들(615b)에 대응하는 오디오 데이터는 레벨링된 비상관된 큰 오디오 오브젝트 신호들(611)과 믹싱된다. 몇몇 대안적인 구현들에서, 클러스터링 프로세스는 비상관 프로세스를 따를 수 있다. 일 예가 도 9를 참조하여 이하에서 설명된다. 이러한 구현들은 예를 들면, 다이얼로그가, 중앙 스피커에 가깝지 않은 위치, 또는 큰 클러스터 크기와 같은, 바람직하지 않은 메타데이터를 가진 클러스터로 믹싱되는 것을 방지할 수 있다.
오브젝트 클러스터링을 통한 장면 간소화
다음의 설명의 목적들을 위해, 용어들 "클러스터링 및 "그룹핑" 또는 "조합"은 적응적 오디오 재생 시스템에서 송신 및 렌더링을 위한 적응적 오디오 콘텐트의 단위로 데이터의 양을 감소시키기 위해 오브젝트들 및/또는 베드들(채널들)의 조합을 설명하기 위해 상호 교환 가능하게 사용되며; 용어 "감소"는 오브젝트들 및 베드들의 이러한 클러스터링을 통해 적응적 오디오의 장면 간소화를 수행하는 동작을 나타내기 위해 사용될 수 있다. 본 설명 전체에 걸쳐 용어들 "클러스터링", "그룹핑" 또는 "조합"은 단지 단일 클러스터로의 오브젝트 또는 베드 채널의 엄격하게 고유한 할당에 제한되지 않으며, 대신에 오브젝트 또는 베드 채널이 출력 클러스터 또는 출력 베드 신호로의 오브젝트 또는 베드 신호의 상대적 기여를 결정하는 가중치들 또는 이득 벡터들을 사용하여 하나 이상의 출력 베드 또는 클러스터에 걸쳐 분배될 수 있다.
실시예에서, 적응적 오디오 시스템은 채널 베드들 및 오브젝트들의 조합에 의해 생성된 공간 장면들의 지각적으로 투명한 간소화들 및 오브젝트 클러스터링을 통해 오브젝트-기반 오디오 콘텐트의 대역폭을 감소시키도록 구성된 적어도 하나의 구성요소를 포함한다. 구성요소(들)에 의해 실행된 오브젝트 클러스터링 프로세스는 원래 오브젝트들을 대체하는 오브젝트 클러스터들로 유사한 오브젝트들을 그룹핑함으로써 공간 장면의 복잡도를 감소시키기 위해, 공간 위치, 오브젝트 콘텐트 유형, 시간적 속성들, 오브젝트 크기 및/또는 기타를 포함할 수 있다.
원래 복잡한 베드 및 오디오 트랙들에 기초하여 강렬한 사용자 경험을 분배하며 렌더링하기 위한 표준 오디오 코딩에 대한 부가적인 오디오 프로세싱은 일반적으로 장면 간소화 및/또는 오브젝트 클러스터링으로서 불리운다. 이러한 프로세싱의 주요 목적은 재생 디바이스로 전달될 개개의 오디오 요소들(베드들 및 오브젝트들)의 수를 감소시키지만, 원래 저작된 콘텐트 및 렌더링된 출력 사이에서의 지각된 차이가 최소화되도록 충분한 공간 정보를 보유하는 클러스터링 또는 그룹핑 기술들을 통해 공간 장면을 감소시키는 것이다.
장면 간소화 프로세스는 감소된 수로 오브젝트들을 동적으로 클러스터링하기 위해 공간적 위치, 시간적 속성들, 콘텐트 유형, 크기 및/또는 다른 적절한 특성들과 같은 오브젝트들에 대한 정보를 사용하여 감소된 대역폭 채널들 또는 코딩 시스템들에서의 오브젝트-더하기-베드 콘텐트의 렌더링을 용이하게 할 수 있다. 이 프로세스는 다음의 클러스터링 동작들 중 하나 이상을 수행함으로써 오브젝트들의 수를 감소시킬 수 있다: (1) 오브젝트들로 오브젝트들을 클러스터링하는 것; (2) 베드들을 갖는 오브젝트를 클러스터링하는 것; 및 (3) 오브젝트들로 오브젝트들 및/또는 베드들을 클러스터링하는 것. 또한, 오브젝트는 둘 이상의 클러스터들에 걸쳐 분배될 수 있다. 프로세스는 오브젝트들의 클러스터링 및 클러스터링-해제를 제어하기 위해 오브젝트들에 대한 시간 정보를 사용할 수 있다.
몇몇 구현들에서, 오브젝트 클러스터들은 구성 오브젝트들의 개개의 파형들 및 메타데이터 요소들을 단일의 동등한 파형 및 메타데이터로 교체하며, 따라서 N개의 오브젝트들에 대한 데이터는 단일 오브젝트에 대한 데이터로 교체되고, 그에 따라 근본적으로 N에서 1까지의 오브젝트 데이터를 압축한다. 대안적으로, 또는 부가적으로, 오브젝트 또는 베드 채널은 하나 이상의 클러스터에 걸쳐 분배될 수 있어서(예를 들면, 진폭 패닝 기술들을 사용하여), N에서 M까지 오브젝트 데이터를 감소시키며, M<N이다. 클러스터링 프로세스는 클러스터링된 오브젝트들의 사운드 저하 대 클러스터링 압축 사이에서의 트레이드오프를 결정하기 위해 클러스터링된 오브젝트들의 위치, 라우드니스 또는 다른 특성에서의 변화로 인한 왜곡에 기초한 에러 메트릭을 사용할 수 있다. 몇몇 실시예들에서, 클러스터링 프로세스는 동시에 수행될 수 있다. 대안적으로, 또는 부가적으로, 클러스터링 프로세스는 클러스터링을 통한 오브젝트 간소화를 제어하기 위해 청각적 장면 분석(ASA) 및/또는 이벤트 경계 검출을 사용함으로써와 같은, 이벤트-구동일 수 있다.
몇몇 실시예들에서, 프로세스는 클러스터링을 제어하기 위해 엔드포인트 렌더링 알고리즘들 및/또는 디바이스들의 지식을 이용할 수 있다. 이러한 방식으로, 재생 디바이스의 특정한 특성들 또는 속성들은 클러스터링 프로세스를 알리기 위해 사용될 수 있다. 예를 들면, 상이한 클러스터링 기법들이 스피커들 대 헤드폰들 또는 다른 오디오 드라이버들을 위해 이용될 수 있거나, 또는 상이한 클러스터링 기법들이 무손실 대 손실된 코딩을 위해 사용될 수 있다.
도 7은 클러스터링 프로세스를 실행할 수 있는 시스템의 예를 도시하는 블록도이다. 도 7에 도시된 바와 같이, 시스템(700)은 감소된 대역폭에서 출력된 오디오 신호들을 생성하기 위해 입력 오디오 신호들을 프로세싱하는 인코더(704) 및 디코더(706) 스테이지들을 포함한다. 몇몇 구현들에서, 부분(720) 및 부분(730)은 상이한 위치들에 있을 수 있다. 예를 들면, 부분(720)은 포스트-프로덕션 저작 시스템에 대응할 수 있으며 부분(730)은 홈 시어터 시스템과 같은, 재생 환경에 대응할 수 있다. 도 7에 도시된 예에서, 입력 신호들의 부분(709)은 압축된 오디오 비트스트림(705)을 생성하기 위해 알려진 압축 기술들을 통해 프로세싱된다. 압축된 오디오 비트스트림(705)은 출력(707)의 적어도 일 부분을 생성하기 위해 디코더 스테이지(706)에 의해 디코딩될 수 있다. 이러한 알려진 압축 기술들은 오디오 데이터 자체에 대해, 입력 오디오 콘텐트(709)를 분석하는 것, 오디오 데이터를 양자화하는 것 및 그 후 마스킹 등과 같은 압축 기술들을 수행하는 것을 수반할 수 있다. 압축 기술들은 손실된 또는 무손실일 수 있으며 사용자가 192kbps, 256kbps, 512kbps 등과 같은, 압축된 대역폭을 선택하도록 허용할 수 있는 시스템들에서 구현될 수 있다.
적응적 오디오 시스템에서, 입력 오디오의 적어도 일 부분은 오디오 오브젝트들을 포함하는 입력 신호들(701)을 포함하며, 이것은 결과적으로 오디오 오브젝트 신호들 및 연관된 메타데이터를 포함한다. 메타데이터는 오브젝트 공간 위치, 오브젝트 크기, 콘텐트 유형, 라우드니스 등과 같은, 연관된 오디오 콘텐트의 특정한 특성들을 정의한다. 임의의 실현 가능한 수의 오디오 오브젝트들(예로서, 수백 개의 오브젝트들)이 재생을 위해 시스템을 통해 프로세싱될 수 있다. 매우 다양한 재생 시스템들 및 송신 미디어에서 다수의 오브젝트들의 정확한 재생을 용이하게 하기 위해, 시스템(700)은 원래 오브젝트들을 보다 작은 수의 오브젝트 그룹들로 조합함으로써 오브젝트들의 수를 보다 작은, 보다 관리 가능한 수의 오브젝트들로 감소시키는 클러스터링 프로세스 또는 구성요소(702)를 포함한다.
클러스터링 프로세스는 따라서 개개의 입력 오브젝트들(701)의 원래 세트로부터 보다 작은 수의 출력 그룹들(703)을 생성하기 위해 오브젝트들의 그룹들을 구축한다. 클러스터링 프로세스(702)는 근본적으로 감소된 수의 오브젝트 그룹들을 생성하기 위해 오디오 데이터 자체뿐만 아니라 오브젝트들의 메타데이터를 프로세싱한다. 메타데이터는 임의의 시간 포인트에서 어떤 오브젝트들이 다른 오브젝트들과 가장 적절하게 조합되는지를 결정하기 위해 분석될 수 있으며, 조합된 오브젝트들에 대한 대응하는 오디오 파형들은 대체 또는 조합된 오브젝트를 생성하기 위해 함께 합산될 수 있다. 이 예에서, 조합된 오브젝트 그룹들은 그 후 인코더(704)로 입력되며, 이것은 디코더(706)로의 송신을 위해 오디오 및 메타데이터를 포함하는 비트스트림(705)을 생성하도록 구성된다.
일반적으로, 오브젝트 클러스터링 프로세스(702)를 통합한 적응적 오디오 시스템은 원래 공간 오디오 포맷으로부터 메타데이터를 생성하는 구성요소들을 포함한다. 시스템(700)은 종래의 채널-기반 오디오 요소들 및 오디오 오브젝트 코딩 요소들 양쪽 모두를 포함한 하나 이상의 비트스트림들을 프로세싱하도록 구성된 오디오 프로세싱 시스템의 부분을 포함한다. 오디오 오브젝트 코딩 요소들을 포함한 확대 층은 채널-기반 오디오 코덱 비트스트림에 또는 오디오 오브젝트 비트스트림에 부가될 수 있다. 따라서, 이 예에서, 비트스트림들(705)은 기존의 스피커 및 드라이버 설계들 또는 개별적으로 어드레싱 가능한 드라이버들 및 드라이버 정의들을 이용한 차세대 스피커들을 갖고 사용을 위해 렌더러들에 의해 프로세싱될 확대 층을 포함한다.
공간 오디오 프로세서로부터의 공간 오디오 콘텐트는 오디오 오브젝트들, 채널들, 및 위치 메타데이터를 포함할 수 있다. 오브젝트가 렌더링될 때, 그것은 재생 스피커들의 위치 및 위치 메타데이터에 따라 하나 이상의 스피커들에 할당될 수 있다. 크기 메타데이터와 같은, 부가적인 메타데이터는 재생 위치를 변경하기 위해 또는 그 외 재생을 위해 사용되는 스피커들을 제한하기 위해 오브젝트와 연관될 수 있다. 메타데이터는 공간 파라미터들(예로서, 위치, 크기, 속도, 강도, 음색 등)을 제어하며 청취 환경에서 어떤 드라이버(들) 또는 스피커(들)가 전시 동안 각각의 사운드들을 플레이하는지를 특정하는 렌더링 큐들을 제공하기 위해 엔지니어의 믹싱 입력들에 응답하여 오디오 워크스테이션에서 생성될 수 있다. 메타데이터는 공간 오디오 프로세서에 의한 패키징 및 수송을 위해 워크스테이션에서의 각각의 오디오 데이터와 연관될 수 있다.
도 8은 적응적 오디오 프로세싱 시스템에서 오브젝트들 및/또는 베드들을 클러스터링할 수 있는 시스템의 예를 예시하는 블록도이다. 도 8에 도시된 예에서, 장면 간소화 태스크들을 수행할 수 있는, 오브젝트 프로세싱 구성요소(806)는 임의의 수의 입력 오디오 파일들 및 메타데이터에서 판독한다. 입력 오디오 파일들은 입력 오브젝트들(802) 및 연관된 오브젝트 메타데이터를 포함하며, 베드들(804) 및 연관된 베드 메타데이터를 포함할 수 있다. 이러한 입력 파일/메타데이터는 따라서 "베드" 또는 "오브젝트" 트랙들에 대응한다.
이 예에서, 오브젝트 프로세싱 구성요소(806)는 보다 작은 수의 출력 오브젝트들 및 베드 트랙들을 생성하기 위해 미디어 지능/콘텐트 분류, 공간 왜곡 분석 및 오브젝트 선택/클러스터링 정보를 조합할 수 있다. 특히, 오브젝트들은 연관된 오브젝트/클러스터 메타데이터를 갖고, 새로운 등가의 오브젝트들 또는 오브젝트 클러스터들(808)을 생성하기 위해 함께 클러스터링될 수 있다. 오브젝트들은 또한 베드들로 다운믹싱하기 위해 선택될 수 있다. 이것은 출력 베드 오브젝트들 및 연관된 메타데이터(820)를 형성하기 위해 베드들(812)과의 조합(818)을 위한 렌더러(816)로 입력된 다운믹싱된 오브젝트들(810)의 출력으로서 도 8에 도시된다. 출력 베드 구성(820)(예로서, 돌비 5.1 구성)은 반드시, 예를 들면, Atmos 시네마를 위한 9.1일 수 있는, 입력 베드 구성에 일치할 필요는 없다. 이 예에서, 새로운 메타데이터는 입력 트랙들로부터 메타데이터를 조합함으로써 출력 트랙들을 위해 생성되며 새로운 오디오 데이터가 또한 입력 트랙들로부터 오디오를 조합함으로써 출력 트랙들을 위해 생성된다.
이러한 구현에서, 오브젝트 프로세싱 구성요소(806)는 특정한 프로세싱 구성 정보(822)를 사용할 수 있다. 이러한 프로세싱 구성 정보(822)는 출력 오브젝트들의 수, 프레임 크기 및 특정한 미디어 지능 설정들을 포함할 수 있다. 미디어 지능은 콘텐트 유형(즉, 다이얼로그/음악/효과들/등), 영역들(세그먼트/분류), 전처리 결과들, 청각 장면 분석 결과들, 및 다른 유사한 정보와 같은, 오브젝트들(또는 그것과 연관된)의 파라미터들 또는 특성들을 결정하는 것을 수반할 수 있다. 예를 들면, 오브젝트 프로세싱 구성요소(806)는 어떤 오디오 신호들이 스피치, 음악 및/또는 특수 효과들 사운드들에 대응하는지를 결정할 수 있을 것이다. 몇몇 구현들에서, 오브젝트 프로세싱 구성요소(806)는 오디오 신호들을 분석함으로써 적어도 몇몇 이러한 특성들을 결정할 수 있다. 대안적으로, 또는 부가적으로, 오브젝트 프로세싱 구성요소(806)는 태그들, 라벨들 등과 같은, 연관된 메타데이터에 따라 적어도 몇몇 이러한 특성들을 결정할 수 있을 것이다.
대안적인 실시예에서, 오디오 생성은 간소화 메타데이터(예로서, 어떤 오브젝트들이 어떤 클러스터에 속하는지, 어떤 오브젝트들이 베드들로 렌더링되는지 등)뿐만 아니라 모든 원래 트랙들에 대한 참조를 유지함으로써 연기될 수 있다. 이러한 정보는, 예를 들면, 스튜디오 및 인코딩 하우스 사이에서의 장면 간소화 프로세스의 분배 기능들, 또는 다른 유사한 시나리오들에 유용할 수 있다.
도 9는 큰 오디오 오브젝트들을 위한 비상관 프로세스를 따르는 클러스터링 프로세스의 예를 제공하는 블록도이다. 오디오 프로세싱 시스템(600)의 블록들은 비-일시적 미디어 등에 저장된 하드웨어, 펌웨어, 소프트웨어의 임의의 적절한 조합을 통해 구현될 수 있다. 예를 들면, 오디오 프로세싱 시스템(600)의 블록들은 도 11을 참조하여 이하에 설명되는 것들과 같은 로직 시스템 및/또는 다른 요소들을 통해 구현될 수 있다.
이러한 구현에서, 오디오 프로세싱 시스템(600)은 오디오 오브젝트들(O1 내지 OM)을 포함하는 오디오 데이터를 수신한다. 여기에서, 오디오 오브젝트들은 적어도 오디오 오브젝트 크기 메타데이터를 포함하여, 오디오 오브젝트 신호들 및 연관된 메타데이터를 포함한다. 연관된 메타데이터는 또한 오디오 오브젝트 위치 메타데이터를 포함할 수 있다. 이 예에서, 큰 오브젝트 검출 모듈(905)은 적어도 부분적으로 오디오 오브젝트 크기 메타데이터에 기초하여, 임계 크기보다 큰 크기를 가진 큰 오디오 오브젝트들(605)을 결정할 수 있다. 큰 오브젝트 검출 모듈(905)은 예를 들면, 도 5의 블록(510)을 참조하여 상기 설명된 바와 같이, 기능할 수 있다.
이러한 구현에서, 모듈(910)은 비상관된 큰 오디오 오브젝트 오디오 신호들(611)을 생성하기 위해 큰 오디오 오브젝트들(605)의 오디오 신호들에 대한 비상관 프로세스를 수행할 수 있다. 이 예에서, 모듈(910)은 또한 가상 스피커 위치들로 큰 오디오 오브젝트들(605)의 오디오 신호들을 렌더링할 수 있다. 따라서, 이 예에서, 모듈(910)에 의해 출력된 비상관된 큰 오디오 오브젝트 오디오 신호들(611)은 가상 스피커 위치들과 부합한다. 가상 스피커 위치들로 오디오 오브젝트 신호들을 렌더링하는 몇몇 예들이 이제 도 10a 및 도 10b를 참조하여 설명될 것이다.
도 10a는 재생 환경에 대하여 가상 소스 위치들의 예를 도시한다. 재생 환경은 실제 재생 환경 또는 가상 재생 환경일 수 있다. 가상 소스 위치들(1005) 및 스피커 위치들(1025)은 단지 예들이다. 그러나, 이 예에서, 재생 환경은 가상 재생 환경이며 스피커 위치들(1025)은 가상 스피커 위치들에 대응한다.
몇몇 구현들에서, 가상 소스 위치들(1005)은 모든 방향들로 균일하게 이격될 수 있다. 도 10a에 도시된 예에서, 가상 소스 위치들(1005)은 x, y 및 z 축들을 따라 균일하게 이격된다. 가상 소스 위치들(1005)은 Nx×Ny×Nz 가상 소스 위치들(1005)의 직사각형 그리드를 형성할 수 있다. 몇몇 구현들에서, N의 값은 5 내지 100의 범위에 있을 수 있다. N의 값은 적어도 부분적으로, 재생 환경에서(또는 재생 환경에 있는 것으로 예상되는) 스피커들의 수에 의존할 수 있으며: 각각의 스피커 위치 사이에 두 개 이상의 가상 소스 위치들(1005)을 포함하는 것이 바람직할 수 있다.
그러나, 대안적인 구현들에서, 가상 소스 위치들(1005)은 상이하게 이격될 수 있다. 예를 들면, 몇몇 구현들에서, 가상 소스 위치들(1005)은 x 및 y 축들을 따르는 제 1 균일한 간격 및 z 축을 따르는 제 2 균일한 간격을 가질 수 있다. 다른 구현들에서, 가상 소스 위치들(1005)은 비-균일하게 이격될 수 있다.
이 예에서, 오디오 오브젝트 볼륨(1020a)은 오디오 오브젝트의 크기에 대응한다. 오디오 오브젝트(1010)는 오디오 오브젝트 볼륨(1020a)에 의해 둘러싸여진 가상 소스 위치들(1005)에 따라 렌더링될 수 있다. 도 10a에 도시된 예에서, 오디오 오브젝트 볼륨(1020a)은 재생 환경(1000a)의 전부는 아니지만 일부를 차지한다. 보다 큰 오디오 오브제트들은 재생 환경(1000a)의 많은 부분(또는 그것의 모두)을 차지할 수 있다. 몇몇 예들에서, 오디오 오브젝트(1010)가 포인트 소스에 대응한다면, 오디오 오브젝트(1010)는 0의 크기를 가질 수 있으며 오디오 오브젝트 볼륨(1020a)은 0으로 설정될 수 있다.
몇몇 이러한 구현들에 따르면, 저작 툴은 오디오 오브젝트 크기가 크기 임계 값보다 크거나 또는 같을 때 비상관이 턴 온되어야 하며 오디오 오브젝트 크기가 크기 임계 값 이하인 경우 비상관이 턴 오프되어야 함을 표시함으로써(예로서, 연관된 메타데이터에 포함된 비상관 플래그를 통해) 비상관과 오디오 오브젝트 크기를 연결할 수 있다. 몇몇 구현들에서, 비상관은 크기 임계 값 및/또는 다른 입력 값들에 따라 제어될 수 있다(예로서, 증가되고, 감소되거나 또는 불능될 수 있다).
이 예에서, 가상 소스 위치들(1005)은 가상 소스 볼륨(1002) 내에서 정의된다. 몇몇 구현들에서, 가상 소스 볼륨은 오디오 오브젝트들이 이동할 수 있는 볼륨과 부합할 수 있다. 도 10a에 도시된 예에서, 재생 환경(1000a) 및 가상 소스 볼륨(1002a)은 동연(co-extensive)이며, 따라서 가상 소스 위치들(1005)의 각각은 재생 환경(1000a) 내에서의 위치에 대응한다. 그러나, 대안적인 구현들에서, 재생 환경(1000a) 및 가상 소스 볼륨(1002)은 동연이 아닐 수 있다.
예를 들면, 가상 소스 위치들(1005)의 적어도 일부는 재생 환경의 밖에 있는 위치들에 대응할 수 있다. 도 10b는 재생 환경에 대한 가상 소스 위치들의 대안적인 예를 도시한다. 이 예에서, 가상 소스 볼륨(1002b)은 재생 환경(1000b)의 밖으로 연장된다. 오디오 오브젝트 볼륨(1020b) 내에서의 가상 소스 위치들(1005) 중 몇몇은 재생 환경(1000b)의 안쪽에 위치되며 오디오 오브젝트 볼륨(1020b) 내에서의 다른 가상 소스 위치들(1005)은 재생 환경(1000b)의 밖에 위치된다.
다른 구현들에서, 가상 소스 위치들(1005)은 x 및 y 축들을 따르는 제 1 균일 간격 및 z 축을 따르는 제 2 균일 간격을 가질 수 있다. 가상 소스 위치들(1005)은 Nx×Ny×Mz 가상 소스 위치들(1005)의 직사각형 그리드를 형성할 수 있다. 예를 들면, 몇몇 구현들에서, x 또는 y 축들을 따르는 것보다 z 축을 따르는 보다 적은 가상 소스 위치들(1005)이 있을 수 있다. 몇몇 이러한 구현들에서, N의 값은 10 내지 100의 범위에 있을 수 있는 반면, M의 값은 5 내지 10의 범위에 있을 수 있다.
몇몇 구현들은 오디오 오브젝트 볼륨(1020) 내에서 가상 소스 위치들(1005)의 각각에 대한 이득 값들을 계산하는 것을 수반한다. 몇몇 구현들에서, 재생 환경(실제 재생 환경 또는 가상 재생 환경일 수 있는)의 복수의 출력 채널들의 각각의 채널에 대한 이득 값들은 오디오 오브젝트 볼륨(1020) 내에서 가상 소스 위치들(1005)의 각각에 대해 계산될 것이다. 몇몇 구현들에서, 이득 값들은 오디오 오브젝트 볼륨(1020) 내에서 가상 소스 위치들(1005)의 각각에 위치된 포인트 소스들에 대한 이득 값들을 계산하기 위해 벡터-기반 진폭 패닝("VBAP") 알고리즘, 쌍별 패닝 알고리즘 또는 유사한 알고리즘을 적용함으로써 계산될 수 있다. 다른 구현들에서, 오디오 오브젝트 볼륨(1020) 내에서 가상 소스 위치들(1005)의 각각에 위치된 포인트 소스들에 대한 이득 값들을 계산하기 위해, 분리 가능한 알고리즘이 있다. 여기에서 사용된 바와 같이, "분리 가능한" 알고리즘은 주어진 스피커의 이득이, 그 각각이 가상 소스 위치(1005)의 좌표들 중 하나에만 의존하는, 다수의 인자들(예로서, 3개의 인자들)의 곱으로서 표현될 수 있다. 예들은 이에 제한되지 않지만, AMS Neve에 의해 제공된 디지털 필름 콘솔들에서 구현된 Pro Tools™ 소프트웨어 및 패너들을 포함하여, 다양한 기존의 믹싱 콘솔 패너들로 구현된 알고리즘들을 포함한다.
도 9로 다시 돌아가면, 이 예에서, 오디오 프로세싱 시스템(600)은 또한 베드 채널들(B1 내지 BN), 뿐만 아니라 저-주파수 효과들(LFE) 채널을 수신한다. 오디오 오브젝트들 및 베드 채널들은 예로서, 도 7 및 도 8을 참조하여 상기 설명된 바와 같이, 장면 간소화 또는 "클러스터링" 프로세스에 따라 프로세싱된다. 그러나, 이 예에서, LFE 채널은 클러스터링 프로세스로 입력되지 않으며, 대신에 인코더(620)로 통과된다.
이러한 구현에서, 베드 채널들(B1 내지 BN)은 모듈(915)에 의해 정적 오디오 오브젝트들(917)로 변환된다. 모듈(920)은 큰 오브젝트 검출 모듈(905)이 큰 오디오 오브젝트들이 아닌 것으로 결정한 오디오 오브젝트들 외에, 정적 오디오 오브젝트들(917)을 수신한다. 여기에서, 모듈(920)은 또한 이 예에서 가상 스피커 위치들에 대응하는, 비상관된 큰 오디오 오브젝트 신호들(611)을 수신한다.
이러한 구현에서, 모듈(920)은 정적 오브젝트들(917), 수신된 오디오 오브젝트들 및 비상관된 큰 오디오 오브젝트 신호들(611)을 클러스터들(C1 내지 CP)로 렌더링할 수 있다. 일반적으로, 모듈(920)은 수신된 오디오 오브젝트들의 수보다 적은 수의 클러스터들을 출력할 것이다. 이러한 구현에서, 모듈(920)은 예로서, 도 5의 블록(520)을 참조하여 상기 설명된 바와 같이, 적절한 클러스터들의 위치들과 비상관된 큰 오디오 오브젝트 신호들(611)을 연관시킬 수 있다.
이 예에서, 클러스터들(C1 내지 CP) 및 LFE 채널의 오디오 데이터는 인코더(620)에 의해 인코딩되며 재생 환경(925)으로 송신된다. 몇몇 구현들에서, 재생 환경(925)은 홈 시어터 시스템을 포함할 수 있다. 오디오 프로세싱 시스템(930)은 인코딩된 오디오 데이터를 수신하며 디코딩하며, 뿐만 아니라 재생 환경(925)의 실제 재생 스피커 구성, 예로서 재생 환경(925)의 실제 재생 스피커들의, 스피커 위치들, 스피커 능력들(예로서, 베이스 재생 능력들) 등에 따라 디코딩된 오디오 데이터를 렌더링할 수 있다.
도 11은 오디오 프로세싱 시스템의 구성요소들의 예들을 제공하는 블록도이다. 이 예에서, 오디오 프로세싱 시스템(1100)은 인터페이스 시스템(1105)을 포함한다. 인터페이스 시스템(1105)은 무선 네트워크 인터페이스와 같은, 네트워크 인터페이스를 포함할 수 있다. 대안적으로, 또는 부가적으로, 인터페이스 시스템(1105)은 범용 직렬 버스(USB) 인터페이스 또는 또 다른 이러한 인터페이스를 포함할 수 있다.
오디오 프로세싱 시스템(1100)은 로직 시스템(1110)을 포함한다. 로직 시스템(1110)은 범용 단일- 또는 다중-칩 프로세서와 같은, 프로세서를 포함할 수 있다. 로직 시스템(1110)은 디지털 신호 프로세서(DSP), 애플리케이션 특정 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA) 또는 다른 프로그램 가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 또는 이산 하드웨어 구성요소들, 또는 그것의 조합들을 포함할 수 있다. 로직 시스템(1110)은 오디오 프로세싱 시스템(1100)의 다른 구성요소들을 제어하도록 구성될 수 있다. 오디오 프로세싱 시스템(1100)의 구성요소들 사이에서 어떤 인터페이스들도 도 11에 도시되지 않지만, 로직 시스템(1110)은 다른 구성요소들과의 통신을 위해 인터페이스들을 갖고 구성될 수 있다. 다른 구성요소들은 적절하게, 서로와의 통신을 위해 구성되거나 또는 구성되지 않을 수 있다.
로직 시스템(1110)은 이에 제한되지 않지만, 여기에서 설명된 기능의 유형들을 포함한, 오디오 프로세싱 기능을 수행하도록 구성될 수 있다. 몇몇 이러한 구현들에서, 로직 시스템(1110)은 (적어도 부분적으로) 하나 이상의 비-일시적 미디어 상에 저장된 소프트웨어에 따라 동작하도록 구성될 수 있다. 비-일시적 미디어는 랜덤 액세스 메모리(RAM) 및/또는 판독-전용 메모리(ROM)와 같은, 로직 시스템(1110)과 연관된 메모리를 포함할 수 있다. 비-일시적 미디어는 메모리 시스템(1115)의 메모리를 포함할 수 있다. 메모리 시스템(1115)은 플래시 메모리, 하드 드라이브 등과 같은, 하나 이상의 적절한 유형들의 비-일시적 저장 미디어를 포함할 수 있다.
디스플레이 시스템(1130)은 오디오 프로세싱 시스템(1100)의 표시에 의존하여, 하나 이상의 적절한 유형들의 디스플레이를 포함할 수 있다. 예를 들면, 디스플레이 시스템(1130)은 액정 디스플레이, 플라즈마 디스플레이, 쌍안정 디스플레이 등을 포함할 수 있다.
사용자 입력 시스템(1135)은 사용자로부터 입력을 수용하도록 구성된 하나 이상의 디바이스들을 포함할 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(1135)은 디스플레이 시스템(1130)의 디스플레이를 오버레이하는 터치 스크린을 포함할 수 있다. 사용자 입력 시스템(1135)은 마우스, 트랙 볼, 제스처 검출 시스템, 조이스틱, 디스플레이 시스템(1130) 상에 제공된 하나 이상의 GUI들 및/또는 메뉴들, 버튼들, 키보드, 스위치들 등을 포함할 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(1135)은 마이크로폰(1125)을 포함할 수 있다: 사용자는 마이크로폰(1125)을 통해 오디오 프로세싱 시스템(1100)을 위한 음성 명령어들을 제공할 수 있다. 로직 시스템은 이러한 음성 명령어들에 따라 음성 인식을 위해 및 오디오 프로세싱 시스템(1100)의 적어도 몇몇 동작들을 제어하기 위해 구성될 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(1135)은 사용자 인터페이스인 것으로 및 그러므로 인터페이스 시스템(1105)의 부분으로서 고려될 수 있다.
전력 시스템(1140)은 니켈-카드뮴 배터리 또는 리튬-이온 배터리와 같은, 하나 이상의 적절한 에너지 저장 디바이스들을 포함할 수 있다. 전력 시스템(1140)은 콘센트로부터 전력을 수신하도록 구성될 수 있다.
본 개시에서 설명된 구현들에 대한 다양한 수정들이 이 기술분야의 숙련자들에게 쉽게 명백할 수 있다. 여기에서 정의된 일반적 원리들은 본 개시의 사상 또는 범위로부터 벗어나지 않고 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 여기에서 도시된 구현들에 제한되도록 의도되지 않지만, 여기에서 개시된 본 개시, 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.
100: 재생 환경 105: 프로젝터
110: 사운드 프로세서 115: 전력 증폭기
120: 좌측 서라운드 채널 122: 좌측 서라운드 어레이
125: 우측 서라운드 채널 127: 우측 서라운드 어레이
130: 좌측 채널 132; 좌측 스피커 어레이
135: 중앙 채널 137: 중앙 스피커 어레이
140: 우측 채널 142: 우측 스피커 어레이
144: 저-주파수 효과 채널 145: 서브우퍼
150: 스크린 200: 재생 환경
205: 디지털 프로젝터 210: 사운드 프로세서
215: 전력 증폭기 220: 좌측 측면 서라운드 어레이
224: 좌측 후방 서라운드 스피커 225: 우측 측면 서라운드 어레이
226: 우측 후방 서라운드 스피커 300: 재생 환경
322: 좌측 서라운드 스피커 327: 우측 서라운드 스피커
332: 좌측 스피커 337: 중앙 스피커
342: 우측 스피커 352: 높이 스피커
357: 높이 스피커 360: 천장
400: GUI 402: 스피커 구역
404: 가상 재생 환경 405: 전방 영역
450: 재생 환경 455: 스크린 스피커
460: 좌측 측면 서라운드 어레이 465: 우측 측면 서라운드 어레이
470a: 좌측 오버헤드 스피커 470b: 우측 오버헤드 스피커
480a: 좌측 후방 서라운드 스피커 480b: 우측 후방 서라운드 스피커
600: 오디오 프로세싱 시스템 605: 큰 오디오 오브젝트
610: 비상관 시스템 611: 큰 오디오 오브젝트 신호
612a, 612b: 레벨 조정 시스템 615: 오디오 오브젝트들 및/또는 베드들
620: 인코더 622: 오디오 데이터
625: 미디어 지능 시스템 627: 제어 신호
630: 클러스터링 프로세스 700: 시스템
701: 입력 신호 702: 오브젝트 클러스터링 프로세스
704: 인코더 706: 디코더
806: 오브젝트 프로세싱 구성요소 808: 오브젝트 클러스터
812: 베드 816: 렌더러
822: 프로세싱 구성 정보 905: 큰 오브젝트 검출 모듈
917: 정적 오브젝트 920: 모듈
925: 재생 환경 1000a: 재생 환경
1005: 가상 소스 위치 1010: 오디오 오브젝트
1020: 오디오 오브젝트 볼륨 1025: 스피커 위치
1100: 오디오 프로세싱 시스템 1105: 인터페이스 시스템
1110: 로직 시스템 1115: 메모리 시스템
1125: 마이크로폰 1130: 디스플레이 시스템
1135: 사용자 입력 시스템

Claims (21)

  1. 방법에 있어서,
    적어도 하나의 오디오 오브젝트를 포함하는 오디오 데이터를 수신하는 단계 - 상기 오디오 데이터는 적어도 하나의 오디오 신호 및 오디오 오브젝트 메타데이터를 포함하고, 상기 적어도 하나의 오디오 신호는 상기 적어도 하나의 오디오 오브젝트와 연관되고, 상기 오디오 오브젝트 메타데이터는 상기 적어도 하나의 오디오 오브젝트와 연관되고, 상기 오디오 오브젝트 메타데이터는 상기 오디오 오브젝트가 공간적으로 분산되는지를 표시하는 플래그를 포함하고, 상기 오디오 오브젝트 메타데이터는 스피커 구역 제약, 오디오 오브젝트 위치 데이터, 오디오 오브젝트 이득 데이터, 또는 오디오 오브젝트 크기 데이터 중 적어도 하나에 관한 정보를 더 포함함 - ;
    상기 적어도 하나의 오디오 오브젝트가 공간적으로 분산됨을 플래그에 기초하여 결정하는 단계;
    상기 오디오 오브젝트가 공간적으로 분산된다는 결정에 기초하여, 비상관된 오디오 오브젝트 오디오 신호들을 결정하기 위해 상기 적어도 하나의 오디오 오브젝트 상에서 비상관 필터링을 수행하는 단계 - 상기 비상관된 오디오 오브젝트 신호들 각각은 복수의 재생 라우드스피커 중 적어도 하나의 재생 라우드스피커에 대응함 - ; 및
    렌더링을 위한 믹싱된(mixed) 오디오 신호를 결정하기 위해, 상기 비상관된 오디오 오브젝트 오디오 신호들을 상기 적어도 하나의 오디오 신호와 믹싱하는(mixing) 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 스피커 구역 제약에 기초하여, 상기 믹싱된 오디오 신호를 상기 복수의 재생 라우드스피커로 렌더링하는 단계를 더 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 오디오 오브젝트는 적어도 하나의 오브젝트 위치와 연관되고, 상기 적어도 하나의 오브젝트 위치 중 적어도 하나는 고정적인, 방법.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 오디오 오브젝트는 적어도 하나의 오브젝트 위치와 연관되고, 상기 적어도 하나의 오브젝트 위치 중 적어도 하나는 시간에 걸쳐 달라지는, 방법.
  5. 제 1 항에 있어서,
    재생 환경의 실제 재생 스피커 구성에 기초하여, 믹싱된 오디오를 렌더링하는 단계를 더 포함하는, 방법.
  6. 제 1 항에 있어서,
    레벨 조정 프로세스를 상기 비상관된 오디오 오브젝트 오디오 신호들에 적용하는 단계를 더 포함하는, 방법.
  7. 제 1 항에 있어서,
    비상관을 수행하는 것은 필터 및 지연 중 적어도 하나를 포함하는, 방법.
  8. 제 1 항에 있어서,
    비상관을 수행하는 것은 전대역-통과(all-pass) 필터 및 의사-랜덤(pseudo-random) 필터 중 적어도 하나를 포함하는, 방법.
  9. 제 1 항에 있어서,
    비상관을 수행하는 것은 반향(reverberation) 프로세스를 포함하는, 방법.
  10. 제 1 항에 있어서,
    가상 스피커 위치들에 따라 상기 믹싱된 오디오 신호를 렌더링하는 단계를 더 포함하는, 방법.
  11. 컴퓨터 프로그램 제품으로서,
    제 1 항의 방법을 수행하기 위한 명령어를 저장하는 물리적, 비일시적 컴퓨터-판독가능 매체를 포함하는, 컴퓨터 프로그램 제품.
  12. 장치에 있어서,
    적어도 하나의 오디오 오브젝트를 포함하는 오디오 데이터를 수신하도록 구성된 수신기 - 상기 오디오 데이터는 적어도 하나의 오디오 신호 및 오디오 오브젝트 메타데이터를 포함하고, 상기 적어도 하나의 오디오 신호는 상기 적어도 하나의 오디오 오브젝트와 연관되고, 상기 오디오 오브젝트 메타데이터는 상기 적어도 하나의 오디오 오브젝트와 연관되고, 상기 오디오 오브젝트 메타데이터는 상기 오디오 오브젝트가 공간적으로 분산되는지를 표시하는 플래그를 포함하고, 상기 오디오 오브젝트 메타데이터는 스피커 구역 제약, 오디오 오브젝트 위치 데이터, 오디오 오브젝트 이득 데이터, 또는 오디오 오브젝트 크기 데이터 중 적어도 하나에 관한 정보를 더 포함함 - ;
    상기 적어도 하나의 오디오 오브젝트가 공간적으로 분산됨을 플래그에 기초하여 결정하도록 구성된 프로세서;
    상기 오디오 오브젝트가 공간적으로 분산된다는 결정에 기초하여, 비상관된 오디오 오브젝트 오디오 신호들을 결정하기 위해 상기 적어도 하나의 오디오 오브젝트 상에서 비상관 필터링을 수행하도록 구성된 비상관기(decorrelator) - 상기 비상관된 오디오 오브젝트 신호들 각각은 복수의 재생 라우드스피커 중 적어도 하나의 재생 라우드스피커에 대응함 - ; 및
    렌더링을 위한 믹싱된 오디오 신호를 결정하기 위해, 상기 비상관된 오디오 오브젝트 오디오 신호들을 상기 적어도 하나의 오디오 신호와 믹싱하도록 구성된 믹서를 포함하는, 장치.
  13. 제 12 항에 있어서,
    상기 스피커 구역 제약에 기초하여, 상기 믹싱된 오디오 신호를 상기 복수의 재생 라우드스피커로 렌더링하기 위한 렌더러를 더 포함하는, 장치.
  14. 제 12 항에 있어서,
    상기 적어도 하나의 오디오 오브젝트는 적어도 하나의 오브젝트 위치와 연관되고, 상기 적어도 하나의 오브젝트 위치 중 적어도 하나는 고정적인, 장치.
  15. 제 12 항에 있어서,
    상기 적어도 하나의 오디오 오브젝트는 적어도 하나의 오브젝트 위치와 연관되고, 상기 적어도 하나의 오브젝트 위치 중 적어도 하나는 시간에 걸쳐 달라지는, 장치.
  16. 제 12 항에 있어서,
    재생 환경의 실제 재생 스피커 구성에 기초하여, 믹싱된 오디오를 렌더링하는 렌더러를 더 포함하는, 장치.
  17. 제 12 항에 있어서,
    레벨 조정 프로세스를 상기 비상관된 오디오 오브젝트 오디오 신호들에 적용하기 위한 레벨 조정기(level adjuster)를 더 포함하는, 장치.
  18. 제 12 항에 있어서,
    상기 비상관기는 필터 및 지연 중 적어도 하나를 포함하는, 장치.
  19. 제 12 항에 있어서,
    상기 비상관기는 전대역-통과 필터 및 의사-랜덤 필터 중 적어도 하나를 포함하는, 장치.
  20. 제 12 항에 있어서,
    상기 비상관기는 반향 프로세스를 포함하는, 장치.
  21. 제 12 항에 있어서,
    가상 스피커 위치들에 따라 상기 믹싱된 오디오 신호를 렌더링하기 위한 렌더러를 더 포함하는, 장치.
KR1020227046243A 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱 KR20230007563A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
ESP201331193 2013-07-31
ES201331193 2013-07-31
US201361885805P 2013-10-02 2013-10-02
US61/885,805 2013-10-02
KR1020227014908A KR102484214B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
PCT/US2014/047966 WO2015017235A1 (en) 2013-07-31 2014-07-24 Processing spatially diffuse or large audio objects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227014908A Division KR102484214B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱

Publications (1)

Publication Number Publication Date
KR20230007563A true KR20230007563A (ko) 2023-01-12

Family

ID=52432343

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020217036915A KR102395351B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR1020227014908A KR102484214B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR1020227046243A KR20230007563A (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR1020167032946A KR102327504B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR1020167002635A KR101681529B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217036915A KR102395351B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR1020227014908A KR102484214B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020167032946A KR102327504B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱
KR1020167002635A KR101681529B1 (ko) 2013-07-31 2014-07-24 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱

Country Status (9)

Country Link
US (6) US9654895B2 (ko)
EP (2) EP3028273B1 (ko)
JP (4) JP6388939B2 (ko)
KR (5) KR102395351B1 (ko)
CN (3) CN110797037A (ko)
BR (1) BR112016001738B1 (ko)
HK (1) HK1229945A1 (ko)
RU (2) RU2646344C2 (ko)
WO (1) WO2015017235A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432098B (zh) 2013-07-30 2017-08-29 杜比国际公司 针对任意扬声器布局的音频对象的平移
JP6388939B2 (ja) * 2013-07-31 2018-09-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理
CN105895086B (zh) 2014-12-11 2021-01-12 杜比实验室特许公司 元数据保留的音频对象聚类
ES2922373T3 (es) 2015-03-03 2022-09-14 Dolby Laboratories Licensing Corp Realce de señales de audio espacial por decorrelación modulada
CN107533846B (zh) * 2015-04-24 2022-09-16 索尼公司 发送装置、发送方法、接收装置与接收方法
US11128978B2 (en) 2015-11-20 2021-09-21 Dolby Laboratories Licensing Corporation Rendering of immersive audio content
EP3174316B1 (en) * 2015-11-27 2020-02-26 Nokia Technologies Oy Intelligent audio rendering
US10278000B2 (en) 2015-12-14 2019-04-30 Dolby Laboratories Licensing Corporation Audio object clustering with single channel quality preservation
JP2017163432A (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US10325610B2 (en) * 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
CN116709161A (zh) 2016-06-01 2023-09-05 杜比国际公司 将多声道音频内容转换成基于对象的音频内容的方法及用于处理具有空间位置的音频内容的方法
EP3488623B1 (en) 2016-07-20 2020-12-02 Dolby Laboratories Licensing Corporation Audio object clustering based on renderer-aware perceptual difference
CN106375778B (zh) * 2016-08-12 2020-04-17 南京青衿信息科技有限公司 一种符合数字电影规范的三维音频节目码流传输的方法
US10187740B2 (en) 2016-09-23 2019-01-22 Apple Inc. Producing headphone driver signals in a digital audio signal processing binaural rendering environment
US10419866B2 (en) * 2016-10-07 2019-09-17 Microsoft Technology Licensing, Llc Shared three-dimensional audio bed
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
CN110383856B (zh) 2017-01-27 2021-12-10 奥罗技术公司 用于平移音频对象的处理方法和系统
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
WO2018180531A1 (ja) * 2017-03-28 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11082790B2 (en) 2017-05-04 2021-08-03 Dolby International Ab Rendering audio objects having apparent size
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
EP3780628A1 (en) * 2018-03-29 2021-02-17 Sony Corporation Information processing device, information processing method, and program
WO2019207959A1 (ja) * 2018-04-24 2019-10-31 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
GB2577885A (en) * 2018-10-08 2020-04-15 Nokia Technologies Oy Spatial audio augmentation and reproduction
WO2020144062A1 (en) * 2019-01-08 2020-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Efficient spatially-heterogeneous audio elements for virtual reality
CN113366865B (zh) * 2019-02-13 2023-03-21 杜比实验室特许公司 用于音频对象聚类的自适应响度规范化
WO2021121698A1 (en) * 2019-12-19 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Audio rendering of audio sources
GB2595475A (en) * 2020-05-27 2021-12-01 Nokia Technologies Oy Spatial audio representation and rendering
DE112021003663T5 (de) * 2020-07-09 2023-04-27 Sony Group Corporation Signalverarbeitungsvorrichtung, Verfahren und Programm
US11750745B2 (en) * 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11930348B2 (en) 2020-11-24 2024-03-12 Naver Corporation Computer system for realizing customized being-there in association with audio and method thereof
KR102505249B1 (ko) * 2020-11-24 2023-03-03 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법
US11930349B2 (en) 2020-11-24 2024-03-12 Naver Corporation Computer system for producing audio content for realizing customized being-there and method thereof
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording
CN113923584A (zh) * 2021-09-01 2022-01-11 赛因芯微(北京)电子科技有限公司 基于矩阵音频通道元数据和生成方法、设备及存储介质
CN113905321A (zh) * 2021-09-01 2022-01-07 赛因芯微(北京)电子科技有限公司 基于对象音频通道元数据和生成方法、设备及存储介质
CN114143695A (zh) * 2021-10-15 2022-03-04 赛因芯微(北京)电子科技有限公司 一种音频流元数据和生成方法、电子设备及存储介质
EP4210352A1 (en) 2022-01-11 2023-07-12 Koninklijke Philips N.V. Audio apparatus and method of operation therefor
EP4210353A1 (en) * 2022-01-11 2023-07-12 Koninklijke Philips N.V. An audio apparatus and method of operation therefor

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175631B1 (en) * 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
JP2002369152A (ja) * 2001-06-06 2002-12-20 Canon Inc 画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムが記憶されたコンピュータにより読み取り可能な記憶媒体
ES2283815T3 (es) * 2002-10-14 2007-11-01 Thomson Licensing Metodo para codificar y decodificar la anchura de una fuente de sonido en una escena de audio.
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
RU2008132156A (ru) * 2006-01-05 2010-02-10 Телефонактиеболагет ЛМ Эрикссон (пабл) (SE) Персонализированное декодирование многоканального объемного звука
US8284713B2 (en) * 2006-02-10 2012-10-09 Cisco Technology, Inc. Wireless audio systems and related methods
CN101484935B (zh) * 2006-09-29 2013-07-17 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
KR101012259B1 (ko) * 2006-10-16 2011-02-08 돌비 스웨덴 에이비 멀티채널 다운믹스된 객체 코딩의 개선된 코딩 및 파라미터 표현
US8064624B2 (en) * 2007-07-19 2011-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for generating a stereo signal with enhanced perceptual quality
KR101183127B1 (ko) * 2008-02-14 2012-09-19 돌비 레버러토리즈 라이쎈싱 코오포레이션 스테레오 입력을 수정하기 위한 방법 및 음향 재생 시스템
EP2272169B1 (en) * 2008-03-31 2017-09-06 Creative Technology Ltd. Adaptive primary-ambient decomposition of audio signals
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
US8532803B2 (en) * 2009-03-06 2013-09-10 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
KR101805212B1 (ko) * 2009-08-14 2017-12-05 디티에스 엘엘씨 객체-지향 오디오 스트리밍 시스템
KR101844511B1 (ko) * 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101764175B1 (ko) * 2010-05-04 2017-08-14 삼성전자주식회사 입체 음향 재생 방법 및 장치
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
US9088858B2 (en) * 2011-01-04 2015-07-21 Dts Llc Immersive audio rendering system
WO2012122397A1 (en) * 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
US9119011B2 (en) * 2011-07-01 2015-08-25 Dolby Laboratories Licensing Corporation Upmixing object based audio
PL2727381T3 (pl) * 2011-07-01 2022-05-02 Dolby Laboratories Licensing Corporation Sposób i urządzenie do renderowania obiektów audio
RU2617553C2 (ru) * 2011-07-01 2017-04-25 Долби Лабораторис Лайсэнзин Корпорейшн Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала
CN103050124B (zh) * 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
KR20130093783A (ko) * 2011-12-30 2013-08-23 한국전자통신연구원 오디오 객체 전송 장치 및 방법
BR112014017457A8 (pt) * 2012-01-19 2017-07-04 Koninklijke Philips Nv aparelho de transmissão de áudio espacial; aparelho de codificação de áudio espacial; método de geração de sinais de saída de áudio espacial; e método de codificação de áudio espacial
US9761229B2 (en) * 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
WO2014099285A1 (en) 2012-12-21 2014-06-26 Dolby Laboratories Licensing Corporation Object clustering for rendering object-based audio content based on perceptual criteria
US9338420B2 (en) * 2013-02-15 2016-05-10 Qualcomm Incorporated Video analysis assisted generation of multi-channel audio data
RS1332U (en) 2013-04-24 2013-08-30 Tomislav Stanojević FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS
JP6388939B2 (ja) * 2013-07-31 2018-09-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理

Also Published As

Publication number Publication date
KR102484214B1 (ko) 2023-01-04
CN105431900B (zh) 2019-11-22
JP7116144B2 (ja) 2022-08-09
EP3028273A1 (en) 2016-06-08
US20160192105A1 (en) 2016-06-30
KR102327504B1 (ko) 2021-11-17
JP2018174590A (ja) 2018-11-08
US10003907B2 (en) 2018-06-19
US20230353970A1 (en) 2023-11-02
RU2018104812A3 (ko) 2019-02-26
KR20210141766A (ko) 2021-11-23
RU2018104812A (ru) 2019-02-26
US9654895B2 (en) 2017-05-16
KR102395351B1 (ko) 2022-05-10
CN110808055A (zh) 2020-02-18
BR112016001738B1 (pt) 2023-04-04
JP6804495B2 (ja) 2020-12-23
KR20160140971A (ko) 2016-12-07
CN105431900A (zh) 2016-03-23
US20170223476A1 (en) 2017-08-03
HK1229945A1 (zh) 2017-11-24
CN110808055B (zh) 2021-05-28
CN110797037A (zh) 2020-02-14
US20220046378A1 (en) 2022-02-10
JP2022136263A (ja) 2022-09-15
EP3564951B1 (en) 2022-08-31
WO2015017235A1 (en) 2015-02-05
BR112016001738A2 (pt) 2017-08-01
US20200221249A1 (en) 2020-07-09
JP2021036729A (ja) 2021-03-04
RU2016106913A (ru) 2017-09-01
US20180295464A1 (en) 2018-10-11
RU2716037C2 (ru) 2020-03-05
JP6388939B2 (ja) 2018-09-12
KR20220061284A (ko) 2022-05-12
EP3564951A1 (en) 2019-11-06
US11736890B2 (en) 2023-08-22
RU2646344C2 (ru) 2018-03-02
KR101681529B1 (ko) 2016-12-01
KR20160021892A (ko) 2016-02-26
US10595152B2 (en) 2020-03-17
JP2016530803A (ja) 2016-09-29
EP3028273B1 (en) 2019-09-11
US11064310B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
US11736890B2 (en) Method, apparatus or systems for processing audio objects
US9712939B2 (en) Panning of audio objects to arbitrary speaker layouts
JP6186435B2 (ja) ゲームオーディオコンテンツを示すオブジェクトベースオーディオの符号化及びレンダリング
RU2803638C2 (ru) Обработка пространственно диффузных или больших звуковых объектов
BR122020021378B1 (pt) Método, aparelho incluindo um sistema de renderização de áudio e meio não transitório de processamento de objetos de áudio espacialmente difusos ou grandes
BR122020021391B1 (pt) Método, aparelho incluindo um sistema de renderização de áudio e meio não transitório de processamento de objetos de áudio espacialmente difusos ou grandes

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal