KR102654354B1 - 객체-기반 공간 오디오 마스터링 디바이스 및 방법 - Google Patents

객체-기반 공간 오디오 마스터링 디바이스 및 방법 Download PDF

Info

Publication number
KR102654354B1
KR102654354B1 KR1020227026195A KR20227026195A KR102654354B1 KR 102654354 B1 KR102654354 B1 KR 102654354B1 KR 1020227026195 A KR1020227026195 A KR 1020227026195A KR 20227026195 A KR20227026195 A KR 20227026195A KR 102654354 B1 KR102654354 B1 KR 102654354B1
Authority
KR
South Korea
Prior art keywords
audio
processing
audio objects
objects
group
Prior art date
Application number
KR1020227026195A
Other languages
English (en)
Other versions
KR20220108218A (ko
Inventor
시몬 헤스터맨
크리스토프 슬라데체크
마리오 세이드넥
Original Assignee
프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 filed Critical 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority to KR1020247010821A priority Critical patent/KR20240052967A/ko
Publication of KR20220108218A publication Critical patent/KR20220108218A/ko
Application granted granted Critical
Publication of KR102654354B1 publication Critical patent/KR102654354B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

일 실시예에 따라 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 디바이스가 제공되며, 여기에서 상기 다수의 오디오 객체들 중의 각각의 오디오 객체는 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 위치 및 상기 오디오 객체의 이득 파라미터를 포함한다. 상기 디바이스는 사용자 측에 의해 오디오 객체들의 프로세싱 객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하기 위한 인터페이스(110)로서, 상기 오디오 객체들의 오디오 객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 인터페이스(110)를 포함한다. 상기 디바이스는 또한 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하도록 구성되는 프로세서 유닛(120)을 포함한다.

Description

객체-기반 공간 오디오 마스터링 디바이스 및 방법{Device and Method of Object-based Spatial Audio Mastering}
본 발명은 오디오 객체 프로세싱, 오디오 객체 인코딩 및 디코딩에 관한 것으로, 더욱 상세하게는, 오디오 객체들에 대한 오디오 마스터링에 관한 것이다.
객체-기반 공간 오디오는 양방향 3D 오디오 재생에 대한 접근 방법이다. 이 개념은 콘텐트 창작자들 또는 저자들이 오디오로 대화하는 방법뿐만 아니라 오디오가 저장되고 전송되는 방법을 변화시킨다. 이것을 가능하게 하기 위하여, 재생 연쇄(chain)에서 "렌더링"이라고 부르는 새로운 프로세스가 확립되어야 한다. 렌더링 프로세스는 객체-기반 장면 묘사로부터 라우드스피커 신호들을 생성한다. 최근 리코딩과 믹싱에 관한 연구가 진행되어 왔지만, 객체-기반 마스터링에 대한 개념은 거의 존재하지 않는다. 채널-기반 오디오 마스터링과 대비되는 주요 차이점은 오디오 채널들을 조정하는 대신 오디오 객체들이 조정되어야 한다는 것이다. 이것은 마스터링에 대한 근본적으로 새로운 접근을 요구한다. 본 명세서에는 객체-기반 오디오 마스터링의 새로운 방법이 제공될 것이다.
최근 몇 년 동안, 객체-기반 오디오 연구가 많은 관심을 불러 일으켜 왔다. 라우드스피커 신호들이 공간 오디오 생산의 결과로서 저장되는 채널-기반 오디오와 비교하여, 오디오 장면이 오디오 객체들에 의해 묘사된다. 오디오 객체는 위치와 이득과 같은 추가적인 메타데이터를 갖는 오디오 신호를 구성하는 가상의 소리 원천으로 간주될 수 있다. 오디오 객체들을 재생하기 위하여, 소위 오디오 렌더링 장치가 요구된다. 오디오 렌더링은 가상의 장면에서 청취자의 위치 또는 라우드스피커들의 위치와 같은 추가적인 정보에 기초하여 라우드스피커 또는 헤드폰 신호들을 생성하는 프로세스이다.
오디오 콘텐트 창작 프로세스는 크게 3가지 파트로 나눌 수 있다: 레코딩, 믹싱 및 마스터링. 과거 수 십 년간 3가지 단계들 모두가 채널-기반 오디오에 대해서 광범위하게 다루어져 왔지만, 객체-기반 오디오는 미래의 어플리케이션들을 위한 새로운 작업흐름을 요구할 것이다. 일반적으로, 미래 기술들이 새로운 가능성을 일으킬 수도 있지만([1][2]), 레코딩 단계는 아직 변화가 필요한 것은 아니다. 믹싱 프로세스에 대해서는, 음향 엔지니어가 전용 스피커들에 신호들을 패닝(panning)함으로써 공간 믹스를 더 이상 만들어내지 않기 때문에 상황이 다소 다르다. 대신, 오디오 객체들의 모든 위치들이 각각의 오디오 객체의 메타데이터 부분의 정의를 가능하게 하는 공간 저술(spatial authoring) 도구에 의해 생성된다. 오디오 객체들에 대한 완벽한 마스터링 프로세스는 아직 확립되지 못하였다([3]).
종래의 오디오 믹스들은 다수의 오디오 트랙들을 일정 개수의 출력 채널들에 전송한다. 이것은 상이한 재생 구성에 대해서 개별적인 믹스들을 제작할 것을 요구하지만, 마스터링하는 동안 출력 채널들의 효율적인 조작을 가능하게 한다([4]). 객체-기반 오디오 접근 방법을 사용할 때, 오디오 렌더링 장치는 실시간으로 모든 스피커 신호들을 만들어내는데 책임을 진다. 창조적인 믹싱 프로세스의 프레임워크 내에서 많은 수의 오디오 객체들을 배열하는 것은 복잡한 오디오 장면들을 초래한다. 그러나, 렌더링 장치는 수 개의 다른 라우드스피커 장비에서 오디오 장면을 재생할 수 있기 때문에, 제작하는 동안 직접적으로 출력 채널들에 접근하는 것은 불가능하다. 그러므로, 마스터링 개념은 오직 오디오 객체들을 개별적으로 수정하는 것에 근거하게 될 수 있다.
오늘날까지, 종래의 오디오 제작 예를 들어 스테레오 또는 서라운드 재생은 매우 특정한 청취 시설들 및 그들의 채널 구성장치들에서 총괄되었다. 콘텐트가 맞춤 구성되는 재생 디바이스(들)에 대한 결정은 그것의 제작 초기에 수행되어야 한다. 그리고 제작 프로세스 자체로는 레코딩, 믹싱 및 마스터링으로 구성된다. 마스터링 프로세스는 최종 믹스를 최적화하여, 상이한 스피커 특성들을 갖는 모든 소비자 시스템들에서 상기 믹스가 만족스러운 품질로 재생되는 것을 보장한다. 믹스의 희망하는 출력 포맷이 고정되기 때문에, 마스터링 엔지니어(ME)는 이 재생 구성에 대한 최적화된 마스터를 만들 수 있다.
마스터링 단계는 창작자들이 최적이 아닌 음향 환경들에서 오디오를 제작하는 것을 유용하게 하는데, 왜냐하면 그들이 마스터링하는 동안 그들의 믹스의 최종 점검을 신뢰할 수 있기 때문이다. 이것은 전문적인 콘텐트 제작을 위한 접근 장벽을 낮춘다. 반면, 음향 엔지니어들 자신들이 수년간 광범위한 마스터링 수단들을 제공하여 왔고, 이것이 교정과 향상시키는 그들의 능력을 극적으로 개선하여 주었다. 그럼에도, 최종 콘텐트는 그것이 맞춤 구성될 재생 수단에 일반적으로 제약된다.
이 제약사항은 객체-기반 공간 오디오 생성(Object-Based Spatial Audio Production (OBAP))에 의해 일반적으로 극복된다. 채널-기반 오디오에 대조적으로 OBAP는 메타데이터를 갖는 개별적인 오디오 객체들에 기초하고, 이 메타데이터는 "장면(scene)"이라고 부르는 인공의 환경에서 그들의 위치를 포함한다. 오직 최종 청취 출력에서, 전용의 렌더링 유닛, 상기 렌더링 장치가 청취자의 스피커 수단들에 기초하여 실시간으로 최종 스피커 신호들을 산출한다.
OBAP가 각각의 오디오 객체 및 그것의 메타데이터를 렌더링 장치에 개별적으로 제공함에도 불구하고, 어떠한 직접적인 채널-기반 조정들도 제작하는 동안 가능하지 않으며, 따라서 종래 재생 장비를 위한 기존 마스터링 수단들도 사용될 수 없다. 반면, OBAP는 모든 최종 조정들이 믹스에서 수행되는 것을 요구한다. 각각의 개별적인 오디오 객체를 수동 조작함으로써 전체 음향 조정들을 수행한다는 요건은 매우 비효율적일 뿐만 아니라, 이 환경은 각 창작자의 모니터링 장비에 대해 높은 수준을 요구하고, 객체-기반 3D 오디오 콘텐트의 음향 품질을 그것이 창작되었던 환경의 음향 특성들로 엄격하게 제약하게 된다.
궁극적으로, 창작자 측에서 OBAP에 대해 유사하게 강력한 마스터링 프로세스를 가능하게 하는 개발 수단들은 제작 장벽들을 낮추고, 음향 미학 및 품질에 대한 새로운 지평을 열어3D 오디오 콘텐트 제작의 수용을 향상시킬 것이다.
공간 마스터링에 관한 초창기 사상들이 공중에게 가용한 것으로 되어 왔으나([5]), 본 명세서는 전통적인 마스터링 수단들이 어떻게 적응될 수 있는지, 및 어떤 유형의 새로운 수단들이 객체-기반 공간 오디오를 마스터링 하는데 도움이 될 것으로 여겨질 수 있는지에 대한 새로운 접근을 제공한다. 따라서, [5]는 메타데이터가 글로벌 속성들로부터 객체-특정 파라미터들을 얻는데 사용될 수 있는 방법의 기본적인 시퀀스를 기술한다. 또한, [6]은 OBAP 어플리케이션들의 맥락에서 서라운딩 천이 영역을 갖는 관심 지역의 개념을 설명한다.
그러므로, 향상된 객체-기반 오디오 마스터링 컨셉들을 제공하는 것이 바람직하다.
청구항 1에 청구된 디바이스, 청구항 14에 청구된 인코더, 청구항 15에 청구된 디코더, 청구항 17에 청구된 시스템, 청구항 18에 청구된 방법, 청구항 19에 청구된 컴퓨터 프로그램이 제공된다.
일 실시예에 따라 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 디바이스가 제공되며, 여기에서 상기 다수의 오디오 객체들 중의 각각의 오디오 객체는 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 위치 및 상기 오디오 객체의 이득 파라미터를 포함한다. 상기 디바이스는 사용자 측에 의해 오디오 객체들의 프로세싱 객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하기 위한 인터페이스(110)로서, 상기 오디오 객체들의 오디오 객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 상기 인터페이스(110)를 포함한다. 상기 디바이스는 또한 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하도록 구성되는 프로세서 유닛(120)을 포함한다.
일 실시예에 따른 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 방법이 제공된다. 여기에서, 상기 다수의 오디오 객체들 중의 오디오 객체 각각은 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 이득 파라미터 및 상기 오디오 객체의 위치를 포함한다.
상기 방법은 인터페이스(110)를 통해 사용자에 의한 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하는 단계로서, 상기 프로세싱-객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 단계, 및
프로세서 유닛(120)에 의해, 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하는 단계를 포함한다.
또한, 전술한 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램이 제공된다.
오디오 마스터링은 오디오 객체들의 마스터링에 기초한다. 실시예들에서, 이것들은 장면 내에서 임의의 위치에 실시간으로 자유롭게 위치될 수 있다. 실시예들에서, 예를 들어, 일반적인 오디오 객체들의 속성들은 영향을 받는다. 인위적인 용기들로서 그것들의 기능에 있어서, 그것들은 각각 임의의 개수의 오디오 객체들을 포함할 수 있다. 마스터링 객체에 대한 각각의 조정은 실시간으로 그것의 오디오 객체들에 대한 개별적인 조정들로 전환된다.
이러한 마스터링 객체들은 또한 프로세싱 객체들이라 한다.
따라서, 다수의 오디오 객체들에 대한 개별적인 조정들을 해야만 하는 것을 대신해서, 사용자는 마스터링 객체를 이용하여 수 개의 오디오 객체들에 대해 동시에 상호 조정들(mutual adjustments)을 할 수 있다.
실시예들에 따라서, 예를 들어, 마스터링 객체에 대한 목표 오디오 객체들의 세트가 많은 방식들로 정의될 수 있다. 공간적 관점에서, 사용자는 마스터링 객체의 위치 주변의 유효한 맞춤화된 범위를 정의할 수 있다. 택일적으로, 개별적으로 선택된 오디오 객체들을 그들의 위치에 상관없이, 마스터링 객체와 연결하는 것이 가능하다. 마스터링 객체는 또한 시간 경과에 따른 오디오 객체들의 위치 상의 잠재적인 변화들을 고려한다.
실시예들에 따른 마스터링 객체들의 제2 속성은 예를 들어, 인터랙션 모델들에 기초하여, 각각의 오디오 객체가 개별적으로 영향을 받는 방법을 산출하는 그것들의 능력일 수 있다. 채널 스트립(channel strip)과 유사하게, 이퀄라이저들 및 압축기들와 같은 마스터링 객체는 일반적인 마스터링 이펙트를 받을 수 있다. 이펙트 플러그-인은 일반적으로 사용자에게 예컨대, 주파수 또는 이득 제어를 위한 많은 파라미터들을 제공한다. 마스터링 객체에 새로운 마스터링 이펙트가 부가되면, 그것은 자동적으로 상기 마스터링 객체의 목표 세트 내의 모든 오디오 객체들로 복사된다. 그러나, 모든 이펙트 파라미터 값들이 변화되지 않은 채 전달되는 것은 아니다. 목표 세트에 대한 산출 방법에 따라서, 어떤 마스터링 이펙트 파라미터들은 특정 오디오 객체에 적용되기 전에 가중될 수 있다. 가중은 오디오 객체의 음향 특성 또는 메타데이터에 기초할 수 있다.
본 발명에 의하면, 향상된 객체-기반 오디오 마스터링 컨셉들이 제공되고, 제작 장벽들을 낮추고, 음향 미학 및 품질에 대한 새로운 지평을 열어3D 오디오 콘텐트 제작의 수용을 향상시킨다.
이하, 본 발명의 바람직한 실시예들을 다음 도면들을 참조하여 설명한다:
도1은 일 실시예에 따라 복수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하기 위한 디바이스를 보여준다.
도2는 또다른 실시예에 따른 디바이스로서 인코더를 보여준다.
도3은 또다른 실시예에 따른 디바이스로서 디코더를 보여준다.
도4는 일 실시예에 따른 시스템을 보여준다.
도5는 일 실시예에 따라 영역(A) 및 페이딩 영역(Af)을 포함하는 프로세싱 객체를 보여준다.
도6은 일 실시예에 따라 영역(A) 및 객체 반경들을 포함하는 프로세싱 객체를 보여준다.
도7은 일 실시예에 따라 프로세싱 객체에 대한 오디오 객체들의 상대적인 각도를 보여준다.
도8은 일 실시예에 따라 새로운 방사상 원주를 갖는 이퀄라이저 객체를 보여준다.
도9는 일 실시예에 따라 n 소스들로부터의 신호들의 압축의 신호 흐름을 보여준다.
도10은 일 실시예에 따라 제어 패널(M)을 이용하는 동안 장면 변환을 보여준다.
도11은 일 실시예에 따라 오디오 신호 효과들 및 메타데이터 효과들을 일으키는 프로세싱 객체의 맥락을 보여준다.
도12는 일 실시예에 따라 사용자 입력시 오디오 객체들 및 오디오 신호들의 조정을 보여준다.
도13은 일 실시예에 따라 사용자에 의한 코너들(C1,C2,C3,C4)의 왜곡에 대한 사각형(M)을 갖는 프로세싱 객체(PO4)를 보여준다.
도14는 일 실시예에 따라 영향의 그들 각각의 중첩하는 2차원 영역들(A,B)를 갖는 프로세싱 객체(PO1, PO2)를 보여준다.
도15는 일 실시예에 따라 사각형, 영향의 2차원 영역 및 PO3 및 할당된 소스들(S1,S2,S3)을 갖는 프로세싱 객체(PO3)를 보여준다.
도16은 일 실시예에 다라 프로세싱 객체에 적용되는 이퀄라이저 효과의 가능한 도식적인 구현을 도시한다.
도17은 일 실시예에 따라 영향의 영역을 통해 할당된 소스들(S1,S2,S3)에 대한 각각의 거리들(dS1,dS2,dS3) 및 영향의 3D 영역(D)을 갖는 프로세싱 객체(PO5)를 보여준다.
도18은 일 실시예에 따라 이퀄라이저가 적용된 프로세싱 객체의 원형적 구현을 보여준다.
도19는 일 실시예에 따라 도18과 같은 프로세싱 객체로서, 다른 위치에 있으며 천이 영역이 없는 프로세싱 객체를 보여준다.
도20은 일 실시예에 따라 그것의 방위각을 통해 영향의 영역으로 정의되는 영역을 갖는 프로세싱 객체를 보여주며, 따라서 소스들(Src22 및 Src4)이 프로세싱 객체와 연계된다.
도21은 일 실시예에 따라 도20과 같은 프로세싱 객체로서, "페더(Feather)" 슬라이더를 통해 사용자가 제어할 수 있는 추가적인 천이 영역을 갖는 프로세싱 객체를 보여준다.
도22는 일 실시예에 따라 영향의 다른 영역들을 갖는, 장면 내의 몇몇 프로세싱 객체들을 보여준다.
도23은 이미지의 우측의 적색 사각형이 일 실시예에 따라 오디오 객체들의 위치의 수평적 왜곡을 위한 프로세싱 객체를 나타내는 것을 도시한다.
도24는 일 실시예에 따라 사용자가 프로세싱 객체의 코너들을 왜곡한 후의 장면들을 보여주며, 모든 소스들의 위치가 왜곡의 기능에 따라 변화한다
도25는 일 실시예에 따라 프로세싱 객체를 갖는 개별적인 오디오 객체들의 연계의 가능한 시각화를 보여준다.
도1은 일 실시예에 따른 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 디바이스를 보여주며, 여기에서 다수의 오디오 객체들 중 각각의 오디오 객체는 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 오디오 객체 메타데이터는 오디오 객체의 위치 및 오디오 객체의 이득 파라미터를 포함한다.
상기 디바이스는 다음을 포함한다: 사용자에 의한 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 이펙트 파라미터 지정을 위한 인터페이스(110). 여기에서, 오디오 객체들의 프로세싱-객체 그룹은 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함한다.
상기 디바이스는 상기 처리된 신호를 생성하도록 구성된 프로세서 유닛(120)을 포함하여, 인터페이스(110) 수단에 의해 지정된 적어도 하나의 이펙트 파라미터가 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 중 각각의 오디오 객체 신호 또는 오디오 객체 메타데이터에 적용된다.
다수의 오디오 객체들 중 하나 이상의 오디오 객체들이 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는다.
도1의 앞서 설명된 상기 디바이스는 오디오 객체들에 대한 오디오 마스터링의 효율적인 형태를 구현한다.
오디오 객체들에 대한 문제는 종종 하나의 오디오 장면에 복수의 오디오 객체들이 있다는 것이다. 이것들이 변경되도록 하고자 한다면, 각각의 오디오 객체를 개별적으로 명시하는 것은 상당한 노력을 요구하게 될 것이다.
본 발명에 따르면, 2 이상의 오디오 객체들의 일 그룹이 이제 프로세싱-객체 그룹으로 언급되는 오디오 객체들의 일 그룹으로 조직화된다. 프로세싱-객체 그룹은 그러므로 이 특별한 그룹, 상기 프로세싱-객체 그룹으로 조직화된 오디오 객체들의 일 그룹이다.
본 발명에 따르면, 사용자는 인터페이스(110)에 의해 하나 이상의 (적어도 하나의) 이펙트 파라미터를 명시할 수 있다. 프로세서 유닛(120)은 이펙트 파라미터의 단일 입력에 의해 프로세싱-객체 그룹의 2 이상의 오디오 객체들 모두에게 이펙트 파라미터가 적용된다는 것을 보장한다.
이러한 이펙트 파라미터의 적용은, 예를 들어, 이펙트 파라미터가 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 신호의 특정 주파수 범위를 변경하는 것일 수 있다.
또는, 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 메타데이터의 이득 파라미터가, 예를 들어, 이펙트 파라미터에 따라 증가되거나 감소될 수 있다.
또는, 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 메타데이터 중 위치가, 예를 들어, 이펙트 파라미터에 따라 변경될 수 있다. 예를 들어, 프로세싱-객체 그룹의 모든 오디오 객체들이 x 좌표 축을 따라 +2 만큼, y 좌표 축을 따라 -3 만큼, z 좌표 축을 따라 +4만큼 이동되는 것이 가능하다.
또한, 프로세싱-객체 그룹의 오디오 객체들에 대한 이펙트 파라미터의 적용이 프로세싱-객체 그룹의 오디오 객체 각각에 대한 상이한 영향을 주는 것이 가능하다. 예를 들어, 프로세싱-객체 그룹의 모든 오디오 객체들의 위치들이 미러링되는(mirrored) 축이 이펙트 파라미터로서 정의될 수 있다. 프로세싱-객체 그룹의 오디오 객체들의 위치 변화는 프로세싱-객체 그룹의 오디오 객체 각각에 대해 상이한 영향을 줄 수 있다.
예를 들어, 일 실시예에서, 프로세서 유닛(120)은 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 하나 이상의 오디오 객체들의 임의의 오디오 객체 메타데이터 및 임의의 오디오 객체 신호에, 인터페이스를 이용해 지정된 적어도 하나의 이펙트 파라미터를 적용하지 않도록 구성될 수 있다.
이러한 일 실시예에 대해서, 이펙트 파라미터가 프로세싱-객체 그룹에 속하지 않는 오디오 객체들에 적용되지 않는다는 것이 지정된다.
원칙적으로, 오디오 객체 마스터링은 인코더 측에서 중심적으로 수행될 수 있다. 또한, 디코더 측에서, 오디오 객체 장면의 수신기로서 말단 사용자가 본 발명에 따라 오디오 객체들을 조정할 수 있다.
본 발명에 따라 인코더 측에서 오디오 객체 마스터링을 수행하는 실시예가 도2에 개시되어 있다.
본 발명에 따라 디코더 측에서 오디오 객체 마스터링을 수행하는 실시예가 도3에 개시되어 있다.
도2는 또 다른 실시예에 따른 디바이스로서 인코더를 보여준다.
도2에서, 프로세서 유닛(120)은 다수의 오디오 객체들의 오디오 객체 신호들을 이용하는 동안 다운믹스 신호를 생성하도록 구성된다. 이 상황에서, 프로세서 유닛(120)은 다수의 오디오 객체들의 오디오 객체 메타데이터를 이용하는 동안 메타데이터 신호를 생성하도록 구성된다.
또한, 도2의 프로세서 유닛(120)은 상기 처리된 신호로서 다운믹스 신호를 생성하도록 구성되며, 여기에서 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대한 적어도 하나의 변경된 객체 신호가 다운믹스 신호에서 믹싱되고, 프로세서 유닛(120)은 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터를 상기 오디오 객체의 오디오 객체 신호에 적용함으로써, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 이 오디오 객체의 변경된 객체 신호를 생성하도록 구성된다.
또는 도2의 프로세서 유닛(120)은 상기 처리된 신호로서 메타데이터 신호를 생성하도록 구성되고, 메타데이터 신호는 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대한 적어도 하나의 변경된 위치를 포함하며, 프로세서 유닛(120)은 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터를 상기 오디오 객체의 위치에 적용함으로써, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서 상기 오디오 객체의 변경된 위치를 생성하도록 구성된다.
또는 도2의 프로세서 유닛(120)은 상기 처리된 신호로서 메타데이터 신호를 생성하고, 상기 메타데이터 신호는 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대한 적어도 하나의 변경된 이득 파라미터를 포함하며, 프로세서 유닛(120)은 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터를 상기 오디오 객체의 이득 파라미터에 적용함으로써, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서 오디오 객체의 변경된 이득 파라미터를 생성하도록 구성된다.
도3은 또 다른 실시예에 따른 디바이스로서 디코더를 보여준다. 도3의 디바이스는 다운믹스 신호를 수신하도록 구성되고, 다운믹스 신호에서 다수의 오디오 객체들의 다수의 오디오 객체 신호들이 믹싱된다. 도3의 디바이스는 또한 메타데이터 신호를 수신하도록 구성되고, 여기에서 메타데이터 신호는 다수의 오디오 객체들의 오디오 객체 각각에 대해서 상기 오디오 객체의 오디오 객체 메타데이터를 포함한다.
도3의 프로세서 유닛(120)은 다운믹스 신호에 기초하여 다수의 오디오 객체들의 다수의 오디오 객체 신호들을 재구성하도록 구성된다.
또한, 도3의 프로세서 유닛(120)은 상기 처리된 신호로서, 하나 이상의 오디오 출력 채널들을 포함하는 오디오 출력 신호를 생성하도록 구성된다.
또한, 도3의 프로세서 유닛(120)은 상기 처리된 신호를 생성하기 위하여, 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터를, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 신호에 적용하도록 구성되거나, 상기 처리된 신호를 생성하기 위하여, 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터를, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 메타데이터 중 위치 또는 이득 파라미터에 적용하도록 구성된다.
오디오 객체 디코딩에서, 디코더 측에서의 렌더링은 예컨대, SAOC(Spatial Audio Object Coding) 표준 (참조 [8])으로부터 본 기술 분야의 통상의 기술자에게 잘 알려져 있다.
디코더 측면에서, 하나 이상의 렌더링 파라미터는 인터페이스(100)를 통한 사용자 입력에 의해 지정될 수 있다.
예를 들어, 일 실시예에서, 도3의 인터페이스(110)는 사용자에 의한 하나 이상의 렌더링 파라미터의 지정을 위해 구성될 수 있다. 예를 들어, 도3의 프로세서 유닛(120)은 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각의 위치에 따라서 하나 이상의 렌더링 파라미터를 이용하는 동안 상기 처리된 신호를 생성하도록 구성될 수 있다.
도4는 인코더(200) 및 디코더(300)을 포함하는 일 실시예에 따른 시스템을 보여준다.
도4의 인코더(200)는 다수의 오디오 객체들의 오디오 객체 신호들에 기초하여 다운믹스 신호를 생성하고, 다수의 오디오 객체들의 오디오 객체 메타데이터에 기초하여 메타데이터 신호를 생성하도록 구성되며, 상기 오디오 객체 메타데이터는 오디오 객체의 위치 및 오디오 객체의 이득 파라미터를 포함한다.
도4의 디코더(300)는 다운믹스 신호에 기초하여 그리고 메타데이터 신호에 기초하여 하나 이상의 오디오 출력 채널을 포함하는 오디오 출력 신호를 생성하도록 구성된다.
도4의 시스템의 인코더(200)는 도2에 따른 디바이스일 수 있다.
또는 도4의 시스템의 디코더(300)는 도3에 따른 디바이스일 수 있다.
또는 도4의 시스템의 인코더(200)는 도2에 따른 디바이스일 수 있고, 도4의 시스템의 디코더(300)는 도3에 따른 디바이스일 수 있다.
다음의 실시예들은 도1의 디바이스, 도2의 디바이스, 및 도3의 디바이스에서 동일하게 구현될 수 있다. 그것들은 도4의 시스템의 인코더(200)에서 및 도4의 시스템의 디코더(300)에서 또한 구현될 수 있다.
일 실시예에 따르면, 프로세서 유닛(120)은 예를 들어, 인터페이스(110)를 이용하여 지정된 하나 이상의 이펙트 파라미터가 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 신호에 적용되는 방식으로 상기 처리된 신호를 생성하도록 구성될 수 있다 이러한 상황에서, 프로세서 유닛(120)은 예를 들어 인터페이스를 이용하여 지정된 적어도 하나의 이펙트 파라미터를, .오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 오디오 객체들 중 하나 이상의 오디오 객체의 임의의 오디오 객체 신호에 적용하지 않도록 구성될 수 있다
이러한 이펙트 파라미터의 적용은, 예를 들어, 프로세싱-객체 그룹의 오디오 객체 각각의 오디오 객체 신호에 대한 이펙트 파라미터의 적용이 예를 들어, 프로세싱-객체 그룹의 오디오 객체 각각의 오디오 객체 신호의 특정 주파수 범위를 변경하는 것일 수 있다.
일 실시예에서, 프로세서 유닛(120)은 예를 들어, 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터가 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각의 메타데이터 중 이득 파라미터에 적용되는 방식으로, 상기 처리된 신호를 생성하도록 구성될 수 있다. 이러한 상황에서, 프로세서 유닛(120)은 예를 들어, 인터페이스를 이용하여 지정된 적어도 하나의 이펙트 파라미터를, 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는, 다수의 오디오 객체들 중 하나 이상의 오디오 객체들의 오디오 객체 메타데이터 중 어느 이득 파라미터에도 적용하지 않도록 구성될 수 있다.
전술한 바와 같이, 이러한 실시예에서, 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 메타데이터 중 이득 파라미터는 이펙트 파라미터의 함수로서 증가 또는 감소될 수 있다.
일 실시예에서, 프로세서 유닛(120)은 예를 들어, 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터가 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각의 메타데이터 중 위치에 적용되는 방식으로 상기 처리된 신호를 생성하도록 구성될 수 있다. 이러한 상황에서, 프로세서 유닛(120)은 예를 들어, 인터페이스를 이용하여 지정된 적어도 하나의 이펙트 파라미터를, 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는, 다수의 오디오 객체들 중 하나 이상의 오디오 객체들의 오디오 객체 메타데이터 중 어느 위치에도 적용하지 않도록 구성될 수 있다.
이미 기술한 바와 같이, 이러한 실시예에서, 프로세싱-객체 그룹의 오디오 객체들 각각의 오디오 객체 메타데이터 중 위치는 예를 들어, 이펙트 파라미터의 함수에 따라서 변경될 수 있다. 이것은 예를 들어, 오디오 객체들 각각의 위치가 이동될 변량인, 상응하는 x, y, 및 z 좌표 값들을 지정함으로써 수행될 수 있다. 또는 예를 들어, 정의된 중심 예를 들어, 사용자 위치를 중심으로 회전되는 특정 각도만큼의 이동(변위)이 지정될 수 있다. 또는, 예를 들어, 특정 지점으로부터의 거리를 2배 크게 하는 것(또는 절반으로 줄이는 것)이 프로세싱-객체 그룹의 오디오 객체 각각의 위치에 대한 이펙트 파라미터로서 제공될 수 있다.
일 실시예에서, 인터페이스(110)는 사용자에 의한 예를 들어, 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터의 지정을 위해 구성될 수 있다. 이러한 상황에서, 프로세서 유닛(120)은 예를 들어, 인터페이스(110)를 이용하여 지정된 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터에 따라서, 다수의 오디오 객체들 중 어느 오디오 객체들이 오디오 객체들 중의 프로세싱-객체 그룹에 속하지 않는지를 결정하도록 구성될 수 있다.
예를 들어, 일 실시예에 따르면, 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터는 적어도 하나의 관심 영역의 위치를 포함할 수 있다(관심 영역의 위치는 예컨대 관심 영역의 중심 또는 무게 중심이다). 관심 영역은 오디오 객체들 중의 프로세싱-객체 그룹과 연관될 수 있다. 프로세서 유닛(120)은 예를 들어, 다수의 오디오 객체들 중 오디오 객체 각각에 대해, 이 오디오 객체의 오디오 객체 메타데이터 중 위치에 따라서 및 관심 영역의 위치에 따라서 이 오디오 객체가 오디오 객체들 중의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성될 수 있다.
일 실시예에서, 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터는 예를 들어, 오디오 객체들의 프로세싱-객체 그룹과 연관된 관심 영역의 반경을 더 포함할 수 있다. 프로세서 유닛(120)은 예를 들어, 다수의 오디오 객체들 중 오디오 객체 각각에 대해서, 이 오디오 객체의 오디오 객체 메타데이터 중 위치에 따라서, 관심 영역의 위치에 따라서 및 관심 영역의 반경에 따라서 이 오디오 객체가 오디오 객체들 중의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성될 수 있다.
예를 들어, 사용자는 프로세싱-객체 그룹의 위치 및 프로세싱-객체 그룹의 반경을 지정할 수 있다. 프로세싱-객체 그룹의 위치는 공간 중심을 지정할 수 있고, 프로세싱-객체 그룹의 반경은 프로세싱-객체 그룹의 중심과 함께 원을 정의한다. 원 안에 또는 원주 상에 위치를 갖는 모든 오디오 객체들은 이 프로세싱-객체 그룹의 오디오 객체들로 정의될 수 있고, 따라서 원 밖의 위치를 갖는 모든 오디오 객체들은 프로세싱-객체 그룹에 속하지 않을 것이다. 원 내부 및 원주 상의 영역은 "관심 영역"으로 이해될 것이다.
일 실시예에 따르면, 프로세서 유닛(120)은 예를 들어, 오디오 객체들 중의 프로세싱-객체 그룹의 오디오 객체들 각각에 대해서 이 오디오 객체의 오디오 객체 메타데이터 중 위치와 관심 영역의 위치 사이의 거리에 기초하여 가중치 팩터를 결정하도록 구성될 수 있다. 프로세서 유닛(120)은 예를 들어, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각에 대해, 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터와 함께 상기 오디오 객체의 가중치 팩터를 이 오디오 객체의 오디오 객체 메타데이터 중 이득 파라미터 또는 오디오 객체 신호에 적용하도록 구성될 수 있다.
이러한 실시예에서, 프로세싱-객체 그룹의 오디오 객체 각각에 대한 이펙트 파라미터의 영향은, 이펙트 파라미터들에 부가적으로, 각각의 오디오 객체에 대해 개별적이고 오디오 객체에 적용되는 가중치 팩터를 결정함으로써, 각각의 오디오 객체에 대해 개별화된다.
일 실시예에서, 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터는 예를 들어, 오디오 객체들의 프로세싱-객체 그룹과 연관되는 관심 영역이 있는, 정의된 사용자 위치로부터의 방향을 지정하는 적어도 하나의 각도를 포함할 수 있다. 프로세서 유닛(120)은 예를 들어, 다수의 오디오 객체들 중 각각의 오디오 객체에 대해서, 이 오디오 객체의 메타데이터 중 위치에 따라서, 관심 영역이 위치되는 상기 정의된 사용자 위치로부터의 방향을 지정하는 각도에 따라서 이 오디오 객체가 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성될 수 있다.
일 실시예에 따르면, 프로세서 유닛(120)은 예를 들어 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체들 각각에 대해서, 제1 각도 및 또 다른 각도의 차이에 기초하여 가중치 팩터를 결정하도록 구성될 수 있다. 여기에서, 상기 제1 각도는 관심 영역이 위치하는 상기 정의된 사용자 위치로부터의 방향을 지정하는 각도이고, 상기 또 다른 각도는 상기 정의된 사용자 위치 및 이 오디오 객체의 메타데이터 중 위치에 따라 결정된다. 프로세서 유닛(120)은 예를 들어, 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 인터페이스(110)를 이용하여 지정된 적어도 하나의 이펙트 파라미터와 함께 이 오디오 객체의 가중치 팩터를, 이 오디오 객체의 오디오 객체 메타데이터 중 이득 파라미터 또는 오디오 객체 신호에 적용하도록 구성될 수 있다.
일 실시예에서, 오디오 객체들의 프로세싱-객체 그룹은 예를 들어, 오디오 객체들 중 제1 프로세싱-객체 그룹일 수 있다; 예를 들어, 오디오 객체들 중 하나 이상의 프로세싱-객체 그룹이 그것에 더하여 존재할 수 있다.
오디오 객체들 중 하나 이상의 프로세싱-객체 그룹의 각각의 프로세싱-객체 그룹은 다수의 오디오 객체들 중 하나 이상의 오디오 객체를 포함할 수 있다; 오디오 객체들 중 하나 이상의 프로세싱-객체 그룹의 각각의 프로세싱-객체 그룹의 적어도 하나의 오디오 객체는 오디오 객체들 중 상기 제1 프로세싱-객체 그룹의 오디오 객체가 아니다.
여기에서, 인터페이스(110)는 오디오 객체들 중 하나 이상의 프로세싱-객체 그룹의 각각의 프로세싱-객체 그룹에 대해서, 사용자에 의한 오디오 객체들 중 이 프로세싱-객체 그룹에 대한 적어도 하나의 이펙트 파라미터의 지정을 위해서 구성될 수 있다.
이러한 상황에서, 프로세서 유닛(120)은 오디오 객체들 중의 하나 이상의 프로세싱-객체 그룹의 각각의 프로세싱-객체 그룹에 대해서 인터페이스(110)를 이용하여 지정되었던 이 프로세싱-객체 그룹의 적어도 하나의 이펙트 파라미터가 이 프로세싱-객체 그룹의 하나 이상의 오디오 객체 각각의 오디오 객체 메타데이터 또는 오디오 객체 신호에 적용되는 방식으로 상기 처리된 신호를 생성하도록 구성될 수 있다; 여기에서, 다수의 오디오 객체들 중 하나 이상의 오디오 객체는 이 프로세싱-객체 그룹에 속하지 않는다.
여기에서, 프로세서 유닛(120)은 예를 들어, 인터페이스(110)를 이용하여 지정되었던 이 프로세싱-객체 그룹의 적어도 하나의 이펙트 파라미터를, 이 프로세싱-객체 그룹에 속하지 않는 하나 이상의 오디오 객체의 어느 오디오 객체 메타데이터 및 오디오 객체 신호에도 적용하지 않도록 구성될 수 있다.
이것은 2 이상의 프로세싱-객체 그룹이 이러한 실시예들에서 존재할 수 있다는 것을 의미한다. 프로세싱-객체 그룹 각각에 대해서, 하나 또는 그 이상의 서로 다른 이펙트 파라미터가 결정된다.
일 실시예에 따르면, 인터페이스(110)는 하나 이상의 오디오 객체 중 하나 이상의 프로세싱-객체 그룹의 프로세싱-객체 그룹 각각에 대해 사용자에 의한 이 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터의 지정을 위해 구성되는 점에서, 인터페이스(110)는 오디오 객체들 중 제1 프로세싱-객체 그룹에 부가하여, 예를 들어, 사용자에 의한 하나 또는 그 이상의 오디오 객체들 중 하나 또는 그 이상의 프로세싱-객체 그룹들의 지정을 위하여 구성될 수 있다.
이러한 상황에서, 프로세서 유닛(120)은 예를 들어, 하나 이상의 오디오 객체 중 하나 이상의 프로세싱-객체 그룹들의 프로세싱-객체 그룹 각각에 대해, 인터페이스(110)를 이용하여 지정되는 이 프로세싱-객체 그룹 적어도 하나의 정의 파라미터의 함수로서, 다수의 오디오 객체들 중 어느 오디오 객체들이 이 프로세싱-객체 그룹에 속하는지를 결정하도록 구성될 수 있다.
이하에서, 본 발명의 실시예들의 개념들 및 바람직한 실시예들이 설명될 것이다.
실시예들에서, 글로벌 적응들(global adaptations)을 영향을 받는 오디오 객체들의 개별적인 변경들로 (예컨대, 프로세서 유닛(120)에 의해) 전환시킴으로써 OBAP 에서의 어떠한 종류의 글로벌 적응들도 가능하다.
객체-기반 오디오 프로덕션에 대한 공간 마스터링은 예를 들어, 본 발명의 프로세싱 객체들을 구현함으로써, 이하와 같이 구현될 수 있다.
전반적인 적응들의 제안되는 구현은 프로세싱 객체들(POs)을 이용하여 실현될 수 있다. 보통의 오디오 객체들과 같이, 그것들은 장면 내의 어디에서나 실시간으로 자유롭게 위치될 수 있다. 사용자는 어느 신호 프로세싱이라도 프로세싱 객체에 (프로세싱-객체 그룹에) 예를 들어 이퀄라이저(EQ) 또는 압축에 적용할 수 있다. 이들 프로세싱 수단들 각각에 대해, 프로세싱 객체의 파라미터 설정들은 객체-지정 설정들로 변환될 수 있다. 다양한 절차가 이 산출에 대해서 제공된다.
이하에서, 관심 영역에 대해서 설명한다.
도5는 일 실시예에 따른 영역(A) 및 페이딩 영역(Af)을 포함하는 프로세싱 객체를 도시한다.
도5에 도시된 바와 같이, 사용자는 프로세싱 객체 주변의 영역(A) 및 페이딩 영역(Af)을 정의한다. 프로세싱 객체의 프로세싱 파라미터들은 일정한 파라미터들 및 가중되는 파라미터들로 나뉜다. 일정한 파라미터들의 값들은 A 및 Af 내의 모든 오디오 객체들에 의해 변화되지 않은 채 전달된다. 가중되는 파라미터 값들은 A 내의 오디오 객체들에 의해서만 전달된다. Af 내의 오디오 객체들은 거리 팩터로 가중된다. 어떤 파라미터들이 가중되는지 및 어떤 파라미터들이 가중되지 않는지에 관한 결정은 파라미터의 유형에 따른다.
프로세싱 객체에 대한 이러한 가중된 파라미터의 사용자-정의 값(pM)을 가정하면, 파라미터 함수(pi)는 각각의 오디오 객체(Si)에 대해서 다음과 같이 정의된다:
여기에서, 팩터(fi)는 다음과 같이 주어진다:
결과적으로, 사용자가 rA = 0을 지정한다면, 가중된 파라미터들이 일정하게 유지되는 유효 영역은 없을 것이다.
이하에서는 일 실시예에 따른 역 파라미터의 산출에 대해서 설명한다.
도6은 일 실시예 따라 영역(A) 및 객체 반경을 포함하는 프로세싱 객체를 도시한다.
수식 (1)을 통해 변환된 프로세싱 객체에 대한 사용자 조정들이 항상 충분히 빠르게 희망하는 결과들을 만드는 것은 아니다. 왜냐하면, 오디오 객체들의 정확한 위치가 고려되지 않기 때문이다. 예를 들어, 프로세싱 객체 주변의 영역이 매우 크다면 그리고 오디오 객체들이 프로세싱-객체 위치로부터 매우 멀리 위치한다면, 산출된 조정들의 효과는 프로세싱-객체 위치에서 조차도 들을 수가 없을 수 있다.
이득 파라미터들에 대해서, 각각의 객체에 대한 감쇄 율에 기초하여 상이한 산출 방법이 가능하다. 다시, 도6에 도시된 사용자-정의 관심 영역 내에서, 오디오 객체 각각에 대한 개별적인 파라미터 (pi)는 다음과 같이 산출된다:
여기에서, hi 는 다음과 같이 정의된다:
ai 는 오디오 객체로부터의 최근접 가능 거리에 대한 상수이고, di(t)는 오디오 객체로부터 EQ 객체까지의 거리이다. 거리 법칙으로부터 유도된, 함수는 가능한 양의 또는 음의 EQ 이득 변경을 올바르게 다룰 수 있도록 수정되어 왔다.
이하의 변형된 실시예에서, 각도-기반 산출이 수행될 것이다.
앞선 산출식들은 오디오 객체들과 프로세싱 객체 사이의 거리에 기반한 것이었다. 그러나, 사용자의 시야로부터, 프로세싱 객체 및 주변의 오디오 객체들 사이의 각도는 종종 그들의 청취 인상을 더욱 정확하게 표현할 수 있도록 한다. [5]는 오디오 객체들의 방위각을 통한 임의의 오디오 플러그-인 파라미터의 포괄적 제어를 제안한다. 이 연구는 도7에 도시된 바와 같이, 오프셋 각도()를 갖는 프로세싱 객체와 그 주변 오디오 객체들() 사이의 각도(ai)에서의 차이를 산출함으로써 채택될 수 있다.
그러므로, 도7은 일 실시예에 따라 프로세싱 객체에 대한 오디오 객체들의 상대적인 각도를 나타낸다.
전술된 사용자-정의 관심 영역이 도8에 도시된 바와 같이 각도들(, )을 이용하면서 조정될 수 있다.
도8은 일 실시예에 따라 새로운 방사상 원주를 갖는 이퀄라이저 객체를 도시한다.
블랭킹 영역(페이드-아웃 영역, German: Ausblendungsbereich), ()에 관하여, 는 다음과 같이 새롭게 정의되어야 한다:
앞서 설명된 변형된 방식에 대해서, 이 맥락에서 거리()는 오디오 객체와 EQ 객체 사이의 각도로서 단순하게 해석될 수 있지만, 이것은 거리 법칙을 적용하는 것을 정당화하지 않는다. 그러므로, 이득 산출은 전과 같이 유지되는 반면 오직 사용자-정의 영역이 변경된다
일 실시예에서, 구현된 응용은 등화(equalization)이다.
등화는 마스터링에 있어서 가장 중요한 수단이라고 간주될 수 있다. 왜냐하면 믹스의 주파수 응답이 재생 시스템들을 가로지르는 좋은 옮김(변환)을 위한 가장 중요한 팩터이기 때문이다.
등화의 제안된 구현은 EQ 객체들을 통해 실행된다. 모든 다른 파라미터들이 거리에 의존적인 것은 아니므로, 오직 이득 파라미터가 특별한 관심 거리다.
또 다른 실시예에서, 구현된 응용은 다이나믹 제어이다.
전통적인 마스터링에서, 다이나믹 압축은 시간이 지남에 따른 믹스에서의 다이나믹 편차를 제어하는데 사용된다. 압축 설정들에 따라서, 이것은 믹스의 과도 응답 및 인지된 밀도를 변화시킨다. 고정 압축의 경우, 밀도 측면에서 인지된 변화는 '글루(glue)'라고 부르는 반면, 더 강력한 압축 설정들이 강한-비트의 믹스들(beat-heavy mixes)에 대해 펌프 또는 측쇄(side-chain) 효과들을 주는데 사용될 수 있다.
OBAP를 이용하면, 사용자는 다채널 압축을 얻기 위하여 다수의 인접한 객체들에 대한 동일한 압축 설정들을 손쉽게 지정할 수 있다. 그러나, 오디오 객체들 중 그룹들에 대한 합산된 압축은 시간이 중요한(time-critical) 작업흐름들에 대하여 유리할 뿐만 아니라, 더욱더 음향심리학적 인상이 소위 "접착된" 신호들에 의해서 달성될 수 있다.
도9는 일 실시예에 따라 n개의 소스들로부터의 신호들을 압축하는 신호 흐름을 보여준다.
다른 실시예에 따르면, 구현된 응용은 장면 변환이다.
스테레오 마스터링시, 중앙/측면 프로세싱은 믹스의 스테레오 이미지를 향상시키거나 안정화시키기 위해 일반적으로 사용되는 기술이다. 공간 오디오 믹스들에 대해서, 믹스가 잠재적으로 비대칭인 방 또는 스피커 특성을 갖는 음향적으로 중요한 환경에서 생성되었다면, 유사한 옵션이 도움이 될 것이다. 믹스의 효과들을 향상시키기 위하여 ME 에 대한 새로운 창조적인 가능성들이 또한 제공될 것이다.
도10은 일 실시예에 따라 제어 패널을 이용하는 동안 장면 변환을 도시한다. 특별히, 도10은 사용자-드래그가능한 경계들(~)을 갖는 왜곡 범위를 이용하는 동안 도식적인 변환을 보여준다.
장면의 수평 평면 내의 2차원 변환은 위치()에 있는 각각의 오디오 객체를 새로운 위치()로 매핑하는 호모그라피(homography) 변환 매트릭스 H를 이용하는 동안 구현될 수 있다(참조 [7]):
사용자가 4개의 드래그 가능한 모서리(C1-4)를 이용하는 동안 제어 필드로 M 을 M'으로 왜곡한다면(도6 참조), 그들의 2D 좌표들 은 H[7]의 계수들을 얻기 위하여 수식(7)의 선형 시스템에 대해 이용될 수 있다.
오디오 객체 위치들은 시간 경과에 따라 변화할 수 있기 때문에, 좌표 위치들은 시간-의존 함수들로서 해석될 수 있다.
실시예들에서, 다이나믹 이퀄라이저들이 구현될 수 있다. 다른 실시예들은 다중대역 압축을 구현할 수 있다.
객체-기반 음향 조정들은 소개된 이퀄라이저 응용들에 한정되는 것은 아니다.
전술한 설명은 더욱 일반적인 실시예들의 설명에 의해 이하에서 보충될 것이다.
객체-기반 3차원 오디오 프로덕션은 오디오 장면들이 렌더링 프로세스를 통해 거의 어느 임의의 스피커 구성들에 대해서 실시간으로 산출되고 재생되는 접근법의 뒤를 잇는다. 오디오 장면들은 시간의 함수로서 오디오 객체들의 배열을 묘사한다. 오디오 객체들은 오디오 신호들 및 메타데이터로 구성된다. 이들 메타데이터는 다른 것들 중에서도 방 내부에서의 위치 및 크기를 포함한다. 장면을 편집하기 위하여, 사용자는 이전에 장면의 모든 오디오 객체들을 개별적으로 바꿔야만 했다.
우리가 한편으로는 프로세싱-객체 그룹에 관하여 다른 편으로는 프로세싱 객체에 관하여 이야기 할 때, 각각의 프로세싱 객체에 대해 프로세싱-객체 그룹은 오디오 객체들을 포함하는 것으로 정의된다는 것을 이해해야 한다. 프로세싱-객체 그룹은 또한 프로세싱 객체의 용기(container)라고 부른다. 각각의 프로세싱 객체에 대해서, 그러므로, 오디오 객체들의 그룹은 다수의 오디오 객체들 중에서 정의된다. 대응하는 프로세싱-객체 그룹은 따라서 지정된 오디오 객체들의 그룹을 포함한다. 프로세싱-객체 그룹은 그러므로 오디오 객체들의 그룹이다.
프로세싱 객체들은 다른 오디오 객체들의 속성들을 바꿀 수 있는 객체들로 정의될 수 있다. 프로세싱 객체들은 어느 오디오 객체들도 연관될 수 있는 인위적인 용기들(컨테이너들)이다.
즉, 컨테이너는 그것의 연계된 오디오 객체들 모두에 어드레싱하는데 이용된다. 연계된 오디오 객체들은 수 개의 이펙트들을 통해 영향을 받는다. 프로세싱 객체들은 따라서 사용자로 하여금 수 개의 오디오 객체들을 동시에 처리할 수 있도록 한다.
프로세싱 객체는 예를 들어, 위치, 연계 절차, 컨테이너, 가중(weighting) 절차, 오디오 신호 프로세싱 이펙트들 및 메타데이터 이펙트들을 갖는다.
위치는 가상 장면에서의 프로세싱 객체의 위치이다.
연계 절차는 오디오 객체들을 (그들의 위치들을 이용하는 동안) 프로세싱 객체와 연관시킨다.
컨테이너(또는 연결들)는 프로세싱 객체와 연관된 모든 오디오 객체들의 (또는 추가적인 다른 프로세싱 객체들의) 세트이다.
가중 절차들은 연관된 오디오 객체들에 대해 개별적인 이펙트 파라미터 값들을 산출하기 위한 알고리즘들이다.
오디오 신호 프로세싱 이펙트들은 오디오 객체들의 각각의 오디오 성분들을 바꾼다. (예를 들어, 이퀄라이저들, 다이나믹들)
메타데이터 이펙트들은 오디오 객체 및/또는 프로세싱 객체들의 메타데이터를 바꾼다. (예컨대, 위치 왜곡)
유사하게, 프로세싱-객체 그룹은 그것, 전술한 바와 같은, 위치, 연계 절차, 컨테이너, 가중 절차, 오디오 신호 프로세싱 이펙트들 및 메타데이터 이펙트들과 연계되었을 수 있다. 여기에서, 프로세싱 객체들의 컨테이너의 오디오 객체들은 프로세싱-객체 그룹의 오디오 객체들이다.
도11은 일 실시예에 따라 오디오 신호 이펙트들 및 메타데이터 이펙트들을 일으키는 프로세싱 객체의 연결을 보여준다.
이하에서, 특정 실시예들에 따라 프로세싱 객체들의 속성들이 설명될 것이다.
프로세싱 객체들은 사용자에 의해 장면 내에 희망하는 대로 위치될 수 있고, 위치는 시간 경과에 따라 일정하게 또는 시간의 함수로서 설정될 수 있다.
프로세싱 객체들은 오디오 객체들의 오디오 신호 및/또는 메타데이터를 바꾸는, 사용자에 의해 그들에게 할당된 이펙트들을 가질 수 있다. 이펙트들의 예시로 오디오 신호의 등화, 오디오 신호의 다이나믹들의 프로세싱, 또는 오디오 객체들의 위치 좌표들의 변화를 들 수 있다.
프로세싱 객체들은 임의의 순서로 그들에게 할당된 임의의 개수의 이펙트들을 가질 수 있다.
이펙트들은 연계된 오디오 객체들의 세트의 메타데이터 및/또는 오디오 신호를 시간에 따라 일정하게 또는 시간-의존적인 방식으로 바꾼다.
이펙트들은 신호 및/또는 메타데이터의 프로세싱을 제어하기 위한 파라미터들을 가진다. 이들 파라미터들은 사용자에 의해 또는 그들의 각각의 유형에 의해 정의되는 방식으로 일정한 파라미터들과 가중되는 파라미터들로 나뉜다.
프로세싱 객체들의 이펙트들은 복사되고 그것의 연계된 오디오 객체들에게 적용된다. 상수 파라미터들의 값들은 각각의 오디오 객체에 의해서는 변경되지 않은 채 채택된다. 가중 파라미터들의 값들은 다양한 가중 방법들을 이용하여 오디오 객체 각각에 대해 개별적으로 산출된다. 사용자는 각각의 이펙트에 대해 가중 방법을 선택할 수 있고 또는 개별 오디오 소스들에 대해 그것을 활성화 또는 비활성화할 수 있다.
가중 방법들(weighting methods)은 개별 오디오 객체들의 개별적인 메타데이터 및/또는 신호 특성들을 고려한다. 이것은 예를 들어, 오디오 객체의 주파수 스펙트럼 또는 프로세싱 객체 및 오디오 객체 사이의 거리에 대응한다. 가중 방법들은 또한 청취자의 청취 위치를 고려할 수 있다. 나아가, 가중 방법들은 개별 파라미터 값들을 유도하기 위하여 오디오 객체들의 언급된 특성들을 결합할 수 있다. 예를 들어, 오디오 객체들의 음향 레벨들이 각각의 오디오 객체에 대한 볼륨의 개별적인 변화를 유도하기 위하여, 다이나믹 프로세싱의 맥락에서 더하여 질 수 있다.
이펙트 파라미터들은 시간에 따라 일정하게 설정될 수 있고, 또는 시간-의존적으로 설정될 수 있다. 가중 방법들은 이러한 시간적 변화들을 고려한다.
가중 방법들은 또한 오디오 렌더링 장치가 장면으로부터 분석하는 정보를 처리할 수 있다.
프로세싱 객체에 이펙트들을 할당하는 시퀀스는 오디오 객체 각각의 메타데이터 및/또는 프로세싱 신호들의 시퀀스에 대응한다. 즉, 이전의 이펙트에 의해 변경된 데이터가 그것의 산출에 대한 기초로서 다음의 이펙트에 의해 이용된다. 첫번째 이펙트는 오디오 객체의 아직 변화하지 않은 데이터에 기초하여 작용한다.
개별적인 이펙트들이 비활성화될 수 있다. 그리고 이전의 이펙트의 산출된 데이터가, 있다면, 비활성화된 이펙트 다음의 이펙트로 전달될 것이다.
분명하게 새롭게 개발된 이펙트는 호모그래피를 이용한 오디오 객체들의 위치 변화이다("왜곡 이펙트"). 사용자에게 프로세싱 객체의 위치에서 개별적으로 이동 가능한 모서리를 갖는 사각형을 보여진다. 사용자가 모서리를 움직이면, 이 왜곡에 대한 변환 매트릭스가 사각형의 이전 상태 및 새롭게 왜곡된 상태로부터 산출될 것이다. 다음으로, 매트릭스는 프로세싱 객체와 연관된 오디오 객체들의 모든 위치 좌표들에 적용되어, 그들의 위치(들)가 왜곡에 따라 바뀐다.
메타데이터만을 바꾸는 이펙트들이 또한 다른 프로세싱 객체들에 적용될 수 있다(그중에서도 "왜곡 이펙트"),
오디오 소스들이 많은 방식으로 프로세싱 객체들과 연관될 수 있다. 연관되는 오디오 객체들의 개수는 연관의 유형에 기초하여 시간의 경과에 따라 바뀔 수 있다. 이 변화는 모든 산출들에서 고려된다.
영향 영역이 프로세싱 객체들의 위치 주변에서 정의될 수 있다.
영향 영역 내에 위치된 모든 오디오 객체들이 프로세싱 객체의 이펙트들이 적용되는 연관된 오디오 객체들의 세트를 형성한다.
영향 영역은 사용자에 의해 정의되는 임의의 형체(3D) or 임의의 모양(2D)일 수 있다.
영향 영역의 중심은 프로세싱 객체의 위치에 대응할 수도, 대응하지 않을 수도 있다. 이것은 사용자에 의해 지정된다.
오디오 객체는 그것의 위치가 3D 형체 내에 있다면, 3D 영향 영역 내에 위치한다.
오디오 객체는 수평면에 투영된 그것의 위치가 2D 모양 내부에 있다면, 2D 영향 영역 내에 있다.
장면 내부의 모든 오디오 객체들이 영향 영역 내부에 위치되기 위하여, 영향 영역이 지정되지 않은 모두-포괄하는 크기를 가정할 수 있다.
필요하다면, 영향 영역들은 장면 속성들(예컨대, 장면 스케일링)에서의 변화들에 적응한다.
영향 영역에 상관없이, 프로세싱 객체들이 장면 내의 오디오 객체들의 임의의 선택에 연결될 수 있다.
커플링은 모든 선택된 오디오 객체들이 프로세싱 객체의 이펙트들이 적용되는 오디오 객체들의 세트를 형성하도록 사용자에 의해 정의될 수 있다.
택일적으로, 커플링은 프로세싱 객체가 선택된 오디오 객체들의 위치에 따라서 시간의 함수로 그것의 위치를 조정하도록 하는 방식으로 사용자에 의해서 정의될 수 있다. 이 위치 조정은 청취자의 청취 위치를 고려할 수 있다. 이러한 상황에서, 프로세싱 객체의 이펙트들이 커플링된 오디오 객체들에 반드시 적용되어야 하는 것은 아니다.
연관(association)은 사용자-정의된 기준에 기초하여 자동으로 수행될 수 있다. 이러한 상황에서, 장면의 모든 오디오 객체들이 정의된 기준에 대해서 연속적으로 체크되고, 기준이 충족되면 그것들이 프로세싱 객체와 연관된다. 연관의 시간 길이는 기준(들)이 충족되는 시간으로 제한될 수 있고 또는 천이 기간이 정의될 수 있다. 천이 기간은 하나의 기준 또는 그 이상의 기준이 오디오 객체에 의해 연속적으로 충족되어 그것이 프로세싱 객체와 연관되게 되는 시간 기간을 결정한다. 또는 천이 기간은 하나의 기준 또는 그 이상의 기준이 연속적으로 충족되지 않아 프로세싱 객체와의 연관이 다시 종료되는 시간 기간을 결정할 수 있다.
프로세싱 객체들은 사용자에 의해 비활성화될 수 있어, 프로세싱 객체에 의해 영향을 받는 어떠한 오디오 객체도 없다면 그들의 속성들은 유지되고 계속해서 사용자에게 디스플레이된다.
사용자는 프로세싱 객체의 임의 개수의 속성들을, 임의 개수의 다른 프로세싱 객체들의 유사한 속성들과 커플링할 수 있다. 이들 속성들은 이펙트들의 파라미터들을 포함한다. 사용자는 커플링이 절대적인지 상대적인지를 결정할 수 있다. 커플링이 일정하다면, 프로세싱 객체의 변화된 속성값이 모든 커플링된 프로세싱 객체들에 의해 정확히 채택된다. 상대적 커플링시, 변화의 값은 커플링된 프로세싱 객체들의 속성 값들에 대한 오프셋이다.
프로세싱 객체들이 복사될 수 있다. 복사된다면, 원 프로세싱 객체의 속성들과 동일한 속성들을 갖는 제2 프로세싱 객체가 생성된다. 다음으로, 프로세싱 객체들의 속성들은 상호 독립적이다.
프로세싱 객체들의 속성들은 예를 들어, 그들이 복사될 때 지속적으로 전달되어, 부모들에 대한 어떠한 변화들도 자식들에게 자동적으로 채용된다.
도12는 일 실시예에 따라 사용자 입력에 응답한 오디오 객체들 및 오디오 신호들의 변경을 보여준다.
프로세싱 객체들의 다른 새로운 응용은 장면 분석을 이용하는 지능형 파라미터 산출이다. 사용자는 프로세싱 객체를 통해 기준 위치에서의 이펙트 파라미터들을 정의한다. 오디오 렌더링 장치는 예측 장면 분석을 수행하여, 어느 오디오 소스들이 프로세싱 객체의 위치에 영향을 주는지 검출할 수 있다. 다음으로, 장면 분석을 고려할 때, 사용자-정의 이펙트 설정들이 프로세싱 객체의 위치에서 최적으로 수행되는 방식으로 이펙트들이 선택된 오디오 소스들에 적용된다.
이하, 도13-25에 의해 도시된 본 발명의 또다른 실시예들이 설명될 것이다.
예를 들어, 도13은 사용자에 의한 모서리들(C1, C2, C3 및 C4)의 왜곡을 위한 사각형(M)을 갖는 프로세싱 객체(PO4)를 도시한다. 도13은 모서리들(C1', C2', C3' 및 C4')을 갖는 M'을 향하는 왜곡 및 새로운 위치들(S1', S2', S3' 및 S4')을 갖는 소스들(S1, S2, S3 및 S4)에 대한 상응하는 영향을 도식적으로 보여준다.
도14는 영향 영역들에 의해 연관된 소스들(S1, S2, S3, S4 및 S6) 및 각각의 프로세싱 객체 사이의 거리들(aS1, aS2, aS3 및 bS3, bS4, bS6) 뿐만 아니라, 영향(A) 및 영향(B) 각각의 중첩하는 2차원 영역을 갖는 프로세싱 객체들(PO1 및 PO2)을 도시한다.
도15는 청취자의 청취 위치를 포함하는 파라미터들의 가능한 가중을 위한 연관된 소스들(S1, S2 및 S3) 및 프로세싱 객체(PO3) 사이의 각도들 및 사각의 2D 영향 영역(C)을 갖는 프로세싱 객체(PO3)을 도시한다. 상기 각도들은 개별 소스들의 방위각 및 PO3의 방위각(αpo) 사이의 차에 의하여 결정될 수 있다.
도16은 프로세싱 객체에 적용되는 이퀄라이저 이펙트의 가능한 도식적인 구현을 보여준다. 각각의 파라미터에 이웃한 w와 같은 버튼들이 각각의 파라미터(m1, m2 및 m3)에 대한 가중을 활성화하고, 전술된 가중된 파라미터들에 대한 가중 절차를 위한 옵션들을 제공하는데 사용될 수 있다.
도17은 영향 영역을 통해 연관된 소스들(S1, S2, 및 S3)로부터의 각각의 거리들(dS1, dS2 및 dS3) 및 3D 영향 영역(D)을 갖는 프로세싱 객체(PO5)를 도시한다.
도18은 이퀄라이저가 적용된 프로세싱 객체의 원형의 구현을 보여준다. 이미지의 우측 상의 파도 심벌을 갖는 청록의 객체가 사용자는 마우스로 자유롭게 움직일 수 있는 오디오 장면에서의 프로세싱 객체를 보여준다. 프로세싱 객체 주변의 청록색의 투명한 동질의 영역 내에서, 이퀄라이저 파라미터들이 이미지 좌측 상에 정의된 바와 같이, 오디오 객체들(Src1, Src2, Src3)에 변화되지 않은 채 적용된다. 동질의 원형 영역 주변으로, 투명한 영역으로 이동하는 음영(shading)은 이득 파라미터들을 제외한 모든 파라미터들이 소스들에 의해 변경되지 않은 채 채용되는 영역을 나타낸다. 이퀄라이저의 이득 파라미터들은, 한편, 프로세싱 객체 및 소스들 사이의 거리에 따라 가중된다. 소스 Src4 및 Src24 만이 이 영역 안에 위치하고 있기 때문에, 가중은 이 경우에만 그들의 파라미터들에 대해서 일어날 것이다. 소스 Src22는 프로세싱 객체에 의해 영향을 받지 않는다. 사용자는 "영역(Area)" 슬라이더를 통해 프로세싱 객체의 주변의 원형 영역의 반경의 크기를 제어한다. "페더(Feather)" 슬라이더를 통해, 사용자는 주변 천이 영역의 반경의 크기를 제어한다.
도19는 도18에 도시된 프로세싱 객체로서 상이한 위치에 천이 영역이 없는 프로세싱 객체를 도시한다. 이퀄라이저의 모든 파라미터들이 변화없이 소스들(Src22 및Src4)에 적용된다. 소스들(Src3, Src2, Src1 및 Src24)은 프로세싱 객체에 의해 영향을 받지 않는다.
도20은 소스들(Src22 및 Src4)이 프로세싱 객체와 연관되도록 방위각을 통해 영향 영역으로 정의되는 영역을 갖는 프로세싱 객체를 보여준다. 이미지의 우측의 중앙에 있는 영향 영역의 피크가 청취자/사용자의 위치에 대응한다. 프로세싱 객체가 이동될 때, 영역이 방위각에 따라 이동된다. "영역(Area)" 슬라이더로, 사용자는 영향 영역의 각도의 크기를 결정한다. 사용자는 "반경(radius)"을 디스플레이하는, "영역(Area)"/"페더(Feather)"을 통해 더 낮은 선택 필드를 통해 원형에서 영향의 각도-기반 표면으로의 변화를 달성한다.
도21은 도20에 개시된 프로세싱 객체로서, "페더(Feather)" 슬라이더를 통해 사용자에 의해 제어될 수 있는 추가적인 천이 영역을 갖는 프로세싱 객체를 도시한다.
도22는 서로 다른 영향 영역을 갖는, 장면 내의 수 개의 프로세싱 객체들을 도시한다. 회색 프로세싱 객체들은 사용자에 의해 비활성화 되어 있고, 즉 그것들은 그들의 영향 영역 내의 오디오 객체들에게 영향을 주지 않는다. 이미지의 좌측에서, 현재 선택된 프로세싱 객체의 이퀄라이저 파라미터들이 항상 디스플레이 된다. 객체 주변의 얇은 청록빛 라인에 의해 선택이 표시된다.
도23은 이미지의 우측에 붉은 사각형이 오디오 객체들의 위치들의 수평 왜곡을 위한 프로세싱 객체를 보여주는 것을 도시한다. 사용자는 모서리들을 마우스로 임의의 방향으로 드래깅하여 장면의 왜곡을 수행할 수 있다.
도24는 사용자가 프로세싱 객체의 모서리들을 드래그한 후의 장면을 도시한다. 모든 소스들의 위치들이 왜곡에 따라 바뀌었다.
도25는 프로세싱 객체와 개별적인 오디오 객체들의 연관에 대한 가능한 시각화를 도시한다.
몇몇 양태들이 디바이스의 맥락에서 기술되었지만, 전술한 양태들은 또한 상응하는 방법의 기술을 나타내고 있음을 이해할 수 있을 것이다. 그래서 디바이스의 블록 또는 구조적 요소가 또한 상응하는 방법 단계 또는 방법 단계의 특징으로서 이해될 수 있다. 그와 유사하게, 방법 단계로서 또는 그와 연계해서 설명된 양태들은 또한 상응하는 디바이스의 특징 또는 상세 또는 상응하는 블록의 기술을 나타낸다. 방법 단계들의 전부 또는 일부가 마이크로프로세서, 프로그래머블 컴퓨터 또는 전자 회로와 같은 하드웨어 디바이스에 의해 (또는 하드웨어 디바이스를 이용하는 동안) 수행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들의 일부가 그러한 디바이스에 의해 수행될 수 있다.
특정 구현 요건들에 따라서, 본 발명의 실시예들은 하드웨어 또는 소프트웨어에서 또는 적어도 부분적으로 하드웨어에서, 또는 적어도 부분적으로 소프트웨어에서 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래머블 컴퓨터 시스템과 함께 동작할 수 있는 전자적으로 판독가능한 제어 신호들이 저장되는 디지털 저장 매체 예컨대, 플로피 디스크, DVD, 블루레이 디스크, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리, 하드디스크 또는 다른 종류의 마그네틱 또는 광학 메모리를 이용하는 동안 수행될 수 있다. 이것은 디지털 저장 매체가 컴퓨터-판독가능하기 때문이다.
본 발명에 따른 일부 실시예들은 따라서 여기에서 전술된 방법들 중 어느 것이든 수행되도록, 프로그래머블 컴퓨터 시스템과 함께 동작할 수 있는 전자적으로 판독가능한 제어 신호들을 포함하는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 상기 방법들 중 어느 것이든 수행하는데 효과적이다.
프로그램 코드는 또한 예컨대, 기계-판독가능한 매체에 저장될 수 있다.
다른 실시예들은 여기에서 전술된 방법을 수행하기 위한 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 기계-판독가능한 매체에 저장된다. 즉, 본 방법 발명의 실시예는 컴퓨터 프로그램이 컴퓨터에서 실행될 때 여기에서 설명된 방법들 중 어느 것이든 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 방법 발명의 또다른 실시예는 그러므로 여기에서 설명된 임의의 방법들을 수행하기 위한 컴퓨터 프로그램이 저장되는 데이터 매체(또는 디지털 저장 매체 또는 컴퓨터-판독가능한 매체)이다. 데이터 매체 또는 디지털 저장 매체 또는 컴퓨터-판독가능한 매체는 전형적으로 실체적이고 일회성이 아니다.
본 방법 발명의 또다른 실시예는 여기에서 설명된 어떤 방법들이라도 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 시퀀스 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 시퀀스는 데이터 통신 링크 예컨대, 인터넷을 통해 전달되도록 구성될 수 있다.
또 다른 실시예는 여기에서 설명된 방법들 중 임의의 것을 수행하도록 구성되거나 적응된 프로세싱 수단 예컨대, 컴퓨터 또는 프로그래머블 로직 디바이스를 포함한다.
또 다른 실시예는 여기에서 설명된 방법들 중 임의의 것을 수행하기 위한 컴퓨터 프로그램이 설치되는 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시예는 여기에서 설명된 방법들 중 적어도 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록 구성되는 디바이스 또는 시스템을 포함한다. 전송은 예컨대 전자적 또는 광학적인 것일 수 있다. 수신기는 예컨대, 컴퓨터, 모바일 디바이스, 메모리 디바이스 또는 그 유사한 디바이스일 수 있다. 디바이스 또는 시스템은 예컨대, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그래머블 로직 디바이스(예컨대, 필드-프로그래머블 게이트 어레이, FPGA)는 여기에서 설명된 방법들의 기능들 일부 또는 전부를 수행하기 위하여 사용될 수 있다. 몇몇 실시예들에서, 필드-프로그래머블 게이트 어레이는 마이크로프로세서와 함께 동작하여 여기에서 설명된 방법들 중 임의의 것을 수행할 수 있다. 일반적으로 방법들이 어느 하드웨어 디바이스에 의해서 몇몇 실시예들에서 수행된다. 상기 하드웨어 디바이스는 컴퓨터 프로세서(CPU)와 같은 보편적으로 응용되는 하드웨어일 수 있고 또는 ASIC과 같이 방법에 특정되는 하드웨어일 수 있다.
전술한 실시예들은 단지 본 발명의 원칙들의 설명을 나타낸 것이다. 본 기술 분야의 통상의 기술을 가진 사람이라면 여기에서 설명된 구성들 및 상세들의 변형 및 수정이 가능하다는 것을 이해할 수 있을 것이다. 이것은 본 발명이 실시예들의 설명 및 논의를 통해 제공되었던 특정 상세들에 의하기 보다는 이하의 청구범위의 범위에 의해 제한되도록 하려고 하기 때문이다.
또한, 아래와 같이 최초 특허청구범위에 기재된 발명이 본 발명의 일 실시예들로서 제공된다.
1. 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 디바이스로서, 상기 다수의 오디오 객체들 중 각각의 오디오 객체는 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 위치 및 상기 오디오 객체의 이득 파라미터를 포함하는 디바이스에 있어서,
사용자 측에 의해 오디오 객체들의 프로세싱 객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하기 위한 인터페이스(110)로서, 상기 오디오 객체들의 오디오 객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 상기 인터페이스(110); 및
상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하도록 구성되는 프로세서 유닛(120)을 포함하는 디바이스.
2. 제1항에 있어서,
상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않으며,
상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 하나 이상의 오디오 객체의 오디오 객체 신호 및 오디오 객체 메타데이터에 적용하지 않도록 구성되는 디바이스.
3. 제2항에 있어서,
상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 오디오 객체 신호에 적용되도록 상기 처리된 신호를 생성하도록 구성되고,
상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 다수의 오디오 객체들 중 상기 하나 이상의 오디오 객체의 오디오 객체 신호에 적용하지 않도록 구성되는 디바이스.
4. 제2항에 있어서,
상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 이득 파라미터에 적용되도록 상기 처리된 신호를 생성하도록 구성되고,
상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 다수의 오디오 객체들 중 상기 하나 이상의 오디오 객체의 상기 오디오 객체 메타데이터 중 이득 파라미터에 적용하지 않도록 구성되는 디바이스.
5. 제2항에 있어서,
상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 메타데이터 중 위치에 적용되도록 상기 처리된 신호를 생성하도록 구성되고,
상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 다수의 오디오 객체들 중 상기 하나 이상의 오디오 객체의 상기 오디오 객체 메타데이터 중 위치에 적용하지 않도록 구성되는 디바이스.
6. 제1항에 있어서,
상기 인터페이스(110)는 사용자에 의해 상기 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터를 지정하도록 구성되고,
상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터에 기초하여 상기 다수의 오디오 객체 중 어느 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
7. 제6항에 있어서,
상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터는 상기 오디오 객체들의 프로세싱-객체 그룹과 연관된 관심 영역의 적어도 하나의 위치를 포함하고,
상기 프로세서 유닛(120)은 상기 관심 영역의 위치에 기초하고 및 상기 오디오 객체의 상기 오디오 객체 메타데이터의 위치에 기초하여, 상기 다수의 오디오 객체들 중 오디오 객체 각각에 대하여 상기 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
8. 제7항에 있어서,
상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터는 상기 오디오 객체들의 프로세싱-객체 그룹과 연관된 상기 관심 영역의 반경을 더 포함하고,
상기 프로세서 유닛(120)은 상기 다수의 오디오 객체들 중 오디오 객체 각각에 대해서, 그 오디오 객체의 상기 오디오 객체 메타데이터 중 상기 위치에 기초하여 및 상기 관심 영역의 위치 및 반경에 기초하여, 그 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
9. 제7항에 있어서,
상기 프로세서 유닛(120)은 그 오디오 객체의 상기 오디오 객체 메타데이터 중 상기 위치와 상기 관심 영역의 상기 위치 사이의 거리에 기초하여, 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각에 대한 가중치 팩터를 결정하도록 구성되고,
상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각에 대해, 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터와 함께 이 오디오 객체의 상기 가중치 팩터를 이 오디오 객체 상기 오디오 객체 메타데이터 중 상기 이득 파라미터에 적용하도록 구성되는 디바이스.
10. 제6항에 있어서,
상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터는 상기 오디오 객체들의 프로세싱-객체 그룹과 연관된 관심 영역이 있는, 정의된 사용자 위치로부터의 방향을 나타내는 적어도 각도를 포함하고,
상기 프로세서 유닛(120)은 상기 관심 영역이 위치하는 상기 정의된 사용자 위치로부터의 상기 방향을 나타내는 상기 각도에 기초하여 및 상기 오디오 객체의 상기 메타데이터 중 상기 위치에 기초하여, 상기 다수의 오디오 객체들 중 오디오 객체 각각에 대해서, 상기 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
11. 제10항에 있어서,
상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체 각각에 대해서, 제1 각도 및 또 다른 각도의 차이에 기초하는 가중치 팩터를 결정하도록 구성되고, 여기에서 상기 제1 각도는 상기 관심 영역이 위치하는 상기 정의된 사용자 위치로부터의 방향을 나타내는 상기 각도이고, 상기 또 다른 각도는 상기 정의된 사용자 위치 및 상기 오디오 객체의 상기 메타데이터 중 상기 위치에 기초하며,
상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터와 함께 이 오디오 객체의 상기 가중치 팩터를 상기 오디오 객체 신호 또는 이 오디오 객체의 상기 오디오 객체 메타데이터 중 상기 이득 파라미터에 적용하도록 구성되는 디바이스.
12. 제1항에 있어서,
상기 오디오 객체들의 프로세싱-객체 그룹은 상기 오디오 객체들의 제1 프로세싱-객체 그룹이고, 오디오 객체들의 하나 이상의 추가의 프로세싱-객체 그룹이 역시 존재하며, 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중의 각각의 프로세싱-객체 그룹은 상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체들을 포함하고, 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중 프로세싱-객체 그룹의 적어도 하나의 오디오 객체는 상기 오디오 객체들의 제1 프로세싱-객체 그룹의 오디오 객체가 아니며,
상기 인터페이스(110)는 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중의 프로세싱-객체 그룹 각각에 대해서, 상기 사용자에 의한 그 오디오 객체들의 프로세싱-객체 그룹에 대한 적어도 하나의 이펙트 파라미터 지정을 위하여 구성되고,
상기 프로세서 유닛(120)은 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중의 프로세싱-객체 그룹 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 이 프로세싱-객체 그룹의 상기 적어도 하나의 이펙트 파라미터가 이 프로세싱-객체 그룹의 상기 하나 이상의 오디오 객체들 각각의 상기 오디오 객체 메타데이터 또는 상기 오디오 객체 신호에 적용되도록 상기 처리된 신호를 생성하도록 구성되고, 상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체들이 이 프로세싱-객체 그룹에 속하지 않으며, 및 상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 이 프로세싱-객체 그룹의 상기 적어도 하나의 이펙트 파라미터를 이 프로세싱-객체 그룹에 속하지 않는 상기 하나 이상의 오디오 객체의 오디오 객체 신호 및 오디오 객체 메타데이터에 적용하지 않도록 구성되는 디바이스.
13. 제12항에 있어서,
상기 인터페이스(110)는 상기 오디오 객체들의 제1 프로세싱-객체 그룹에 더하여, 상기 사용자에 의한 하나 이상의 오디오 객체들의 상기 하나 이상의 추가의 프로세싱-객체 그룹들의 지정을 위해 구성되고, 상기 인터페이스(110)는 상기 하나 이상의 오디오 객체들의 하나 이상의 추가의 프로세싱-객체 그룹들의 프로세싱-객체 그룹 각각에 대해서, 사용자에 의한 이 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터의 지정을 위해 구성되며,
상기 프로세서 유닛(120)은 상기 하나 이상의 오디오 객체들의 하나 이상의 추가의 프로세싱-객체 그룹들 중의 프로세싱-객체 그룹 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 이 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터에 따라서, 어느 오디오 객체들이 이 프로세싱-객체 그룹의 다수의 오디오 객체들에 속하는지를 결정하도록 구성되는 디바이스.
14. 제1항에 있어서,
상기 디바이스는 인코더이고, 상기 프로세서 유닛(120)은 상기 다수의 오디오 객체들의 상기 오디오 객체 신호를 이용하는 동안 다운믹스 신호를 생성하도록 구성되고, 상기 프로세서 유닛(120)은 상기 다수의 오디오 객체들의 상기 오디오 객체 메타데이터를 이용하는 동안 메타데이터 신호를 생성하도록 구성되며,
상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 상기 처리된 신호로서 상기 다운믹스 신호, 상기 다운믹스 신호 내의 믹싱된 적어도 하나의 수정된 객체 신호를 생성하도록 구성되고, 상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를 이 오디오 객체의 상기 오디오 객체 신호에 적용함으로써, 이 오디오 객체의 상기 수정된 객체 신호를 생성하도록 구성되며, 또는
상기 프로세서 유닛(120)은 상기 처리된 신호로서 상기 메타데이터 신호를 생성하도록 구성되고, 상기 메타데이터 신호는 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대한 적어도 하나의 수정된 위치를 포함하고, 상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를 이 오디오 객체의 상기 위치에 적용함으로써, 이 오디오 객체의 상기 수정된 위치를 생성하도록 구성되며, 또는
상기 프로세서 유닛(120)은 상기 처리된 신호로서 상기 메타데이터 신호를 생성하도록 구성되고, 상기 메타데이터 신호는 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서 적어도 하나의 수정된 이득 파라미터를 포함하고, 상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를 이 오디오 객체의 상기 이득 파라미터에 적용함으로써 이 오디오 객체의 상기 수정된 이득 파라미터를 생성하도록 구성되는 디바이스.
15. 제1항에 있어서,
상기 디바이스는 디코더이고, 상기 디바이스는 상기 다수의 오디오 객체들의 다수의 오디오 객체 신호들이 믹싱되는 다운믹스 신호를 수신하도록 구성되고, 상기 디바이스는 또한 메타데이터 신호를 수신하도록 구성되고, 상기 메타데이터 신호는 상기 다수의 오디오 객체들 중의 각각의 오디오 객체에 대해서 이 오디오 객체의 상기 오디오 객체 메타데이터를 포함하며,
상기 프로세서 유닛(120)은 다운믹스 신호에 기초하여 상기 다수의 오디오 객체들의 상기 다수의 오디오 객체 신호들을 재구성하도록 구성되며,
상기 프로세서 유닛(120)은 상기 처리된 신호로서, 하나 이상의 오디오 출력 채널들을 포함하는 오디오 출력 신호를 생성하도록 구성되며,
상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각의 상기 오디오 객체 신호에 적용하여 상기 처리된 신호를 생성하도록 구성되고, 또는 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각의 상기 오디오 객체 메타데이터 중 상기 이득 파라미터 또는 상기 위치에 적용하여 상기 처리된 신호를 생성하도록 구성되는 디바이스.
16. 제15항에 있어서,
상기 인터페이스(110)는 상기 사용자에 의한 하나 이상의 렌더링 파라미터들 지정을 위해 적용되고,
상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹 중의 오디오 객체 각각의 상기 위치의 함수로서 상기 하나 이상의 렌더링 파라미터들을 이용하는 동안 상기 처리된 신호를 생성하도록 구성되는 디바이스.
17. 다수의 오디오 객체들의 오디오 객체 신호들에 기초하여 다운믹스 신호를 생성하고, 상기 다수의 오디오 객체들의 오디오 객체 메타데이터에 기초하여 메타데이터 신호를 생성하는 인코더(200)로서, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 이득 파라미터 및 상기 오디오 객체의 위치를 포함하는 상기 인코더(200), 및
상기 다운믹스 신호에 기초하고, 상기 메타데이터 신호에 기초하여 하나 이상의 오디오 출력 채널들을 포함하는 오디오 출력 신호를 생성하는 디코더(300)를 포함하고,
상기 인코더(200)는 청구항 14에서 청구된 디바이스이고, 및/또는
상기 디코더(300)는 청구항 15에서 청구된 디바이스인 시스템.
18. 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 방법으로서, 상기 다수의 오디오 객체들 중의 오디오 객체 각각은 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 이득 파라미터 및 상기 오디오 객체의 위치를 포함하는 방법에 있어서,
인터페이스(110)를 통해 사용자에 의한 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하는 단계로서, 상기 프로세싱-객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 단계, 및
프로세서 유닛(120)에 의해, 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하는 단계를 포함하는 방법.
19. 제18항에 청구된 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
참 조
[1] Coleman, P., Franck, A., Francombe, J., Liu, Q., Campos, T. D., Hughes, R., Men-zies, D., Galvez, M. S., Tang, Y., Woodcock, J., Jackson, P., Melchior, F., Pike, C., Fazi, F., Cox, T, and Hilton, A., "An Audio-Visual System for Object-Based Audio: From Recording to Listening," IEEE Transactions on Multimedia, PP(99), pp. 1-1, 2018, ISSN 1520- 9210, doi:10.1109/TMM.2018.2794780.
[2] Gasull Ruiz, A., Sladeczek, C., and Sporer, T., "A Description of an Object-Based Audio Workflow for Media Productions," in Audio Engineering Society Conference: 57th International Conference: The Future of Audio Entertainment Technology, Cinema, Television and the Internet, 2015.
[3] Melchior, F., Michaelis, U., and Steffens, R., "Spatial Mastering - a new concept for spatial sound design in object-based audio scenes," in Proceedings of the International Computer Music Conference 2011, 2011.
[4] Katz, B. and Katz, R. A., Mastering Audio: The Art and the Science, Butterworth-Heinemann, Newton, MA, USA, 2003, ISBN 0240805453, AES Conference on Spatial Reproduction, Tokyo, Japan, 2018 August 6 - 9, page 2
[5] Melchior, F., Michaelis, U., and Steffens, R., "Spatial Mastering - A New Concept for Spatial Sound Design in Object-based Audio Scenes," Proceedings of the International Computer Music Conference 2011, University of Huddersfield, UK, 2011.
[6] Sladeczek, C., Neidhardt, A., Bhme, M., Seeber, M., and Ruiz, A. G., "An Approach for Fast and Intuitive Monitoring of Microphone Signals Using a Virtual Listener," Proceedings, International Conference on Spatial Audio (ICSA), 21.2. - 23.2.2014, Erlangen, 2014
[7] Dubrofsky, E., Homography Estimation, Master's thesis, University of British Columbia, 2009.
[8] ISO/IEC 23003-2:2010 Information technology - MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC); 2010

Claims (19)

  1. 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 디바이스로서, 상기 다수의 오디오 객체들 중 각각의 오디오 객체는 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 위치를 포함하는 디바이스에 있어서,
    사용자 측에 의해 오디오 객체들의 프로세싱 객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하기 위한 인터페이스(110)로서, 상기 오디오 객체들의 오디오 객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 상기 인터페이스(110), 및
    상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하도록 구성되는 프로세서 유닛(120)을 포함하고,
    상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않으며, 상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 하나 이상의 오디오 객체의 오디오 객체 신호 및 오디오 객체 메타데이터에 적용하지 않도록 구성되는 디바이스.
  2. 제1항에 있어서,
    상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 오디오 객체 신호에 적용되도록 상기 처리된 신호를 생성하도록 구성되고,
    상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 다수의 오디오 객체들 중 상기 하나 이상의 오디오 객체의 오디오 객체 신호에 적용하지 않도록 구성되는 디바이스.
  3. 제1항에 있어서,
    상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 오디오 객체들 각각의 상기 메타데이터 중 위치에 적용되도록 상기 처리된 신호를 생성하도록 구성되고,
    상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 다수의 오디오 객체들 중 상기 하나 이상의 오디오 객체의 상기 오디오 객체 메타데이터 중 위치에 적용하지 않도록 구성되는 디바이스.
  4. 제1항에 있어서,
    상기 인터페이스(110)는 사용자에 의해 상기 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터를 지정하도록 구성되고,
    상기 프로세서 유닛(120)은 상기 인터페이스(110)를 통해 지정된 상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터에 기초하여 상기 다수의 오디오 객체 중 어느 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
  5. 제4항에 있어서,
    상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터는 상기 오디오 객체들의 프로세싱-객체 그룹과 연관된 관심 영역의 적어도 하나의 위치를 포함하고,
    상기 프로세서 유닛(120)은 상기 관심 영역의 위치에 기초하고 및 상기 오디오 객체의 상기 오디오 객체 메타데이터의 위치에 기초하여, 상기 다수의 오디오 객체들 중 오디오 객체 각각에 대하여 상기 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
  6. 제5항에 있어서,
    상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터는 상기 오디오 객체들의 프로세싱-객체 그룹과 연관된 상기 관심 영역의 반경을 더 포함하고,
    상기 프로세서 유닛(120)은 상기 다수의 오디오 객체들 중 오디오 객체 각각에 대해서, 그 오디오 객체의 상기 오디오 객체 메타데이터 중 상기 위치에 기초하여 및 상기 관심 영역의 위치 및 반경에 기초하여, 그 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
  7. 제4항에 있어서,
    상기 오디오 객체들의 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터는 상기 오디오 객체들의 프로세싱-객체 그룹과 연관된 관심 영역이 있는, 정의된 사용자 위치로부터의 방향을 나타내는 적어도 하나의 각도를 포함하고,
    상기 프로세서 유닛(120)은 상기 관심 영역이 위치하는 상기 정의된 사용자 위치로부터의 상기 방향을 나타내는 상기 각도에 기초하여 및 상기 오디오 객체의 상기 메타데이터 중 상기 위치에 기초하여, 상기 다수의 오디오 객체들 중 오디오 객체 각각에 대해서, 상기 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하는지를 결정하도록 구성되는 디바이스.
  8. 제1항에 있어서,
    상기 오디오 객체들의 프로세싱-객체 그룹은 상기 오디오 객체들의 제1 프로세싱-객체 그룹이고, 오디오 객체들의 하나 이상의 추가의 프로세싱-객체 그룹이 역시 존재하며, 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중의 각각의 프로세싱-객체 그룹은 상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체들을 포함하고, 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중 프로세싱-객체 그룹의 적어도 하나의 오디오 객체는 상기 오디오 객체들의 제1 프로세싱-객체 그룹의 오디오 객체가 아니며,
    상기 인터페이스(110)는 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중의 프로세싱-객체 그룹 각각에 대해서, 상기 사용자에 의한 그 오디오 객체들의 프로세싱-객체 그룹에 대한 적어도 하나의 이펙트 파라미터 지정을 위하여 구성되고,
    상기 프로세서 유닛(120)은 상기 하나 이상의 추가의 오디오 객체들의 프로세싱-객체 그룹들 중의 프로세싱-객체 그룹 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 이 프로세싱-객체 그룹의 상기 적어도 하나의 이펙트 파라미터가 이 프로세싱-객체 그룹의 상기 하나 이상의 오디오 객체들 각각의 상기 오디오 객체 메타데이터 또는 상기 오디오 객체 신호에 적용되도록 상기 처리된 신호를 생성하도록 구성되고, 상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체들이 이 프로세싱-객체 그룹에 속하지 않으며, 및 상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 이 프로세싱-객체 그룹의 상기 적어도 하나의 이펙트 파라미터를 이 프로세싱-객체 그룹에 속하지 않는 상기 하나 이상의 오디오 객체의 오디오 객체 신호 및 오디오 객체 메타데이터에 적용하지 않도록 구성되는 디바이스.
  9. 제8항에 있어서,
    상기 인터페이스(110)는 상기 오디오 객체들의 제1 프로세싱-객체 그룹에 더하여, 상기 사용자에 의한 하나 이상의 오디오 객체들의 상기 하나 이상의 추가의 프로세싱-객체 그룹들의 지정을 위해 구성되고, 상기 인터페이스(110)는 상기 하나 이상의 오디오 객체들의 하나 이상의 추가의 프로세싱-객체 그룹들의 프로세싱-객체 그룹 각각에 대해서, 사용자에 의한 이 프로세싱-객체 그룹의 적어도 하나의 정의 파라미터의 지정을 위해 구성되며,
    상기 프로세서 유닛(120)은 상기 하나 이상의 오디오 객체들의 하나 이상의 추가의 프로세싱-객체 그룹들 중의 프로세싱-객체 그룹 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 이 프로세싱-객체 그룹의 상기 적어도 하나의 정의 파라미터에 따라서, 어느 오디오 객체들이 이 프로세싱-객체 그룹의 다수의 오디오 객체들에 속하는지를 결정하도록 구성되는 디바이스.
  10. 제1항에 있어서,
    상기 디바이스는 인코더이고, 상기 프로세서 유닛(120)은 상기 다수의 오디오 객체들의 상기 오디오 객체 신호를 이용하는 동안 다운믹스 신호를 생성하도록 구성되고, 상기 프로세서 유닛(120)은 상기 다수의 오디오 객체들의 상기 오디오 객체 메타데이터를 이용하는 동안 메타데이터 신호를 생성하도록 구성되며,
    상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 상기 처리된 신호로서 상기 다운믹스 신호, 상기 다운믹스 신호 내의 믹싱된 적어도 하나의 수정된 객체 신호를 생성하도록 구성되고, 상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해서, 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를 이 오디오 객체의 상기 오디오 객체 신호에 적용함으로써, 이 오디오 객체의 상기 수정된 객체 신호를 생성하도록 구성되며, 또는
    상기 프로세서 유닛(120)은 상기 처리된 신호로서 상기 메타데이터 신호를 생성하도록 구성되고, 상기 메타데이터 신호는 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대한 적어도 하나의 수정된 위치를 포함하고, 상기 프로세서 유닛(120)은 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각에 대해 상기 인터페이스(110)를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를 이 오디오 객체의 상기 위치에 적용함으로써, 이 오디오 객체의 상기 수정된 위치를 생성하도록 구성되는 디바이스.
  11. 다수의 오디오 객체들을 이용하는 동안 처리된 신호를 생성하는 방법으로서, 상기 다수의 오디오 객체들 중의 오디오 객체 각각은 오디오 객체 신호 및 오디오 객체 메타데이터를 포함하고, 상기 오디오 객체 메타데이터는 상기 오디오 객체의 위치를 포함하는 방법에 있어서,
    인터페이스(110)를 통해 사용자에 의한 오디오 객체들의 프로세싱-객체 그룹의 적어도 하나의 이펙트 파라미터를 지정하는 단계로서, 상기 프로세싱-객체 그룹은 상기 다수의 오디오 객체들 중 2 이상의 오디오 객체들을 포함하는 단계, 및
    프로세서 유닛(120)에 의해, 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터가 상기 오디오 객체들의 프로세싱-객체 그룹의 오디오 객체 각각의 상기 오디오 객체 신호 또는 상기 오디오 객체 메타데이터에 적용되도록 상기 처리된 신호를 생성하는 단계를 포함하고,
    상기 다수의 오디오 객체들 중 하나 이상의 오디오 객체가 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않으며, 상기 프로세서 유닛(120)은 상기 인터페이스를 통해 지정된 상기 적어도 하나의 이펙트 파라미터를, 상기 오디오 객체들의 프로세싱-객체 그룹에 속하지 않는 상기 하나 이상의 오디오 객체의 오디오 객체 신호 및 오디오 객체 메타데이터에 적용하지 않도록 구성되는 방법.
  12. 제11항에 청구된 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램을 포함하는 비일시적 컴퓨터 판독가능 매체.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020227026195A 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법 KR102654354B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247010821A KR20240052967A (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE102018202511 2018-02-19
DE102018202511.8 2018-02-19
DE102018206025.8 2018-04-19
DE102018206025.8A DE102018206025A1 (de) 2018-02-19 2018-04-19 Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
PCT/EP2019/053961 WO2019158750A1 (de) 2018-02-19 2019-02-18 Vorrichtung und verfahren für objektbasiertes, räumliches audio-mastering
KR1020207026941A KR102427809B1 (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207026941A Division KR102427809B1 (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247010821A Division KR20240052967A (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법

Publications (2)

Publication Number Publication Date
KR20220108218A KR20220108218A (ko) 2022-08-02
KR102654354B1 true KR102654354B1 (ko) 2024-04-03

Family

ID=67482130

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227026195A KR102654354B1 (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법
KR1020247010821A KR20240052967A (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법
KR1020207026941A KR102427809B1 (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020247010821A KR20240052967A (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법
KR1020207026941A KR102427809B1 (ko) 2018-02-19 2019-02-18 객체-기반 공간 오디오 마스터링 디바이스 및 방법

Country Status (8)

Country Link
US (1) US20200374649A1 (ko)
EP (1) EP3756363A1 (ko)
JP (2) JP7277475B2 (ko)
KR (3) KR102654354B1 (ko)
CA (1) CA3091529A1 (ko)
DE (1) DE102018206025A1 (ko)
SG (1) SG11202105234TA (ko)
WO (1) WO2019158750A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594265A (en) * 2020-04-20 2021-10-27 Nokia Technologies Oy Apparatus, methods and computer programs for enabling rendering of spatial audio signals
US11579838B2 (en) * 2020-11-26 2023-02-14 Verses, Inc. Method for playing audio source using user interaction and a music application using the same
US12198661B2 (en) * 2021-09-03 2025-01-14 Dolby Laboratories Licensing Corporation Music synthesizer with spatial metadata output
WO2023062865A1 (ja) * 2021-10-15 2023-04-20 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
WO2024038925A1 (ko) * 2022-08-18 2024-02-22 엘지전자 주식회사 Tv 및 tv의 제어 방법
WO2024263170A1 (en) * 2023-06-23 2024-12-26 Harman International Industries, Incorporated Sound synthesis system using multiple interactive devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101553868B (zh) * 2006-12-07 2012-08-29 Lg电子株式会社 用于处理音频信号的方法和装置
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events
DE102010030534A1 (de) * 2010-06-25 2011-12-29 Iosono Gmbh Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
US9179236B2 (en) * 2011-07-01 2015-11-03 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
US9516446B2 (en) * 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
EP3264259A1 (en) * 2016-06-30 2018-01-03 Nokia Technologies Oy Audio volume handling
US9980078B2 (en) * 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCHEIRER 외 2명. "AudioBIFS: Describing Audio Scenes with the MPEG-4 Multimedia Stanard". IEEE TRANSACTIONS ON MULTIMEDIA, PISCATAWAY, NJ, US, Bd. 1, Nr. 3, 페이지 237-250, 1999.09.01. 1부.*
THIBAUT CARPENTIER. "Panoramix: 3D mixing and post-production workstation". 42ND INTERNATIONAL COMPUTER MUSI CONFERENCE (ICMC) 2016, 페이지 122-127, 2016.09.01. 1부.*

Also Published As

Publication number Publication date
KR102427809B1 (ko) 2022-08-01
KR20200120734A (ko) 2020-10-21
WO2019158750A1 (de) 2019-08-22
DE102018206025A1 (de) 2019-08-22
JP2023055736A (ja) 2023-04-18
US20200374649A1 (en) 2020-11-26
JP2021514164A (ja) 2021-06-03
SG11202105234TA (en) 2021-06-29
KR20220108218A (ko) 2022-08-02
KR20240052967A (ko) 2024-04-23
JP7277475B2 (ja) 2023-05-19
CA3091529A1 (en) 2019-08-22
EP3756363A1 (de) 2020-12-30

Similar Documents

Publication Publication Date Title
KR102654354B1 (ko) 객체-기반 공간 오디오 마스터링 디바이스 및 방법
JP6055576B2 (ja) 任意のスピーカー・レイアウトへのオーディオ・オブジェクトのパン
KR101407200B1 (ko) 가상 소스와 연관된 오디오 신호를 위한 라우드스피커 배열의 라우드스피커들에 대한 구동 계수를 계산하는 장치 및 방법
TWI595785B (zh) 用於螢幕相關音訊物件再對映之裝置及方法
EP3069528B1 (en) Screen-relative rendering of audio and encoding and decoding of audio for such rendering
KR20220044973A (ko) 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
US20240089694A1 (en) A Method and Apparatus for Fusion of Virtual Scene Description and Listener Space Description
US20240276168A1 (en) Spatially-bounded audio elements with interior and exterior representations
CN109314833B (zh) 音频处理装置和音频处理方法以及程序
US20230133555A1 (en) Method and Apparatus for Audio Transition Between Acoustic Environments
CN117242796A (zh) 渲染混响
US20240292178A1 (en) Renderers, decoders, encoders, methods and bitstreams using spatially extended sound sources
US10986457B2 (en) Method and device for outputting audio linked with video screen zoom
KR20190060464A (ko) 오디오 신호 처리 방법 및 장치
CN114503609A (zh) 在6自由度场景中呈现预混合内容
Schwark et al. Audiovisual Virtual Environments: Enabling Realtime Rendering of Early Reflections by Scene Graph Simplification

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20220727

Application number text: 1020207026941

Filing date: 20200917

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220824

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230413

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231228

PG1601 Publication of registration