KR102268933B1 - 다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스 - Google Patents

다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스 Download PDF

Info

Publication number
KR102268933B1
KR102268933B1 KR1020157029274A KR20157029274A KR102268933B1 KR 102268933 B1 KR102268933 B1 KR 102268933B1 KR 1020157029274 A KR1020157029274 A KR 1020157029274A KR 20157029274 A KR20157029274 A KR 20157029274A KR 102268933 B1 KR102268933 B1 KR 102268933B1
Authority
KR
South Korea
Prior art keywords
stems
rules
stem
mixing
surround
Prior art date
Application number
KR1020157029274A
Other languages
English (en)
Other versions
KR20150131268A (ko
Inventor
조란 페조
프레드 마허
Original Assignee
디티에스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스, 인코포레이티드 filed Critical 디티에스, 인코포레이티드
Publication of KR20150131268A publication Critical patent/KR20150131268A/ko
Application granted granted Critical
Publication of KR102268933B1 publication Critical patent/KR102268933B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/46—Volume control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
    • G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/055—Filters for musical processing or musical effects; Filter responses, filter architecture, filter coefficients or control parameters therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

서라운드 오디오 믹스를 생성하기 위한 자동 믹서들 및 방법들이 개시된다. 룰들의 세트는 룰 베이스에 저장될 수 있다. 룰 엔진은, 복수의 스템들과 연관된 메타데이터에 적어도 부분적으로 기초하여, 룰들의 세트의 서브세트를 선택할 수 있다. 믹싱 매트릭스는, 3개 이상의 출력 채널들을 제공하기 위해, 룰들의 선택된 서브세트에 따라, 복수의 스템들을 믹싱할 수 있다.

Description

다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스{AUTOMATIC MULTI-CHANNEL MUSIC MIX FROM MULTIPLE AUDIO STEMS}
본 개시는 오디오 신호 프로세싱에 관한 것이고, 특히, 다-채널 오디오 신호들의 자동 믹싱을 위한 방법들에 관한 것이다.
오디오 레코딩을 만드는 프로세스는 일반적으로, 궁극적인 레코딩으로 결합될 하나 이상의 상이한 오디오 오브젝트들을 캡처링(capturing)하고 저장함으로써 시작된다. 이러한 맥락에서, "캡처링"은, 리스너에게 들리는 사운드들을 저장가능한 정보로 컨버팅하는 것을 의미한다. "오디오 오브젝트"는, 하나 이상의 아날로그 신호들 또는 디지털 데이터 스트림들로서 전달될 수 있는 오디오 정보의 바디(body)이고, 아날로그 레코딩 또는 디지털 데이터 파일 또는 다른 데이터 오브젝트로서 저장될 수 있다. 미가공(raw) 또는 프로세싱되지 않은 오디오 오브젝트들은 일반적으로, 각각의 오디오 오브젝트가 실제로 자기 레코딩 테이프 상의 물리적으로 개별적인 트랙 상에 레코딩되었던 시간을 고려하여 "트랙들"이라고 지칭될 수 있다. 현재, "트랙들"은 아날로그 레코딩 테이프 상에 레코딩될 수 있거나, 또는 디지털 오디오 테이프 상에 또는 컴퓨터 판독가능 저장 매체 상에 디지털적으로 레코딩될 수 있다.
디지털 오디오 워크스테이션(DAW, digital audio workstation)들은 일반적으로, 최종적으로 최종 사용자에게 전달되는 원하는 최종 오디오 생성물에 별개의 트랙들을 포함시키기 위해, 오디오 뮤직 프로페셔널들에 의해 사용된다. 이러한 최종 오디오 생성물들은 일반적으로, "아티스틱 믹스들(artistic mixes)"이라고 지칭된다. 아티스틱 믹스의 생성은 상당한 양의 노력 및 전문기술을 요구한다. 부가하여, 아티스틱 믹스들은 일반적으로, 특정한 컨텐츠에 대한 권리들을 소유하는 아티스트들에 의한 승인을 받는다.
"스템(stem)"이라는 용어는 오디오 오브젝트들을 설명하기 위해 널리 사용된다. 그 용어는 또한, "스템"이 일반적으로, 상이한 상황들에서 상이한 의미들이 주어지기 때문에, 대부분 오해된다. 영화 생성 동안에, "스템"이라는 용어는 일반적으로 서라운드 오디오 프레젠테이션을 지칭한다. 예컨대, 무비 오디오 재생을 위해 사용되는 최종 오디오는 일반적으로 "프린트 마스터 스템(print master stem)"이라고 지칭된다. 5.1 프레젠테이션에 대해, 프린트 마스터 스템은, 좌측 전방, 우측 전방, 중앙, LFE(일반적으로 서브우퍼라고 알려져 있는 저 주파수 이펙트들), 좌측 후방 서라운드, 및 우측 후방 서라운드의 오디오의 6개의 채널들로 구성된다. 스템에서의 각각의 채널은 전형적으로, 뮤직, 대화, 및 이펙트들과 같은 수개의 컴포넌트들의 믹스를 포함한다. 이러한 오리지널 컴포넌트들 각각은, 차례로, 수백개의 소스들 또는 "트랙들"로부터 생성될 수 있다. 한층 더 복잡하게 하면, 필름들이 믹싱되는 경우에, 오디오 프레젠테이션의 각각의 컴포넌트는 개별적으로 "프린팅(printed)"되거나 또는 레코딩된다. 프린트 마스터가 생성되고 있는 동시에, 각각의 주요한 컴포넌트(예컨대, 대화, 뮤직, 이펙트들)이 또한 스템에 레코딩 또는 "프린팅"될 수 있다. 이들은, "D M & E", 또는 대화, 뮤직, 및 이펙트 스템들이라고 지칭된다. 이러한 컴포넌트들 각각은, 6개의 오디오 채널들을 포함하는 5.1 프레젠테이션일 수 있다. D M & E 스템들이 동기하여(in synchronism) 함께 연주되는 경우에, 이들은 프린트 마스터 스템과 정확히 동일하게 소리를 낸다. D M & E 스템들은, 이질적인 대화 교체가 일반적인 예인 다양한 이유들로 생성된다.
레코딩된 뮤직 생성 동안에, 스템들의 생성에 대한 이유 및 스템들의 성질은 위에서 설명된 영화 "스템들"과 실질적으로 상이하다. 스템 생성에 대한 기본적인 동기부여(motivation)는, 레코딩된 뮤직이 "리-믹싱(re-mixed)"되게 허용하는 것이다. 예컨대, 댄스 클럽들에서 연주하도록 의도되지 않았던 대중적인 노래는 댄스 클럽 뮤직과 더 호환가능하도록 리-믹싱될 수 있다. 아티스트들 및 이들의 레코드 라벨들이 또한, 홍보 이유들로 대중에게 스템들을 발표할 수 있다. 대중(전형적으로, 디지털 오디오 워크스테이션들에 대한 액세스를 갖는 상당히 세련된 사용자들)은, 선전 목적들을 위해 발표될 수 있는 리믹스들을 준비한다. 노래들은 또한, 매우 성공한 기타 히어로 및 록 밴드 게임들과 같은 비디오 게임들에서 사용하기 위해 리믹싱될 수 있다. 그러한 게임들은, 별개의 인스트루먼트들을 표현하는 스템들의 존재에 의존한다. 레코딩된 뮤직 생성 동안에 생성되는 스템들은 전형적으로, 상이한 소스들로부터의 뮤직을 포함한다. 예컨대, 록 노래에 대한 스템들의 세트는 드럼들, 기타(들), 베이스, 보컬(들), 키보드들, 및 퍼커션을 포함할 수 있다.
본 특허에서, "스템"은, 하나 이상의 트랙들을 프로세싱함으로써 생성되는 아티스틱 믹스의 서브-믹스 또는 컴포넌트이다. 프로세싱은 일반적으로, 그러나 필수적이지는 않게, 다수의 트랙들을 믹싱하는 것을 포함할 수 있다. 프로세싱은, 증폭 또는 감쇠에 의한 레벨 변경; 로우 패스 필터링, 하이 패스 필터링, 또는 그래픽 이퀄라이제이션과 같은 스펙트럼 변경; 제한 또는 압축과 같은 동적 범위 변경; 페이즈 시프팅 또는 지연과 같은 시간-도메인 변경; 노이즈, 험, 및 피드백 억제; 반향; 및 다른 프로세스들 중 하나 이상을 포함할 수 있다. 스템들은 전형적으로, 아티스틱 믹스의 생성 동안에 생성된다. 스테레오 아티스틱 믹스는 전형적으로, 4개 내지 8개의 스템들로 구성된다. 겨우 2개의 스템들 및 8개 초과의 스템들이 일부 믹스들에 대해 사용될 수 있다. 각각의 스템은 단일 컴포넌트, 또는 좌측 컴포넌트 및 우측 컴포넌트를 포함할 수 있다.
리스너들에게 오디오 컨텐츠를 전달하기 위한 가장 일반적인 기법들이 콤팩트 디스크들 및 라디오 브로드캐스트들이었기 때문에, 아티스틱 믹스들의 대부분은 스테레오이고, 즉, 아티스틱 믹스들의 대부분은 2개의 채널들만을 갖는다. 본 특허에서, "채널"은, 오디오 재생 시스템을 통해 리스너에게 연주될 준비가 된 완전히-프로세싱된 오디오 오브젝트이다. 그러나, 홈 시어터 시스템들의 인기로 인해, 다수의 가정들 및 다른 장소들은 서라운드 사운드 다-채널 오디오 시스템들을 갖는다. "서라운드(surround)"라는 용어는, 이차원 또는 삼차원 공간에서 분배된 2개 초과의 스피커들을 포함하는 배열들을 재생하도록, 또는 이차원 또는 삼차원 공간에서 분배된 2개 초과의 스피커들 상에서 연주되도록 의도된 소스 자료를 지칭한다. 일반적인 서라운드 사운드 포맷들은, 5개의 개별적인 오디오 채널들 플러스(plus) 저 주파수 이펙트들(LFE, low frequency effect) 또는 서브-우퍼 채널을 포함하는 5.1; LFE 채널 없이 5개의 오디오 채널들을 포함하는 5.0; 및 7개의 오디오 채널들 플러스 LFE 채널을 포함하는 7.1을 포함한다. 오디오 컨텐츠의 서라운드 믹스들은, 더 즐거운 리스너 경험을 달성하기 위한 큰 가능성을 갖는다. 서라운드 믹스들은 또한, 증가된 수의 스피커들에 의해 오디오가 재생되기 때문에 재생의 더 높은 품질을 제공할 수 있고, 따라서, 별개의 채널들의 더 적은 동적 범위 압축 및 이퀄라이제이션을 요구할 수 있다. 그러나, 다채널 재생에 대해 지정된 다른 아티스틱 믹스의 생성은, 아티스트들 및 믹싱 엔지니어들의 참여에 의한 부가적인 믹싱 세션을 요구한다. 서라운드 아티스틱 믹스의 비용은 컨텐츠 소유자들 또는 레코드 회사들에 의해 승인되지 않을 수 있다.
본 특허에서, 레코딩 및 재생될 임의의 오디오 컨텐츠는 "노래"라고 지칭될 것이다. 노래는, 예컨대, 3-분 팝튠(pop tune), 비-뮤지컬 연극 이벤트, 또는 완전한 심포니일 수 있다.
도 1은, 아티스틱 믹스를 생성하기 위한 종래의 시스템의 블록도이다.
도 2a는, 서라운드 믹스를 분배하기 위한 시스템의 블록도이다.
도 2b는, 서라운드 믹스를 분배하기 위한 다른 시스템의 블록도이다.
도 2c는, 서라운드 믹스를 분배하기 위한 다른 시스템의 블록도이다.
도 3은, 자동 믹서의 기능적 블록도이다.
도 4는, 룰 베이스의 그래픽 표현이다.
도 5는, 다른 자동 믹서의 기능적 블록도이다.
도 6은, 다른 룰 베이스의 그래픽 표현이다.
도 7은, 리스닝 환경의 그래픽 표현이다.
도 8은, 서라운드 믹스를 자동적으로 생성하기 위한 프로세스의 흐름도이다.
도 9는, 서라운드 믹스를 자동적으로 생성하기 위한 다른 프로세스의 흐름도이다.
본 설명의 전반에 걸쳐, 도면들에 나타나는 엘리먼트들은 3-자릿수 참조 지시자들에 할당되고, 여기에서, 최상위 수는, 엘리먼트가 도입되는 도면 번호이고, 2개의 최하위 수들은 엘리먼트에 대해 특정적이다. 도면과 함께 설명되지 않은 엘리먼트는, 동일한 참조 지시자를 갖는 이전에-설명된 엘리먼트와 동일한 특성들 및 기능을 갖는 것으로 가정될 수 있다.
장치의 설명
이제 도 1을 참조하면, 아티스틱 믹스를 생성하기 위한 시스템(100)은, 복수의 뮤지션들 및 뮤지컬 인스트루먼트들(110A-110F), 레코더(120), 및 믹서(130)를 포함할 수 있다. 뮤지션들 및 인스트루먼트들(110A-110F)에 의해 생성된 사운드들은, 마이크로폰들, 자기 픽업들, 및 압전 픽업들과 같은 트랜스듀서들에 의해 전기 신호들로 컨버팅될 수 있다. 전자 키보드들과 같은 몇몇 인스트루먼트들은, 개재하는 트랜스듀서 없이 직접적으로 전기 신호들을 생성할 수 있다. 본 문맥에서, "전기 신호"라는 용어는 아날로그 신호들 및 디지털 데이터 양자 모두를 포함한다.
이러한 전기 신호들은 복수의 트랙들로서 레코더(120)에 의해 레코딩될 수 있다. 각각의 트랙은, 단일 뮤지션 또는 인스트루먼트에 의해 생성된 사운드, 또는 복수의 인스트루먼트들에 의해 생성된 사운드를 레코딩할 수 있다. 드러머가 드럼들의 세트를 연주하는 것과 같은 몇몇 경우들에서, 단일 뮤지션에 의해 생성된 사운드가 복수의 트랜스듀서들에 의해 캡처링될 수 있다. 복수의 트랜스듀서들로부터의 전기 신호들은, 레코딩 전에, 감소된 수의 트랙들로 결합될 수 있거나, 또는 대응하는 복수의 트랙들로서 레코딩될 수 있다. 아티스틱 믹스로 결합될 다양한 트랙들은, 동시에 또는 심지어 동일한 로케이션에서 레코딩될 필요는 없다.
믹싱될 모든 트랙들이 레코딩되면, 믹서(130)를 사용하여, 트랙들이 아티스틱 믹스로 결합될 수 있다. 믹서(130)의 기능적 엘리먼트들은 트랙 프로세서들(132A-132F) 및 가산기들(134L 및 134R)을 포함할 수 있다. 역사적으로, 트랙 프로세서들 및 가산기들은 아날로그 오디오 신호들에 대해 동작하는 아날로그 회로들에 의해 구현되었다. 현재, 트랙 프로세서들 및 가산기들은 전형적으로, 디지털 신호 프로세서들과 같은 하나 이상의 디지털 프로세서들을 사용하여 구현된다. 2개 이상의 프로세서들이 존재하는 경우에, 도 1에서 도시된 믹서(130)의 기능적 파티셔닝은 다수의 프로세서들 사이의 믹서(130)의 물리적 파티셔닝과 일치할 필요는 없다. 다수의 기능적 엘리먼트들은 동일한 프로세서 내에서 구현될 수 있고, 임의의 기능적 엘리먼트가 2개 이상의 프로세서들 사이에서 파티셔닝될 수 있다.
각각의 트랙 프로세서(132A-132F)는 하나 이상의 레코딩된 트랙들을 프로세싱할 수 있다. 각각의 트랙 프로세서에 의해 수행되는 프로세스들은, 다수의 트랙들의 믹싱 또는 합산; 감쇠 또는 증폭에 의한 레벨 변경; 로우 패스 필터링, 하이 패스 필터링, 또는 그래픽 이퀄라이제이션과 같은 스펙트럼 변경; 압축 또는 제한과 같은 동적 범위 변경; 페이즈 시프팅 또는 지연과 같은 시간-도메인 변경; 노이즈, 험, 및 피드백 억제; 반향; 및 다른 프로세스들 중 일부 또는 전부를 포함할 수 있다. 디-에싱 및 코러싱과 같은 특수화된 프로세스들은 보컬 트랙들에 대해 수행될 수 있다. 레벨 변경과 같은 몇몇 프로세스들은, 별개의 트랙들이 믹싱 또는 가산되기 전에, 별개의 트랙들에 대해 수행될 수 있고, 다른 프로세스들은, 다수의 트랙들이 믹싱된 후에 수행될 수 있다. 각각의 트랙 프로세서(132A-132F)의 출력은 각각의 스템(140A-140F)일 수 있고, 그 중, 스템들(140A 및 140F)만이 도 1에서 식별된다.
도 1의 예에서, 각각의 스템(140A-140F)은 좌측 컴포넌트 및 우측 컴포넌트를 포함할 수 있다. 우측 가산기(134R)는 스테레오 아티스틱 믹스(160)의 우측 채널(160R)을 제공하기 위해 스템들(140A-140F)의 우측 컴포넌트들을 합산할 수 있다. 유사하게, 좌측 가산기(134L)는 스테레오 아티스틱 믹스(160)의 좌측 채널(160L)을 제공하기 위해 스템들(140A-140F)의 좌측 컴포넌트들을 합산할 수 있다. 도 1에서 도시되어 있지 않지만, 제한 또는 동적 범위 압축과 같은 부가적인 프로세싱이, 좌측 및 우측 가산기들(134L 및 134R)로부터 출력된 신호들에 대해 수행될 수 있다.
각각의 스템(140A-140F)은 특정한 인스트루먼트, 또는 뮤지션들 및 인스트루먼트들의 그룹에 의해 생성된 사운드들을 포함할 수 있다. 스템에 포함된 뮤지션들 및 인스트루먼트들의 그룹 또는 인스트루먼트는, 본원에서, 스템의 "보이스"라고 지칭될 것이다. 보이스들은, 스템을 생성하기 위해 프로세싱되었던 트랙들에 기여하였던 인스트루먼트들 또는 뮤지션들을 반영하도록 명명될 수 있다. 예컨대, 도 1에서, 트랙 프로세서(132A)의 출력은 "스트링들" 스템일 수 있고, 트랙 프로세서(132D)의 출력은 "보컬" 스템일 수 있고, 트랙 프로세서(132E)의 출력은 "드럼들" 스템일 수 있다. 스템들은 단일 타입의 인스트루먼트로 제한될 필요는 없고, 단일 타입의 인스트루먼트가 하나 초과의 스템을 야기할 수 있다. 예컨대, 스트링들(110A), 색소폰(110B), 피아노(110C), 및 기타(110F)는 개별적인 트랙들로서 레코딩될 수 있지만, 단일 "인스트루먼트" 스템으로 결합될 수 있다. 추가적인 예에 있어서, 헤비 메탈과 같은 드럼-집중적인 뮤직에 대해, 드러머(110E)에 의해 생성되는 사운드들은, "킥 드럼" 스템, "스네어 및 심벌즈" 스템, 및 "다른 드럼들" 스템과 같은 수개의 스템들로 통합될 수 있다. 이러한 스템들은 실질적으로 상이한 주파수 스펙트럼들을 가질 수 있고, 믹싱 동안에 상이하게 프로세싱될 수 있다.
스테레오 아티스틱 믹스(160)의 생성 동안에 생성된 스템들(140A-140F)은 저장될 수 있다. 부가적으로, 스템에서의 보이스, 인스트루먼트, 또는 뮤지션을 식별하는 메타데이터는 각각의 스템 오디오 오브젝트와 연관될 수 있다. 연관된 메타데이터는 각각의 스템 오디오 오브젝트에 부착될 수 있거나, 또는 개별적으로 저장될 수 있다. 노래의 제목, 그룹 또는 뮤지션의 이름, 노래의 장르, 레코딩 및/또는 믹싱 날짜, 및 다른 정보와 같은 다른 메타데이터가, 스템 오디오 오브젝트들의 일부 또는 전부에 부착될 수 있거나, 또는 개별적인 데이터 오브젝트로서 저장될 수 있다.
도 2a는 서라운드 오디오 믹스를 분배하기 위한 종래의 시스템(200A)의 블록도이다. 예컨대, 디지털 오디오 워크스테이션일 수 있는 아티스틱 믹싱 시스템(230)은 서라운드 아티스틱 믹스(235) 및 스테레오 아티스틱 믹스 양자 모두를 생성하기 위해 사용될 수 있다. 스테레오 아티스틱 믹스는, 콤팩트 디스크들의 생성을 위해, 종래의 스테레오 라디오 브로드캐스팅을 위해, 그리고 다른 사용들을 위해 사용될 수 있다. 서라운드 아티스틱 믹스(235)는, 블루레이(BluRay) 생성(예컨대, 블루레이 HDTV 콘서트 레코딩) 및 다른 사용들을 위해 사용될 수 있다. 서라운드 아티스틱 믹스(235)는 또한, 다채널 인코더(240)에 의해 인코딩될 수 있고, 예컨대 인터넷 또는 다른 네트워크를 통해 분배될 수 있다.
다채널 인코더(240)는, 5.1 서라운드 오디오 시스템들에 대한 6개의 채널들까지에 대해 오디오 믹스들을 인코딩하는 것을 허용하는 MPEG-2(Motion Picture Experts Group) 표준에 따라, 서라운드 아티스틱 믹스(235)를 인코딩할 수 있다. 다채널 인코더(240)는, 8개의 채널들까지에 대해 오디오 믹스들을 인코딩하는 것을 허용하는 FLAC(Free Lossless Audio Coder) 표준에 따라, 서라운드 아티스틱 믹스(235)를 인코딩할 수 있다. 다채널 인코더(240)는, MPEG-2 및 MPEG-4 표준들에 대한 AAC(Advanced Audio Coding) 강화에 따라, 서라운드 아티스틱 믹스(235)를 인코딩할 수 있다. AAC는 48개의 채널들까지에 대해 오디오 믹스들을 인코딩하는 것을 허용한다. 다채널 인코더(240)는 몇몇 다른 표준에 따라 서라운드 아티스틱 믹스(235)를 인코딩할 수 있다.
다채널 인코더(240)에 의해 생성된 인코딩된 오디오는 분배 채널(242)을 통해 호환가능한 다채널 디코더(250)로 송신될 수 있다. 분배 채널(242)은, 무선 브로드캐스트, 인터넷 또는 케이블 TV 네트워크와 같은 네트워크, 또는 다른 분배 채널일 수 있다. 다채널 디코더(250)는, 서라운드 오디오 시스템(260)에 의한 리스너들에 대한 프레젠테이션을 위해 서라운드 아티스틱 믹스(235)의 채널들을 재현 또는 거의 재현할 수 있다.
이전에 설명된 바와 같이, 모든 스테레오 아티스틱 믹스가 반드시, 연관된 서라운드 아티스틱 믹스를 가질 필요는 없다. 도 2b는, 오디오 프로그램의 서라운드 아티스틱 믹스가 존재하지 않는 상황들에서 서라운드 오디오 믹스를 분배하기 위한 다른 시스템(200B)의 블록도이다. 시스템(200B)에서, 스테레오 아티스틱 믹스의 생성 동안에 디벨롭핑된(developed) 스템들 및 메타데이터(232)로부터 서라운드 믹스가 합성될(synthesized) 수 있다. 아티스틱 믹싱 시스템(230)으로부터의 스템들 및 메타데이터(232)는, 서라운드 믹스(275)를 생성하는 자동 서라운드 믹서(270)로 입력될 수 있다. "자동"이라는 용어는 일반적으로, 오퍼레이터의 참여가 없는 것을 의미한다. 오퍼레이터가 자동 서라운드 믹서(270)의 동작을 개시하면, 추가적인 오퍼레이터의 참여 없이, 서라운드 믹스(275)가 생성될 수 있다.
서라운드 믹스(275)는 다채널 인코더(240)에 의해 인코딩될 수 있고, 분배 채널(242)을 통해 호환가능한 다채널 디코더(250)로 송신될 수 있다. 다채널 디코더(250)는, 서라운드 오디오 시스템(260)에 의한 리스너들에 대한 프레젠테이션을 위해 서라운드 믹스(275)의 채널들을 재현 또는 거의 재현할 수 있다. 시스템(200B)에서, 자동 서라운드 믹서(270)에 의해 생성된 단일 서라운드 믹스가 모든 리스너들에게 분배된다.
도 2c는, 서라운드 오디오 믹스를 분배하기 위한 다른 시스템(200C)의 블록도이다. 시스템(200C)에서, 각각의 리스너는, 그들의 개인 선호들 및 오디오 시스템에 대해 적합한 커스터마이징된(customized) 서라운드 믹스를 테일러링(tailor)할 수 있다. 아티스틱 믹싱 시스템(230)으로부터의 스템들 및 메타데이터(232)는, 다채널 인코더(240)와 유사하지만 채널들보다는(또는 채널들에 부가하여) 스템들을 인코딩할 수 있는 다채널 인코더(245)로 입력될 수 있다.
그 후에, 인코딩된 스템들은 분배 채널(242)을 통해 호환가능한 다채널 디코더(255)로 송신될 수 있다. 다채널 디코더(255)는 스템들 및 메타데이터(232)를 재현 또는 거의 재현할 수 있다. 자동 서라운드 믹서(270)는, 재현된 스템들 및 메타데이터에 기초하여, 서라운드 믹스(275)를 생성할 수 있다. 서라운드 믹스(275)는 리스너의 서라운드 오디오 시스템(260)의 특성들 및/또는 리스너의 선호들에 대해 테일러링될 수 있다.
이제 도 3을 참조하면, 도 2b 및 도 2c의 자동 서라운드 믹서(270)와 같은 자동 서라운드 믹서(300)는, 스테레오 아티스틱 믹스를 생성하는 프로세스의 부분으로서 생성된 스템들로부터 다채널 서라운드 믹스를 생성할 수 있다. 자동 서라운드 믹서(300)는, 레코딩 엔지니어 또는 아티스트의 참여를 요구하지 않으면서, 다채널 서라운드 믹스를 생성할 수 있다. 이러한 예에서, 자동 서라운드 믹서(300)는 스템 1 내지 스템 6으로서 식별되는 6개의 스템들을 수용한다. 자동 믹서는 6개보다 더 많거나 또는 더 적은 스템들을 수용할 수 있다. 각각의 스템은 좌측 및 우측 컴포넌트들을 갖는 스테레오 또는 모노럴일 수 있다. 이러한 예에서, 자동 서라운드 믹서(300)는 아웃 1 내지 아웃 6로서 식별되는 6개의 채널들을 출력한다. 아웃 1 내지 아웃 6은, 5.1 서라운드 오디오 시스템에 대해 적절한, 좌측 후방, 좌측 전방, 중앙, 우측 전방, 우측 후방, 및 저 주파수 이펙트 채널들에 대응할 수 있다. 자동 서라운드 믹서는 7.1 서라운드 오디오 시스템에 대한 8개의 채널들을 출력할 수 있거나, 또는 몇몇 다른 수의 채널들을 출력할 수 있다.
자동 서라운드 믹서(300)는, 각각의 입력된 스템에 대한 각각의 스템 프로세서(310-1 내지 310-6), 출력 채널들을 제공하기 위해 다양한 비율들로 프로세싱된 스템들을 결합시키는 믹싱 매트릭스(320), 및 스템들이 어떻게 프로세싱되고 믹싱되어야 하는지를 결정하기 위한 룰 엔진(340)을 포함할 수 있다.
각각의 스템 프로세서(310-1 내지 310-6)는, 증폭 또는 감쇠에 의한 레벨 변경; 로우 패스 필터링, 하이 패스 필터링, 및/또는 그래픽 이퀄라이제이션에 의한 스펙트럼 변경; 제한, 압축, 또는 압축해제에 의한 동적 범위 변경; 노이즈, 험, 및 피드백 억제; 반향; 및 다른 프로세스들과 같은 프로세스들을 수행하는 것이 가능할 수 있다. 스템 프로세서들(310-1 내지 310-6) 중 하나 이상은 보컬 트랙들에 대해 디-에싱 및 코러싱과 같은 특수화된 프로세스들을 수행하는 것이 가능할 수 있다. 스템 프로세서들(310-1 내지 310-6) 중 하나 이상은 상이한 프로세스들을 받는 다수의 출력들을 제공할 수 있다. 예컨대, 스템 프로세서들(310-1 내지 310-6) 중 하나 이상은, LFE 채널로의 통합을 위한 각각의 스템의 저 주파수 부분, 및 다른 출력 채널들 중 하나 이상로의 통합을 위한 각각의 스템의 더 높은 주파수 부분들을 제공할 수 있다.
자동 서라운드 믹서(300)에 입력된 각각의 스템은 스테레오 아티스틱 믹스를 생성하는 것의 부분으로서 이러한 프로세스들의 일부 또는 전부를 받았었을 수 있다. 따라서, 스테레오 아티스틱 믹스의 일반적인 사운드 및 느낌을 보존하기 위해, 스템 프로세서(310-1 내지 310-6)에 의해 최소의 프로세싱이 수행될 수 있다. 예컨대, 스템 프로세서들에 의해 수행되는 유일한 프로세싱은, 스템들의 일부 또는 전부에 대한 반향의 부가 및 LFE 채널을 제공하기 위한 로우-패스 필터링일 수 있다.
스템 프로세서들(310-1 내지 310-6) 각각은, 룰 엔진(340)에 의해 제공되는 이펙트 파라미터들(342)에 따라, 각각의 스템을 프로세싱할 수 있다. 이펙트 파라미터들(342)은, 예컨대, 감쇠 또는 게인의 양, 적용될 임의의 필러팅의 슬로프(slope) 및 니(knee) 주파수, 이퀄라이제이션 계수들, 압축 또는 압축해제 계수들, 반향의 상대적인 진폭 및 지연, 및 각각의 스템에 적용될 프로세스들을 정의하는 다른 파라미터들을 특정하는 데이터를 포함할 수 있다.
믹싱 매트릭스(320)는, 룰 엔진에 의해 제공되는 믹싱 파라미터들(344)에 따라, 출력 채널들을 제공하기 위해, 스템 프로세서들(310-1 내지 310-6)로부터의 출력들을 결합할 수 있다. 예컨대, 믹싱 매트릭스(320)는 다음의 공식에 따라 각각의 출력 채널을 생성할 수 있다.
Figure 112015099170567-pct00001
(1)
여기에서, Cj(t) = 시간(t)에서의 출력 채널(j);
Si = 시간(t)에서의 스템 프로세서(i)의 출력
aij = 진폭 계수;
dij = 시간 지연; 및
n = 믹스에서 사용된 스템들의 수
진폭 계수들(aij) 및 시간 지연들(dij)은 믹싱 파라미터들(344)에 포함될 수 있다.
룰 엔진(340)은, 입력 스템들과 연관된 메타데이터에 적어도 부분적으로 기초하여, 믹싱 파라미터들(344) 및 이펙트 파라미터들(342)을 결정할 수 있다. 메타데이터는, 스테레오 아티스틱 믹스의 생성 동안에 생성될 수 있고, 각각의 스템 오브젝트에 부착될 수 있고, 그리고/또는 개별적인 데이터 오브젝트에 포함될 수 있다. 메타데이터는, 예컨대, 각각의 스템에 포함된 인스트루먼트의 타입 또는 보이스, 프로그램의 장르 또는 다른 질적 설명, 스테레오 아티스틱 믹스의 생성 동안에 각각의 스템 상에 이루어진 프로세싱을 표시하는 데이터, 및 다른 정보를 포함할 수 있다. 메타데이터는 또한, 리스너가 관심을 갖지만 서라운드 믹스의 생성 동안에 사용되지 않은, 프로그램 제목 또는 아티스트와 같은 설명적인 자료를 포함할 수 있다.
적절한 메타데이터가 스템들에 대해 제공될 수 없는 경우에, 노래의 장르 및 각각의 스템의 보이스를 포함하는 메타데이터가, 각각의 스템의 컨텐츠(content)의 분석을 통해 디벨롭핑될 수 있다. 예컨대, 어떤 보이스가 스템에 포함되는지를 추정하기 위해 각각의 스템의 스펙트럼 컨텐츠가 분석될 수 있고, 스템들에 존재하는 보이스들과 조합하여, 스템들의 리듬 컨텐츠는 노래의 장르의 추정을 허용할 수 있다.
자동 서라운드 믹서(300)는 리스너의 서라운드 오디오 시스템에 통합될 수 있다. 그러한 경우에, 룰 엔진(340)은, 서라운드 믹스를 프레젠팅하기 위해 사용될 서라운드 오디오 시스템 구성(5.0, 5.1, 7.1 등)을 표시하는 구성 데이터에 대한 액세스를 가질 수 있다. 자동 서라운드 믹서(300)가 서라운드 오디오 시스템에 통합되지 않는 경우에, 룰 엔진(340)은, 예컨대, 리스너에 의한 수동 입력들로서 서라운드 오디오 시스템 구성을 표시하는 정보를 수신할 수 있다. 서라운드 오디오 시스템 구성을 표시하는 정보는, 예컨대, HDMI(high definition media interconnect) 연결을 통하는 통신들에 의해, 오디오 시스템으로부터 자동적으로 획득될 수 있다.
룰 엔진(340)은, 룰 베이스에 저장된 룰들의 세트를 사용하여, 믹싱 파라미터들(344) 및 이펙트 파라미터들(342)을 결정할 수 있다. 본 특허에서, "룰들"이라는 용어는, 논리 구문(logical statement)들, 태뷸레이팅된(tabulated) 데이터, 및 믹싱 파라미터들(344) 및 이펙트 파라미터들(342)을 생성하기 위해 사용된 다른 정보를 포함한다. 룰들은 경험적으로 디벨롭핑될 수 있고, 이는 즉, 룰들은, 하나 이상의 아티스틱 서라운드 믹스들을 생성하였던 하나 이상의 사운드 엔지니어들의 수집된 경험에 기초할 수 있다. 룰들은, 복수의 아티스틱 서라운드 믹스들에 대한 이펙트 파라미터들 및 믹싱 파라미터들을 수집하고 평균함으로써 디벨롭핑될 수 있다. 룰 베이스(346)는 상이한 서라운드 오디오 시스템 구성들에 대한 상이한 룰들, 및 상이한 뮤직 장르들에 대한 상이한 룰들을 포함할 수 있다.
일반적으로, 각각의 룰은, 조건, 및 조건이 충족되는 경우에 실행되는 액션을 포함할 수 있다. 룰 엔진은 이용가능한 데이터(즉, 메타데이터 및 스피커 구성 데이터)를 평가할 수 있고, 어떤 룰 조건들이 충족되는지를 결정할 수 있다. 그 후에, 룰 엔진(340)은, 만족되는 룰들에 의해 어떤 액션들이 표시되는지를 결정할 수 있고, 액션들 사이의 임의의 충돌을 해결할 수 있고, 표시된 액션들이 발생하게 할 수 있다(즉, 믹싱 파라미터들(344) 및 이펙트 파라미터들(342)을 세팅할 수 있다).
룰 베이스(346)에 저장된 룰들은 서술적인 형태일 수 있다. 예컨대, 룰 베이스(346)에 저장된 룰들은 "리드 보컬이 중앙 채널로 이동한다"를 포함할 수 있다. 언급된 바와 같이, 이러한 룰은 모든 뮤직 장르들 및 모든 서라운드 오디오 시스템 구성들에 대해 적용될 것이다. 룰에서의 조건은 고유적(inherent)이다 - 룰은, 리드 보컬 스템이 존재하는 경우에만 적용된다.
더 전형적인 룰은 표현되는 조건을 가질 수 있다. 예컨대, 룰 베이스(346)에 저장된 룰들은, "오디오 시스템이 서브-우퍼를 갖는 경우에, 드럼, 퍼커션, 및 베이스 스템들의 저 주파수 컴포넌트들은 LFE 채널로 이동하고, 그렇지 않으면, 드럼, 퍼커션, 및 베이스 스템들의 저 주파수 컴포넌트들은 좌측 전방 및 우측 전방 채널들 사이에서 분할된다"를 포함할 수 있다. 룰의 표현 조건은 논리 표현들("그리고(and)", "또는(or)", "아님(not)" 등)을 통합할 수 있다.
룰의 일반적인 형태는 "뮤직의 장르가 X이고 보이스가 Y인 경우에, ...."과 같은 조건을 가질 수 있다. 이러한 타입 및 다른 타입들의 룰들은 태뷸러(tabular) 형태로 룰 베이스(346)에 저장될 수 있다. 예컨대, 도 4에서 도시된 바와 같이, 룰들은, 3개의 좌표 축들이 스템 보이스, 장르, 및 채널을 표현하는 삼차원 테이블(400)로서 구성될 수 있다. 각각의 엔트리(410)는 스템 보이스 및 장르의 특정한 조합에 대한 이펙트 파라미터들 및 믹싱 파라미터들(레벨 및 지연 계수들)을 포함할 수 있다. 테이블(400)은 5.1 서라운드 오디오 구성에 대해 특정적이다. 다른 서라운드 오디오 구성들을 위해 룰 베이스에 상이한 테이블들이 저장될 수 있다.
예컨대, 테이블(400)의 행(420)은, 리드 보컬 스템에 대해 이펙트 프로세싱이 수행되지 않는다고 가정하여, 룰 "5.1 서라운드 오디오 시스템 및 이러한 특정한 장르에 대해, 리드 보컬은 중앙 채널로 이동한다"를 구현한다. 추가적인 예에 대해, 테이블(400)의 행(430)은, 룰 "5.1 서라운드 오디오 시스템 및 이러한 특정한 장르에 대해, 드럼 스템의 저 주파수 컴포넌트들이 LFE 채널로 이동하고, 드럼 스템의 고 주파수 컴포넌트들은 전방 좌측 및 전방 우측 채널들 사이에서 분할된다"를 구현한다.
도 3을 다시 참조하면, 룰 베이스(346)가 태뷸러 형태로 룰들을 포함하는 경우에, 룰 엔진은, 적절한 테이블로부터 믹싱 파라미터들(344) 및 이펙트 파라미터들(342)을 검색하기 위해, 서라운드 오디오 구성 및 메타데이터를 사용할 수 있다. 룰 엔진(340)은 태뷸러 룰들에만 의존할 수 있거나, 또는 태뷸레이팅된 룰들에 의해 적절히 어드레싱되지 않는 상황들을 핸들링하기 위한 부가적인 룰들을 가질 수 있다. 예컨대, 소수의 성공한 록 밴드들은 2명의 드러머들을 사용하였고, 다수의 레코딩된 노래들은 2명의 리드 보컬리스트들을 피처링한다. 이러한 상황들은, 부가적인 테이블 엔트리들에 의해, 또는 "2개의 스템들이 동일한 보이스를 갖는 경우에, 하나는 좌측에 가중(weigh)시키고 다른 하나는 우측에 가중시킨다"와 같은 부가적인 룰에 의해 어드레싱될 수 있다.
룰 엔진(340)은 또한, 리스너 선호들을 표시하는 데이터를 수신할 수 있다. 예컨대, 아카펠라(단지 보컬들) 믹스 또는 "가라오케" 믹스(억제된 리드 보컬)와 같은 비통상적인 믹스 및 통상적인 믹스를 선정하기 위한 옵션이 리스너에게 제공될 수 있다. 비통상적인 믹스의 선정은 룰 엔진(340)에 의해 선택된 믹싱 파라미터들의 일부를 무시할 수 있다.
자동 서라운드 믹서(300)의 기능적 엘리먼트들은, 아날로그 회로들, 디지털 회로들, 및/또는 자동 믹서 소프트웨어 프로그램을 실행하는 하나 이상의 프로세서들에 의해 구현될 수 있다. 예컨대, 스템 프로세서들(310-1 내지 310-6) 및 믹싱 매트릭스(320)는 디지털 신호 프로세서들과 같은 하나 이상의 디지털 프로세서들을 사용하여 구현될 수 있다. 룰 엔진(340)은 범용 프로세서를 사용하여 구현될 수 있다. 2개 이상의 프로세서들이 존재하는 경우에, 도 3에서 도시된 자동 서라운드 믹서(300)의 기능적 파티셔닝은, 다수의 프로세서들 사이의 자동 서라운드 믹서(300)의 물리적 파티셔닝과 일치할 필요가 없다. 다수의 기능적 엘리먼트들이 동일한 프로세서 내에서 구현될 수 있고, 임의의 기능적 엘리먼트가 2개 이상의 프로세서들 사이에서 파티셔닝될 수 있다.
이제 도 5를 참조하면, 자동 서라운드 믹서(500)는, 이전에 설명된 바와 같이 이펙트 파라미터들(342)에 따라 각각의 스템들을 프로세싱하는 스템 프로세서들(310-1 내지 310-6)을 포함할 수 있다. 자동 서라운드 믹서(500)는, 이전에 설명된 바와 같이 믹싱 파라미터들(344)에 따라 스템 프로세서들(310-1 내지 310-6)로부터의 출력들을 결합하기 위한 믹싱 매트릭스(320)를 포함할 수 있다.
자동 서라운드 믹서(500)는 또한, 룰 엔진(540) 및 룰 베이스(546)를 포함할 수 있다. 룰 엔진(540)은, 이전에 설명된 바와 같이 서라운드 오디오 시스템 구성 데이터 및 메타데이터에 기초하여 이펙트 파라미터들(342)을 결정할 수 있다.
룰 엔진(540)은, 믹싱 파라미터들(344)을 직접적으로 결정하지 않을 수 있고, 대신에, 룰 베이스(546)에 저장된 룰들에 기초하여 상대적인 보이스 위치 데이터(548)를 결정할 수 있다. 각각의 상대적인 보이스 위치는 각각의 스템의 가상적인 소스의 가상 스테이지 상의 위치를 표시할 수 있다. 예컨대, 룰 베이스(546)는, 룰 "리드 보컬이 중앙 채널로 이동한다"를 포함하지 않을 것이고, 룰 "리드 보컬리스트가 스테이지의 중앙 전방에 위치된다"를 포함할 수 있다. 유사한 룰들이, 다양한 장르들에 대한 가상 스테이지 상의 다른 보이스들/뮤지션들의 위치들을 정의할 수 있다.
룰의 일반적인 형태는, "뮤직의 장르가 X이고 보이스가 Y인 경우에,...."과 같은 조건을 가질 수 있다. 이러한 타입의 룰들은 태뷸러 형태로 룰 베이스(546)에 저장될 수 있다. 예컨대, 도 6에서 도시된 바와 같이, 룰들은, 좌표 축들이 스템 보이스 및 장르를 표현하는 이차원 테이블(600)로서 구성될 수 있다. 각각의 엔트리(610)는 스템 보이스 및 장르의 특정한 조합에 대한 이펙트 파라미터들 및 위치를 포함할 수 있다. 테이블(600)은 임의의 특정한 서라운드 오디오 구성에 대해 특정적이지 않을 수 있다.
이전의 문단들에서 설명된 룰들은 간단한 예들이다. 룰들의 더 완전하지만 여전히 예시적인 세트가 도 7을 참조하여 설명될 것이다. 도 7은, C(중앙), L(좌측 전방), R(우측 전방), LR(좌측 후방), 및 RR(우측 후방)으로 라벨링된 스피커들의 세트 및 리스너(710)를 포함하는 환경을 도시한다. 정의에 의해, 중앙 스피커(C)는 리스너(710)에 대하여 0도의 각도로 위치된다. 좌측 및 우측 전방 스피커들(L, R)은, 각각, -30도 및 +30도의 각도들로 위치된다. 좌측 및 우측 후방 스피커들(LR, RR)은, 각각, -110 및 +110도의 각도들로 위치된다. 도 7에서 서브우퍼 또는 LFE 스피커는 도시되지 않는다. 리스너들은 매우 낮은 주파수 사운드들의 방향을 검출하는 능력을 거의 가지고 있지 않다. 따라서, LFE 스피커의 상대적인 로케이션은 중요하지 않다.
믹싱 스템들에 대한 룰들의 세트는, 리스너로부터 스템의 소스로의 분명한(apparent) 각도에 관하여 표현될 수 있다. 룰들의 다음의 예시적인 세트는 다양한 장르들의 노래들에 대한 쾌적한(pleasant) 서라운드 믹스를 제공할 수 있다. 룰들은 이탤릭체로 기재된다.
● 드럼들은 ±30°에 있고, 반향된 드럼 컴포넌트는 ±110°에 있다. 드럼들은 대부분의 종류들의 대중적인 뮤직의 "백본(backbone)"으로 고려된다. 스테레오 믹스에서, 드럼들은 일반적으로, 좌측 및 우측 스피커들 사이에서 동등하게 배치된다. 5.1 서라운드 프레젠테이션에서, 리스너를 서라운딩하는 룸에 있는 드럼들의 일루션(illusion)을 프레젠팅하기 위한 옵션이 존재한다. 따라서, 드럼 스템은 전방 리프와 우측 채널들 사이에서 분할될 수 있고, 드럼 스템은, 반향될 수 있고, 감쇠될 수 있고, 좌측 및 우측 후방 스피커들(±110°)로 전달될 수 있어서, 리스너에게, 드럼들이 그들의 "전방"에 있고 "가상 룸"의 반영들이 그들의 뒤에 있는 인상을 제공할 수 있다.
● 베이스는 0°에 배치되고, L/R에 대한 +1.5db의 기여로 -3db된다. 드럼들과 유사하게, 베이스 기타는 일반적으로, 스테리오 믹스에서의 (좌측 및 우측 채널들 사이에서 동등하게 분할된) "환영 중앙(phantom center)"에 있다. 5.1 믹스에서, 베이스 스템은 다음의 방식으로 좌측, 우측, 및 중앙 스피커들에 걸쳐 확산될 수 있다. 베이스 스템은 중앙 채널에 배치될 것이고, -3db만큼 레벨이 저감될 것이고, 그 후에, 전방 좌측 및 우측 스피커들에 동등하게 -1.5db로 부가될 것이다.
● 리듬 기타들은 -60°에 배치된다. 도 7의 검토는 -60°에 스피커가 존재하지 않는 것을 나타낸다. 리듬 기타 스템은, -60°에서 환영 소스를 시뮬레이팅하기 위해, 좌측 전방 스피커(L)와 좌측 후방 스피커(LR) 사이에서 분할될 수 있다.
● 키보드들은 +60°에 배치된다. 키보드 스템은, -60°에서 환영 소스를 시뮬레이팅하기 위해, 우측 전방 스피커(L)와 우측 후방 스피커(LR) 사이에서 분할될 수 있다.
● 백그라운드 보컬들은 ±90°에 배치된다. 백그라운드 보컬 스템은, ±90°에서 환형 소스들을 시뮬레이팅하기 위해, 좌측 및 우측 전방 스피커들(L,R)과 좌측 및 우측 후방 스피커들(LR, RR) 사이에서 분할될 수 있다.
● 퍼커션은 ±110°에 배치된다. 퍼커션 스템은 좌측 및 우측 후방 스피커들(LR, RR) 사이에서 분할될 수 있다.
● 리드 보컬들은 0°에 배치되고, L/R에 대한 +1.5db의 기여로 -3db된다. 리드 보컬들은 일반적으로, 전형적인 스테레오 믹스의 "환영 중앙"에서 프레젠팅된다. 중앙, 좌측, 및 우측 채널들을 통해 리드 보컬을 확산시키는 것은 리드 보컬리스트의 분명한 로케이션을 보존하지만, 프레젠테이션에 풍부함 및 복잡함을 부가한다.
다시 도 5를 참조하면, 룰 베이스(546)가 태뷸러 형태로 룰들을 포함하는 경우에, 룰 엔진(540)은, 적절한 테이블로부터 보이스 위치 데이터(548) 및 이펙트 파라미터들(342)을 검색하기 위해, 서라운드 오디오 구성 및 메타데이터를 사용할 수 있다. 룰 엔진(540)은 전적으로 태뷸러 룰들에 의존할 수 있거나, 또는 이전에 설명된 바와 같이 태뷸레이팅된 룰들에 의해 적절히 어드레싱되지 않는 상황들을 핸들링하기 위한 부가적인 룰들을 가질 수 있다.
룰 엔진(540)은 또한, 리스너 선호들을 표시하는 데이터를 수신할 수 있다. 예컨대, 아카펠라(단지 보컬들) 믹스 또는 가라오케 믹스(억제된 리드 보컬 또는 리드 및 백그라운드 보컬들)와 같은 비통상적인 믹스 및 통상적인 믹스를 선정하기 위한 옵션이 리스너에게 제공될 수 있다. 리스너는, 리스너가 특정한 인스트루먼트에 집중하게 허용하도록 각각의 스템이 단일 스피커 채널에 전달되는 "교육적인" 믹스를 선택하기 위한 옵션을 가질 수 있다. 비통상적인 믹스의 선정은 룰 엔진(540)에 의해 선택된 믹싱 파라미터들의 일부를 무시할 수 있다.
룰 엔진(540)은 좌표 프로세서(550)에 보이스 위치 데이터(548)를 공급할 수 있다. 좌표 프로세서(550)는, 보이스들이 위치되는 가상 스테이지에 대한 가상 리스너 위치의 리스너 선정을 수신할 수 있다. 리스너 선정은, 예컨대, 2개 이상의 미리 결정된 대안적인 위치들 중 하나를 선택하도록 리스너를 프롬프팅함으로써 이루어질 수 있다. 가상 리스너 위치에 대한 가능한 선택들은, "밴드 내"(예컨대, 보이스들에 의해 서라운딩되는 가상 스테이지의 중앙), "전방 열 중앙", 및/또는 "청중의 중간"을 포함할 수 있다. 그 후에, 좌표 프로세서(550)는, 믹싱 매트릭스(320)가, 프로세싱된 스템들을, 원하는 리스너 경험을 제공하는 채널들로 결합하게 하는 믹싱 파라미터들(344)을 생성할 수 있다.
좌표 프로세서(550)는 또한, 서라운드 오디오 시스템에서의 스피커들의 상대적인 위치를 표시하는 데이터를 수신할 수 있다. 이러한 데이터는, (도 7에서 도시된 스피커 배열과 같은) 노미널(nominal) 스피커 배열에 대한 스피커 배열에서의 편차들을, 적어도 어느 정도까지, 보상하도록, 믹싱 파라미터들을 리파이닝(refine)하기 위해, 좌표 프로세서(550)에 의해 사용될 수 있다. 예컨대, 좌표 프로세서는, 중앙 스피커에 대하여 대칭적인 위치들에 있지 않은 좌측 및 우측 전방 스피커들과 같은 스피커 로케이션들에서의 비대칭들을, 어느 정도까지, 보상할 수 있다.
자동 서라운드 믹서(500)의 기능적 엘리먼트들은, 아날로그 회로들, 디지털 회로들, 및/또는 자동 믹서 소프트웨어 프로그램을 실행하는 하나 이상의 프로세서들에 의해 구현될 수 있다. 예컨대, 스템 프로세서들(310-1 내지 310-6) 및 믹싱 매트릭스(320)는, 디지털 신호 프로세서들과 같은 하나 이상의 디지털 프로세서들을 사용하여 구현될 수 있다. 룰 엔진(540) 및 좌표 프로세서(550)는, 하나 이상의 범용 프로세서들을 사용하여 구현될 수 있다. 2개 이상의 프로세서들이 존재하는 경우에, 도 5에서 도시된 자동 서라운드 믹서(500)의 기능적 파티셔닝은, 다수의 프로세서들 사이의 자동 서라운드 믹서(500)의 물리적 파티셔닝과 일치하지 않을 수 있다. 다수의 기능적 엘리먼트들은 동일한 프로세서 내에서 구현될 수 있고, 임의의 기능적 엘리먼트가 2개 이상의 프로세서들 사이에서 파티셔닝될 수 있다.
프로세스들의 설명
이제 도 8을 참조하면, 노래의 서라운드 믹스를 제공하기 위한 프로세스(800)이 805에서 시작되고 895에서 종료될 수 있다. 프로세스(800)는, 노래에 대해 스테레오 아티스틱 믹스가 우선 생성되고, 스테레오 아티스틱 믹스의 생성 동안에 저장된 스템들로부터 다채널 서라운드 믹스가 후속적으로 자동적으로 생성되는 가정에 기초한다.
810에서, 룰 베이스들(345 및 546)과 같은 룰 베이스가 디벨롭핑될 수 있다. 룰 베이스는 스템들을 서라운드 믹스로 결합시키기 위한 룰들을 포함할 수 있다. 이러한 룰들은, 아티스틱 서라운드 믹스들을 생성하는 경험을 갖는 레코딩 엔지니어들의 합의 의견들 및 프랙티스(practice)들을 누적시킴으로써, 또는 어떤 다른 방식으로, 이력적인 아티스틱 서라운드 믹스들의 분석에 의해 디벨롭핑될 수 있다. 룰 베이스는 상이한 서라운드 오디오 구성에 대한 상이한 룰들, 및 상이한 뮤직 장르들에 대한 상이한 룰들을 포함할 수 있다. 룰 베이스에서의 룰들은 태뷸러 형태로 표현될 수 있다. 룰 베이스는 반드시 영구적일 필요는 없고, 예컨대, 새로운 믹싱 기법들 및 새로운 뮤직 장르들을 통합하기 위해, 시간에 걸쳐 확장될 수 있다.
초기 룰 베이스는, 첫번째 노래가 레코딩되고 첫번째 아티스틱 스테레오 믹스가 생성되기 전에, 그 동안에, 또는 그 후에, 준비될 수 있다. 초기 룰 베이스는, 서라운드 믹스가 자동적으로 생성될 수 있기 전에 디벨롭핑되어야만 한다. 810에서 구성된 룰 베이스는 하나 이상의 자동 믹싱 시스템들에 전달될 수 있다. 예컨대, 룰 베이스는, 각각의 자동 서라운드 믹싱 시스템의 하드웨어에 통합될 수 있거나, 또는 네트워크를 통해 각각의 자동 서라운드 믹싱 시스템에 송신될 수 있다.
노래에 대한 트랙들은 815에서 레코딩될 수 있다. 아티스틱 스테레오 믹스는, 알려진 기법들을 사용하여, 815로부터의 트랙들을 프로세싱하고 결합시킴으로써, 820에서 생성될 수 있다. 아티스틱 스테레오 믹스는, CD들을 레코딩하는 것 및 라디오 브로드캐스팅과 같은 통상적인 목적들을 위해 사용될 수 있다. 820에서의 아티스틱 스테레오 믹스의 생성 동안에, 2개 이상의 스템들이 생성될 수 있다. 각각의 스템은 하나 이상의 트랙들을 프로세싱함으로써 생성될 수 있다. 각각의 스템은 스테레오 아티스틱 믹스의 서브-믹스 또는 컴포넌트일 수 있다. 스테레오 아티스틱 믹스는 전형적으로, 4개 내지 8개의 스템들로 구성될 수 있다. 겨우 2개의 스템들 및 8개 초과의 스템들이 일부 믹스들에 대해 사용될 수 있다. 각각의 스템은 단일 채널 또는 좌측 채널 및 우측 채널을 포함할 수 있다.
825에서, 820에서 생성된 스템들과 메타데이터가 연관될 수 있다. 메타데이터는, 820에서의 스테레오 아티스틱 믹스의 생성 동안에 생성될 수 있고, 각각의 스템 오브젝트에 부착될 수 있고, 그리고/또는 개별적인 데이터 오브젝트로서 저장될 수 있다. 메타데이터는, 예컨대, 각각의 스템의 보이스(즉, 인스트루먼트의 타입), 노래의 장르 또는 다른 질적 설명, 스테레오 아티스틱 믹스의 생성 동안에 각각의 스템에 대해 이루어진 프로세싱을 표시하는 데이터, 및 다른 정보를 포함할 수 있다. 메타데이터는 또한, 리스너가 관심을 갖지만 서라운드 믹스의 생성 동안에 사용되지 않은, 아티스트 이름 또는 노래 제목과 같은 설명적인 자료를 포함할 수 있다.
적절한 메타데이터가 820으로부터 이용가능하지 않은 경우에, 825에서, 노래의 장르 및 각각의 스템의 보이스를 포함하는 메타데이터가 각각의 스템의 컨텐츠로부터 추출될 수 있다. 예컨대, 어떤 보이스가 스템에 포함되는지를 추정하기 위해 각각의 스템의 스펙트럼 컨텐츠가 분석될 수 있고, 스템들에 존재하는 보이스들과 조합하여, 스템들의 리듬 컨텐츠는 노래의 장르의 추정을 허용할 수 있다.
845에서, 자동 서라운드 믹싱 프로세스(840)에 의해, 825로부터의 메타데이터 및 스템들이 획득될 수 있다. 자동 서라운딩 믹싱 프로세스(840)는 동일한 로케이션에서 발생할 수 있고, 820에서의 스테레오 믹싱과 동일한 시스템을 사용할 수 있다. 이러한 경우에, 845에서, 자동 믹싱 프로세스는 단순히, 메모리로부터 스템들 및 메타데이터를 검색할 수 있다. 자동 서라운딩 믹싱 프로세스(840)는 스테레오 믹싱으로부터 원거리에 있는 하나 이상의 로케이션들에서 발생할 수 있다. 이러한 경우에, 845에서, 자동 서라운드 믹싱 프로세스(840)는 분배 채널(미도시)을 통해 스템들 및 연관된 메타데이터를 수신할 수 있다. 분배 채널은 무선 브로드캐스트, 인터넷 또는 케이블 TV 네트워크와 같은 네트워크, 또는 어떤 다른 분배 채널일 수 있다.
850에서, 룰 베이스로부터 적용가능한 룰들을 추출하기 위해, 서라운드 오디오 구성 데이터 및 스템들과 연관된 메타데이터가 사용될 수 있다. 자동 서라운드 믹싱 프로세스(840)는 또한, 룰들을 선택하기 위해, 타겟 서라운드 오디오 구성(예컨대, 5.0, 5.1, 7.1)을 표시하는 데이터를 사용할 수 있다. 일반적으로, 각각의 룰은, 표현 또는 고유적인 조건, 및 조건이 충족되는 경우에 실행되는 하나 이상의 액션들을 정의할 수 있다. 룰들은 논리 구문들로서 표현될 수 있다. 일부 또는 모든 룰들은 태뷸러 형태로 표현될 수 있다. 850에서 적용가능한 룰들을 추출하는 것은, 메타데이터 및 서라운드 오디오 구성 데이터에 의해 충족되는 조건들을 갖는 룰들만을 선택하는 것을 포함할 수 있다. 각각의 룰에서 정의된 액션들은, 예컨대, 믹싱 파라미터들, 이펙트 파라미터들, 및/또는 특정한 스템에 대한 상대적인 위치를 세팅하는 것을 포함할 수 있다.
855 및 860에서, 추출된 룰들은, 믹싱 파라미터들 및 이펙트 파라미터들 각각을 세팅하기 위해 사용될 수 있다. 855 및 860에서의 액션은 임의의 순서로 또는 병렬로 수행될 수 있다.
865에서, 스템들은 서라운드 오디오 시스템에 대한 채널들로 프로세싱될 수 있다. 채널들로 스템들을 프로세싱하는 것은, 870에서, 이펙트 파라미터들에 따라 스템들 중 일부 또는 전부에 대해 프로세스들을 수행하는 것을 포함할 수 있다. 수행될 수 있는 프로세스들은, 감쇠 또는 증폭에 의한 레벨 변경; 로우 패스 필터링, 하이 패스 필터링, 및/또는 그래픽 이퀄라이제이션에 의한 스펙트럼 변경; 제한, 압축, 또는 압축해제에 의한 동적 범위 변경; 노이즈, 험, 및 피드백 억제; 반향; 및 다른 프로세스들을 포함한다. 부가적으로, 디-에싱 및 코러싱과 같은 특수화된 프로세스들이 보컬 스템들에 대해 수행될 수 있다. 스템 중 하나 이상은, 다채널들로의 포함을 위해 상이한 프로세스들을 받는 다수의 컴포넌트들로 분할될 수 있다. 예컨대, 스템들 중 하나 이상은, LFE 채널로의 통합을 위한 저 주파수 부분, 및 다른 출력 채널들 중 하나 이상로의 통합을 위한 더 높은 주파수 부분을 제공하기 위해 프로세싱될 수 있다.
870에서, 865로부터의 프로세싱된 스템들이 채널들에 믹싱될 수 있다. 채널들은 서라운드 오디오 시스템에 입력될 수 있다. 선택적으로, 채널들은 또한, 장래의 재생을 위해 레코딩될 수 있다. 프로세스(800)는 노래의 종료 후에 895에서 종료될 수 있다.
이제 도 9를 참조하면, 노래의 서라운드 믹스를 제공하기 위한 다른 프로세스(900)가 905에서 시작되고 995에서 종료될 수 있다. 프로세스(900)는, 975 및 980에서의 액션들을 제외하고, 프로세스(700)와 유사하다. 본질적으로 중복되는 엘리먼트들의 설명들은 반복되지 않을 것이고, 도 9와 함께 설명하지 않는 임의의 엘리먼트는 도 8의 대응하는 엘리먼트와 동일한 기능을 갖는다.
975에서, 750에서 추출된 룰들은 각각의 스템에 대한 상대적인 보이스 위치를 정의하기 위해 사용될 수 있다. 각각의 상대적인 보이스 위치는 각각의 스템의 가상적인 소스의 가상 스테이지 상의 위치를 표시할 수 있다. 예컨대, 750에서 추출된 룰은 "리드 보컬리스트가 스테이지의 중앙 전방에 위치된다"일 수 있다. 유사한 룰들은 다양한 장르들에 대한 가상 스테이지 상의 다른 보이스들/뮤지션들의 위치를 정의할 수 있다.
자동 서라운드 믹싱 프로세스(940)는, 975에서 보이스 위치들이 정의되었던 가상 스테이지에 대한 가상 리스너 위치의 오퍼레이터의 선정을 수신할 수 있다. 오퍼레이터의 선정은, 예컨대, 2개 이상의 미리 결정된 대안적인 위치들 중 하나를 선택하도록 리스너를 프롬프팅함으로써 이루어질 수 있다. 가상 리스너 위치에 대한 예시적인 선택들은, "밴드 내"(예컨대, 보이스들에 의해 서라운딩되는 가상 스테이지의 중앙), "전방 열 중앙", 및/또는 "청중의 중간"을 포함한다.
자동 서라운드 믹싱 프로세스(940)는 또한, 서라운드 오디오 시스템에서의 스피커들의 상대적인 위치를 표시하는 데이터를 수신할 수 있다. 이러한 데이터는, 좌측 및 우측 전방 스피커들 사이에서 중앙에 있지 않는 중앙 스피커와 같은 스피커 배열에서의 비대칭들을, 적어도 어느 정도까지, 보상하도록 믹싱 파라미터들을 리파이닝하기 위해 사용될 수 있다.
980에서, 975에서 정의된 보이스 위치들은, 이용가능한 경우에 스피커 위치 데이터 및 선정된 가상 리스너 위치를 고려하여, 믹싱 파라미터들로 변환될 수 있다. 980으로부터의 믹싱 파라미터들은, 765로부터의 프로세싱된 스템들을, 원하는 리스너 경험을 제공하는 채널들로 믹싱하기 위해, 770에서 사용될 수 있다.
도 8 또는 도 9에서 도시되지 않았지만, 자동 서라운드 믹싱 프로세스(840 또는 940)는 리스너 선호들을 표시하는 데이터를 수신할 수 있다. 예컨대, 아카펠라(단지 보컬들) 믹스 또는 "가라오케" 믹스(억제된 리드 보컬)와 같은 비통상적인 믹스 및 통상적인 믹스를 선정하기 위한 옵션이 리스너에게 제공될 수 있다. 비통상적인 믹스의 선정은 850 또는 950에서 추출된 룰들의 일부를 무시할 수 있다.
맺음말
본 설명의 전반에 걸쳐, 나타낸 실시예들 및 예들은 주장되거나 또는 개시되는 장치 및 프로시저들에 대한 제한들이 아니라 예들로서 고려되어야 한다. 본원에서 제시되는 예들의 다수가 방법 동작들 또는 시스템 엘리먼트들의 특정 조합들을 수반하지만, 그러한 동작들 및 그러한 엘리먼트들이 동일한 목적들을 달성하기 위한 다른 방식들로 결합될 수 있다는 것이 이해되어야 한다. 흐름도들에 대하여, 부가적인 및 더 적은 단계들이 행해질 수 있고, 나타낸 바와 같은 단계들은 본원에서 설명되는 방법들을 달성하기 위해 결합될 수 있거나 또는 추가로 리파이닝될 수 있다. 일 실시예에만 관련하여 논의된 동작들, 엘리먼트들, 및 피처들은 다른 실시예들에서의 유사한 역할로부터 배제되도록 의도되지 않는다.
본원에서 사용되는 바와 같이, "복수"는 2개 또는 그 초과를 의미한다. 본원에서 사용되는 바와 같이, 아이템들의 "세트"는 하나 이상의 그러한 아이템들을 포함할 수 있다. 본원에서 사용되는 바와 같이, 기재된 설명에서든 청구항들에서는, "포함하는(comprising)", "구비하는(including)", "보유하는(carrying)", "갖는(having)", "함유하는(containing)", "수반하는(involving)" 등과 같은 용어들은, 개방적(open-ended)인 것으로, 즉, 포함하지만 제한되지는 않는 것을 의미하는 것으로 이해되어야 한다. "로 구성되는(consisting of)" 및 "로 본질적으로 구성되는"과 같은 전이 문구(transitional phrase)들만이 각각, 청구항들에 대한 폐쇄적인 또는 반-폐쇄적인 전이 문구들이다. 청구항 엘리먼트를 변경하기 위한 청구항들에서의 "제 1", "제 2", "제 3" 등과 같은 서수 용어들의 사용은, 그 자체로, 하나의 청구항 엘리먼트의 다른 청구항 엘리먼트에 대한 임의의 우선순위, 선행, 또는 순서, 또는 방법의 동작들이 수행되는 시간적인 순서를 암시하지 않고, 단지, 청구항 엘리먼트들을 구별하기 위해, 특정한 이름을 갖는 하나의 청구항 엘리먼트를 동일한 이름을 갖는 (그러나 서수 용어를 사용하는) 다른 엘리먼트로부터 구별하기 위한 라벨들로서 사용된다. 본원에서 사용되는 바와 같이, "및/또는"은, 나열된 아이템들이 대안들이지만, 대안들이 또한 나열된 아이템들의 임의의 조합을 포함하는 것을 의미한다.

Claims (28)

  1. 서라운드 오디오 시스템에 있어서,
    서라운드 오디오 믹스(surround audio mix)를 생성하기 위한 자동 믹서(automatic mixer)(300, 500)를 포함하며,
    상기 자동 믹서는,
    복수의 스템(stem)들 중의 각각의 스템의 각각의 보이스 및 상기 복수의 스템들과 연관된 장르를 나타내는 메타데이터에 적어도 부분적으로 기초하여, 룰(rule)들의 세트의 서브세트를 선택하기 위한 룰 엔진(340) - 상기 메타데이터에 적어도 부분적으로 기초하여 상기 룰들의 세트의 서브세트를 선택하는 것은, 상기 복수의 스템들 중의 각각의 스템의 각각의 보이스 및 상기 복수의 스템들과 연관된 장르에 기초하여, 상기 복수의 스템들 중의 각각의 스템의 각각의 보이스에 대한 가상 스테이지 상의 각각의 보이스 위치들을 집합적으로(collectively) 정의하는 것을 포함함 - ;
    3개 이상의 출력 채널들을 제공하기 위해, 상기 룰들의 선택된 서브세트, 상기 복수의 스템들 중의 각각의 스템의 각각의 보이스, 및 상기 복수의 스템들과 연관된 장르로부터 결정된 믹싱 파라미터들에 따라, 상기 복수의 스템들을 믹싱하기 위한 믹싱 매트릭스(mixing matrix)(320); 및
    상기 가상 스테이지 상의 상기 각각의 보이스 위치들을 상기 믹싱 매트릭스에 대한 믹싱 파라미터들로 변환하기 위한 좌표 프로세서 - 상기 좌표 프로세서는 상기 가상 스테이지에 대한 리스너(listener) 위치를 표시하는 데이터를 수신하도록 구성되며, 상기 좌표 프로세서는 상기 리스너 위치에 부분적으로 기초하여 상기 각각의 보이스 위치들을 상기 믹싱 파라미터들로 변환하도록 구성됨 -
    를 포함하는, 서라운드 오디오 시스템.
  2. 제 1 항에 있어서,
    상기 출력 채널들 각각을 재생하기 위해 각각의 스피커들을 포함하는 다채널 오디오 시스템(700)을 더 포함하는, 서라운드 오디오 시스템.
  3. 제 1 항에 있어서,
    상기 룰들의 세트로부터의 각각의 룰은, 하나 이상의 조건들, 및 상기 룰의 상기 조건들이 충족되는 경우에 행해질 하나 이상의 액션들을 포함하는 것인, 서라운드 오디오 시스템.
  4. 제 3 항에 있어서,
    상기 룰 엔진(340)은 상기 메타데이터에 의해 충족되는 조건들을 갖는 룰들을 선택하도록 구성되는 것인, 서라운드 오디오 시스템.
  5. 제 3 항에 있어서,
    상기 룰 엔진(340)은 서라운드 오디오 시스템 구성을 표시하는 데이터를 수신하도록 구성되며,
    상기 룰 엔진(340)은 상기 서라운드 오디오 시스템 구성 및 상기 메타데이터에 의해 충족되는 조건들을 갖는 룰들을 선택하도록 구성되는 것인, 서라운드 오디오 시스템.
  6. 제 3 항에 있어서,
    상기 룰들의 세트로부터의 각각의 룰에 포함된 상기 하나 이상의 액션들은, 상기 믹싱 매트릭스에 대한 하나 이상의 믹싱 파라미터들을 세팅하는 것을 포함하는 것인, 서라운드 오디오 시스템.
  7. 제 6 항에 있어서,
    상기 룰들의 선택된 서브세트에 따라 상기 스템들 중 적어도 하나의 스템을 프로세싱하기 위한 스템 프로세서(310-1)를 더 포함하는, 서라운드 오디오 시스템.
  8. 제 7 항에 있어서,
    상기 룰들의 세트로부터의 각각의 룰에 포함된 상기 하나 이상의 액션들은, 상기 스템 프로세서에 대한 하나 이상의 이펙트 파라미터(effects parameter)들을 세팅하는 것을 포함하는 것인, 서라운드 오디오 시스템.
  9. 제 8 항에 있어서,
    상기 스템 프로세서(310-1)는, 상기 하나 이상의 이펙트 파라미터들에 따라, 증폭, 감쇠, 로우 패스 필터링, 하이 패스 필터링, 그래픽 이퀄라이제이션(graphic equalization), 제한(limiting), 압축(compression), 페이즈 시프팅(phase shifting), 노이즈, 험(hum), 피드백 억제, 반향(reverberation), 디-에싱(de-essing), 및 코러싱(chorusing) 중 하나 이상을 수행하는 것인, 서라운드 오디오 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 1 항에 있어서,
    상기 좌표 프로세서(550)는 상대적인 스피커 위치들을 표시하는 데이터를 수신하도록 구성되며,
    상기 좌표 프로세서는, 상기 상대적인 스피커 위치들에도 또한 부분적으로 기초하여, 상기 각각의 보이스 위치들을 상기 믹싱 파라미터들로 변환하도록 구성되는 것인, 서라운드 오디오 시스템.
  14. 삭제
  15. 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법(840, 940)에 있어서,
    복수의 스템들 중의 각각의 스템의 각각의 보이스 및 상기 복수의 스템들과 연관된 장르를 나타내는 메타데이터에 적어도 부분적으로 기초하여, 룰들의 세트의 서브세트를 선택하는 단계(850) - 상기 메타데이터에 적어도 부분적으로 기초하여 상기 룰들의 세트의 서브세트를 선택하는 것은, 상기 복수의 스템들 중의 각각의 스템의 각각의 보이스 및 상기 복수의 스템들과 연관된 장르에 기초하여, 상기 복수의 스템들 중의 각각의 스템의 각각의 보이스에 대한 가상 스테이지 상의 각각의 보이스 위치들을 집합적으로(collectively) 정의하는 것을 포함함 - ; 및
    3개 이상의 출력 채널들을 제공하기 위해, 상기 룰들의 선택된 서브세트, 상기 복수의 스템들 중의 각각의 스템의 각각의 보이스, 및 상기 복수의 스템들과 연관된 장르로부터 결정된 믹싱 파라미터들에 따라, 상기 복수의 스템들을 믹싱하는 단계(870)
    를 포함하고,
    상기 방법은,
    상기 가상 스테이지에 대한 리스너 위치를 표시하는 데이터를 수신하는 단계; 및
    상기 가상 스테이지 상의 상기 각각의 보이스 위치들을, 3개 이상의 출력 채널들을 제공하기 위해 상기 룰들의 선택된 서브세트에 따라 상기 복수의 스템들을 믹싱하는 믹싱 매트리스에 대한 믹싱 파라미터들로 변환하는 단계를 더 포함하고, 상기 가상 스테이지 상의 상기 각각의 보이스 위치들을 믹싱 파라미터들로 변환하는 단계는, 상기 리스너 위치에 부분적으로 기초하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 출력 채널들 각각에 대한 각각의 스피커들을 포함하는 다채널 오디오 시스템을 사용하여, 상기 출력 채널들 각각을 가청 사운드로 컨버팅하는 단계를 더 포함하는, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  17. 제 15 항에 있어서,
    상기 룰들의 세트로부터의 각각의 룰은, 하나 이상의 조건들, 및 상기 룰의 상기 조건들이 충족되는 경우에 행해질 하나 이상의 액션들을 포함하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  18. 제 17 항에 있어서,
    상기 룰들의 세트의 서브세트를 선택하는 단계는, 상기 메타데이터에 의해 충족되는 조건들을 갖는 룰들을 선택하는 단계를 포함하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  19. 제 17 항에 있어서,
    서라운드 오디오 시스템 구성을 표시하는 데이터를 수신하는 단계를 더 포함하며,
    상기 룰들의 세트의 서브세트를 선택하는 단계는, 상기 서라운드 오디오 시스템 구성 및 상기 메타데이터에 의해 충족되는 조건들을 갖는 룰들을 선택하는 단계를 포함하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  20. 제 17 항에 있어서,
    상기 룰들의 세트로부터의 각각의 룰에 포함된 상기 하나 이상의 액션들은, 믹싱 매트릭스에 대한 하나 이상의 믹싱 파라미터들을 세팅하는 것을 포함하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  21. 제 20 항에 있어서,
    상기 룰들의 선택된 서브세트에 따라, 상기 스템들 중 적어도 하나의 스템을 프로세싱하는 단계(865)를 더 포함하는, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  22. 제 17 항에 있어서,
    상기 룰들의 세트로부터의 각각의 룰에 포함된 상기 하나 이상의 액션들은, 상기 스템들 중 적어도 하나의 스템을 프로세싱하기 위한 하나 이상의 이펙트 파라미터들을 세팅하는 것을 포함하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  23. 제 22 항에 있어서,
    상기 스템들 중 적어도 하나의 스템을 프로세싱하는 것은,
    상기 하나 이상의 이펙트 파라미터들에 따라, 증폭시키는 것, 감쇠시키는 것, 로우 패스 필터링하는 것, 하이 패스 필터링하는 것, 그래픽 이퀄라이징하는 것, 제한하는 것, 컴프레싱하는 것, 페이즈 시프팅하는 것, 노이즈를 억제하는 것, 허밍하는 것, 피드백하는 것, 반향시키는 것, 디-에싱하는 것, 및 코러싱하는 것 중 하나 이상을 포함하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  24. 삭제
  25. 삭제
  26. 삭제
  27. 제 17 항에 있어서,
    상대적인 스피커 위치들을 표시하는 데이터를 수신하는 단계를 더 포함하며,
    상기 가상 스테이지 상의 상기 각각의 보이스 위치들을 믹싱 파라미터들로 변환하는 단계는, 상기 스피커 위치들에도 또한 부분적으로 기초하는 것인, 서라운드 오디오 믹스를 자동적으로 생성하기 위한 방법.
  28. 삭제
KR1020157029274A 2013-03-15 2014-03-12 다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스 KR102268933B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361790498P 2013-03-15 2013-03-15
US61/790,498 2013-03-15
US14/206,868 US9640163B2 (en) 2013-03-15 2014-03-12 Automatic multi-channel music mix from multiple audio stems
US14/206,868 2014-03-12
PCT/US2014/024962 WO2014151092A1 (en) 2013-03-15 2014-03-12 Automatic multi-channel music mix from multiple audio stems

Publications (2)

Publication Number Publication Date
KR20150131268A KR20150131268A (ko) 2015-11-24
KR102268933B1 true KR102268933B1 (ko) 2021-06-25

Family

ID=51527158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157029274A KR102268933B1 (ko) 2013-03-15 2014-03-12 다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스

Country Status (7)

Country Link
US (2) US9640163B2 (ko)
EP (1) EP2974010B1 (ko)
JP (1) JP6484605B2 (ko)
KR (1) KR102268933B1 (ko)
CN (1) CN105075117B (ko)
HK (1) HK1214039A1 (ko)
WO (1) WO2014151092A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013050530A (ja) 2011-08-30 2013-03-14 Casio Comput Co Ltd 録音再生装置およびプログラム
JP5610235B2 (ja) * 2012-01-17 2014-10-22 カシオ計算機株式会社 録音再生装置およびプログラム
US20150114208A1 (en) * 2012-06-18 2015-04-30 Sergey Alexandrovich Lapkovsky Method for adjusting the parameters of a musical composition
WO2014160717A1 (en) * 2013-03-28 2014-10-02 Dolby Laboratories Licensing Corporation Using single bitstream to produce tailored audio device mixes
US9047854B1 (en) * 2014-03-14 2015-06-02 Topline Concepts, LLC Apparatus and method for the continuous operation of musical instruments
US20160315722A1 (en) * 2015-04-22 2016-10-27 Apple Inc. Audio stem delivery and control
US9640158B1 (en) 2016-01-19 2017-05-02 Apple Inc. Dynamic music authoring
US10037750B2 (en) * 2016-02-17 2018-07-31 RMXHTZ, Inc. Systems and methods for analyzing components of audio tracks
CN109983786B (zh) * 2016-11-25 2022-03-01 索尼公司 再现方法、装置及介质、信息处理方法及装置
US10424307B2 (en) 2017-01-03 2019-09-24 Nokia Technologies Oy Adapting a distributed audio recording for end user free viewpoint monitoring
US20190325854A1 (en) * 2018-04-18 2019-10-24 Riley Kovacs Music genre changing system
BE1026426B1 (nl) * 2018-06-29 2020-02-03 Musical Artworkz Bvba Manipuleren van signaalstromen via een controller
US20200081681A1 (en) * 2018-09-10 2020-03-12 Spotify Ab Mulitple master music playback
US10620904B2 (en) 2018-09-12 2020-04-14 At&T Intellectual Property I, L.P. Network broadcasting for selective presentation of audio content
US11625216B2 (en) * 2018-09-17 2023-04-11 Apple Inc. Techniques for analyzing multi-track audio files
US10798977B1 (en) * 2018-09-18 2020-10-13 Valory Sheppard Ransom Brasierre with integrated holster
WO2020077046A1 (en) * 2018-10-10 2020-04-16 Accusonus, Inc. Method and system for processing audio stems
US11029915B1 (en) 2019-12-30 2021-06-08 Avid Technology, Inc. Optimizing audio signal networks using partitioning and mixer processing graph recomposition
US11929098B1 (en) * 2021-01-20 2024-03-12 John Edward Gillespie Automated AI and template-based audio record mixing system and process

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299151A1 (en) * 2009-05-22 2010-11-25 Universal Music Group, Inc. Advanced Encoding Of Music Files
WO2012177139A2 (en) * 2011-06-24 2012-12-27 Bright Minds Holding B.V. Method and device for processing sound data

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263058A (ja) * 1995-03-17 1996-10-11 Kawai Musical Instr Mfg Co Ltd 電子楽器
US7333863B1 (en) 1997-05-05 2008-02-19 Warner Music Group, Inc. Recording and playback control system
KR100329186B1 (ko) 1997-12-27 2002-09-04 주식회사 하이닉스반도체 시디엠에이이동통신시스템의역방향통화채널탐색방법
JP2003524906A (ja) * 1998-04-14 2003-08-19 ヒアリング エンハンスメント カンパニー，リミティド ライアビリティー カンパニー 聴覚障害および非聴覚障害リスナーの好みに合わせてユーザ調整能力を提供する方法および装置
DE69841857D1 (de) 1998-05-27 2010-10-07 Sony France Sa Musik-Raumklangeffekt-System und -Verfahren
US6931134B1 (en) * 1998-07-28 2005-08-16 James K. Waller, Jr. Multi-dimensional processor and multi-dimensional audio processor system
EP1134724B1 (en) 2000-03-17 2008-07-23 Sony France S.A. Real time audio spatialisation system with high level control
US7526348B1 (en) 2000-12-27 2009-04-28 John C. Gaddy Computer based automatic audio mixer
ES2323294T3 (es) * 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
US7078607B2 (en) 2002-05-09 2006-07-18 Anton Alferness Dynamically changing music
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US7518055B2 (en) * 2007-03-01 2009-04-14 Zartarian Michael G System and method for intelligent equalization
US7343210B2 (en) 2003-07-02 2008-03-11 James Devito Interactive digital medium and system
US7653203B2 (en) * 2004-01-13 2010-01-26 Bose Corporation Vehicle audio system surround modes
WO2006050353A2 (en) 2004-10-28 2006-05-11 Verax Technologies Inc. A system and method for generating sound events
DE602005009244D1 (de) * 2004-11-23 2008-10-02 Koninkl Philips Electronics Nv Einrichtung und verfahren zur verarbeitung von audiodaten, computerprogrammelement und computerlesbares medium
US20070044643A1 (en) 2005-08-29 2007-03-01 Huffman Eric C Method and Apparatus for Automating the Mixing of Multi-Track Digital Audio
ATE527810T1 (de) * 2006-05-11 2011-10-15 Global Ip Solutions Gips Ab Tonmischung
WO2007139911A2 (en) 2006-05-26 2007-12-06 Surroundphones Holdings, Inc. Digital audio encoding
WO2008006108A2 (en) 2006-07-07 2008-01-10 Srs Labs, Inc. Systems and methods for multi-dialog surround audio
JP4719111B2 (ja) * 2006-09-11 2011-07-06 シャープ株式会社 音声再生装置、映像音声再生装置、及びその音場モード切り替え方法
UA94117C2 (ru) 2006-10-16 2011-04-11 Долби Свиден Ав Усовершенстованное кодирование и отображение параметров многоканального кодирования микшированных объектов
AU2007312597B2 (en) 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation
EP2250823A4 (en) * 2008-01-04 2013-12-04 Eleven Engineering Inc AUDIO SYSTEM WITH MIXING AND EFFECTS PILOTTED BY CONNECTED DEVICE
KR101596504B1 (ko) 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
US8705749B2 (en) 2008-08-14 2014-04-22 Dolby Laboratories Licensing Corporation Audio signal transformatting
US8921627B2 (en) 2008-12-12 2014-12-30 Uop Llc Production of diesel fuel from biorenewable feedstocks using non-flashing quench liquid
JP5384721B2 (ja) * 2009-04-15 2014-01-08 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 音響エコー抑制ユニットと会議開催フロントエンド
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
WO2012039918A1 (en) * 2010-09-22 2012-03-29 Dolby Laboratories Licensing Corporation Audio stream mixing with dialog level normalization
EP2485213A1 (en) * 2011-02-03 2012-08-08 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Semantic audio track mixer
TW202339510A (zh) * 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US20140369528A1 (en) * 2012-01-11 2014-12-18 Google Inc. Mixing decision controlling decode decision
US9398390B2 (en) * 2013-03-13 2016-07-19 Beatport, LLC DJ stem systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100299151A1 (en) * 2009-05-22 2010-11-25 Universal Music Group, Inc. Advanced Encoding Of Music Files
WO2012177139A2 (en) * 2011-06-24 2012-12-27 Bright Minds Holding B.V. Method and device for processing sound data

Also Published As

Publication number Publication date
KR20150131268A (ko) 2015-11-24
EP2974010A4 (en) 2016-11-23
US20170301330A1 (en) 2017-10-19
CN105075117A (zh) 2015-11-18
US9640163B2 (en) 2017-05-02
EP2974010B1 (en) 2021-08-18
JP6484605B2 (ja) 2019-03-13
US20140270263A1 (en) 2014-09-18
US11132984B2 (en) 2021-09-28
CN105075117B (zh) 2020-02-18
JP2016523001A (ja) 2016-08-04
HK1214039A1 (zh) 2016-07-15
WO2014151092A1 (en) 2014-09-25
EP2974010A1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
KR102268933B1 (ko) 다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스
JP5467105B2 (ja) オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法
US9137618B1 (en) Multi-dimensional processor and multi-dimensional audio processor system
Emmerson et al. Electro-acoustic music
JP7014176B2 (ja) 再生装置、再生方法、およびプログラム
KR20070065401A (ko) 오디오 데이터를 처리하는 시스템 및 방법, 프로그램구성요소, 및 컴퓨터-판독가능 매체
d'Escrivan Music technology
US8670577B2 (en) Electronically-simulated live music
JP2022017880A (ja) 信号処理装置および方法、並びにプログラム
JP4392040B2 (ja) 音響信号処理装置、音響信号処理方法、音響信号処理プログラムおよびコンピュータに読み取り可能な記録媒体
Coryat Guerrilla home recording: how to get great sound from any studio (no matter how weird or cheap your gear is)
US8767969B1 (en) Process for removing voice from stereo recordings
Lawrence Producing Music for Immersive Audio Experiences
US11039263B2 (en) Wide effect sound producing method
JP2005250199A (ja) オーディオ機器
McGuire et al. Mixing
Laine Cinematic music creation in Dolby Atmos: producing and mixing contemporary cinematic music in immersive audio
Rolfhamre Compact Disc (losure): some thoughts on the synthesis of recording technology and baroque lute music research
Mynett Mixing metal: The SOS Guide To Extreme Metal Production: Part 2
Rincón Music technology
Clarke I LOVE IT LOUD!
CN116643712A (zh) 电子设备、音频处理的系统及方法、计算机可读存储介质
Levitin How recordings are made I: analog and digital tape-based recording
Ciesla Sound and Music for Games
Bayley Surround sound for the DAW owner

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)