KR20210003784A - 다운믹서, 오디오 인코더, 위상 값을 크기 값에 적용하는 방법 및 컴퓨터 프로그램 - Google Patents

다운믹서, 오디오 인코더, 위상 값을 크기 값에 적용하는 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210003784A
KR20210003784A KR1020207032011A KR20207032011A KR20210003784A KR 20210003784 A KR20210003784 A KR 20210003784A KR 1020207032011 A KR1020207032011 A KR 1020207032011A KR 20207032011 A KR20207032011 A KR 20207032011A KR 20210003784 A KR20210003784 A KR 20210003784A
Authority
KR
South Korea
Prior art keywords
value
downmixer
values
spectral domain
mod
Prior art date
Application number
KR1020207032011A
Other languages
English (en)
Other versions
KR102554699B1 (ko
Inventor
알렉산드르 카라페티안
펠릭스 볼프
얀 프로그스티스
Original Assignee
프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 filed Critical 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Publication of KR20210003784A publication Critical patent/KR20210003784A/ko
Application granted granted Critical
Publication of KR102554699B1 publication Critical patent/KR102554699B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Amplifiers (AREA)

Abstract

다수의 입력 신호를 기초로 다운믹스 신호를 제공하기 위한 다운믹서가, 입력 신호의 라우드니스 정보를 기초로 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 결정하도록 구성된다. 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 위상 값을 결정하도록 구성되며, 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현을 획득하기 위해 위상 값을 적용하도록 구성된다. 오디오 인코더는 그러한 다운믹서를 사용한다. 다운믹싱하는 방법과 컴퓨터 프로그램이 또한 기재된다.

Description

다운믹서, 오디오 인코더, 위상 값을 크기 값에 적용하는 방법 및 컴퓨터 프로그램
본 발명에 따른 실시예는 다수의 입력 신호를 기초로 다운믹스 신호를 제공하기 위한 다운믹서에 관한 것이다.
본 발명에 따른 추가 실시예는 다수의 입력 오디오 신호를 기초로 인코딩된 오디오 표현을 제공하기 위한 오디오 인코더에 관한 것이다.
본 발명에 따른 추가 실시예는 다수의 입력 신호를 기초로 다운믹스 신호를 제공하기 위한 방법에 관한 것이다.
본 발명에 따른 추가 실시예는 컴퓨터 프로그램에 관한 것이다.
오디오 신호 처리 분야에서, 다중 오디오 신호를 단일 오디오 신호로 결합하는 것이 종종 바람직할 수 있다. 예컨대, 이러한 구성은 오디오 인코딩에 대한 복잡도를 감소시킬 수 도 있다. 원래의 오디오 신호의 특징 및/또는 다운믹스 처리의 특징에 관한 정보는 예컨대 인코딩된 오디오 표현에 및 다운믹스 신호 자체에 (바람직하게는 인코딩된 형태로) 포함될 수 도 있다.
다운믹싱은 예컨대 다채널 구성을 가진 프로그램을 더 소수의 채널을 가진 프로그램으로 변환하는 처리이다. 이러한 문제에 관하여, 예컨대 "다운믹싱"의 정의를 참조하기 바라며, 위키피디아에서 볼 수 있다.
특수한 경우로 입체 다운믹스(binaural downmix)가 있으며, 여기서는 (귀마다) 몇몇 입체적으로 렌더링된 신호가 하나의 채널로 다운믹스된다. 종래에, 다채널 신호의 N개의 채널이 간단한 가산에 의해 함께 합쳐져 M 채널 신호를 형성한다(여기서, 통상, N>M).
다음에서, 일부 다운믹스 문제를 기재할 것이다.
몇 개의 오디오 신호를 다운믹스할 때, 원치 않는 간섭이 결과가 될 수 도 있음을 알게 되었다. 또한, 간섭은 3개의 카테고리로 나눌 수 있음도 알게 되었다:
1. 2개의 신호(여기서 신호는, 그 크기(길이) 및 위상(각도)을 나타내는 벡터(S)에 의해 예컨대 표현될 수 있음)(S1 및 S2)가 시간 상의 특정 지점에서 유사한 위상각(예컨대, 도 4a 참조)을 가지며, 이때 보강 간섭(constructive interference)이 있다(예컨대, +3dB의 에너지 가산 대신 +6dB의 크기 가산).
2. 두 개의 벡터가 특정 시간에 상이한 방향을 가리킨다면(예컨대, 도 4b 참조), 부분 상쇄 간섭이 있다.
3. 두 개의 벡터가 유사한 크기와 대략 180°의 각도차를 갖는다면, 강한 상쇄 간섭 또는 심지어 완전 소거(예컨대, 도 4c 참조)가 있다. 이 경우, 결과적인 벡터는 에러 위상각을 갖는다.
결론적으로, 다운믹스 절차 동안 발생할 수 도 있는 3개의 타입의 간섭을 논의하였다. 이들 3개의 타입의 간섭을 도 4에 예시한다.
이들 문제는 광대역 신호에서와 개별 주파수 대역에서 발생한다. 오디오 품질 면에서, 처음 2개의 타입의 간섭은 음색에서 유리하지 않은 변화, 플랜저(flanger)와 같은 효과, 부분 반향 인상 등을 야기한다. 제3 타입의 간섭은 다른 한편으로 신호 성분의 소거를 야기하거나, 앞서 언급한 아티팩트를 (지각하게) 증폭할 수 있다.
유리하지 않은 소리 변화를 정정하기 위한 하나의 접근법이 다운믹스된 신호의 스펙트럼을 변경함으로써 실행됨을 알게 되었다. 개별 주파수 대역에서의 에너지-보존 정정을 통해, 수동 다운믹스가 스펙트럼 영역에서 등화되며 원하는 스펙트럼이 (거의) 달성됨을 알게 되었다. 또한, 바람직하게도, 에너지 값은 이 방법을 사용하여 시간에 걸쳐서 평활화되어야(smoothened) 함을 알게 되었다. 그러나, 평활화에 의해, 결과적인 정정 값은 반응이 느려지며, 추가로 보강 간섭을 증폭시킬 수 있거나 상쇄 간섭을 감쇄시킬 수 있음을 알게 되었다.
그러한 개념은 에너지-정정된 다운믹스로 요약할 수 있다.
US 7,039,204B2는 오디오 믹싱을 위한 등화를 기재한다. N-채널 입력 신호를 혼합하여 M-채널 출력 신호를 생성하는 동안, 혼합된 채널 신호는 등화되어(예컨대, 증폭되어), 입력 신호의 전체 에너지/라우드니스(loudness) 레벨에 실질적으로 동일한 출력 신호의 전체 에너지/라우드니스 레벨을 유지한다. 일 실시예에서, N개의 입력 채널 신호는 프레임을 기준으로 주파수 영역으로 변환되며, N-채널 입력 신호의 전체 스펙트럼 라우드니스가 추정된다. (예컨대, 가중된 합을 사용한) N개의 입력 채널 신호에 대한 스펙트럼을 혼합한 후, 결과적인 M개의 혼합된 채널 신호의 전체 스펙트럼 라우드니스가 또한 추정된다. 2개의 라우드니스 추정치를 기초로 주파수-의존적 이득 팩터가 M개의 혼합된 채널 신호의 스펙트럼 성분에 적용되어 M개의 등화된 혼합된 채널 신호를 생성한다. M-채널 출력 신호는, M개의 등화된 혼합 채널 신호를 시간 영역으로 변환함으로써 생성된다.
그러나, 종래의 개념에 비춰볼 때, 오디오 품질과 계산 복잡도 사이의 개선된 균형을 제공하는 다운믹싱 개념이 필요하다.
본 발명에 따른 실시예는 다수의 입력 신호(예컨대, 복소수 값일 수 도 있으며, 예컨대 입력 오디오 신호일 수 도 있음)를 기초로 다운믹스 신호를 제공하기 위한 다운믹서를 만든다. 다운믹서는, 입력 신호의 라우드니스 정보를 기초로(예컨대, 입력 신호의 주어진 스펙트럼 빈(spectral bin)과 관련된 라우드니스 값을 기초로) (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스된 신호의 스펙트럼 영역 값의 크기 값을 결정하도록(예컨대, 계산하거나 추정하도록) 구성된다. 다운믹서는 (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값의 위상 값(예컨대, 스칼라 값일 수 도 있음)을 결정하도록 구성된다. 예컨대, 다운믹서는 크기 값의 결정과 독립적으로 위상 값을 결정하도록 구성될 수 도 있다. 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값의 복소수인 수치 표현을 획득하기 위해 위상 값을 적용하도록 구성된다.
본 발명에 따른 이 실시예는, 계산 복잡도와 오디오 품질 사이의 양호한 균형이, 스칼라 값인 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 연산함으로써 및 후속한 단계에서 크기 값과 별도로 연산된 스칼라 값인 위상 값을 적용함으로써 달성될 수 있다는 아이디어를 기초로다. 그에 따라, 대부분의 처리 단계는 스칼라 값으로 실행될 수 있으며, 다운믹스 신호의 스펙트럼 영역 값의 복소수 값인 수치 표현이 연산의 추후(또는 최종) 단계에서만 생성된다.
게다가, 스칼라 크기 값의 결정이 입력 신호의 라우드니스 정보를 기초로 양호한 정확도로 가능함을 알게 되었다. 입력 신호의 라우드니스 정보를 사용하여 크기 값을 획득함으로써, 크기 값이 상쇄 간섭에 의해 강하게 영향을 받음이 회피될 수 있다. 이는, 입력 신호의 라우드니스 정보가 상쇄 간섭에 의해 통상 영향을 받지 않아서, 크기 값에의 라우드니스 정보의 매핑이 통상 수치적으로 안정적인 해법을 야기한다는 점 때문이다.
다시 말해, (소거 효과를 고려하여, 크기 값에의 라우드니스 정보의 매핑후 가능한, 선택적 정정으로) 주로 입력 신호의 라우드니스 정보를 기초로 스펙트럼 영역 값의 크기 값을 결정함으로써, 복소수 값의 수치를 가산함으로써 및 후속한 스케일링에 의해 야기될 수 있는 수치적 불안정성 및 아티팩트가 회피될 수 있다.
게다가, 크기 값을 결정할 때 입력 신호의 라우드니스 정보를 고려함으로써, 보강 간섭인 경우에 발생할 수 있으며 아티팩트로서 통상 인지될 6dB 신호 증폭이 회피될 수 있다. 오히려, 입력 신호의 라우드니스 정보를 고려함으로써, 단순히 입력 신호를 나타내는 복소수 값의 가산인 경우와 비교할 때 다운믹스 신호가 인지된 라우드니스에 더 잘 적응됨을 달성할 수 있다.
더 나아가, 크기 값의 결정과 별도인 별도의 위상 계산이 높은 수준의 융통성을 제공함을 알게 되었다. 위상 계산은 우수한 정확도로 이뤄질 수 있으며, 정정을 적용하여 상쇄 간섭의 경우에 위상 값을 결정할 수 있다. 위상 값은, 크기 값이 결정될 때 단지 적용되는 통상 스칼라 값이므로, 위상 값을 결정하여 정정하기 위한 연산 노력이 특히 작다.
결론적으로, 계산 효율과 청취감(hearing impression) 사이의 양호한 균형이, 크기 값과 위상 값을 별도로 처리함으로써 및 이들 값을 단지 결합함으로써 달성될 수 있어서, 처리 체인의 끝에서(즉, 다운믹싱의 끝에서) 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현을 획득할 수 있음을 알게 되었다.
바람직한 실시예에서, 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 크기 값의 결정과 독립적으로 다운믹스 신호의 스펙트럼 영역 값의 위상 값을 결정하도록 구성된다. 크기 값과 위상 값의 그러한 별도의 처리와 결정은 연산-효율적인 것으로 알려졌다. 또한, 크기 값을 결정하기 위한 처리 경로에서 상쇄 간섭의 제어 불가능한 영향은 없다.
바람직한 실시예에서, 다운믹서는, 입력 신호의 스펙트럼 영역 값의 라우드니스 값을 결정하도록 구성된다. 다운믹서는, 입력 신호의 스펙트럼 영역 값의 라우드니스 값을 기초로 다운믹스 신호의 스펙트럼 영역 값과 관련된 합산 라우드니스 값을 도출하도록 구성된다. 다운믹서는 합산 라우드니스 값으로부터 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대, 진폭 값)을 도출하도록 구성된다. 따라서, 크기 값은 인지된 라우드니스를 잘 나타낸다. 그러나, 합산 라우드니스를 고려함으로써 및 이 합산 라우드니스 값을 크기 값으로 변환함으로써, 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대, 진폭 값)은, 입력 신호가 보강 간섭을 보이는 경우에 과잉 라우드니스를 포함하지 않음을 달성할 수 있다. 이 경우, 단지 라우드니스의 가산이 있지만, 라우드니스의 2차적 증가 - 합리적인 청취값을 야기함 - 는 없다. 다른 한편으로, 상쇄 간섭이 또한 없어서, 입력 신호 사이의 상쇄 간섭이 있는 경우에도, 크기 값의 "심한 골(deep valley)"은 없다. 따라서, 도출한 크기 값은 추가 처리에 매우 적절하다. 원한다면, 임의의 수치적 문제 없이도 크기 값을 감쇄시키거나 심지어 크기 값을 증가시키는 것이 용이하게 가능하다. 특히, 라우드니스 값을 기초로 이 크기 값을 도출하는 것은, 크기 값이 항상 합리적인 값의 범위 내에 있다는 장점이 있으며, 이는 (합산 라우드니스 값을 고려함으로써) 두 극히 작은 값이 회피되며, 또한 (진폭의 직접 가산을 회피함으로써) 과도하게 큰 값이 회피되기 때문이다. 따라서, 그러한 처리는 큰 장점을 갖는다.
바람직한 실시예에서, 다운믹서는 입력 신호의 스펙트럼 영역 값의 합 또는 가중된 합을 결정하여, 입력 신호의 스펙트럼 영역 값의 합을 기초로 하거나 그 가중된 합을 기초로 위상 값을 결정하도록 구성된다. 위상 값의 그러한 연산을 사용함으로써, 정확하며 신뢰할 만한 위상 값이 많은 상황 하에서 획득될 수 있다(비록 강한 상쇄 간섭의 경우 일부 에러가 있을 수 도 있지만).
바람직한 실시예에서, 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 극 표현(polar representation)의 절대값으로서 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 사용하며, 다운믹스 신호의 스펙트럼 영역 값의 극 표현의 위상 값으로서 위상 값을 사용하도록 구성된다. 더 나아가, 다운믹서는, 극 표현을 기초로 다운믹스 신호의 스펙트럼 영역 값의 직교(cartesian) 복소수 값 표현을 획득하도록 구성된다. 그에 따라, 스펙트럼 영역 값의 직교 복소수 값 표현은 처리의 상대적으로 늦은 단계에서 획득되는 반면, 선행하는 처리 단계는 별도로 절대값과 위상 값을 결정한다. 그러한 절차는, 완전 복소수 값의 취급이 입력 신호 사이의 위상 관계에 의존하여 바람직하지 않은 아티팩트를 야기할 수 도 있으므로, 유리함을 알게 되었다. 오히려, 처리의 늦은 단계에서(또는 심지어 다운믹스 신호의 결정의 최종 단계로서) 절대값과 위상 값을 단지 결합하여, 그러한 아티팩트를 회피한다. 또한, 절대값과 위상 값의 개별 처리는 다중 처리 단계에서의 복소수 값의 취급보다 연산적으로 쉽다.
바람직한 실시예에서, 다운믹서는 소거도 정보(예컨대, Q)를 결정하여(예컨대, 계산하여), 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대,
Figure pct00001
)의 결정에서 이 소거도 정보를 고려하도록 구성된다. 예컨대, 소거도 정보는 입력 신호의 스펙트럼 영역 값(예컨대, 동일한 스펙트럼 빈과 관련됨) 사이의 보강 또는 상쇄 간섭의 정도를 나타낸다(또는 정량적으로 나타낸다). 게다가, 다운믹서는, 크기 값(예컨대,
Figure pct00002
)과(또는 그에 대하여) 비교할 때 또는 소거도 정보가 상쇄 간섭을 나타내는 경우에 입력 신호의 스펙트럼 영역 값의 라우드니스 값의 합을 나타내는 "기준 크기"와(또는 그에 대하여) 비교할 때 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대,
Figure pct00003
)을 선택적으로 감소시키도록(예컨대, 감쇄시키도록) 구성된다(예컨대, 크기 값의 감소는 소거도 정보에 따라 연속해서 변할 수 도 있다). 스펙트럼 영역 값의 크기 값의 감소는, 강한 상쇄 간섭을 알게 될 때 추천할 만하며, 이는 위상 값이 이 경우에 통상 신뢰할 수 없기 때문임을 알게 되었다. 다시 말해, 강한 상쇄 간섭의 존재는 통상 위상 값을 신뢰할 수 없게 하거나, 큰 각도 범위에 걸쳐서 신속하게 변하게 한다. 그러한 경우, 다운믹스 신호의 스펙트럼 영역 값의 크기 값의 감소는 아티팩트를 감소시키는 것을 돕는다. 그러나 입력 신호의 스펙트럼 영역 값의 복소수 값 표현을 단지 가산하는 것과 비교할 때 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 잘 제어되는 방식으로 감소시키는 것이 더 양호함을 알게 되었다.
다시 말해, 이 개념은, 연산 효율과 (강한) 상쇄 간섭의 영향의 감소 사이의 매우 양호한 균형을 허용한다.
바람직한 실시예에서, 다운믹서는, 상이한 배향(예컨대, 4개)을 가진 입력 신호의 스펙트럼 영역 값의 성분(예컨대, 양의 허수 축의 방향으로 배향을 가진 성분, 음의 허수 축의 방향으로 배향을 가진 성분, 양의 실수 축의 방향으로 배향을 가진 성분 및 음의 실수 축의 방향으로 배향을 가진 성분; 대안적으로, 성분은, 입력 신호의 스펙트럼 영역 값의 합의 벡터에 의해 결정될 수 도 있는 제1 방향, 제1 방향에 직교인 제2 방향, 제2 방향에 반대인 제3 방향, 및 제2 방향에 반대인 제4 반향으로 배향을 갖는다)의 합(예컨대, sumIm+, sumIm-, sumRe+, sumRe-)을 결정하도록 구성된다. 게다가, 다운믹서는, 상이한 배향을 가진 입력 신호의 스펙트럼 영역 값의 성분의 합(예컨대, sumIm+, sumIm-, sumRe+, sumRe-)을 기초로 소거도 정보를 결정하도록 구성된다.
상이한 배향을 가진 입력 신호의 스펙트럼 영역 값의 성분의 합을 평가하여, 예상되는 소거도를 효율적으로 판단할 수 있음을 알게 되었다. 예컨대, 성분 모두가 동일한 배향을 갖는다면(예컨대, 모두 양의 허수 부분과 양의 실수 부분을 갖는다면), 강한 소거가 없다고 예상할 수 있다. 다른 한편으로, 반대 방향으로의 성분의 합이 유사하거나 심지어 동일하다면, 높은 소거도가 있음을 결론지을 수 도 있다. 다시 말해, 상이한 배향이나 방향에서의 성분의 합을 비교함으로써, 소거도를 효율적으로 및 신뢰할 만하게 결론지을 수 있다. 그에 따라, 과잉 소거가 예상될 때(또는, 등가적으로 위상 정보가 신뢰할 수 없음이 예상될 때), 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 적응시킬 수 있다.
바람직한 실시예에서, 다운믹서는, 직교 배향이나 방향(예컨대, 양의 허수 축을 따라서 및 양의 실수 축을 따라서)과 관련되며, 반대 배향이나 방향과 관련된 합(예컨대, sumIm- 및 sumRe-) 이상인 2개의 결정된 합(예컨대, sumIm+ 및 sumRe+)을 주요 합산 값(예컨대, sumIm+ 및 sumRe+)으로서 선택하도록 구성된다. 예컨대, 다운믹서는, 2개의 배향에 대하여, 결정된 합 중 어떤 것이 가장 큰 크기를 갖는지를 결정하며, 이들 합을 "주요 합산 값"으로서 선택하도록 구성된다. 게다가, 다운믹서는 스케일링 값(Q 또는 Qmapped)을 결정하도록 구성되며, 이러한 스케일링 값은, 제1 주요 합산 값(예컨대, sumRe+)의 배향에 반대인 방향이나 배향과 관련된 제1 비-주요 합산 값(예컨대, sumRe-)과 제1 주요 합산 값(예컨대, sumRe+) 사이의 비-부호화된 비(즉, 부호가 고려되지 않은 비 또는 절대값들의 비 또는 비의 절대값)를 기초로 하며, 또한 제2 주요 합산 값(예컨대, sumIm+)의 배향(또는 방향)에 반대인 배향(또는 방향)과 관련되는 제2의 비-주요 합산 값(예컨대, sumIm-)과 제2 주요 합산 값(예컨대, sumIm+) 사이의 비-부호화된 비(예컨대, 부호가 고려되지 않은 비 또는 절대값들의 비 또는 비의 절대값)을 기초로 다운믹스 신호의 스펙트럼 영역 값의 크기 값(
Figure pct00004
)의 선택적 감소를 야기하여, 비-주요 합산 값과 그 관련된 주요 합산 값 사이의 비-부호화된 비(예컨대, |sumRe-|/sumRe+ 및 |sumIm-|/sumIm+)의 증가가 결국 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대,
Figure pct00005
)의 감소(예컨대, 스케일링 값(Q)의 감소)를 야기한다. 본 실시예는, 반대 방향과 관련된 합산 값 사이의 비가 음의(상쇄) 간섭의 정도에 관한 신뢰할 만한 정보를 제공한다는 사상을 기초로다. 예컨대, 제1의 비-주요 합산 값이 제1 주요 합산 값보다 상당히 작다면, (제1 주요 합산과 관련된) 제1 방향과 (제2 비-주요 합산과 관련된) 제3 방향 사이에는 소거가 없거나 적은 소거만이 있다고 결론을 내릴 수 있다. 유사하게, 제1 비-주요 합산 값과 그 관련된 제1 주요 합산 값 사이의 비-부호화된 비(즉, 부호를 고려하지 않은 비)가 크다면(예컨대, 1에 가깝다면), (제1 주요 합산 값이 관련되는) 제1 방향과 (제1의 비-주요 합산 값이 관련되는) 제3 방향 사이에는 상대적으로 강한 소거가 있다고 결론을 내릴 수 있다. 결론적으로, 비-주요 합산 값과 주요 합산 값은 입력 신호 사이의 소거를 인식하는데 효율적으로 사용될 수 있으며, 그에 따라 다운믹스 신호의 스펙트럼 영역 값의 크기 값의 감소를 제어하도록 효율적으로 사용될 수 있다.
바람직한 실시예에서, 다운믹서는, 본 명세서에서 언급한 수학식에 따라 소거도 정보(Q)를 계산하도록 구성된다. 이 경우, sumRe+은, (예컨대, 고려 중인 스펙트럼 빈에서) 입력 오디오 신호의 복소수 값의 스펙트럼 영역 값의 양의 실수부의 합산이며, 양의 실수부를 가진 모든 복소수 값의 스펙트럼 영역 값이 고려된다. sumRe-은, (예컨대, 고려 중인 스펙트럼 빈에서) 입력 오디오 신호의 복소수 값의 스펙트럼 영역 값의 음의 실수부의 합이며, 음의 실수부를 가진 모든 복소수 값의 스펙트럼 영역 값이 고려된다. sumIm+은, (예컨대, 고려 중인 스펙트럼 빈에서) 입력 오디오 신호의 복소수 값의 스펙트럼 영역 값의 양의 허수부의 합이며, 양의 허수부를 가진 모든 복소수 값의 스펙트럼 영역 값이 고려된다. sumIm-은, (예컨대, 고려 중인 스펙트럼 빈에서) 입력 오디오 신호의 복소수 값의 스펙트럼 영역 값의 음의 허수부의 합이며, 음의 허수부를 가진 모든 복소수 값의 스펙트럼 영역 값이 고려된다. 그에 따라, 소거도 정보(Q)는 앞서 언급한 고려에 따라 효율적으로 계산될 수 있다.
바람직한 실시예에서, 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대,
Figure pct00006
)을 결정하도록 구성되어, 이 크기 값(예컨대,
Figure pct00007
)은, 다운믹서에 의해 결정되는 소거도 정보(예컨대, Q)가 (예컨대, 고려 중인 스펙트럼 빈에서) 입력 신호 사이의 상대적으로 큰 상쇄 간섭을 나타내는 시간 인스턴스에서, 입력 신호의 스펙트럼 영역 값의 합산 라우드니스에 대응하는 기준 값(예컨대,
Figure pct00008
)에 대하여 선택적으로 감소하며, 크기 값은, 소거도 정보(예컨대, Q)가 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 기준 값(예컨대,
Figure pct00009
)에 대하여 선택적으로 증가한다. 소거도 정보가 상대적으로 큰 상쇄 간섭을 나타내는 시간 인스턴스에서 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 선택적으로 감소시킴으로써, 에러 위상 값에 의해서나 위상 값의 빠른 변화에 의해 야기될 수 있었던 왜곡을 회피할 수 있다. 다른 한편으로, 소거도 정보가 입력 신호 사이에서 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 선택적으로 증가시킴으로써, 크기 값의 감소에 의해 야기되는 에너지 손실이 적어도 부분적으로 보상될 수 있다. 그에 따라, 전체적으로 인지된 라우드니스는 유지될 수 있다. (높은 상쇄 간섭이 있는) 일부 시간 인스턴스에서 다운믹스 신호의 스펙트럼 영역 값의 크기의 선택적 감소는 높은 왜곡 위험이 없는 다른 시간 인스턴스에서 다운믹스 신호의 스펙트럼 영역 값의 크기의 선택적 증가에 의해 (적어도 부분적으로) 보상된다. 그에 따라, 에너지 손실은 적어도 부분적으로 보상될 수 있으며, 다운믹스 신호의 우수한 청취감을 달성할 수 있다.
바람직한 실시예에서, 다운믹서는 시간에 걸쳐서 소거도 정보(예컨대, Q(t))를 추적하여, 소거도 정보의 이력에 따라, 크기 값(예컨대,
Figure pct00010
)이 소거도 정보(예컨대, Q)가 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 기준 크기 값(예컨대,
Figure pct00011
)에 관하여 얼마나 선택적으로 증가하는지를 결정하도록 구성된다. 예컨대, 기준 크기 값에 관한 크기 값의 선택적 증가는, 크기 값이 (예컨대, 시간 평균에서) 이전에 크기 값의 상대적으로 강한 감소가 있었다면, 상대적으로 큰 값만큼 증가하도록, 및 크기 값이 (예컨대, 시간 평균에서) 이전에 크기 값의 상대적으로 작은 감소가 있었다면, 상대적으로 작은 값만큼 증가하도록 결정될 수 있다. 다시 말해, 기준 값에 관한 크기 값의 선택적 증가도는, 소거도 정보가 입력 신호 사이의 상대적으로 큰 상쇄 간섭을 나타내는 시간 인스턴스에서의 크기 값의 선택적 감소로 인한 에너지 손실이 소거도 정보가 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서의 크기 값의 선택적 증가에 의해 적어도 부분적으로 보상되도록 결정될 수 있다. 그에 따라, 상쇄 간섭이 발생하는 시간 인스턴스에서의 크기 값의 감소에 의해 야기될 에너지 손실은 적어도 부분적으로 보상될 수 있으며, 소거도 정보의 이력은 보상이 얼마나 적절한지에 관한 신뢰할 만한 정보를 제공한다.
바람직한 실시예에서, 다운믹서는, 소거도 정보를 추적하기 위해, 무한-임펄스 응답 평활 연산(operation)을 사용하거나 슬라이딩 평균 평활 연산을 사용하여 인스턴트 소거도 정보를 기초로 시간적으로(temporarily) 평활화된 소거도 정보를 획득하도록 구성된다. 그러한 동작은 소거도 정보를 추적하여 신뢰할 만한 결과를 가져오는데 잘 적응됨이 알려져 있다.
바람직한 실시예에서, 다운믹서는, 시간적으로 평활화된 소거도 정보에 따라, 인스턴트 소거도 값(예컨대, Q(t))을 매핑된 소거도 값(예컨대, Qmapped)(예컨대, 소거도 정보(Q)가 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 크기 값(
Figure pct00012
)이 기준 값(
Figure pct00013
)에 관해 얼마나 많이 선택적으로 증가하는지를 결정할 수 도 있음)에 매핑하도록 구성되어, 크기 값의 (지난/이전) 감소를 나타내는 시간적으로 평활화된 소거도 정보의 값은 결국 (적어도 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 인스턴트 소거도 값에 대하여) 인스턴트(현재) 소거도 값에 대한 (현재) 매핑된 소거도 값의 증가를 야기한다. 그에 따라, 소거도 정보의 이전 전개에 잘 적응되는 매핑된 소거도 값을 효과적으로 도출할 수 있다.
바람직한 실시예에서, 다운믹서는, 본 명세서에서 기재한 수학식에 따라 이전에 평활화된 소거도 값(Qsmooth(t - 1))을 기초로 및 인스턴트(현재) 소거도 값(Q(t))을 기초로 업데이트된 평활화된 소거도 값(Qsmooth(t))을 획득하도록 구성되며, 여기서 p는 0 < p < 1인 상수일 수 도 있다. 다운믹서는 또한, 앞서 기재한 수학식에 따라 매핑된 소거도 값(Qmapped(t))을 획득하도록 구성될 수 도 있으며, 여기서 T는 0 < T < 1인 상수이다. 바람직하게도, 0.3 <= T <= 0.8가 유효할 수 도 있다. 더 나아가, Q(t)는 0과 1 사이의 범위에 있으며 입력 신호 사이의 상대적으로 큰 상쇄 간섭에 대해 0의 값을 가지며, 입력 신호 사이의 상대적으로 작은 상쇄 간섭에 대해 1의 값을 갖는다고 가정할 수 도 있다. 매핑된 소거도 값의 그러한 연산은 연산의 복잡도를 합리적으로 작게 유지하면서도 양호한 결과를 야기함을 알게 되었다.
바람직한 실시예에서, 다운믹서는, 소거도 값(예컨대, Qmapped)을 사용하여, 입력 신호의 스펙트럼 영역 값의 합산 라우드니스에 대응하는 크기 값(예컨대, MR과 같을 수 도 있는 "기준 값")을 스케일링하여 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 획득하도록 구성된다. 그에 따라, 다운믹스 신호의 스펙트럼 영역 값은, 높은 간섭 위험이 있는 시간에 (예컨대, 기준 값에 관하여) 감소할 수 도 있으며, 낮은 간섭 위험이 있는 시간에 (예컨대 기준 값에 관하여) 증가할 수 도 있다. 그에 따라, 과도한 아티팩트가, 높은 상쇄 간섭의 가능성이 있는 시간에 회피될 수 있으며, 에너지 손실은, 낮은 상쇄 간섭의 확률이 있는 시간에 보상될 수 있다. 다른 한편으로, 다운믹스 신호의 스펙트럼 영역 값의 크기 값은 합리적인 범위 내에서 유지될 수 도 있어서, 보강 간섭의 경우에 과도한 라우드니스 과장을 또한 회피한다. 더 나아가, 본 명세서에서 기재한 개념은 많은 문제를 회피하며, 이는 (예컨대, 상쇄 간섭으로 인해) 0에 가까운 값을 강하게 "업-스케일링"하는 것이 회피되기 때문이다.
바람직한 실시예에서, 다운믹서는, 입력 신호의 스펙트럼 영역 값의 가중된 합을 결정하여, 입력 신호의 스펙트럼 영역 값의 가중된 합을 기초로 위상 값을 결정하도록 구성된다. 예컨대, 다운믹서는, 미리 결정된 간섭 레벨보다 큰 상쇄 간섭을 회피하도록, 입력 신호의 스펙트럼 영역 값을 가중하도록 구성된다. 다시 말해, 위상 값을 결정할 때, 가중이 도입되어 과도한 상쇄 간섭을 회피할 수 도 있다. 예컨대, 그러한 가중을 사용함으로써, 위상 값의 신뢰도는 증가한다(예컨대, 과거에 상대적으로 큰 크기를 가졌던 스펙트럼 영역 값에 상대적으로 증가한 가중을 둠으로써). 그에 따라, 위상 결정의 품질이 개선될 수 있다.
바람직한 실시예에서, 다운믹서는, 입력 신호의 스펙트럼 영역 값의 가중된 합을 결정하여, 입력 신호의 스펙트럼 영역 값의 가중된 합을 기초로 위상 값을 결정하도록 구성된다. 다운믹서는, 상이한 입력 신호에서 각각의 스펙트럼 빈의 시간-평균 세기(예컨대, 진폭이나 에너지나 라우드니스)에 따라 입력 신호의 스펙트럼 영역 값을 가중하도록 구성된다. 결국, 의미있는 가중을 달성할 수 있으며, 위상 값의 신뢰도는 개선할 수 있다.
본 발명에 따른 실시예는, 다수의 입력 오디오 신호를 기초로 인코딩된 오디오 표현을 제공하기 위한 오디오 인코더를 만든다. 오디오 인코더는 앞서 기재한 다운믹서를 포함한다. 다운믹서는, 다수의 입력 오디오 신호의 (바람직하게는 복소수 값인) 스펙트럼 영역 표현을 기초로 다운믹스 신호를 제공하도록 구성된다. 오디오 인코더는, 인코딩된 오디오 표현을 획득하기 위해, 다운믹스 신호를 또한 인코딩하도록 구성된다. 오디오 인코더에서의 그러한 다운믹서의 사용은 특히 유리하며, 이는 진폭 값과 위상 값 둘 모두의 신뢰도가 다운믹서에 의해 증가할 수 있기 때문임을 알게 되었다. 그에 따라, 다운믹스 신호는 오디오 디코더 측에서의 오디오 신호의 재구성에 또는 또한 직접 플레이백에 매우 적절하다. 특히, 아티팩트는 본 명세서에서 개시하는 다운믹싱 개념을 사용하여 상대적으로 작기 때문에, 오디오 인코더는 상대적으로 "깨끗한" 다운믹스 신호를 사용할 수 있으며, 이점은 인코딩을 용이하게 하며, 동시에 디코딩된 오디오 신호의 품질을 증가시킨다.
본 발명에 따른 다른 실시예는, 다수의 (예컨대, 복소수 값의) 입력 신호(예컨대, 입력 오디오 신호일 수 도 있음)를 기초로 다운믹스 신호를 제공하기 위한 방법을 만든다. 이 방법은, 입력 신호의 라우드니스 정보를 기초로(예컨대, 입력 신호의 주어진 스펙트럼 빈과 관련된 라우드니스 값을 기초로) (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값의 크기 값(예컨대, MR 또는
Figure pct00014
)을 결정(예컨대, 연산 또는 추정)하는 단계를 포함한다. 이 방법은 예컨대 크기 값의 결정과는 독립적으로 (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값의 (바람직하게는 스칼라) 위상 값(예컨대, PP 또는
Figure pct00015
)을 결정하는 단계를 포함한다. 이 방법은 또한, 스펙트럼 영역 값의 크기 값을 기초로 (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값의 복소수 표현을 획득하기 위해 위상 값(예컨대, PP 또는
Figure pct00016
)을 적용하는 단계를 포함한다. 이 방법은 앞서 기재한 다운믹서와 동일한 고려를 기초로다. 또한, 이 방법은, 또한 대응하는 다운믹서에 관하여, 본 명세서에서 기재한 특성, 기능 및 상세 중 임의의 것에 의해 보완될 수 도 있음을 주목해야 한다. 이 방법은, 그러한 특성, 기능 및 상세를 개별적으로 또는 조합하여 취해 보완될 수 있다.
본 발명에 따른 다른 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 작동할 때 이 방법을 실행하기 위한 이러한 컴퓨터 프로그램을 만든다.
본 발명에 따른 실시예는 첨부한 도면을 참조하여 후속하여 기재될 것이다.
도 1은, 본 발명의 실시예에 따른 다운믹서의 블록 개략도를 도시한다.
도 2는, 본 발명의 다른 실시예에 따른 다운믹서의 블록 개략도의 발췌부를 도시한다.
도 3은, 본 발명의 실시예에 따른 위상 값 결정의 블록 개략도를 도시한다.
도 4는, 다운믹스 절차 동안의 3개의 간섭 타입의 개략적 표현을 도시한다.
도 5는, 본 발명의 실시예에 따른 라우드니스-보존 다운믹스에 대한 신호 흐름도를 도시한다.
도 6은, 적응 기준 크기를 가진 라우드니스 다운믹스의 신호 흐름도를 도시한다.
도 7은, 복소 평면에서의 3개의 입력 신호의 소거도의 도출의 개략도를 도시한다.
도 8은, 적응 위상을 가진 라우드니스 다운믹스의 신호 흐름도를 도시한다.
도 9는, 본 발명의 실시예에 따른 다운믹스 신호를 제공하기 위한 방법의 흐름도를 도시한다.
도 10은, 본 발명의 실시예에 따른 오디오 인코더의 블록 개략도를 도시한다.
도 11은, 본 명세서에서 기재한 라우드니스 보존을 위한 상이한 매핑 개념을 사용하여 달성할 수 있는 매핑 곡선의 예의 그래픽 표현을 도시한다.
1. 도 1에 따른 다운믹서
도 1은, 본 발명의 실시예에 따른 다운믹서(100)의 블록 개략도를 도시한다.
다운믹서는 다수의 입력 신호(110a, 110b)를 수신하여, 이를 기초로, 다운믹스 신호(112)를 제공하도록 구성된다. 예컨대, 입력 오디오 신호일 수 도 있는 제1 입력 신호는 (상이한 주파수나 스펙트럼 빈과 관련되는) 스펙트럼 영역 값의 시퀀스에 의해 표현될 수 도 있으며, 이러한 시퀀스는 예컨대 복소수 표현으로 되어 있을 수 도 있다. 게다가, 제2 입력 신호는 또한 예컨대, 복소수 표현으로 표현될 수 도 있는 (상이한 주파수나 스펙트럼 빈과 관련되는) 스펙트럼 영역 값의 시퀀스를 포함할 수 도 있다.
다운믹스 신호(112)는, 복소수 수치 표현의 형태로 표현될 수 도 있는 다운믹스 신호의 스펙트럼 영역 값에 의해 (또는, 일반적으로 상이한 주파수와 관련되는 다수의 스펙트럼 영역 값에 의해) 표현될 수 도 있다. 다음에서, 단 하나의 스펙트럼 빈의 처리를 고려할 것이다. 그러나 상이한 스펙트럼 빈의 스펙트럼 영역 값은 예컨대 독립적으로 및 동일한 방식으로 취급할 수 도 있다.
다운믹서(100)는 (크기 값 결정기로서 또한 고려될 수 도 있는) 크기 값 결정부(120)를 포함한다. 크기 값 결정부(120)는, 입력 신호(110a, 110b)의 라우드니스 정보를 기초로(예컨대, 입력 신호의 주어진 스펙트럼 빈과 관련된 라우드니스 값을 기초로) (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값(112)의 크기 값(122)을 결정하도록 구성된다. 예컨대, 크기 값 결정부는, 제1 입력 신호(110a)의 스펙트럼 영역 값의 라우드니스를 결정하는 제1 라우드니스 정보 결정부(또는 결정기)를 포함한다. 게다가, 크기 값 결정부(120)는 또한, 제2 입력 신호(110b)의 스펙트럼 영역 값의 라우드니스 정보를 결정하는 제2 라우드니스 정보 결정부(또는 결정기)(126)를 포함한다. 게다가, 크기 값 결정부(120)는 통상 크기 값(122)을 결정하여, 크기 값(122) - 다운믹스 신호의 스펙트럼 영역 값의 크기 값의 결정에 대한 기초일 수 도 있거나, 다운믹스 신호의 스펙트럼 영역 값의 크기 값으로서 심지어 사용될 수 도 있음 - 은, 제1 입력 신호(110a)의 각각의 스펙트럼 영역 값과 제2 입력 신호(110b)의 각각의 스펙트럼 영역 값의 합산 라우드니스를 기초로 한다. 그러나 크기 값(120)은 추가 정정을 포함할 수 도 있어서, 크기 값은, 상황에 따라서는, 합산 라우드니스보다 작거나 합산 라우드니스보다 큰 라우드니스에 대응하도록 잘 규정된 방식으로 정정된다. 그러나 크기 값은 통상 (예컨대 특정한 스펙트럼 빈과 관련되는) 특정한 스펙트럼 영역 값과 관련되는 하나의 스칼라 값임을 주목해야 한다.
다운믹서(100)는 또한 위상 값 결정부(또는 결정기)(130)를 포함한다. 그에 따라, 다운믹서는 (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값(112)의 (스칼라) 위상 값(132)을 결정하도록 구성된다. 예컨대, 위상 값 결정부(130)는 제1 입력 신호(110a) 및 제2 입력 신호(110b), 또는 제1 입력 신호(110a)의 (특정 스펙트럼 빈과 관련되는) 스펙트럼 영역 값 및 제2 입력 신호(110b)의 (특정 스펙트럼 빈과 관련되는) 스펙트럼 영역 값을 수신한다. 예컨대, 위상 값 결정부(또는 결정기)(130)는 크기 값(122)의 결정과는 독립적으로 위상 값(132)을 결정한다.
게다가, 다운믹서는 (위상 값 적용기로서 또한 고려될 수 있는) 위상 값 적용부(140)를 또한 포함한다. 그에 따라, 다운믹서는, 다운믹스 신호의 스펙트럼 영역 값의 크기 값(122)을 기초로 (예컨대, 주어진 스펙트럼 빈에 대한) 다운믹스 신호의 스펙트럼 영역 값(112)의 복소수 값의 수치 표현을 획득하기 위해, 위상 값(132)을 적용하도록 구성된다.
일반적으로 말해, 다운믹서(100)는, 예컨대 크기 값(112)과 위상 값(132)을 독립적으로 결정할 수 도 있으며, 그 후, 최종 처리 단계로서, 위상 값(132)을 적용하여 다운믹스 신호의 스펙트럼 영역 값의 복소수 표현을 획득할 수 도 있음을 주목해야 한다. 예컨대, 위상 값(132)은, 크기 값을 기초로 다운믹스 신호의 스펙트럼 영역 값의 동위상 성분과 직각 성분을 도출하는데 사용될 수 있어서, 다운믹스 신호의 복소수 값의 스펙트럼 영역 값의 직교 표현(실수부와 허수부 표현)을 획득한다. 입력 신호의 라우드니스 정보를 기초로(예컨대, 입력 신호의 주어진 스펙트럼 빈의 라우드니스 값을 기초로) 크기 값을 도출함으로써, 우수한 수치적 안정도를 획득할 수 있는 반면, 과도한 라우드니스(예컨대, 보강 간섭의 경우 스펙트럼 영역 값의 간단한 가산에 의해 야기될 것임)와 상당한 라우드니스 강하(스펙트럼 영역 값의 간단한 복소수 값 가산이 실행된 경우에 상쇄 간섭에 의해 야기될 것임)이 회피될 수 있다. 또한, 복소수 값의 강한 후-정정을 실행하는 해법으로부터 일어나는 수치적 불안정성을 회피할 수 있다.
결론적으로, 도 1을 참조하여 기재한 다운믹서는 상당한 장점을 포함하며, 이러한 장점은 크기 값(122)과 위상 값(132)의 별도의 처리로부터 부분적으로 생기며, 크기 값(122)의 결정 시 라우드니스 정보의 고려로부터 또한 생긴다.
게다가, 도 1에 따른 다운믹서(100)는 본 명세서에서 기재한 특성, 기능 및 상세 중 임의의 것을 개별적으로 또는 조합하여 취해 보완될 수 있다. 또한, 다운믹서(100)에 관하여 기재한 특성, 기능 및 상세는 다른 실시예에 개별적으로 및 조합하여 취해 도입될 수 있다.
2. 도 2에 따른 다운믹서
도 2는 본 발명에 따라 다운믹서의 블록 개략도의 발췌부를 도시한다.
특히, 도 2는, 제1 입력 신호(210a)(도 1을 참조하여 기재할 경우 제1 입력 신호(110a)에 대응할 수 도 있음)를 기초로 한 및 또한 제2 입력 신호(210b)(도 1을 참조하여 기재할 경우 제2 입력 신호(110b)에 대응할 수 도 있음)를 기초로 한 크기 값(222)(도 1을 참조하여 기재할 경우 크기 값(122)에 대응할 수 도 있음)의 도출을 나타낸다.
또한, 도 2에 도시한 처리 유닛이나 기능 블록(200)은 예컨대 도 1에 도시한 크기 값 결정부(크기 값 결정기)(120)를 대신할 수 도 있음을 주목해야 한다.
기능 블록(200)은 기준 크기 값 결정부나 기준 크기 값 결정기(220)를 포함하며, 이러한 결정부나 결정기의 기능은 일반적으로 크기 값 결정부/크기 값 결정기(120)의 기능과 유사할 수 도 있다. 예컨대, 기준 크기 값 결정기(220)는 제1 입력 신호(210a)를 기초로 및 제2 입력 신호(210b)를 기초로 기준 크기 값(221)을 제공하도록 구성될 수 도 있다. 예컨대, 기준 크기 값 결정부(220)는, 입력 신호(210a, 210b)의 라우드니스 정보를 기초로 다운믹스 신호의 스펙트럼 영역 값의 기준 크기 값(221)(변경되지 않은 기준으로서 고려될 수 도 있음)을 도출할 수 도 있다. 예컨대, 기준 크기 값(221)은, 다운믹스 신호의 주어진 스펙트럼 빈과 관련되며 제1 입력 신호(210a)의 주어진 스펙트럼 빈과 관련되는 라우드니스 값과 제2 입력 신호(210b)의 주어진 스펙트럼 빈과 관련되는 라우드니스 값을 기초로 할 수 도 있는 스칼라 값일 수 도 있다. 그에 따라, 스펙트럼 영역 값의 기준 크기 값은 예컨대, (예컨대, 입력 신호의 주어진 스펙트럼 빈의) 최소 라우드니스 값보다 크며 입력 신호(210a, 210b)의 주어진 스펙트럼 빈의 최대 라우드니스 값보다 통상 더욱 큰 라우드니스에 대응할 수 도 있다. 다시 말해, 주어진 스펙트럼 빈이 두 입력 신호(210a, 210b)에서 매우 작은 신호 강도를 포함하지 않는다면, 기준 크기(221)는 통상 특히 작지 않다. 다시 말해, 기준 크기 값(221)은 과도하게 큰 값을 통상 또한 포함하지 않으며, 이는 이것이 입력 신호 모두의 라우드니스 정보를 기초로 하기 때문이다. 바람직하게도, 기준 크기 값(221)은 입력 신호의 보강 및 상쇄 간섭에 의해 영향을 받지 않으며, 이러한 간섭은, 입력 신호의 위상이 기준 크기 값의 결정에서 고려되었다면 발생할 것이다. 오히려, 기준 크기 값은 예컨대 입력 신호의 고려 중인 주어진 스펙트럼 빈에서 라우드니스의 가산을 반영할 수 도 있다.
그에 따라, 기준 크기 값(221)은 가능한 정정의 양호한 기초가 되며, 이는 이 값이 수치적으로 합리적인 범위 내에 있으며 수치적 불안정성을 야기하지 않고 다운스케일링 및 업스케일링될 수 있다고 가정될 수 있기 때문이다.
기능 블록(200)은, 입력 신호(210a, 210b)(또는 고려 중인 주어진 스펙트럼 빈의 적어도 스펙트럼 영역 값)를 수신하도록 구성되는 소거도 계산부(230)를 또한 포함한다. 소거도 계산부(230)는 소거도 정보(232)를 제공하며, 이러한 정보는 일반적으로, 입력 신호의 고려 중인 주어진 스펙트럼 빈의 스펙트럼 영역 값이 복소수로서 더해졌다면(즉, 그 위상과 가능한 소거 효과를 고려한다면) 소거(상쇄 간섭)가 얼마나 될 것인지를 나타낸다. 소거도 정보(232)(현재 또는 인스턴트 소거도 정보로서 고려될 수 있으며 고려 중인 주어진 스펙트럼 빈에 관련될 수 도 있음)를 연산하기 위한 상이한 메커니즘이 사용될 수 있다. 그러나 바람직한 접근법에서, Q로 또한 표시되는 소거도 정보(232)는, 높은 소거도라면, 0에 가까운 값을 가지며, 소거도 정보(Q)는, (예컨대, 고려 중인 주어진 스펙트럼 빈에서) 낮은 소거도라면, 1에 가까운 값을 갖는다.
소거도 정보(232)는 예컨대, 스펙트럼 영역 값의 (스케일링된) 크기 값(222)을 도출하기 위해, 기준 크기 값(221)을 스케일링하는데 사용될 수 도 있다. 그러나 소거도 정보(232)를 직접 사용하여 기준 크기 값(221)을 스케일링하는 것이 가능할지라도, 추가 처리를 갖는 것이 바람직하며, 이점은 다음에서 기재할 것이다.
바람직한 실시예에서, 기능 블록(200)은 매핑부(또는 맵퍼)(240)를 또한 포함하며, 매핑부는 (인스턴트/현재) 소거도 정보(현재 처리될 시간 블록과 관련되는 고려 중인 주어진 스펙트럼 빈에서의 소거도를 나타냄)를 수신하며, 이를 기초로 매핑된 소거도 값(또는 매핑된 소거도 정보)(242)을 제공한다. 예컨대, 매핑된 소거도 값은 스케일링부(또는 스케일러)(260)에 제공되며, 스케일링부는 매핑된 소거도 값(242)을 기초로 기준 크기 값(221)을 스케일링하여 다운믹스 신호의 스펙트럼 영역 값의 크기 값(222)을 도출한다.
기능 블록(200)은 바람직하게는 시간 평활/이력 추적부(250)를 포함하며, 이 추적부는 소거도 이력 정보 또는 시간 평활 소거도 정보(252)를 매핑/크기 값 조정 결정부(240)에 제공한다. 다시 말해, 매핑/크기 값 조정 결정부(240)는 바람직하게는 인스턴트(현재) 소거도 정보(232)와 소거도 이력 정보(252)(예컨대, 시간적으로 평활화된 소거도 정보일 수 도 있음)를 수신한다. 그에 따라, 매핑/크기 값 조정 결정부(240)는 인스턴트(현재) 소거도 정보(232)를 기초로 매핑된 소거도 값(242)을 제공할 수 도 있으며, 인스턴트(현재) 소거도 정보(232)는 소거도 이력 정보(252)에 의존하여 선택적으로 증가할 수 도 있어서, 매핑된 소거도 정보(242)를 도출할 수 도 있다.
예컨대, 소거도 정보(232)는 0과 1 사이의 범위 내의 값일 수 도 있어서, 기준 크기 값(221)의 소거도 정보(232)에 의한 직접 스케일링은 통상 결국 에너지 감소를 야기할 것이다. 그러나 (예컨대, 고려 중인 스펙트럼 빈 내에서) 입력 신호(210a, 210b) 사이에 높은 소거도가 있는 경우에 기준 크기 값(221)은 스케일러(260)에 의해 다운스케일링되어야 함을 알게 되었다. 다른 한편으로, 낮은 소거도인 시간에 기준 크기 값(221)을 중간 정도로 "업 스케일링(scale up)"하는 것은 문제없음을 알게 되었다. 다시 말해, 현재의 시간 인스턴트에서 높은 소거도라면, 매핑된 소거도 값(242)은 1보다 상당히 작아야 함(예컨대 0.5보다 작거나, 0.3보다 더 작거나 또는 0.1보다 더 작아야 함)을 알게 되었다. 다른 한편으로, 매핑된 소거도 값(242)이, 낮은 소거도인 시간에 1보다 다소 더 크다면(예컨대, 1과 1.2 사이 또는 1과 1.5 사이 또는 심지어 1과 2 사이), 문제가 없음을 알게 되었다. 그에 따라, 매핑/크기 값 조정 결정부(240)는 소거도 이력 정보(252)에 따라 인스턴트(현재) 소거도 정보(232)에 관하여 매핑된 소거도 값(242)을 선택적으로 증가시킨다. 예컨대, 인스턴트 소거도 정보(232)가 특정 시간 기간에 걸쳐서 상대적으로 작은 값을 가졌다면, 매핑/크기 값 조정 결정부(240)는 (적어도 낮은 소거도인 시간 인스턴스에서) 1보다 큰 (적어도 낮은 소거도 속에서) 인스턴트 소거도 정보(232)에 관하여 매핑된 소거도 값(24)을 증가시킬 수 도 있어서, 상대적으로 작은 소거도 정보(232)(보통 1보다 상당히 작은 상대적으로 작은 매핑된 소거도 값(242)을 또한 야기함)에 의해 야기되었던 에너지 손실을 적어도 부분적으로 보상할 수 도 있다. 다른 한편으로, 인스턴트(현재) 소거도 정보(232)가 1에 가깝게 되었다면, 인스턴트(현재) 소거도 정보(232)에 관한 매핑된 소거도 값(242)의 증가는 통상 작으며, 이는 그러한 상황에서 큰 에너지 손실을 보상할 필요가 없기 때문이다. 결론적으로, 매핑된 소거도 값(242)이 인스턴트(현재) 소거도 정보에 대하여 증가하는 정도(또는 양)는 소거도 이력 정보(252)에 의존하며, 과거에 (상대적으로) 큰 에너지 손실이 있었다면, 이러한 증가는, 상대적으로 크며, 과거에 (상대적으로) 작은 에너지 손실이 있었다면, 이러한 증가는 상대적으로 작다.
통상, 상대적으로 작은 소거도 정보(0에 가까우며 높은 소거도를 나타냄)는 또한 상대적으로 작은 매핑된 소거도 값(242)(1보다 상당히 작음)을 야기한다. 다른 한편으로, 인스턴트 소거도 정보가 1(낮은 소거도를 나타냄)에 가깝다면, 매핑된 소거도 값(242)은 1보다 작을 수 있거나, 예컨대 인스턴트 소거도 정보가 이전의 특정한 시간 기간에 걸쳐서 1보다 상당히 작은 값을 가졌던 경우에는 1보다 클 수 있다. 그에 따라, 큰 소거도라면, 스케일러(260)에 의해 획득되는 스펙트럼 영역 값의 크기 값(222)은 기준 크기 값(221)보다 통상 작으며, 낮은 소거도라면 및 이전의 특정 시간 기간에 걸쳐서 높은 소거도였다면 기준 크기 값(221)보다 통상 더 크다.
앞서 언급한 바와 같이, 기능 블록(200)은 예컨대 본 발명의 일부 실시예에서 도 1의 크기 값 결정부/결정기(120)를 대신할 수 있다.
게다가, 기능 블록(200)은, 또한 다른 실시예에 관하여, 본 명세서에서 기재한 특성, 기능 및 상세 중 임의의 것에 의해 보완될 수 도 있음을 주목해야 한다. 그러한 특성, 기능 및 상세는 개별적으로 또는 조합하여 기능 블록(200)에 더해질 수 도 있다. 특히, 본 명세서에서 기재한 인스턴트(현재) 소거도 정보(Q)의 연산에 대해, 소거도 이력 정보(Qsmooth)의 계산에 대해, 매핑된 소거도 정보(Qmapped)의 연산에 대해, 기준 크기 값(MR)의 연산에 대해 및 (스케일링된) 크기 값(
Figure pct00017
)의 계산에 대해 기재한 수학식은 기능 블록(200)의 기능을 구현할 때 선택적으로 사용될 수 있다. 그러나 상기 수학식 중 하나 이상이 사용되는 것으로 충분하며, 이들 수학식 모두를 조합하여 사용할 필요는 없음을 주목해야 한다.
3. 도 3에 따른 위상 값 결정부
도 3은, 본 발명의 실시예에 따른 위상 값 결정부의 개략도를 도시한다. 도 3에 따른 위상 값 결정부는 그 전체를 300으로 표시한다. 위상 값 결정부(300)는 선택적으로는 도 1에 따른 다운믹서(100)에서의 위상 값 결정부(130)를 대신할 수 도 있다. 위상 값 결정부(300)는 선택적으로는 (도 1에 따른 다운믹서(100)에서 블록(120)을 대체할 수 도 있는) 기능 블록(200)과 결합하여 선택적으로 사용될 수 있음을 주목해야 한다. 그러나 위상 값 결정부(300)는 또한 크기 값 결정부(120)와 결합하여 사용될 수 있다.
참조번호(310)에서, 입력 신호(예컨대, 입력 오디오 신호)의 시간-주파수 영역 표현을 도시한다. 가로축(312)은 시간을 기재하며, 세로축(313)은 주파수를 기재한다. 그에 따라, 시간-주파수 빈을 도시한다. 예컨대, 3개의 시간-주파수 빈(314a, 314b, 314c)이 강조되어 있으며, 이들 빈은 모두 주파수(또는 주파수 범위 또는 주파수 빈)(f4)와 관련되며 시간(또는 시간 부분 또는 프레임)(t1, t2, t3)과 관련된다.
유사하게, 참조번호(320)에서, 제2 입력 신호의 시간-주파수 영역 표현을 그래픽적으로 도시한다. 가로축(322)은 시간을 기재하며, 세로축(323)은 주파수를 기재한다. 스펙트럼 빈(324a, 324b, 324c)(예컨대, 주파수(f4)에서 및 시간(t1, t2, t3)에서)이 강조되어 있으며, 예컨대, 복소수 값인 스펙트럼 영역 값이 스펙트럼 빈(324a, 324b, 324c) 각각과 관련된다.
유사하게, 참조번호(330)에서의 개략적 표현은 제3 입력 신호의 시간-주파수 영역 표현을 도시한다. 가로축(332)은 시간을 기재하며, 세로축(333)은 주파수를 기재한다. 주파수(f4)에서 및 시간(t1, t2, t3)에서 3개의 스펙트럼 빈(334a, 334b, 334c)이 강조되어 있다.
다음에서, 위상 값 결정에 의해 (예컨대, 위상 값 결정부/위상 값 결정기(130)에 의해) 실행될 수 도 있는 처리를 기재할 것이다. 예컨대, 제1 평균화부(또는 제1 평균화기)(360)는, 동일한 주파수와 관련되며 후속한 시간과 관련되는 다수의 스펙트럼 빈의 스펙트럼 영역 값에 걸쳐서 (예컨대, 세기 또는 에너지 또는 라우드니스의) 평균을 구할 수 도 있다. 평균화부는 슬라이딩-윈도우 평균화부일 수 도 있거나, 재귀(유한-임펄스-응답) 평균화부일 수 도 있다. 게다가, 평균화부는 예컨대 스펙트럼 영역 값의 복소수 값의 평균을 구할 수 도 있거나, 스펙트럼 영역 값의 크기나 라우드니스 값의 평균을 구할 수 도 있음을 주목해야 한다. 따라서, 평균화기(330)는 가중치(362)를 제공한다.
유사하게, 제2 평균화부(또는 제2 평균화기)(370)는, 제2 입력 신호의 스펙트럼 빈(324a 내지 324c)과 관련된 스펙트럼 영역 값의 (예컨대, 세기 또는 에너지 또는 라우드니스의) 시간에 걸친 평균을 결정하여, 제2 입력 신호에 대한 가중치(372)를 획득한다.
게다가, 제3 평균화부(또는 제3 평균화기)(380)는, 제3 입력 신호의 스펙트럼 빈(334a 내지 334c)과 관련된 스펙트럼 영역 값의 (예컨대, 세기 또는 에너지 또는 라우드니스의) 시간에 걸친 평균을 결정하여, 제3 입력 신호에 대한 가중치(382)를 획득한다.
다시 말해, 제1 평균화부(360), 제2 평균화부(370) 및 제3 평균화부(380)는 유사하거나 동일한 기능을 실행할 수 도 있지만, 입력 신호의 다른 스펙트럼 영역 값에 동작할 수 도 있다.
위상 값 결정부(300)는 또한 제1 입력 신호의(또는 제1 입력 신호로부터 도출한) 현재 스펙트럼 영역 값의 스케일링 또는 가중부(364)를 포함하여, 제1 입력 신호의 스케일링된 스펙트럼 영역 값(366)을 획득한다. 유사하게, 위상 값 결정부는 제2 스케일링 또는 가중부(374)를 포함하며, (예컨대, 현재 처리된 스펙트럼 빈과 관련된) 제2 입력 신호의 현재 스펙트럼 영역 값은 제2 입력 신호로부터 도출한 가중치(372)를 사용하여 스케일링된다. 그에 따라, 제2 입력 신호의 가중된 스펙트럼 영역 값(376)이 획득된다. 유사하게, 위상 값 결정부(300)는 제3 스케일링 또는 가중부(384)를 포함하며, 이러한 스케일링 또는 가중부는 제3 입력 신호의 가중치(382)를 사용하여 제3 입력 신호의 현재의 스펙트럼 영역 값을 스케일링하여 제3 입력 신호의 스펙트럼 영역 값(386)을 획득한다.
위상 값 결정부(300)는 제1 입력 신호의 스케일링된 스펙트럼 영역 값(366), 제2 입력 신호의 스케일링된 스펙트럼 영역 값(376) 및 제3 입력 신호의 스케일링된 스펙트럼 영역 값(386)을 결합하는 구성(390)을 또한 포함한다. 예컨대, 합산-결합이 실행되며, (예컨대, 실수 성분과 허수 성분을 포함하는 직교 표현에서) 스케일링된 복소수 값이 결합됨을 주목해야 한다. 그에 따라, 결합 구성(390)의 결과로서, 가중된 합(392)을 획득하며, 이러한 합은 통상 복소수 값이며, 통상 (실수 성분과 허수 성분을 가진) 직교 표현으로 되어 있다. 위상 값 결정부(300)는 또한 위상 계산부(396)를 포함하며, 여기서 가중된 합(392)의 위상 값이 연산되어 위상 값(398)으로서 제공된다. 위상 값(398)은 예컨대 도 1을 참조하여 기재한 위상 값(132)에 대응할 수 도 있으며, 위상 값 적용부(140)에 의해 사용될 수 도 있다.
위상 값 결정부(300)는, (예컨대, 더 이른 시간과 관련되지만 현재의 스펙트럼 영역 값과 동일한 주파수를 갖는 스펙트럼 빈에서) 과거에 (예컨대, 다른 입력 신호와 비교할 대) 상대적으로 강했던 입력 신호의 현재의 스펙트럼 영역 값이, (예컨대, 현재의 스펙트럼 영역 값과 동일한 주파수를 갖지만 더 이른 시간과 관련되는 스펙트럼 빈에서) 과거에 상대적으로 더 약했던 하나 이상의 입력 신호의 스펙트럼 영역 값과 비교할 때 위상 계산부(396)에서 더 강하게 가중되어야 한다는 사상을 기초로 한다. 위상 값(398)이 큰 에러를 포함하거나, 빠른 변화를 포함할 가능성은 그러한 개념에 의해 감소하며, 결국 다운믹스 신호에서의 (가청) 아티팩트는 그러한 위상 값 결정부를 사용함으로써 감소하거나 회피될 수 있음을 알게 되었다. 다시 말해, 위상 값(398)을 획득하도록 실행되는 위상 계산부(396)는 상이한 입력 신호의 현재의 스펙트럼 영역 값의 동일하게-가중된 결합을 기초로 실행되기보다는, 상이한 입력 신호의 현재의 스펙트럼 영역 값은 (예컨대, 동일한 주파수의 과거의 스펙트럼 빈에서) 세기, 에너지 또는 라우드니스의 과거 시간 평균에 따라 가중된다. 그에 따라, 이상 계산의 신뢰도가 개선된다.
그러나 예컨대 위상 값 결정부에 관한 본 명세서에서 기재한 특성, 기능 및 상세 중 임의의 것이 또한 개별적으로 및 조합으로 위상 값 결정부(300)와 결합하여 적용될 수 있음을 주목해야 한다. 게다가 위상 값 결정부(300)는 본 명세서에서 기재한 다른 실시예 중 임의의 것에 선택적으로 도입될 수 있음을 주목해야 한다.
4. 도 5에 따른 실시예
다음에서, 다운믹서의 실시예는 도 5를 참조하여 기재될 것이다.
도 5는 본 발명의 실시예에 따른 다운믹서(500)의 블록 개략도를 도시한다. 다운믹서는, 또한 s1 내지 sN으로 표시되는 다수의 입력 신호(500a 내지 500n)를 수신하도록 구성된다.
게다가, 다운믹서(500)는, 또한 sLoudnessDMX로 표시되는 다운믹스 신호(592)를 출력 신호로서 제공한다. 다운믹서(500)는 선택적으로는 필터 뱅크(501)를 포함하며, 이러한 필터 뱅크는 예컨대 분석 필터 뱅크(또는, 일반적으로 말해서 분석을 실행하는 역할을 함)이다. 예컨대, 필터 뱅크(501)는 상이한 입력 신호(500a 내지 500n)를 별도로 분석할 수 있다. 예컨대, 필터 뱅크는 입력 신호(500a 내지 500n) 각각에 대한 복소수 값 표현을 제공할 수 도 있다. 예컨대, 필터 뱅크(501)는 제1 입력 신호(500a)를 기초로 제1 복소수 값 표현(501a)을 제공하며, n-입력 신호(500n)를 기초로 n번째 복소수 값 표현(501n)을 제공한다. 예컨대, 제1 복소수 값 표현(501a)은 예컨대 각각의 스펙트럼 빈마다 하나씩 다수의 스펙트럼 값을 포함할 수 도 있다. 개별적인 스펙트럼 각은 복소수 값일 수 도 있으며, 예컨대 (실수부와 허수부의 별도의 수치 표현을 가진) 직교 형태로 표현될 수 도 있다.
다음에서, 처리는 단 하나의 스펙트럼 빈에 대해서 기재할 것이다. 그러나 (상이한 주파수와 관련된) 상이한 스펙트럼 빈이 예컨대 별도로 그러나 예컨대 동일한 개념을 사용하여 처리될 수 도 있음을 주목해야 한다.
예컨대, 제1 입력 신호의 고려 중인 스펙트럼 빈의 스펙트럼 영역 표현은 Re1(제1 입력 신호의 스펙트럼 영역 값의 실수부의 수치 표현)과 Im1(제1 입력 신호의 스펙트럼 영역 값의 허수부의 수치 표현)으로 표시된다. 유사하게, n번째 입력 신호의 스펙트럼 영역 표현은 ReN(n번째 입력 신호의 스펙트럼 영역 값의 실수부의 수치 표현)과 ImN(n번째 입력 신호의 스펙트럼 값의 허수부의 수치 표현)으로 표시된다.
다운믹서는 라우드니스 추정부(503)를 또한 포함하며, 라우드니스는 상이한 입력 신호에 대해 별도로 추정된다. 예컨대, 제1 입력 신호(500a)의 라우드니스 값(503a)은 (고려 중인 스펙트럼 빈에 대해) 제1 입력 신호의 스펙트럼 영역 값의 실수부의 수치 표현과, 제1 입력 신호의 스펙트럼 영역 값의 허수부의 수치 표현을 기초로 연산 또는 추정된다. 유사하게, n번째 입력 신호의 라우드니스는 (고려 중인 스펙트럼 빈에 대해) n번째 입력 신호의 스펙트럼 영역 값의 수치 표현(ReN, ImN)을 기초로 연산 또는 추정된다. 별도의 라우드니스 추정 블록이나 유닛이 503으로 표시된다.
게다가, 개별 입력 신호(500a 내지 500n)의 라우드니스를 개별적으로 표현하는 개별 라우드니스 값(503a, 503b)은 결합기(503c)에서 결합(예컨대, 합산)되어, 합산 라우드니스 값(503d)을 획득한다. 그에 따라, 합산 라우드니스 값(503d)은 입력 신호(501a 내지 501n)의 합산 라우드니스를 나타낸다. 다운믹서(500)는 또한 라우드니스-크기 변환부(504)를 포함하며, 이 변환부는 합산 라우드니스 값(503d)을 수신하여 합산 라우드니스 값(503d)을 기준 크기(MR)로서 고려될 수 도 있는 크기 값(505)으로 변환한다. 기준 크기 값(505)은 스칼라 값일 수 도 있으며, 이 스칼라 값은 합산 라우드니스 값(503d)에 의해 나타내는 합산 라우드니스를 표현한다(그러나 진폭 값의 영역에 있을 수 도 있음).
다운믹서(500)는 선택적으로 스케일러(506)를 포함할 수 도 있으며, 이러한 스케일러는 그러나 도 5의 실시예에서 비활성일 수 도 있다. 그에 따라, 변경된("스케일링된") 크기 값(506a)은 기준 크기 값(505)과 동일할 수 도 있다.
다운믹서(500)는 또한 위상 계산부(508)를 포함한다. 위상 계산부(508)는, 스펙트럼 영역 값(501a 내지 501n)을 결합하는 복소수 값의 합산 값의 수치 표현을 수신할 수 도 있다. 예컨대, 스펙트럼 영역 값(501a 내지 501n)의 실수부의 수치 표현(Re1 내지 ReN)은 (예컨대, 합산기나 결합기(507a)에서) 합산되어 합산 값의 실수부의 수치 표현(507b)(또한 ReDMX로 표시됨)을 획득할 수 도 있다. 유사하게, 스펙트럼 영역 값(501a 내지 501n)의 허수부의 수치 표현(Im1 내지 ImN)이 (예컨대, 합산기나 결합기(507c)에 의해) 합산되어, 합산 값의 허수부의 수치 표현(507d)(또한 LmDMX)으로 표시됨)을 획득한다.
위상 계산부(508)는 합산 값의 실수부의 수치 표현(507b)을 기초로 및 합산 값의 허수부의 수치 표현(507d)을 기초로 위상 값(508a)을 연산한다. 예컨대, 위상 계산부는 아크 탄젠트(arcus tangent) 연산을 포함할 수 도 있으며, 합산 값의 실수부와 허수부의 수치 표현이 위치하는 사분면 사이의 차이를 고려할 수 도 있다. 그에 따라, 위상 값(508a)은 예컨대 0과 360°사이 또는 0과 2π 사이 또는 -180°와 +180°사이 또는 -π와 +π사이의 범위를 나타낼 수 도 있다.
다운믹서(500)는 또한, 도 5에 따른 실시예에서는 통상 비활성인 선택적 위상 정정부(510)를 포함한다.
다운믹서(500)는 위상 값 적용/수치 표현 재구성부(511)를 또한 포함한다. 위상 값 적용부는 (본 실시예에서 기준 크기 값(505)과 동일할 수 도 있는) 크기 값(506a)을 수신하며, 또한, 본 실시예에서 위상 값(508a)과 동일할 수 도 있는 정정된 위상 값(510a)을 수신한다.
위상 값 적용부(511)는 다운믹스 신호의 스펙트럼 영역 값의 실수부(Reactive)의 수치 표현을 결정하며, 또한 다운믹스 신호의 스펙트럼 영역 값의 허수부의 수치 표현을 결정한다. 그에 따라, 위상 값 적용부(511)는 다운믹스 신호의 스펙트럼 영역의 실수부의 수치 표현(511a)과, 다운믹스 신호의 스펙트럼 영역 값의 허수부의 수치 표현(511b)을 제공한다.
실수부의 수치 표현과 허수부(511a, 511b)의 수치 표현 모두가 합성 필터뱅크일 수 도 있는 선택적 필터뱅크(502)에 제공된다. 필터 뱅크(502)는, (예컨대 관련된 상이한 주파수를 가진) 다수의 스펙트럼 빈에 대해, 다운믹스 신호의 (복소수 값) 스펙트럼 영역 값의 수치 표현을 기초로 다운믹스 신호의 시간 영역 표현(592)을 제공하도록 구성될 수 도 있다.
그에 따라, 다운믹스 신호가 획득될 수 있으며, 크기 값과 위상 값은 독립적으로 (예컨대, 스칼라 값으로서) 처리되며, 스펙트럼 영역 값의 복소수 값 수치 표현이 (예컨대, 시간 영역 표현의 재-합성 전) 최종 처리 단계로서 단지 생성된다.
다음에서, 도 5를 참조하여 기재한 개념을 요약할 것이다. 다음에서 기재한 개념은 앞서 언급한 상세와 독립적으로 사용될 수 있음을 주목해야 한다. 그러나 다음에서 기재한 상세 중 임의의 것이 본 명세서에서 기재한 실시예 중 임의의 것과 결합하여 또한 사용될 수 있다.
이 개념은 "라우드니스 보존 다운믹스"로서 고려될 수 있음을 주목해야 한다. 본 명세서에서 기재한 새로운 접근법은 입력 신호를 단지 다운믹스하는 것은 아니며, 원치 않는 부작용을 결국 정정하려고 시도한다. 이 접근법은, 2개의 상이한 개념을 기초로, 서로 독립적으로 원하는(라우드니스 보존) 크기와 위상 정보를 계산한다.
예컨대, 원하는(기준-) 크기는 직접 계산된다. 이것은 임의의 원치 않은 간섭이 없으며, 따라서 적절한 위상 정보와 결합될 경우 임의의 원치 않는 다운믹스(DMX) 아티팩트가 없다. 위상 정보는 별도로 계산되며 수동 다운믹스(DMX)로부터 유래한다.
도 5에서, 본 발명의 실시예는 (필터뱅크 분석부(501)와 합성부(502) 사이에서) 하나의 주파수 대역에 대하여 예시하여 도시한다. 물론, 상이한 버퍼 크기가 가능하다. 게다가 도 5에 도시한 소거도 계산(아티팩트 보존) 및 매핑(라우드니스 보존)이 도 5에 따른 실시예의 핵심 구성요소라기보다는 선택적 확장으로 고려되어야 함을 주목해야 한다. 유사하게, 위상 정정 값 계산부가 선택적 보완으로서 고려되어야 한다.
다음에서, 일부 추가 설명이 크기 또는 기준 크기(505 또는 506a)의 계산에 관해 및 위상의 계산에 관해 제공될 것이다.
(기준-) 크기:
입력 신호는 라우드니스-보존 방식으로 다운믹스되어, 크기(MR)(505)를 형성하며, 크기는 다음과 같이 도 5에서 적색/연속 선으로 또는 "크기 계산"으로 표기된 선으로 도시된다:
1. 각 입력 신호의 라우드니스가 계산된다(라우드니스 추정부(503)); 라우드니스는 사람 청각 체계, 에너지 값, 크기 값 등을 기초로 라우드니스를 표현할 수 있다;
2. 라우드니스 값이 합산된다;
3. 라우드니스 합은 크기로 변환된다(라우드니스-크기 변환부(504)); 예컨대 제곱근이 에너지 값에 사용된다;
4. 선택 사항:MR(기준 크기(MR)(505))의 가중이 (예컨대, 스케일링부(506)를 사용하여) 변경된(또는 스케일링된) 크기(MMod R)(506a)가 된다; 적응 기준 크기를 갖는 라우드니스 다운믹스를 나타낼 때 추가 상세가 기재될 것이다; 이 단계는 에러 위상 정보에 의해 야기되는 것으로 보일 수 있는 잠재적 아티팩트를 회피하도록 실행될 수 있다.
위상:
(수동 DMX 위상(PP)으로도 표시되는) 위상(PP)(508a)은 (예컨대 결합기나 가산기(507a, 507c)에 의해 획득되며 507b, 507d로 표시되는) 수동 다운믹스로부터 도출되며, 위상의 도출은 다음과 같이 청색/연속선이나 "위상 계산부"로 표기된 선으로 도시된다:
1. 입력 신호는 예컨대 결합기나 가산기(507a, 507c)에서 수동 방식(간단한 덧셈)으로 다운믹스되며; 선택적으로는 결합기나 가산기(507a, 507c)에서 상이하게 모티베이트된 다운믹스(DMX)를 사용할 수 있으며; 이 경우, 그러나 "적응 기준 크기를 가진 라우드니스 다운믹스"와 "적응 위상을 가진 라우드니스 다운믹스"를 나타내는 절에서 기재되는 추가 절차와 라우드니스 합산이 상이한 타입의 다운믹스인 점에서 처리되어야 한다(또는 처리될 필요가 있다).
2. ReDMX와 ImDMX(507b, 507d)가 예컨대 4-사분면 역탄젠트 함수를 사용함으로써 (예컨대, 위상 계산부(508)를 사용하여) 위상 정보를 계산하는데 사용된다.
3. 선택사항: (수동 DMX 위상(PP)으로도 표시되는) 위상(PP)(508a)은 (예컨대 결합기나 가산기(510)를 사용하여 정정되거나 변경된 위상 값(PMod P)(510a)을 형성하도록 변경될 수 있다. 이 문제에 관한 상세는 이하에서, 예컨대 적응 위상을 가진 라우드니스 다운믹스를 나타내는 절에서 기재한다; 이 단계는 위상 점프 없는 위상 응답을 만들기 위해 실행될 수 있다.
기준 크기(MR)(505)(또는 변경된 크기 값(MMod R)(506a))와 위상(PP)(508a)(또는 변경된 위상(PMod P)(510a))은 위상 값 적용부(511)에서 결합된다. 즉 극 형태에서 직교 형태(또는 수치 표현)로 진행한다.
5. 도 6에 따른 실시예
도 6은 적응 기준 크기를 가진 라우드니스-다운믹스를 사용하는 다운믹서의 블록 개략도를 도시한다. 도 6에 따른 다운믹서(600)가 도 5에 따른 다운믹서(500)와 유사하여, 동일한 신호, 블록, 특성 및 기능은 다시 기재하지 않을 것임을 주목해야 한다. 또한, 동일한 특성과 신호는 동일한 참조번호로 표시하여 앞선 기재를 참조할 것임을 주목해야 한다.
그러나 다운믹서(500) 외에, 다운믹서(600)는 아티팩트 방지로서 고려될 수 있는 소거도 계산부(612)와, 라우드니스 보존으로서 고려될 수 있는 매핑부(613)를 포함한다. 예컨대, 소거도 방지부(612)는 스펙트럼 영역 값(501a 내지 501n)(또는 더 정확히는 그 직교 수치 표현)을 수신한다. 소거도 계산부(612)는, 또한 Q로 표시되는 이득 값(612a)을 매핑부(613)에 제공한다.
매핑부(613)는 이득 값(612)(Q)을 수신하여, 이를 기초로 해서 또한 Qmapped로 표시되는 매핑된 이득 값(613a)을 스케일러(506)에 제공하며, 스케일러(506)는 매핑된 이득 값(613a)을 사용하여 기준 크기 값(505)을 스케일링하여, 스케일링된 크기 값(506a)을 획득하며, 이 크기 값(506a)은 위상 값 적용부(511)에 입력된다. 예컨대, 소거도 계산부(612)는, 높은 소거도라면 이득 값(612a)이 상대적으로 작은 값(예컨대, 0에 가까운 값)을 갖도록 이득 값(612a)을 결정할 수 도 있으며, 입력 신호 사이의 상대적으로 작은 소거도인 경우(예컨대, 복소수 값 가산에 의해 입력 신호의 결합을 고려할 경우) 상대적으로 더 큰 값(예컨대, 1에 가까운 값)을 갖도록 이득 값(612a)을 결정할 수 도 있다. 그에 따라, 위상 값의 높은 불신도나 위상 점프 위험에 대응하는 높은 소거도가 있을 것임을 알게 된다면(또는 예상한다면), 이득(612a)은 작도록 선택된다. 다른 한편, 이득 값(612a)은, 위상 값이 상대적으로 신뢰할만하며 부적절한 위상 점프가 없음을 암시하는 작은 소거도라면 상대적으로 크도록 선택된다.
매핑부(613)는, 상대적으로 큰 소거도인 경우에 (스케일링된) 크기 값(506a)을 감소시킴으로써 야기될 (적어도 시간 평균에 걸친) 에너지 손실을 적어도 부분적으로 보상하는 것을 돕는다. 예컨대, 매핑부(613)는, 매핑된 이득이 종종 1보다 큰(예컨대, 상대적으로 작은 소거도인 경우 및 상대적으로 작은 이득 값(Q)에 의해 이전에 야기된 에너지 손실이 있는 경우) 방식으로 및 매핑된 이득 값(613)이 다른 시간 기간에서는 1보다 상당히 작도록(예컨대, 상대적으로 큰 소거도인 경우) 매핑된 이득(613a)을 획득할 수 도 있다.
소거도 계산부(612)에 관한 및 매핑부(613)에 관한 상세는 다음에서 기재할 것이다. 그러나 앞선 설명을 또한 참조해야 하며, 상기 언급한 기능은 선택적으로 다운믹서(600)에 도입될 수 있다.
다음에서, 몇 가지 추가 설명을 제공할 것이다. 특히, 다운믹서(600)는, 다운믹서(500)와 비교할 때 높은 소거인 경우를 더 양호하게 취급하도록 확장된다.
그러나 일반적으로 도 6에 따른 다운믹서(600)와 또한 도 8에 따른 다운믹서(800)는 특별한 경우에 대한 선택적 해법을 제공한다고 할 수 있다.
앞서 이미 언급한 바와 같이(예컨대, 두 벡터가 유사한 크기를 가지며 대략 180도의 각도차를 갖는 경우의 설명; 도 4c 참조), 입력 신호의 합산은 매우 강한 소거를 야기할 수 있으며 강한 위상 점프를 발생시킬 수 있다. 그 경우에, 기준 크기(MR)의 에러 위상 정보(PP)(508a)와의 결합은 가청 아티팩트를 야기할 것이다.
이들 인공적으로 발생된 아티팩트를 극복하기 위해, 2개의 해법을 본 명세서에서는 제시한다(예컨대, 도 6 및 도 8을 참조). 제1 해법은, 기준 크기를 낮춤으로써 가청 스레시홀드 값 미만으로의 아티팩트의 감쇄를 포함한다. 이러한 구성은 "적응 기준 크기를 가진 라우드니스 다운믹스"라는 제목의 절에서 기재한다. 대안으로서 또는 제1 해법에 추가하여 사용될 수 있는 제2 해법으로서, 신뢰할 수 없는 위상 응답의 정정을 할 수 있다. 이러한 구성은 "적응 위상을 가진 라우드니스 다운믹스"라는 제목의 절에서 기재되어 있다.
적응 기준 크기를 가진 라우드니스 다운믹스
인공적으로 발생된 아티팩트를 극복하기 위한 하나의 가능성은, 들을 수 없게 될 때까지 시간 상의 특정 지점에서 기준 크기(예컨대, 기준 크기(505))를 감쇄시키는 것이다. 이에 대해서, 도 5에 따른 다운믹서(500)의 "좌측 윙"이 활성화된다(예를 들어 적색/점선으로 또는 "선택적 크기 변경"으로 표시된 타입의 선으로 도시됨).
이 문제에 관하여, 도 6을 참조하며, 도 6은, 적응 기준 크기를 가진 라우드니스 다운믹스를 가진 다운믹서의 블록 개략도를 도시한다.
소거도 계산부(612)에서, 입력 신호가 분기되며, 소거도가 계산된다(또는 추정된다). 상쇄 간섭이 없다면, Q로 표시된 이득 값(612a)은 1이다. 완전 소거의 경우에, 또한 Q로 표시된 이득 값(612a)은 0이다. 이러한 조치는 잠재적인 에러 위상 정보를 검출하기 위해 사용된다.
매핑부(613)로서 표시되는 제2 단계에서, 소거도는 라우드니스-보존 이득(Qmapped)(예컨대, 매핑된 이득(613a))이도록 매핑된다. 두 단계 또는 기능 블록 또는 기능(612, 613)은 다음에서 기재된다.
아티팩트 방지/소거도 계산부(612):
도 7은, 복소 평면에서의 3개의 입력 신호의 소거도의 도출의 개략도를 도시한다. 가로축(710)은 실수부(또는 실수 성분)를 표시하고, 세로축(712)은 허수부(또는 허수 성분)를 기재한다. 예컨대, 제1 입력 신호의 스펙트럼 빈을 표현하는 제1 복소수 값이 제1 벡터(720a)로 표현되고, 예컨대 제2 입력 신호의 스펙트럼 빈을 표현할 수 도 있는 제2 복소수 값이 제2 벡터(720b)로 표현되며, 예컨대 제3 입력 신호의 스펙트럼 빈을 표현할 수 도 있는 제3 복소수 값이 제3 벡터(720c)로 표현된다. 다시 말해, 도 7에서, 하나의 잠재적인 개념은 복소 평면에서 3개의 벡터(720a, 720b, 720c)에 의해 표현되는 3개의 입력 신호를 기초로 예시적으로 설명한다.
허수 축과 실수 축 상의 소거도는 별도로 계산되어 에너지-정정 방식으로 결합된다:
o 3개의 벡터의 양의 허수부에 대한 합을 계산한다 ⇒ sumlm+
o 3개의 벡터의 음의 허수부에 대한 합을 계산한다 ⇒ sumlm-
o 3개의 벡터의 양의 실수부에 대한 합을 계산한다 ⇒ sumRe+
o 3개의 벡터의 음의 실수부에 대한 합을 계산한다 ⇒ sumRe-
o 4개의 합을 다음의 수학식에서 결합한다
그러나 소거도의 계산을 위해, 경사축 체계(예컨대, 수동 다운믹스(DMX)의 위상각을 향한 배향을 가짐)도 사용될 수 있음을 주목해야 한다. 게다가, 앞서 기재한 추가 절차는 선택적으로는 대안적인 공식을 사용하여 소거도를 계산할 수 있음을 주목해야 한다. 그러나 일부 실시예에서 기준 크기를 충분히 감소시키기 위해 강한 소거도를 정확히 계산하는 것이 중요하다. 4개의 합(예컨대, 양의 허수부에 대한 합, 음의 허수부에 대한 합, 양의 실수부에 대한 합 및 음의 실수부에 대한 합)이 예컨대 다음의 수학식에서(또는 다음의 수학식을 사용하여) 결합될 수 도 있어서, 이득 값(612a)을 도출할 수 도 있다:
o
Figure pct00018
,
Figure pct00019
Figure pct00020
o
Figure pct00021
,
Figure pct00022
Figure pct00023
o
Figure pct00024
,
Figure pct00025
Figure pct00026
o
Figure pct00027
,
Figure pct00028
Figure pct00029
4 경우의 차이를 구하여, Q는 0과 1 사이의 값을 가질 수 있다.
라우드니스 보존-매핑부(613)-대안 1:
다음에서, (매핑 블록(613)에 의해 실행될 수 도 있는) 매핑 절차는 에너지 보존의 경우에 대해서 예시적으로 계산된다. 그러나 상이한 매핑 수학식이 가능함을 주목해야 한다.
이득 값(Q)이 기준 크기에 직접 적용된다면, 그 에너지를 감소시킬 것이다(예컨대, 이득 값(Q)이 0과 1 사이의 범위에 있다면). 이점은 혼합된 신호의 인지된 라우드니스를 감소시킬 수 도 있다.
본 발명의 양상에 따라, 에너지 손실을 그러므로 추적하여 신호에 시간-지연 피드백한다. 이 제2 단계(613)에 의해, 이전에 실행되었던 기준 크기(612)의 감소를 되돌리지 않는 것이 중요하다. 기준 크기의 감소가 너무 높지 않았다면, 에너지는 단지 피드백될 수 있다. 구체적으로, 이들 단계가 시행된다:
-
Figure pct00030
= [0 - 1]로 평활화함으로써 시간에 걸친 소거도를 추적함:
Figure pct00031
- 그 값 범위의 상한을 초과한 Q의 매핑으로 1을 초과하는 값 및 그에 따른 증폭을 허용함:
Figure pct00032
그러나 상이한 추적 수학식 및/또는 방법이 가능함을 주목해야 한다.
그러나 다음의 설명을 주목해야 한다:
일정 값(T=0.6)으로, 평균적으로 에너지 손실을 보상하는 Q의 값 범위의 매핑이 달성됨을 알게 되었다. 지수(T)의 값은 125개보다 많은 오디오 신호의 데이터베이스로부터 경험적으로 결정되었음을 주목해야 한다. 이를 위해, 기준 크기의 에너지는 (가청 범위에서) 모든 대역에 걸쳐서 합산되었으며, Qmapped로 처리된 변경된 크기의 합산된 에너지와 비교되었으며, 차이는 T에 걸쳐서 최소화되었다. 그러나 상이한 매핑 효과가 바람직하다면, 지수(T)는 또한 변화시킬 수 있다.
게다가, Q가 더 작을수록, 위로 덜 매핑되게 됨을 주목해야 한다. 아티팩트는 증폭되지 않는다.
또한, Q가 더 클수록, 위로 더 매핑되어, 1을 초과한 값에 도달할 수 있다.
일부 실시예에서, 이점은, 시간에서 위상 정보가 더욱 신뢰할만할수록, 에너지는 신호에 더욱 피드백됨을 보장한다. 그러나 일부 실시예에서, 피드백된 에너지의 양을 제한하여 과도한 증폭을 회피하는 것이 유용할 수 도 있다. 예컨대, Qmapped은 특정한 값, 예컨대, 1.2, 1.5, 1.8 또는 2.0으로 제한될 수 도 있다.
라우드니스 보존-매핑부(613)-대안 2:
다음에서, 라우드니스 보존-매핑부(613)의 대안적인 구현을 기재할 것이다.
다음에서, 매핑 절차는 에너지 보존의 경우에 예시적으로 계산된다. 그러나 상이한 매핑 수학식이 가능하다.
Q가 기준 크기에 직접 적용된다면, 그 에너지를 감소시킬 것이다. 이점은 혼합된 신호의 인지된 라우드니스를 감소시킬 수 도 있다. 에너지 손실은 그러므로 추적되고 신호에 시간-지연 피드백된다. 이 제 2 단계(예컨대 블록(613)에서)에 의해, 이전에 실행된 기준 크기의 감소(예컨대, 블록(612)에서)를 되돌리지 않는 것이 중요하다. 기준 크기의 감소가 너무 높지 않았다면, 에너지는 단지 피드백될 수 있다.
구체적으로, 이들 단계가 수행된다:
o
Figure pct00033
= [0 - 1]인 평활화에 의해 시간에 걸친 소거도의 추적:
Figure pct00034
그러나, 상이한 추적 수학식/방법이 가능하다.
o 값 1을 향하며 그에 따라 기준 크기[212]를 증폭하지 않는 Q의 (만족스러운) 매핑:
Figure pct00035
Figure pct00036
일반적으로 말해, 이러한 타입의 매핑은 원래의 기준 크기를 보존하려고 시도하며, 더 강한 상쇄 간섭이 검출된다면, 단지 원래의 기준 크기를 감쇄시킨다. 증폭이 없을지라도, 인지된 전체 라우드니스는 변화하지 않는다. 기준 크기의 감쇄는, 더 강한 상쇄 간섭으로 인해 대부분 신호에 의해 차단된다.
다음의 코멘트를 바람직하게는 고려해야 한다:
o 상수 이득(G)은 경사도의 세기이며, 예컨대 1과 10 사이(또는 0.5와 20 사이)의 값을 가질 수 있다.
o 경사도(
Figure pct00037
)는 소거도의 평균에 의존한다.
o 잠재적인 아티팩트를 증폭시키기 않기 위해,
Figure pct00038
가 더 작을수록, 매핑에 더 주의한다.
o
Figure pct00039
가 더 클수록, 매핑은 더 강하다.
도 11은, 본 명세서에서 기재한 라우드니스 보존에 대해 상이한 매핑 개념을 사용하여 달성할 수 있는 매핑 곡선의 예를 도시한다.
제1 대안에 따른 매핑에서, 1보다 큰 증폭이 허용되어, 손실 에너지가 Qmapped를 사용하는 시간-지연 방식으로 신호에 도입(피드백)된다.
제2 대안에 따른 매핑에서, 증폭은 허용되지 않는다. 오히려, 기준 크기를 가능한 한 많이 유지하려고 하며, 따라서 기준 크기를 스케일링 다운(또는 감소)하지 않고자 한다. 강한 상쇄 간섭이 발생한다면, 기준 크기는 오직 감소하거나 스케일링 다운된다. 또한, 감소도(또는 스케일링 다운 도)는 여전히 Qsmooth, 즉 시간에 걸친 에너지 손실에 의존한다.
6. 도 8에 따른 다운믹서
도 8은, 본 발명의 다른 실시예에 따른 다운믹서의 블록 개략도를 도시한다.
다운믹서(800)는 다운믹서(500)와 유사하여, 동일한 특성, 기능 및 신호는 다시 여기서 기재하지 않을 것이다. 오히려, 동일한 참조번호가 다운믹서(500)의 논의에서처럼 사용될 것이며, 다운믹서(500)에 관한 앞선 설명을 참조하기 바란다.
그러나, 다운믹서(500)의 기능 및/또는 블록 외에, 다운믹서(800)는 위상 정정 값 계산부(814)를 또한 포함하며, 이 계산부(814)는 입력 신호(또는 그 스펙트럼 빈)의 복소수 값 표현(501a 내지 501n)을 수신한다. 게다가, 위상 정정 값 계산부(814)는 위상 값(508a)을 또한 수신할 수 도 있다. 위상 정정 값 계산부(814)는 또한 위상 정정 값(815)을 결합기(510)에 제공하여, 결합기(510)는, (또한 W로 표기되는) 위상 정정 값(815)을 고려하여, 위상 값(508a)을 기초로 변경된 위상 값(510a)을 도출한다.
그에 따라, 위상 정정 값 계산부(814)는 예컨대, 앞서 기재한 간단한 위상 계산부(508)에 의해 획득할 수 도 있는 위상 값(508a)이 실제 위상 값으로부터 크게 벗어날 때 또는 위상 값(508a)이 과도한 위상 점프 등을 포함할 때를 결정할 수 도 있다.
예컨대, 위상 정정 값 계산부(814)는 위상 정정 값(815)을 제공할 수 도 있어서, 위상 계산부(508a)에 의해 제공된 위상 값과 정정된 위상 값(510a) 사이의 매끄러운 페이드-오버(smooth fade-over)가 있다. 예컨대, 위상 정정 값 계산부(814)는 위상 정정 값(815)을 제공할 수 도 있어서, 위상 정정 값(815)은 0으로부터 원하는 위상 정정 값으로 매끄럽게 전환한다.
그러나, 일부 실시예에서, 합산기/결합기(507a, 507c), 위상 계산부(508), 위상 정정 값 계산부(814) 및 결합부(510)는 개선된 위상 값 계산부 - 증가한 신뢰도를 갖는 위상 값을 공통적으로 계산함 - 에 의해 교체할 수 있음을 주목해야 한다.
예컨대, 도 3에 도시한 위상 값 결정부는 영구적으로 사용할 수 도 있거나, 요건에 따라서는 위상 정정 값(815)의 제공에 사용될 수 도 있다.
적응 위상을 가진 라우드니스 다운믹스
다음에서, 적응 위상을 가진 라우드니스 다운믹스를 기재할 것이며, 이러한 다운믹스는 본 발명의 양상에 따라 사용될 수 있다.
기준 크기(MR)를 계속해서 사용할 수 있기 위해, "신뢰할 만한" 위상 응답이 필요하다. 이를 위해, 도 5에서(및 또한 도 8에서) (청색/점선이나 "선택적 위상 변경"으로 표기된 선으로 도시된) 우편 윙이 활성화된다. 단계 또는 기능 블록, "위상 정정 값 계산부"(814)에서, (W로도 표시되는) 위상 정정 값(815)이 분기된 입력 신호를 기초로(예컨대, 수치 표현(501a 내지 501n)을 기초로) 계산된다. 수동 다운믹스의 잠재적인 에러 위상, 예컨대, "수동 다운믹스 위상(PP)(508a)"이 그러한 방식으로 정정되어, 주목할 만한 아티팩트(이에 기초한 위상 점프)는 회피된다.
모듈(또는 기능 블록 또는 기능), "위상 정정 값 계산부"(814)는 여러 서브모듈로 구성될 수 있다. 수동 다운믹스 동안 입력 신호의 상쇄 간섭이 없는 경우에, 위상 정정 값은 0에 가깝다. 상쇄 간섭/소거가 발생하자마자, 신뢰할 만한 위상 응답을 야기하는 값(예컨대, 위상 정정 값)이 계산된다.
신뢰할 만한 위상 응답이, 예컨대 입력 신호의 적응적으로 가중된 합으로부터 회수된다. 예컨대, 시간에 걸쳐서 개별 신호의 라우드니스 값을 추적할 필요가 있을 수 도 있다. 적응 가중은 상쇄 간섭을 방해하지 않고도 DMX(서브-믹스)를 만드는 것을 목적으로 한다. 서브-믹스에서, 상쇄 간섭은 특정 정도까지 용인될 수 있다. 이점은 개별 입력 신호를 재가중할 때 인공적으로 생성되는 위상 점프를 회피하는데 유용할 수 있다.
수동 다운믹스(DMX)와 서브-믹스 사이를 스위칭하면서 매끄러운 전환을 보장하기 위해, 상쇄 간섭/소거가 발생하지 않을 때 위상 정정이 또한 적용될 수 있다. 선택적으로, 위상 점프를 추가로 감쇄시키기 위해 여러 주파수 대역에 걸쳐 위상 응답을 평활화할 수 있다.
결론적으로, 도 8은 적응 위상을 가진 라우드니스 다운믹스를 사용하는 다운믹서의 블록 개략도를 도시한다.
예컨대, 도 8에 따른 실시예에서, 소거도 계산부(612) 및 매핑부(613)는 비활성일 수 있지만(없을 수 있지만), 위상 정정 값 계산부(814)는 활성일 수 도 있다.
그러나 일부 실시예에서, 소거도 계산부(612)와 매핑부(613), 및 위상 정정 값 계산부(814)를 동시에 사용하여 우수한 결과를 획득할 수 도 있다.
그러나 도 8에 따른 실시예는 본 명세서에서 개시하는 특성, 기능 및 상세 중 임의의 것을 개별적으로 또는 조합하여 보완될 수 있음을 주목해야 한다.
7. 결론 및 일반 사항
결론적으로, 다수의 입력 신호를 기초로 다운 믹스 신호를 제공할 때 아티팩트를 감소시키는 것을 돕는 개념이 기재되었음을 주목해야 한다. 구체적으로, 소거로 인해 발생하는 문제를 해결하였다. 예컨대, 2개 이상의 포인터(또는 페이저 또는 벡터)가 90°의 각도 영역 외부에 있자마자, 좌표계의 한 축 또는 심지어 양 축 상에서 소거가 있다. 이것이 의미하는 점은, 포인터(또는 페이저 또는 벡터)의 실수 성분이나 허수 성분 중 어느 하나(또는 둘 모두)가 부분적으로 또는 심지어 완전히 소거된다는 점이다. 그에 따라, 상쇄 간섭/중첩을 증명할 수 있다. 그에 따라, 상쇄 간섭이나 중첩이 있는지에 대한 문의가 합 벡터의 길이와 독립적이며 및 또한 합 벡터의 길이가 2개의 벡터 중 더 긴 벡터보다 긴지에 대한 문의와 독립적이다.
추가 사항으로서, 간섭은 시간 평균에서 또한 고려되며, 이는 처리가 통상 주파수 영역에서 발생하며 통상 특정 길이의 신호 버퍼가 분석되기 때문임을 주목해야 한다. (시간 신호 구조를 고려할 때) 신호 버퍼 내에서, 동시에 보강 및 상쇄 간섭이 있을 수 도 있음을 주목해야 한다. 그러나 주파수 영역에서, 어떠한 간섭이 버퍼에서 지나치게 가중되는지만을 알 수 있다. 그에 따라, 버퍼는 적절히 분류된다. 그에 따라 보강 또는 상쇄 간섭이 있는지에 대한 문의가 본 명세서에서 기재된 대로 판단될 수 있음을 주목해야 한다. 또한, 위상 값이 간섭 면에서 신뢰할 수 없을 것이라는 점이 알려질 때, 진폭 및/또는 위상의 적절한 정정이 예컨대 이뤄질 수 있다.
8. 도 9에 따른 방법
도 9는, 본 발명의 실시예에 따른 다수의 입력 신호를 기초로 다운믹스 신호를 제공하기 위한 방법(900)의 흐름도를 도시한다.
방법(900)은, 입력 신호의 라우드니스 정보를 기초로 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 결정하는 단계(910)를 포함하며, 방법(900)은 다운믹스 신호의 스펙트럼 영역 값의 위상 값을 결정하는 단계(920)를 포함한다. 방법(900)은, 스펙트럼 영역 값의 크기 값을 기초로 다운믹스 신호의 스펙트럼 영역 값의 복소수 표현을 획득하기 위해 위상 값을 적용하는 단계(930)를 또한 포함한다.
방법(900)은 선택적으로 본 명세서에서 기재한 특성, 기능 및 상세 중 임의의 것을 개별적으로 및 조합하여 보완될 수 있다.
또한, 단계(910 및 920)는 자연스럽게 원한다면 병렬로 수행될 수 도 있음을 주목해야 한다.
9. 도 10에 따른 오디오 인코더
도 10은, 본 발명의 실시예에 따른 오디오 인코더(1000)의 블록 개략도를 도시한다.
오디오 인코더(1000)는, 다수의 입력 오디오 신호(1010a 내지 1010n)를 기초로 인코딩된 오디오 표현(1012)을 제공하도록 제공된다.
오디오 인코더는, 앞서 기재한 다운믹서 중 임의의 것에 대응할 수 도 있는 다운믹서(1020)를 포함한다. 다운믹서(1020)는, 다수의 입력 오디오 신호의 (복소수 값) 스펙트럼 영역 표현을 기초로 다운믹스 신호(1022)를 제공하도록 구성된다. 게다가, 오디오 인코더는 인코딩된 오디오 표현(1012)을 획득하기 위해 다운믹스 신호(1022)를 인코딩하도록 구성된다.
오디오 인코더는, 예컨대 AAC-타입 인코딩 또는 LPC-기초 인코딩과 같은 다운믹스 신호를 인코딩하기 위한 알려진 인코딩 기술 중 임의의 기술을 사용할 수 도 있다. 또한, 오디오 인코더는 다운믹싱을 나타내는 추가 부차 정보(예컨대, 다운믹스 신호에서의 입력 신호의 가중) 또는 오디오 인코딩 기술에서 알려져 있는 임의의 다른 부차 정보를 선택적으로 제공할 수 도 있다.
10. 구현 대안
일부 양상이 장치의 환경에서 기재되었을지라도, 이들 양상은, 블록이나 디바이스가 방법 단계 또는 방법 단계의 특성에 대응하는 대응 방법의 기재를 또한 나타냄이 자명하다. 유사하게, 방법 단계 환경에서 기재되는 양상은 또한 대응하는 장치의 대응하는 블록이나 항목이나 특성의 기재를 또한 표현한다. 방법 단계 중 일부나 모두는 예컨대, 마이크로프로세서, 프로그램 가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이를 사용하여) 수행될 수 도 있다. 일부 실시예에서, 가장 중요한 방법 단계 중 하나 이상이 그러한 장치에 의해 수행될 수 도 있다.
특정한 구현 요건에 의존하여, 본 발명의 실시예는 하드웨어나 소프트웨어로 구현될 수 있다. 이 구현은 예컨대 전기적으로 판독 가능한 제어 신호 - 프로그램 가능한 컴퓨터 시스템과 협력하여(또는 이와 협력할 수 있어서) 각각의 방법이 실행됨 - 가 저장되는 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리와 같은 디지털 저장 매체를 사용하여 실행될 수 있다. 그러므로, 디지털 저장 매체는 컴퓨터로 판독할 수 있을 수 도 있다.
본 발명에 따른 일부 실시예는 전기적으로 판독 가능한 제어 신호를 가진 데이터 캐리어를 포함하며, 이들 신호는 프로그램 가능한 컴퓨터 시스템과 협력할 수 있어서, 본 명세서에서 기재한 방법 중 하나가 실행된다.
일반적으로, 본 발명의 실시예는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로서 구현될 수 도 있으며, 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터 상에서 작동할 때 방법 중 하나를 실행하도록 동작한다. 프로그램 코드는 예컨대 기계로 판독 가능한 캐리어 상에 저장될 수 도 있다.
다른 실시예는, 본 명세서에서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 포함하며, 이 컴퓨터 프로그램은 기계로 판독 가능한 캐리어 상에 저장된다.
다시 말해, 본 발명의 방법의 실시예는 그러므로, 컴퓨터 상에서 작동할 때, 본 명세서에서 기재한 방법 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 추가 실시예는 그러므로 본 명세서에서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을, 기록하여 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터로 판독 가능한 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 통상 실체적(tangible)이며 및/또는 비일시적이다.
본 발명의 방법의 추가 실시예는, 그러므로 본 명세서에서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 표현하는 데이터 스트림이나 신호 시퀀스이다. 데이터 스트림이나 신호 시퀀스는 예컨대, 인터넷을 통해서와 같은 데이터 통신 연결을 통해 전송되도록 예컨대 구성될 수 도 있다.
추가 실시예는, 본 명세서에서 기재한 방법 중 하나를 실행하도록 구성되거나 그렇게 하도록 적응되는 예컨대 컴퓨터 또는 프로그램 가능한 로직 디바이스와 같은 처리 수단을 포함한다.
추가 실시예는, 본 명세서에서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는, 본 명세서에서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 (예컨대 전자적으로나 광학적으로) 수신기에 전송하도록 구성되는 장치나 시스템을 포함한다. 수신기는 예컨대 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 도 있다. 장치나 시스템은 예컨대 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 도 있다.
일부 실시예에서, 프로그램 가능한 로직 디바이스(예컨대, 필드 프로그램 가능한 게이트 어레이)는 본 명세서에서 기재한 방법의 일부 또는 모든 기능을 실행하는데 사용될 수 도 있다. 일부 실시예에서, 필드 프로그램 가능한 게이트 어레이가 본 명세서에서 기재한 방법 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 도 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 실행된다.
본 명세서에서 기재한 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치 및 컴퓨터의 결합을 사용하여 구현될 수 도 있다.
본 명세서에서 기재한 장치 또는 본 명세서에서 기재한 장치의 임의의 구성요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 도 있다.
본 명세서에서 기재한 방법은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치 및 컴퓨터의 결합을 사용하여 구현될 수 도 있다.
본 명세서에서 기재한 방법 또는 본 명세서에서 기재한 방법의 임의의 구성요소는 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 도 있다.
앞서 기재한 실시예는 본 발명의 원리에 대한 단지 예시이다. 본 명세서에서 기재한 배치 및 상세의 변경과 변형은 당업자에게 자명할 것임을 이해해야 한다. 그러므로, 수반하는 청구범위의 범위에 의해서만 제한되고자 하며, 본 명세서의 실시예의 기재와 설명에 의해 제공되는 특정 상세에 의해서는 제한되지 않고자 한다.
11. 추가 결론
추가 결론으로, N-채널 입력 신호를 다운믹싱할 때, M-채널 출력 신호(N>M)를 획득하기 위해, 원치 않는 효과가 발생할 수 있다. 이들 효과는 음색(sound colorization), 분위기 조장(ambience manipulation), 음성 명료도의 감소 및 기타 아티팩트의 형태로 스스로 드러날 수 있다.
이들 효과를 극복하기 위해, 라우드니스-보존 다운믹스가 크기에 대하여 처리될 수 도 있으며, 이와 병렬로, 비-적응 다운믹스가 위상 정보 회수를 위해 계산될 수 도 있다. 그 후, 크기 및 위상은 함께 합쳐져 M-채널 출력 신호를 형성한다.
이들 고려사항은 선택적으로 앞서 논의한 실시예 중 임의의 것에 삽입될 수 있다.

Claims (30)

  1. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(downmixer)(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스(loudness) 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되며;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되는, 다운믹서.
  2. 청구항 1에 있어서, 상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MR, MMod R)의 결정과 독립적으로 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P)을 결정하도록 구성되는, 다운믹서.
  3. 청구항 1 또는 청구항 2에 있어서, 상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값(110a, 110b; 210a, 210b; 501a, 501n)의 라우드니스 값(503a, 503b)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값과 관련되는 합산 라우드니스 값(503d)을 도출하도록 구성되며;
    상기 다운믹서는, 상기 합산 라우드니스 값으로부터 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 도출하도록 구성되는, 다운믹서.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값의 합(507b, 507d) 또는 가중된 합(392)을 결정하며,
    상기 입력 신호의 스펙트럼 영역 값의 합 또는 가중된 합을 기초로 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되는, 다운믹서.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서, 상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 극 표현(polar representation)의 절대값으로서 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 사용하고, 상기 다운믹스 신호의 스펙트럼 영역 값의 극 표현의 위상 값으로서 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 사용하며, 상기 극 표현을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 직교 복소수 값(cartesian complex-valued) 표현(511a, 511b)을 획득하도록 구성되는, 다운믹서.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서, 상기 다운믹서는, 소거도(cancellation degree) 정보(Q; 232; 612a)를 결정하며, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)의 결정 시에 상기 소거도 정보를 고려하도록 구성되고,
    상기 소거도 정보는, 상기 입력 신호의 스펙트럼 영역 값 사이의 보강 또는 상쇄 간섭의 정도를 나타내며,
    상기 다운믹서는, 상기 소거도 정보가 상쇄 간섭을 나타낼 경우에 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값의 합을 나타내는 크기 값(MR; 221; 505)과 비교할 때 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)을 선택적으로 감소시키도록 구성되는, 다운믹서.
  7. 청구항 6에 있어서, 상기 다운믹서는, 상이한 배향(orientation)을 갖는 입력 신호의 스펙트럼 영역 값(110a; 110b; 210a, 210b; 501a, 501n)의 성분의 합(sumIm+, sumIm-, sumRe+, sumRe-)을 결정하도록 구성되며,
    상기 다운믹서는, 상이한 배향을 갖는 입력 신호의 스펙트럼 영역 값의 성분의 합(sumIm+, sumIm-, sumRe+, sumRe-)을 기초로 상기 소거도 정보(Q)를 결정하도록 구성되는, 다운믹서.
  8. 청구항 7에 있어서, 상기 다운믹서는, 직교 배향과 관련되며, 반대 방향과 관련된 합(sumIm- 및 sumRe-) 이상인 2개의 상기 결정된 합(sumIm+ 및 sumRe+)을 주요 합산 값으로서 선택하도록 구성되고,
    상기 다운믹서는, 스케일링 값(Q, Qmapped)을 결정하도록 구성되며, 상기 스케일링 값은,
    - 제1 주요 합산 값(sumRe+)의 배향에 반대인 배향과 관련되는 제1 비-주요 합산 값(sumRe-)과 상기 제1 주요 합산 값(sumRe+) 사이의 비-부호화된 비, 및
    - 제2 주요 합산 값(sumIm+)의 배향에 반대인 배향과 관련되는 제2 비-주요 합산 값(sumIm-)과 상기 제2 주요 합산 값(sumIm+) 사이의 비-부호화된 비를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R)의 선택적 감소를 야기하여,
    비-주요 합산 값과 그 관련된 주요 합산 값 사이의 비-부호화된 비(|sumRe-|/sumRe+, |sumIm-|/sumIm+)의 증가가 결국 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R)의 감소를 야기하는, 다운믹서.
  9. 청구항 6 내지 청구항 8 중 어느 한 항에 있어서, 상기 믹서는 다음의 수학식:
    o 만약
    Figure pct00040
    이고,
    Figure pct00041
    라면:
    Figure pct00042

    o 만약
    Figure pct00043
    이고,
    Figure pct00044
    라면:
    Figure pct00045

    o 만약
    Figure pct00046
    이고,
    Figure pct00047
    라면:
    Figure pct00048

    o 만약
    Figure pct00049
    이고,
    Figure pct00050
    라면:
    Figure pct00051

    에 따라 상기 소거도 정보(Q)를 계산하도록 구성되며,
    sumRe+은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값(110a; 110b; 210a, 210b; 501a, 501n)의 양의 실수부의 합이고;
    sumRe-은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값의 음의 실수부의 합이고;
    sumIm+은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값의 양의 허수부의 합이며;
    sumIm-은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값의 음의 허수부의 합인, 다운믹서.
  10. 청구항 1 내지 청구항 9 중 어느 한 항에 있어서, 상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222)을 결정하도록 구성되어,
    상기 크기 값(MMod R)은, 상기 다운믹서에 의해 결정된 소거도 정보(Q; 232)가 상기 입력 신호 사이의 상대적으로 큰 상쇄 간섭을 나타내는 시간 인스턴스에서, 상기 입력 신호의 스펙트럼 영역 값의 합산 라우드니스에 대응하는 기준 값(MR; 221)에 관하여 선택적으로 감소하며,
    상기 크기 값은, 상기 소거도 정보(Q)가 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 상기 기준 값(MR)에 관하여 선택적으로 증가하는, 다운믹서.
  11. 청구항 10에 있어서, 상기 다운믹서는 시간에 걸쳐서 상기 소거도 정보(Q(t))를 추적하며, 상기 소거도 정보의 이력에 따라, 상기 소거도 정보(Q)가 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 상기 크기 값이 상기 기준 값(MR)에 관하여 얼마나 선택적으로 증가하는지를 결정하도록 구성되는, 다운믹서.
  12. 청구항 10 또는 청구항 11에 있어서, 상기 다운믹서는, 상기 소거도 정보를 추적하기 위해, 무한-임펄스-응답 평활 연산을 사용하거나 슬라이딩 평균 평활 연산을 사용하여 인스턴트 소거도 정보(Q(t))를 기초로 시간적으로 평활화된 소거도 정보(Qsmooth(t))를 획득하도록 구성되는, 다운믹서.
  13. 청구항 10 내지 청구항 12 중 어느 한 항에 있어서, 상기 다운믹서는, 상기 시간적으로 평활화된 소거도 정보(Qsmooth(t))에 따라 인스턴트 소거도 값(Q(t))을 매핑된 소거도 값(Qmapped)에 매핑하도록 구성되어,
    상기 크기 값의 감소를 나타내는 상기 시간적으로 평활화된 소거도 정보의 값이 결국 상기 인스턴트 소거도 값에 대한 상기 매핑된 소거도 값의 증가를 야기하는, 다운믹서.
  14. 청구항 1 내지 청구항 13 중 어느 한 항에 있어서, 상기 다운믹서는, 이전에 평활화된 소거도 값(Qsmooth(t-1))을 기초로 및 인스턴트 소거도 값(Q(t))을 기초로
    Figure pct00052
    에 따라 업데이트된 평활화된 소거도 값(Qsmooth(t))을 획득하도록 구성되고, p는 0<p<1인 상수이고;
    상기 다운믹서는,
    Figure pct00053
    에 따라 매핑된 소거도 값(Qmapped(t))을 획득하도록 구성되고, T는 0<T<1인 상수이며;
    Q(t)는 0과 1 사이의 범위에 있고, 상기 입력 신호 사이의 상대적으로 큰 상쇄 간섭의 경우 0의 값을 가지며, 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭의 경우 1의 값을 갖는, 다운믹서.
  15. 청구항 1 내지 청구항 13 중 어느 한 항에 있어서, 상기 다운믹서는, 이전에 평활화된 소거도 값(Qsmooth(t-1))을 기초로 및 인스턴트 소거도 값(Q(t))을 기초로
    Figure pct00054
    에 따라 업데이트된 평활화된 소거도 값(Qsmooth(t))을 획득하도록 구성되고, p는 0≤p≤1인 상수이고;
    상기 다운믹서는,
    Figure pct00055

    Figure pct00056
    에 따라 매핑된 소거도 값(Qmapped(t))을 획득하도록 구성되고;
    G는 0.5와 20 사이 또는 1과 10 사이의 미리 결정된 값이나 상수 값이고;
    mslope(t)는 보조 변수이고;
    max{}는 최대 연산자이고;
    min{}는 최소 연산자이며;
    Q(t)는 0과 1 사이의 범위에 있고, 상기 입력 신호 사이의 상대적으로 큰 상쇄 간섭의 경우 0의 값을 가지며, 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭의 경우 1의 값을 갖는, 다운믹서.
  16. 청구항 1 내지 청구항 15 중 어느 한 항에 있어서, 상기 다운믹서는, 소거도 값(Qmapped)을 사용하여, 상기 입력 신호의 스펙트럼 영역 값의 합산 라우드니스에 대응하는 크기 값(MR; 221)을 스케일링하여, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222)을 획득하도록 구성되는, 다운믹서.
  17. 청구항 1 내지 청구항 16 중 어느 한 항에 있어서, 상기 다운믹서는 상기 입력 신호의 스펙트럼 영역 값(110a, 110b; 210a, 210b; 501a, 501n)의 가중된 합(392)을 결정하며,
    상기 입력 신호의 스펙트럼 영역 값의 가중된 합을 기초로 상기 위상 값(398)을 결정하도록 구성되며,
    상기 다운믹서는, 미리 결정된 간섭 레벨보다 큰 상쇄 간섭을 회피하도록, 상기 입력 신호의 스펙트럼 영역 값을 가중하도록 구성되는, 다운믹서.
  18. 청구항 1 내지 청구항 17 중 어느 한 항에 있어서, 상기 다운믹서는 상기 입력 신호의 스펙트럼 영역 값의 가중된 합(392)을 결정하며,
    상기 입력 신호의 스펙트럼 영역 값의 가중된 합을 기초로 상기 위상 값(398)을 결정하도록 구성되며,
    상기 다운믹서는, 상이한 입력 신호에서의 각각의 스펙트럼 빈(spectral bin)의 시간-평균 세기(362, 372, 382)에 따라 상기 입력 신호의 스펙트럼 영역 값을 가중하도록 구성되는, 다운믹서.
  19. 다수의 입력 오디오 신호(1010a, 1010n)를 기초로 인코딩된 오디오 표현(1012)을 제공하기 위한 오디오 인코더(1000)로서,
    상기 오디오 인코더는 청구항 1 내지 청구항 18 중 어느 한 항에 기재된 다운믹서를 포함하고,
    상기 다운믹서는, 상기 다수의 입력 오디오 신호의 스펙트럼 영역 표현을 기초로 다운믹스 신호(1022)를 제공하도록 구성되며,
    상기 오디오 인코더는, 인코딩된 오디오 표현(1012)을 획득하기 위해 상기 다운믹스 신호를 인코딩하도록 구성되는, 오디오 인코더.
  20. 다수의 입력 신호를 기초로 다운믹스 신호를 제공하기 위한 방법(900)으로서,
    상기 방법은, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MR, MMod R)을 결정하는 단계(910)를 포함하고;
    상기 방법은, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P)을 결정하는 단계(920)를 포함하며;
    상기 방법은, 상기 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 표현을 획득하기 위해, 상기 위상 값(PP, PMod P)을 적용하는 단계(930)를 포함하는, 방법.
  21. 컴퓨터 프로그램으로서, 컴퓨터 상에서 작동할 때, 청구항 20에 기재된 방법을 실행하는, 컴퓨터 프로그램.
  22. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되며;
    상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값의 합(507b, 507d) 또는 가중된 합(392)을 결정하며,
    상기 입력 신호의 스펙트럼 영역 값의 합 또는 가중된 합을 기초로 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되는, 다운믹서.
  23. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는, 소거도 정보(Q; 232; 612a)를 결정하며, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)의 결정 시에 상기 소거도 정보를 고려하도록 구성되고,
    상기 소거도 정보는, 상기 입력 신호의 스펙트럼 영역 값 사이의 보강 또는 상쇄 간섭의 정도를 나타내며,
    상기 다운믹서는, 상기 소거도 정보가 상쇄 간섭을 나타낼 경우에 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값의 합을 나타내는 크기 값(MR; 221; 505)과 비교할 때 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)을 선택적으로 감소시키도록 구성되는, 다운믹서.
  24. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는, 소거도 정보(Q; 232; 612a)를 결정하며, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)의 결정 시에 상기 소거도 정보를 고려하도록 구성되고,
    상기 소거도 정보는, 상기 입력 신호의 스펙트럼 영역 값 사이의 보강 또는 상쇄 간섭의 정도를 나타내고,
    상기 다운믹서는, 상기 소거도 정보가 상쇄 간섭을 나타낼 경우에 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값의 합을 나타내는 크기 값(MR; 221; 505)과 비교할 때 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)을 선택적으로 감소시키도록 구성되고;
    상기 다운믹서는, 상이한 배향을 갖는 입력 신호의 스펙트럼 영역 값(110a; 110b; 210a, 210b; 501a, 501n)의 성분의 합(sumIm+, sumIm-, sumRe+, sumRe-)을 결정하도록 구성되고,
    상기 다운믹서는, 상이한 배향을 갖는 입력 신호의 스펙트럼 영역 값의 성분의 합(sumIm+, sumIm-, sumRe+, sumRe-)을 기초로 상기 소거도 정보(Q)를 결정하도록 구성되고;
    상기 다운믹서는, 직교 배향과 관련되며, 반대 방향과 관련된 합(sumIm- 및 sumRe-) 이상인 2개의 상기 결정된 합(sumIm+ 및 sumRe+)을 주요 합산 값으로서 선택하도록 구성되고,
    상기 다운믹서는, 스케일링 값(Q, Qmapped)을 결정하도록 구성되며, 상기 스케일링 값은,
    - 제1 주요 합산 값(sumRe+)의 배향에 반대인 배향과 관련되는 제1 비-주요 합산 값(sumRe-)과 상기 제1 주요 합산 값(sumRe+) 사이의 비-부호화된 비, 및
    - 제2 주요 합산 값(sumIm+)의 배향에 반대인 배향과 관련되는 제2 비-주요 합산 값(sumIm-)과 상기 제2 주요 합산 값(sumIm+) 사이의 비-부호화된 비를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R)의 선택적 감소를 야기하여,
    비-주요 합산 값과 그 관련된 주요 합산 값 사이의 비-부호화된 비(|sumRe-|/sumRe+, |sumIm-|/sumIm+)의 증가가 결국 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R)의 감소를 야기하는, 다운믹서.
  25. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는, 소거도 정보(Q; 232; 612a)를 결정하며, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)의 결정 시에 상기 소거도 정보를 고려하도록 구성되고,
    상기 소거도 정보는, 상기 입력 신호의 스펙트럼 영역 값 사이의 보강 또는 상쇄 간섭의 정도를 나타내고,
    상기 다운믹서는, 상기 소거도 정보가 상쇄 간섭을 나타낼 경우에 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값의 합을 나타내는 크기 값(MR; 221; 505)과 비교할 때 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222; 506a)을 선택적으로 감소시키도록 구성되고;
    상기 다운믹서는 다음의 수학식:
    o 만약
    Figure pct00057
    이고,
    Figure pct00058
    라면:
    Figure pct00059

    o 만약
    Figure pct00060
    이고,
    Figure pct00061
    라면:
    Figure pct00062

    o 만약
    Figure pct00063
    이고,
    Figure pct00064
    라면:
    Figure pct00065

    o 만약
    Figure pct00066
    이고,
    Figure pct00067
    라면:
    Figure pct00068

    에 따라 상기 소거도 정보(Q)를 계산하도록 구성되며,
    sumRe+은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값(110a; 110b; 210a, 210b; 501a, 501n)의 양의 실수부의 합이고;
    sumRe-은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값의 음의 실수부의 합이고;
    sumIm+은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값의 양의 허수부의 합이며;
    sumIm-은, 상기 입력 오디오 신호의 복소수 값인 스펙트럼 영역 값의 음의 허수부의 합인, 다운믹서.
  26. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MMod R; 222)을 결정하도록 구성되어,
    상기 크기 값(MMod R)은, 상기 다운믹서에 의해 결정된 소거도 정보(Q; 232)가 상기 입력 신호 사이의 상대적으로 큰 상쇄 간섭을 나타내는 시간 인스턴스에서, 상기 입력 신호의 스펙트럼 영역 값의 합산 라우드니스에 대응하는 기준 값(MR; 221)에 관하여 선택적으로 감소하며,
    상기 크기 값은, 상기 소거도 정보(Q)가 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭을 나타내는 시간 인스턴스에서 상기 기준 값(MR)에 관하여 선택적으로 증가하는, 다운믹서.
  27. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는, 이전에 평활화된 소거도 값(Qsmooth(t-1))을 기초로 및 인스턴트 소거도 값(Q(t))을 기초로
    Figure pct00069
    에 따라 업데이트된 평활화된 소거도 값(Qsmooth(t))을 획득하도록 구성되고, p는 0<p<1인 상수이고;
    상기 다운믹서는,
    Figure pct00070
    에 따라 매핑된 소거도 값(Qmapped(t))을 획득하도록 구성되고, T는 0<T<1인 상수이고;
    Q(t)는 0과 1 사이의 범위에 있고, 상기 입력 신호 사이의 상대적으로 큰 상쇄 간섭의 경우 0의 값을 가지며, 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭의 경우 1의 값을 가지며;
    상기 다운믹서는, 상기 매핑된 소거도 값을 사용하여 기준 크기 값(505)을 스케일링하여, 상기 크기 값(506a)을 획득하도록 구성되는, 다운믹서.
  28. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는, 이전에 평활화된 소거도 값(Qsmooth(t-1))을 기초로 및 인스턴트 소거도 값(Q(t))을 기초로
    Figure pct00071
    에 따라 업데이트된 평활화된 소거도 값(Qsmooth(t))을 획득하도록 구성되고, p는 0≤p≤1인 상수이고;
    상기 다운믹서는,
    Figure pct00072

    Figure pct00073
    에 따라 매핑된 소거도 값(Qmapped(t))을 획득하도록 구성되고;
    G는 0.5와 20 사이 또는 1과 10 사이의 미리 결정된 값이나 상수 값이고;
    mslope(t)는 보조 변수이고;
    max{}는 최대 연산자이고;
    min{}는 최소 연산자이고;
    Q(t)는 0과 1 사이의 범위에 있고, 상기 입력 신호 사이의 상대적으로 큰 상쇄 간섭의 경우 0의 값을 가지며, 상기 입력 신호 사이의 상대적으로 작은 상쇄 간섭의 경우 1의 값을 가지며;
    상기 다운믹서는, 상기 매핑된 소거도 값을 사용하여 기준 크기 값(505)을 스케일링하여, 상기 크기 값(506a)을 획득하도록 구성되는, 다운믹서.
  29. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는 상기 입력 신호의 스펙트럼 영역 값(110a, 110b; 210a, 210b; 501a, 501n)의 가중된 합(392)을 결정하며,
    상기 입력 신호의 스펙트럼 영역 값의 가중된 합을 기초로 상기 위상 값(398)을 결정하도록 구성되고,
    상기 다운믹서는, 미리 결정된 간섭 레벨보다 큰 상쇄 간섭을 회피하도록, 상기 입력 신호의 스펙트럼 영역 값을 가중하여, 상기 가중된 합을 획득하도록 구성되고;
    상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값(110a, 110b; 210a, 210b; 501a, 501n)의 라우드니스 값(503a, 503b)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값과 관련되는 합산 라우드니스 값(503d)을 도출하도록 구성되며;
    상기 다운믹서는, 상기 합산 라우드니스 값으로부터 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 도출하도록 구성되는, 다운믹서.
  30. 다수의 입력 신호(110a, 110b; 210a, 210b; 500a, 500n, 1010a, 1010n)를 기초로 다운믹스 신호(592; 1022)를 제공하기 위한 다운믹서(100; 500; 600; 800; 1020)로서,
    상기 다운믹서는, 상기 입력 신호의 라우드니스 정보를 기초로 상기 다운믹스 신호의 스펙트럼 영역 값(112; 511a, 511b)의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 결정하도록 구성되고;
    상기 다운믹서는, 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값의 복소수 값 수치 표현(112; 511a, 511b)을 획득하기 위해 상기 위상 값(PP, PMod P; 132; 398; 508a, 510a)을 적용하도록 구성되고;
    상기 다운믹서는 상기 입력 신호의 스펙트럼 영역 값의 가중된 합(392)을 결정하며,
    상기 입력 신호의 스펙트럼 영역 값의 가중된 합을 기초로 상기 위상 값(398)을 결정하도록 구성되고,
    상기 다운믹서는, 상이한 입력 신호에서의 각각의 스펙트럼 빈의 시간-평균 세기(362, 372, 382)에 따라 상기 입력 신호의 스펙트럼 영역 값을 가중하여, 상기 가중된 합을 획득하도록 구성되고;
    상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값(110a, 110b; 210a, 210b; 501a, 501n)의 라우드니스 값(503a, 503b)을 결정하도록 구성되고,
    상기 다운믹서는, 상기 입력 신호의 스펙트럼 영역 값의 라우드니스 값을 기초로 상기 다운믹스 신호의 스펙트럼 영역 값과 관련되는 합산 라우드니스 값(503d)을 도출하도록 구성되며;
    상기 다운믹서는, 상기 합산 라우드니스 값으로부터 상기 다운믹스 신호의 스펙트럼 영역 값의 크기 값(MR, MMod R; 122; 221, 222; 505, 506a)을 도출하도록 구성되는, 다운믹서.
KR1020207032011A 2018-04-06 2019-04-05 다운믹서, 오디오 인코더, 위상 값을 크기 값에 적용하는 방법 및 컴퓨터 프로그램 KR102554699B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18166174.5 2018-04-06
EP18166174.5A EP3550561A1 (en) 2018-04-06 2018-04-06 Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
PCT/EP2019/058713 WO2019193185A1 (en) 2018-04-06 2019-04-05 Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value

Publications (2)

Publication Number Publication Date
KR20210003784A true KR20210003784A (ko) 2021-01-12
KR102554699B1 KR102554699B1 (ko) 2023-07-13

Family

ID=61913031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207032011A KR102554699B1 (ko) 2018-04-06 2019-04-05 다운믹서, 오디오 인코더, 위상 값을 크기 값에 적용하는 방법 및 컴퓨터 프로그램

Country Status (9)

Country Link
US (1) US11418904B2 (ko)
EP (5) EP3550561A1 (ko)
JP (1) JP7343519B2 (ko)
KR (1) KR102554699B1 (ko)
CN (1) CN112236819A (ko)
BR (1) BR112020020469A2 (ko)
CA (1) CA3095973C (ko)
MX (1) MX2020010457A (ko)
WO (1) WO2019193185A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039204B2 (en) * 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
WO2006108573A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Adaptive residual audio coding
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
WO2012006770A1 (en) * 2010-07-12 2012-01-19 Huawei Technologies Co., Ltd. Audio signal generator
US20120308018A1 (en) * 2010-02-12 2012-12-06 Huawei Technologies Co., Ltd. Stereo signal down-mixing method, encoding/decoding apparatus and encoding and decoding system
KR20150123799A (ko) * 2013-11-27 2015-11-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오브젝트 기반 오디오 코딩 시스템 내의 우회 오디오 오브젝트 신호들을 사용하여 정통한 라우드니스를 추정하기 위한 디코더, 인코더 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
EP2609590B1 (en) 2010-08-25 2015-05-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for decoding a signal comprising transients using a combining unit and a mixer
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
EP2790419A1 (en) * 2013-04-12 2014-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio
EP2838086A1 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
KR102294767B1 (ko) * 2013-11-27 2021-08-27 디티에스, 인코포레이티드 고채널 카운트 멀티채널 오디오에 대한 멀티플렛 기반 매트릭스 믹싱
MX2017010593A (es) * 2015-02-26 2018-05-07 Fraunhofer Ges Forschung Aparato y método para procesar una señal de audio para obtener una señal de audio procesada usando una envolvente en el dominio del tiempo objetivo.
EP3067887A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039204B2 (en) * 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
WO2006108573A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Adaptive residual audio coding
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
US20120308018A1 (en) * 2010-02-12 2012-12-06 Huawei Technologies Co., Ltd. Stereo signal down-mixing method, encoding/decoding apparatus and encoding and decoding system
WO2012006770A1 (en) * 2010-07-12 2012-01-19 Huawei Technologies Co., Ltd. Audio signal generator
KR20150123799A (ko) * 2013-11-27 2015-11-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오브젝트 기반 오디오 코딩 시스템 내의 우회 오디오 오브젝트 신호들을 사용하여 정통한 라우드니스를 추정하기 위한 디코더, 인코더 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
G.722 : New Annex E - An alternative implementation of stereo superwideband extension using floating point. ITU-T Recommendation G.722 (2012) Amendment 1. 2014.10.14 *

Also Published As

Publication number Publication date
US11418904B2 (en) 2022-08-16
EP4307721A3 (en) 2024-02-21
CA3095973C (en) 2023-05-09
US20210021955A1 (en) 2021-01-21
EP4307719A3 (en) 2024-04-24
EP4307721A2 (en) 2024-01-17
RU2020136237A (ru) 2022-05-06
JP7343519B2 (ja) 2023-09-12
EP3550561A1 (en) 2019-10-09
EP4307720A2 (en) 2024-01-17
WO2019193185A1 (en) 2019-10-10
KR102554699B1 (ko) 2023-07-13
MX2020010457A (es) 2020-11-24
EP3776542A1 (en) 2021-02-17
CN112236819A (zh) 2021-01-15
EP3776542C0 (en) 2023-12-13
EP4307720A3 (en) 2024-02-21
RU2020136237A3 (ko) 2022-05-06
BR112020020469A2 (pt) 2021-04-06
CA3095973A1 (en) 2019-10-10
EP4307719A2 (en) 2024-01-17
JP2021519950A (ja) 2021-08-12
EP3776542B1 (en) 2023-12-13

Similar Documents

Publication Publication Date Title
KR100904542B1 (ko) 멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법
US9449603B2 (en) Multi-channel audio encoder and method for encoding a multi-channel audio signal
EP2737479B1 (en) Adaptive voice intelligibility enhancement
JP4307917B2 (ja) オーディオミキシングのための等化技術
US9307338B2 (en) Upmixing method and system for multichannel audio reproduction
EP2667635B1 (en) Apparatus and method for removing noise
KR20120089335A (ko) 매개변수 인코딩 및 디코딩
US20120207325A1 (en) Multi-Channel Wind Noise Suppression System and Method
CN110024419B (zh) 增益相位均衡(gpeq)滤波器和调谐方法
EP3985665A1 (en) Apparatus, method or computer program for estimating an inter-channel time difference
JP6817433B2 (ja) 少なくとも２つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ
JP6275831B2 (ja) ダウンミックス信号を生成するための概念
JPWO2010082471A1 (ja) 音響信号復号装置及びバランス調整方法
KR102554699B1 (ko) 다운믹서, 오디오 인코더, 위상 값을 크기 값에 적용하는 방법 및 컴퓨터 프로그램
AU2020262159B2 (en) Apparatus, method or computer program for generating an output downmix representation
RU2779415C1 (ru) Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием диффузной компенсации
Archibald Automatic Level Controller for Speech Signals Using PID Controllers

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right