KR102547423B1 - 주변 신호를 복수의 주변 신호 채널들에 분배하는 오디오 신호 프로세서, 시스템 및 방법들 - Google Patents

주변 신호를 복수의 주변 신호 채널들에 분배하는 오디오 신호 프로세서, 시스템 및 방법들 Download PDF

Info

Publication number
KR102547423B1
KR102547423B1 KR1020207024966A KR20207024966A KR102547423B1 KR 102547423 B1 KR102547423 B1 KR 102547423B1 KR 1020207024966 A KR1020207024966 A KR 1020207024966A KR 20207024966 A KR20207024966 A KR 20207024966A KR 102547423 B1 KR102547423 B1 KR 102547423B1
Authority
KR
South Korea
Prior art keywords
signal
channels
ambient
direct
audio signal
Prior art date
Application number
KR1020207024966A
Other languages
English (en)
Other versions
KR20200128671A (ko
Inventor
크리스티안 우헬
올리버 헬무스
줄리아 하벤스테인
티모씨 레오나드
매티아스 랭
마크 회펠
피터 프로케인
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20200128671A publication Critical patent/KR20200128671A/ko
Application granted granted Critical
Publication of KR102547423B1 publication Critical patent/KR102547423B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 오디오 신호 프로세서는, 입력 오디오 신호에 기초하여 주변 신호를 추출하도록 이루어진다. 신호 프로세서는, 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호를 복수의 주변 신호 채널들로 분배하도록 이루어지며, 여기서 주변 신호 채널들의 수는 입력 오디오 신호의 채널들의 수보다 크다.

Description

주변 신호를 복수의 주변 신호 채널들에 분배하는 오디오 신호 프로세서, 시스템 및 방법들
본 발명에 따른 실시예들은 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 오디오 신호 프로세서에 관한 것이다.
본 발명에 따른 실시예들은 멀티-채널 입력 오디오 신호에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 시스템에 관한 것이다.
본 발명에 따른 실시예들은 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법에 관한 것이다.
본 발명에 따른 실시예들은 멀티-채널 입력 오디오 신호에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 방법에 관한 것이다.
본 발명에 따른 실시예들은 컴퓨터 프로그램에 관한 것이다.
본 발명에 따른 실시예들은 일반적으로, 다수의 출력 채널들을 이용한 주변 신호 추출에 관한 것이다.
오디오 신호들의 프로세싱 및 렌더링은 신생 기술 분야이다. 특히, 직접 사운드(direct sound)들 및 주변 사운드(ambient sound)들 둘 모두를 포함하는 멀티-채널 신호들의 적절한 렌더링은 문제를 제공한다.
오디오 신호들은 다수의 직접 사운드들 및 주변(또는 확산) 사운드들의 혼합들일 수 있다. 직접 사운드 신호들은 사운드 소스들, 예를 들어 악기들에 의해 방출되며, 소스와 청취자 사이의 직접(가장 짧은) 경로 상에서 청취자의 귀에 도달한다. 청취자는 공간 사운드 이미지에서 그들의 위치를 파악(localize)하고, 사운드 소스가 위치되는 방향을 가리킬 수 있다. 위치파악(localization)을 위한 관련 청각 큐(cue)들은 양이간(interaural) 레벨 차이, 양이간 시간 차이 및 양이간 일관성(coherence)이다. 동일한 양이간 레벨 차이 및 양이간 시간 차이를 불러일으키는 직접적인 음파들은 동일한 방향으로부터 오는 것으로 인지된다. 확산 사운드가 없을 시에, 좌측 및 우측 귀 또는 임의의 다수의 센서들에 도달하는 신호들은 일관적이다.
반대로, 주변 사운드들은 확산되어 위치확인될 수 없는 것으로 지각되며, 청취자에 의해 ("사운드에 몰입되어 있는") 엔빌로프먼트(envelopment)의 인상(impression)을 불러일으킨다. 다수의 이격된 센서들을 사용하여 주변 사운드 필드(sound field)를 캡처할 때, 레코딩된 신호들은 적어도 부분적으로 비일관적이다. 주변 사운드들은 많은 이격된 사운드 소스들로 이루어진다. 일 예는 박수인데, 즉 다수의 위치들에서 박수를 치는 많은 손들의 중첩이다. 다른 예는 잔향인데, 즉 경계들 또는 벽들 상에서 반사되는 사운드들의 중첩이다. 음파가 룸(room)의 벽들에 도달할 때, 그의 일부는 반사되고, 룸 내의 모든 반사들의 중첩, 즉 잔향이 가장 두드러진 주변 사운드이다. 모든 반사된 사운드들은 직접 사운드 소스에 의해 생성된 여기 신호로부터 비롯되며, 예를 들어, 잔향 스피치(speech)는 위치확인될 수 있는 위치에 있는 룸 내의 스피커에 의해 생성된다.
사운드 후반-제작(post-production) 및 재생의 다양한 애플리케이션들은 오디오 신호들의 직접 신호 컴포넌트들 및 주변 신호 컴포넌트들로의 분해, 즉 직접-주변 분해(DAD), 또는 주변(확산) 신호의 추출, 즉 주변 신호 추출(ASE)을 적용한다. 주변 신호 추출의 목적은, 모든 직접 신호 컴포넌트들이 감쇠되고 확산 신호 컴포넌트들만이 가청적인 주변 신호를 계산하는 것이다.
이제까지, 주변 신호의 추출은 입력 신호와 동일한 수 또는 훨씬 더 미만의 채널들을 갖는 출력 신호들로 제한되었다(예를 들어, 참조문헌들 [2], [3], [4], [5], [6], [7], [8] 참조). 2-채널 스테레오 신호를 프로세싱할 때, 하나 또는 2개의 채널들을 갖는 주변 신호가 생성된다.
서라운드(surround) 사운드 신호들로부터의 주변 신호 추출을 위한 방법은 N개의 채널들을 갖는 입력 신호들을 프로세싱하는 [9]에서 제안되었으며, 여기서 N>2이다. 방법은, 멀티-채널 입력 신호의 다운믹스(downmix)로부터의 각각의 입력 채널에 적용되는 스펙트럼 가중치들을 계산하고, 그에 의해 N개의 신호들로 출력 신호를 생성한다.
더욱이, 청각 신호 컴포넌트들 또는 직접 신호 컴포넌트들을, 스테레오 이미지 내의 그들의 위치에만 따라 분리시키기 위한 다양한 방법들, 예를 들어 [2], [10], [11], [12]가 제안되었다.
[1] J.B. Allen, D.A. Berkeley, and J. Blauert, "Multi­ microphone signal-processing technique to remove room reverberation from speech signals," J. Acoust. Soc. Am., vol. 62, 1977. [2] C. Avendano and J.-M. Jot, "A frequency-domain ap­ proach to multi-channel upmix," J. Audio Eng. Soc., vol. 52, 2004. [3] C. Faller, "Multiple-loudspeaker playback of stereo sig­ nals," J. Audio Eng. Soc., vol. 54, 2006. [4] J. Merimaa, M. Goodwin, and J.-M. Jot, "Correlation­ based ambience extraction from stereo recordings," in Proc. Audio Eng. Soc. /23rd Conv., 2007. [5] J. Usher and J. Benesty, "Enhancement of spatial sound quality: A new reverberation-extraction audio uprnixer," IEEE Trans. Audio, Speech, and Language Process., vol. 15, pp. 2141-2150, 2007. [6] G. Soulodre, "System for extracting and changing the reverberant content of an audio input signal," US Patent 8,036,767, Oct. 2011. [7] J. He, E.-L. Tan, and W.-S. Gan, "Linear estimation based primary-ambient extraction for stereo audio signals," IEEE/ACM Trans. Audio, Speech, and Language Process., vol. 22, no. 2, 2014. [8] C. Uhle and E. Habets, "Direct-ambient decomposition using parametric Wiener filtering wih spatial cue con­ trol," in Proc.Int. Conf on Acoust., Speech and Sig. Process., ICASSP, 2015. [9] A. Walther and C. Faller, "Direct-ambient decom­ position and upmix of surround sound signals," in Proc.IEEE WASPAA, 2011. [10] D. Barry, B. Lawlor, and E. Coyle, "Sound source sep­ aration: Azimuth discrimination and resynthesis," in Proc. Int. Conf Digital Audio Effects (DAFx), 2004. [11] C. Uhle, "Center signal scaling using signal-to- downmix ratios," in Proc. Int. Corif. Digital Audio Ef­ fects, DAFx, 2013. [12) C. Uhle and E. Habets, "Subband center signal scaling using power ratios," in Proc. AES 53rd Conf Semantic Audio, 2014.
종래의 솔루션들을 고려할 때, 개선된 청각 인상(hearing impression)을 획득하는 것을 허용하는 주변 신호들을 획득하기 위한 개념을 생성하는 것이 목적이다.
본 발명에 따른 일 실시예는 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 오디오 신호 프로세서를 생성한다. 오디오 신호 프로세서는 주변 신호 채널들을 획득하도록 이루어지며, 여기서 상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수는 입력 오디오 신호의 채널들의 수보다 크다. 오디오 신호 프로세서는, 주변 신호 채널들을 획득해서, 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 주변 신호 채널들 사이에서 분배되도록 이루어진다.
본 발명에 따른 이러한 실시예는, 입력 오디오 신호의 채널들의 수보다 큰 주변 신호 채널들의 수를 갖는 것이 바람직하고, 그러한 경우, 주변 신호 채널들을 제공할 때 사운드 소스들의 위치들 또는 방향들을 고려하는 것이 유리하다는 발견에 기초한다. 따라서, 주변 신호들의 콘텐츠들은 입력 오디오 신호에 의해 표현된 오디오 콘텐츠들로 적응될 수 있다. 예를 들어, 주변 오디오 콘텐츠들은 상이한 주변 신호 채널들에 포함될 수 있으며, 여기서 상이한 주변 신호 채널들에 포함된 주변 오디오 콘텐츠들은 입력 오디오 신호의 분석에 기초하여 결정될 수 있다. 따라서, 주변 신호 채널들 중 어느 채널에 어느 주변 오디오 콘텐츠를 포함시킬지에 대한 판단은 상이한 주변 오디오 콘텐츠를 여기시키는 사운드 소스들(예를 들어, 직접 사운드 소스들)의 위치들 또는 방향들에 의존하여 행해질 수 있다.
따라서, 먼저 입력 오디오 신호들의 방향-기반 분해(또는 업믹싱) 및 이어서 직접/주변 분해가 있는 실시예들이 존재할 수 있다. 그러나, 먼저 직접/주변 분해가 있고, 이에 뒤이어, 추출된 주변 신호 컴포넌트들의 (예를 들어, 주변 채널 신호들로의) 업믹싱이 있는 실시예들이 또한 존재한다. 또한, 결합된 업믹싱 및 주변 신호 추출(또는 직접/주변 분해)가 있는 실시예들이 존재한다.
바람직한 실시예에서, 오디오 신호 프로세서는, 주변 신호 채널들을 획득해서, 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 주변 신호 컴포넌트들이 주변 신호 채널들 사이에서 분배되도록 이루어진다. 따라서, 좋은 청각 인상이 획득될 수 있으며, 주어진 위치에서 또는 주어진 방향에서 직접 사운드 소스들의 오디오 콘텐츠들에 맞춰지지 않는 주변 오디오 콘텐츠들을 주변 신호 채널들이 포함하는 것이 회피될 수 있다. 다시 말하면, 주변 사운드를 여기시키는 어떠한 직접 사운드도 도달하지 않는 위치 또는 방향과 연관된 오디오 채널에서 주변 사운드가 렌더링되는 것이 회피될 수 있다. 주변 사운드를 균일하게 분배하는 것이 때때로 불만족스러운 청각 인상을 초래할 수 있으며, 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 주변 신호 컴포넌트들을 분배하기 위한 개념을 사용함으로써 그러한 불만족스러운 청각 인상이 회피될 수 있다는 것이 발견되었다.
바람직한 실시예에서, 오디오 신호 프로세서는 입력 오디오 신호의 하나 이상의 채널들을 복수의 업믹싱된 채널들로 분배하도록 이루어지며, 여기서 업믹싱된 채널들의 수는 입력 오디오 신호의 채널들의 수보다 크다. 또한, 오디오 신호 프로세서는 업믹싱된 채널들로부터 주변 신호 채널들을 추출하도록 이루어진다. 따라서, 직접 신호 컴포넌트들 및 주변 신호 컴포넌트들에 대한 간단한 조인트(joint) 업믹싱이 수행되므로, 효율적인 프로세싱이 획득될 수 있다. 주변 신호 컴포넌트들과 직접 신호 컴포넌트들 사이의 분리는, 업믹싱(입력 오디오 신호의 하나 이상의 채널들의 복수의 업믹싱된 채널들로의 분배) 이후 수행된다. 따라서, 적당한 노력으로, 주변 신호들이 주변 신호들을 여기시키는 직접 신호들과 유사한 방향들로부터 비롯되는 것이 달성될 수 있다.
바람직한 실시예에서, 오디오 신호 프로세서는, 멀티-채널 주변 신호 추출을 사용하여 또는 멀티-채널 직접-신호/주변 신호 분리를 사용하여, 업믹싱된 채널들로부터 주변 신호 채널들을 추출하도록 이루어진다. 따라서, 다수의 채널들의 존재는 주변 신호 추출 또는 직접-신호/주변 신호 분리에서 활용될 수 있다. 다시 말하면, 주변 신호 채널들을 추출하기 위해, 업믹싱된 채널들 사이의 유사성들 및/또는 차이들을 활용하는 것이 가능하며, 이는, (예를 들어, 개별 채널들에 기초한 별개의 주변 신호 추출과 비교할 때) 주변 신호 채널들의 추출을 용이하게 하고 양호한 결과들을 가져온다.
바람직한 실시예에서, 오디오 신호 프로세서는 업믹싱 계수들을 결정하고 주변 신호 추출 계수들을 결정하도록 이루어진다. 또한, 오디오 신호 프로세서는 업믹싱 계수들 및 주변 신호 추출 계수들을 사용하여 주변 신호 채널들을 획득하도록 이루어진다. 따라서, (예를 들어, 업믹싱 계수들 및 주변 신호 추출 계수들에 기초하여 신호 프로세싱 매트릭스(matrix)를 도출함으로써) 단일 프로세싱 단계에서 주변 신호 채널들을 도출하는 것이 가능하다.
(위에서 설명된 특징들 중 하나 이상을 선택적으로 포함할 수 있는) 본 발명에 따른 일 실시예는, (예를 들어, 멀티-채널 입력 오디오 신호일 수 있는) 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 오디오 신호 프로세서를 생성한다. 오디오 신호 프로세서는 입력 오디오 신호에 기초하여 주변 신호를 추출하도록 이루어진다.
예를 들어, 오디오 신호 프로세서는, (중간) 주변 신호를 도출("추출")하기 위해 입력 오디오 신호에 기초하여 직접-주변-분리 또는 직접-주변 분해를 수행하도록 이루어질 수 있거나, 또는 오디오 신호 프로세서는 주변 신호를 도출하기 위해 주변 신호 추출을 수행하도록 이루어질 수 있다. 예를 들어, 직접-주변 분리 또는 직접-주변 분해 또는 주변 신호 추출이 대안적으로 수행될 수 있다. 예를 들어, 주변 신호는 멀티-채널 신호일 수 있으며, 여기서 주변 신호의 채널들의 수는, 예를 들어 입력 오디오 신호의 채널들의 수와 동일할 수 있다.
게다가, 신호 프로세서는 (추출된) 주변 신호를 복수의 주변 신호 채널들로 분배(또는 "업믹싱")하도록 이루어지며, 여기서 주변 신호 채널들의(예를 들어, 상이한 신호 콘텐츠를 갖는 주변 신호 채널들의) 수는 입력 오디오 신호 내의 사운드 소스들의(예를 들어, 직접 사운드 소스들의) 위치들 또는 방향들에 의존하여 입력 오디오 신호의 채널들의 수보다 크다(그리고/또는, 예를 들어, 추출된 주변 신호의 채널들의 수보다 큼).
다시 말하면, 오디오 신호 프로세서는, 추출된 주변 신호를 더 많은 수의 채널들로 업믹싱할 때 입력 오디오 신호 내의 사운드 소스들의(예를 들어, 직접 사운드 소스들의) 방향들 또는 위치들을 고려하도록 이루어질 수 있다.
따라서, 주변 신호는 주변 신호 채널들로 "균일하게" 분배되지 않지만, 주변 신호(들)의 기반이 될 수 있는(또는, 주변 신호(들)를 생성 또는 여기시킬 수 있는) 사운드 소스들의 위치들 또는 방향들이 고려된다.
주변 신호들이 주변 신호 채널들로 임의로 분배되는 것이 아니라(여기서, 주변 신호 채널들의 수는 입력 오디오 신호의 채널들의 수보다 큼) 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하는 개념이 많은 상황들에서 더 바람직한 청각 인상을 제공한다는 것이 발견되었다. 예를 들어, 주변 신호들을 균일하게 모든 주변 신호 채널들로 분배하는 것은 매우 부자연스럽거나 혼란스러운 청각 인상을 초래할 수 있다. 예를 들어, 이것은, 직접 사운드 소스가 특정한 도달 방향에 명확하게 할당될 수 있는 반면, (주변 신호인) 상기 사운드 소스의 에코가 모든 주변 신호 채널들로 분배되는 경우라는 것이 발견되었다.
결론적으로, (입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하는) 입력 오디오 신호 내의 주변 신호 콘텐츠들의 불균일한 분배가 (예를 들어, 입력 오디오 신호에서의 사운드 소스들의 위치들 또는 방향들의 고려가 없는 주변 신호들의 균일하거나 임의적인 분배와 비교할 때) 현실을 더 양호하게 반영하기 때문에, 주변 신호 채널들이 도출되는 입력 오디오 신호 내의 사운드 소스의 또는 사운드 소스들의 위치들 또는 방향들이 도출된 주변 신호의 주변 신호 채널들로의 분배 시에 고려되면, 복수의 주변 신호 채널들을 포함하는 주변 신호에 의해 야기되는 청각 인상이 종종 개선된다는 것이 발견되었다.
바람직한 실시예에서, 오디오 신호 프로세서는, (중간) 주변 신호를 도출하기 위해 입력 오디오 신호에 기초하여 직접-주변 분리(예를 들어, 오디오 신호의 직접 사운드 컴포넌트들 및 주변 사운드 컴포넌트들로의 분해(이는 또한 직접-주변 분해로서 지정될 수 있음))를 수행하도록 이루어진다. 그러한 기법을 사용할 경우, 주변 신호 및 직접 신호 둘 모두가 입력 오디오 신호에 기초하여 획득될 수 있으며, 이는, 통상적으로 직접 신호 및 주변 신호 둘 모두가 추가적인 프로세싱을 위해 필요하므로 프로세싱의 효율을 개선시킨다.
바람직한 실시예에서, 오디오 신호 프로세서는, 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 주변 신호 채널들 사이에서 (예를 들어, 멀티-채널 주변 신호일 수 있는 추출된 주변 신호의) 주변 신호 컴포넌트들을 분배하도록 이루어진다(여기서, 주변 신호 채널들의 수는, 예를 들어 입력 오디오 신호의 채널들의 수보다 크고 그리고/또는 추출된 주변 신호의 채널들의 수보다 클 수 있음). 따라서, 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치 또는 방향이 고려될 수 있으며, 그에 의해 예를 들어, 상이한 위치들에 위치된 상이한 직접 소스들에 의해 여기된 상이한 주변 신호 컴포넌트들이 주변 신호 채널들 사이에서 상이하게 분배될 수 있다. 예를 들어, 주어진 직접 사운드 소스에 의해 여기된 주변 신호 컴포넌트들은, 개개의 직접 사운드 소스의 직접 신호 컴포넌트들이 주로 분배되는 하나 이상의 직접 신호 채널들과 연관된 하나 이상의 주변 신호 채널들로 주로 분배될 수 있다. 따라서, 주변 신호 컴포넌트들의 상이한 주변 신호 채널들로의 분배는 개개의 주변 신호 컴포넌트들을 여기시키는 직접 신호 컴포넌트들의 상이한 직접 신호 채널들로의 분배에 대응할 수 있다. 결과적으로, 렌더링 환경에서, 주변 신호 컴포넌트들은 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들과 동일하거나 유사한 방향들로부터 비롯되는 것으로 지각될 수 있다. 따라서, 부자연스러운 청각 인상이 일부 경우들에서 회피될 수 있다. 예를 들어, 에코를 여기시키는 직접 사운드 소스와 비교할 때 완전히 상이한 방향으로부터 에코 신호가 도달하는 것(이는, 일부 원하는 합성된 청각 환경들에 맞춰지지 않을 것임)이 회피될 수 있다.
바람직한 실시예에서, 주변 신호 채널들은 상이한 방향들과 연관된다. 예를 들어, 주변 신호 채널들은 대응하는 직접 신호 채널과 동일한 방향들과 연관될 수 있거나, 또는 대응하는 직접 신호 채널들과 유사한 방향들과 연관될 수 있다. 따라서, 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스의 방향과 상관되는 특정한 방향으로부터 주변 신호 컴포넌트들이 비롯되는 것으로 지각되는 것이 달성될 수 있도록, 주변 신호 컴포넌트들이 주변 신호 채널들로 분배될 수 있다.
바람직한 실시예에서, 직접 신호 채널들은 상이한 방향들과 연관되고, 주변 신호 채널들 및 직접 신호 채널들은 (예를 들어, 적어도 방위각 방향에 관해 그리고, 예를 들어 적어도 +/- 20° 또는 +/- 10°의 합리적인 허용오차 내에서) 동일한 세트의 방향들과 연관된다. 게다가, 오디오 신호 프로세서는, 개개의 직접 사운드 컴포넌트들의 위치들 또는 방향들에 따라 직접 신호 채널들 사이에서 직접 신호 컴포넌트들을 분배하도록(또는 동등하게는, 직접 신호 컴포넌트들을 직접 신호 채널들로 패닝(pan)하도록) 이루어진다. 게다가, 오디오 신호 프로세서는, 직접 신호 컴포넌트들이 분배되는 것과 동일한 방식으로(예를 들어, 동일한 패닝 계수들 또는 스펙트럼 가중치들을 사용하여), 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 주변 신호 채널들 사이에서 (예를 들어, 추출된 주변 신호의) 주변 신호 컴포넌트들을 분배하도록 이루어진다(여기서, 주변 신호 채널들은 바람직하게는 직접 신호 채널들과는 상이하고, 즉 독립적인 채널들임). 따라서, 직접 신호 컴포넌트들의 (공간) 분배를 고려하지 않으면서 주변 신호들을 임의적으로 분배하는 것이 부자연스럽게 사운딩될 일부 상황들에서, 양호한 청각 인상이 획득될 수 있다.
바람직한 실시예에서, 오디오 신호 프로세서는, 주변 신호 채널들을 제공해서, 주변 신호 컴포넌트들의 기반이 되는 소스 신호들(예를 들어, 개개의 주변 신호 컴포넌트들을 생성했던 직접 소스 신호들)의 위치들에 따라 주변 신호가 주변 신호 컴포넌트들로 분리되도록 이루어진다. 따라서, 상이한 직접 소스들로부터 비롯되는 것으로 예상되는 상이한 주변 신호 컴포넌트들을 분리시키는 것이 가능하다. 이것은, 상이한 소스들에 의해 여기되는 직접 사운드 신호들 및 주변 신호들의 개별적인 처리(예를 들어, 조작, 스케일링, 지연 또는 필터링)를 허용한다.
바람직한 실시예에서, 오디오 신호 프로세서는, (프로세싱이 시간-주파수 도메인에서 달성되도록) 주변 신호를 주변 신호 채널들로 분배(또는 업믹싱 또는 패닝)하기 위해 스펙트럼 가중치들(예를 들어, 시간-의존적 및 주파수-의존적 스펙트럼 가중치들)을 적용하도록 이루어진다. 스펙트럼 가중치들을 사용하는 시간-주파수 도메인에서의 그러한 프로세싱은 다수의 사운드 소스들이 존재하는 경우들의 프로세싱에 매우 적합하다는 것이 발견되었다. 이러한 개념을 사용하여, 위치 또는 도달-방향은 각각의 스펙트럼 빈(bin)과 연관될 수 있으며, 주변 신호의 복수의 주변 신호 채널들로의 분배가 또한 스펙트럼-빈마다 행해질 수 있다. 다시 말하면, 각각의 스펙트럼 빈에 대해, 주변 신호가 주변 신호 채널들로 어떻게 분배되어야 하는지가 결정될 수 있다. 또한, 시간-의존적 및 주파수-의존적 스펙트럼 가중치들의 결정은 입력 신호 내의 사운드 소스들의 위치들 또는 방향들의 결정에 대응할 수 있다. 따라서, 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호가 복수의 주변 신호 채널들로 분배되는 것이 쉽게 달성될 수 있다.
바람직한 실시예에서, 오디오 신호 프로세서는, 주변 신호를 복수의 주변 신호 채널들로 업믹싱(또는 패닝)하기 위하여, 직접 오디오 소스들을 그들의 위치들 또는 방향들에 따라 분리시키기 위해 계산되는 스펙트럼 가중치들을 적용하도록 이루어진다. 대안적으로, 오디오 신호 프로세서는, 주변 신호를 복수의 주변 신호 채널들로 업믹싱하기 위하여, 직접 오디오 소스들을 그들의 위치들 또는 방향들에 따라 분리시키기 위해 계산되는 스펙트럼 가중치들의 지연된 버전을 적용하도록 이루어진다. 주변 신호의 복수의 주변 신호 채널들로의 분배(또는 업-믹싱 또는 패닝)을 위해, 직접 오디오 소스들을 그들의 위치들 또는 방향들에 따라 분리시키기 위해 계산되는 이들 스펙트럼 가중치들 또는 이들의 지연된 버전을 적용함으로써 양호한 청각 인상이 낮은 계산 복잡도로 달성될 수 있다는 것이 발견되었다. 스펙트럼 가중치들의 지연된 버전의 사용은, 예를 들어, 직접 신호와 에코 사이의 시간 시프트를 고려하는 데 적절할 수 있다.
바람직한 실시예에서, 오디오 신호 프로세서는, 스펙트럼 가중치들을 도출해서, 스펙트럼 가중치들이 시간-의존적이고 주파수-의존적이게 하도록 이루어진다. 따라서, 직접 사운드 소스들의 시변 신호들 및 직접 사운드 소스들의 가능한 모션이 고려될 수 있다. 또한, 직접 사운드 소스들의 다양한 세기들이 고려될 수 있다. 따라서, 주변 신호의 주변 신호 채널들로의 분배는 정적이 아니지만, 복수의 (업-믹싱된) 주변 신호 채널들에서의 주변 신호의 상대적인 가중은 동적으로 변한다.
바람직한 실시예에서, 오디오 신호 프로세서는 입력 오디오 신호의 공간 사운드 이미지에서의 사운드 소스들의 위치들에 의존하여 스펙트럼 가중치를 도출하도록 이루어진다. 따라서, 스펙트럼 가중치는 주변 신호를 여기시키는 직접 사운드 소스들의 위치들을 잘 반영하며, 따라서, 특정 사운드 소스에 의해 여기된 주변 신호 컴포넌트들이 (입력 오디오 신호의 공간 사운드 이미지에서의) 직접 사운드 소스의 방향에 대응하는 적절한 주변 신호 채널들에 연관될 수 있는 것이 쉽게 가능하다.
바람직한 실시예에서, 입력 오디오 신호는 적어도 2개의 입력 채널 신호들을 포함하며, 오디오 신호 프로세서는 적어도 2개의 입력 채널 신호들 사이의 차이들에 의존하여 스펙트럼 가중치들을 도출하도록 이루어진다. 입력 채널 신호들 사이의 차이들(예를 들어, 위상 차이들 및/또는 진폭 차이들)이 직접 사운드 소스의 방향에 관한 정보를 획득하기 위해 잘 평가될 수 있으며, 여기서, 스펙트럼 가중치들이 직접 사운드 소스들의 방향들에 적어도 어느 정도로 대응하는 것이 바람직하다는 것이 발견되었다.
바람직한 실시예에서, 오디오 신호 프로세서는, (예를 들어, 입력 신호 또는 직접 신호 내의 직접 사운드 컴포넌트들의) 스펙트럼 컴포넌트들이 비롯되는 위치들 또는 방향들에 의존하여 스펙트럼 가중치들을 결정해서, 주어진 위치 또는 방향으로부터(예를 들어, 위치 p로부터) 비롯되는 스펙트럼 컴포넌트들이 (예를 들어, 주변 신호 채널들의) 다른 채널들과 비교할 때 개개의 위치 또는 방향과 연관된 (예를 들어, 주변 신호 채널들의) 채널에서 더 강하게 가중되도록 이루어진다. 다시 말하면, 스펙트럼 가중치들은, 주변 신호 컴포넌트들을 여기시키는 직접 사운드 컴포넌트들이 비롯되는 방향에 의존하여 주변 신호 컴포넌트들을 구별하도록(또는 분리시키도록) 결정된다. 따라서, 예를 들어, 상이한 사운드 소스들로부터 비롯되는 주변 신호들이 상이한 주변 신호 채널들로 분배되서, 상이한 주변 신호 채널들이 통상적으로, 상이한 주변 신호 컴포넌트들의(예를 들어, 상이한 스펙트럼 빈들의) 상이한 가중을 갖는다는 것이 달성될 수 있다.
바람직한 실시예에서, 오디오 신호 프로세서는, 스펙트럼 가중치들을 결정해서, 스펙트럼 가중치들이 복수의 출력 채널 신호들에서 입력 채널 신호들의(예를 들어, 입력 신호의) 스펙트럼 컴포넌트들의 가중을 설명하도록 이루어진다. 예를 들어, 스펙트럼 가중치들은, 주어진 입력 채널 신호가 강한 가중으로 제1 출력 채널 신호에 포함되고, 동일한 입력 채널 신호가 더 작은 가중으로 제2 출력 채널 신호에 포함되는 것을 설명할 수 있다. 가중치는 상이한 스펙트럼 컴포넌트들에 대해 개별적으로 결정될 수 있다. 입력 신호가, 예를 들어 멀티-채널 신호일 수 있으므로, 스펙트럼 가중치들은 복수의 출력 채널 신호들에서 복수의 입력 채널 신호들의 가중을 설명할 수 있으며, 여기서 입력 채널 신호들보다 통상적으로 더 많은 출력 채널 신호들이 존재한다(업-믹싱). 또한, 특정 입력 채널 신호로부터의 신호들이 특정 출력 채널 신호에서 결코 인계(take over)되지 않는 것이 가능하다. 예를 들어, 렌더링 환경의 좌측 측부에 연관된 어떠한 입력 채널 신호들도 렌더링 환경의 우측 측부과 연관된 출력 채널 신호들에 포함되지 않을 수 있고, 그 반대의 경우도 마찬가지이다.
바람직한 실시예에서, 오디오 신호 프로세서는, 직접 신호 컴포넌트들을 직접 신호 채널들로 분배하고 주변 신호의 주변 신호 컴포넌트들을 주변 신호 채널들로 분배하기 위해 동일한 세트의 스펙트럼 가중치들을 적용하도록 이루어진다(여기서, 주변 신호 컴포넌트들을 분배할 때, 시간 지연이 고려될 수 있음). 따라서, 주변 신호 컴포넌트들은, 직접 신호 컴포넌트들이 직접 신호 채널들에 할당되는 것과 동일한 방식으로 주변 신호 채널들로 분배될 수 있다. 결과적으로, 일부 경우들에서, 주변 신호 컴포넌트들 모두는 직접 신호 컴포넌트들에 맞춰지며, 특히 양호한 청각 인상이 달성된다.
바람직한 실시예에서, 입력 오디오 신호는 적어도 2개의 채널들을 포함하고 그리고/또는 주변 신호는 적어도 2개의 채널들을 포함한다. 본 명세서에서 논의된 개념이 2개 이상의 채널들을 갖는 입력 오디오 신호들에 특히 매우 적합한데, 그 이유는 그러한 입력 오디오 신호들이 신호 컴포넌트들의 위치(또는 방향)를 표현할 수 있기 때문이라는 것을 유의해야 한다.
본 발명에 따른 일 실시예는, 멀티-채널 입력 오디오 신호에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 시스템을 생성한다. 시스템은 위에서 설명된 바와 같은 오디오 신호 프로세서를 포함하며, 여기서 오디오 신호 프로세서는, 2개 초과의 직접 신호 채널들 및 2개 초과의 주변 신호 채널들을 제공하도록 이루어진다. 게다가, 시스템은 직접 신호 스피커들의 세트 및 주변 신호 스피커들의 세트를 포함하는 스피커 배열을 포함한다. 직접 신호 채널들 각각은 직접 신호 스피커들 중 적어도 하나에 연관되고, 주변 신호 채널들 각각은 주변 신호 스피커들 중 적어도 하나와 연관된다. 따라서, 직접 신호들 및 주변 신호들은, 예를 들어 상이한 스피커들을 사용하여 렌더링될 수 있으며, 여기서 예를 들어, 직접 신호 스피커들과 대응하는 주변 신호 스피커들 사이에 공간적 상관이 존재할 수 있다. 따라서, 직접 신호들(또는 직접 신호 컴포넌트들) 및 주변 신호들(또는 주변 신호 컴포넌트들) 둘 모두는, 입력 오디오 신호의 채널들의 수보다 큰 스피커들의 수로 업-믹싱될 수 있다. 주변 신호들 또는 주변 신호 컴포넌트들은 또한, 불균일한 방식으로 다수의 스피커들에 의해 렌더링되어, 사운드 소스들이 배열된 방향들을 따라 상이한 주변 신호 스피커들로 분배된다. 결과적으로, 양호한 청각 인상이 달성될 수 있다.
바람직한 실시예에서, 각각의 주변 신호 스피커는 하나의 직접 신호 스피커와 연관된다. 따라서, 직접 신호 컴포넌트들이 직접 신호 스피커들을 통해 분배되는 것과 동일한 방식으로 주변 신호 스피커들을 통해 주변 신호 컴포넌트들을 분배함으로써 양호한 청각 인상이 달성될 수 있다.
바람직한 실시예에서, 주변 신호 스피커들의 위치들은 직접 신호 스피커들의 위치들에 대해 상승되어 있다. 양호한 청각 인상이 그러한 구성에 의해 달성될 수 있다는 것이 발견되었다. 또한, 그 구성은, 예를 들어 차량에서 사용되고, 그러한 차량에서 양호한 청각 인상을 제공할 수 있다.
본 발명에 따른 일 실시예는 (바람직하게는, 멀티-채널 입력 오디오 신호일 수 있는) 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법을 생성한다. 방법은 입력 오디오 신호에 기초하여 주변 신호를 추출하는 단계(이 단계는, 예를 들어, 주변 신호를 도출하기 위해 입력 오디오 신호에 기초하여 직접-주변 분리 또는 직접-주변 구성을 수행하는 단계를 포함할 수 있음, 또는 소위 "주변 신호 추출")를 포함한다.
게다가, 방법은 주변 신호를 복수의 주변 신호 채널들로 분배(예를 들어, 업믹싱)하는 단계를 포함하며, 여기서 (예를 들어, 연관된 상이한 신호 콘텐츠를 가질 수 있는) 주변 신호 채널들의 수는 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 입력 오디오 신호의 채널들의 수보다 크다(예를 들어, 추출된 주변 신호의 채널들의 수보다 큼). 이러한 방법은 위에서-설명된 장치와 동일한 고려사항들에 기초한다. 또한, 방법이 대응하는 장치에 관해 본 명세서에 설명되는 특징들, 기능들 및 세부사항들 중 임의의 것에 의해 보완될 수 있다는 것을 유의해야 한다.
다른 실시예는, 멀티-채널 입력 오디오 신호에 의해 표현되는 오디오 콘텐츠를 렌더링하는 방법을 포함한다. 방법은 위에서 설명된 바와 같이, 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하는 단계를 포함한다. 이러한 경우, 2개 초과의 주변 신호 채널들이 제공된다. 게다가, 방법은 또한, 2개 초과의 직접 신호 채널들을 제공하는 단계를 포함한다. 방법은 또한, 직접 신호 스피커들의 세트 및 주변 신호 스피커들의 세트를 포함하는 스피커 배열에 주변 신호 채널들 및 직접 신호 채널들을 공급하는 단계를 포함하며, 여기서 직접 신호 채널들 각각은 직접 신호 스피커들 중 적어도 하나에 공급되고, 주변 신호 채널들 각각은 주변 신호 스피커들 중 적어도 하나에 공급된다. 이러한 방법은 위에서-설명된 시스템과 동일한 고려사항들에 기초한다. 또한, 방법이 위에서-언급된 시스템에 관해 본 명세서에 설명되는 임의의 특징들, 기능들 및 세부사항들에 의해 보완될 수 있다는 것을 유의해야 한다.
본 발명에 따른 다른 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 이전에 언급된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 생성한다.
본 발명에 따르면, 좋은 청각 인상을 획득할 수 있다.
도 1a는 본 발명의 일 실시예에 따른 오디오 신호 프로세서의 개략적인 블록도를 도시한다.
도 1b는 본 발명의 일 실시예에 따른 오디오 신호 프로세서의 개략적인 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 시스템의 개략적인 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호 프로세서에서의 신호 흐름의 개략적인 표현을 도시한다.
도 4는 본 발명의 일 실시예에 따른 스펙트럼 가중치들의 도출의 개략적인 표현을 도시한다.
도 5는 본 발명의 일 실시예에 따른, 주변 신호 채널들을 제공하기 위한 방법의 흐름도를 도시한다.
도 6은 본 발명의 일 실시예에 따른, 오디오 콘텐츠를 렌더링하기 위한 방법의 흐름도를 도시한다.
도 7은 2-채널 스테레오포니(stereophony)를 위한 2개의 라우드스피커들(각각, 좌측 및 우측 측부 상의 "L", "R")을 갖는 표준 라우드스피커 셋업의 개략적인 표현을 도시한다.
도 8은 4개의 라우드스피커들(전방 좌측 "fL", 전방 우측 "fR", 후방 좌측 "rL", 후방 우측 "rR")을 갖는 쿼드로포닉(quadrophonic) 라우드스피커 셋업의 개략적인 표현을 도시한다.
도 9는 "h"로 마킹된 부가적인 높이 라우드스피커들을 갖는 쿼드로포닉 라우드스피커 셋업의 개략적인 표현을 도시한다.
1. 도 1a 및 도 1b에 따른 오디오 신호 프로세서
1a) 도 1a에 따른 오디오 신호 프로세서
도 1a는 본 발명의 일 실시예에 따른 오디오 신호 프로세서의 개략적인 블록도를 도시한다. 도 1a에 따른 오디오 신호 프로세서는 그 전체가 100으로 지정된다.
오디오 신호 프로세서(100)는, 예를 들어 멀티-채널 입력 오디오 신호일 수 있는 입력 오디오 신호(110)를 수신한다. 입력 오디오 신호(110)는, 예를 들어 N개의 채널들을 포함할 수 있다. 게다가, 오디오 신호 프로세서(100)는 입력 오디오 신호(110)에 기초하여 주변 신호 채널들(112a, 112b, 112c)을 제공한다.
오디오 신호 프로세서(100)는 입력 오디오 신호(110)에 기초하여 (또한, 중간 주변 신호로서 고려될 수 있는) 주변 신호(130)를 추출하도록 이루어진다. 이러한 목적을 위해, 오디오 신호 프로세서는, 예를 들어 주변 신호 추출(120)을 포함할 수 있다. 예를 들어, 주변 신호 추출(120)은 주변 신호(130)를 도출하기 위해 입력 오디오 신호(110)에 기초하여 직접-주변 분리 또는 직접 주변 분해를 수행할 수 있다. 예를 들어, 주변 신호 추출(120)은 또한,
Figure 112020090977895-pct00001
로 표기될 수 있고 도 1a에 도시되지 않은 직접 신호(예를 들어, 추정된 또는 추출된 직접 신호)를 제공할 수 있다. 대안적으로, 주변 신호 추출은 직접 신호를 제공하지 않으면서 입력 오디오 신호(120)로부터 주변 신호(130)만을 추출할 수 있다. 예를 들어, 주변 신호 추출(120)은 "블라인드(blind)" 직접-주변 분리 또는 직접-주변 분해 또는 주변 신호 추출을 수행할 수 있다. 그러나, 대안적으로, 주변 신호 추출(120)은 직접 주변 분리 또는 직접 주변 분해 또는 주변 신호 추출을 지원하는 파라미터들을 수신할 수 있다.
게다가, 오디오 신호 프로세서(100)는, (중간 주변 신호로서 고려될 수 있는) 주변 신호(130)를 복수의 주변 신호 채널들(112a, 112b, 112c)로 분배(예를 들어, 업-믹싱)하도록 이루어지며, 여기서 주변 신호 채널들(112a, 112b, 112c)의 수는 입력 오디오 신호(110)의 채널들의 수보다 크다(그리고 통상적으로는 또한, 중간 주변 신호(130)의 채널들의 수보다 큼). 주변 신호(130)를 복수의 주변 신호 채널들(112a, 112b, 112c)로 분배하기 위한 기능이, 예를 들어 주변 신호 분배(140)에 의해 수행될 수 있으며, 주변 신호 분배(140)가 (중간) 주변 신호(130)를 수신할 수 있고, 입력 오디오 신호(110), 또는, 예를 들어 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 관한 정보를 또한 수신할 수 있다는 것을 유의해야 한다. 또한, 오디오 신호 프로세서가 입력 오디오 신호(110) 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호(130)를 복수의 주변 신호 채널들들로 분배하도록 이루어진다는 것을 유의해야 한다. 따라서, 주변 신호 채널들(112a, 112b, 112c)은, 예를 들어 상이한 신호 콘텐츠들을 포함할 수 있으며, 여기서 (중간) 주변 신호(130)의 복수의 주변 신호 채널들(112a, 112b, 112c)로의 분배는 또한, 시간 의존적이고 그리고/또는 주파수 의존적이며, 입력 오디오 신호의 기반이 되는 사운드 소스들의 다양한 위치들 및/또는 다양한 콘텐츠들을 반영할 수 있다.
결론적으로, 오디오 신호 프로세서(110)는 주변 신호 추출을 사용하여 (중간) 주변 신호(130)를 추출할 수 있고, 이어서 (중간) 주변 신호(130)를 주변 신호 채널들(112a, 112b, 112c)로 분배할 수 있으며, 여기서 주변 신호 채널들의 수는 입력 오디오 신호의 채널들의 수보다 크다. (중간) 주변 신호(130)의 주변 신호 채널들(112a, 112b, 112c)로의 분배는 정적으로 정의되지 않을 수 있지만, 입력 오디오 신호 내의 사운드 소스들의 시변 위치들 또는 방향들로 적응될 수 있다. 또한, 주변 신호(130)의 신호 컴포넌트들은, 주변 신호들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 분배가 대응하는 그러한 방식으로 주변 신호 채널들(112a, 112b, 112c)에 걸쳐 분배될 수 있다.
따라서, 상이한 주변 신호 채널들(112a, 112b, 112c)은, 예를 들어 상이한 주변 신호 컴포넌트들을 포함할 수 있으며, 여기서 주변 신호 채널들 중 하나는 제1 직접 사운드 소스로부터 비롯되는(또는 그에 의해 여기되는) 주변 신호 컴포넌트들을 주로 포함할 수 있고, 주변 신호 채널들 중 다른 것은 다른 직접 사운드 소스로부터 비롯되는(또는 그에 의해 여기되는) 주변 신호 컴포넌트들을 주로 포함할 수 있다.
결론적으로, 도 1a에 따른 오디오 신호 프로세서(100)는 상이한 직접 사운드 소스들로부터 비롯되는 주변 신호 컴포넌트들을 상이한 주변 신호 채널들로 분배할 수 있어서, 예를 들어 주변 신호 컴포넌트들이 공간적으로 분배될 수 있게 한다.
이것은 일부 상황들에서 개선된 청각 인상을 가져올 수 있다. 직접 사운드가 비롯되는 방향에 "절대적으로 맞춰지지 않는" 방향들에 연관된 주변 신호 채널들을 통해 주변 신호 컴포넌트들이 렌더링되는 것이 회피될 수 있다.
게다가, 도 1a에 따른 오디오 신호 프로세서가 개별적으로 그리고 조합하여 취해진 본 명세서에 설명된 임의의 특징들, 기능들 및 세부사항들에 의해 보완될 수 있다는 것을 유의해야 한다.
1b) 도 1b에 따른 오디오 신호 프로세서
도 1b는 본 발명의 일 실시예에 따른 오디오 신호 프로세서의 개략적인 블록도를 도시한다. 도 1b에 따른 오디오 신호 프로세서는 그 전체가 150으로 지정된다.
오디오 신호 프로세서(150)는, 예를 들어 멀티-채널 입력 오디오 신호일 수 있는 입력 오디오 신호(160)를 수신한다. 입력 오디오 신호(160)는, 예를 들어 N개의 채널들을 포함할 수 있다. 게다가, 오디오 신호 프로세서(150)는 입력 오디오 신호(160)에 기초하여 주변 신호 채널들(162a, 162b, 162c)을 제공한다.
오디오 신호 프로세서(150)는, 주변 신호 채널들을 제공해서, 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 주변 신호 채널들 사이에서 분배되도록 이루어진다.
이러한 오디오 신호 프로세서는, 주변 신호 채널들이 직접 신호 채널들에 포함될 수 있는 직접 신호 콘텐츠들에 잘 적응된다는 장점을 가져온다. 추가적인 세부사항들에 대해, 섹션 "본 발명의 요약"에서의 위의 설명 및 또한, 다른 실시예들에 관한 설명들에 대한 참조가 이루어진다.
게다가, 신호 프로세서(150)가 본 명세서에 설명된 임의의 특징들, 기능들 및 세부사항들에 의해 선택적으로 보완될 수 있다는 것을 유의해야 한다.
2) 도 2에 따른 시스템
도 2는 본 발명의 일 실시예에 따른 시스템의 개략적인 블록도를 도시한다. 시스템은 그 전체가 200으로 지정된다. 시스템(200)은, 입력 오디오 신호(110)에 대응할 수 있는 멀티-채널 입력 오디오 신호(210)를 수신하도록 이루어진다. 게다가, 시스템(200)은, 예를 들어 도 1a 또는 도 1b를 참조하여 설명된 바와 같은 오디오 신호 프로세서(100)의 기능을 포함할 수 있는 오디오 신호 프로세서(250)를 포함한다. 그러나, 일부 실시예들에서, 오디오 신호 프로세서(250)가 증가된 기능을 가질 수 있다는 것을 유의해야 한다.
게다가, 시스템은 또한, 예를 들어 직접 신호 스피커들(262a, 262b, 262c)의 세트 및 주변 신호 스피커들(264a, 264b, 264c)의 세트를 포함할 수 있는 스피커 배열(260)을 포함한다. 예를 들어, 오디오 신호 프로세서는 복수의 직접 신호 채널들(252a, 252b, 252c)을 직접 신호 스피커들(262a, 262b, 262c)에 제공할 수 있고, 오디오 신호 프로세서(250)는 주변 신호 채널들(254a, 254b, 254c)을 주변 신호 스피커들(264a, 264b, 264c)에 제공할 수 있다. 예를 들어, 주변 신호 채널들(254a, 254b, 254c)은 주변 신호 채널들(112a, 112b, 112c)에 대응할 수 있다.
따라서, 일반적으로 말하면, 오디오 신호 프로세서(250)가 2개 초과의 직접 신호 채널들(252a, 252b, 252c) 및 2개 초과의 주변 신호 채널들(254a, 254b, 254c)을 제공한다고 말할 수 있다. 직접 신호 채널들(252a, 252b, 252c) 각각은 직접 신호 스피커들(262a, 262b, 262c) 중 적어도 하나에 연관된다. 또한, 주변 신호 채널들(254a, 254b, 254c) 각각은 주변 신호 스피커들(264a, 264b, 264c) 중 적어도 하나와 연관된다.
부가적으로, 예를 들어 직접 신호 스피커들과 주변 신호 스피커들 사이에 연관(예를 들어, 페어와이즈(pairwise) 연관)이 존재할 수 있다. 그러나, 대안적으로, 직접 신호 스피커들의 서브세트와 주변 신호 스피커들 사이에 연관이 존재할 수 있다. 예를 들어, 주변 신호 스피커들보다 더 많은 직접 신호 스피커들이 존재할 수 있다(예를 들어, 6개의 직접 신호 스피커들 및 4개의 주변 신호 스피커들). 따라서, 직접 신호 스피커들 중 일부만이 연관된 주변 신호 스피커들을 가질 수 있는 반면, 일부 다른 직접 신호 스피커들은 연관된 주변 신호 스피커들을 갖지 않는다. 예를 들어, 주변 신호 스피커(264a)는 직접 신호 스피커(262a)와 연관될 수 있고, 주변 신호 스피커(264b)는 직접 신호 스피커(262b)와 연관될 수 있으며, 주변 신호 스피커(264c)는 직접 신호 스피커(262c)와 연관될 수 있다. 예를 들어, 연관된 스피커들은 (예를 들어, 청취자의 위치로부터 볼 때, 20° 이하만큼 또는 10° 이하만큼 상이할 수 있는) 동일하거나 유사한 방위각 위치들에 배열될 수 있다. 그러나, 연관된 스피커들(예를 들어, 직접 신호 스피커 및 그의 연관된 주변 신호 스피커)은 상이한 고도들을 포함할 수 있다.
다음에서, 오디오 신호 프로세서(250)에 관한 일부 세부사항들이 설명될 것이다. 오디오 신호 프로세서(250)는, 예를 들어 주변 신호 추출(120)에 대응할 수 있는 직접-주변 분해(220)를 포함한다. 직접-주변 분해(220)는, 예를 들어 입력 오디오 신호(210)를 수신하고, 블라인드(또는 대안적으로는 가이드(guide)된) 직접-주변 분해를 수행하여(여기서, 가이드된 직접-주변 분해는, 예를 들어 상이한 주파수 대역들 또는 서브-대역들에서의 직접 컴포넌트들 및 주변 컴포넌트들에 대응하는 에너지들을 설명하는 오디오 인코더로부터 파라미터들을 수신하여 사용함), 그에 의해, (중간) 직접 신호(또한,
Figure 112020090977895-pct00002
로 지정될 수 있음), 및 예를 들어 (중간) 주변 신호(130)에 대응할 수 있고, 예를 들어
Figure 112020090977895-pct00003
로 지정될 수 있는 (중간) 주변 신호(230)를 제공할 수 있다. 예를 들어, 직접 신호(226)는, (예를 들어, 2개의 채널들을 포함할 수 있는) (중간) 직접 신호(226)를 직접 신호 채널들(252a, 252b, 252c)로 분배하는 직접 신호 분배(246)로 입력될 수 있다. 예를 들어, 직접 신호 분배(246)는 업-믹싱을 수행할 수 있다. 또한, 직접 신호 분배(246)는, 예를 들어, 직접 신호 채널들(252a, 252b, 252c)을 획득하기 위해 직접-주변 분해(220)로부터의 (중간) 직접 신호(226)를 업-믹싱할 때 직접 신호 소스들의 위치들(또는 방향들)을 고려할 수 있다. 직접 신호 분배(246)는, 예를 들어 입력 오디오 신호(210)로부터, 예를 들어 멀티-채널 입력 오디오 신호(210)의 상이한 채널들 사이의 차이들로부터 사운드 소스들의 위치들 또는 방향들에 관한 정보를 도출할 수 있다.
예를 들어, 주변 신호 분배(140)에 대응할 수 있는 주변 신호 분배(240)는 (중간) 주변 신호(230)를 주변 신호 채널들(254a, 254b, 254c)로 분배할 것이다. 주변 신호 분배(240)는 또한, (중간) 주변 신호(230)의 채널들의 수가 주변 신호 채널들(254a, 254b, 254c)의 수보다 통상적으로 작으므로 업-믹싱을 수행할 수 있다.
주변 신호 분배(240)는, (주변 신호 채널들(254a, 254b, 254c)이 상이한 렌더링 위치들과 통상적으로 연관되므로) 주변 신호의 컴포넌트들이 또한 공간적으로 분배되도록, 업-믹싱 기능을 수행할 때 입력 오디오 신호(210) 내의 사운드 소스들의 위치들 또는 방향들을 또한 고려할 수 있다.
게다가, 직접 신호 분배(246) 및 주변 신호 분배(240)가, 예를 들어 조정된 방식으로 동작할 수 있다는 것을 유의해야 한다. 신호 컴포넌트들의(예를 들어, 직접 신호 및 주변 신호의 시간-주파수-도메인 표현의 시간 주파수 빈들 또는 블록들의) 분배는 직접 신호 분배(246)에 의해 그리고 주변 신호 분배(240)에 의해 동일한 방식으로 분배될 수 있다(여기서, 직접 신호 컴포넌트들에 관한 주변 신호 컴포넌트들의 지연을 적절히 고려하기 위해 주변 신호 분배의 동작에 시간 시프트가 존재할 수 있음). 다시 말하면, (직접 신호 분배(246)가 직접 신호의 시간-주파수 도메인 표현 상에서 동작하면 수행될 수 있는) 직접 신호 분배(246)에 의한 시간-주파수 빈들 또는 블록들의 스케일링은, 주변 신호(230)로부터 주변 신호 채널들(254a, 254b, 254c)을 도출하도록 주변 신호 분배(246)에 의해 적용되는 대응하는 시간-주파수 빈들 또는 블록들의 스케일링과 동일할 수 있다. 이러한 선택적인 기능에 관한 세부사항들이 아래에서 설명될 것이다.
결론적으로, 도 2에 따른 시스템(200)에서, (중간) 직접 신호와 (중간) 주변 신호(신호 둘 모두는 멀티-채널 중간 신호들일 수 있음) 사이에 분리가 존재한다. 결과적으로, (중간) 직접 신호 및 (중간) 주변 신호는 개개의 직접 신호 채널들 및 주변 신호 채널들을 획득하기 위해 분배(업-믹싱)된다. 직접 신호 채널들 및 주변 신호 채널들이 공간적 위치들과 연관될 수 있으므로, 업-믹싱은 직접 신호 컴포넌트들 및 주변 신호 컴포넌트들의 공간적 분배에 대응할 수 있다. 또한, (중간) 직접 신호 및 (중간) 주변 신호의 업-믹싱은, 대응하는 신호 컴포넌트들(예를 들어, 주변 신호 컴포넌트들과 직접 신호 컴포넌트들 사이의 시간 시프트를 고려하여 가급적, 그들의 주파수와 대응하고 그들의 시간에 대응함)이 동일한 방식으로(예를 들어, 동일한 업-믹싱 스케일링으로) 분배될 수 있도록 조정될 수 있다. 따라서, 양호한 청각 인상이 달성될 수 있으며, 주변 신호들이 적절한 위치로부터 비롯되는 것으로 지각되는 것이 회피될 수 있다.
게다가, 시스템(200) 또는 그의 오디오 신호 프로세서(250)가 개별적으로 또는 조합하여 본 명세서에 설명된 특징들 및 기능들 및 세부사항들 중 임의의 것에 의해 보완될 수 있다는 것을 유의해야 한다. 게다가, 오디오 신호 프로세서(250)에 관해 설명된 기능들이 선택적인 확장들로서 오디오 신호 프로세서(100)에 또한 통합될 수 있다는 것을 유의해야 한다.
3) 도 3 및 도 4에 따른 신호 프로세싱
다음에서, 예를 들어 도 1a의 오디오 신호 프로세서(100) 또는 도 1b에 따른 오디오 신호 프로세서 또는 도 2에 따른 오디오 신호 프로세서(250)에서 구현될 수 있는 신호 프로세싱이 도 3 및 도 4를 참조하여 설명될 것이다.
그러나, 다음에 설명되는 특징들, 기능들, 및 세부사항들이 선택적인 것으로 고려되어야 한다는 것을 유의해야 한다. 게다가, 다음에 설명되는 특징들, 기능들 및 세부사항들이 개별적으로 또는 조합하여 오디오 신호 프로세서들(100, 250)에 도입될 수 있다는 것을 유의해야 한다.
다음에서, 먼저 도 3을 참조하여 취해지는 전체 신호 흐름의 설명이 있을 것이다. 후속하여, 스펙트럼 가중치 계산에 관한 세부사항들이 도 4에 도시된 예를 참조하여 설명될 것이다.
이제 도 3의 신호 흐름을 참조하면, N개의 채널들을 갖는 입력 오디오 신호(310)가 존재하며, 여기서 N은 통상적으로 2보다 크거나 그와 동일하다고 가정한다는 것을 유의해야 한다. 입력 오디오 신호는 또한, 입력 오디오 신호의 시간 도메인 표현을 지정하는 x(t), 또는 입력 오디오 신호의 주파수 도메인 표현 또는 스펙트럼 도메인 표현 또는 시간-주파수 도메인 표현을 지정하는 X(m,k)로서 표현될 수 있다. 예를 들어, m은 시간 인덱스이고, k는 주파수 빈(또는 서브대역) 인덱스이다.
게다가, 입력 오디오 신호가 시간-도메인 표현에 있는 경우, 선택적으로 시간 도메인-스펙트럼 도메인 변환이 존재할 수 있다는 것을 유의해야 한다. 또한, 프로세싱이 바람직하게는 스펙트럼 도메인에서(즉, 신호 X(m,k)에 기초하여) 수행된다는 것을 유의해야 한다.
또한, 입력 오디오 신호(310)가 입력 오디오 신호(110) 및 입력 오디오 신호(210)에 대응할 수 있다는 것을 유의해야 한다.
게다가, 입력 오디오 신호(310)에 기초하여 수행되는 직접/주변 분해(320)가 존재한다. 필수적이지는 않지만 바람직하게는, 직접/주변 분해(320)는 입력 오디오 신호의 스펙트럼 도메인 표현 X(m,k)에 기초하여 수행된다. 또한, 직접/주변 분해는, 예를 들어 주변 신호 추출(120) 및 직접/주변 분해(220)에 대응할 수 있다.
추가로, 직접/주변 분해(220)의 상이한 구현들이 당업자에게 알려져 있다는 것을 유의해야 한다. 예를 들어, PCT/EP2013/072170에 설명된 주변 신호 분리를 참조한다. 그러나, 당업자에게 알려져 있는 직접/주변 분해 개념들 중 임의의 개념이 본 명세서에서 사용될 수 있다는 것을 유의해야 한다.
따라서, 직접/주변 분해는, (마치 입력 오디오 신호(310)와 같이) 통상적으로 N개의 채널들을 포함하는 (중간) 직접 신호를 제공한다. (중간) 직접 신호는 322로 지정되며, 또한
Figure 112020090977895-pct00004
로 지정될 수 있다. (중간) 직접 신호는, 예를 들어 (중간) 직접 신호(226)에 대응할 수 있다.
게다가, 직접/주변 분해(320)는, 예를 들어 (마치 입력 오디오 신호(310)와 같이) N개의 채널들을 또한 포함할 수 있는 (중간) 주변 신호(324)를 또한 제공한다. (중간) 주변 신호는 또한
Figure 112020090977895-pct00005
로 지정될 수 있다.
직접/주변 분해(320)가 반드시 완벽한 직접/주변 분해 또는 직접/주변 분리를 제공할 필요는 없다는 것을 유의해야 한다. 다시 말하면, (중간) 직접 신호(320)는 원래의 직접 신호를 완벽하게 표현할 필요는 없고, (중간) 주변 신호는 원래의 주변 신호를 완벽하게 표현할 필요는 없다. 그러나, (중간) 직접 신호
Figure 112020090977895-pct00006
및 (중간) 주변 신호
Figure 112020090977895-pct00007
는 원래의 직접 신호 및 원래의 주변 신호의 추정들로서 고려되어야 하며, 여기서 추정의 품질은 직접/주변 분해(320)를 위해 사용되는 알고리즘의 품질(및/또는 복잡도)에 의존한다. 그러나, 당업자에게 알려져 있는 바와 같이, 직접 신호 컴포넌트들과 주변 신호 컴포넌트들 사이의 합리적인 분리는 문헌으로부터 알려져 있는 알고리즘들에 의해 달성될 수 있다.
도 3에 도시된 바와 같은 신호 프로세싱(300)은 또한 스펙트럼 가중치 계산(330)을 포함한다. 스펙트럼 가중치 계산(330)은, 예를 들어 입력 오디오 신호(310) 및/또는 (중간) 직접 신호(322)를 수신할 수 있다. 청각 장면에서 신호 소스들의 (추정된) 위치들 또는 방향들에 의존하여 직접 신호의 업-믹싱 및 주변 신호의 업-믹싱을 위한 스펙트럼 가중치들(332)을 제공하는 것이 스펙트럼 가중치 계산(330)의 목적이다. 스펙트럼 가중치 계산은, 예를 들어 입력 오디오 신호(310)의 분석에 기초하여 이들 스펙트럼 가중치들을 결정할 수 있다. 일반적으로 말하면, 입력 오디오 신호(310)의 분석은, 특정 스펙트럼 빈의 사운드가 비롯되는 위치 또는 방향을 스펙트럼 가중치 계산(330)이 추정하게 (또는 스펙트럼 가중치들의 직접 도출) 허용한다. 예를 들어, 스펙트럼 가중치 계산(330)은, 입력 오디오 신호의 채널들의(예를 들어, 좌측 채널 및 우측 채널의) 스펙트럼 빈의(또는 다수의 스펙트럼 빈들의) 진폭들 및/또는 위상들을 비교(또는 일반적으로 말하면, 평가)할 수 있다. 그러한 비교(또는 평가)에 기초하여, (명시적인 또는 암묵적인) 정보는, 고려되는 스펙트럼 빈 내의 스펙트럼 컴포넌트가 어느 위치 또는 방향으로부터 비롯되는지로부터 도출될 수 있다. 따라서, 주어진 스펙트럼 빈의 사운드가 어느 위치 또는 방향으로부터 비롯되는지의 추정에 기초하여, 스펙트럼 컴포넌트가 (업-믹싱된) 오디오 채널 신호의 어느 채널 또는 어느 채널들로 (그리고 어느 세기 또는 스케일링을 사용하여) 업-믹싱되어야 하는지가 결론내려질 수 있다. 다시 말하면, 스펙트럼 가중치 계산(330)에 의해 제공된 스펙트럼 가중치들(332)은, 예를 들어 (중간) 직접 신호(322)의 각각의 채널에 대해, 직접 신호의 업-믹싱(340)에서 사용될 가중을 정의할 수 있다.
다시 말하면, 직접 신호의 업-믹싱(340)은 (중간) 직접 신호(322) 및 스펙트럼 가중치들(332)을 수신하고, 결과적으로는, Q>N인 Q개의 채널들을 포함할 수 있는 직접 오디오 신호(342)를 도출할 수 있다. 게다가, 업-믹싱된 직접 오디오 신호들(342)의 채널들은, 예를 들어 직접 신호 채널들(252a, 252b, 252c)에 대응할 수 있다. 예를 들어, 스펙트럼 가중치 계산(330)에 의해 제공된 스펙트럼 가중치들(332)은, 업-믹싱된 직접 오디오 신호(342)의 Q개의 채널들의 계산에서 (중간) 직접 신호(322)의 N개의 채널들과 연관된 가중치들을 정의하는 업-믹스 매트릭스 Gp를 정의할 수 있다. 스펙트럼 가중치들, 및 결과적으로는 업-믹싱(340)에 의해 사용되는 업-믹스 매트릭스 Gp는, 예를 들어 스펙트럼 빈마다(또는 스펙트럼 빈들의 상이한 블록들 사이에서) 상이할 수 있다.
유사하게, 스펙트럼 가중치 계산(330)에 의해 제공된 스펙트럼 가중치들(332)은 또한 (중간) 주변 신호(324)의 업-믹싱(350)에서 사용될 수 있다. 업-믹싱(350)은 스펙트럼 가중치들(332), 및 N개의 채널들(324)을 포함할 수 있는 (중간) 주변 신호를 수신할 수 있으며, 이들의 기초하여, Q>N인 Q개의 채널들을 포함할 수 있는 업-믹싱된 주변 신호(352)를 제공한다. 예를 들어, 업-믹싱된 주변 오디오 신호(352)의 Q개의 채널들은, 예를 들어 주변 신호 채널들(254a, 254b, 254c)에 대응할 수 있다. 또한, 업-믹싱(350)은, 예를 들어 도 2에 도시된 주변 신호 분배(240) 및 도 1a 또는 도 1b에 도시된 주변 신호 분배(140)에 대응할 수 있다.
다시, 스펙트럼 가중치들(332)은, Q개의 채널의 업-믹싱된 주변 오디오 신호(352)의 제공 시에 직접/주변 분해(320)에 의해 제공된 (중간) 주변 신호(324)의 N개의 채널들의 기여도들(가중치들)을 설명하는 업-믹스 매트릭스를 정의할 수 있다.
예를 들어, 업-믹싱(340) 및 업-믹싱(350)은 동일한 업-믹싱 매트릭스 Gp를 사용할 수 있다. 그러나, 상이한 업-믹스 매트릭스들의 사용이 또한 가능할 수 있다.
다시, 주변 신호의 업-믹스는 주파수 의존적이며, (상이한 스펙트럼 빈들 또는 스펙트럼 빈들의 상이한 그룹들에 대해 상이한 업-믹스 매트릭스들 Gp를 사용하여) 개별적으로 수행될 수 있다.
스펙트럼 가중치 계산(330)에 의해 수행되는 스펙트럼 가중치들의 가능한 계산에 관한 선택적인 세부사항들이 다음에 설명될 것이다.
게다가, 예를 들어 스펙트럼 가중치 계산(330)에 관해, 직접 신호의 업-믹싱(340)에 관해 그리고 주변 신호의 업-믹싱(350)에 관해 본 명세서에 설명된 바와 같은 기능이 개별적으로 또는 조합하여 취해진 도 1 및 도 2에 따른 실시예들에 선택적으로 통합될 수 있다는 것을 유의해야 한다.
다음에서, 스펙트럼 가중치들의 계산을 위한 간략화된 예가 도 4를 참조하여 설명될 것이다. 그러나, 스펙트럼 가중치들의 계산이, 예를 들어 WO 2013004698 A1에 설명된 바와 같이 수행될 수 있다는 것을 유의해야 한다.
그러나, N-채널 신호의 Q 채널 신호로의 업-믹싱을 위해 의도되는 스펙트럼 가중치들의 계산을 위한 상이한 개념들이 또한 사용될 수 있다는 것을 유의해야 한다. 그러나, 입력 오디오 신호에 기초한 업-믹싱에 종래에 적용되는 스펙트럼 가중치들이 이제, (입력 오디오 신호에 기초한) 직접/주변 분해(320)에 의해 제공된 주변 신호(324)의 업-믹싱에 적용된다는 것을 유의해야 한다. 그러나, 스펙트럼 가중치들의 결정은 (직접/주변 분해 이전의) 입력 오디오 신호에 기초하여 또는 (중간) 직접 신호에 기초하여 여전히 수행될 수 있다. 다시 말하면, 스펙트럼 가중치들의 결정은 스펙트럼 가중치들의 종래의 결정과 유사하거나 동일할 수 있지만, 본 발명에 따른 실시예들에서, 스펙트럼 가중치들은 상이한 타입들의 신호들, 즉 추출된 주변 신호에 적용되어, 그에 의해 청각 인상을 개선시킨다.
다음에서, 스펙트럼 가중치들의 결정을 위한 간략화된 예가 도 4를 참조하여 설명될 것이다. 2-채널 입력 오디오 신호의(예를 들어, 신호(310)의) 주파수 도메인 표현은 참조 번호(410)로 도시되어 있다. 좌측 열(column)(410a)은 입력 오디오 신호의 제1 채널의(예를 들어, 좌측 채널의) 스펙트럼 빈들을 표현하고, 우측 열(418b)은 입력 오디오 신호의(예를 들어, 입력 오디오 신호(310)의) 제2 채널의(예를 들어, 우측 채널의) 스펙트럼 빈들을 표현한다. 상이한 행(row)들(419a 내지 419d)은 상이한 스펙트럼 빈들과 연관된다.
게다가, 상이한 신호 강도들은 범례(420)에 도시된 바와 같이, 표현(410) 내의 개개의 필드들을 상이하게 채움으로써 표시된다.
다시 말하면, 참조 번호(410)의 신호 표현은 (예를 들어, 주어진 프레임에 대한) 주어진 시간에서의 그리고 (인덱스 k를 갖는) 복수의 주파수 빈들에 걸친 입력 오디오 신호 X의 주파수 도메인 표현을 표현할 수 있다. 예를 들어, 행(419a)에 도시된 제1 스펙트럼 빈에서, 제1 채널 및 제2 채널의 신호들은 대략적으로 동일한 세기들(예를 들어, 중간 신호 강도)을 가질 수 있다. 이것은, 예를 들어 사운드 소스가 대략 청취자의 전방에, 즉 중앙 구역에 있다는 것을 표시(또는 암시)할 수 있다. 그러나, 행(419b)에서 표현되는 제2 스펙트럼 빈을 고려할 때, 제1 채널의 신호가 제2 채널의 신호보다 상당히 더 강하다는 것을 알 수 있으며, 이는, 예를 들어 사운드 소스가 청취자의 특정 측부 상에(예를 들어, 좌측 측부 상에) 있다는 것을 표시할 수 있다. 행(419c)에서 표현되는 제3 스펙트럼 빈에서, 신호는 제2 채널과 비교할 때 제1 채널에서 더 강하며, 여기서 차이(상대적인 차이)는 (행(419b)에 도시된) 제2 스펙트럼 빈에서보다 더 작을 수 있다. 이것은, 사운드 소스가 중심으로부터 어느 정도 오프셋되어 있다는 것, 예를 들어 청취자의 관점으로부터 볼 때 좌측 측부로 어느 정도 오프셋되어 있다는 것을 표시할 수 있다.
다음에서, 스펙트럼 가중치들이 논의될 것이다. 스펙트럼 가중치들의 표현은 참조 번호(440)로 도시되어 있다. 4개의 열들(448a 내지 448d)은 업-믹싱된 신호의(즉, 업-믹싱된 직접 오디오 신호(342)의 및/또는 업-믹싱된 주변 오디오 신호(352)의) 상이한 채널들과 연관된다. 다시 말하면, 참조 번호(440)로 도시된 예에서 Q=4라고 가정된다. 행들(449a 내지 449e)은 상이한 스펙트럼 빈들과 연관된다. 그러나, 행들(449a 내지 449e) 각각이 2개의 행들의 숫자들(스펙트럼 가중치들)을 포함한다는 것을 유의해야 한다. 행들(449a 내지 449e) 각각 내의 제1의 상부 행의 숫자들은 개개의 스펙트럼 빈에 대한 개개의 업-믹싱된 신호의(예를 들어, 업-믹싱된 직접 오디오 신호의 또는 업-믹싱된 주변 오디오 신호의) 채널들에 대한 (중간 직접 신호의 및/또는 중간 주변 신호의) 제1 채널의 기여도를 표현한다. 유사하게, 제2 행의 숫자들(스펙트럼 가중치들)은 개개의 스펙트럼 빈에 대한 개개의 업-믹싱된 신호의(업-믹싱된 직접 오디오 신호의 및/또는 업-믹싱된 주변 오디오 신호의) 상이한 채널들에 대한 중간 직접 신호의 또는 중간 주변 신호의 제2 채널의 기여도를 설명한다.
각각의 행(449a, 449b, 449c, 449d, 449e)이 업-믹싱 매트릭스
Figure 112020090977895-pct00008
의 전치된 버전(transposed version)에 대응할 수 있다는 것을 유의해야 한다.
다음에서, 업-믹싱 계수들이 입력 오디오 신호로부터 어떻게 도출될 수 있는지의 일부 로직이 설명될 것이다. 그러나, 다음의 설명은 단지 본 발명의 근본적인 이해를 용이하게 하기 위한 간략화된 예들로서만 고려되어야 한다. 그러나, 다음의 예들이 진폭에만 포커싱하고 위상들을 고려하지 않은 채로 유지시키는 반면, 실제 구현들은 위상들을 또한 고려할 수 있다는 것을 유의해야 한다. 더욱이, 사용된 알고리즘들이, 예를 들어 참조 문서들에 설명된 바와 같이 더 정교할 수 있다는 것을 유의해야 한다.
이제 제1 스펙트럼 빈을 참조하면, 입력 오디오 신호의 제1 채널 및 제2 채널의 진폭들이 행(419a)에 도시된 바와 같이 유사하다는 것이 (예를 들어, 스펙트럼 가중치 계산에 의해) 발견될 수 있다. 따라서, 제1 스펙트럼 빈에 대해, (중간) 직접 신호의 및/또는 (중간) 주변 신호의 제1 채널이 업-믹싱된 직접 오디오 신호의 또는 업-믹싱된 주변 오디오 신호(유일)의 제2 채널(채널 2')에 기여해야 한다고 스펙트럼 가중치 계산(330)에 의해 결론내려질 수 있다. 따라서, 0.5의 적절한 스펙트럼 가중치가 행(449a)의 상부 라인에서 보여질 수 있다. 유사하게, 제1 행(449a)의 제2 라인의 대응하는 값 0.5로부터 알 수 있는 바와 같이, (중간) 직접 신호의 및/또는 중간 주변 신호의 제2 채널이 업-믹싱된 직접 오디오 신호의 및/또는 업-믹싱된 주변 오디오 신호의 제3 채널(채널 3')에 기여해야 한다고 스펙트럼 가중치 계산에 의해 결론내려질 수 있다. 예를 들어, 업-믹싱된 직접 오디오 신호의 그리고 업-믹싱된 주변 오디오 신호의 제2 채널(채널 2') 및 제3 채널(채널 3')이 청각 장면의 중심에 비교적 가까운 반면, 예를 들어 제1 채널(채널 1') 및 제4 채널(채널 4')이 청각 장면의 중심으로부터 더 멀리 떨어져 있다고 가정될 수 있다. 따라서, 오디오 소스가 대략적으로 청취자의 전방에 있다는 것이 스펙트럼 가중치 계산(330)에 의해 발견되면, 스펙트럼 가중치들은, 오디오 소스에 의해 여기도니 주변 신호 컴포넌트들이 오디오 장면의 중심에 가까운 하나 이상의 채널들에서 렌더링(또는 주로 렌더링)되도록 선택될 수 있다.
이제 제2 스펙트럼 빈을 참조하면, 사운드 소스가 청취자의 좌측 측부 상에 있을 가능성이 있다는 것을 행(419b)에서 알 수 있다. 결과적으로, 스펙트럼 가중치 계산(330)은, 이러한 스펙트럼 빈의 주변 신호가 청취자의 좌측 측부 상에서 멀리 있는 스피커에 대해 의도되는 업-믹싱된 주변 오디오 신호의 채널에 포함되도록 스펙트럼 가중치들을 선택할 수 있다. 따라서, 이러한 제2 주파수 빈에 대해, 이러한 스펙트럼 빈에 대한 주변 신호들이 업-믹싱된 주변 오디오 신호의 제1 채널(채널 1')에만 포함되어야 한다고 스펙트럼 가중치 계산(330)에 의해 판단될 수 있다. 이것은, 예를 들어, 제1 업-믹싱된 채널(채널 1')과 연관된 스펙트럼 가중치가 0(예를 들어, 1)과 상이하도록 선택함으로써 그리고 (다른 업-믹스 채널들 2', 3', 4'와 연관된 다른 스펙트럼 가중치들을 0인 것으로 선택함으로써 달성될 수 있다. 따라서, 오디오 소스가 오디오 장면의 좌측 측부 상에 강하게 있다는 것이 스펙트럼 가중치 계산(330)에 의해 발견되면, 스펙트럼 가중치 계산은, 개개의 스펙트럼 빈의 주변 신호 컴포넌트들이 오디오 장면의 좌측 측부 상의 스피커들에 연관된 업-믹싱된 주변 오디오 신호의 (하나 이상의) 채널들로 분배(업-믹싱)되도록 스펙트럼 가중치들을 선택한다. 자연스럽게, (입력 오디오 신호 또는 직접 신호를 고려할 때) 오디오 소스가 오디오 장면의 우측 측부 상에 있다는 것이 스펙트럼 가중치 계산들(330)에 의해 발견되면, 스펙트럼 가중치 계산(330)은, 추출된 주변 신호의 대응하는 스펙트럼 컴포넌트들이 오디오 장면의 우측 측부 상의 스피커 위치들과 연관된 업-믹싱된 주변 오디오 신호의 (하나 이상의) 채널들로 분배(업-믹싱)되도록 스펙트럼 가중치들을 선택한다.
제3 예로서, 제3 스펙트럼 빈이 고려된다. 제3 스펙트럼 빈에서, 스펙트럼 가중치 계산(330)은, 오디오 소스가 "어느 정도" 오디오 장면의 좌측 측부 상에 있다는 것(그러나, 오디오 장면의 좌측 측부 상에서 극히 멀리 있지는 않음)을 발견할 수 있다. 예를 들어, 이것은, 제1 채널에는 강한 신호가 있고 제2 채널에는 중간 신호가 있다는 사실로부터 알 수 있다(행(419c) 참조).
이러한 경우, 스펙트럼 가중치 계산(330)은, 제3 스펙트럼 빈의 주변 신호 컴포넌트가 업-믹싱된 주변 오디오 신호의 채널들 1' 및 2'로 분배되도록 스펙트럼 가중치들을 세팅할 수 있으며, 이는, 어느 정도 청각 장면의 좌측 측부 상에(그러나, 청각 장면의 좌측 측부 상에서 극히 멀리 있지는 않게) 주변 신호를 배치시키는 것에 대응한다.
결론적으로, 스펙트럼 가중치들을 적절히 선택함으로써, 스펙트럼 가중치 계산(330)은 추출된 주변 신호 컴포넌트들이 오디오 신호 장면에 배치(또는 패닝)되는 곳을 결정할 수 있다. 주변 신호 컴포넌트들의 배치는, 예를 들어 스펙트럼 빈마다 수행된다. 추출된 주변 신호의 특정 주파수 빈이 스펙트럼 장면 내의 어디에 배치되어야 하는지의 판단은 입력 오디오 신호의 분석에 기초하여 또는 추출된 직접 신호의 분석에 기초하여 행해질 수 있다. 또한, 주변 신호의 업-믹스(350)에서 사용된 스펙트럼 가중치들이 직접 신호의 업-믹스(340)에서 사용된 스펙트럼 가중치들과 비교할 때 시간상(예를 들어, 하나 이상의 프레임들만큼) 지연될 수 있도록 직접 신호와 주변 신호 사이의 시간 지연이 고려될 수 있다.
그러나, 입력 오디오 신호들의 또는 추출된 직접 신호들의 위상들 또는 위상 차이들이 스펙트럼 가중치 계산에 의해 또한 고려될 수 있다. 또한, 스펙트럼 가중치들은 미세-조정된 방식으로 자연스럽게 결정될 수 있다. 예를 들어, 스펙트럼 가중치들은 (중간) 주변 신호의 채널의 업-믹싱된 주변 오디오 신호의 정확히 하나의 채널로의 할당을 표현할 필요가 없다. 오히려, 다수의 채널들에 걸친 또는 심지어 모든 채널들에 걸친 매끄러운 분배가 스펙트럼 가중치들에 의해 표시될 수 있다.
도 3 및 도 4를 참조하여 설명된 기능이 본 발명에 따른 실시예들 중 임의의 실시예에서 선택적으로 사용될 수 있다는 것을 유의해야 한다. 그러나, 주변 신호 추출 및 주변 신호 분배를 위한 상이한 개념들이 또한 사용될 수 있다.
또한, 도 3 및 도 4에 관해 설명된 특징들, 기능들 및 세부사항들이 개별적으로 또는 조합하여 다른 실시예들에 도입될 수 있다는 것을 유의해야 한다.
4) 도 5에 따른 방법
도 5는 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법(500)의 흐름도를 도시한다.
방법은 단계(510)에서, 입력 오디오 신호에 기초하여 (중간) 주변 신호를 추출하는 단계를 포함한다. 방법(500)은 단계(520)에서, 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 (추출된 중간) 주변 신호를 복수의 (업-믹싱된) 주변 신호 채널들로 분배하는 단계를 더 포함하며, 여기서 주변 신호 채널들의 수는 입력 오디오 신호의 채널들의 수보다 크다.
도 5에 따른 방법(500)은 개별적으로 또는 조합하여 본 명세서에 설명된 특징들 및 기능들 중 임의의 것에 의해 보완될 수 있다. 특히, 도 5에 따른 방법(500)이 오디오 신호 프로세서에 관해 그리고/또는 시스템에 관해 설명된 특징들 및 기능들 및 세부사항들 중 임의의 것에 의해 보완될 수 있다는 것을 유의해야 한다.
5) 도 6에 따른 방법
도 6은 멀티-채널 입력 오디오 신호에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 방법(600)의 흐름도를 도시한다.
방법은, 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하는 단계(610)를 포함하며, 여기서 2개 초과의 주변 신호 채널들이 제공된다. 주변 신호 채널들의 제공은, 예를 들어 도 5에 관해 설명된 방법(500)에 따라 수행될 수 있다.
방법(600)은 또한, 2개 초과의 직접 신호 채널들을 제공하는 단계(620)를 포함한다.
방법(600)은 또한, 직접 신호 스피커들의 세트 및 주변 신호 스피커들의 세트를 포함하는 스피커 배열에 주변 신호 채널들 및 직접 신호 채널들을 공급하는 단계(630)를 포함하며, 여기서 직접 신호 채널들 각각은 직접 신호 스피커들 중 적어도 하나에 공급되고, 주변 신호 채널들 각각은 주변 신호 스피커들 중 적어도 하나에 공급된다.
방법(600)은 개별적으로 또는 조합하여 본 명세서에 설명된 특징들 및 기능들 및 세부사항들 중 임의의 것에 의해 선택적으로 보완될 수 있다. 예를 들어, 방법(600)은 또한, 오디오 신호 프로세서에 관해 또는 시스템에 관해 설명된 특징들, 기능들 및 세부사항들에 의해 보완될 수 있다.
6) 추가적인 양상들 및 실시예들
다음에서, 본 발명에 따른 일 실시예가 제시될 것이다. 특히, 개별적으로 또는 조합하여 취해진 다른 실시예들 중 임의의 실시예로 인계될 수 있는 세부사항들이 제시될 것이다. 그러나, 본 명세서에 언급된 장치들에 의해 그리고 시스템에 의해 수행될 수 있는 방법이 설명될 것이라는 것을 유의해야 한다.
6.1. 개요
다음에서, 개요가 제시될 것이다. 개요에서 설명된 특징들은 실시예를 형성할 수 있거나, 또는 본 명세서에 설명된 다른 실시예들에 도입될 수 있다.
본 발명에 따른 실시예들은, 주변 신호 그 자체가 그들의 소스 신호의 위치에 따라(예를 들어, 주변 신호를 여기시키는 오디오 소스들의 위치에 따라) 신호 컴포넌트들로 분리되는 주변 신호의 분리를 도입한다. 모든 주변 신호들이 확산되고 그에 따라 위치확인될 수 있는 위치를 갖지 않지만, 많은 주변 신호들, 예를 들어 잔향은 위치확인될 수 있는 위치를 갖는 (직접) 여기 신호로부터 생성된다. 획득된 주변 출력 신호(예를 들어, 주변 신호 채널들(112b 내지 112c) 또는 주변 신호 채널들(254a 내지 254c) 또는 업-믹싱된 주변 오디오 신호(352))는 입력 신호(예를 들어, N개의 채널들)보다 더 많은 채널들(예를 들어, Q개의 채널들)을 가지며, 여기서 출력 채널들(예를 들어, 주변 신호 채널들)은 주변 신호 컴포넌트를 생성했던 직접 소스 신호의 위치들에 대응한다.
(예를 들어, 주변 신호 채널들(112a 내지 112c)에 의해 또는 주변 신호 채널들(254a 내지 254c)에 의해 또는 업믹싱된 주변 오디오 신호(352)에 의해 표현되는) 획득된 멀티-채널 주변 신호는 오디오 신호들의 업믹싱을 위해, 즉 N개의 채널들을 갖는 입력 신호가 주어지면 Q개의 채널들을 갖는 신호를 생성하기 위해(여기서, Q>N) 요구된다. 멀티-채널 사운드 재생 시스템에서의 출력 신호들의 렌더링이 다음에서 설명된다(그리고 또한, 위의 설명에서도 어느 정도 설명되었음).
6.2 추출된 신호의 제안된 렌더링
제시된 방법(및 개념)의 중요한 양상은, 추출된 주변 신호 컴포넌트들(예를 들어, 추출된 주변 신호(130) 또는 추출된 주변 신호(230) 또는 추출된 주변 신호(324))이 그들의 여기 신호의(예를 들어, 개개의 주변 신호들 또는 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스의) 위치에 따라 주변 신호 채널들 사이에서(예를 들어, 신호들(112a 내지 112c) 사이에서 또는 신호들(254a 내지 254c) 사이에서, 또는 업-믹싱된 주변 오디오 신호(352) 사이에서) 분배되는 것이다. 일반적으로, 모든 채널들(라우드스피커들)은 직접 신호들 또는 주변 신호들 또는 둘 모두를 재생하기 위해 사용될 수 있다.
도 7은 2개의 채널들을 이용하여 스테레오포닉 오디오 신호들을 재생하는 데 적절한 2개의 라우드스피커들을 갖는 일반적인 라우드스피커 셋업을 도시한다. 다시 말하면, 도 7은 2-채널 스테레오포니를 위한 2개의 라우드스피커들(각각, 좌측 및 우측 측부 상의 "L" 및 "R")을 갖는 표준 라우드스피커 셋업을 도시한다.
더 많은 채널들을 갖는 라우드스피커 셋업이 이용가능할 때, 2-채널 입력 신호(예를 들어, 입력 오디오 신호(110) 또는 입력 오디오 신호(210) 또는 입력 오디오 신호(310))는 다수의 채널 신호들로 분리될 수 있고, 부가적인 출력 신호들은 부가적인 라우드스피커들로 공급된다. 이용가능한 입력 채널들보다 많은 채널들을 갖는 출력 신호를 생성하는 이러한 프로세스는 일반적으로 업-믹싱으로 지칭된다.
도 8은 4개의 라우드스피커들을 갖는 라우드스피커 셋업을 예시한다. 다시 말하면, 도 8은 4개의 라우드스피커들(전방 좌측 "fL", 전방 우측 "fR", 후방 좌측 "rL", 후방 우측 "rR")을 갖는 쿼드로포닉 라우드스피커 셋업을 도시한다. 달리 말하면, 도 8은 4개의 라우드스피커들을 갖는 라우드스피커 셋업을 예시한다. 2개의 채널들을 갖는 신호를 재생할 때 4개의 모든 라우드스피커들을 이용하기 위해, 예를 들어, 입력 신호(예를 들어, 입력 오디오 신호(110) 또는 입력 오디오 신호(210) 또는 입력 오디오 신호(310))는 4개의 채널들을 갖는 신호로 분할될 수 있다.
8개의 라우드스피커들을 갖는 다른 라우드스피커 셋업이 도 9에 도시되며, 여기서 4개의 라우드스피커들("높이" 라우드스피커들)은 상승되어 있고, 예를 들어 청취 룸의 천장 아래에 장착된다. 다시 말하면, 도 9는 "h"로 마킹된 부가적인 높이 라우드스피커들을 갖는 쿼드로포닉 라우드스피커 셋업을 도시한다.
입력 신호보다 더 많은 채널들을 갖는 라우드스피커 셋업들을 사용하여 오디오 신호들을 재생할 때, 입력 신호를 의미있는 신호 컴포넌트들로 분해하는 것이 일반적인 실시이다. 주어진 예의 경우, 모든 직접 사운드들이 4개의 하부 라우드스피커들 중 하나에 공급되어, 입력 신호의 측부들로 패닝되는 사운드 소스들이 후방 라우드스피커들 "rL" 및 "rR"에 의해 재생된다. 중심으로 또는 중심에서 약간 벗어나게 패닝되는 사운드 소스들은 전방 라우드스피커들 "fL" 및 "fR"로 패닝된다. 그에 의해, 직접 사운드 소스들은 스테레오 파노라마에서 그들의 지각된 위치에 따라 라우드스피커들 사이에서 분배될 수 있다. 종래의 방법들은 입력 신호들이 갖는 것과 동일한 수의 채널들을 갖는 주변 신호들을 계산한다. 2-채널 스테레오 입력 신호를 업-믹싱할 때, 2-채널 주변 신호는 이용가능한 라우드스피커들의 서브세트에 공급되거나, 또는 하나의 주변 신호 채널을 다수의 라우드스피커들에 공급함으로써 4개의 모든 라우드스피커들 사이에서 분배된다.
제시된 방법의 중요한 양상은, N개의 채널들을 갖는 입력 신호들로부터 Q개의 채널들을 갖는 주변 신호의 분리이다(여기서, Q>N). 주어진 예의 경우, 4개의 채널들을 갖는 주변 신호는, 직접 사운드 소스들로부터 여기되는 주변 신호들이 이들 신호들의 방향으로 패닝되도록 계산된다.
이러한 점에서, 예를 들어, 라우드스피커들 사이에서의 직접 사운드 소스들의 위에서-언급된 분배가 직접/주변 분해(220) 및 주변 신호 분배(240)의 상호작용에 의해 수행될 수 있다는 것을 유의해야 한다. 예를 들어, 스펙트럼 가중치 계산(330)은, 직접 신호의 업-믹스(340)가 본 명세서에서 설명된 바와 같이 직접 사운드 소스들의 분배를 수행하도록(예를 들어, 입력 신호의 측부들로 패닝되는 사운드 소스들이 후방 라우드스피커들에 의해 재생되고, 중심으로 또는 중심에서 약간 벗어나게 패닝되는 사운드 소스들이 전방 라우드스피커들로 패닝되도록) 스펙트럼 가중치들을 결정할 수 있다.
게다가, 위에서 언급된 4개의 하부 라우드스피커들(fL, fR, rL, rR)이 스피커들(262a 내지 262c)에 대응할 수 있다는 것을 유의해야 한다. 게다가, 높이 라우드스피커들 h는 라우드스피커들(264a 내지 264c)에 대응할 수 있다.
다시 말하면, 직접 사운드들의 분배를 위한 위에서-언급된 개념은 도 2에 따른 시스템(200)에서 또한 구현될 수 있고, 도 3 및 도 4에 관해 설명된 프로세싱에 의해 달성될 수 있다.
6.3 신호 분리 방법
다음에서, 본 발명에 따라 실시예들에서 사용될 수 있는 신호 분리 방법이 설명될 것이다.
잔향 환경(레코딩 스튜디오 또는 콘서트 홀)에서, 사운드 소스들은 잔향을 생성하고, 그에 의해, 박수 소리들 및 확산 환경 소음(예를 들어, 바람 소리 또는 비)과 같은 다른 확산 사운드들과 함께 앰비언스(ambiance)에 기여한다. 대부분의 음악 레코딩들의 경우, 잔향은 가장 두드러진 주변 신호이다. 그것은, 룸에서 사운드 소스들을 레코딩함으로써 또는 라우드스피커 신호를 룸에 공급하고 마이크로폰을 이용하여 잔향 신호를 레코딩함으로써 음향적으로 생성될 수 있다. 잔향은 또한, 신호 프로세싱에 의해 인위적으로 생성될 수 있다.
잔향은 경계들(벽, 바닥, 천장)에서 반사되는 사운드 소스들에 의해 생성된다. 초기 반사들은 통상적으로 가장 큰 크기를 가지며, 마이크로폰들에 먼저 도달한다. 반사들은 감쇠된 크기들로 추가로 반사되고, 지연된 잔향에 기여한다. 이러한 프로세스는 소스 신호의 많은 지연되고 스케일링된 카피(copy)들의 가산적 혼합물로서 모델링될 수 있다. 따라서, 그것은 콘볼루션(convolution)에 의해 종종 구현된다.
업-믹싱은 부가적인 정보를 사용함으로써 가이드되게 또는 어떠한 부가적인 정보도 없이 오디오 입력 신호를 독점적으로 사용함으로써 가이드되지 않게 수행될 수 있다. 여기서, 우리는 블라인드 업-믹싱의 더 난해한 절차에 포커싱한다. 적절한 메타-데이터와 함께 가이드 접근법을 사용할 때 유사한 개념들이 적용될 수 있다.
입력 신호 x(t)는 직접 신호 d(t)와 주변 신호 a(t)의 가산적 혼합물인 것으로 가정된다.
Figure 112020090977895-pct00009
모든 신호들은 다수의 채널 신호들을 갖는다. 입력, 직접 또는 주변 신호의 i번째 채널 신호는 xi(t), di(t) 및 ai(t)에 의해 각각 표기된다. 이어서, 멀티-채널 신호들은
Figure 112020090977895-pct00010
,
Figure 112020090977895-pct00011
및
Figure 112020090977895-pct00012
로 기입될 수 있으며, 여기서 N은 채널들의 수이다.
프로세싱(예를 들어, 본 발명에 따른 장치들 및 방법들에 의해 수행되는 프로세싱; 예를 들어, 장치(100)에 의해 또는 시스템(200)에 의해 수행되는 프로세싱, 또는 도 3 및 도 4에 도시된 바와 같은 프로세싱)은 단기 푸리에 변환 또는 다른 재구성 필터 뱅크를 사용함으로써 시간-주파수 도메인에서 수행된다. 시간-주파수 도메인에서, 신호 모델은 다음과 같이 기입되며:
Figure 112020090977895-pct00013
여기서, X(m, k), D(m, k) 및 A(m, k)는 각각 x(t), d(t) 및 a(t)의 스펙트럼 계수들이고, m은 시간 인덱스를 표기하고, k는 주파수 빈(또는 서브대역) 인덱스를 표기한다. 다음에서, 시간 및 서브대역 인덱스들이 가능하면 생략된다.
직접 신호 그 자체는 다수의 사운드 소스들에 의해 생성되는 다수의 신호 컴포넌트들
Figure 112020090977895-pct00014
로 이루어질 수 있으며, 주파수 도메인에서는 다음과 같은 표기로 기입되고:
Figure 112020090977895-pct00015
시간 도메인에서는 다음과 같은 표기로 기입되며,
Figure 112020090977895-pct00016
S는 사운드 소스들의 수이다. 신호 컴포넌트들은 상이한 위치들로 패닝된다.
직접 신호 컴포넌트 dc에 의한 잔향 신호 컴포넌트 rc의 생성은 선형 시간-불변(LTI) 프로세스로서 모델링되며, 시간 도메인에서, 잔향 프로세스를 특성화하는 임펄스 응답과 직접 신호의 콘볼루션에 의해 합성될 수 있다.
Figure 112020090977895-pct00017
음악 제작을 위해 사용되는 잔향 프로세스들의 임펄스 응답들은 감쇠되고, 종종 기하급수적으로 감쇠된다. 감쇠는 잔향 시간에 의해 특정될 수 있다. 잔향 시간은, 초기 사운드가 음소거(mute)된 이후 잔향 신호의 레벨이 초기 사운드의 일부로 감쇠되는 시간이다. 잔향 시간은, 예를 들어 "RT60", 즉 잔향 신호가 60dB 까지 감소하는 데 걸리는 시간으로서 특정될 수 있다. 휴게실들, 홀들 및 다른 잔향 프로세스들의 잔향 시간 RT60은 100ms 내지 6s의 범위에 있다.
위에서 설명된 신호들 x(t), x(t), X(m,k) 및 r c 의 위에서-언급된 모델들이 입력 오디오 신호(110), 입력 오디오 신호(210) 및/또는 입력 오디오 신호(310)의 특성들을 표현할 수 있고, 주변 신호 추출(120)을 수행할 때 또는 직접/주변 분해(220) 또는 직접/주변 분해(320)를 수행할 때 활용될 수 있다는 것을 유의해야 한다.
다음에서, 장치(100), 시스템(200)에서 적용될 수 있고 도 3 및 도 4에 관해 설명된 기능에 의해 구현될 수 있는, 본 발명의 기반이 되는 핵심 개념이 설명될 것이다.
본 발명의 일 양상에 따르면, Q개의 채널들로 주변 신호
Figure 112020090977895-pct00018
를 분리시키는 것(또는 제공하는 것)이 제안된다. 예를 들어, 방법은 다음을 포함한다:
1. N개의 채널들로 주변 신호
Figure 112020090977895-pct00019
를 분리시키는 것,
2. 모든 위치들 p=1...P에 대해, 사운드 소스들을 공간 이미지 내의 그들의 위치에 따라 입력 신호로부터 분리시키기 위한 스펙트럼 가중치들(7)을 계산하는 것,
3. 스펙트럼 가중(6)에 의해, 획득된 주변 신호를 Q개의 채널들로 업믹싱하는 것.
Figure 112020090977895-pct00020
예를 들어, 주변 신호
Figure 112020090977895-pct00021
의 N개의 채널들로의 분리는 주변 신호 추출(120)에 의해 또는 직접/주변 분해(220)에 의해 또는 직접/주변 분해(320)에 의해 수행될 수 있다.
게다가, 스펙트럼 가중치들의 계산은 오디오 신호 프로세서(100)에 의해 또는 오디오 신호 프로세서(250)에 의해 또는 스펙트럼 가중치 계산(330)에 의해 수행될 수 있다. 더욱이, 획득된 주변 신호의 Q개의 채널들로의 업-믹싱은, 예를 들어 주변 신호 분배(140)에 의해 또는 주변 신호 분배(240)에 의해 또는 업-믹싱(350)에 의해 수행될 수 있다. 스펙트럼 가중치들(예를 들어, 도 4의 행들(449a 내지 449e)에 의해 표현될 수 있는 스펙트럼 가중치들(332))은, 예를 들어 입력 신호 X(예를 들어, 입력 오디오 신호(110) 또는 입력 오디오 신호(210) 또는 입력 오디오 신호(310))를 분석하는 것으로부터 도출될 수 있다.
Figure 112020090977895-pct00022
스펙트럼 가중치들
Figure 112020090977895-pct00023
는, 그들이 입력 신호로부터 위치 p로 패닝된 사운드 소스들을 분리시킬 수 있도록 계산된다. 스펙트럼 가중치들
Figure 112020090977895-pct00024
는, 잔향의 임펄스 응답에서의 시간 지연(사전-지연)을 설명하기 위해, 추정된 주변 신호
Figure 112020090977895-pct00025
에 적용되기 전에 선택적으로 지연(시간에서 시프트)된다.
신호 분리의 프로세싱 단계들 둘 모두에 대한 다양한 방법들이 실현가능하다. 다음에서, 2개의 적합한 방법들이 설명된다.
그러나, 다음에 설명되는 방법들이 단지 예들로서만 고려되어야 하며, 방법들이 본 발명에 따른 특정 애플리케이션에 적응되어야 한다는 것을 유의해야 한다. 주변 신호 분리 방법에 관해 수정이 전혀 요구되지 않거나 사소한 수정이 요구된다는 것을 유의해야 한다.
게다가, 스펙트럼 가중치들의 계산이 또한 강하게 적응될 필요가 없다는 것을 유의해야 한다. 오히려, 다음에 언급되는 스펙트럼 가중치들의 계산은, 예를 들어 입력 오디오 신호(110, 210, 310)에 기초하여 수행될 수 있다. 그러나, 다음에 설명되는 (스펙트럼 가중치들의 계산을 위한) 방법에 의해 획득된 스펙트럼 가중치들은, 입력 신호의 업-믹싱 또는 직접 신호의 업-믹싱보다는 추출된 주변 신호의 업-믹싱에 적용될 것이다.
6.4 주변 신호 분리 방법
주변 신호 분리를 위한 가능한 방법은 국제 특허 출원 제 PCT/EP2013/072170호 "Apparatus and method for multi-channel direct-ambient decomposition for audio signal processing"에 설명되어 있다.
그러나, 주변 신호의 추출, 또는 입력 신호의 직접 신호 및 주변 신호로의 분해가 존재하는 한, 상이한 방법들이 주변 신호 분리를 위해 사용될 수 있고, 상기 방법에 대한 수정들이 또한 가능하다.
6.5 공간 위치들에 대한 스펙트럼 가중치들을 계산하기 위한 방법
공간 위치들에 대한 스펙트럼 가중치들을 계산하기 위한 가능한 방법은 국제 특허 출원 제 WO 2013004698 A1호 "Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator"에 설명되어 있다.
그러나, (예를 들어, 매트릭스 Gp를 정의할 수 있는) 스펙트럼 가중치들을 획득하기 위한 상이한 방법들이 사용될 수 있다는 것을 유의해야 한다. 또한, 제 WO 2013004698 A1호에 따른 방법은 또한, 사운드 소스들을 공간 이미지 내의 그들의 위치들에 따라 분리시키기 위한 스펙트럼 가중치들이 출력 채널들의 원하는 수에 대응하는 채널들의 수에 대해 도출된다는 것이 보장되는 한, 수정될 수 있다.
7. 결론
다음에서, 일부 결론들이 제공될 것이다. 그러나, 결론에서 설명된 바와 같은 아이디어들이 본 명세서에 개시된 실시예들 중 임의의 실시예에 또한 도입될 수 있다는 것을 유의해야 한다.
오디오 입력 신호를 직접 신호 컴포넌트들 및 주변 신호 컴포넌트들로 분해하기 위한 방법이 설명된다는 것을 유의해야 한다. 방법은 사운드 후반-제작 및 재생을 위해 적용될 수 있다. 목적은, 모든 직접 신호 컴포넌트들이 감쇠되고 확산 신호 컴포넌트들만이 가청적인 주변 신호를 계산하는 것이다.
그러한 주변 신호 컴포넌트들이 그들의 소스 신호의 위치에 따라 분리되는 것이 제시된 방법의 중요한 양상이다. 모든 주변 신호들이 확산되고 그에 따라 위치를 갖지 않지만, 많은 주변 신호들, 예를 들어 잔향은 정의된 위치를 갖는 직접 여기 신호로부터 생성된다. 예를 들어, 주변 신호 채널들(112a 내지 112c)에 의해 또는 주변 신호 채널들(254a 내지 254c)에 의해 또는 업-믹싱된 주변 오디오 신호(352)에 의해 표현될 수 있는 획득된 주변 출력 신호는 입력 신호(예를 들어, N개의 채널들)보다 더 많은 채널들(예를 들어, Q개의 채널들)을 가지며, 여기서 출력 채널들(예를 들어, 주변 신호 채널들(112a 내지 112c) 또는 주변 신호 채널들(254a 내지 254c))은 (예를 들어, 입력 오디오 신호(110) 또는 입력 오디오 신호(210) 또는 입력 오디오 신호(310)에 포함될 수 있는) 직접 여기 신호의 위치들에 대응한다.
추가로 결론적으로, 신호 컴포넌트들(또는 모든 신호 컴포넌트들) 또는 직접 신호 컴포넌트들을, 스테레오 이미지 내의 그들의 위치들에만 따라 분리시키기 위한 다양한 방법들이 제안되었다(예를 들어, 참조문헌들 [2], [10], [11] 및 [12] 참조). 본 발명에 따른 실시예들은 이러한(종래의) 개념을 주변 신호 컴포넌트들로 확장시킨다.
추가로 결론적으로, 본 발명에 따른 실시예들은 주변 신호 추출 및 업-믹싱에 관한 것이다. 본 발명에 따른 실시예들은, 예를 들어 자동차 애플리케이션들에 적용될 수 있다.
본 발명에 따른 실시예들은, 예를 들어 "심포리아(symphoria)" 개념의 맥락으로 적용될 수 있다.
본 발명에 따른 실시예들은 3D-파노라마를 생성하기 위해 또한 적용될 수 있다.
8. 구현 대안들
일부 양상들이 장치의 맥락에서 설명되었지만, 이들 양상들이 또한 대응하는 방법의 설명을 표현한다는 것은 명확하며, 여기서, 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한, 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 표현한다. 방법 단계들 중 일부 또는 모두는, 예를 들어, 마이크로프로세서, 프로그래밍가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용함으로써) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상은 그러한 장치에 의해 실행될 수 있다.
특정한 구현 요건들에 의존하면, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은, 각각의 방법이 수행되도록 프로그래밍가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독가능한 제어 신호들이 저장된 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루-레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독가능할 수 있다.
본 발명에 따른 일부 실시예들은, 본 명세서에 설명된 방법들 중 하나가 수행되도록, 프로그래밍가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하기 위해 동작된다. 프로그램 코드는, 예를 들어, 머신 판독가능 캐리어 상에 저장될 수 있다.
다른 실시예들은, 머신 판독가능 캐리어 상에 저장되는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
따라서, 다시 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법들의 추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램(데이터 캐리어 상에 레코딩되어 있음)을 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 레코딩된 매체는 통상적으로, 유형이고 그리고/또는 비-일시적이다.
따라서, 본 발명의 방법의 추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는, 예를 들어, 데이터 통신 연결을 통해, 예를 들어, 인터넷을 통해 전달되도록 이루어질 수 있다.
추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하도록 이루어지거나 적응되는 프로세싱 수단, 예를 들어, 컴퓨터, 또는 프로그래밍가능 로직 디바이스를 포함한다.
추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가적인 실시예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 (예를 들어, 전자적으로 또는 광학적으로) 수신기에 전달하도록 이루어진 장치 또는 시스템을 포함한다. 수신기는, 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 수신기에 전달하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래밍가능 로직 디바이스(예를 들어, 필드 프로그래밍가능 게이트 어레이)는, 본 명세서에 설명된 방법들의 기능들 중 일부 또는 모두를 수행하기 위해 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍가능 게이트 어레이는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
본 명세서에 설명된 장치는, 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 구현될 수 있다.
본 명세서에 설명된 장치, 또는 본 명세서에 설명된 장치의 임의의 컴포넌트들은 하드웨어 및/또는 소프트웨어로 적어도 부분적으로 구현될 수 있다.
본 명세서에 설명된 방법은, 하드웨어 장치를 사용하여, 또는 컴퓨터를 사용하여, 또는 하드웨어 장치 및 컴퓨터의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명된 방법들, 또는 본 명세서에 설명된 장치의 임의의 컴포넌트들은 하드웨어에 의해 그리고/또는 소프트웨어에 의해 적어도 부분적으로 수행될 수 있다.
위에서 설명된 실시예들은 단지, 본 발명의 원리들에 대해 예시적일 뿐이다. 본 명세서에 설명된 배열들 및 세부사항들의 수정들 및 변형들이 당업자들에게 명백할 것임을 이해한다. 따라서, 본 명세서의 실시예들의 설명 및 해설에 의해 제시된 특정한 세부사항들이 아니라 임박한 특허 청구항들의 범위에 의해서만 제한되는 것이 의도이다.

Claims (35)

  1. 입력 오디오 신호(110;160;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00081
    )을 제공하기 위한 오디오 신호 프로세서로서,
    상기 오디오 신호 프로세서는 상기 주변 신호 채널들을 획득하도록 이루어지고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 오디오 신호 프로세서는, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되도록 이루어지고;
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여 주변 신호(130; 230; 324;
    Figure 112022125560265-pct00082
    )를 추출하도록 이루어지고;
    상기 오디오 신호 프로세서는, 개개의 주변 신호 컴포넌트들을 여기(excite)시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 상기 주변 신호 컴포넌트들을 분배하도록 이루어지고,
    상이한 위치들에 위치된 상이한 소스들에 의해 여기되는 상이한 주변 신호 컴포넌트들은 상기 주변 신호 채널들 사이에서 상이하게 분배되며,
    상기 주변 신호 컴포넌트들의 상이한 주변 신호 채널들로의 분배는 상기 개개의 주변 신호 컴포넌트들을 여기시키는 직접 신호 컴포넌트들의 상이한 직접 신호 채널들로의 분배에 대응하는, 오디오 신호 프로세서.
  2. 입력 오디오 신호(110;160;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00083
    )을 제공하기 위한 오디오 신호 프로세서로서,
    상기 오디오 신호 프로세서는 상기 주변 신호 채널들을 획득하도록 이루어지고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 오디오 신호 프로세서는, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되도록 이루어지고;
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여, 직접 사운드 컴포넌트들을 포함하는 직접 신호를 획득하도록 이루어지고;
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여 주변 신호(130; 230; 324;
    Figure 112022125560265-pct00084
    )를 추출하도록 이루어지고;
    상기 신호 프로세서는, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 상기 주변 신호를 복수의 주변 신호 채널들로 분배하도록 이루어지고, 상기 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00085
    )은 상이한 방향들과 연관되고;
    직접 신호 채널들(252a 내지 252c;324;
    Figure 112022125560265-pct00086
    )은 상이한 방향들과 연관되고,
    상기 주변 신호 채널들(254a 내지 254c; 352;
    Figure 112022125560265-pct00087
    ) 및 상기 직접 신호 채널들(252a 내지 252c;342;
    Figure 112022125560265-pct00088
    )은 동일한 세트의 방향들과 연관되거나, 상기 주변 신호 채널들은 상기 직접 신호 채널들과 연관된 방향들의 세트의 서브세트와 연관되고,
    상기 오디오 신호 프로세서는 개개의 직접 사운드 컴포넌트들의 위치들 또는 방향들에 따라 상기 직접 신호 채널들 사이에서 직접 신호 컴포넌트들을 분배하도록 이루어지며,
    상기 오디오 신호 프로세서는, 상기 직접 신호 컴포넌트들이 분배되게 하는 동일한 패닝(panning) 계수들 또는 스펙트럼 가중치들을 사용하여 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 상기 주변 신호 컴포넌트들을 분배하도록 이루어지는, 오디오 신호 프로세서.
  3. 입력 오디오 신호(110;160;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00089
    )을 제공하기 위한 오디오 신호 프로세서로서,
    상기 오디오 신호 프로세서는 상기 주변 신호 채널들을 획득하도록 이루어지고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 오디오 신호 프로세서는, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되도록 이루어지고;
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여, 직접 사운드 컴포넌트들을 포함하는 직접 신호를 획득하도록 이루어지고;
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여 주변 신호(130; 230; 324;
    Figure 112022125560265-pct00090
    )를 추출하도록 이루어지고;
    상기 신호 프로세서는, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 상기 주변 신호를 복수의 주변 신호 채널들로 분배하도록 이루어지고, 상기 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여 직접 신호를 획득하도록 이루어지고;
    상기 오디오 신호 프로세서는 상기 주변 신호(130; 230; 324;
    Figure 112022125560265-pct00091
    )를 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00092
    )로 분배하기 위해 스펙트럼 가중치들(332;
    Figure 112022125560265-pct00093
    )을 적용하도록 이루어지며;
    상기 오디오 신호 프로세서는, 직접 신호 컴포넌트들(226;
    Figure 112022125560265-pct00094
    ;322)을 직접 신호 채널들(252a 내지 252c;342;
    Figure 112022125560265-pct00095
    )로 분배하기 위해 그리고 상기 주변 신호의 주변 신호 컴포넌트들(230;
    Figure 112022125560265-pct00096
    ;324)을 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00097
    )로 분배하기 위해 동일한 세트의 스펙트럼 가중치들(332;
    Figure 112022125560265-pct00098
    )을 적용하도록 이루어지는, 오디오 신호 프로세서.
  4. 제1항에 있어서,
    상기 오디오 신호 프로세서는, 상기 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00099
    )을 획득해서, 상기 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되도록 이루어지는, 오디오 신호 프로세서.
  5. 제1항에 있어서,
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호의 하나 이상의 채널들을 복수의 업믹싱(up-mix)된 채널들로 분배하도록 이루어지고,
    상기 업믹싱된 채널들의 수는 상기 입력 오디오 신호의 채널들의 수보다 크며,
    상기 오디오 신호 프로세서는 상기 업믹싱된 채널들로부터 상기 주변 신호 채널들을 추출하도록 이루어지는, 오디오 신호 프로세서.
  6. 제5항에 있어서,
    상기 오디오 신호 프로세서는, 멀티-채널 주변 신호 추출을 사용하여 또는 멀티-채널 직접-신호/주변 신호 분리를 사용하여, 상기 업믹싱된 채널들로부터 상기 주변 신호 채널들을 추출하도록 이루어지는, 오디오 신호 프로세서.
  7. 제1항에 있어서,
    상기 오디오 신호 프로세서는, 업믹싱 계수들을 결정하고 주변 신호 추출 계수들을 결정하도록 이루어지며,
    상기 오디오 신호 프로세서는, 상기 업믹싱 계수들 및 상기 주변 신호 추출 계수들을 사용하여 상기 주변 신호 채널들을 획득하도록 이루어지는, 오디오 신호 프로세서.
  8. 제1항에 따른, 입력 오디오 신호(110;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00100
    )을 제공하기 위한 오디오 신호 프로세서로서,
    상기 오디오 신호 프로세서는 상기 입력 오디오 신호에 기초하여 주변 신호(130; 230; 324;
    Figure 112022125560265-pct00101
    )를 추출하도록 이루어지고;
    상기 신호 프로세서는, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 상기 주변 신호를 복수의 주변 신호 채널들로 분배하도록 이루어지며,
    상기 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 큰, 오디오 신호 프로세서.
  9. 제1항에 있어서,
    상기 오디오 신호 프로세서는 상기 주변 신호를 도출하기 위해 상기 입력 오디오 신호(110;210;310;x(t),x(t),X(m,k))에 기초하여 직접-주변 분리(120;220;320)를 수행하도록 이루어지는, 오디오 신호 프로세서.
  10. 제1항에 있어서,
    상기 오디오 신호 프로세서는, 상기 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 상기 주변 신호 컴포넌트들을 분배하도록 이루어지는, 오디오 신호 프로세서.
  11. 제10항에 있어서,
    상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00102
    )은 상이한 방향들과 연관되는, 오디오 신호 프로세서.
  12. 제11항에 있어서,
    직접 신호 채널들(252a 내지 252c;324;
    Figure 112021030897879-pct00103
    )은 상이한 방향들과 연관되고,
    상기 주변 신호 채널들(254a 내지 254c; 352;
    Figure 112021030897879-pct00104
    ) 및 상기 직접 신호 채널들(252a 내지 252c;342;
    Figure 112021030897879-pct00105
    )은 동일한 세트의 방향들과 연관되거나, 상기 주변 신호 채널들은 상기 직접 신호 채널들과 연관된 방향들의 세트의 서브세트와 연관되고,
    상기 오디오 신호 프로세서는 상기 개개의 직접 사운드 컴포넌트들의 위치들 또는 방향들에 따라 상기 직접 신호 채널들 사이에서 직접 신호 컴포넌트들을 분배하도록 이루어지며,
    상기 오디오 신호 프로세서는, 상기 직접 신호 컴포넌트들이 분배되는 것과 동일한 방식으로, 상기 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 상기 주변 신호 컴포넌트들을 분배하도록 이루어지는, 오디오 신호 프로세서.
  13. 제1항에 있어서,
    상기 오디오 신호 프로세서는, 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00106
    )을 제공해서, 상기 주변 신호 컴포넌트들의 기반이 되는 소스 신호들의 위치들에 따라 상기 주변 신호가 상기 주변 신호 컴포넌트들로 분리되도록 이루어지는, 오디오 신호 프로세서.
  14. 제1항에 있어서,
    상기 오디오 신호 프로세서는 상기 주변 신호(130; 230; 324;
    Figure 112021030897879-pct00107
    )를 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00108
    )로 분배하기 위해 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00109
    )을 적용하도록 이루어지는, 오디오 신호 프로세서.
  15. 제14항에 있어서,
    상기 오디오 신호 프로세서는, 상기 주변 신호(130; 230; 324;
    Figure 112022125560265-pct00110
    )를 복수의 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00111
    )로 업-믹싱하기 위하여, 직접 오디오 소스들을 그들의 위치들 또는 방향들에 따라 분리시키기 위해 계산되는 스펙트럼 가중치들(332;
    Figure 112022125560265-pct00112
    )을 적용하도록 이루어지거나, 또는
    상기 오디오 신호 프로세서는, 상기 주변 신호를 상기 복수의 주변 신호 채널들로 업-믹싱하기 위하여, 직접 오디오 소스들을 그들의 위치들 또는 방향들에 따라 분리시키기 위해 계산되는 스펙트럼 가중치들의 지연된 버전을 적용하도록 이루어지는, 오디오 신호 프로세서.
  16. 제14항에 있어서,
    상기 오디오 신호 프로세서는, 상기 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00113
    )을 도출해서, 상기 스펙트럼 가중치들이 시간-의존적이고 주파수-의존적이게 하도록 이루어지는, 오디오 신호 프로세서.
  17. 제14항에 있어서,
    상기 오디오 신호 프로세서는, 상기 입력 오디오 신호(110;210;310;x(t),x(t),X(m,k))의 공간 사운드 이미지에서의 사운드 소스들의 위치들 또는 방향들에 의존하여 상기 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00114
    )을 도출하도록 이루어지는, 오디오 신호 프로세서.
  18. 제14항에 있어서,
    상기 입력 오디오 신호(110;210;310;x(t),x(t),X(m,k))는 적어도 2개의 입력 채널 신호들을 포함하며,
    상기 오디오 신호 프로세서는 상기 적어도 2개의 입력 채널 신호들 사이의 차이들에 의존하여 상기 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00115
    )을 도출하도록 이루어지는, 오디오 신호 프로세서.
  19. 제14항에 있어서,
    상기 오디오 신호 프로세서는, 스펙트럼 컴포넌트들이 비롯(originate)되는 위치들 또는 방향들에 의존하여 상기 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00116
    )을 결정해서, 주어진 위치 또는 방향으로부터 비롯되는 스펙트럼 컴포넌트들이 다른 채널들과 비교할 때 개개의 위치 또는 방향과 연관된 채널에서 더 강하게 가중되도록 이루어지는, 오디오 신호 프로세서.
  20. 제14항에 있어서,
    상기 오디오 신호 프로세서는, 상기 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00117
    )을 결정해서, 상기 스펙트럼 가중치들이 복수의 출력 채널 신호들(342,352)에서 입력 채널 신호들(322,324)의 스펙트럼 컴포넌트들의 가중을 설명하도록 이루어지는, 오디오 신호 프로세서.
  21. 제14항에 있어서,
    상기 오디오 신호 프로세서는, 직접 신호 컴포넌트들(226;
    Figure 112021030897879-pct00118
    ;322)을 직접 신호 채널들(252a 내지 252c;342;
    Figure 112021030897879-pct00119
    )로 분배하기 위해 그리고 상기 주변 신호의 주변 신호 컴포넌트들(230;
    Figure 112021030897879-pct00120
    ;324)을 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00121
    )로 분배하기 위해 동일한 세트의 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00122
    )을 적용하도록 이루어지는, 오디오 신호 프로세서.
  22. 제1항에 있어서,
    상기 입력 오디오 신호(110;210;310;x(t),x(t),X(m,k))는 적어도 2개의 채널들을 포함하고, 그리고/또는 상기 주변 신호(130; 230; 324;
    Figure 112021030897879-pct00123
    )는 적어도 2개의 채널들을 포함하는, 오디오 신호 프로세서.
  23. 멀티-채널 입력 오디오 신호(210, X)에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 시스템(200)으로서,
    제1항에 따른 오디오 신호 프로세서 － 상기 오디오 신호 프로세서는, 2개 초과의 직접 신호 채널들(252a 내지 252c) 및 2개 초과의 주변 신호 채널들(254a 내지 254c)을 제공하도록 이루어짐 －; 및
    직접 신호 스피커들(262a 내지 262c)의 세트 및 주변 신호 스피커들(264a 내지 264c)의 세트를 포함하는 스피커 배열(260)을 포함하며,
    상기 직접 신호 채널들 각각은 상기 직접 신호 스피커들 중 적어도 하나에 연관되고,
    상기 주변 신호 채널들 각각은 상기 주변 신호 스피커들 중 적어도 하나와 연관되는, 오디오 콘텐츠를 렌더링하기 위한 시스템.
  24. 제23항에 있어서,
    상기 주변 신호 스피커들(264a 내지 264c) 각각은 상기 직접 신호 스피커들(262a 내지 262c) 중 하나와 연관되는, 오디오 콘텐츠를 렌더링하기 위한 시스템.
  25. 제23항에 있어서,
    상기 주변 신호 스피커들(264a 내지 264c; h)의 위치들은 상기 직접 신호 스피커들(262a 내지 262c; fL,fR,rL,rR)의 위치들에 대해 상승되어 있는, 오디오 콘텐츠를 렌더링하기 위한 시스템.
  26. 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법으로서,
    상기 방법은, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되는 단계를 포함하고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수는 상기 입력 오디오 신호의 채널들의 수보다 크고,
    상기 주변 신호 컴포넌트들은, 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 분배되고,
    상이한 위치들에 위치된 상이한 소스들에 의해 여기되는 상이한 주변 신호 컴포넌트들은 상기 주변 신호 채널들 사이에서 상이하게 분배되며,
    상기 주변 신호 컴포넌트들의 상이한 주변 신호 채널들로의 분배는 상기 개개의 주변 신호 컴포넌트들을 여기시키는 직접 신호 컴포넌트들의 상이한 직접 신호 채널들로의 분배에 대응하는, 주변 신호 채널들을 제공하기 위한 방법.
  27. 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법으로서,
    상기 방법은, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되는 단계를 포함하고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수는 상기 입력 오디오 신호의 채널들의 수보다 크고;
    상기 방법은, 상기 입력 오디오 신호에 기초하여, 직접 사운드 컴포넌트들을 포함하는 직접 신호를 획득하는 단계를 포함하고;
    상기 방법은 상기 입력 오디오 신호에 기초하여 주변 신호(130; 230; 324;
    Figure 112021030897879-pct00124
    )를 추출하는 단계를 포함하고;
    상기 방법은, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 상기 주변 신호를 복수의 주변 신호 채널들로 분배하는 단계를 포함하고, 상기 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00125
    )은 상이한 방향들과 연관되고;
    직접 신호 채널들(252a 내지 252c;324;
    Figure 112021030897879-pct00126
    )은 상이한 방향들과 연관되고,
    상기 주변 신호 채널들(254a 내지 254c; 352;
    Figure 112021030897879-pct00127
    ) 및 상기 직접 신호 채널들(252a 내지 252c;342;
    Figure 112021030897879-pct00128
    )은 동일한 세트의 방향들과 연관되거나, 상기 주변 신호 채널들은 상기 직접 신호 채널들과 연관된 방향들의 세트의 서브세트와 연관되고,
    직접 신호 컴포넌트들은 개개의 직접 사운드 컴포넌트들의 위치들 또는 방향들에 따라 상기 직접 신호 채널들 사이에서 분배되며,
    상기 주변 신호 컴포넌트들은, 상기 직접 신호 컴포넌트들이 분배되게 하는 동일한 패닝 계수들 또는 스펙트럼 가중치들을 사용하여 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 분배되는, 주변 신호 채널들을 제공하기 위한 방법.
  28. 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법으로서,
    상기 방법은, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되는 단계를 포함하고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수는 상기 입력 오디오 신호의 채널들의 수보다 크고;
    상기 방법은, 상기 입력 오디오 신호에 기초하여, 직접 사운드 컴포넌트들을 포함하는 직접 신호를 획득하는 단계를 포함하고;
    상기 방법은 상기 입력 오디오 신호에 기초하여 주변 신호(130; 230; 324;
    Figure 112021030897879-pct00129
    )를 추출하는 단계를 포함하고;
    상기 주변 신호는, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 복수의 주변 신호 채널들로 분배되고, 상기 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 직접 신호는 상기 입력 오디오 신호에 기초하여 획득되고;
    스펙트럼 가중치들(332;
    Figure 112021030897879-pct00130
    )은 상기 주변 신호(130; 230; 324;
    Figure 112021030897879-pct00131
    )를 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00132
    )로 분배하기 위해 적용되며;
    동일한 세트의 스펙트럼 가중치들(332;
    Figure 112021030897879-pct00133
    )은, 직접 신호 컴포넌트들(226;
    Figure 112021030897879-pct00134
    ;322)을 직접 신호 채널들(252a 내지 252c;342;
    Figure 112021030897879-pct00135
    )로 분배하기 위해 그리고 상기 주변 신호의 주변 신호 컴포넌트들(230;
    Figure 112021030897879-pct00136
    ;324)을 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112021030897879-pct00137
    )로 분배하기 위해 적용되는, 주변 신호 채널들을 제공하기 위한 방법.
  29. 제26항 내지 제28항 중 어느 한 항에 따른, 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하기 위한 방법(500)으로서,
    상기 방법은, 상기 입력 오디오 신호에 기초하여 주변 신호를 추출하는 단계(510)를 포함하고;
    상기 방법은, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 상기 주변 신호를 복수의 주변 신호 채널들로 분배하는 단계(520)를 포함하며,
    상기 주변 신호 채널들의 수는 상기 입력 오디오 신호의 채널들의 수보다 큰, 주변 신호 채널들을 제공하기 위한 방법(500).
  30. 멀티-채널 입력 오디오 신호에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 방법(600)으로서,
    제26항 내지 제28항 중 어느 한 항에 따른, 입력 오디오 신호에 기초하여 주변 신호 채널들을 제공하는 단계(610) － 2개 초과의 주변 신호 채널들이 제공됨 －;
    2개 초과의 직접 신호 채널들을 제공하는 단계(620);
    직접 신호 스피커들의 세트 및 주변 신호 스피커들의 세트를 포함하는 스피커 배열에 상기 주변 신호 채널들 및 상기 직접 신호 채널들을 공급하는 단계(630)를 포함하며,
    상기 직접 신호 채널들 각각은 상기 직접 신호 스피커들 중 적어도 하나에 공급되고,
    상기 주변 신호 채널들 각각은 상기 주변 신호 스피커들 중 적어도 하나로 공급되는, 오디오 콘텐츠를 렌더링하기 위한 방법(600).
  31. 컴퓨터 상에서 실행될 때 제26항 내지 제28항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 저장 매체.
  32. 멀티-채널 입력 오디오 신호(210, X)에 의해 표현되는 오디오 콘텐츠를 렌더링하기 위한 시스템(200)으로서,
    입력 오디오 신호(110;160;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00138
    )을 제공하기 위한 오디오 신호 프로세서 － 상기 오디오 신호 프로세서는 상기 주변 신호 채널들을 획득하도록 이루어지고, 상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고; 상기 오디오 신호 프로세서는, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되도록 이루어지고; 상기 오디오 신호 프로세서는, 2개 초과의 직접 신호 채널들(252a 내지 252c) 및 2개 초과의 주변 신호 채널들(254a 내지 254c)을 제공하도록 이루어짐 －; 및
    직접 신호 스피커들(262a 내지 262c)의 세트 및 주변 신호 스피커들(264a 내지 264c)의 세트를 포함하는 스피커 배열(260)을 포함하며,
    상기 직접 신호 채널들 각각은 상기 직접 신호 스피커들 중 적어도 하나에 연관되고,
    상기 주변 신호 채널들 각각은 상기 주변 신호 스피커들 중 적어도 하나와 연관되며,
    직접 신호들 및 주변 신호들은 상이한 스피커들을 사용하여 렌더링되는, 오디오 콘텐츠를 렌더링하기 위한 시스템.
  33. 제32항에 있어서,
    상기 직접 신호 스피커들과 상기 주변 신호 스피커들 사이에 연관이 존재하거나, 또는
    상기 직접 신호 스피커들의 서브세트와 상기 주변 신호 스피커들 사이에 연관이 존재하는, 오디오 콘텐츠를 렌더링하기 위한 시스템.
  34. 입력 오디오 신호(110;160;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00139
    )을 제공하기 위한 오디오 신호 프로세서로서,
    상기 오디오 신호 프로세서는 상기 주변 신호 채널들을 획득하도록 이루어지고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 오디오 신호 프로세서는, 상기 주변 신호 채널들을 획득해서, 상기 입력 오디오 신호 내의 사운드 소스들의 위치들 또는 방향들에 의존하여 주변 신호 컴포넌트들이 상기 주변 신호 채널들 사이에서 분배되도록 이루어지고;
    상기 오디오 신호 프로세서는, 개개의 주변 신호 컴포넌트들을 여기(excite)시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 상기 주변 신호 컴포넌트들을 분배하도록 이루어지고,
    상이한 위치들에 위치된 상이한 소스들에 의해 여기되는 상이한 주변 신호 컴포넌트들은 상기 주변 신호 채널들 사이에서 상이하게 분배되며,
    상기 주변 신호 컴포넌트들의 상이한 주변 신호 채널들로의 분배는 상기 개개의 주변 신호 컴포넌트들을 여기시키는 직접 신호 컴포넌트들의 상이한 직접 신호 채널들로의 분배에 대응하고,
    상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00140
    )은 상이한 방향들과 연관되고;
    직접 신호 채널들(252a 내지 252c;324;
    Figure 112022125560265-pct00141
    )은 상이한 방향들과 연관되고,
    상기 주변 신호 채널들(254a 내지 254c; 352;
    Figure 112022125560265-pct00142
    ) 및 상기 직접 신호 채널들(252a 내지 252c;342;
    Figure 112022125560265-pct00143
    )은 +/- 20°의 허용오차 내에서 동일한 세트의 방위각 방향들과 연관되거나, 상기 주변 신호 채널들은 +/- 20°의 허용오차 내에서 상기 직접 신호 채널들과 연관된 방위각 방향들의 세트의 서브세트와 연관되고,
    상기 오디오 신호 프로세서는 개개의 직접 사운드 컴포넌트들의 위치들 또는 방향들에 따라 상기 직접 신호 채널들 사이에서 직접 신호 컴포넌트들을 분배하도록 이루어지며,
    상기 오디오 신호 프로세서는, 개개의 주변 신호 컴포넌트들을 여기시키는 직접 사운드 소스들의 위치들 또는 방향들에 따라 상기 주변 신호 채널들 사이에서 상기 주변 신호 컴포넌트들을 분배하도록 이루어지고,
    상기 오디오 신호 프로세서는, 직접 신호 컴포넌트들(226;
    Figure 112022125560265-pct00144
    ;322)을 직접 신호 채널들(252a 내지 252c;342;
    Figure 112022125560265-pct00145
    )로 분배하기 위해 그리고 상기 주변 신호의 주변 신호 컴포넌트들(230;
    Figure 112022125560265-pct00146
    ;324)을 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00147
    )로 분배하기 위해 동일한 패닝(panning) 계수들 또는 스펙트럼 가중치들(332;
    Figure 112022125560265-pct00148
    )을 적용하도록 이루어지는, 오디오 신호 프로세서.
  35. 입력 오디오 신호(110;160;210;310;x(t),x(t),X(m,k))에 기초하여 주변 신호 채널들(112a 내지 112c; 162a 내지 162c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00149
    )을 제공하기 위한 오디오 신호 프로세서로서,
    상기 오디오 신호 프로세서는 상기 주변 신호 채널들을 획득하도록 이루어지고,
    상이한 오디오 콘텐츠를 포함하는 획득된 주변 신호 채널들의 수(Q)는 상기 입력 오디오 신호의 채널들의 수(N)보다 크고;
    상기 오디오 신호 프로세서는, 상기 입력 오디오 신호에 기초하여 직접 신호를 획득하도록 이루어지고,
    상기 오디오 신호 프로세서는, 상기 입력 오디오 신호에 기초하여 주변 신호를 획득하도록 이루어지고,
    상기 직접 신호는 직접 신호 컴포넌트들을 포함하고 상기 주변 신호는 주변 신호 컴포넌트들을 포함하며,
    상기 오디오 신호 프로세서는, 상기 주변 신호 컴포넌트들을 주변 신호 채널들에 분배하고 상기 직접 신호 컴포넌트들을 직접 신호 채널들에 분배하기 위해, 스펙트럼 가중치들 또는 패닝 계수들을 적용하도록 이루어지고,
    상기 오디오 신호 프로세서는, 직접 신호 컴포넌트들(226;
    Figure 112022125560265-pct00150
    ;322)을 직접 신호 채널들(252a 내지 252c;342;
    Figure 112022125560265-pct00151
    )로 분배하기 위해 그리고 상기 주변 신호의 주변 신호 컴포넌트들(230;
    Figure 112022125560265-pct00152
    ;324)을 상기 주변 신호 채널들(112a 내지 112c; 254a 내지 254c; 352;
    Figure 112022125560265-pct00153
    )로 분배하기 위해 동일한 패닝(panning) 계수들 또는 스펙트럼 가중치들(332;
    Figure 112022125560265-pct00154
    )을 적용하도록 이루어지는, 오디오 신호 프로세서.

KR1020207024966A 2018-01-29 2019-01-28 주변 신호를 복수의 주변 신호 채널들에 분배하는 오디오 신호 프로세서, 시스템 및 방법들 KR102547423B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18153968.5A EP3518562A1 (en) 2018-01-29 2018-01-29 Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels
EP18153968.5 2018-01-29
PCT/EP2019/052018 WO2019145545A1 (en) 2018-01-29 2019-01-28 Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels

Publications (2)

Publication Number Publication Date
KR20200128671A KR20200128671A (ko) 2020-11-16
KR102547423B1 true KR102547423B1 (ko) 2023-06-23

Family

ID=61074439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024966A KR102547423B1 (ko) 2018-01-29 2019-01-28 주변 신호를 복수의 주변 신호 채널들에 분배하는 오디오 신호 프로세서, 시스템 및 방법들

Country Status (13)

Country Link
US (1) US11470438B2 (ko)
EP (3) EP3518562A1 (ko)
JP (1) JP7083405B2 (ko)
KR (1) KR102547423B1 (ko)
CN (1) CN111919455B (ko)
AU (1) AU2019213006B2 (ko)
BR (1) BR112020015360A2 (ko)
CA (1) CA3094815C (ko)
ES (1) ES2970037T3 (ko)
MX (1) MX2020007863A (ko)
PL (1) PL3747206T3 (ko)
RU (1) RU2768974C2 (ko)
WO (1) WO2019145545A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152399A (ja) * 1998-11-12 2000-05-30 Yamaha Corp 音場効果制御装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
RU2439717C1 (ru) * 2008-01-01 2012-01-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки звукового сигнала
GB2457508B (en) * 2008-02-18 2010-06-09 Ltd Sony Computer Entertainmen System and method of audio adaptaton
CH703771A2 (de) * 2010-09-10 2012-03-15 Stormingswiss Gmbh Vorrichtung und Verfahren zur zeitlichen Auswertung und Optimierung von stereophonen oder pseudostereophonen Signalen.
US9031268B2 (en) * 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
EP2523473A1 (en) 2011-05-11 2012-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an output signal employing a decomposer
EP2544465A1 (en) * 2011-07-05 2013-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
BR112015021520B1 (pt) 2013-03-05 2021-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Aparelho e método para criar um ou mais sinais do canal de saída de áudio dependendo de dois ou mais sinais do canal de entrada de áudio
FR3017484A1 (fr) 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
EP3048818B1 (en) * 2015-01-20 2018-10-10 Yamaha Corporation Audio signal processing apparatus
DE102015205042A1 (de) * 2015-03-19 2016-09-22 Continental Automotive Gmbh Verfahren zur Steuerung einer Audiosignalausgabe für ein Fahrzeug

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152399A (ja) * 1998-11-12 2000-05-30 Yamaha Corp 音場効果制御装置

Also Published As

Publication number Publication date
US20200359155A1 (en) 2020-11-12
AU2019213006B2 (en) 2022-03-10
JP2021512570A (ja) 2021-05-13
MX2020007863A (es) 2021-01-08
KR20200128671A (ko) 2020-11-16
PL3747206T3 (pl) 2024-05-20
ES2970037T3 (es) 2024-05-24
CA3094815A1 (en) 2019-08-01
EP4300999A2 (en) 2024-01-03
RU2020128498A (ru) 2022-02-28
WO2019145545A1 (en) 2019-08-01
CA3094815C (en) 2023-11-14
EP3518562A1 (en) 2019-07-31
BR112020015360A2 (pt) 2020-12-08
US11470438B2 (en) 2022-10-11
CN111919455A (zh) 2020-11-10
CN111919455B (zh) 2022-11-22
AU2019213006A1 (en) 2020-09-24
EP3747206B1 (en) 2023-12-27
JP7083405B2 (ja) 2022-06-10
EP4300999A3 (en) 2024-03-27
EP3747206A1 (en) 2020-12-09
EP3747206C0 (en) 2023-12-27
RU2020128498A3 (ko) 2022-02-28
RU2768974C2 (ru) 2022-03-28

Similar Documents

Publication Publication Date Title
US11272311B2 (en) Methods and systems for designing and applying numerically optimized binaural room impulse responses
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
JP6198800B2 (ja) 少なくとも２つの出力チャネルを有する出力信号を生成するための装置および方法
CN107770717B (zh) 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
Avendano et al. Ambience extraction and synthesis from stereo signals for multi-channel audio up-mix
JP6377249B2 (ja) オーディオ信号の強化のための装置と方法及び音響強化システム
KR101767330B1 (ko) 신호 대 다운믹스 비율에 기초한 중심 신호 스케일링 및 스테레오 강화을 위한 장치 및 방법
KR102547423B1 (ko) 주변 신호를 복수의 주변 신호 채널들에 분배하는 오디오 신호 프로세서, 시스템 및 방법들
CA3205223A1 (en) Systems and methods for audio upmixing
JP2023548570A (ja) オーディオシステムの高さチャネルアップミキシング
AU2012252490A1 (en) Apparatus and method for generating an output signal employing a decomposer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant