KR20160073394A - 복잡도 관점에서 최적화된 공간 효과를 갖는 사운드 공간화 - Google Patents

복잡도 관점에서 최적화된 공간 효과를 갖는 사운드 공간화 Download PDF

Info

Publication number
KR20160073394A
KR20160073394A KR1020167012795A KR20167012795A KR20160073394A KR 20160073394 A KR20160073394 A KR 20160073394A KR 1020167012795 A KR1020167012795 A KR 1020167012795A KR 20167012795 A KR20167012795 A KR 20167012795A KR 20160073394 A KR20160073394 A KR 20160073394A
Authority
KR
South Korea
Prior art keywords
frequency
signal
time
transfer function
sound
Prior art date
Application number
KR1020167012795A
Other languages
English (en)
Other versions
KR102156650B1 (ko
Inventor
그레고리 팰론
마크 에메리트
Original Assignee
오렌지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오렌지 filed Critical 오렌지
Publication of KR20160073394A publication Critical patent/KR20160073394A/ko
Application granted granted Critical
Publication of KR102156650B1 publication Critical patent/KR102156650B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 사운드 신호에 공간 효과를 제공하는 전달 함수를 적용하는 사운드 공간화와 관련된 것으로, 스펙트럴 영역에서 사운드 신호의 스펙트럴 성분을 전달 함수에 대응하는 필터의 스펙트럴 성분으로 곱하고, 필터의 각 스펙트럴 성분은 시간-주파수 표현(time-frequency representation)에서 시간 전개값을 갖는다. 특히, 필터의 스펙트럴 성분은, 문턱값 주파수(Fcd(l), Fcg(l), Fcd(2), Fcg(2))를 넘어가는 주파수에 대해서 그리고 시간-주파수 표현에서 적어도 주어진 시점(m=1, m=2) 이후에, 앞서 언급한 성분의 곱에서 무시된다.

Description

복잡도 관점에서 최적화된 공간 효과를 갖는 사운드 공간화 {SOUND SPATIALISATION WITH REVERBERATION, OPTIMISED IN TERMS OF COMPLEXITY}
본 발명은 공간 효과를 갖는 사운드 공간화에 관한 것이다.
본 발명은, 실제 스피커(예를 들어 입체 음향(biaural) 재생(rendering)에서 헤드셋의 두 이어폰(earpiece) 또는 트랜스오럴(transaural) 재생에서 2개의 분리된 스피커)에서 공간화하여 재생하기 위해, 가상 스피커와 관련된 L 채널들로부터 각각 나오는 사운드 신호를 처리하는 것(예를 들어 재생할 사운드에 대한 멀티 채널 표현 또는 서라운드 사운드 표현)에 제한되지 않는다.
예를 들어, 이러한 채널 중 하나로부터 나오는 신호는 입체 음향 재생에서 왼쪽 이어폰에 제1 기여분과 오른쪽 이어폰에 제2 기여분을 갖도록 처리될 수 있는데, 특히 이러한 기여분 각각에 공간 효과를 갖는 전달 함수가 적용될 수 있다. 공간 효과를 갖는 이러한 전달 함수를 적용하여, 채널과 연계된 가상 스피커가 청음자와 상대적인 위치에 놓여 있는 것과 같이, 청음자가 몰임감을 느낄 수 있도록 한다.
일 실시예에서, FR13 57299 문서에서 자세히 설명되었듯이, 공간 효과를 갖는 전달 함수가, BRIR(Binaural Room Impulse Response) 유형의 임펄스 응답 함수의 형태로, 시간 영역에서 대응되는 채널의 각 사운드 신호에 적용된다. 특히, 이 발명이 참조하는 상기 문서에서 BRIR 전달 함수는 다음 함수의 조합으로 만들어진다.
- 각 신호에 특정한 제1 전달 함수
- 모든 신호에 공통이고 반향 필드(reverberant field)로 특징 짓는 일반적인 제2 전달 함수로, 반향 필드의 영향력은 공간(room) 내에서 소정 양의 시간 후, 대체로 사운드 파동이 첫 번째로 반사된 후에 발생한다.
이 실시예는, 반향이 발생하여 소정의 시간(반향 장의 영향력이 생기는 시점) 후에 음향 파동을 실제로 혼합하는 것에 물리적으로 대응하고, 모든 신호를 공통적으로 처리할 수 있는 장점이 있다. 이 실시예는 다중 초기 채널에 미치는 공간 효과를 갖는 공간화 처리의 복잡성을 줄인다.
하지만, 재생에 앞서 공간화가 생기는 모듈에는 공간화 처리의 복잡성을 더 줄이는 것이 요구된다. 일 예에서, 채널의 신호는 압축 디코더에 의해 인코딩 된 형태로 수신된다. 이 디코더는 디코딩 된 채널의 신호를 공간화 모듈에 보내 2개의 스피커에 공간 효과를 갖는 사운드로 재생하도록 한다. 신호의 재생에 앞서서 신호가 수신될 때 디코딩 단계와 공간화 단계 모두가 느려지지 않도록, 공간화 단계(수신되는 신호를 디코딩 하는 단계 다음 단계)에서 복잡도를 줄이는 것이 바람직하다.
본 발명은 이러한 상황을 개선한다.
이러한 목적을 위해, 본 발명은 공간 효과를 갖는 전달 함수를 적용할 때의 복잡성을 줄이는 것을 제안하는데, 특히 스펙트럴 영역에서의 복잡성을 줄인다. 스펙트럴 영역에서, 전달 함수에 의한 컨볼류션(convolution)은 신호의 스펙트럴 성분을 전달 함수를 표현하는 필터로 곱하는 것이 된다(도 1이 아래에서 더 자세히 설명한다).
본 발명은 다음과 같은 유익한 발견을 근거로 하는데, 즉 사운드 파동이, 직접 전달된 이후, 특히 고주파에서 파동을 흡수하는 표면(대체로 벽, 청취자의 얼굴 등)에서 진행하면서 반사하기 때문에, 고주파에서 약해지는 경향이 있다. 추가로, 공기 자체가 사운드가 전달되는 동안 사운드의 고주파 스펙트럼 성분을 흡수한다. 이러한 현상은, 예를 들어 반향 장(reverberant field)에서 더 커지므로, 매우 높은 주파수에 대해 주파수 표현값을 포함할 필요가 없다(예를 들어 5-15kHz 주파수보다 높은 범위).
따라서, 스펙트럴 성분을 곱할 때 소정의 컷오프 주파수보다 높은 주파수(예를 들어 5-15kHz보다 높은 주파수)와 관련된 성분을 단순히 고려하지 않음으로써, 공간 효과를 갖는 전달 함수를 적용할 때 처리 복잡도를 줄일 수 있다.
이에, 본 발명은 적어도 하나의 사운드 신호에 공간 효과를 갖는 적어도 하나의 전달 함수를 적용하는 사운드 공간화 방법을 제공하고, 전달 함수를 적용하는 것은 스펙트럴 영역에서 사운드 신호의 스펙트럴 성분을 전달 함수에 대응되는 필터의 스펙트럴 성분으로 곱하는 것이다. 필터의 각 스펙트럴 성분은 시간-주파수 표현(time-frequency representation)에서 시간 변화를 갖는다(도 3을 참조로 더 자세히 설명됨).
특히, 필터의 스펙트럴 성분은, 문턱값 주파수를 넘는 성분에 대한 곱셈에서, 시간-주파수 표현에서 적어도 소정의 시점 이후에 무시된다. 따라서, 이 시점 이후에, 필터의 스펙트럴 성분은, 예를 들어 5-15 kHz사이 값으로 선택(적용될 공간 효과 및/또는 이후에 설명될 공간화될 신호에 따라서 선택)되는 컷오프 주파수까지 고려된다. 컷오프 주파수를 넘는 것에 대해서 곱을 행하지 않고 이는 수학적으로 신호를 0으로 곱하는 것과 같다.
이러한 소정의 시점은 대체로 사운드 파동이 반사되기(반향 사운드 장이 존재한 때부터, 연속적인 반사 또는 그 이후) 시작하는 순간을 가리킨다. 일반적인 용어로, 전달 함수가 공간 효과에서 반향을 고려하는(예를 들어 반향 장을 고려함) 실시예에서, 소정의 시점은 이러한 반사(또는 반향) 함수로 선택될 수 있다. 예를 들어, 공간 효과 반향에서, 소정의 시점은 1차 반사를 갖는 사운드가 직접 전달된 이후이고, 따라서 반향 사운드 장이 존재하기 시작하는 시점에 대응된다.
또한, 일 실시예에서는 앞서 언급한 문턱값 주파수가 시간-주파수 표현에서 시간에 따라 줄어든다. 예를 들어, 신호가 몇 개의 연속적인 시간 블록에 샘플링 되면, 성분의 곱에서, 제1 블록에 대해서 신호에 있는 스펙트럴 성분을 유지하도록 정렬되고, 그리고 제1 블록 다음에 있는 제2 블록에 대해서 제1 문턱값 주파수를 넘는 스펙터럴 성분을 무시하고, 제2 블록 다음에 있는 제3 블록에 대해서 제2 문턱값 주파수를 넘는 성분을 무시하는 식으로 하되, 제2 문턱값 주파수는 제1 문턱값 주파수보다 낮다.
더 일반적으로 표현하면, 신호가 몇 개의 연속적인 블록으로 샘플링되는 일 실시예에서, 필터의 스펙트럴 성분 중 다음 성분들은 성분들의 곱셈에서 무시될 수 있는데:
- 소정 블록에 대해서 제1 문턱값 주파수를 넘는 성분
- 상기 소정 블록 다음에 오는 블록에 대해서 제2 문턱값 주파수를 넘는 성분,
여기서, 제2 문턱값 주파수는 제1 문턱값 주파수보다 낮다.
소정 블록은, 반향 사운드 장이 영향력을 발생시키는 것과 함께, 예를 들어 사운드 파동이 시간적으로 하나 이상의 반사를 겪는 순간에 해당하는 시점에 놓이는 샘플들을 포함할 수 있다. 상기 소정 블록 다음에 오는 블록(바로 다음 또는 몇 블록 다음)은 시간상 상기 반향 사운드 장이 영향을 미치기 시작한 이후 또는 시작할 때 놓이는 샘플들을 포함할 수 있다.
이러한 실시예에 따라 반향 때문에 높은 주파수에서 신호가 쇠약해지면서 생길 수 있는 소리 부산물(artifact)을 줄일 수 있고, 이러한 실시예는 몇 개의 블록에 걸쳐 점진적으로 수행된다. 반향 사운드 장을 특징 짓는 다중 형태의 전달 함수(아래에서는
Figure pct00001
와 같이 정의되는데, m은 블록 인덱스임)를 고려할 수 있게 한다. 예를 들어 전달 함수
Figure pct00002
를 소정의 블록에 적용하고, 반향 사운드 장이 영향이 미치는 것을 끝내도록, 다음 블록에 대해서 시간적으로 진행하는 컷오프 윈도우("fade out" 형태의 윈도우)를 이 전달 함수
Figure pct00003
에 적용할 수 있다.
복수 개의 입력 신호를 받아 적어도 두 개의 출력 신호를 제공하는 사운드 공간화 모듈이 구현하는 실시예에서, 각 출력 신호를 제공하기 위해 공간 효과를 갖는 전달 함수가 각 입력 신호에 적용되고, 출력 신호 각각은 다음 공식을 적용하여 얻을 수 있는데,
Figure pct00004
-
Figure pct00005
는 출력 신호고 k는 출력 신호와 관련된 인덱스,
-
Figure pct00006
는 입력 신호와 관련된 인덱스로, L은 입력 신호의 개수,
Figure pct00007
은 입력 신호들 중 하나를 가리키고,
-
Figure pct00008
는 입력 신호에 특정한, 공간 효과를 갖는 전달 함수이고,
-
Figure pct00009
는 입력 신호들에 공통이고 공간 효과를 갖는 일반 전달 함수이고,
-
Figure pct00010
는 선택된 가중 요소이고,
Figure pct00011
는 소정의 파워 보상 게인이고,
-
Figure pct00012
은 공간 효과에 대응하는 공간에서 사운드의 방출과 그 공간에서 반향 장이 영향을 미치는 시점 사이 시간 간격에 해당하는 지연으로 샘플들의 블록의 개수로 카운트 되고, 인덱스 m은 이 지연에 대응되는 지속 기간의 샘플들의 블록의 개수에 해당하고, M은 시간-주파수 표현에서 전달 함수가 지속되는 블록의 전체 개수이고,
- 심볼 "."은 곱을 가리키고,
- "
Figure pct00013
"은 가장 낮은 주파수에서 적어도 인덱스
Figure pct00014
인 입력 신호의 함수인 최대 주파수
Figure pct00015
까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리키고,
- "
Figure pct00016
"은 가장 낮은 주파수에서 적어도 인덱스
Figure pct00017
인 입력 신호의 함수인 주파수
Figure pct00018
까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리킨다.
이 실시예는 도 2와 도 5를 참조하여 아래에서 자세히 설명한다.
신호 특징(예를 들어 샘플링 주파수 또는 신호의 스펙트럴 성분에 표현되는 최고 주파수) 또는 적용되는 공간화 특징(예를 들어 반대 쪽에서 일어나는(반대 쪽)(contralateral) 음향 경로에 대한 고주파 성분의 한계, 아래에 설명됨)을 근거로, 제1 블록 또는 샘플들의 블록들로부터 시작해서 제1 문턱값 주파수를 넘는 곱셈 계산을 제한할 수 있다.
이 경우, 반향되는 신호(반사된 후 또는 반향 장에서)는 대개 최초 신호보다 높은 주파수의 스펙트럴 성분을 포함하지 않는다. 따라서, 앞서 언급한 문턱값 주파수는 이 가장 높은 주파수보다 크지 않다.
좀더 일반적으로 표현하면, 일 실시예에서, 사운드 신호에서 높은 주파수의 스펙트럴 성분에 대해 정보가 획득되고, 앞서 언급한 문턱 주파수는 소정의 문턱값 주파수(5-15kHz 사이)와 상기 가장 높은 주파수 사이에서 가장 낮은 값으로 선택된다.
일반적으로, 사운드 신호가 압축 디코더에서 전달되는 실시예에서, 가장 높은 주파수의 스펙트럴 성분에 대한 정보는 디코더로부터 제공될 수 있다.
비슷하게, 공간화가 특히 신호의 샘플링 주파수 관점에서 다른 신호 포맷을 지원하는 모듈에서 수행된다면, 가장 높은 주파수는 샘플링 주파수의 절반보다 클 수 없고, 따라서 본 발명에 사용되는 문턱값 주파수는 이러한 샘플링 주파수를 근거로 선택될 수 있다.
사운드 신호가 제1 및 제2 채널과 관련된 적어도 제1 및 제2 가상 스피커에서 공간화하는 실시예에서, 공간 효과를 갖는 제1 및 제2 전달 함수를 각각 앞서 설명한 것과 같이(예를 들어 서라운드 사운드 채널의 신호를 스테레오 또는 트랜스오럴 재생으로 전환) 제1 및 제2 채널에 적용한다. 특히, 제1 및 제2 전달 함수 중 하나를 같은 쪽에 일어나는(같은 쪽)(ipsilateral)(같은 쪽) 음향 경로 효과에 적용하고 다른 하나를 반대 쪽에 일어나는(반대 쪽)(contralateral) 음향 경로 효과에 적용하는 경우, 소정의 차례 주파수를 넘는 사운드 신호의 스펠트럴 성분을 제거할 수 있다. 차폐 주파수는, 가상 스피커와 청취자의 귀 사이 반대쪽 경로에 대해 청취자의 머리가 음향 경로에 있고 음향 파동의 고주파를 흡수하는(따라서 음향 파동의 고주파수와 관련된 스펙트럴 성분을 제거함) 사실로 설명된다. 따라서, 반대 쪽 경로 효과에 적용하는 전달 함수에 대해서, 문턱값 주파수는 소정의 문턱값 주파수(예를 들어 5-15kHz 사이에 선택)와 차폐 주파수 중에서 최소 값으로 선택될 수 있다. 이 실시예는 샘플의 제1 블록에 적용될 때에도 유리하다. 하지만, 이 실시예는, 해당 귀에 면하는 벽에서 발생하는 첫 번째 반사를 시뮬레이션 하기 위해, 다음 블록에 대해 문턱값 주파수를 올리는 것을 배제하지 않는데, 첫 번째 반사는 해당 귀에는 같은 쪽 경로를 통해 수신된다.
어느 경우라도, 일 실시예에서, 반향 장이 생기는 소정의 시점 이후에, 컷오프 주파수는 모든 신호에 공통으로 선택될 수 있다.
따라서, 앞서 소개한 FR13 57299 문서에 설명된 실시예는, 본 발명의 관점에서, 특히 신호에 적용되는 각 전달 함수가 다음과 같이 구성된다면, 유리하고,
- 신호에 특정한 전달 함수
- 모든 신호에 공통되고 반향 장의 영향력을 나타내는, 일반적인 전달 함수,
상기 소정의 시점은 모든 신호에 공통이고 반향 사운드 장이 영향력을 발휘하기 시작하는 시점에 대응할 수 있다.
신호가 샘플들로 구성되고 신호 사이에 같은 크기를 갖는 연속적인 블록으로 구성되는 실시예에서, 적어도 하나의 소정의 시점이 주파수 성분의 함유를 컷오프 주파수까지로 제한하도록 제공되고, 상기 소정의 시점은 시간적으로 연속되는 블록에서 제1 블록과 다른 블록의 시작점에 놓일 수 있다. 따라서, 소정의 시점은, 직접 전달 이후 그리고 사운드 반사가 발생하는 시점 또는 반향 장이 영향력을 미치는 시점이 될 수 있다.
실시예는 도 5를 참조하여 자세히 설명되는데, 본 발명에 따른 방법을 실행하는 공간화 모듈의 프로세서에 수행되는 컴퓨터 프로그램의 가능한 알고리즘이 될 수 있다. 또한, 본 발명은 프로세서에서 실행될 대 앞서 설명한 방법을 실행하기 위한 명령어들로 구성되는 컴퓨터 프로그램과 관려된다.
본 발명은 사운드 공간화 모듈에 대한 것으로, 모듈은 적어도 하나의 입력 사운드 신호에 공간 효과를 갖는 적어도 하나의 전달 함수를 적용하기 위한 계산 수단을 포함하는데, 프로세서는, 스펙트럴 영역에서, 사운드 신호의 스펙트럴 성분을 전달 함수에 대응되는 필터의 스펙트럴 성분으로 곱하고, 필터의 각 스펙트럴 성분은 시간-주파수 표현에서 시간적인 전개값을 갖는다. 특히, 이 계산 수단은 문턱값 주파수를 넘는 성분의 곱셈에 대해서 시간-주파수 표현에서 적어도 소정 시점 이후에 필터의 스펙트럴 성분을 무시한다.
사운드 공간화 모듈은 복수 개의 입력 신호를 받아 적어도 두 개의 출력 신호를 제공하고, 계산 수단은 각 출력 신호를 제공하기 위해 공간 효과를 갖는 전달 함수를 각 입력 신호에 적용하고, 출력 신호 각각은 다음 공식을 적용하여 얻을 수 있는데,
Figure pct00019
-
Figure pct00020
는 출력 신호고 k는 출력 신호와 관련된 인덱스,
-
Figure pct00021
는 입력 신호와 관련된 인덱스로, L은 입력 신호의 개수,
Figure pct00022
은 입력 신호들 중 하나를 가리키고,
-
Figure pct00023
는 입력 신호에 특정한, 공간 효과를 갖는 전달 함수이고,
-
Figure pct00024
는 입력 신호들에 공통이고 공간 효과를 갖는 일반 전달 함수이고,
-
Figure pct00025
는 선택된 가중 요소이고,
Figure pct00026
는 소정의 파워 보상 게인이고,
-
Figure pct00027
은 공간 효과에 대응하는 공간에서 사운드의 방출과 그 공간에서 반향 장이 영향을 미치는 시점 사이 시간 간격에 해당하는 지연으로 샘플들의 블록의 개수로 카운트 되고, 인덱스 m은 이 지연에 대응되는 지속 기간의 샘플들의 블록의 개수에 해당하고, M은 시간-주파수 표현에서 전달 함수가 지속되는 블록의 전체 개수이고,
- 심볼 "."은 곱을 가리키고,
- "
Figure pct00028
"은 가장 낮은 주파수에서 적어도 인덱스
Figure pct00029
인 입력 신호의 함수인 최대 주파수
Figure pct00030
까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리키고,
- "
Figure pct00031
"은 가장 낮은 주파수에서 적어도 인덱스
Figure pct00032
인 입력 신호의 함수인 주파수
Figure pct00033
까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리킨다.
이 모듈은 압축 디코딩 장치에 통합되거나 더 일반적으로 재생 시스템에 통합될 수 있다.
도 6에서, 공간화 모듈이 SPAT로 표현되어 있고, DECOD로 표현된 디코딩 장치는 네트워크인 RES로부터 압축-인코딩 된 신호(I'(l), l = 1, ..., L)를 받아 재생하기 전에 디코딩하고 디코딩 된 신호(I'(l), l = 1, ..., L)를 공간화 모듈에 보낸다. 모듈은 디코딩 된 신호를 받기 위한 입력 인터페이스(IN), 프로세서(PROC)와 같은 계산 수단 및 인터페이스(IN/OUT)과 협력하는 작동 메모리(MEM)를 포함하여, 신호(I(l))를 공간화하고 출력 인터페이스(OUT)을 통해 2개의 신호(Od, Og)를 헤드셋(CAS)의 각 이어폰에 전달한다.
본 발명은 공간화 처리의 복잡성을 줄인다.
본 발명의 다른 특징과 이점은 다음의 자세한 설명과 도면으로부터 자명해집니다.
도 1은 본 발명에 따른 방법에 대한 실시예를 도시한 것이고,
도 2는 전달 함수가 두 개의 전달 함수의 조합 형태인 실시예에 따른 방법을 적용하는 것을 예시한 것으로, 두 전달 함수 중 하나가 처리될 신호가 지연된 후 적용되고,
도 3은 가변되는 컷오프 주파수(또는 앞서 언급된 문턱 주파수)를 갖는, 특히 시간의 함수로 가변하는, 전달 함수의 시간-주파수 표현에 대한 예를 도시한 것이고,
도 4는 본 발명이 적용되는 컴퓨터 프로그램에 대한 가능한 알고리즘에 해당하는 동작 흐름도를 도시한 것이고,
도 5는 도 2에 표현되는 모드에 의한 특별 실시예를 도시한 것으로, 2개를 초과하는 연속되는 블록에 대해서 블록의 함수로 변하는 반향 장을 표현하는 전달 함수를 도시하고,
도 6은 본 발명에 따른 공간화 모듈에 대한 예를 도시한 것이고,
도 7은 가상 스피커 및 적당한 컷오프 주파수까지 전달 함수의 주파수 성분을 제한하여 전달 함수를 적용할 때 공간 효과를 개략적으로 도시한 것이다.
도 1과 본 발명의 일반적인 원리에 대해 설명하기에 앞서, 도 7을 통해 본 발명의 근간이 되는 물리적인 현상에 대해 설명한다.
보여지는 예에서, 복수 개의 가상 스피커가 청취자의 머리(TE)를 둘러싼다. 가상 스피커(HPV) 각각에, 도 6을 참조하여 가리킨 것과 같이, 예를 들어 이전에 디코딩 된 신호
Figure pct00034
가 처음에 공급된다. 가상 스피커의 배치는 공간 효과를 갖도록 공간화 방식으로(도 6) 헤드폰(CAS) 세트에 재생하기 위해 처리해야 할 신호
Figure pct00035
에 대한 다채널 재현이나 서라운드 재생과 관련될 수 있다. 이러한 목적으로, 공급될 각 이어폰(earpiece) 신호 Ok(오른쪽에 대해서는 k=d, 왼쪽에 대해서는 K=g)에 대해 공간 효과를 갖는 전달 함수가 각 신호에 적용된다. 도 7을 참조로, 각 가상 스피커(HPV)에 대해서, 스피커(HPV)에서 왼쪽 귀(OG)를 향한 음향 경로(도시한 예에서 같은 쪽 TIL), 스피커(HPV)에서 오른쪽 귀(OD)를 향한 음향 경로(도시한 예에서 반대 쪽 TCL), 최종적으로 벽(MUR)에서 반사(경로 RIL), 다수의 반사 후의 잔향이 고려된다. 각 반사에서, 음향 파동은 높은 주파수에서 감쇠되는 것으로 간주된다.
도 7에 도시된 가상 스피커(HPV)에 대해 적용되는 전달 함수의 시간-주파수 표현과 관련된 도 3을 참조하면, 청취자의 머리가 자연스럽게 반대 쪽 경로에 놓이고 오른쪽 귀(OD)에 대한 전달 함수에서 고려되는 높은 주파수는 왼쪽 귀(OG)(같은 쪽 경로를 따라 가상 스피커(HPV)를 향함)에 대한 전달 함수에서 고려되는 높은 주파수보다 더 낮은 것이 분명하다. 이와 같이, 0부터 N-1까지의 제1 시간 블록(m=0)을 고려하여, 오른쪽 귀에 대한 전달 함수를 표현하는 필터의 최대 주파수 Fc d(0)는 왼쪽 귀에 대한 전달 함수를 표현하는 필터의 최대 주파수 Fc g(0)보다 낮을 수 있다. 이러한 필터를 설계하는 사람은, 처리할 신호 I(l)가 적어도 Fc g(0)까지 높은 스펙트럴 성분을 가지고 있다고 해도, 오른쪽 귀에 대한 필터의 성분을 컷오프 주파수 Fc d(0)(머리 차폐 주파수에 해당함)로 제한할 수 있다.
반사된 후, 음향 파동은 높은 주파수에서 감쇠하는 경향이고, 다음 블록(m=1)에 해당하는 N에서 2N-1 순간에 대해서도 왼쪽 귀뿐만 아니라 오른쪽 귀에 대한 전달 함수의 시간-주파수 표현에서 실제로 발생한다. 따라서, 이러한 전달 함수를 표현하는 필터를 개발하는 사람은, 오른쪽 귀와 왼쪽 귀에 대한 필터의 성분을 컷오프 주파수 Fc d(1)과 Fc g(1)까지 제한할 수 있다. 특히 도 5에 예시한 실시예에서, m=1인 블록에서, 전달 함수가 오른쪽 귀와 왼쪽 귀에 대한 반향 장을 일반적으로 규정하고, Fc d(1) = Fc g(1)이 성립할 수 있다(이에 제한되지는 않음).
소리 감쇠(페이드 아웃)를 갖는 반향 장이 있는 상태에서, 음향 파동은 높은 주파수에서 더 많이 감쇠되는 경향이 있고, 실제로 그 다음 블록(m=2)에 해당하는 2N에서 3N-1 순간에 대해서도 도 3에서 오른쪽 귀뿐만 아니라 왼쪽 귀에 대한 전달 함수의 시간-주파수 표현에서 실제로 발생한다. 따라서, 이러한 전달 함수를 나타내는 필터를 개발하는 사람은, 오른쪽 귀와 왼쪽 귀에 대한 필터의 성분을 컷오프 주파수 Fc d(2)와 Fc g(2)까지 제한할 수 있다.
블록이 짧아질수록 고려해야 할 가장 높은 주파수의 변화를 더 정확하게 할 수 있는데, 예를 들어 m=0인 블록의 첫 순간에 오른 쪽 귀에 대해서 가장 높은 주파수가 증가하는 첫 번째 반사(RIL)를 고려하기 위한 것이다.
전달 함수를 표현하는 필터의 모든 스펙트럴 성분, 특히 컷오프 주파수 Fc를 넘는 스펙트럴 성분을 고려할 수 없다는 것을 알 수 있다. 컷오프 주파수 이상이 제외된 스펙트럴 대역에서 전달함 수를 적용하는 것이 유리하다. 상기 스펙트럴 대역에서 신호 I(l)을 전달 함수에 의해 컨볼류션 하는 것은 신호 I(l)의 스펙트럴 성분을 해당 스펙트럴 대역에서 전달 함수를 나타내는 필터의 스펙트럴 성분으로 곱한 것이 되고, 특히 이러한 곱은 컷오프 주파수까지만 수행될 수 있고, 이는 예를 들어 주어진 블록의 함수이고 처리되어야 할 신호의 함수이다.
도 1을 참조하여, L개의 입력 신호(I(1), I(2), ..., I(L))는 각 단계(TF11, TF12, ..., TF1L)에서 주파수 도메인으로 변환된다. 또는, 이러한 입력 신호는 이미 주파수 형태로 이용될 수도 있다(예를 들어 디코더에서).
BA11 단계에서, 채널 1로부터 신호 I(1)에 대응되는 시간 형태에서 완전한 공간화 임펄스 리스펀스(일반적으로 BRIR: Binaural Room Impulse Response(입체 공간 임펄스 리스펀스))는 메모리에 저장된다. TFA11 단계에서, 이 임펄스 리스펀스는 스펙트럴 영역에서 대으되는 필터를 얻기 위해 주파수 형태로 변환된다. 일 실시예에서, 필터는 변환 계산을 반복하지 않도록 스펙트럴 형태로 저장될 수 있다. 이후 이 필터는 채널 1로부터 주파수 형태의 입력 신호로 곱해진다(시간 영역에서 컨볼류션에 대응함). 이를 통해 채널 1로부터 신호 I(1)에 대한 공간화된 신호를 얻게 된다.
같은 동작이 (L-1)개의 다른 채널에 행해져서 전체 L개의 공간화된 채널을 얻는다. 이 채널들은 더해져서 L 채널을 표현하는 하나의 출력 신호를 얻게 되고, 이어폰(earpiece)에 공급될 신호들(Ok, k는 d 또는 g) 중 하나를 출력하기 위해 ITF11 단계에서 시간 도메인으로 돌아간다. 비슷한 처리가 다른 이어폰에 대해서도 행해진다. 도 2와 5를 참조하여 아래에서 자세히 설명할 실시예에서, L개의 공간화된 채널은 합해지기 전에는 독립적으로 접근할 수 없고, 각 공간화된 채널을 이전 출력 신호와 함께 점진적으로 더함으로써 하나의 출력 신호가 만들어진다.
이러한 동작은 생성될 각 출력 신호(Ok)에 대해서 행해진다. 입체 음향 재생에서, 이러한 단계들은 일반적으로 두 번, 헤드셋의 왼쪽 이어폰에 제공된 출력 신호를 위해 한번, 헤드셋의 오른쪽 이어폰에 제공될 출력 신호를 위해 한번 행해진다. 결국 각 이어폰에 대응되는 2개의 공간화된 신호(Od와 Og)를 얻게 된다.
L개의 입력 신호는 일반적으로 "가상" 스피커에 공급될 멀티채널 오디오 콘텐츠의 L개의 채널에 대응될 수 있다. L개의 입력 신호는, 예를 들어, 서라운드 사운드 재현에서 L개의 서라운드 사운드 신호의 오디오 컨텐츠에 대응될 수 있다.
본 발명을 구현하는 것을 도시하는 도 2를 참조하여, 도 1에 제시된 L개 채널의 공간화 원리를 다시 설명한다. 도 2에서는 L개의 입력 신호가 하나의 라인(I(l))으로 결합되는 것으로 단순화된다. S21 단계에서 L개의 입력 신호(I(1), I(2), ..., I(L))는 주파수 영역으로 변환된다. 또는, 이러한 입력 신호는 주파수 형태로 이미 이용 가능할 수도 있다. S22 단계에서, 주파수 필터를 얻기 위해 채널 l의 신호(I(l))에 대응되는 공간화에 대한 임펄스 리스펀스(Ak(l))(일반적으로 BRIR 유형)가 스펙트럴 대역으로 변환된다. 이 임펄스 리스펀스(Ak(l))는 제1 시간 블록(m=0)의 샘플들에 대응하기 때문에, 도 2에서 임펄스 리스펀스(Ak(l))는 표현이 불완전하다. 이 임펄스 리스펀스는 미리 주파수 형태로 이용 가능할 수도 있다. 이 필터의 성분은 대응하는 채널(I(l))의 스펙트럴 신호와 곱해진다. 도 4를 참조하여 앞에서 설명하였듯이, 이러한 곱은 본 발명에 따라 몇 주파수 성분은 무시되면서 수행된다. 일반적으로, 가장 높은 주파수 성분은 계산 부담을 줄이기 위해 무시된다. 도 2와 도 5에서 컷오프 주파수까지 제한된 성분의 곱이 심볼(
Figure pct00036
)로 표시된다.
컷오프 주파수(fcA (I))는 이를 넘는 주파수 성분이 무시되는 주파수(예를 들어 채널의 신호(I(l)에서 표현되는 최고 주파수 또는 샘플링 주파수의 절반)로 정의된다. 또한, 이 컷오프 주파수는 각 필터에 특정되고 각 블록(예를 들어 m=1, m=2 블록에 대해서 감소함)에 특정된다(예를 들어 m=1, m=2 블록에 대해서 감소함). 필터가 각 입력 신호와 각 귀에 특정하기 때문에, 컷오프 주파수는 입력 신호에, 귀에(따라서 출력 신호에), 시간 블록에 특정된다.
이제 첫 번째 시간 블록의 채널 l에 대한 공간화 신호를 얻었다. 이러한 동작은 L개의 채널(l = 1, ..., L)에 대해 수행되어 L개의 공간화된 채널을 제공한다. S23 단계에서 이러한 채널들은 더해져서 제1 시간 블록에서 L개의 채널을 표현하는 하나의 신호를 얻게 된다.
실제로, 아래에 자세히 설명하지만, 합산은 반향(반사와 반향 장) 특징을 나타내는 채널에서 지연을 허락하도록 특정한 방식으로 수행된다. 일 실시예에서, L개의 공간화된 채널은 합산하기 전에는 독립적으로 접근할 수 없고, 각 공간화된 채널을 이전 출력 신호와 점진적으로 더함으로써 하나의 출력 신호가 만들어진다. 이를 위해, DBD 단계에서, 입력 신호(I(l))는 각 블록(m=1, ..., M)에 고유한 지연 값(z-iDD.m)으로 지연된다. 제1 블록에 대해서는 지연(m)은 0이다. 주파수 표현의 경우, 이 지연은, 일반적으로 제1 블록에 대해 처리되는 신호 프레임의 크기에 해당하고, 이전 입력 블록을 주파수 형태로 취하는 행위로 해석된다.
S24 단계에서, 주파수 필터를 얻기 위해 채널 l의 신호(I(l))에 대응하는 공간화에 대한 임펄스 리스펀스(Bk m(l))(일반적으로 BRIR 유형)가 스펙트럴 대역으로 변환된다. 이 임펄스 리스펀스(Bk m(l))는 제2 시간 블록(m=1, ..., M인 제3 블록,... 등)에 대응하기 때문에, 임펄스 리스펀스(Bk m(l))는 불완전하다. 앞서 지적한 대로, 변형예로서 이 임펄스 리스펀스는 주파수 형태로 이미 이용가능 할 수 있다. FR13 57299 문서에 개시된 원리를 적용하여, Bk m(1) = ... = Bk m(l) = ... = Bk m(L) = Bk mean(m)로 가정함으로써 처리의 복잡성을 줄이고 궁극적으로 관련된 블록(주요 반향 장 또는 페이드 아웃을 갖는 제2 반향 장)과 귀(k)에 의해서만 결정되는 전달 함수를 얻도록 할 수 있다. 비슷하게, 반향 장은 채널에 종속되지 않고 컷오프 주파수(fc)를 각 채널에서 동일하게 설정할 수 있다(하지만 컷오프 주파수는, 도 3을 참조로 앞서 보았듯이, 블록에서 다음 블록으로 진행할수록 줄어듦). 이 실시예는 도 5에 표현된다.
다시 도 2를 참조하여 이 필터(Bk m(l))는 채널 l의 신호(I(l))와 곱해진다. 컷오프 주파수는 제2 시간 블록에서 다르다. 도 3을 참조로 이야기하였듯이, 측정 결과는 더 멀리 떨어진 시간 블록들에서 높은 주파수가 더 감쇠하는 것을 보여준다(반향 사운드와 다중 반향에 해당함). 이와 같이 더 먼 블록에 대한 컷오프 주파수는 첫 번째 블록보다 더 낮아질 수 있다. 컷오프 주파수가 낮아질수록 수행할 동작 수가 더 줄어든다. 계산의 복잡성이 유리하게 줄어든다.
같은 동작이 L개의 채널에 대해 수행되고, 고려되는 m개의 시간 블록 세트(M)에 대해 L개의 채널을 표현하는 하나의 신호를 얻을 때까지, S25 단계에서 필터를 점진적으로 지연되는 스펙트럴 신호로 곱하고 각 지연 m에 대해 이를 더하는 동작을 반복한다. 하나의 출력 신호는 공간화된 각 채널을 이전 출력 신호와 점진적으로 더함으로서 만들어지고, 이는 도 4를 참조로 이제 설명된다.
마지막으로, 헤드 셋의 이어폰으로 제공될 출력 신호를 얻기 위해 S26 단계에서 시간 영역으로 돌아온다.
도 4를 참조하면, 시간 블록(예를 들어 시간 간격([0; N-1])에서 직진하는 사운드 장을 값으로 표현하는 블록)과 예를 들어 오른쪽 귀에 대응하는 신호에 대한 공간화 방법을 설명한다. 두 귀 사이 차이점은 각 귀에 고유한 필터를 적용하여 도입된다.
S40 단계에서, 출력 신호(S)는 0으로 초기화된다. 이 출력 신호는 주파수 영역에서 표현된다. 이는 제한된 크기이고, 컷오프 주파수(fc(l))보다 큰 길이를 갖는다. 예를 들어, 이 신호는 [0; fs(l)/2]에 대해 정의되고, fs(l)는 신호 I(l)의 샘플링 주파수이다. 첫 번째1 카운트 변수 l은 1로 항상 초기화된다. 이 첫 번째 카운트 변수는 오른쪽 귀에 대한 시간 블록들([0; N-1])에서 채널 신호들(I(1), I(2), ..., I(l), ..., I(L)) 중 하나를 식별한다. S41 단계에서 두 번째 카운트 변수 j는 0으로 초기화된다. 두 번째 카운트 변수는 오른쪽 귀에 대한 시간 블록들([0; N-1])에서 채널 신호(I(l))의 주파수 성분을 식별한다.
S42 단계에서, 계수 cBRIR(j;l)는 메모리에 저장된다. 이 계수는 오른쪽 귀에 대한 시간 블록([0; N-1])에서 필터(BRIR(l))의 주파수 성분 j에 대응된다. 비슷하게, 계수 cI(j;l)는 메모리에 저장된다. 이 계수는 오른쪽 귀에 대한 시간 블록 ([0; N-1])에서 신호(I(l))의 주파수 성분 j에 대응된다. 이와 같이, 계수 cBRIR(j;l)와 cI(j;l)은 같은 주파수 성분(변수 j로 식별됨)에 대응하여 항 단위로 이어서 곱해질 수 있다.
T47 단계에서, 변수 j에 대응하는 주파수가 컷오프 주파수(fc(l))보다 작은지(예를 들어 정확하게 작은지) 확인한다. 이 컷오프 주파수는 오른쪽 귀에서 시간 블록([0; N-1])에 대한 신호(I(l))의 컷오프 주파수에 대응한다. 주파수가 컷오프 주파수(fc(l))보다 작으면 S44 단계로 진행한다.
S44 단계에서, 계수 cBRIR(j;l)와 ci(j;l)을 곱한 것에 대응하는 값(MULT(j))이 계산된다. 이 계수들은 항목마다 곱해지는데 이는 이들이 같은 주파수 성분 j에 대응하기 때문이다(같은 채널에 대한 것이고, 같은 블록에 있고, 같은 귀에 대한 것임).
S45 단계에서, 이 값(MULT(j))이 주파수 j 위치에서 신호 S에 끊임 없이 더해진다.
신호 S가 단계가 진행하여 생성되고, 이 신호는 컷오프 주파수(fc(l)) 까지 모든 주파수 성분으로 구성된다(길이 fc(l)인 루프의 끝에서)(이 신호 I(l)에 대해, 블록 [0, N-1]에서, 오른쪽 귀에 대해). 도 4에서 루프가 시작될 때 모든 성분이 0으로 초기화되어 있기 때문에, 루프 마지막에 버퍼(처음에 0임)는 컷오프 주파수까지 채워져서 연속적으로 신호 S를 만든다. 성분들의 각 곱(MULT(j))은 생성되고 있는 신호 S에 단계마다 더해진다.
S46 단계에서, 변수 j가 증가하고 S42 단계로 되돌아온다. 변수 j가 컷오프 주파수(fc(l))보다 커지면, T48 단계로 진행한다. 신호 S는 간격 [0; fc(l)]에 대해 채워진다.
앞서 언급한 대로, 신호는 [0; fc(l)]보다 큰 간격, 예를 들어 [0; fs(l)/2]로 정의될 수 있다. 또한, 이 신호에 전체 정의된 간격은 0으로 초기화된다. 따라서, 간격에서 채워지지 않은 나머지(예를 들어 [fc(l); fs(l)/2])는 여전히 0이다. 이는 복잡성을 개선시키는데, 신호 S에서 채우는 몇 단계를 수행하지 않아도 되기 때문에 필요한 계산 수를 줄인다.
T48 단계에서, 채널 l의 신호(I(l))에 대응되는 카운트 변수(l)는 채널의 개수L보다 작다(예를 들어 엄격하게 작음). 변수 l이 L보다 작거나 같다면, S49 단계에서 변수 l은 증가하고 S41 단계로 돌아간다. 변수 l이 L보다 크면, S50 단계에서 오른쪽 귀에 대한 시간 블록 [0; N 1]에 대한 공간화 신호에 대응되는 신호(S)가 이용할 수 있게 된다.
시간 블록 [0; N-1]에 대응하는 이 신호(S)는 다른 시간 블록들([N; 2N-1], [2N; 3N-1], 등)에 대해 비슷하게 생성된 신호와 함께 더해진다(예를 들어 도 2와 같이, DBD 단계에 따라 적당한 지연이 적용되어).
일반적으로, 블록 [N; 2N-1]을 만들기 위해, 주파수 영역에서, 모든 입력 신호(I(l))에 공통이고 컷오프 주파수가 fc인 반향 장을 반영하는 전달 함수에 대응하는 필터를 다음 주파수 중에서 최소에 대응하는 스펙트럴 성분의 곱에 적용하는데:
- 도 3에 예시한 것과 같이 반향 장 최대 주파수 Fc(예를 들어 m=1인 블록에 대해 10-15kHz 사이에 선택되고 m=2인 블록에 대해 5-10kHz 사이에서 선택됨); 및
- 각 입력 신호에서 나타나는 최대 주파수 fmax(예를 들어 샘플링 주파수 또는 스펙트럴 요소가 0이 아닌 최대 주파수(이 값은 일반적으로 압축 디코더에 의해 주어짐)).
주어진 컷오프 주파수에서 멈추는 주파수 곱(그 이상은 0으로 곱하는 것과 수학적으로 동일함)은 당업자에게 사소한 것이 아니다. 정말로, 오디오 신호를 필터링 하는 상황에서, 매우 과감한 로푸-패스 필터의 유형은 일반적으로 귀로 들을 수 있는 에일리어싱 부작용(aliasing artifacts)을 낳는데, 이는 순환 컨볼류션(circular convolution)에 의해 생성되는 시간 에일리어싱으로부터 발생하는 에코우나 프리-에코우(pre-echo) 때문으로, 일반적으로 회피하는 것이 바람직하다. 하지만, 본 발명의 관점에서, 로우-패스 필터가 사운드 신호에 적용되는 것이 아니고 이미 다중 반사로 구성되는 BRIR 필터(자체는 사운드 신호와 관련됨(convolved))에 적용되고; 만들어지는 부작용은 최악의 경우에 원래 BRIR 필터의 추가적인 반사로 감지될 것이고, 실제는 거의 두드러지지 않는다. 그럼에도 컷오프 주파수보다 앞서는 필터의 주파수를 약간 변경함으로써(예를 들어 half-Hanning 윈도우(페이드 아웃 유형)를 적용하여 가볍게 감쇠시킴) 이러한 부작용을 줄이는 것이 가능하다.
일반적으로, 도 4를 참조하여 같은 루프 순간에(일반적으로 하나의 클럭 싸이클에) 2가지 동작이 수행되는데: 곱셈(MULT(k))과 출력 신호(S)의 덧셈이다. 이것에 의해 하나의 루프 기간(일반적으로 하나의 클록 사이클) 동안 몇 개의 동작을 수행하는 능력을 갖는 프로세서에서 본 발명의 방법을 구현할 수 있게 되어, 계산에 요구되는 시간을 줄일 수 있다.
도 5에 출력 신호 Ok를 낳는 수식에 따라 처리하는 완전한 알고리즘 형태가 예시된다.
Figure pct00037
앞서 지시된 것과 같이, 가중 요소(Wk(l))와 이득(G(I(l)))은 1로 고정될 수 있다. 이득(G(I(l)))은 도 5에 표현되지 않았는데, 도 5는 가중치를 1/Wk(l)로 하는 이득의 적분으로 총합으로 읽힐 수 있다. 또한, 필터를 설계할 때, 이 두 가지 매개 변수가 결정되고 고정되고 모두 한번 그리고 모두에 대해 곱해진다.
SPAT: 공간화 모듈
DECOD: 디코딩 장치
RES: 네트워크
IN: 입력 인터페이스
PROC: 프로세서
MEM: 메모리
OUT: 출력 인터페이스
CAS: 헤드셋
HPV: 가상 스피커
TE: 시청자 머리
OG/OD: 왼쪽 귀/오른쪽 귀
TIL: 같은 쪽 경로
TCL: 반대쪽 경로
RIL: 반사 경로
MUR: 벽

Claims (9)

  1. 적어도 하나의 사운드 신호에 공간 효과를 갖는 적어도 하나의 전달 함수를 적용하는 단계를 포함하는 사운드 공간화 방법에 있어서,
    상기 전달 함수를 적용하는 단계는 스펙트럴 영역에서 상기 사운드 신호의 스펙트럴 성분을 상기 전달 함수에 대응되는 필터의 스펙트럴 성분으로 곱하는 단계를 포함하고, 상기 필터의 각 스펙트럴 성분은 시간-주파수 표현(time-frequency representation)에서 시간 변화량을 가지고,
    상기 필터의 스펙트럴 성분은, 문턱값 주파수를 넘고 상기 시간-주파수 표현에서 적어도 소정의 시점 이후에 해당하는 성분에 대한 곱셈에서 무시되고,
    복수 개의 입력 신호를 받아 적어도 두 개의 출력 신호를 제공하는 사운드 공간화 모듈이 구현하는 실시에서, 각 출력 신호를 제공하기 위해 공간 효과를 갖는 전달 함수를 적용할 때, 각 출력을 제공하기 위해, 공간 효과를 갖는 전달 함수가 각 입력 신호에 적용되고, 상기 출력 신호 각각은 다음 공식을 적용하여 얻는,
    Figure pct00038

    -
    Figure pct00039
    는 출력 신호이고 k는 출력 신호와 관련된 인덱스이고,
    -
    Figure pct00040
    는 상기 입력 신호들 중에서 하나의 입력 신호와 관련된 인덱스로, L은 입력 신호들의 개수,
    Figure pct00041
    은 입력 신호들 중 하나를 가리키고,
    -
    Figure pct00042
    는 입력 신호에 특정한, 공간 효과를 갖는 전달 함수이고,
    -
    Figure pct00043
    는 상기 입력 신호들에 공통이고 공간 효과를 갖는 일반 전달 함수이고,
    -
    Figure pct00044
    는 선택된 가중 요소이고,
    Figure pct00045
    는 소정의 파워 보상 이득이고,
    -
    Figure pct00046
    은 상기 공간 효과에 대응하는 공간에서 사운드의 방출과 상기 공간에서 반향 장이 발생하는 시점 사이 시간 간격에 해당하는 지연으로 샘플들의 블록의 개수로 카운트 되고, 인덱스 m은 이 지연에 대응되는 동안의 샘플들의 블록의 개수에 해당하고, M은 시간-주파수 표현에서 전달 함수가 지속되는 블록의 전체 개수이고,
    - 심볼 "."은 곱을 가리키고,
    - "
    Figure pct00047
    "은 가장 낮은 주파수에서 적어도 인덱스
    Figure pct00048
    인 입력 신호의 함수인 최대 주파수
    Figure pct00049
    까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리키고,
    - "
    Figure pct00050
    "은 가장 낮은 주파수에서 적어도 인덱스
    Figure pct00051
    인 입력 신호의 함수인 주파수
    Figure pct00052
    까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리키는,
    것을 특징으로 하는 방법.
  2. 제1 항에 있어서,
    상기 문턱 값 주파수는 상기 시간-주파수 표현에서 시간에 따라 감소하는 것을 특징으로 하는 방법.
  3. 제1 항 또는 제2 항에 있어서,
    상기 사운드 신호에서 가장 높은 주파수의 스펙트럴 성분에 관한 정보가 획득되고, 상기 문턱값 주파수는 소정의 문턱값 주파수와 상기 가장 높은 주파수 중에서 작은 값인 것을 특징으로 하는 방법.
  4. 제3 항에 있어서,
    상기 사운드 신호는 압축 디코더에서 발생하고, 가장 높은 주파수의 스펙트럴 성분에 대한 상기 정보는 상기 디코더로부터 제공되는 것을 특징으로 하는 방법.
  5. 제3 항 또는 제4 항에 있어서,
    상기 사운드 신호는 소정의 샘플링 주파수로 샘플링 되고, 상기 문턱값 주파수는 상기 샘플링 주파수를 근거로 선택되는 것을 특징으로 하는 방법.
  6. 제1 항 내지 제5항 중 어느 한 항에 있어서,
    상기 사운드 신호는 제1 및 제2 채널과 각각 연계되는 적어도 제1 및 제2 가상 스피커에 공간화되고, 공간 효과를 갖는 제1 및 제2 전달 함수가 각각 상기 제1 및 제2 채널에 적용되고,
    상기 사운드 신호의 스펙트럴 성분 중에서 소정의 차폐 주파수를 넘는 성분을 제거하여, 상기 제1 및 제2 전달 함수 중 하나가 같은 쪽 음향 경로 효과를 적용하고, 다른 하나가 다른 쪽 음향 경로 효과를 적용하고,
    상기 같은 쪽 음향 경로 효과를 적용하는 전달 함수에 대한 문턱값 주파수는 소정의 문턱값 주파수와 상기 차폐 주파수 중 작은 값인 것을 특징으로 하는 방법.
  7. 제1 항에 있어서,
    상기 신호는 샘플들로 구성되고 신호 사이에 같은 크기를 갖는 연속적인 블록으로 구성되고, 적어도 하나의 소정의 시점이 연속되는 블록에서 제1 블록과 다른 블록의 시작점에 시간적으로 놓이는 것을 특징으로 하는 방법.
  8. 프로세서에 의해 제1 항 내지 제7 항의 방법을 수행하는 명령어를 포함하는 컴퓨터 프로그램.
  9. 적어도 하나의 사운드 신호에 공간 효과를 갖는 적어도 하나의 전달 함수를 적용하기 위한 계산 수단을 포함하는 사운드 공간화 모듈에 있어서,
    상기 계산 수단은, 스펙트럴 영역에서 상기 사운드 신호의 스펙트럴 성분을 상기 전달 함수에 대응되는 필터의 스펙트럴 성분으로 곱하고, 상기 필터의 각 스펙트럴 성분은 시간-주파수 표현(time-frequency representation)에서 시간 변화량을 가지고,
    상기 계산 수단은, 문턱값 주파수를 넘고 상기 시간-주파수 표현에서 적어도 소정의 시점 이후에 해당하는 성분에 대한 곱셈에서 상기 필터의 스펙트럴 성분을 무시하고,
    상기 사운드 공간화 모듈은 복수 개의 입력 신호를 받아 적어도 두 개의 출력 신호를 제공하고, 상기 프로세서는 공간 효과를 갖는 전달 함수를 각 입력 신호에 적용하고, 상기 출력 신호 각각은 다음 공식을 적용하여 얻는,
    Figure pct00053


    -
    Figure pct00054
    는 출력 신호이고 k는 출력 신호와 관련된 인덱스이고,
    -
    Figure pct00055
    는 상기 입력 신호들 중에서 하나의 입력 신호와 관련된 인덱스로, L은 입력 신호들의 개수,
    Figure pct00056
    은 입력 신호들 중 하나를 가리키고,
    -
    Figure pct00057
    는 입력 신호에 특정한, 공간 효과를 갖는 전달 함수이고,
    -
    Figure pct00058
    는 상기 입력 신호들에 공통이고 공간 효과를 갖는 일반 전달 함수이고,
    -
    Figure pct00059
    는 선택된 가중 요소이고,
    Figure pct00060
    는 소정의 파워 보상 이득이고,
    -
    Figure pct00061
    은 상기 공간 효과에 대응하는 공간에서 사운드의 방출과 상기 공간에서 반향 장이 발생하는 시점 사이 시간 간격에 해당하는 지연으로 샘플들의 블록의 개수로 카운트 되고, 인덱스 m은 이 지연에 대응되는 동안의 샘플들의 블록의 개수에 해당하고, M은 시간-주파수 표현에서 전달 함수가 지속되는 블록의 전체 개수이고,
    - 심볼 "."은 곱을 가리키고,
    - "
    Figure pct00062
    "은 가장 낮은 주파수에서 적어도 인덱스
    Figure pct00063
    인 입력 신호의 함수인 최대 주파수
    Figure pct00064
    까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리키고,
    - "
    Figure pct00065
    "은 가장 낮은 주파수에서 적어도 인덱스
    Figure pct00066
    인 입력 신호의 함수인 주파수
    Figure pct00067
    까지 영역에서 제한된 개수의 주파수에 대한 컨볼류션 연산을 가리키는,
    것을 특징으로 하는 모듈.
KR1020167012795A 2013-10-18 2014-10-14 복잡도 관점에서 최적화된 공간 효과를 갖는 사운드 공간화 KR102156650B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1360185A FR3012247A1 (fr) 2013-10-18 2013-10-18 Spatialisation sonore avec effet de salle, optimisee en complexite
FR1360185 2013-10-18
PCT/FR2014/052617 WO2015055946A1 (fr) 2013-10-18 2014-10-14 Spatialisation sonore avec effet de salle, optimisee en complexite

Publications (2)

Publication Number Publication Date
KR20160073394A true KR20160073394A (ko) 2016-06-24
KR102156650B1 KR102156650B1 (ko) 2020-09-16

Family

ID=50069081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167012795A KR102156650B1 (ko) 2013-10-18 2014-10-14 복잡도 관점에서 최적화된 공간 효과를 갖는 사운드 공간화

Country Status (8)

Country Link
US (1) US9641953B2 (ko)
EP (2) EP3058564B1 (ko)
JP (1) JP6518661B2 (ko)
KR (1) KR102156650B1 (ko)
CN (1) CN105706162B (ko)
ES (1) ES2959534T3 (ko)
FR (1) FR3012247A1 (ko)
WO (1) WO2015055946A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201609089D0 (en) * 2016-05-24 2016-07-06 Smyth Stephen M F Improving the sound quality of virtualisation
CN110428802B (zh) * 2019-08-09 2023-08-08 广州酷狗计算机科技有限公司 声音混响方法、装置、计算机设备及计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010030608A (ko) * 1997-09-16 2001-04-16 레이크 테크놀로지 리미티드 청취자 주변의 음원의 공간화를 향상시키기 위한 스테레오헤드폰 디바이스에서의 필터링 효과의 이용

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1357299A (fr) 1962-05-16 1964-04-03 Ampoule pour phares de véhicules automobiles
US5917917A (en) * 1996-09-13 1999-06-29 Crystal Semiconductor Corporation Reduced-memory reverberation simulator in a sound synthesizer
EP1072089B1 (en) * 1998-03-25 2011-03-09 Dolby Laboratories Licensing Corp. Audio signal processing method and apparatus
US7835535B1 (en) * 2005-02-28 2010-11-16 Texas Instruments Incorporated Virtualizer with cross-talk cancellation and reverb
US20080085008A1 (en) * 2006-10-04 2008-04-10 Earl Corban Vickers Frequency Domain Reverberation Method and Device
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
US8976972B2 (en) * 2009-10-12 2015-03-10 Orange Processing of sound data encoded in a sub-band domain
EP2503800B1 (en) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
EP2840811A1 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010030608A (ko) * 1997-09-16 2001-04-16 레이크 테크놀로지 리미티드 청취자 주변의 음원의 공간화를 향상시키기 위한 스테레오헤드폰 디바이스에서의 필터링 효과의 이용

Also Published As

Publication number Publication date
CN105706162B (zh) 2019-06-11
WO2015055946A1 (fr) 2015-04-23
EP4184505A1 (fr) 2023-05-24
JP6518661B2 (ja) 2019-05-22
US9641953B2 (en) 2017-05-02
EP4184505B1 (fr) 2024-02-28
US20160269850A1 (en) 2016-09-15
FR3012247A1 (fr) 2015-04-24
EP3058564A1 (fr) 2016-08-24
EP3058564B1 (fr) 2023-07-26
ES2959534T3 (es) 2024-02-26
CN105706162A (zh) 2016-06-22
JP2016537866A (ja) 2016-12-01
KR102156650B1 (ko) 2020-09-16

Similar Documents

Publication Publication Date Title
US8515104B2 (en) Binaural filters for monophonic compatibility and loudspeaker compatibility
US8605909B2 (en) Method and device for efficient binaural sound spatialization in the transformed domain
KR101870058B1 (ko) 다채널 오디오에 응답하여 적어도 하나의 피드백 지연 네트워크를 이용한 바이노럴 오디오의 생성
KR100971700B1 (ko) 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
US8880413B2 (en) Binaural spatialization of compression-encoded sound data utilizing phase shift and delay applied to each subband
US9076425B2 (en) Apparatus and method for reducing digital noise of audio signal
KR20050026928A (ko) 룸 스피커로부터의 사운드를 디지털 등화하는 방법 및 그용도
WO2017203011A1 (en) Systems and methods for improving audio virtualisation
JP2010021982A (ja) 音響再生装置
US9848274B2 (en) Sound spatialization with room effect
EP2907324A1 (en) System and method for reducing latency in transposer-based virtual bass systems
KR102156650B1 (ko) 복잡도 관점에서 최적화된 공간 효과를 갖는 사운드 공간화
KR100684029B1 (ko) 푸리에 변환을 이용한 배음 생성 방법 및 이를 위한 장치,다운 샘플링에 의한 배음 생성 방법 및 이를 위한 장치와소리 보정 방법 및 이를 위한 장치
WO2014203496A1 (ja) 音声信号処理装置、および音声信号処理方法
JP2009077198A (ja) 音響再生装置
CN108810737B (zh) 信号处理的方法、装置和虚拟环绕声播放设备
CN109791773B (zh) 音频输出产生系统、音频通道输出方法和计算机可读介质
Pihlajamäki Multi-resolution short-time fourier transform implementation of directional audio coding
WO2007035072A1 (en) Apparatus and method to cancel crosstalk and stereo sound generation system using the same
JP6643779B2 (ja) 音響装置およびプログラム
Pihlajamäki Directional Audio Coding-menetelmän toteutus käyttäen monitarkkuuksista lyhytaikaista Fourier-muunnosta

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant