KR20110002491A - 바이노럴 오디오 신호들의 복호화 - Google Patents

바이노럴 오디오 신호들의 복호화 Download PDF

Info

Publication number
KR20110002491A
KR20110002491A KR1020107026739A KR20107026739A KR20110002491A KR 20110002491 A KR20110002491 A KR 20110002491A KR 1020107026739 A KR1020107026739 A KR 1020107026739A KR 20107026739 A KR20107026739 A KR 20107026739A KR 20110002491 A KR20110002491 A KR 20110002491A
Authority
KR
South Korea
Prior art keywords
signal
channel
audio
subband
gain
Prior art date
Application number
KR1020107026739A
Other languages
English (en)
Inventor
파시 오잘라
줄리아 투르쿠
마유리 배애내넨
미코 탐미
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20110002491A publication Critical patent/KR20110002491A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

바이노럴 오디오 신호를 합성하기 위한 방법으로서, 상기 방법은 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트들을 포함하는 파라메트릭하게 부호화 된 오디오 신호를 입력하는 단계; 및 바이노럴 오디오 신호를 합성하기 위하여 사이드 정보의 상기 상응하는 세트에 의하여 결정된 비율에서 상기 적어도 하나의 결합된 신호로 HRTF 필터들의 미리 결정된 세트를 적용하는 단계를 포함한다.

Description

바이노럴 오디오 신호들의 복호화 {Decoding of binaural audio signals}
본 발명은 공간 오디오 부호화(spatial audio coding)에 관련되고, 보다 구체적으로 바이노럴 오디오 신호들의 복호화에 관련된다.
본 출원은 2006년 1월 9일에 출원된 국제출원 PCT/FI2006/050014, 2006년 1월 17일에 출원된 미국출원 11/334,041, 및 2006년 2월 13일에 출원된 미국출원 11/354,211으로부터 우선권을 주장한다.
공간 오디오 부호화에서, 두개/다중-채널 오디오 신호는, 다른 오디오 채널들 상에서 재생될 상기 오디오 신호들이 서로와 다르도록 처리되고, 그로 인해 상기 오디오 소스 주변에 공간 효과의 임프레션(impression)을 청취자들에게 제공한다. 상기 공간 효과는 다중-채널 또는 바이노럴 재생을 위하여 적용 가능한 포맷들로 직접 상기 오디오를 기록함에 의하여 생성될 수 있거나, 또는 상기 공간 효과는 어떠한 두개/다중-채널 오디오 신호에서 인위적으로 생성될 수 있고, 이는 공간화로서 알려졌다.
헤드폰 재생을 위하여 인공 공간화는 청취자의 왼쪽 및 오른쪽 귀를 위하여 바이노럴 신호들을 생성하는 HRTF(Head Related Transfer Function) 필터링에 의하여 수행될 수 있음이 일반적으로 알려졌다. 사운드 소스 신호들은 원시의 그들의 방향에 상응하는 HRTF들로부터 기인한 필터들을 가지고 필터 된다. HRTF는 상기 헤드를 대체하는 마이크로폰으로 트랜스퍼 기능에 의하여 분할되고 상기 머리의 중간에 위치된, 사람 또는 인공 헤드의 귀로의 자유장(free field)에서 사운드 소스로부터 측정된 상기 트랜스퍼 기능이다. 인공 방 효과(예를 들면 빠른 반사 및/또는 늦은 반사)는 소스 외부화(externalization) 및 자연스러움을 개선하기 위하여 상기 공간화 된 신호들로 추가될 수 있다.
다양한 오디오 청취 및 상호작용 장치들이 증가함에 따라, 호환성은 더욱 중요해졌다. 공간 오디오 포맷들 중에서, 호환성은 업믹스(upmix) 및 다운믹스(downmix) 기술들을 통하여 노력되었다. Dolby DigitalR 및 Dolby SurroundR과 같은 스테레오 포맷으로 다중-채널 오디오 신호를 변환하기 위한, 그리고 바이노럴 신호로 스테레오 신호를 더 변환하기 위한 알고리즘들이 있음이 일반적으로 알려졌다. 그러나 이러한 종류의 처리에서 상기 원조 다중-채널 오디오 신호의 공간 이미지는 완전히 재생될 수 없다. 헤드폰 청취를 위해 다중 채널 오디오 신호를 변환하는 더 나은 방법은 HRTF 필터링을 채택함에 의하여 가상 라우드스피커들로 상기 원시 라우드스피커들을 대체하고 그러한 것들(예를 들면 Dolby HeadphoneR)을 통하여 상기 라우드스피커 채널 신호들을 재생하는 것이다. 그러나 이러한 프로세스는 바이노럴 신호를 생성하기 위하여 다중-채널 믹스가 항상 처음으로 요구되는 단점을 갖는다. 즉, 다중-채널(예를 들면 5+1 채널들) 신호들은 처음에 복호화되고 합성되고, 다음으로 HRTF들은 바이노럴 신호를 형성하기 위하여 각각의 신호로 적용된다. 이것은 바이노럴 포맷으로 압축된 다중-채널 포맷으로부터 직접 복호화하는 것에 비교하여 연산적으로 어려운 접근이다.
바이노럴 큐 부호화(BCC, Binaural Cue Coding)는 매우 발전된 파라메트릭(parametric) 공간 오디오 부호화 방법이다. BCC는 단일의(또는 몇몇의) 다운믹스 된 오디오 채널 및 상기 원조 신호로부터 주파수 및 시간의 함수로서 추정되는 지각적으로 관련있는 채널간 차들의 세트로서 공간 다중-채널 신호를 나타낸다. 상기 방법은 임의의 라우드스피커 레이아웃을 위해 믹스된 공간 오디오 신호가 동일한 또는 다른 수의 라우드스피커들로 이루어진, 어떠한 다른 라우드스피커 레이아웃을 위하여 변환되는 것을 허용한다.
따라서 상기 BCC는 다중-채널 라우드스피커 시스템들을 위하여 설계된다. 그러나 BCC 처리된 모노 신호 및 그것의 사이드 정보로부터 바이노럴 신호를 생성하는 것은 다중-채널 표현이 상기 모노 신호 및 상기 사이드 정보를 기초로 처음으로 합성되는 것을 필요로 하고, 그 다음에야 상기 다중-채널 표현으로부터 공간 헤드폰들 재생을 위한 바이노럴 신호를 생성하는 것이 가능할 수 있다. 이러한 접근은 바이노럴 신호를 생성하는 것의 관점에서 최적은 아님이 명확하다.
이제 개선된 방법 및 상기 방법을 구현하는 기술적 장비가 발명되고, 이로 인해 바이노럴 신호를 생성하는 것이 파라메트릭하게 부호화된 오디오 신호로부터 직접 가능해진다. 본 발명의 다양한 측면들은 복호화 방법, 디코더, 장치, 및 컴퓨터 프로그램들을 포함하고, 이는 아래 상세하게 일반적으로 개시된 것에 의하여 특징져 진다. 본 발명의 다양한 실시예들이 또한 개시된다.
제1 측면에 따르면, 본 발명에 따른 방법은 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트들을 포함하는 파라메트릭하게 부호화된 오디오 신호가 처음으로 입력되도록 바이노럴 오디오 신호를 합성하는 아이디어에 기반을 둔다. 상기 적어도 하나의 결합된 신호는 복수의 서브밴드들로 분할되고, 서브밴드들을 위한 파라미터 값들은 사이드 정보의 상기 세트로부터 결정된다. 다음으로 HRTF 필터들의 미리 결정된 세트는 바이노럴 오디오 신호를 합성하기 위하여 상기 파라미터 값들에 의하여 결정된 비율에서 상기 적어도 하나의 결합된 신호로 적용된다.
일 실시예에 따르면, 상기 파라미터 값들은 사이드 정보의 상기 세트에 의하여 제공된 사후 그리고 사전 파라미터 값들로부터 특정 서브밴드에 상응하는 파라미터 값을 삽입함에 의하여 결정된다.
일 실시예에 따르면, HRTF 필터들의 미리 결정된 세트로부터, 상기 원시 다중-채널 라우드스피커 레이아웃의 각각의 라우드스피커 방향에 상응하는 HRTF 필터들의 좌우쌍이 적용되도록 선택된다.
일 실시예에 따르면, 사이드 정보의 상기 세트는 상기 원시 사운드 이미지를 기술하는 상기 다중-채널 오디오의 채널 신호들에 대한 이득 추정들의 세트를 포함한다.
일 실시예에 다르면, 상기 원시 다중-채널 오디오의 이득 추정들은 시간 및 주파수의 함수로서 결정되고; 각각의 라우드스피커 채널을 위한 이득들은 각각의 이득값의 제곱들의 합이 1과 같도록 조정된다.
일 실시예에 따르면, 상기 적어도 하나의 결합된 신호는 다음 서브밴드 유형들, 복수의 QMF 서브밴드들; 복수의 ERB(Equivalent Rectangular Bandwidth), 또는 복수의 사이코-어쿠스틱하게(psycho-acoustically) 자극된 주파수 대역들 중 하나로 분할된다.
일 실시예에 따르면, 상기 파라미터 값들은 적어도 하나의 서브밴드에 대한 이득값들이다.
일 실시예에 따르면, 서브 밴드들에 대한 이득값들을 결정하는 단계는, 상기 원시 사운드 이미지를 기술하는 상기 다중-채널 오디오의 각각의 채널 신호에 대한 이득값들을 결정하는 단계, 및 각각의 채널 신호의 상기 이득값들로부터 서브밴드들에 대한 단일 이득값을 보간하는 단계를 더 포함한다.
일 실시예에 따르면, 서브밴드들에 대한 바이노럴 신호의 주파수 도메인 표현은 적어도 하나의 이득값을 갖는 상기 적어도 하나의 결합된 신호와 미리 결정된 HRTF 필터를 곱함에 의하여 결정된다.
본 발명에 따른 구성은 현저한 이점들을 제공한다. 주요 장점은 복호화 처리의 간담함과 낮은 연산 복잡성이다. 상기 디코더는 또한 그것이 상기 주어진 공간의 그리고 부호화 파라미터들에 기초하여 완전히 바이노럴 합성을 수행한다는 점에서 유연하다. 더 나아가 상기 원시 신호에 대한 동일한 공간성은 변환에서 유지된다. 사이드 정보에 대한 것으로서, 상기 원시 믹스의 이득 추정의 세트는 충분하다. 가장 현저하게, 본 발명은 상기 파라메트릭 오디오 코딩에서 제공되는 상기 압축 중간 상태의 강화된 개발을 가능하게하고, 이는 상기 오디오를 저장함에 있어서 뿐만 아니라 전송함에 있어서 효율성을 증가시킨다. 만약 상기 이득값들이 상기 사이드 정보로부터 서브밴드들을 위하여 결정된다면, 상기 바이노럴 출력 신호의 품질은 한 주파수 대역으로부터 다른 것으로 상기 이득값들의 부드러운 변화를 도입함에 의하여 개선될 수 있다. 또한 상기 필터링은 현저하게 간단해질 수 있다.
본 발명의 추가적인 측면들은 앞선 방법들의 발명적인 단계들을 수행하도록 구성된 다양한 장치들을 포함한다.
다음에서, 본 발명의 다양한 실시예들은 첨부된 도면들을 참조하여 더욱 상세하게 설명될 것이다.
도 1은 선행기술에 따른 일반적인 바이노럴 큐 코딩(BCC) 설계를 보여준다.
도 2는 선행기술에 따른 BCC 합성 설계의 일반적인 구조를 보여준다.
도 3은 본 발명의 일 실시예에 따른 상기 바이노럴 디코더의 블록도를 보여준다.
도 4는 축소된 블록도에서 본 발명의 일 실시예에 따른 전자 장치를 보여준다.
다음에서, 본 발명은 상기 실시예들에 따라 상기 복호화 설계를 구현하기 위한 예시적인 플랫폼으로서 바이노럴 큐 코딩(BCC)을 참조함에 의하여 예시될 것이다. 그러나 본 발명은 BCC-유형 공간 오디오 코딩 방법으로 제한되지 않음을 주의해야 하고, 이것은 하나 이상의 오디오 채널들의 원시 세트 및 적절한 공간 사이드 정보로부터 결합된 적어도 하나의 오디오 정보를 제공하는 어떠한 오디오 코딩 설계에서라도 구현될 수 있다.
바이노럴 큐 코딩(BCC)은 공간 오디오의 파라메트릭 표현에 대한 일반적인 개념이고, 이는 단일 오디오 채널에 어떠한 사이드 정보를 더한 것으로부터 임의의 수의 채널들을 가지고 다중-채널 출력을 전달한다. 도 1은 이러한 개념을 묘사한다. 몇몇 (M) 입력 오디오 채널들은 다운믹스 처리에 의하여 단일 출력(S; "합(sum)") 신호로 결합된다. 병렬적으로, 상기 다중-채널 사운드 이미지를 기술하는 가장 두드러진 채널간 큐들은 상기 입력 채널들로부터 추출되고 BCC 사이드 정보로서 압축적으로 부호화된다. 다음으로 합 신호 및 사이드 정보 모두 수신기 측으로 전송되고, 이는 상기 합 신호를 코딩하기 위하여 적절한 낮은 비트율 오디오 코딩 설계를 이용할 수 있다. 마지막으로, 상기 BCC 디코더는 채널간 시간차(ICTD, Inter-channel Time Difference), 채널간 레벨차(ICLD, Inter-channel Level Difference), 및 채널간 코히런스(ICC, Inter-channel coherence)와 같은, 관련있는 채널간 큐들을 운반하는, 채널 출력 신호들을 재합성함에 의하여 상기 전송된 합신호 및 상기 공간 큐 정보로부터 라우드스피커들을 위하여 다중-채널(N) 출력 신호를 생성한다. 따라서 상기 BCC 측 정보, 즉 채널간 큐들은 특히 라우드스피커 재생을 위하여 상기 다중-채널 오디오 신호의 재구성을 최적화하는 관점에서 선택된다.
두 개의 BCC 설계들이 있고, 이는 상기 수신기에서 렌더링(rendering)의 목적을 위하여 수개의 별개의 소스 신호들의 전송을 위해 의미있는 이른바 플렉서블 렌더링을 위한 BCC(유형 I BCC), 및 스테레오 또는 서라운드 신호의 수개의 오디오 채널들의 전송을 위하여 의미있는 자연스러운 렌더링을 위한 BCC(유형 II BCC)이다. 플렉서블 렌더링을 위한 BCC는 입력으로서 별개의 오디오 소스 신호들(예를 들면 스피치 신호들, 별도로 기록된 도구들, 다중트랙 기록)을 취한다. 다음으로 자연스러운 렌더링을 위한 BCC는 입력으로서 "최종 믹스(final mix)" 스테레오 또는 다중-채널 신호(예를 들면 CD 오디오, DVD 서라운드)를 취한다. 만약 이러한 처리들이 전통적인 코딩 기술들을 통하여 수행된다면, 상기 비트율 스케일들은 예를 들면 5.1 다중-채널 시스템의 여섯 개의 오디오 채널들을 전송하는 수개의 오디오 채널들에 비례하여 또는 적어도 근접하게 비례하여 하나의 오디오 채널의 거의 여섯 배의 비트율을 필요로한다. 그러나 상기 두 개의 BCC 설계들 모두는, 상기 BCC 사이드 정보가 오직 매우 낮은 비트율(예를 들면 2kb/s)을 필요로 하기 때문에, 하나의 오디오 채널의 전송을 위하여 요구되는 비트율보다 오직 약간 높은 비트율을 야기한다.
도 2는 BCC 합성 설계의 일반적인 구조를 보여준다. 상기 전송된 모노 신호("합(sum)")는 프레임들로 시간 도메인에서 처음으로 윈도우화 되고, 다음으로 FFT 처리(고속 푸리에 변환) 및 필터뱅크(FB, filterbank)에 의하여 적절한 서브밴드들의 스펙트럼의 표현으로 매핑된다. 재생 채널들의 일반적인 케이스에서 ICLD 및 ICTD는 채널들의 쌍들 사이에 각각의 서브밴드에서, 즉 기준 채널에 관련된 각각의 채널에 대하여 고려된다. 상기 서브밴드들은 충분히 높은 주파수 해상도를 획득하도록 선택되고, 예를 들면 상기 ERB(Equivalent Rectangular Bandwidth) 스케일과 동일한 것 내지 두 배의 서브밴드 폭이 일반적으로 적절한 것으로 고려된다. 생성된 각각의 출력 채널에 대하여, 개별 시간 지연들 ICTD 및 레벨차들 ICLD는 상기 합성된 오디오 채널들 사이에 코히런스 및/또는 상관(ICC)의 가장 관련있는 측면들을 다시 도입하는 코히런스 합성 처리에 앞선, 스펙트럼의 계수에 부과된다. 마지막으로, 모든 합성된 출력 채널들은 IFFT 처리(역 FFT)에 의하여 시간 도메인 표현으로 다시 변환되고, 이는 다중-채널 출력을 야기한다. 상기 BCC 접근의 더욱 상세한 설명을 위하여, F. Baumgarte and C. Faller "Binaural Cue Coding - Part I: Psychoacoustic Fundamentals and Design Principles"; IEEE Transactions on Speech and Audio Processing, Vol. 11, No. 6, November 2003, 및 C. Faller and F. Baumgarte: "Binaural Cue Coding - Part II : Schemes and Applications", IEEE Transactions on Speech and Audio Processing, Vol. 11 , No. 6, November 2003을 참조한다.
상기 BCC는 코딩 설계들의 일례이고, 이는 상기 실시예들에 따른 복호화 설계를 구현하기 위한 적절한 플랫폼을 제공한다. 일 실시예에 따른 바이노럴 디코더는 입력으로서 모노포닉화 된(monophonized) 신호 및 사이드 정보를 수신한다. 상기 아이디어는 상기 청취 위치에 대한 관계에서 상기 라우드스피커의 방향에 상응하는 HRTF의 쌍을 가지고 상기 원시 믹스 내의 각각의 라우드스피커를 대체하기 위한 것이다. 상기 모노포닉화 된 신호의 각각의 주파수 채널은 상기 사이드 정보에 기초하여 산출될 수 있는 이득값들의 세트에 의하여 지시된 비율에서 상기 HRTF들을 구현하는 필터들의 각각의 쌍으로 공급된다. 결과적으로 상기 처리는 바이노럴 오디오 장면에서, 상기 원시의 것들에 상응하는 가상 라우드스피커들의 세트를 구현하는 것으로서 생각될 수 있다. 따라서 본 발명은 다양한 라우드스피커 레이아웃들을 위한 다중-채널 오디오 신호들과는 별개로, 바이노럴 오디오 신호 또한 어떠한 중간 BCC 합성 처리 없이 파라메트릭하게 부호화 된 공간 오디오 신호로부터 직접 유도되는 것을 허용함에 의하여 상기 BCC의가치를 높인다.
본 발명의 어떠한 실시예들은, 본 발명의 한 측면에 따라 바이노럴 디코더의 블록도를 보여주는 도 3을 참조하여 다음에서 설명된다. 상기 디코더(300)는 상기 모노포닉화 된 신호를 위한 제1 입력(302) 및 상기 사이드 정보를 위한 제2 입력(304)을 포함한다. 상기 입력들(302, 304)은 상기 실시예들을 묘사하기 위하여 구별되는 입력으로서 보여지지만, 실제 실시에서 통상의 기술자는 상기 모노포닉화 된 신호 및 상기 사이드 정보는 동일한 입력을 통하여 공급될 수 있음을 인지할 것이다.
일 실시예에 따라, 상기 사이드 정보는 상기 BCC 설계들, 즉 채널간 시간차(ICTD), 채널간 레벨차(ICLD) 및 채널간 코히런스(ICC)에서와 동일한 채널간 큐들을 포함해야하지 않지만, 대신에 각각의 주파수 대역에서 원시 믹스의 채널들 중에서 음압의 분포를 정의하는 이득 추정들의 세트만이 만족된다. 상기 이득 추정들에 더하여, 상기 사이드 정보는 바람직하게 상기 채택된 프레임 길이뿐만 아니라 상기 청취 위치에 관련하여 상기 원시 믹스의 라우드스피커들의 수 및 위치들을 포함한다. 일 실시예에 따라, 인코더로부터 상기 사이드 정보의 일부로서 상기 이득 추정을 전송하는 대신에, 상기 이득 추정들은 예를 들면 ICLD로부터 상기 BCC 설계들의 채널간 큐들로부터 상기 디코더에서 산출된다.
상기 디코더(300)는 윈도우화 유닛(306)을 포함하고, 여기서 상기 모노포닉화 된 신호는 상기 채택된 프레임 길이의 시간 프레임들로 처음으로 분할되고, 다음으로 상기 프레임들은 적절하게 윈도우화 되고, 예를 들면 사인(sine)-윈도우화 된다. 적절한 프레임 길이는 상기 프레임들이 상기 신호에서 빠른 변화들을 관리하기에 충분히 짧은 동시에 불연속 푸리에-변환(DFT)를 위하여 충분히 길도록 조절되어야 한다. 실시예들은 적절한 프레임 길이는 50ms 근처임을 보여준다. 따라서 만약 44.1 kHz(공통적으로 다양한 오디오 코딩 설계들에서 이용된다)의 샘플링 주파수가 이용된다면, 그 경우 상기 프레임은 예를 들면 46.4 ms의 프레임 길이를 야기하는 2048개의 샘플들을 포함할 수 있다. 상기 윈도우화는 스펙트럼 변화들(레벨 및 지연)에 의하여 야기되는 전이들을 부드럽게 하기 위하여 50%만큼 오버랩하도록 바람직하게 이루어진다.
그 이후에, 상기 윈도우화되고 모노포닉화 된 신호는 FFT 유닛(308)에서 주파수 도메인으로 변환된다. 상기 처리는 효과적인 연산의 목적에서 주파수 도메인에서 이루어진다. 통상의 기술자는 신호 처리의 이전 단계들이 실제 디코더(300) 외부에서 이루어질 수 있음을, 즉 상기 윈도우화 유닛(306) 및 상기 FFT 유닛(308)이 상기 장치에서 구현될 수 있고 여기에 상기 디코더가 포함될 수 있음을 인지할 것이고, 처리될 모노포닉화 된 신호는 상기 디코더로 공급되었을 때 이미 윈도우화되고 주파수 도메인으로 변환된다.
주파수-도메인화 된 신호를 효과적으로 연산하는 목적을 위하여, 상기 신호는 사이코-어쿠스틱하게 자극된 주파수 대역들로 상기 신호들을 분할하는 필터 뱅크(310)로 공급된다. 일 실시예에 따라, 상기 필터 뱅크(310)는 그것이 공통적으로 인가된 ERB(Equivalent Rectangular Bandwidth) 스케일을 따르는 32개의 주파수 대역들로 상기 신호를 분할하도록 구성되도록 설계되고, 이는 상기 32개의 주파수 대역들 상의 신호 콤포넌트들 x0, ..., x31을 야기한다.
상기 디코더(300)는 각각의 라우드스피커 방향에 상응하는 HRTF들의 좌우쌍이 선택되는 미리 저장된 정보로서 HRTF들(312, 314)의 세트를 포함한다. 예시를 위하여, HRTF들(312, 314)의 두 개의 세트들이 도 3에서 보이고, 하나는 좌측 신호를 위한 것이고 하나는 우측 신호를 위한 것이지만, 실제 실현에서 HRTF들의 하나의 세트로 충분할 것임이 명백하다. 각각의 라우드스피커 채널 사운드 레벨에 상응하기 위한 HRTF들의 선택된 좌우쌍들을 조절하기 위하여, 상기 이득값들(G)이 바람직하게 추정된다. 앞서 언급된 바와 같이, 상기 이득 추정들은 상기 인코더로부터 수신된 상기 정보에 포함될 수 있고, 이들은 상기 BCC측 정보에 기초해서 상기 디코더에서 산출될 수 있다. 따라서 이득은 시간 및 주파수의 함수로서 각각의 라우드스피커 채널을 위하여 추정되고, 상기 원시 믹스의 상기 이득 레벨을 보존하기 위하여, 바람직하게는 각각의 라우드스피커 채널을 위한 이득들은 각각의 이득값의 제곱들의 합이 1과 같도록 조절된다. 이것은 만약 N이 가상적으로 생성될 상기 채널들의 수라면, 그 경우 오직 N-1 이득 추정들이 상기 인코더로부터 전송될 필요가 있고, 없는 이득값은 N-1 이득값들을 기초로 산출될 수 있는 이점을 제공한다. 그러나 통상의 기술자는 본 발명의 동작이 각각의 이득값의 제곱들의 합을 1과 같도록 조절하는 것을 필요로 하지 않지만, 상기 디코더는 상기 합이 1과 같도록 상기 이득값들의 제곱들을 조절할 수 있음을 인지할 것이다.
다음으로 상기 HRTF 필터들(312, 314)의 각각의 좌우쌍은 이득들(G)의 세트에 의하여 지시되는 비율에서 조절되고, 이는 조절된 HRTF 필터들(312', 314')을 야기한다. 다시 실제 상기 원시 HRTF 필터 크기들(312, 314)은 상기 이득값들에 따라 단지 조절된 값이고, 상기 실시예들을 예시하기위하여, HRTF들(312', 314')의 "추가적인" 세트들이 도 3에서 보임을 주의한다.
각각의 주파수 대역들에 대하여, 상기 모노 신호 콤포넌트들(x0, ..., x31)은 상기 조절된 HRTF 필터들(312', 314')의 각각의 좌우쌍으로 공급된다. 상기 좌측 신호를 위한 그리고 우측 신호를 위한 필터 출력들은 바이노럴 채널들 모드에 대하여 합 유닛들(316, 318)에서 다음으로 합산된다. 상기 합산된 바이노럴 신호들은 다시 사인-윈도우화되고, IFFT 유닛들(320, 322)에서 수행되는 역 FFT 처리에 의하여 시간 도메인으로 역으로 변환된다. 상기 분석 필터들이 하나로 합산되지 않는 경우, 또는 그들의 위상 응답이 선형이 아닌 경우, 적절한 합성 필터 뱅크가 다음으로 바람직하게 상기 최종 바이노럴 신호들(BR 및 BL)에서 왜곡을 피하기 위하여 이용된다.
일 실시예에서, 상기 바이노럴 신호의 외적 표현, 즉, 헤드-외부 배치를 강화하기 위하여, 적절한 방 응답이 상기 바이노럴 신호로 추가될 수 있다. 이러한 목적을 위하여, 상기 디코더는 상기 합산 유닛들(316, 318) 및 상기 IFFT 유닛들(320, 322) 사이에 적절하게 배치된 재생 유닛을 포함할 수 있다. 상기 추가된 방 응답은 라우드스피커 청취 상황에서 상기 방의 효과를 모방한다. 그러나 요구되는 상기 재생 시간은 연산 복잡성이 현저하게 증가되지 않도록 충분히 짧다.
도 3에서 묘사된 바이노럴 디코더(300)는 또한 상기 공간 이미지가 좁혀지는 스테레오 다운믹스 복호화의 특별한 경우를 가능하게 한다. 상기 디코더(300)의 동작은 앞선 실시예들에서 상기 이득값들에 따라 단지 크기 변환된 각각의 조절 가능한 HRTF 필터(312, 314)가 미리 결정된 이득에 의하여 대체되도록 수정된다. 따라서 상기 모노포닉화 된 신호는 상기 사이드 정보에 기초하여 산출된 이득값들의 세트에 의하여 곱해진 단일 이득으로 이루어진 일정한 HRTF 필터들을 통하여 처리된다. 결과적으로 상기 공간 오디오는 스테레오 신호로 다운 믹스된다. 이러한 특별한 경우는 스테레오 신호가 상기 공간 오디오를 복호화하기 위한 요구 없이 상기 공간 사이드 정보를 이용하여 상기 결합된 신호로부터 생성될 수 있는 이점을 제공하고, 이로 인해 스테레오 복호화의 과정이 전통적인 BCC 합성에서보다 더 간단하다. 상기 바이노럴 디코더(300)의 구조는 아니면 도 3에서와 동일하게 남아있고, 오직 상기 조절 가능한 HRTF 필터(312, 314)가 상기 스테레오 다운 믹스를 위하여 미리 결정된 이득들을 갖는 다운믹스 필터들에 의하여 대체된다.
만약 상기 바이노럴 디코더가 예를 들면 5.1 서라운드 오디오 구성을 위한 HRTF 필터들을 포함한다면, 그 경우 상기 스테레오 다운믹스 복호화의 특별한 경우에 대해 상기 HRTF 필터들을 위한 일정한 이득들은 예를 들면 표 1에 정의된 바와 같을 수 있다.
스테레오 다운믹스를 위한 HRTF 필터들
HRTF 좌 우
좌측 앞 1.0 0.0
우측 앞 0.0 1.0
중앙 Sqrt (0.5) Sqrt (0.5)
좌측 뒤 Sqrt (0.5) 0.0
우측 뒤 0.0 Sqrt (0.5)
LFE Sqrt (0.5) Sqrt (0.5)
본 발명에 따른 구성은 현저한 이점들을 제공한다. 주요 이점은 상기 복호화 처리의 간단함 및 낮은 연산 복잡성이다. 상기 디코더는 또한 그것이 상기 인코더에 의하여 주어진 상기 공간 및 부호화 파라미터들에 완전히 기초하여 상기 바이노럴 업믹스를 수행하는 관점에서 유연하다. 더 나아가 상기 원시 신호에 관한 동일한 공간성이 상기 변환에서 유지된다. 상기 사이드 정보에 관한한, 상기 원시 믹스의 이득 추정들의 세트가 만족된다. 상기 오디오를 전송하거나 저장하는 관점으로부터, 가장 현저한 이점은 상기 파라메트릭 오디오 코딩에서 제공되는 압축적인 중간 상태를 이용할 때 개선된 효율성을 통하여 획득된다.
통상의 기술자는 상기 HRTF들이 매우 개별적이고 평균화가 불가능하기 때문에, 완전한 재-공간화는 상기 청취자 자신의 유일한 HRTF 세트를 측정함에 의하여 오직 획득될 수 있음을 인지할 것이다. 따라서 HRTF들의 이용은 불가피하게 상기 처리된 오디오의 품질이 원시와 동일하지 않도록 상기 신호를 컬러화한다. 그러나 각각의 청취자의 HRTF들을 측정하는 것이 비현실적인 옵션이기 때문에, 최적의 가능한 결과는 모델화된 세트 또는 더미(dummy) 헤드 또는 평균 사이즈 및 두드러진 대칭의 헤드를 갖는 사람으로부터 측정된 세트가 이용될 때 획득된다.
앞서 언급된 바와 같이, 일 실시예에 따르면, 상기 이득 추정들은 상기 인코더로부터 수신된 상기 사이드 정보에 포함될 수 있다. 결과적으로 본 발명의 한 측면은 주파수 및 시간의 함수로서 각각의 라우드스피커 채널에 대한 이득을 추정하고 상기 하나의(또는 그 이상의) 결합된 채널을 따라 전송된 상기 사이드 정보에서 상기 이득 추정들을 포함하는 다중채널 공간 오디오 신호를 위한 인코더에 관련된다. 상기 인코더는 상기 채널간 큐들(ICTD), ICLD 및 상기 다중-채널 사운드 이미지를 기술하는 ICC에 추가하여 또는 그 대신에, 상기 이득 추정들을 산출하도록 더 구성된 바와 같이 알려진 예를 들면 BCC 인코더일 수 있다. 다음으로 적어도 상기 이득 추정들을 포함하는 상기 합신호 및 상기 사이드 정보 모두는, 적어도 상기 이득 추정들을 포함하여, 상기 합신호를 코딩하기 위하여 바람직하게는 적절한 낮은 비트율 오디오 코딩 설계를 이용하여 상기 수신부 측으로 전송된다. 일 실시예에 따르면, 상기 이득 추정들이 상기 인코더에서 산출된다면, 상기 산출은 상기 결합된 채널의 상기 산출된 이득 레벨에 대해 각각의 개별 채널의 이득 레벨을 비교함에 의하여 수행되고, 즉 만약 우리가 X에 의하여 상기 이득 레벨들을 표시하였다면, "m"에 의한 상기 원시 라우드스피커 레이아웃 및 "k"에 의한 샘플들의 개별 채널들은, 그 경우 각각의 채널에 대하여, 상기 이득 추정이 |Xm(k)| / |XSUM(k)|로서 산출된다. 따라서 상기 이득 추정들은 모든 채널들의 총 이득 크기에 비교하여 각각의 개별 채널의 비례하는 이득 크기를 결정한다.
일 실시예에 따르면, 만약 상기 이득 추정들이 상기 BCC 사이드 정보에 기초하여 상기 디코더에서 산출된다면, 상기 산출은 예를 들면 상기 채널간 레벨차(ICLD)의 값들에 기초하여 수행될 수 있다. 결과적으로 만약 N이 가상적으로 생성될 상기 "라우드스피커들"의 수라면, 그 경우 N-1개의 미지의 변수들을 포함하는 N-1개의 식들이 상기 ICLD 값들에 기초하여 처음으로 구성된다. 다음으로 각각의 라우드스피커 식의 제곱의 합이 1과 같게 설정되고, 그로 인해 하나의 개별 채널의 이득 추정이 해결될 수 있고, 상기 해결된 이득 추정에 기초하여, 상기 이득 추정들의 나머지가 상기 N-1 식들로부터 풀린다.
예를 들면, 가상적으로 생성된 채널들의 수가 5라면(N=5), 상기 N-1개의 식들은 다음과 같이 형성될 수 있다: L2 = L1 + ICLD1, L3 = L1 + ICLD2, L4 = L1 + ICLD3 및 L5 = L1 + ICLD4. 다음으로 그들의 곱들의 합이 1과 같게 설정된다: L12 + (L1 + ICLD1)2 + (L1+ICLD2)2 + (L1 + ICLD3)2 + (L1 + ICLD4)2 = 1. L1의 값은 다음으로 풀릴 수 있고, L1에 기초하여, 상기 이득값들의 나머지(L2 - L5)가 풀릴 수 있다.
추가적인 실시예에 따르면, 본 발명의 기본 아이디어, 즉 다중채널 포맷으로 그것을 처음으로 복호화해야 함 없이 파라메트릭하게 부호화 된 오디오 신호로부터 직접 바이노럴 신호를 생성하는 것은, 또한 이득 추정들의 세트를 이용하고 각각의 주파수 서브밴드로 그것들을 적용하는 대신에, 오직 상기 사이드 정보 비트 스트림의 상기 채널 레벨 정보(ICLD) 부분이 상기 바이노럴 신호를 구성하기 위하여 상기 합신호(들)와 함께 이용된다.
따라서 상기 디코더에서 이득 추정들의 세트를 정의하거나 또는 상기 인코더에서 상기 BCC 사이드 정보에서의 이득 추정들을 포함하는 대신에, 각각의 원시 채널의 상기 전통적인 BCC 사이드 정보의 채널 레벨 정보(ICLD) 부분이 상기 디코더에서 시간 및 주파수의 함수로서 적절하게 처리된다. 상기 원시 합신호(들)는 적절한 주파수 빈들로 분할되고, 상기 주파수 빈들을 위한 이득들은 상기 채널 레벨 정보로부터 유도된다. 이러한 처리는 한 주파수 대역으로부터 다른 것으로 상기 이득값들의 더 부드러운 변화들을 도입함에 의하여 상기 바이노럴 출력 신호의 품질을 더 개선하는 것을 가능하게 한다.
이러한 실시예에서, 상기 처리의 예비 단계들이 앞서 설명된 것과 유사하다: 합신호(들) (모노 또는 스테레오) 및 상기 사이드 정보는 상기 디코더에서 입력되고, 상기 합신호는 적절하게 윈도우화 되는, 예를 들면 사인 윈도우화 되는 상기 채택된 프레임 길이의 시간 프레임들로 분할된다. 다시, 50% 오버랩하는 사인파 윈도우들은 상기 분석에서 이용되고 FFT는 주파수 도메인으로 시간 도메인 신호들을 효과적으로 변환하기 위하여 이용된다. 이제 만약 상기 분석 위도우의 길이가 N개의 샘플들이고 상기 윈도우들이 50% 겹친다면, 우리는 주파수 도메인에서 N/2개의 주파수 빈들을 갖는다. 이러한 실시예에서, 상기 ERB 스케일에 따라 서브밴드들과 같은 사이코-어쿠스틱하게 자극된 주파수 대역들로 상기 신호를 분할하는 대신에, 상기 처리는 이러한 주파수 빈들로 적용된다.
앞서 설명된 바와 같이, 상기 BCC 인코더의 사이드 정보는 어떻게 상기 합신호(들)가 각각의 개별 채널을 획득하기 위하여 크기 변환되어야 하는지에 대한 정보를 제공한다. 상기 이득 정보는 제한된 시간 및 주파수 위치들에 대해서만 일반적으로 제공된다. 시간 방향에서, 이득값들은 예를 들면 2048개의 샘플들의 프레임들에서 한번 제공된다. 현재 실시예의 구현을 위하여, 매 사인파 윈도우의 중간에서 매 주파수 빈에 대한 이득값들(즉, 매 사인파 윈도우의 중간에서 N/2개의 이득값들)이 요구된다. 이것은 보간의 수단에 의하여 효과적으로 획득된다. 대안으로, 상기 이득 정보는 상기 사이드 정보에서 결정된 시간 순간들에서 제공될 수 있고, 프레임 내에서 시간 순간들의 수가 사이드 정보에서 또한 제공될 수 있다. 이러한 대안적인 구현에서, 상기 이득값들은 이득값들이 갱신될 때 시간 순간들의 지식 및 시간 순간들의 수에 기초하여 보간된다.
상기 BCC 다중 채널 인코더가 시간 순간들 tm, m=0, 1, 2, ...에서 Ng개의 이득값들을 제공한다고 가정하자. 현재 시간 순간(tw, 현재 사인파 윈도우의 중앙)에 관련하여, 상기 BCC 다중채널 인코더에 의하여 제공된 상기 사후 및 사전 이득값 세트들이 검색되고, 그들이 tprev 및 tnext에 의하여 표시된다고 하자. 예를 들면 선형 보간법(interpolation)을 이용하여, Ng개의 이득값들이 tw내지 tprev 및 tnext의 거리에서 크기변환 인자들로서 보간법에서 이용되도록 상기 시간 순간 tw로 보간된다. 다른 실시예에 따르면, 상기 시간 순간 tw에 더 가까운 상기 이득값(tprev 또는 tnext)은 단순하게 선택되고, 이는 잘 근사된 이득값을 결정하기 위하여 더 간단한 해결책을 제공한다.
현재 시간 순간을 위한 Ng개의 이득값들의 세트가 결정된 이후에, 이들은 매 N/2개의 주파수 빈들에 대한 개별 이득값을 획득하기 위하여 주파수 방향에서 보간될 필요가 있다. 단순한 선형 보간법은 이러한 작업을 완료하기 위하여 이용될 수 있지만, 예를 들면 싱크-보간법(sinc-interpolation)이 또한 이용될 수 있다. 일반적으로 Ng개의 이득값들은 상기 보간에서 고려되어야 하는 낮은 주파수들에서 더 높은 해상도를 가지고 주어진다(상기 해상도는 예를 들면 ERB 스케일을 따를 수 있다). 상기 보간은 선형에서 또는 로그 도메인에서 이루어질 수 있다. 상기 보간된 이득 세트들의 총 수는 합신호들의 수에 의하여 곱해진 다중채널 디코더에서 출력 채널들의 수와 같다.
더 나아가, 상기 원시 스피커 방향들의 HRTF들은 상기 바이노럴 신호를 구성하기 위하여 필요하다. 또한 상기 HRTF는 상기 주파수 도메인으로 변환된다. 상기 주파수 도메인 처리를 간편하게 만들기 위하여, 동일한 프레임 길이(N개의 샘플들)가 주파수 도메인으로 시간 도메인 합신호(들)를 변환하기 위하여 이용되는 것과 같이 상기 변환에서 이용된다.
Y1(n) 및 Y2(n)는 각각 바이노럴 좌측 및 우측 신호들의 주파수 도메인 표현이라고 하자. 하나의 합신호의 경우에서(즉, 모노포닉화 된 합신호(Xsum1(n)), 상기 바이노럴 출력은 아래와 같이 구성된다.
Figure pat00001
Figure pat00002
여기서 0 = n < N/2이다. C는 상기 BCC 다중채널 인코더에서 상기 채널들의 총수이고(예를 들면 5.1 오디오 신호가 6개의 채널들을 포함한다), g1 c(n)는 상기 모노 합신호가 현재 시간 순간 tw에서 채널 C를 구성하기 위한 상기 보간된 이득값이다. H1 C(n) 및 H2 C(n)는 다중채널 인코더 출력 채널(c)을 위한 좌측 및 우측 귀들을 위한 HRTF들의 DFT 도메인 표현들이고, 즉 각각의 원시 채널의 방향이 알려져야 한다.
상기 BCC 다중채널 인코더에 의하여 제공된 두개의 합신호들(스테레오 합신호)이 있을 때, 합신호들(Xsum1(n) 및 Xsum2(n))은 다음과 같은 바이노럴 출력들 모두에 효과가 있다.
Figure pat00003
Figure pat00004
여기서 0 = n <N/2이다. 이제 g1 C(n) 및 g2 C(n)가 그들의 합으로서 출력 채널(c)을 구성하기 위하여 상기 다중채널 인코더에서 좌측 및 우측 합신호들을 위하여 이용되는 이득들을 나타낸다.
다시, 상기 처리의 마지막 단계들은 앞서 설명된 것과 유사하다: 상기 Y1(n) 및 Y2(n)는 IFFT 처리를 가지고 시간 도메인으로 역으로 변환되고, 상기 신호들은 한 번 더 사인-윈도우화 되고, 오버랩하는 윈도우들은 합께 더해진다.
앞서 설명된 실시예의 주요 장점은 상기 이득들이 한 주파수 빈으로부터 다른 것으로 빠르게 변하지 않는 것이고, 이는 ERB(또는 다른) 서브밴드들이 이용될 때 경우에서 일어날 수 있다. 그로인해, 상기 바이노럴 출력 신호의 품질은 일반적으로 더 우수하다.
더 나아가, 상기 다중채널 오디오의 각각의 채널을 위하여 HRTF들의 특정 좌우쌍들 대신에 좌측 및 우측 귀들을 위한 HRTF들(H1 C(n) 및 H2 C(n))의 합산된 DFT 도메인 표현들을 이용함에 의하여, 상기 필터링은 현저하게 간단해질 수 있다.
앞서 설명된 실시예에서, 상기 바이노럴 신호는 DFT 도메인에서 구성되었고, 상기 필터 뱅크를 가지고 상기 ERB 스케일에 따라 서브밴드들로의 신호들의 분할은 빠질 수 있다. 비록 상기 구현이 유리하게 어떠한 필터 뱅크를 필요로 하지 않을 지라도, 통상의 기술자는 또한 충분히 높은 주파수 해상도를 가지고 DFT 또는 적절한 필터 뱅크 구조와 다른 관련된 변환이 또한 이용될 수 있음을 인지할 것이다. 이러한 경우들에서 Y1(n) 및 Y2(n)의 앞선 구성 식들이 상기 HRTF 필터링이 식에서 상기 변환 또는 상기 필터 뱅크에 의하여 상기 적절한 세트에 기초하여 수행되도록 수정되어야 한다.
따라서 만약 예를 들어 QMF 필터뱅크가 적용된다면, 그 경우 상기 주파수 해상도는 상기 QMF 서브밴드들에 의하여 정의된다. 만약 Ng개의 이득값의 세트가 QMF 서브밴드들의 수보다 적다면, 상기 이득값들은 각각의 서브밴드를 위한 개별 이득을 획득하기 위하여 보간된다. 예를 들면 사이드 정보에서 이용 가능한 주어진 시간 순간을 위한 28개의 주파수 대역들에 상응하는 28개의 이득값들은 인접 좁은 서브밴드들에서 갑작스러운 변화를 피하기 위하여 비선형 또는 선형 보간에 의하여 105개의 QMF 서브밴드들로 매핑될 수 있다. 그 이후에 상기 바이노럴 좌측 및 우측 신호들(Y1(n), Y2(n))의 주파수 도메인 표현을 위해 앞서 설명된 식들은 상기 H1 C(n) 및 H2 C(n)가 매트릭스 포맷에서 QMF 도메인의 HRTF 필터들이고 Xsum1(n)이 모노포닉화 된 신호의 블록인 점을 제외하고, 또한 적용한다. 스테레오 합신호의 경우에서, 상기 HRTF 필터들은 컨벌루션 매트릭스에 있고, Xsum1(n) 및 Xsum2(n)는 각각 두개의 합신호들의 블록들이다. QMF 도메인에서 실제 필터링 구현의 예는 문서 IEEE 0-7803-5041-3/99, Lanciani C. A. et al.: "Subband domain filtering of MPEG audio signals"에서 설명된다.
간단함을 위하여, 앞선 예들의 대부분은 상기 입력 채널들(N)이 단일 결합된(예를 들면 모노) 채널을 형성하도록 상기 인코더에서 다운믹스되었다. 그러나 상기 실시예들은 대안적인 구현들에서 동일하게 적용 가능하고, 상기 복수의 입력 채널들(M)은 상기 특정 오디오 처리 적용에 의존하여 두개 또는 그 이상의 별개의 결합된 채널들(S)을 형성하기 위하여 다운믹스된다. 만약 상기 다운믹싱이 복수의 결합된 채널들을 생성한다면, 상기 결합된 채널 데이터는 전통적인 오디오 전송 기술들을 이용하여 전송될 수 있다. 예를 들면 만약 두개의 결합된 채널들이 생성된다면, 전통적인 스테레오 전송 기술들이 채택될 수 있다. 이러한 경우에서, BCC 디코더는 두개의 결합된 채널들로부터 바이노럴 신호를 합성하기 위하여 상기 BCC 코드들을 추출하고 이용할 수 있고, 이는 앞선 마지막 실시예와 연결하여 묘사되었다.
일 실시예에 따르면, 상기 합성된 바이노럴 신호에서 가상적으로 생성된 "라우드스피커들"의 수(N)는 상기 특정 적용에 의존하여, 입력 채널들의 수(M)와 다를 수 있다(더 크거나 더 작을 수 있다). 예를 들면 상기 입력 오디오는 7.1 서라운드 사운드에 상응할 수 있고, 상기 바이노럴 출력 오디오는 5.1 서라운드 오디오에 상응하도록 합성될 수 있으며, 또는 반대일 수 있다.
상기 앞선 실시예들은 본 발명의 실시예들이 M>S인 경우, S개의 결합된 오디오 채널들 및 사이드 정보의 하나 이상의 상응하는 세트들로 M개의 입력 오디오 채널들을 변환하고, N>S인 경우, 상기 S개의 결합된 오디오 채널들 및 사이드 정보의 상응하는 세트로부터 N개의 출력 오디오 채널들을 생성하는 것을 허용하고, N은 M과 같거나 다를 수 있도록 생성될 수 있다.
하나의 결합된 채널 및 필요한 사이드 정보의 전송을 위하여 요구되는 비트율이 매우 낮기 때문에, 본 발명은 특히 시스템들에서 잘 적용 가능하고, 여기서 상기 적용 가능한 대역폭은 무선 통신 시스템들에서와 같이 부족한 자원이다. 따라서 상기 실시예들은 일반적으로 고품질 라우드스피커들이 부족한 모바일 단말들 또는 다른 휴대용 장치에서 특히 적용 가능하고, 여기서 다중-채널 서라운드 사운드의 특징들은 상기 실시예들에 따라 상기 바이노럴 오디오 신호를 청취하는 헤드폰들을 통하여 도입될 수 있다. 다양한 적용들의 추가적인 영역은 원격지 회의 서비스들을 포함하고, 여기서 원격지 회의의 참가자들은 전화 회의 참가자들이 상기 회의실에서 다른 위치들에 있는 자극을 상기 청취자들에게 제공함에 의하여 쉽게 구별될 수 있다.
도 4는 데이터 처리 장치(TE)의 간략화된 구조를 묘사하고, 여기서 본 발명에 따른 상기 바이노럴 복호화 시스템이 구현될 수 있다. 상기 데이터 처리 장치(TE)는 예를 들면 모바일 단말, MP3 재생기, PDA 장치 또는 개인용 컴퓨터(PC)일 수 있다. 데이터 처리 유닛(TE)은 I/O 수단(I/O), 중앙 처리 유닛(CPU) 및 메모리(MEM)를 포함한다. 상기 메모리(MEM)는 ROM(read-only memory) 부분 및 RAM(random access memory) 및 FLASH 메모리와 같은 재기록 가능 부분을 포함한다. 다른 외부 상대들, 예를 들면 CD-ROM, 다른 장치들 및 사용자와 통신하기 위하여 이용되는 정보는 상기 중앙 처리 유닛(CPU)으로 또는 그로부터 상기 I/O 수단(I/O)을 통하여 전송된다. 만약 상기 데이터 처리 장치가 이동국으로서 구현된다면, 그것은 일반적으로 안테나를 통하여 기지 송수신국(BTS)과 함께, 상기 무선 네트워크와 통신하는 송수신기(Tx/Rx)를 일반적으로 포함한다. 사용자 인터페이스(UI) 장비는 일반적으로 디스플레이, 키패드, 마이크로폰 및 헤드폰들을 위한 연결 수단을 포함한다. 상기 데이터 처리 장치는 다양한 하드웨어 모듈들을 위한 또는 집적 회로들(IC)로서, 표준 형태 슬롯과 같은 연결 수단(MMC)을 더 포함할 수 있고, 이는 상기 데이터 처리 장치에서 실행되기 위한 다양한 애플리케이션을 제공할 수 있다.
따라서 본 발명에 따른 상기 바이노럴 복호화 시스템은 중앙 처리 유닛(CPU)에서 또는 상기 데이터 처리 장치의 전용 디지털 신호 처리부(DSP)(파라메트릭 코드 처리부)에서 실행될 수 있고, 이로 인해 상기 데이터 처리 장치는 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트를 포함하는 파라메트릭하게 부호화 된 오디오 신호를 수신한다. 상기 파라메트릭하게 부호화 된 오디오 신호는 메모리 수단, 예를 들면 CD-ROM으로부터 또는 상기 안테나 및 상기 송수신기(Tx/Rx)를 통하여 무선 네트워크로부터 수신될 수 있다. 상기 데이터 처리 장치는 적절한 필터 뱅크 및 HRTF 필터들의 미리 결정된 세트를 더 포함하고, 이로 인해 상기 데이터 처리 장치는 주파수 도메인으로 상기 결합된 신호를 변환하고, 상기 헤드폰들을 통하여 다음으로 재생되는 바이노럴 오디오 신호를 합성하기 위한 사이드 정보의 상응하는 세트에 의하여 결정된 비율에서 상기 결합된 신호로 HRTF 필터들의 적절한 좌우쌍들을 적용한다.
유사하게, 본 발명에 따른 부호화 시스템은 중앙 처리 유닛(CPU)에서 또는 상기 데이터 처리 장치의 전용 디지털 신호 처리부(DSP)에서 또한 실행될 수 있고, 이로 인해 상기 데이터 처리 장치는 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 상기 다중-채널 오디오의 상기 채널 신호들을 위한 이득 추정들을 포함하는 사이드 정보의 하나 이상의 상응하는 세트들을 포함하는 파라메트릭하게 부호화 된 오디오 채널들을 생성한다.
본 발명의 기능들은 이동국과 같은 단말 장치에서, 또한 중앙 처리 유닛(CPU)에서 또는 전용 디지털 신호 처리부(DSP)에서 실행될 대, 본 발명의 절차를 구현하도록 상기 단말 장치에 영향을 미치는 컴퓨터 프로그램으로서 구현될 수 있다. 상기 컴퓨터 프로그램(SW)의 기능들은 서로와 통신하는 몇몇 별개의 프로그램 콤포넌트들로 분산될 수 있다. 상기 컴퓨터 소프트웨어는 PC의 하드디스크 또는 CD-ROM 디스크로서, 그로부터 컴퓨터 소프트웨어가 모바일 단말의 메모리로 로드될 수 있는 것과 같은, 어떠한 메모리 수단으로 저장될 수 있다. 상기 컴퓨터 소프트웨어는 예를 들면 TCP/IP 프로토콜 스택을 이용하여 네트워크를 통하여 또한 로드될 수 있다.
또한 상기 발명 수단을 구현하기 위한 하드웨어 솔루션들 또는 하드웨어와 소프트웨어 솔루션들의 조합을 이용하는 것이 가능하다. 따라서 앞선 컴퓨터 프로그램 생성물은 하드웨어 모듈로서 상기 모듈을 전자 장치로 연결하기 위한 연결 수단을 포함하는 하드웨어 모듈에서, 하드웨어 모듈로서, 예를 들면 ASIC 또는 FPGA 회로들로서, 적어도 부분적으로 구현될 수 있고, 또는 상기 프로그램 코드 작업들을 수행하기 위한 다양한 수단들로서, 상기 수단들은 하드웨어 및/또는 소프트웨어로서 구현되는 다양한 수단들을 더 포함하는 하나 이상의 집적 회로들(IC), 하드웨어 모듈 또는 IC들로서 적어도 부분적으로 구현될 수 있다.
본 발명은 앞서 나타난 실시예들로 단지 제한하지 않고, 첨부된 청구항들의 범위 내에서 수정될 수 있음이 본 기술분야의 통상의 기술자들에게 명확할 것이다.

Claims (31)

  1. 바이노럴(binaural) 오디오 신호를 합성하기 위한 방법에 있어서, 상기 방법은:
    복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트를 포함하는 파라메트릭하게(parametrically) 부호화 된 오디오 신호를 입력하는 단계;
    복수의 서브밴드들로 적어도 하나의 결합된 신호를 분할하는 단계;
    사이드 정보의 상기 세트로부터 서브밴드들에 대한 파라미터 값들을 결정하는 단계;
    각 서브밴드에 대하여 복수의 기결정된 HRTF(head related transfer function) 필터 좌우쌍을 상기 복수의 오디오 채널들의 상기 적어도 하나의 결합된 신호에 적용하는 단계 [상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 각각 상기 다중 채널 사운드 이미지의 물리적 라우드스피커(loudspeaker) 방향에 상응하도록 구성되고, 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 상기 복수의 오디오 채널들의 특정 오디오 채널과 연관됨]; 및
    각 서브밴드에 대한 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각을 각 서브밴드에 대하여 해당하는 결정된 파라미터 값으로 가중치부여(weighting)하는 단계를 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  2. 제1항에 있어서,
    상기 파라미터 값들은 사이드 정보의 상기 세트에 의하여 제공된 전후 파라미터 값들로부터 특정 서브밴드에 상응하는 파라미터 값을 보간(interpolating)함에 의하여 결정되는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  3. 제2항에 있어서,
    사이드 정보의 상기 세트는 상기 원시 사운드 이미지를 기술하는 상기 다중-채널 오디오의 채널 신호들에 대한 이득 추정들의 세트를 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  4. 제3항에 있어서,
    사이드 정보의 상기 세트는 청취 위치에 관련하여 상기 원시 다중-채널 사운드 이미지의 라우드스피커들의 수 및 위치, 그리고 채택된 프레임 길이를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  5. 제2항에 있어서,
    상기 정보의 상기 세트는 채널간 시간차(Inter-channel Time Difference, ICTD), 채널간 레벨차(Inter-channel Level Difference, ICLD) 및 채널간 코히런스(ICC, Inter-channel Coherence)와 같은 바이노럴 큐 부호화 (BCC) 설계에서 이용되는 채널간 큐들을 포함하고, 상기 방법은,
    상기 BCC 설계의 상기 채널간 큐들 중 적어도 하나에 기초하여 상기 원시 다중-채널 오디오의 이득 추정의 세트를 산출하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  6. 제3항에 있어서,
    시간 및 주파수의 기능으로서 상기 원시 다중-채널 오디오의 이득 추정들의 세트를 결정하는 단계; 및
    각각의 이득값의 제곱들의 합이 1과 같도록 각각의 라우드스피커 채널에 대한 이득들을 조절하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  7. 제1항에 있어서, 다음 서브밴드 유형들,
    -복수의 QMF 서브밴드들;
    -복수의 ERB(Equivalent Rectangular Bandwidth) 서브밴드들; 또는
    -복수의 사이코-어쿠스틱하게 자극된 주파수 대역들, 중 하나로 적어도 하나의 결합된 신호를 분할하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  8. 제7항에 있어서,
    상기 ERB(Equivalent Rectangular Bandwidth) 스케일을 따르는 32개의 주파수 대역들로 주파수 도메인에서 적어도 하나의 결합된 신호를 분할하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  9. 제8항에 있어서,
    별도로 좌측 신호 및 우측 신호를 위하여 상기 주파수 대역의 각각에 대한 상기 HRTF 필터들의 출력을 합산하는 단계; 및
    바이노럴 오디오 신호의 좌측 콤포넌트 및 우측-콤포넌트를 생성하기 위하여 시간 도메인으로 상기 합산된 좌측 신호 및 상기 합산된 우측 신호를 변환하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  10. 제1항에 있어서,
    상기 파라미터 값들은 적어도 하나의 서브밴드에 대한 이득값들인, 바이노럴 오디오 신호를 합성하기 위한 방법.
  11. 제10항에 있어서,
    상기 이득값들은 사이드 정보의 상기 세트에 의하여 제공된 특정 시간 순간 전후의 이득값들 중에서 상기 특정 시간 순간과 가장 가까운 시간 순간의 이득값을 선택함에 의하여 결정되는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  12. 제10항 또는 제11항에 있어서, 복수의 서브밴드들로 상기 적어도 하나의 결합된 신호를 분할하는 단계는,
    미리 결정된 수의 샘플들을 포함하는 시간 프레임들로 상기 적어도 하나의 결합된 신호를 분할하는 단계로서, 프레임들은 다음으로 윈도우화(windowed)되는, 분할하는 단계; 및
    복수의 주파수 서브밴드들을 생성하기 위하여 주파수 도메인으로 적어도 하나의 결합된 신호를 변환하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  13. 제12항에 있어서,
    서브밴드들에 대한 이득값들을 결정하는 단계는,
    원시 사운드 이미지를 기술하는 다중-채널 오디오의 각각의 채널 신호에 대한 이득값들을 결정하는 단계; 및
    각각의 채널 신호의 상기 이득값들로부터 서브밴드들에 대한 신호 이득값을 보간하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  14. 제13항에 있어서,
    적어도 하나의 이득값을 갖는 상기 적어도 하나의 결합된 신호와 미리 결정된 HRTF 필터를 곱함에 의하여 서브밴드들에 대한 상기 바이노럴 신호의 주파수 도메인 표현을 결정하는 단계를 더 포함하는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  15. 제14항에 있어서, 각각의 주파수 빈(bin)에 대한 상기 바이노럴 신호들의 상기 주파수 도메인 표현들은,
    Figure pat00005

    Figure pat00006

    에 따라 모노포닉화 된(monophonized) 합신호 Xsum1(n)로부터 결정되고,
    Y1(n) 및 Y2(n)는 상기 바이노럴 왼쪽 그리고 오른쪽 신호들의 주파수 도메인 표현이고, c는 인코더 채널들의 수이고, g1 c(n)는 상기 모노 합신호들이 특정 시간 순간 tw에서 채널 c를 구성하기 위하여 상기 보간된 이득값이고, H1 c(n) 및 H2 c(n)는 인코더 출력 채널 c를 위하여 왼쪽 그리고 오른쪽 귀를 위한 상기 HRTF 필터들의 서브밴드 도메인 표현들인, 바이노럴 오디오 신호를 합성하기 위한 방법.
  16. 제14항에 있어서, 각각의 주파수 빈을 위하여 상기 바이노럴 신호들의 상기 주파수 도메인 표현들이,
    Figure pat00007

    Figure pat00008

    에 따라 스테레오 합신호들 Xsum1(n) 및 Xsum2(n)로부터 결정되고,
    Y1(n) 및 Y2(n)는 상기 바이노럴 왼쪽 그리고 오른쪽 신호들의 주파수 도메인 표현이고, c는 인코더 채널들의 수이고, g1 C(n) 및 g2 C(n)은 상기 스테레오 합신호들이 특정 시간 순간 tw에서 채널 c를 구성하기 위해 사용되는 이득값들이고, H1 c(n) 및 H2 c(n)는 인코더 출력 채널 c를 위하여 왼쪽 및 오른쪽 귀를 위해 상기 HRTF 필터들의 서브밴드 도메인 표현들인, 바이노럴 오디오 신호를 합성하기 위한 방법.
  17. 제10항에 있어서,
    상기 이득값들은 사이드 정보의 상기 세트에 의하여 제공된 상기 인접 주파수 서브밴드들의 이득값들로부터 특정 주파수 서브밴드에 상응하는 각각의 이득값을 보간함에 의하여 결정되는, 바이노럴 오디오 신호를 합성하기 위한 방법.
  18. 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트들을 포함하는 파라메트릭하게(parametrically) 부호화 된 오디오 신호를 처리하기 위한 파라메트릭 코드 처리부;
    복수의 서브밴드들로 상기 적어도 하나의 결합된 신호를 분할하기 위한 수단;
    사이드 정보의 상기 세트로부터 서브밴드들에 대한 파라미터 값들을 결정하기 위한 수단; 및
    각 서브밴드에 대하여 복수의 기결정된 HRTF(head related transfer function) 필터 좌우쌍을 상기 복수의 오디오 채널들의 상기 적어도 하나의 결합된 신호에 적용하며 [상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 각각 상기 다중 채널 사운드 이미지의 물리적 라우드스피커(loudspeaker) 방향에 상응하도록 구성되고, 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 상기 복수의 오디오 채널들의 특정 오디오 채널과 연관됨]; 그리고 각 서브밴드에 대한 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각을 각 서브밴드에 대하여 해당하는 결정된 파라미터 값으로 가중치부여(weighting)하기 위한 합성부를 포함하는, 파라메트릭 오디오 디코더.
  19. 제18항에 있어서,
    상기 파라미터 값들은 사이드 정보의 상기 세트에 의하여 제공된 전후 이득값들로부터 특정 서브밴드에 상응하는 각각의 파라미터 값을 보간함에 의하여 결정되는, 파라메트릭 오디오 디코더.
  20. 제18항에 있어서,
    사이드 정보의 상기 세트는 원시 사운드 이미지를 기술하는 다중-채널 오디오의 채널 신호들에 대한 이득 추정들의 세트를 포함하는, 파라메트릭 오디오 디코더.
  21. 제18항에 있어서,
    사이드 정보의 상기 세트는 채널간 시간차(Inter-channel Time Difference, ICTD), 채널간 레벨차(Inter-channel Level Difference, ICLD) 및 채널간 코히런스(ICC, Inter-channel Coherence)와 같은 바이노럴 큐 부호화 (BCC) 설계에서 이용되는 채널간 큐들을 포함하고, 상기 디코더는,
    상기 BCC 설계의 상기 채널간 큐들 중 적어도 하나에 기초하여 상기 원시 다중-채널 오디오의 이득 추정의 세트를 산출하도록 구성된, 파라메트릭 오디오 디코더.
  22. 제18항에 있어서, 다음 서브밴드 유형들,
    -복수의 QMF 서브밴드들;
    -복수의 ERB(Equivalent Rectangular Bandwidth) 서브밴드들; 또는
    -복수의 사이코-어쿠스틱하게 자극된 주파수 대역들, 중 하나로 적어도 하나의 결합된 신호를 분할하기 위한 수단을 더 포함하는, 파라메트릭 오디오 디코더.
  23. 제22항에 있어서,
    주파수 도메인에서 상기 적어도 하나의 결합된 신호를 분할하기 위한 상기 수단은 ERB(Equivalent Rectangular Bandwidth) 스케일을 따르는 32개의 주파수 대역들로 상기 적어도 하나의 결합된 신호를 분할하도록 구성된 필터 뱅크(bank)를 포함하는, 파라메트릭 오디오 디코더.
  24. 제23항에 있어서,
    별도로 좌측 신호 및 우측 신호를 위하여 상기 주파수 대역의 각각에 대한 상기 HRTF 필터들의 출력을 합산하기 위한 합산 유닛; 및
    바이노럴 오디오 신호의 좌측 콤포넌트 및 우측 콤포넌트를 생성하기 위하여 시간 도메인으로 상기 합산된 좌측 신호 및 상기 합산된 우측 신호를 변환하기 위한 변환 유닛을 더 포함하는, 파라메트릭 오디오 디코더.
  25. 제18항에 있어서,
    상기 파라미터 값들은 적어도 하나의 서브밴드에 대한 이득값들인, 파라메트릭 오디오 디코더.
  26. 제25항에 있어서,
    상기 이득값들은 사이드 정보의 상기 세트에 의하여 제공된 특정 시간 순간 전후의 이득값들 중에서 상기 특정 시간 순간과 가장 가까운 시간 순간의 이득값을 선택함에 의하여 결정되는, 파라메트릭 오디오 디코더.
  27. 제25항 또는 제26항에 있어서, 적어도 하나의 서브밴드를 위해 이득값들을 결정하기 위한 상기 수단은,
    원시 사운드 이미지를 기술하는 상기 다중-채널 오디오의 각각의 채널 신호를 위하여 이득값들을 결정하고;
    각각의 채널 신호의 상기 이득값들로부터 적어도 하나의 서브밴드를 위한 단일 이득값을 보간하도록 구성된, 파라메트릭 오디오 디코더.
  28. 제27항에 있어서, 상기 디코더는,
    적어도 하나의 이득값을 갖는 적어도 하나의 결합된 신호와 미리 결정된 HRTF 필터를 곱함(multiplying)에 의하여 적어도 하나의 서브밴드에 대한 상기 바이노럴 신호의 주파수 도메인 표현을 결정하도록 구성된, 파라메트릭 오디오 디코더.
  29. 데이터 처리 장치에서 실행 가능한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 매체에 있어서,
    상기 컴퓨터 프로그램은 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트들을 포함하는 파라메트릭하게 부호화 된 오디오 신호를 처리하기 위한 것으로서, 상기 컴퓨터 프로그램은,
    복수의 서브 밴드들로 상기 적어도 하나의 결합된 신호를 분할하기 위한 컴퓨터 프로그램 코드 섹션;
    사이드 정보의 상기 세트로부터 적어도 하나의 서브밴드를 위한 파라미터 값들을 결정하기 위한 컴퓨터 프로그램 코드 섹션;
    각 서브밴드에 대하여 복수의 기결정된 HRTF(head related transfer function) 필터 좌우쌍을 상기 복수의 오디오 채널들의 상기 적어도 하나의 결합된 신호에 적용하기 위한 컴퓨터 프로그램 코드 섹션 [상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 각각 상기 다중 채널 사운드 이미지의 물리적 라우드스피커(loudspeaker) 방향에 상응하도록 구성되고, 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 상기 복수의 오디오 채널들의 특정 오디오 채널과 연관됨]; 및
    각 서브밴드에 대한 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각을 각 서브밴드에 대하여 해당하는 결정된 파라미터 값으로 가중치부여(weighting)하기 위한 컴퓨터 프로그램 코드 섹션을 포함하는, 컴퓨터 판독가능 매체.
  30. 바이노럴 오디오 신호를 합성하기 위한 장치에 있어서, 상기 장치는, 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 사이드 정보의 하나 이상의 상응하는 세트들을 포함하는 파라메트릭하게 부호화 된 오디오 신호를 입력하기 위한 수단;
    복수의 서브밴드들로 상기 적어도 하나의 결합된 신호를 분할하기 위한 수단;
    사이드 정보의 상기 세트로부터 적어도 하나의 서브밴드를 위한 파라미터 값들을 결정하기 위한 수단;
    각 서브밴드에 대하여 복수의 기결정된 HRTF(head related transfer function) 필터 좌우쌍을 상기 복수의 오디오 채널들의 상기 적어도 하나의 결합된 신호에 적용하기 위한 수단 [상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 각각 상기 다중 채널 사운드 이미지의 물리적 라우드스피커(loudspeaker) 방향에 상응하도록 구성되고, 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각은 상기 복수의 오디오 채널들의 특정 오디오 채널과 연관됨];
    각 서브밴드에 대한 상기 복수의 기결정된 HRTF 필터 좌우쌍 각각을 각 서브밴드에 대하여 해당하는 결정된 파라미터 값으로 가중치부여(weighting)하기 위한 수단; 및
    오디오 재생 수단에서 상기 바이노럴 오디오 신호를 공급하기 위한 수단을 포함하는, 바이노럴 오디오 신호를 합성하기 위한 장치.
  31. 제30항에 있어서, 상기 장치는 모바일 단말, PDA 장치 또는 개인용 컴퓨터인, 바이노럴 오디오 신호를 합성하기 위한 장치.
KR1020107026739A 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화 KR20110002491A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
FIPCT/FI2006/050014 2006-01-09
PCT/FI2006/050014 WO2007080211A1 (en) 2006-01-09 2006-01-09 Decoding of binaural audio signals
US11/334,041 2006-01-17
US11/334,041 US20070160218A1 (en) 2006-01-09 2006-01-17 Decoding of binaural audio signals
US11/354,211 US20070160219A1 (en) 2006-01-09 2006-02-13 Decoding of binaural audio signals
US11/354,211 2006-02-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020087016569A Division KR20080074223A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화

Publications (1)

Publication Number Publication Date
KR20110002491A true KR20110002491A (ko) 2011-01-07

Family

ID=38232768

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020087016569A KR20080074223A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화
KR1020087016638A KR20080078882A (ko) 2006-01-09 2007-01-04 입체 오디오 신호 디코딩
KR1020107026739A KR20110002491A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020087016569A KR20080074223A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화
KR1020087016638A KR20080078882A (ko) 2006-01-09 2007-01-04 입체 오디오 신호 디코딩

Country Status (11)

Country Link
US (2) US20070160218A1 (ko)
EP (2) EP1972180A4 (ko)
JP (2) JP2009522894A (ko)
KR (3) KR20080074223A (ko)
CN (2) CN101366321A (ko)
AU (2) AU2007204332A1 (ko)
BR (2) BRPI0706306A2 (ko)
CA (2) CA2635985A1 (ko)
RU (2) RU2409911C2 (ko)
TW (2) TW200746871A (ko)
WO (1) WO2007080211A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152665A1 (ko) * 2014-04-02 2015-10-08 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US8577686B2 (en) * 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
WO2007083959A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for processing a media signal
CN104681030B (zh) * 2006-02-07 2018-02-27 Lg电子株式会社 用于编码/解码信号的装置和方法
CN101390443B (zh) 2006-02-21 2010-12-01 皇家飞利浦电子股份有限公司 音频编码和解码
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
US8392176B2 (en) 2006-04-10 2013-03-05 Qualcomm Incorporated Processing of excitation in audio coding and decoding
US20090204397A1 (en) * 2006-05-30 2009-08-13 Albertus Cornelis Den Drinker Linear predictive coding of an audio signal
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
CN101485094B (zh) * 2006-07-14 2012-05-30 安凯（广州）软件技术有限公司 最大熵意义下后向兼容多通道音频编码与解码方法和系统
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
FR2906099A1 (fr) * 2006-09-20 2008-03-21 France Telecom Procede de transfert d'un flux audio entre plusieurs terminaux
EP2118888A4 (en) * 2007-01-05 2010-04-21 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
WO2008106680A2 (en) * 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
US8428957B2 (en) 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
EP2232486B1 (en) * 2008-01-01 2013-07-17 LG Electronics Inc. A method and an apparatus for processing an audio signal
ES2391801T3 (es) * 2008-01-01 2012-11-30 Lg Electronics Inc. Procedimiento y aparato para procesar una señal de audio
EP2297728B1 (en) * 2008-07-01 2011-12-21 Nokia Corp. Apparatus and method for adjusting spatial cue information of a multichannel audio signal
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
US20110112843A1 (en) * 2008-07-11 2011-05-12 Nec Corporation Signal analyzing device, signal control device, and method and program therefor
PL3002750T3 (pl) 2008-07-11 2018-06-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Koder i dekoder audio do kodowania i dekodowania próbek audio
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
US8798776B2 (en) * 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR101499785B1 (ko) 2008-10-23 2015-03-09 삼성전자주식회사 모바일 디바이스를 위한 오디오 처리 장치 및 그 방법
WO2010058931A2 (en) * 2008-11-14 2010-05-27 Lg Electronics Inc. A method and an apparatus for processing a signal
US20100137030A1 (en) * 2008-12-02 2010-06-03 Motorola, Inc. Filtering a list of audible items
CN102265647B (zh) * 2008-12-22 2015-05-20 皇家飞利浦电子股份有限公司 通过发送效果处理生成输出信号
KR101496760B1 (ko) * 2008-12-29 2015-02-27 삼성전자주식회사 서라운드 사운드 가상화 방법 및 장치
CA2949616C (en) 2009-03-17 2019-11-26 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
EP2446642B1 (en) * 2009-06-23 2017-04-12 Nokia Technologies Oy Method and apparatus for processing audio signals
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
US8434006B2 (en) * 2009-07-31 2013-04-30 Echostar Technologies L.L.C. Systems and methods for adjusting volume of combined audio channels
RU2605677C2 (ru) 2009-10-20 2016-12-27 Франхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Аудио кодер, аудио декодер, способ кодирования аудио информации, способ декодирования аудио информации и компьютерная программа, использующая итеративное уменьшение размера интервала
EP4276823B1 (en) 2009-10-21 2024-07-17 Dolby International AB Oversampling in a combined transposer filter bank
PL2524372T3 (pl) * 2010-01-12 2015-08-31 Fraunhofer Ges Forschung Koder audio. dekoder audio, sposób kodowania i dekodowania informacji audio i program komputerowy uzyskujący wartość podobszaru kontekstu w oparciu o normę uprzednio zdekodowanych wartości widmowych
WO2012039920A1 (en) * 2010-09-22 2012-03-29 Dolby Laboratories Licensing Corporation Efficient implementation of phase shift filtering for decorrelation and other applications in an audio coding system
BR112013017070B1 (pt) * 2011-01-05 2021-03-09 Koninklijke Philips N.V Sistema de áudio e método de operação para um sistema de áudio
JP5712288B2 (ja) 2011-02-14 2015-05-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 重複変換を使用した情報信号表記
MX2013009345A (es) 2011-02-14 2013-10-01 Fraunhofer Ges Forschung Codificacion y decodificacion de posiciones de los pulsos de las pistas de una señal de audio.
CA2827266C (en) 2011-02-14 2017-02-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result
PL2661745T3 (pl) 2011-02-14 2015-09-30 Fraunhofer Ges Forschung Urządzenie i sposób do ukrywania błędów w zunifikowanym kodowaniu mowy i audio
MX2013009346A (es) 2011-02-14 2013-10-01 Fraunhofer Ges Forschung Prediccion lineal basada en esquema de codificacion utilizando conformacion de ruido de dominio espectral.
ES2529025T3 (es) * 2011-02-14 2015-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para procesar una señal de audio decodificada en un dominio espectral
US20140056450A1 (en) * 2012-08-22 2014-02-27 Able Planet Inc. Apparatus and method for psychoacoustic balancing of sound to accommodate for asymmetrical hearing loss
TR201808415T4 (tr) 2013-01-15 2018-07-23 Koninklijke Philips Nv Binoral ses işleme.
BR112015016978B1 (pt) * 2013-01-17 2021-12-21 Koninklijke Philips N.V. Aparelho para processamento de um sinal de áudio,aparelho para gerar um fluxo de bits, método de operação de aparelho para processamento de um sinal de áudio, e método de operação de aparelho para gerar um fluxo de bits
BR112015019176B1 (pt) 2013-04-05 2021-02-09 Dolby Laboratories Licensing Corporation método e aparelho de expansão de um sinal de áudio, método e aparelho de compressão de um sinal de áudio, e mídia legível por computador
CN108806704B (zh) * 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US10075795B2 (en) 2013-04-19 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
RU2660633C2 (ru) * 2013-06-10 2018-07-06 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для кодирования, обработки и декодирования огибающей аудиосигнала путем разделения огибающей аудиосигнала с использованием квантования и кодирования распределения
RU2662921C2 (ru) 2013-06-10 2018-07-31 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для кодирования, обработки и декодирования огибающей аудиосигнала путем моделирования представления совокупной суммы с использованием квантования и кодирования распределения
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
TWI671734B (zh) 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
CN105556597B (zh) * 2013-09-12 2019-10-29 杜比国际公司 多声道音频内容的编码和解码
US9143878B2 (en) * 2013-10-09 2015-09-22 Voyetra Turtle Beach, Inc. Method and system for headset with automatic source detection and volume control
CN109068263B (zh) 2013-10-31 2021-08-24 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
CN104681034A (zh) 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
BR112016014476B1 (pt) * 2013-12-27 2021-11-23 Sony Corporation Aparelho e método de decodificação, e, meio de armazenamento legível por computador
CN104768121A (zh) 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN107750042B (zh) 2014-01-03 2019-12-13 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
KR102363475B1 (ko) * 2014-04-02 2022-02-16 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9860666B2 (en) 2015-06-18 2018-01-02 Nokia Technologies Oy Binaural audio reproduction
KR102517867B1 (ko) 2015-08-25 2023-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 디코더 및 디코딩 방법
KR20230105002A (ko) 2015-08-25 2023-07-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩
ES2818562T3 (es) * 2015-08-25 2021-04-13 Dolby Laboratories Licensing Corp Descodificador de audio y procedimiento de descodificación
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals
CN105611481B (zh) * 2015-12-30 2018-04-17 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和系统
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
GB2572650A (en) * 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
ES2966686T3 (es) 2018-04-27 2024-05-29 Sherpa Europe S L Asistente digital
EP3588495A1 (en) * 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding
CN110956973A (zh) * 2018-09-27 2020-04-03 深圳市冠旭电子股份有限公司 一种回声消除方法、装置及智能终端
GB2580360A (en) * 2019-01-04 2020-07-22 Nokia Technologies Oy An audio capturing arrangement
BR112021025265A2 (pt) 2019-06-14 2022-03-15 Fraunhofer Ges Forschung Sintetizador de áudio, codificador de áudio, sistema, método e unidade de armazenamento não transitória
US11212631B2 (en) 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
CN111031467A (zh) * 2019-12-27 2020-04-17 中航华东光电（上海）有限公司 一种hrir前后方位增强方法
AT523644B1 (de) * 2020-12-01 2021-10-15 Atmoky Gmbh Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
JP3286869B2 (ja) * 1993-02-15 2002-05-27 三菱電機株式会社 内部電源電位発生回路
US5521981A (en) * 1994-01-06 1996-05-28 Gehring; Louis S. Sound positioner
JP3498375B2 (ja) * 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
KR20010030608A (ko) * 1997-09-16 2001-04-16 레이크 테크놀로지 리미티드 청취자 주변의 음원의 공간화를 향상시키기 위한 스테레오헤드폰 디바이스에서의 필터링 효과의 이용
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
US6442277B1 (en) * 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
BR0304540A (pt) * 2002-04-22 2004-07-20 Koninkl Philips Electronics Nv Métodos para codificar um sinal de áudio, e para decodificar um sinal de áudio codificado, codificador para codificar um sinal de áudio, aparelho para fornecer um sinal de áudio, sinal de áudio codificado, meio de armazenagem, e, decodificador para decodificar um sinal de áudio codificado
US7039204B2 (en) * 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
AU2003281128A1 (en) * 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
KR100728428B1 (ko) * 2002-09-19 2007-06-13 마츠시타 덴끼 산교 가부시키가이샤 오디오 디코딩 장치 및 오디오 디코딩 방법
FI118247B (fi) * 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
SE527670C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9584943B2 (en) 2013-09-17 2017-02-28 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US11622218B2 (en) 2013-09-17 2023-04-04 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US11096000B2 (en) 2013-09-17 2021-08-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US9961469B2 (en) 2013-09-17 2018-05-01 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US10469969B2 (en) 2013-09-17 2019-11-05 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10455346B2 (en) 2013-09-17 2019-10-22 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
US12014744B2 (en) 2013-10-22 2024-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US11195537B2 (en) 2013-10-22 2021-12-07 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US10692508B2 (en) 2013-10-22 2020-06-23 Electronics And Telecommunications Research Institute Method for generating filter for audio signal and parameterizing device therefor
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US10433099B2 (en) 2013-12-23 2019-10-01 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11109180B2 (en) 2013-12-23 2021-08-31 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10158965B2 (en) 2013-12-23 2018-12-18 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11689879B2 (en) 2013-12-23 2023-06-27 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10701511B2 (en) 2013-12-23 2020-06-30 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10321254B2 (en) 2014-03-19 2019-06-11 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10070241B2 (en) 2014-03-19 2018-09-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10771910B2 (en) 2014-03-19 2020-09-08 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10999689B2 (en) 2014-03-19 2021-05-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US11343630B2 (en) 2014-03-19 2022-05-24 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10469978B2 (en) 2014-04-02 2019-11-05 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9860668B2 (en) 2014-04-02 2018-01-02 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9986365B2 (en) 2014-04-02 2018-05-29 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US10129685B2 (en) 2014-04-02 2018-11-13 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
WO2015152665A1 (ko) * 2014-04-02 2015-10-08 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
US20070160218A1 (en) 2007-07-12
CA2635024A1 (en) 2007-07-19
EP1971979A4 (en) 2011-12-28
TW200727729A (en) 2007-07-16
RU2008126699A (ru) 2010-02-20
RU2008127062A (ru) 2010-02-20
BRPI0706306A2 (pt) 2011-03-22
WO2007080211A1 (en) 2007-07-19
RU2409912C2 (ru) 2011-01-20
AU2007204333A1 (en) 2007-07-19
KR20080074223A (ko) 2008-08-12
US20070160219A1 (en) 2007-07-12
CN101366081A (zh) 2009-02-11
AU2007204332A1 (en) 2007-07-19
EP1971979A1 (en) 2008-09-24
RU2409912C9 (ru) 2011-06-10
KR20080078882A (ko) 2008-08-28
TW200746871A (en) 2007-12-16
EP1972180A4 (en) 2011-06-29
CN101366321A (zh) 2009-02-11
JP2009522895A (ja) 2009-06-11
CA2635985A1 (en) 2007-07-19
RU2409911C2 (ru) 2011-01-20
EP1972180A1 (en) 2008-09-24
JP2009522894A (ja) 2009-06-11
BRPI0722425A2 (pt) 2014-10-29

Similar Documents

Publication Publication Date Title
EP1971978B1 (en) Controlling the decoding of binaural audio signals
KR20110002491A (ko) 바이노럴 오디오 신호들의 복호화
TWI555011B (zh) 處理音源訊號之方法、訊號處理單元、二進制轉譯器、音源編碼器以及音源解碼器
KR101358700B1 (ko) 오디오 인코딩 및 디코딩
EP3122073B1 (en) Audio signal processing method and apparatus
US8175280B2 (en) Generation of spatial downmixes from parametric representations of multi channel signals
TWI415111B (zh) 空間解碼器單元、空間解碼器裝置、音訊系統、消費型電子裝置、產生一對雙耳輸出聲道之方法及電腦可讀媒體
WO2007080225A1 (en) Decoding of binaural audio signals
US20080008327A1 (en) Dynamic Decoding of Binaural Audio Signals
WO2019193248A1 (en) Spatial audio parameters and associated spatial audio playback
KR20070094752A (ko) 송신되는 채널들에 기초한 큐들을 갖는 공간 오디오의파라메트릭 코딩
RU2427978C2 (ru) Кодирование и декодирование аудио
KR20080078907A (ko) 양 귀 오디오 신호들의 복호화 제어
WO2007080224A1 (en) Decoding of binaural audio signals
MX2008008829A (en) Decoding of binaural audio signals
MX2008008424A (es) Decodificacion de señales de audio binaurales

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application