KR20080078882A - 입체 오디오 신호 디코딩 - Google Patents

입체 오디오 신호 디코딩 Download PDF

Info

Publication number
KR20080078882A
KR20080078882A KR1020087016638A KR20087016638A KR20080078882A KR 20080078882 A KR20080078882 A KR 20080078882A KR 1020087016638 A KR1020087016638 A KR 1020087016638A KR 20087016638 A KR20087016638 A KR 20087016638A KR 20080078882 A KR20080078882 A KR 20080078882A
Authority
KR
South Korea
Prior art keywords
audio
signal
channel
combined signal
side information
Prior art date
Application number
KR1020087016638A
Other languages
English (en)
Inventor
파시 오잘라
줄리아 투르쿠
마우리 배애내넨
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080078882A publication Critical patent/KR20080078882A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

입체 (binaural) 오디오 신호를 합성하는 방법으로서, 상기 방법은, 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중 채널 사운드 이미지를 기술하는 측면 (side) 정보의 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 (parametrically) 인코드된 오디오 신호를 입력하는 단계; 및 입체 오디오 신호를 합성하기 위해, 헤드-관련 (head-related) 전송 함수 필터들의 선결된 세트를 상기 적어도 하나의 결합된 신호에 상기 대응하는 측면 정보의 대응 세트에 의해 결정되는 비율로 적용하는 단계;를 포함한다. 대응하는 파라미터적인 오디오 디코더, 파라미터적인 오디오 인코더, 컴퓨터 프로그램 생성물 및 입체 오디오 ls호를 합성하기 위한 장치가 또한 설명된다.

Description

입체 오디오 신호 디코딩 {Decoding of binaural audio signals}
관련 출원
본원은 200.1.9.에 출원된 국제 출원 PCT/FI2006/050014 및 2006.1.17.에 출원된 미국 출원 11/334,041에 대한 우선권을 주장한다.
본 발명은 공간적인 오디오 코딩, 더 상세하게는 입체 오디오 신호들을 디코딩하는 것에 관련된다.
공간적인 오디오 코딩에서, 두(two)/다중-채널 오디오 신호는 서로 상이한 오디오 채널들 상에서 재생되도록 처리되며, 그럼으로써 듣는 사람에게 오디오 소스 주변에 공간적인 효과의 인상을 제공한다. 그 공간적인 효과는 그 오디오를 다중-채널 또는 입체적인 재생을 위한 적합한 형식으로 직접 녹음하여 생성될 수 있으며, 또는, 공간적인 효과는 두/다중-채널 오디오 신호로 인위적으로 생성될 수 있으며, 이는 공간화 (spatialization)로서 알려진다.
헤드폰 재생 인공 공간화는, 듣는 사람의 왼쪽 및 오른쪽 귀에 대해 입체 음향 신호들을 생성하는, HRTF (Head Related Transfer Function) 필터링에 의해 실행될 수 있다는 것이 일반적으로 알려져 있다. 사운드 소스 신호들이 HRTF로부터 유도된, 그 소스 신호들의 원래의 방향에 대응하는 필터들에 의해 필터된다. HRTF는 자유장 내의 사운드 소스로부터 사람의 귀 또는 인공 헤드 (head)까지 측정된 전송 (transfer) 함수이며, 그 인공 헤드는 그 전송 함수에 의해 마이크로폰으로 분할되어 헤드를 대체하며 헤드 중앙에 위치한다. 인공적인 실내 효과 (예를 들면, 초기 반사 및/또는 후 반향 (reverberation))가 소스의 구체화 (externalization)와 자연스러움을 개선하기 위해 공간화된 신호들에 부가될 수 있다.
오디오 청취 및 상호 작용 기기들이 증가함에 따라, 호환성이 더욱 중요해지고 있다. 오디오 형식들 중에서 호환성은 업믹스 (upmix) 및 다운믹스(downmix) 기술들을 통해 쟁취된다. 다중-채널 오디오 신호를 돌비 디지털 (Dolby Digital®) 및 돌비 서라운드 (Dolby Surround®)와 같은 스테레오 형식으로 변환하고 추가적으로는 스테레오 신호를 입체 음향 신호로 변환하는 알고리즘이 있다는 것이 일반적으로 알려져 있다. 그러나, 이와 같은 처리에서, 원래의 다중채널 오디오 신호의 공간적인 이미지는 충분하게 재생될 수 없다. 다중-채널 오디오 신호를 헤드폰 청취를 위해 변환하는 더 나은 방법은 HRTF 필터링을 채택하여 원래의 스피커들을 가상의 스피커들로 대체하고 그것들 (예를 들면, 돌비 헤드폰 (Dolby Headphone®))을 통해 스피커 채널 신호들을 재생하는 것이다. 그러나, 이런 처리는 입체 신호를 생성하기 위해 다중-채널 믹스 (mix)가 우선 필요하다는 불리한 점을 가진다. 즉, 다중-채널 (예를 들면, 5+1 채널) 신호들은 먼저 디코드되고 합성되며, 그러면 입체 음향 신호를 생성하기 위해 각 신호에 HRTF가 적용된다. 이는 압축된 다중-채널 형식을 입체 음향 형식으로 직접 디코딩하는 것에 비교하면 계산상에 있어서 힘든 접근 방법이다.
입체 음향 큐 코딩 (Binaural Cue Coding, BCC)은 고도로 발전된 파라미터적인 (parametric) 오디오 디코딩 방법이다. BCC는 공간 다중-채널 신호를 단일 (또는 여러 개의) 다운믹스된 오디오 채널과 주파수와 원 신호로부터의 시간의 함수로서 추정된 지각적으로 관련된 채널간 차이들의 세트로서 표현한다. 그 방법은 임의적인 스피커 배치를 위해 믹스된 공간적인 오디오 신호가, 동일한 또는 다른 개수의 스피커들을 포함하는, 어떤 다른 스피커 배열로 변환되도록 허용한다.
따라서, BCC는 다중-채널 스피커 시스템들을 위해 설계된다. 그러나, BCC 처리된 모노 신호 및 그 신호의 측면 (side) 정보로부터 입체 음향 신호를 생성하는 것은 다중-채널 표현이 우선 그 모노 신호 및 측면 정보를 기반으로 생성될 것을 필요로 하며, 그런 경우에만 그 다중-채널 표현으로부터 공간적인 헤드폰 재생을 위한 입체 음향 신호를 생성하는 것이 가능할 것이다. 입체 음향 신호를 생성하는 것을 고려하면 이런 접근 방법은 최적화되지 않은 것이 명백하다.
이제 개선된 방법 및 그 방법을 구현하는 기술적인 장비가 발명되었으며, 그에 의해, 파라미터적으로 인코드된 오디오 신호로부터 직접 입체 음향 신호를 생성하는 것이 가능하다. 본 발명의 다양한 모습들은 디코딩 방법, 디코더, 장치, 인코딩 방법, 인코더, 컴퓨터 프로그램들을 포함하며, 이것들은 독립 청구항들에서 선언된 것에 의해 특징이 주어진다. 본 발명의 다양한 실시예들이 종속 청구항들에서 개시된다.
첫 번째 모습에 따르면, 본 발명에 따른 방법은, 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중 채널 사운드 이미지를 기술하는 (describing) 측면 (side) 정보의 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 (parametrically) 인코드된 오디오 신호들이 먼저 입력되도록 하는 입체 오디오 신호 합성의 아이디어를 기반으로 한다. 그러면, 입체 오디오 신호를 합성하기 위해, 헤드-관련 (head-related) 전송 함수 필터들의 선결된 (predetermined) 세트가 상기 적어도 하나의 결합된 신호에 상기 측면 정보의 대응 세트에 의해 결정되는 비율로 적용된다.
일 실시예에 따르면, 상기 헤드-관련 전송 함수 필터들의 선결된 세트로부터, 원래의 다중채널 오디오의 각 스피커 방향에 대응하는 헤드-관련 전송 함수 필터들의 좌-우 쌍이 적용되기 위해 선택된다.
일 실시예에 따르면, 상기 측면 정보의 세트는 원래의 사운드 이미지를 기술하는 다중-채널 오디오의 채널 신호들에 대한 이득 추정들의 세트를 포함한다.
일 실시예에 따르면, 원 다중채널 오디오의 이득 추정들은 시간과 주파수의함수로서 결정되며; 그리고 각 스피커 채널들의 이득들은 각 이득값의 제곱의 합이 1과 같도록 조절된다.
일 실시예에 따르면, 상기 적어도 하나의 결합된 신호는 채택된 프레임 길이의 시간 프레임들로 분할되어, 그러면 상기 프레임들이 윈도우로 되며; 그리고, 상기 헤드-관련 전송 함수 필터들을 적용하기 전에 상기 적어도 하나의 결합된 신호들은 주파수 도메인으로 변환된다.
일 실시예에 따르면, 상기 헤드-관련 전송 함수 필터들을 적용하기 전에 주파수 도메인 내의 상기 적어도 하나의 결합된 신호는, 등가 사각 대역폭 (Equivalent Rectangular Bandwidth, ERB) 스케일에 따르는 주파수 대역들과 같은, 음향 심리학적으로 (psycho- acoustically) 유발된 복수의 주파수 대역으로 분할된다.
일 실시예에 따르면, 개별적인 좌측면 (left-side) 신호와 우측면 (right-side) 신호에 대한 상기 주파수 대역들 각각에 대한 헤드-관련 전송 함수 필터들의 출력들이 합해지며; 그리고, 입체 오디오 신호의 좌측면 성분 및 우측면 성분을 생성하기 위해 상기 합해진 좌측면 신호와 상기 합해진 우측면 신호는 시간 도메인으로 변환된다.
두 번째의 모습은 파라미터적으로 인코드된 오디오 신호를 생성하는 방법을제공하며, 상기 방법은, 복수의 오디오 채널들을 포함하는 다중-채널 오디오 신호를 입력하는 단계; 상기 복수의 오디오 채널들의 적어도 하나의 결합된 신호를 생성하는 단계; 및 상기 복수의 오디오 채널들에 대한 이득 추정들을 포함하는 측면 정보의 하나 또는 그 이상의 대응 세트들을 생성하는 단계;를 포함한다.
일 실시예에 따르면, 상기 이득 추정들은 각 개별 채널의 이득 레벨을 상기 결합된 신호의 누적된 이득 레벨과 비교하여 계산된다.
본 발명에 따른 구성은 막대한 이점들을 제공한다. 주요한 이점은 단순함 및 인코딩 과정의 계산상의 낮은 복잡성이다. 디코더가 인코더에 의해 주어진 공간적인 인코딩 파라미터들을 기반으로 하여 입체 음향 합성을 완전하게 실행한다는 점에서 디코더 역시 적응성이 있다. 또한, 원래의 신호에 비교하여 동일한 공간성이 변환에 있어서 유지된다. 측면 정보에 대해서, 원래의 믹스의 이득 추정들의 세트로 충분하다. 가장 크게는, 본 발명은 파라미터적인 오디오 코딩에서 제공된 압축된 중간 상태의 향상된 이용을 가능하게 하여, 오디오를 저장하는데 있어서만이 아니라 전송에 있어서도 효율을 개선시키도록 할 수 있다.
본 발명의 추가적인 모습들은 상기의 방법들의 발명적인 단계들을 실행하도록 구성된 다양한 장치들을 포함한다.
다음에서, 본 발명의 다양한 실시예들이 첨부된 도면을 참조하여 더 상세하게 설명될 것이다.
도 1은 종래 기술에 따른 일반적인 입체 음향 큐 코딩 (Binaural Cue Coding, BCC)을 보여준다.
도 2는 종래 기술에 따른 BCC 합성 방법의 일반적인 구조를 보여준다.
도 3은 본 발명의 일 실시예에 따른 입체 음향 디코더의 블록도를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 전자 기기를 축소된 블록 차트로 도시한 것이다.
다음에서, 본 발명은 실시예들에 따른 디코딩 방법들을 구현하기 위한 예시적인 플랫폼으로서 입체 음향 큐 코딩 (Binaural Cue Coding, BCC)을 참조하여 설 명될 것이다. 그러나, 본 발명은 BCC 유형의 공간 오디오 코딩 방법만으로 한정되는 것은 아니며, 하나 또는 그 이상의 오디오 채널로부터 결합된 적어도 하나의 오디오 신호 및 적절한 공간 측면 정보를 제공하는 어떤 오디오 코딩 방법에서도 구현될 수 있다는 것을 주목한다.
입체 음향 큐 코딩 (Binaural Cue Coding, BCC)은 단일의 오디오 채널에 몇몇의 측면 정보를 더한 것으로부터 임의의 개수의 채널들의 다중-채널 출력을 제공하는, 공간적인 오디오의 파라미터적인 표현에 관한 일반적인 개념이다. 도 1은 이런 개념을 도시한다. 복수의 (M) 입력 오디오 채널들이 다운믹스 프로세스에 의해 단일의 출력 신호 (S: "합")로 결합된다. 병행하여, 다중채널 사운드 이미지를 기술하는 가장 현저한 채널간 큐(cue)들이 입력 채널들로부터 추출되어 BCC 측면 (side) 정보로서 컴팩트하게 코드화된다. 그러면, 그 합 신호를 코딩하기 위해 적절한 저 비트레이트 오디오 코딩 방법을 아마도 사용하여, 합 신호와 측면 정보 모두는 수신기 측으로 전송된다. 결국, BCC 디코더는 채널간 시간 차이 (Inter-channel Time Difference, ICTD), 채널간 레벨 차이 (Inter-channel Level Difference, ICLD) 및 채널간 일관성 (Inter-channel Coherence, ICC)과 같은 관련된 채널간 큐 (cue)들을 운반하는 채널 출력 신호들을 재합성함으로써 상기 전송된 합 신호 및 공간적인 큐 정보로부터 스피커를 위한 다중-채널 (N) 출력 신호를 생성한다. 따라서, BCC 측면 정보, 즉, 채널간 큐들은 특히 스피커 재생을 위한 다중-채널 오디오 신호의 재구성을 최적화하는 것을 고려하여 선택된다.
수신자 측에서의 렌더링 (rendering)을 위한 목적으로 수많은 개별적인 소스 신호들의 전송을 의미하는 플렉시블 렌더링을 위한 BCC (유형 I BCC) 및 스테레오 또는 서라운드 신호의 수많은 오디오 채널들을 전송을 의미하는 내츄럴 렌더링을 위한 BCC (유형 II BCC)의 두 가지 BCC 방법이 있다. 플렉시블 렌더링을 위한 BCC는 구분된 오디오 소스 신호들 (예를 들면, 음성 신호들, 별개로 기록된 악기들, 멀티트랙 레코딩)을 입력으로서 취한다. 내츄럴 렌더링을 위한 BCC는 "마지막 믹스" 스테레오 또는 다중-채널 신호를 입력 (예를 들면, CD 오디오, DVD 서라운드)으로서 취한다. 이런 프로세스들이 종래의 코딩 기술들을 통해서 실행되면, 비트레이트 스케일들은 오디오 채널들의 개수에 비례하거나 또는 적어도 근접하게 비례하며, 예를 들면, 5.1 멀티-채널 시스템의 6개의 오디오 채널들을 전송하는 것은 하나의 오디오 채널의 거의 6배의 비트레이트를 필요로 한다. 그러나, 두 가지 BCC 방법은 하나의 오디오 채널의 전송을 위해 필요한 비트레이트보다 단지 약간 더 높은 정도의 비트레이트의 결과로 귀결되며, 이는 BCC 측면 정보가 아주 낮은 비트레이트 (예를 들면, 2 kb/s)만을 필요로 하기 때문이다.
도 2는 BCC 합성 방법의 일반적인 구성을 도시한다. 전송된 모노 신호 ("합")는 먼저 시간 도메인 내에서 프레임들로 윈도우화 되고, 그러면, FFT (Fast Fourier Transform) 프로세스 및 필터뱅크 (FB)에 의해 적절한 서브-대역들의 스펙트럼의 표현으로 매핑된다. FFT 및 FB의 프로세스 대신에, 신호의 분해를 위해 QMF (Quadrature Mirror Filter) 필터-뱅크가 사용될 수 있다. 재생 채널들의 일반적인 경우에, ICLD 및 ICTD는 채널들의 쌍들 사이의, 즉, 참조 채널에 관련된 각 채널에 대해, 각 서브대역 내에 있는 것으로 간주된다. 그 서브대역들은 충분하게 높은 주 파수 해상도가 얻어지도록 선택되며, 예를 들면, ERB (Equivalent Rectangular Bandwidth) 스케일의 두 배와 같은 서브대역 폭이 전형적으로 적합한 것으로 간주된다. 생성되는 각 출력 채널에 대해, 개별적인 시간 지연 ICTD 및 레벨 차이 ICLD가 뒤따르는 스펙트럼의 계수들에 부과되며, 합성된 오디오 채널들 사이의 일관성 (coherence) 및/또는 상관 (correlation) (ICC)의 가장 많이 관련된 모습들을 다시 받아들이는 일관성 합성 프로세스가 이 스펙트럼의 계수들을 뒤따른다. 마지막으로, 합성된 모든 출력 채널들은 IFFT (Inverse FFT) 프로세스에 의해 시간 도메인의 표현으로 역변환되어, 다중채널 출력의 결과를 가져온다. BCC 접근 방법에 관한 더 상세한 설명을 위해, F. Baumgarte and C. Fallen "Binaural Cue Coding - Part I: Psychoacoustic Fundamentals and Design Principles'1, IEEE Transactions on Speech and Audio Processing, Vol. 11 , No. 6, November 2003, and to: C. Faller and F. Baumgarte: "Binaural Cue Coding - Part II: Schemes and Applications", IEEE Transactions on Speech and Audio Processing, Vol. 11 , No. 6, November 2003.을 참조한다.
BCC는 코딩 방법의 일 예이며, 이는 본 발명의 실시예들에 따른 디코딩 방법을 구현하기 위한 적합한 플랫폼을 제공한다. 일 실시예에 따른 입체 음향 디코더는 모노화된 (monophonized) 신호와 측면 정보를 입력으로서 수신한다. 그 아이디어는 원래의 믹스 내의 각 스피커를, 듣는 위치에 관련한 스피커의 방향에 대응하는 HRTF의 쌍으로 대체하는 것이다. 모노화된 신호의 각 주파수 채널은, 측면 정보를 기반으로 계산될 수 있는, 이득값들의 세트에 의해 지시되는 비율로 HRTF를 구 현하는 각 필터들의 쌍으로 공급된다. 결과적으로, 그 프로세스는 원래의 스피커들에 대응하는 가상의 스피커들의 세트를 입체 음향 무대에서 구현한 것으로서 생각될 수 있다. 따라서, 본 발명은, 다양한 스피커 배열들을 위한 다중-채널 오디오 신호들 외에도, 어떤 중간의 BCC 합성 프로세스 없이도 파라미터적으로 인코드된 공간적인 오디오 신호로부터 직접적으로 유도된 입체 오디오 신호 역시 허용하여 BCC에 가치를 추가한다.
본 발명의 몇몇 실시예들이 도 3을 참조하여 설명될 것이며, 도 3은 본 발명의 한 모습에 따른 입체 음향 디코더의 블록도를 보여준다. 디코드 (300)는 모노화된 신호에 대한 제1 입력단 (302) 및 측면 정보에 대한 제2 입력단 (304)을 포함한다. 입력단들 (302, 304)은 실시예들을 도시하기 위해 구분되는 입력단들로 도시되었지만, 당업자는 실제의 구현에서 모노화된 신호와 측면 정보가 동일 입력단을 경유하여 공급될 수 있다는 것을 알 수 있다.
일 실시예에 따르면, 측면 정보는 BCC 방법에서와 같이 동일한 채널간 큐 (cue)들, 즉, 채널간 시간 차이 (Inter-channel Time Difference, ICTD), 채널간 레벨 차이 (Inter-channel Level Difference, ICLD) 및 채널간 일관성 (Inter-channel Coherence, ICC)을 포함할 필요는 없으며, 대신에 각 주파수 대역에서 원래의 믹스의 채널들 간의 사운드 압력의 분포를 정의하는 이득 추정들의 세트만 있으면 충분하다. 이득 추정들에 추가하여, 측면 정보는, 채택된 프레임 길이만이 아니라, 듣는 위치와 관련하여 원래의 믹스의 스피커의 개수 및 위치들을 바람직하게 포함한다. 일 실시예에 따르면, 이득 추정들을 인코더로부터의 측면 정보의 일부로 서 전송하는 것 대신에, 그 이득 추정들은 BCC 방법의 채널간 큐들, 예를 들면 ICLD로부터의 디코더 내에서 계산된다.
디코더 (300)는 윈도우화 유닛 (306)을 포함하여, 그 윈도우화 유닛 (306) 내에서, 상기 모노화된 신호는 먼저 상기 채택된 프레임 길이의 시간 프레임들로 분할되고, 그러면 그 프레임들은 적절하게 윈도우로, 예를 들면 사인-윈도우로 된다. 프레임들이 신호 내에서의 빠른 변이들을 관리할 수 있을 만큼 짧으면서도 동시에 이산 프리에 변환 (discrete Fourier-transform, DFT)을 위해 충분할 만큼 길도록 프레임 길이가 적절하게 조절되어야 한다. 실험적으로 적절한 프레임 길이는 대략 50 ms인 것을 알 수 있다. 따라서, (다양한 오디오 코딩 방법들에서 일반적으로 사용되는) 44.1 khz 의 샘플링 주파수가 사용되면, 그 프레임은, 예를 들면 2048 샘플들을 포함하여, 그 결과 그 프레임의 길이는 46.4 ms로 된다. 공간적인 변형 (레벨 및 지연)에 의해 발생되는 변이를 평탄하게 하기 위해 바람직하게는 상기 윈도우화는 인접한 윈도우들이 50 %가 겹치도록 실행된다.
그 이후에, 윈도우화 된 모노화된 신호는 FFT 유닛 (308) 내에서 주파수 도메인으로 변형된다. 그 처리는 효율적인 계산을 위해 주파수 도메인 내에서 실행된다. 당업자는 신호 처리의 이전 단계들이 실제의 디코더 (300) 외부에서 실행될 수 있으며, 즉, 윈도우화 유닛 (306) 및 FFT 유닛 (308)이 상기 장치 내에서 구현되며, 그 장치 내에 상기 디코더가 포함되며, 처리될 상기 모노화된 신호는 디코더로 공급될 때에는 이미 윈도우화 되어 주파수 도메인으로 변형되었다는 것을 인식한다.
주파수 도메인으로 된 신호를 효율적으로 계산하기 위한 목적으로, 신호는 필터 뱅크 (31)로 공급되며, 필터 뱅크 (31)는 그 신호를 음향 심리학적으로 (psycho- acoustically) 유발된 주파수 대역으로 분할한다. 일 실시예에 따르면, 필터 뱅크 (310)는 상기 신호를 일반적으로 인정되는 등가 사각 대역폭 (Equivalent Rectangular Bandwidth, ERB) 스케일에 따르는 32개 주파수 대역으로 분할하여, 그 결과 상기 32개 주파수 대역들 상의 신호 성분들 X0, ... ,, X31로 분할한다.
블록들 (305, 308 및 310)에 대한 대안으로서, 상기 모노화된 신호의 시간-주파수 도메인 처리는 상기 신호의 분해를 실행하는 QMF 필터-뱅크 내에서 실행될 수 있을 것이다. 당업자는, FFT 처리 또는 QMF 필터-뱅크 처리에 추가하여, 필요한 시간-주파수 도메인 처리를 실행하기 위해 다른 적절한 방법이 사용될 수 있다는 것을 인식한다.
디코더 (300)는 HRTF (312, 314)의 세트를 선-저장된 정보로서 포함하며, 그로부터 각 스피커 방향에 대응하는 HRTF들의 좌-우 쌍이 선택된다. 설명을 위해서, HRTF들의 두 세트 (312, 314)가 도 3에서 도시되며, 하나는 좌-측면 (left-side) 신호를 위한 것이며 다른 하나는 우-측면 (right-side) 신호를 위한 것이지만, 실제의 구현에서 HRTF들의 하나의 세트면 충분할 것이라는 것이 인식된다. 각 스피커 채널 사운드 레벨에 대응하는 HRTF의 선택된 좌-우 쌍들을 조절하기 위해, 이득 값들 G가 바람직하게 추정된다. 상기에서 언급된 것과 같이, 이득 추정들은 인코더로 부터 수신된 측면 정보 내에 포함될 수도 있을 것이며, 또는 그것들은 BCC 측면 정보를 기반으로 디코더 내에서 계산될 수 있을 것이다. 따라서, 이득은 각 스피커 채널에 대해서 시간과 주파수의 함수로서 추정되며, 원래 믹스의 이득 레벨을 보존하기 위해, 각 이득 값의 제곱들의 합이 1과 같도록 각 스피커 채널에 대한 이득들이 조절되는 것이 바람직하다. 이는, N이 가상적으로 생성된 채널들의 개수이면, 단지 N-1 개의 이득 추정들만이 인코더로부터 전송될 필요가 있으며, 분실된 이득 값은 상기 N-1 개의 이득 값들을 기반으로 계산될 수 있다는 이점을 제공한다. 그러나, 당업자는 본 발명의 작동이 각 이득값의 제곱들이 합이 1과 같도록 꼭 조절할 필요는 없으며, 그러나, 디코더가 이득 값들의 제곱들의 크기를 조절하여 그 합이 1과 같도록 할 수 있다는 것을 인식한다.
그러면, HRTF 필터들 (312, 314)의 좌-우 쌍의 각각은 이득들 G의 세트들에 의해 지시된 비율로 조절되며, 조절된 HRTF 필터들 (312', 314')의 결과를 낳는다. 다시 실제로는 원래의 HRTF 필터 (312, 314) 크기는 이득 값들에 따라서 크기 조절되는 것이고, 실시예들을 설명하기 위한 것이 아니며, HRTF들의 "추가적인" 세트들 (312', 314')이 도 3에서 도시되는 것이 주목된다.
각 주파수 대역에 대해, 모노 신호 성분들 X0, ... ,, X31은 조절된 HRTF 필터들 (312', 314')의 각 좌-우 쌍으로 공급된다. 좌-측면 신호에 대한 그리고 우-측면 신호에 대한 필터 출력들은 양 입체 음향 채널들에 대해 합산 유닛들 (316, 318) 내에서 합해진다. 합해진 입체 음향 신호들은 다시 사인-윈도우이며, IFFT 유 닛 (320, 322) 내에서 실행된 역 FFT에 의해 시간 도메인으로 역 변환된다. 분석 필터들이 1로 합산하지 못하는 경우 또는 그들의 위상 응답이 선형이 아닌 경우, 마지막 입체 음향 신호들 (BR, BL) 내에서의 왜곡을 피하기 위해 적당한 합성 필터 뱅크가 바람직하게 사용된다. 다시, QMF 필터-뱅크 유닛이 상기에서 설명된 것과 같은 신호 분해에서 사용되면, IFFT 유닛들 (320, 322)은 IQMF (역 QMF) 필터-뱅크 유닛들에 의해 바람직하게 대치된다.
일 실시예에 따르면, 입체 음향 신호의 구체화 (externalization) 즉, 두드러진 국부화 (out-of-the-head localization)를 위해, 적당한 실내 응답이 입체 음향 신호에 추가될 수 있다. 그 목적을 위해, 디코더는 반향 (reverberation) 유닛을 포함할 수 있을 것이며, 그 반향 유닛은 바람직하게는 합산 유닛들 (316, 318) 및 IFFT 유닛들 (320, 322) 사이에 위치한다. 추가된 실내 응답은 스피커 청취 상태에서 실내의 효과를 모방한다. 그러나, 필요한 반향 시간은 계산의 복잡도가 크게 증가하지 않도록 짧다.
도 3에 도시된 입체 음향 디코드 (300)는 스테레오 다운믹스 디코딩의 특별한 경우를 가능하게 하며, 그 때에 공간적인 이미지가 좁아진다. 디코더 (300)의 동작은 수정되어 상기의 실시예에서 이득 값들에 따라 단지 스케일이 조절되던 조절 가능한 HRTF 필터 (312, 314) 각각이 미리 정해진 이득에 의해 교체되도록 한다. 따라서, 모노화된 신호는 상기 측면 정보를 기반으로 계산된 이득 값들의 세트가 곱해진 단일의 이득으로 구성되는 일정한 HRTF 필터들을 통해서 처리된다. 결과로, 공간적 오디오는 스테레오 신호로 다운 믹스된다. 이 특별한 경우는 공간적 오 디오를 디코드할 필요 없이 공간적 측면 정보를 사용하여, 스테레오 신호가 결합된 신호로부터 생성된다는 이점을 제공하며, 그럼으로써 스테레오 디코딩 절차는 종래의 BCC 합성에 비해 더 간단하다. 그렇지 않다면, 입체 음향 디코더 (300)의 구조는 도 3에서와 같게 남아 있으며, 조절 가능한 HRTF 필터 (312, 314)만이 스테레오 다운 믹스를 위해 미리 정해진 이득들 구비하는 다운믹스 필터들에 의해 대체된다.
입체 음향 디코더는 예를 들면 5.1 서라운드 오디오 구성을 위한 HRTF 필터들을 포함하며, 그러면 HRTF 필터들에 대한 일정한 이득들을 디코딩하는 스테레오 다운믹스 디코딩의 특별한 경우는 예를 들면 표 1에서 정의된 것과 같을 수 있을 것이다.
스테레오 다운 믹스에 대한 HRTF 필터들
HRTF 좌 우
전좌 (Front left) 1.0 0.0
전우 (Fornt right) 0.0 1.0
중앙 (Center) 0.5의 제곱근 0.5의 제곱근
후좌 (Rear left) 0.5의 제곱근 0.0
후우 (Rear right) 0.0 0.5의 제곱근
LFE 0.5의 제곱근 0.5의 제곱근
본 발명에 따른 구성은 막대한 이익을 제공한다. 가장 주요한 이점은 단순함과 디코딩 프로세스 계산의 낮은 복잡성이다. 그 디코더는 인코더에 의해 제공된 공간적인 그리고 인코딩 파라미터들을 기반으로 입체 음향 업믹스를 완전하게 실행할 수 있다는 점에서 또한 유연한다. 더 나아가, 원래의 신호에 관한 동등한 공간성이 변환시에 유지된다. 측면 정보에 대해서, 원래의 믹스의 이득 추정들의 세트면 충분하다. 오디오를 전송하거나 저장하는 면에서, 가장 주요한 이점은 파라미터적인 오디오 코딩 내에서 제공되는 압축적인 중간 상태를 이용할 때의 개선된 효율을 통해서 얻어진다.
HRTF들은 매우 개별적이어서 평균화는 불가능하기 때문에, 당업자는 완벽한 재-공간화는 듣는 사람 자신의 독특한 HRTF 세트를 측정함으로써만 달성될 수 있을 것이다. 따라서, 불가피하게 HRTF들을 사용하는 것은 신호에 색감을 주어서 그 결과 처리된 오디오의 품질은 원래의 것과 같지 않다. 그러나, 듣는 사람들 각각의 HRTF들을 측정한다는 것은 비현실적인 선택 사항이기 때문에, 더미 헤드 또는 평균 크기이며 현저하게 대칭인 머리를 가진 사람으로부터 측정된 세트 또는 모델화된 세트의 어느 하나가 사용될 때에 가능한 최선의 결과가 얻어진다.
이전에 선언된 것과 같이, 일 실시예에 따르면, 이득 추정들은 인코더로부터 수신된 측면 정보 내에 포함될 수 있을 것이다. 결과적으로, 본 발명의 한 모습은 각 스피커 채널에 대한 이득을 주파수와 시간의 함수로서 추정하고 이득 추정들을 한 (또는 그 이상의) 결합된 채널을 따라서 전송되는 측면 정보 내에 포함시키는 다중채널 공간 오디오 신호를 위한 인코더에 관련된다. 그 인코더는, 예를 들면, 다중-채널 사운드 이미지를 기술하는 채널간 큐들인 ICTD, ICLD 및 ICC에 부가하여 또는 그들을 대신하여 이득 추정들을 계산하도록 추가로 구성된 것으로 알려진 BCC 인코더일 수 있다. 그러면, 합 신호와 적어도 이득 추정들을 포함하는 측면 정보는, 바람직하게는 상기 합 신호를 코딩하기 위한 적절하게 낮은 비트레이트 오디오 코딩 방법을 사용하여, 둘 다 수신기 측으로 전송된다.
일 실시예에 따르면, 이득 추정들이 인코더에서 계산되면, 그 계산은 각 개별적인 채널을 상기 결합된 채널의 누적된 이득 레벨에 비교함으로써 실행된다; 즉, 이득 레벨을 X라고 하고, 원래의 스피커 배치의 개별 채널들을 "m" 그리고 샘플들을 "k"라고 하면, 각 채널에 대해 이득 추정은 | Xm(k)| / | XSUM(k)|로서 계산된다. 따라서, 이득 추정들은 각 개별 채널의 비례하는 이득 크기를 모든 채널들의 전체 이득 크기에 비교하여 결정한다.
일 실시예에 따르면, 이득 추정들은 BCC 측면 정보를 기반으로 디코더 내에서 계산되며, 그 계산은, 예를 들면, 채널간 레벨 차이 (Inter-channel Level Difference, ICLD) 값들을 기반으로 하여 실행된다. 결과적으로, N이 가상으로 생성될 "스피커들"의 개수라면, N-1 개의 미지의 변수들을 포함하는 N-1 개 방정식들이 ICLD 값들을 기반으로 하여 첫 번째로 만들어진다. 그러면, 각 스피커 방정식의 제곱들의 합은 1과 같게 설정되며, 그럼으로써 개별 채널 하나의 이득 추정이 풀어질 수 있으며, 그 해결된 이득 추정을 기반으로 이득 추정들의 나머지가 상기 N-1 개의 방정식들로부터 풀어질 수 있다.
예를 들면, 가상적으로 생성될 채널들의 개수가 5이면 (N=5), N-1 개의 방정식들이 다음과 같이 형성된다: L2= L1 + ICLD1, L3 = L1 + ICLD2, L4= L1 + ICLD3 그리고 L5= L1 + ICLD4. 그러면 그들의 제곱들의 합은 1과 같게 설정된다: L12 + (L1 + ICLD1)2 + (L1 + ICLD2)2 + (L1 + ICLD3)2 + (L1 + ICLD4)2 = 1. 그러면, L1의 값이 풀어지고, L1을 기반으로 하여, 주어진 이득 레벨 값들의 나머지 L2 내지 L5가 풀어질 수 있다.
단순화를 위해서, 이전의 예들은 입력 채널들 (M)이 단일의 결합된 (예를 들면, 모노) 채널을 형성하기 위해 인코더 내에서 다운믹스되는 것으로 설명된다. 그러나, 본 발명에 따른 실시예들은, 특정한 오디오 처리 애플리케이션에 따라, 다중의 입력 채널들 (M)이 둘 또는 그 이상의 개별적인 결합된 채널들 (S)을 형성하기 위해 다운믹스되는 대안의 구현에서도 마찬가지로 적용 가능하다. 다운믹싱이 다중의 결합된 채널들을 생성하면, 그 결합된 채널 데이터는 전통적인 오디오 전송 기수들을 사용하여 전송될 수 있다. 예를 들면, 두 개의 결합된 채널들이 생성되면, 전통적인 스테레오 전송 기술들이 채택될 수 있을 것이다. 이런 경우에, BCC 디코더는 두 개의 결합된 채널들로부터 입체 음향 신호를 합성하기 위해 BCC 코드들을 추출하여 사용할 수 있다.
일 실시예에 따르면, 합성된 입체 음향 신호 내에서 가상으로 생성된 "스피커"의 개수 (N)는, 특정한 애플리케이션에 따라서, 입력 채널들의 개수 (M)와는 다를 것이다 (더 크거나 또는 더 작음). 예를 들면, 입력 오디오는 7.1 서라운드 사운드이고 입체 출력 오디오는 5.1 서라운드 사운드에 대응하도록 합성될 수 있을 것이며, 그 역도 가능할 것이다.
본 발명의 실시예들이 M 개의 입력 오디오 채널들을 S 개의 결합된 오디오 채널들과 하나 또는 그 이상의 측면 정보의 대응 세트들로 변환하고 (이 경우, M > S), S 개의 결합된 오디오 채널들 및 측면 정보의 대응 세트들로부터 N 개의 출력 오디오 채널들을 생성하도록 (이 경우, N > S) 허용하도록 상기의 실시예들은 일반화될 수 있을 것이며, 이때에 N 은 M 과 같거나 또는 다를 수 있을 것이다.
하나의 결합된 채널 및 필수적인 측면 정보를 전송하기 위해 필요한 비트레이트는 매우 낮기 때문에, 본 발명은 무선 통신 시스템들과 같이 이용 가능한 대역폭이 부족한 자원인 시스템 내에서 특히 매우 적절할 수 있다. 따라서, 실시예들은 전형적으로 고품질의 스피커가 부족한 이동 단말들 또는 다른 휴대용 기기 내에서 특별히 적절하며, 다중-채널 서라운드 사운드의 특징들이 실시예들에 따라서 입체 오디오 신호를 청취하는 헤드폰들을 통해서 받아들여질 수 있다. 실행가능한 애플리케이션들의 추가적인 분야는 원격지간 회의 서비스들을 포함하며, 그 경우에 듣는 사람들에게 그 회의 호출 참여자들이 그 회의실 내의 다른 장소에 있다는 인상을 줌으로써 원격지간 회의의 참여자들은 쉽게 눈에 띌 수 있다.
도 4는 데이터 처리 기기 (TE)의 간략화된 구조를 도시한 것이며, 그 내부에서 본 발명에 따른 입체 음향 디코딩 시스템이 구현될 수 있다. 데이터 처리 기기 (TE)는, 예를 들면, 이동 단말, PDA 기기 또는 개인용 컴퓨터 (PC)일 수 있다. 데이터 처리 유닛 (TE)은 I/O 수단 (I/O), 중앙 처리 유닛 (CPU) 및 메모리 (MEM)를 포함한다. 메모리 (MEM)는 ROM (read-only memory) 부분 및 RAM (random access memory) 및 플래시 메모리와 같은 다시-쓰기 가능한 부분을 포함한다. 다른 상이한 외부 측들, 예를 들면 CD-ROM, 다른 기기들 및 사용자와의 통신에 사용되는 정보는 I/O 수단 (I/O)을 통해서 중앙 처리 유닛 (CPU)로/로부터 전송된다. 데이터 처리 기기가 이동국으로서 구현되면, 그 이동국은 전형적으로 기지 송수신국 (BTS)을 구비하는 무선 네트워크와 안테나를 통해서 통신하는 송수신기 (Tx/Rx)를 전형적으로 포함한다. 사용자 인터페이스 (UI) 장비는 전형적으로 디스플레이, 키패드, 마이크 및 헤드폰들을 위한 접속 수단을 포함한다. 데이터 처리 기기는 다양한 하드웨어 모듈들을 위한 표준 폼 슬롯과 같은 또는 집적 회로 (IC)와 같은 접속 수단 (MMC) 을 더 포함할 수 있을 것이며, 이는 상기 데이터 처리 기기 내에서 동작하는 다양한 애플리케이션들을 제공할 수 있을 것이다.
따라서, 본 발명에 따른 입체 음향 디코딩 시스템은 데이터 처리 기기의 중앙 처리 유닛 (CPU) 내에서 또는 전용의 디지털 신호 처리기 (DSP) (파라미터적인 코드 프로세서) 내에서 실행될 수 있을 것이며, 그럼으로써, 데이터 처리 기기는 복수의 오디오 채널들의 적어도 하나의 결합된 신호와 다중-채널 사운드 이미지를 기술하는 측면 정보의 하나 또는 그 이상의 대응 세트들을 포함하는 파라미터적으로 인코드된 오디오 신호를 수신한다. 상기 파라미터적으로 인코드된 오디오 신호는 메모리 수단, 예를 들면 CD-ROM 또는 안테나와 송수신기 (Tx/Rx)를 통해서 무선 네워크로부터 수신할 수 있을 것이다. 상기 데이터 처리 기기는 또한 적합한 필터 뱅크 및 선결된 (predetermined) 헤드-관련 (head-related) 전송 함수 필터들을 더 포함하며, 그럼으로써, 데이터 처리 기기는 입체 오디오 신호를 합성하기 위해, 상기 결합된 신호를 주파수 도메인으로 변환하고 헤드-관련 전송 함수 필터들의 적합한 좌-우 쌍들을, 상기 측면 정보의 대응하는 세트에 의해 결정된 비율로, 상기 결합된 신호에 적용하며, 그러면, 그 합성된 입체 오디오 신호는 헤드폰들을 통해서 재생된다.
유사하게, 본 발명에 따른 인코딩 시스템은 데이터 처리 기기의 중앙 처리 유닛 (CPU) 내에서 또는 전용의 디지털 신호 처리기 (DSP) 내에서 실행될 수 있을 것이며, 그럼으로써, 데이터 처리 기기는 복수의 오디오 채널들의 적어도 하나의 결합된 신호와 다중-채널 오디오의 채널 신호들에 대한 이득 추정들을 포함하는 측면 정보의 하나 또는 그 이상의 대응 세트들을 포함하는 파라미터적으로 인코드된 오디오 신호를 생성한다.
본 발명의 기능성들은 이동국과 같은 단말 기기 내에서 구현될 수 있을 것이며, , 중앙 처리 유닛 (CPU) 내에서 또는 전용 디지털 신호 프로세서 (DSP) 내에서 실행될 때에, 상기 단말 기기가 본 발명의 절차들을 구현하도록 영향을 끼치는 컴퓨터 프로그램으로서도 구현될 수 있을 것이다. 컴퓨터 프로그램 (SW)의 기능들은 서로 간에 통신을 하는 몇몇의 개별적인 프로그램 컴퍼넌트들로 분배될 수 있을 것이다. 컴퓨터 소트프웨어는 PC의 하드 디스크 또는 CD-ROM 디스크와 같은 어떤 메모리 수단 내에 저장될 수 있을 것이며, 그곳으로부터 이동 단말의 메모리로 적재될 수 있다. 컴퓨터 프로그램은, 예를 들면 TCP/IP 프로토콜 스택을 사용하여 네트워크를 통해서 또한 적재될 수 있다.
발명적인 수단을 구현하기 위해 하드웨어 해결책 또는 하드웨어와 소프트웨어 해결책을 또한 사용할 수 있다. 따라서, 상기의 컴퓨터 프로그램 생성물은 하드웨어 모듈을 전자 기기로 연결시키기 위한 접속 수단을 포함하는 하드웨어 모듈 내에서 적어도 부분적으로는, 예를 들면 ASIC 또는 FPGA 회로들과 같은, 하드웨어 해결책으로서 구현될 수 있으며, 또는 하나 또는 그 이상의 집적된 회로들 (IC)로서 구현될 수 있으며, 상기 하드웨어 모듈이나 IC들은 상기 프로그램 코드 태스크들을 실행하기 위한 수단을 더 포함할 수 있으며, 상기 수단은 하드웨어 및/또는 소프트웨어로서 구현될 수 있다.
본 발명은 상기 제시된 실시예들로만 제한되지 않으며, 첨부된 청구항들의 범위 내에서 변형될 수 있다는 것은 명백하다.

Claims (33)

  1. 입체 (binaural) 오디오 신호를 합성하는 방법으로서,
    복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중 채널 사운드 이미지를 기술하는 측면 (side) 정보의 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 (parametrically) 인코드된 오디오 신호를 입력하는 단계; 및
    입체 오디오 신호를 합성하기 위해, 헤드-관련 (head-related) 전송 함수 필터들의 선결된 세트를 상기 적어도 하나의 결합된 신호에 상기 대응하는 측면 정보의 대응 세트에 의해 결정되는 비율로 적용하는 단계;를 포함하는, 입체 오디오 신호 합성 방법.
  2. 제1항에 있어서,
    상기 헤드-관련 전송 함수 필터들의 선결된 세트로부터, 원래의 다중-채널 오디오의 각 스피커 방향에 대응하는 헤드-관련 전송 함수 필터들의 좌-우 쌍을 적용하는 단계;를 더 포함하는, 입체 오디오 신호 합성 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 측면 정보의 세트는 원래의 사운드 이미지를 기술하는 다중-채널 오디오의 채널 신호들에 대한 이득 추정들의 세트를 포함하는, 입체 오디오 신호 합성 방법.
  4. 제3항에 있어서,
    상기 측면 정보의 세트는 듣는 위치 및 채택된 프레임 길이와 관련하여 원래의 다중-채널 사운드 이미지의 스피커들의 개수 및 위치들을 더 포함하는, 입체 오디오 신호 합성 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 측면 정보의 세트는 채널간 시간 차이 (Inter-channel Time Difference, ICTD), 채널간 레벨 차이 (Inter-channel Level Difference, ICLD) 및 채널간 일관성 (Inter-channel Coherence, ICC)과 같은 입체 음향 큐 코딩 (Binaural Cue Coding, BCC) 계획에서 사용되는 채널간 큐 (cue)들을 포함하며,
    상기 방법은,
    상기 BCC 계획의 채널간 큐들의 적어도 하나를 기반으로 원래의 다중채널 오디오의 이득 추정들의 세트를 계산하는 단계;를 더 포함하는, 입체 오디오 신호 합성 방법.
  6. 제3항 내지 제5항 중의 어느 한 항에 있어서,
    원래의 다중채널 오디오의 이득 추정들의 세트를 시간과 주파수의 함수로서 결정하는 단계; 및
    각 이득값의 제곱의 합이 1과 같도록 각 스피커 채널에 대한 이득들을 조절 하는 단계;를 더 포함하는, 입체 오디오 신호 합성 방법.
  7. 제1항 내지 제6항 중의 어느 한 항에 있어서,
    상기 적어도 하나의 결합된 신호를 채택된 프레임 길이의 시간 프레임들로 분할하여, 상기 프레임들이 윈도우로 되는, 분할 단계; 및
    상기 헤드-관련 전송 함수 필터들을 적용하기 전에 상기 적어도 하나의 결합된 신호를 주파수 도메인으로 변환하는 단계;를 더 포함하는, 입체 오디오 신호 합성 방법.
  8. 제7항에 있어서,
    상기 헤드-관련 전송 함수 필터들을 적용하기 전에 주파수 도메인 내의 상기 적어도 하나의 결합된 신호를 음향 심리학적으로 (psycho- acoustically) 유발된 복수의 주파수 대역으로 분할하는 단계를 더 포함하는, 입체 오디오 신호 합성 방법.
  9. 제8항에 있어서,
    주파수 도메인 내의 상기 적어도 하나의 결합된 신호를 등가 사각 대역폭 (Equivalent Rectangular Bandwidth, ERB) 스케일에 따르는 32개 주파수 대역으로 분할하는 단계;를 더 포함하는, 입체 오디오 신호 합성 방법.
  10. 제7항 내지 제9항 중의 어느 한 항에 있어서,
    상기 적어도 하나의 결합된 신호를 주파수 도메인으로 변환하는 상기 단계는 상기 적어도 하나의 결합된 신호를 분해하기 위해 QMF (Quadrature Mirror Filter) 필터들을 사용하여 실행되는, 입체 오디오 신호 합성 방법.
  11. 제8항 내지 제10항 중의 어느 한 항에 있어서,
    개별적인 좌측면 (left-side) 신호와 우측면 (right-side) 신호에 대한 상기 주파수 대역들 각각에 대한 헤드-관련 전송 함수 필터들의 출력들을 합하는 단계; 및
    입체 오디오 신호의 좌측면 성분 및 우측면 성분을 생성하기 위해 상기 합해진 좌측면 신호와 상기 합해진 우측면 신호를 시간 도메인으로 변환하는 단계;를 더 포함하는, 입체 오디오 신호 합성 방법.
  12. 스테레오 오디오 신호를 합성하는 방법으로서,
    복수의 오디오 채널들의 적어도 하나의 결합된 신호의 다중 채널 사운드 이미지를 기술하는 측면 (side) 정보의 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 (parametrically) 인코드된 오디오 신호를 입력하는 단계; 및
    스테레오 오디오 신호를 합성하기 위해, 미리 정해진 이득값들을 구비하는 다운믹스 (downmix) 필터들의 세트들을 상기 적어도 하나의 결합된 신호에 상기 대응하는 측면 정보의 대응하는 세트에 의해 결정되는 비율로 적용하는 단계;를 포함 하는, 스테레오 오디오 신호 합성 방법.
  13. 파라미터적인 오디오 디코더로서,
    복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중 채널 사운드 이미지를 기술하는 측면 (side) 정보의 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 (parametrically) 인코드된 오디오 신호를 처리하는 파라미터적 코드 프로세서; 및
    입체 오디오 신호를 합성하기 위해, 헤드-관련 전송 함수 필터들의 선결된 세트를 상기 적어도 하나의 결합된 신호에 상기 대응하는 측면 정보의 대응하는 세트에 의해 결정되는 비율로 적용하는 합성기;를 포함하는, 파라미터적인 오디오 디코더.
  14. 제13항에 있어서,
    상기 합성기는, 상기 헤드-관련 전송 함수 필터들의 선결된 세트로부터, 원래의 다중-채널 오디오의 각 스피커 방향에 대응하는 헤드-관련 전송 함수 필터들의 좌-우 쌍을 적용하도록 구성된, 파라미터적인 오디오 디코더.
  15. 제13항 또는 제14항에 있어서,
    상기 측면 정보의 세트는 원래의 사운드 이미지를 기술하는 다중-채널 오디오의 채널 신호들에 대한 이득 추정들의 세트를 포함하는, 파라미터적인 오디오 디 코더.
  16. 제13항 또는 제14항에 있어서,
    상기 측면 정보의 세트는 채널간 시간 차이 (Inter-channel Time Difference, ICTD), 채널간 레벨 차이 (Inter-channel Level Difference, ICLD) 및 채널간 일관성 (Inter-channel Coherence, ICC)과 같은 입체 음향 큐 코딩 (Binaural Cue Coding, BCC) 계획에서 사용되는 채널간 큐 (cue)들을 포함하며,
    상기 디코더는 상기 BCC 계획의 채널간 큐들의 적어도 하나를 기반으로 원래의 다중채널 오디오의 이득 추정들의 세트를 계산하도록 구성된, 파라미터적인 오디오 디코더.
  17. 제13항 내지 제16항 중의 어느 한 항에 있어서,
    상기 적어도 하나의 결합된 신호를 채택된 프레임 길이의 시간 프레임들로 분할하는 수단;
    상기 프레임들을 윈도우화 하는 수단; 및
    상기 헤드-관련 전송 함수 필터들을 적용하기 전에 상기 적어도 하나의 결합된 신호를 주파수 도메인으로 변환하는 수단;을 더 포함하는, 파라미터적인 오디오 디코더.
  18. 제17항에 있어서,
    상기 헤드-관련 전송 함수 필터들을 적용하기 전에 주파수 도메인 내의 상기 적어도 하나의 결합된 신호를 음향 심리학적으로 (psycho- acoustically) 유발된 복수의 주파수 대역으로 분할하는 수단;을 더 포함하는, 파라미터적인 오디오 디코더.
  19. 제18항에 있어서,
    주파수 도메인 내의 상기 적어도 하나의 결합된 신호를 분할하는 상기 수단은
    상기 적어도 하나의 결합된 신호를 등가 사각 대역폭 (Equivalent Rectangular Bandwidth, ERB) 스케일에 따르는 32개 주파수 대역으로 분할하도록 구성된, 파라미터적인 오디오 디코더.
  20. 제17항 내지 제19항 중의 어느 한 항에 있어서,
    상기 적어도 하나의 결합된 신호를 주파수 도메인으로 변환하는 수단은 상기 적어도 하나의 결합된 신호를 분해하도록 구성된 QMF (Quadrature Mirror Filter) 필터들을 포함하는, 파라미터적인 오디오 디코더.
  21. 제17항 내지 제20항 중의 어느 한 항에 있어서,
    개별적인 좌측면 (left-side) 신호와 우측면 (right-side) 신호에 대한 상기 주파수 대역들 각각에 대한 헤드-관련 전송 함수 필터들의 출력들을 합하는 합산 유닛; 및
    입체 오디오 신호의 좌측면 성분 및 우측면 성분을 생성하기 위해 상기 합해진 좌측면 신호와 상기 합해진 우측면 신호를 시간 도메인으로 변환하는 변환 유닛;을 더 포함하는, 파라미터적인 오디오 디코더.
  22. 파라미터적인 오디오 디코더로서,
    복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 측면 정보의 하나 이상의 대응하는 세트들을 포함하는 파라미터적으로 인코드된 오디오 신호를 처리하는 파라미터적인 코드 프로세서; 및
    스테레오 오디오 신호를 합성하기 위해, 미리 정해진 이득값들을 구비하는 다운믹스 (downmix) 필터들의 세트들을 상기 적어도 하나의 결합된 신호에 상기 대응하는 측면 정보의 대응하는 세트에 의해 결정되는 비율로 적용하는 합성기;를 포함하는 파라미터적인 오디오 디코더.
  23. 컴퓨터로 읽을 수 있는 매체 내에 저장되어 데이터 처리 기기 내에서 실행가능하며, 복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중-채널 사운드 이미지를 기술하는 측면 정보의 세트들에 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 인코드된 오디오 신호를 처리하는 컴퓨터 프로그램 생성물로서,
    상기 적어도 하나의 결합된 신호를 주파수 도메인으로 변환하는 것을 제어하 는 컴퓨터 프로그램 코드 섹션; 및
    입체 오디오 신호를 합성하기 위해, 헤드-관련 전송 함수 필터들의 선결된 세트를 상기 대응하는 측면 정보의 대응하는 세트에 의해 결정되는 비율로 적용하는 컴퓨터 프로그램 코드 섹션;을 포함하는, 컴퓨터 프로그램 생성물.
  24. 입체 오디오를 합성하는 장치로서,
    복수의 오디오 채널들의 적어도 하나의 결합된 신호 및 다중 채널 사운드 이미지를 기술하는 측면 (side) 정보의 대응하는 하나 또는 그 이상의 세트들을 포함하는 파라미터적으로 (parametrically) 인코드된 오디오 신호를 입력하는 수단;
    입체 오디오 신호를 합성하기 위해, 헤드-관련 전송 함수 필터들의 선결된 세트를 측면 정보의 상기 대응하는 세트에 의해 결정되는 비율로 적용하는 수단; 및
    상기 입체 오디오 신호를 오디오 재생 수단으로 공급하는 수단;을 포함하는 입체 오디오 신호 합성 장치.
  25. 제24항에 있어서,
    상기 장치는 이동 단말, PDA 기기 또는 개인용 컴퓨터인, 입체 오디오 신호 합성 장치.
  26. 파라미터적으로 인코드된 오디오 신호를 생성하는 방법으로서,
    복수의 오디오 채널들을 포함하는 다중-채널 오디오 신호를 입력하는 단계;
    상기 복수의 오디오 채널들의 적어도 하나의 결합된 신호를 생성하는 단계; 및
    상기 복수의 오디오 채널들에 대한 이득 추정들을 포함하는 측면 정보의 하나 또는 그 이상의 대응 세트들을 생성하는 단계;를 포함하는, 파라미터적으로 인코드된 오디오 신호 생성 방법.
  27. 제26항에 있어서,
    각 개별 채널의 이득 레벨을 상기 결합된 신호의 누적된 이득 레벨과 비교하여 상기 이득 추정들을 계산하는 단계;를 더 포함하는, 파라미터적으로 인코드된 오디오 신호 생성 방법.
  28. 제26항 또는 제27항에 있어서,
    상기 측면 정보의 세트는 듣는 위치 및 채택된 프레임 길이와 관련하여 원래의 다중-채널 사운드 이미지의 스피커들의 개수 및 위치들을 더 포함하는, 파라미터적으로 인코드된 오디오 신호 생성 방법.
  29. 제26항 내지 제28항 중의 어느 한 항에 있어서,
    상기 측면 정보의 세트는 채널간 시간 차이 (Inter-channel Time Difference, ICTD), 채널간 레벨 차이 (Inter-channel Level Difference, ICLD) 및 채널간 일관성 (Inter-channel Coherence, ICC)과 같은 입체 음향 큐 코딩 (Binaural Cue Coding, BCC) 계획에서 사용되는 채널간 큐 (cue)들을 더 포함하는, 파라미터적으로 인코드된 오디오 신호 생성 방법.
  30. 제26항 내지 제29항 중의 어느 한 항에 있어서,
    원래의 다중채널 오디오의 이득 추정들의 세트를 시간과 주파수의 함수로서 결정하는 단계; 및
    각 이득값의 제곱의 합이 1과 같도록 각 스피커 채널에 대한 이득들을 조절하는 단계;를 더 포함하는, 파라미터적으로 인코드된 오디오 신호 생성 방법.
  31. 파라미터적으로 인코드된 오디오 신호를 생성하는 파라미터적인 오디오 인코더로서,
    복수의 오디오 채널들을 포함하는 다중-채널 오디오 신호를 입력하는 수단;
    상기 복수의 오디오 채널들의 적어도 하나의 결합된 신호를 생성하는 수단; 및
    상기 복수의 오디오 채널들에 대한 이득 추정들을 포함하는 측면 정보의 하나 또는 그 이상의 대응 세트들을 생성하는 수단;을 포함하는, 파라미터적인 오디오 인코더.
  32. 제31항에 있어서,
    각 개별 채널의 이득 레벨을 상기 결합된 신호의 누적된 이득 레벨과 비교하여 상기 이득 추정들을 계산하는 수단;을 더 포함하는, 파라미터적인 오디오 인코더.
  33. 컴퓨터로 읽을 수 있는 매체 내에 저장되어 데이터 처리 기기 내에서 실행가능하며, 파라미터적으로 인코드된 오디오 신호를 생성하는 컴퓨터 프로그램 생성물로서,
    복수의 오디오 채널들을 포함하는 다중-채널 오디오 신호를 입력하기 위한 컴퓨터 프로그램 코드 섹션;
    상기 복수의 오디오 채널들의 적어도 하나의 결합된 신호를 생성하기 위한 컴퓨터 프로그램 코드 섹션; 및
    상기 복수의 오디오 채널들에 대한 이득 추정들을 포함하는 측면 정보의 하나 또는 그 이상의 대응 세트들을 생성하기 위한 컴퓨터 프로그램 코드 섹션;을 포함하는, 컴퓨터 프로그램 생성물.
KR1020087016638A 2006-01-09 2007-01-04 입체 오디오 신호 디코딩 KR20080078882A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/FI2006/050014 WO2007080211A1 (en) 2006-01-09 2006-01-09 Decoding of binaural audio signals
WOPCT/FI2006/050014 2006-01-09
US11/334,041 2006-01-17
US11/334,041 US20070160218A1 (en) 2006-01-09 2006-01-17 Decoding of binaural audio signals

Publications (1)

Publication Number Publication Date
KR20080078882A true KR20080078882A (ko) 2008-08-28

Family

ID=38232768

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020107026739A KR20110002491A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화
KR1020087016569A KR20080074223A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화
KR1020087016638A KR20080078882A (ko) 2006-01-09 2007-01-04 입체 오디오 신호 디코딩

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020107026739A KR20110002491A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화
KR1020087016569A KR20080074223A (ko) 2006-01-09 2007-01-04 바이노럴 오디오 신호들의 복호화

Country Status (11)

Country Link
US (2) US20070160218A1 (ko)
EP (2) EP1971979A4 (ko)
JP (2) JP2009522895A (ko)
KR (3) KR20110002491A (ko)
CN (2) CN101366321A (ko)
AU (2) AU2007204333A1 (ko)
BR (2) BRPI0706306A2 (ko)
CA (2) CA2635024A1 (ko)
RU (2) RU2409911C2 (ko)
TW (2) TW200727729A (ko)
WO (1) WO2007080211A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152663A3 (ko) * 2014-04-02 2016-08-25 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
KR20210018559A (ko) * 2014-04-02 2021-02-17 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US12014744B2 (en) 2013-10-22 2024-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917874B2 (en) * 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
KR100953643B1 (ko) * 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
KR100878816B1 (ko) * 2006-02-07 2009-01-14 엘지전자 주식회사 부호화/복호화 장치 및 방법
ATE456261T1 (de) 2006-02-21 2010-02-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
US8392176B2 (en) 2006-04-10 2013-03-05 Qualcomm Incorporated Processing of excitation in audio coding and decoding
EP2030199B1 (en) * 2006-05-30 2009-10-28 Koninklijke Philips Electronics N.V. Linear predictive coding of an audio signal
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
US20090313029A1 (en) * 2006-07-14 2009-12-17 Anyka (Guangzhou) Software Technologiy Co., Ltd. Method And System For Backward Compatible Multi Channel Audio Encoding and Decoding with the Maximum Entropy
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
FR2906099A1 (fr) * 2006-09-20 2008-03-21 France Telecom Procede de transfert d'un flux audio entre plusieurs terminaux
JP2010516077A (ja) * 2007-01-05 2010-05-13 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
EP2119306A4 (en) * 2007-03-01 2012-04-25 Jerry Mahabub SOUND SPECIALIZATION AND ENVIRONMENT SIMULATION
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
US8428957B2 (en) 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
CN101911182A (zh) * 2008-01-01 2010-12-08 Lg电子株式会社 用于处理音频信号的方法和装置
CN101911732A (zh) * 2008-01-01 2010-12-08 Lg电子株式会社 用于处理音频信号的方法和装置
WO2010000313A1 (en) * 2008-07-01 2010-01-07 Nokia Corporation Apparatus and method for adjusting spatial cue information of a multichannel audio signal
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
ES2564400T3 (es) * 2008-07-11 2016-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificador y descodificador de audio para codificar y descodificar muestras de audio
CN102138176B (zh) * 2008-07-11 2013-11-06 日本电气株式会社 信号分析装置、信号控制装置及其方法
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
US8798776B2 (en) * 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR101499785B1 (ko) 2008-10-23 2015-03-09 삼성전자주식회사 모바일 디바이스를 위한 오디오 처리 장치 및 그 방법
WO2010058931A2 (en) * 2008-11-14 2010-05-27 Lg Electronics Inc. A method and an apparatus for processing a signal
US20100137030A1 (en) * 2008-12-02 2010-06-03 Motorola, Inc. Filtering a list of audible items
EP2380364B1 (en) * 2008-12-22 2012-10-17 Koninklijke Philips Electronics N.V. Generating an output signal by send effect processing
KR101496760B1 (ko) * 2008-12-29 2015-02-27 삼성전자주식회사 서라운드 사운드 가상화 방법 및 장치
BR122019023877B1 (pt) 2009-03-17 2021-08-17 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
CN107071688B (zh) * 2009-06-23 2019-08-23 诺基亚技术有限公司 用于处理音频信号的方法及装置
US8434006B2 (en) * 2009-07-31 2013-04-30 Echostar Technologies L.L.C. Systems and methods for adjusting volume of combined audio channels
KR101419151B1 (ko) 2009-10-20 2014-07-11 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 영역-의존 산술 코딩 매핑 규칙을 이용하는 오디오 인코더, 오디오 디코더, 오디오 정보를 인코딩하기 위한 방법, 오디오 정보를 디코딩하기 위한 방법 및 컴퓨터 프로그램
PL3998606T3 (pl) * 2009-10-21 2023-03-06 Dolby International Ab Nadrpóbkowanie w połączonym banku filtrów modułu transpozycji
AU2011206676B2 (en) 2010-01-12 2014-07-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding and audio information, method for decoding an audio information and computer program using a modification of a number representation of a numeric previous context value
CN103119648B (zh) * 2010-09-22 2015-06-17 杜比实验室特许公司 用于音频编码系统中的去相关和其他应用的相移滤波的有效实现方式
WO2012093352A1 (en) * 2011-01-05 2012-07-12 Koninklijke Philips Electronics N.V. An audio system and method of operation therefor
EP2676268B1 (en) * 2011-02-14 2014-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing a decoded audio signal in a spectral domain
AR085217A1 (es) 2011-02-14 2013-09-18 Fraunhofer Ges Forschung Aparato y metodo para codificar una porcion de una señal de audio utilizando deteccion de un transiente y resultado de calidad
MY165853A (en) 2011-02-14 2018-05-18 Fraunhofer Ges Forschung Linear prediction based coding scheme using spectral domain noise shaping
KR101551046B1 (ko) 2011-02-14 2015-09-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법
WO2012110478A1 (en) 2011-02-14 2012-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Information signal representation using lapped transform
SG192747A1 (en) 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Encoding and decoding of pulse positions of tracks of an audio signal
US20140056450A1 (en) * 2012-08-22 2014-02-27 Able Planet Inc. Apparatus and method for psychoacoustic balancing of sound to accommodate for asymmetrical hearing loss
CN104904239B (zh) 2013-01-15 2018-06-01 皇家飞利浦有限公司 双耳音频处理
WO2014111829A1 (en) * 2013-01-17 2014-07-24 Koninklijke Philips N.V. Binaural audio processing
KR102088153B1 (ko) 2013-04-05 2020-03-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 스펙트럼 확장을 사용하여 양자화 잡음을 감소시키기 위한 압신 장치 및 방법
CN108806704B (zh) * 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
KR102150955B1 (ko) 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
WO2014198726A1 (en) 2013-06-10 2014-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding
JP6224233B2 (ja) 2013-06-10 2017-11-01 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 分配量子化及び符号化を使用したオーディオ信号包絡の分割によるオーディオ信号包絡符号化、処理及び復号化の装置と方法
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
EP4297026A3 (en) * 2013-09-12 2024-03-06 Dolby International AB Method for decoding and decoder.
TWI671734B (zh) 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
US9143878B2 (en) * 2013-10-09 2015-09-22 Voyetra Turtle Beach, Inc. Method and system for headset with automatic source detection and volume control
CN109040946B (zh) 2013-10-31 2021-09-14 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
CN104681034A (zh) 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
JP6593173B2 (ja) * 2013-12-27 2019-10-23 ソニー株式会社 復号化装置および方法、並びにプログラム
CN105874820B (zh) 2014-01-03 2017-12-12 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN104768121A (zh) * 2014-01-03 2015-07-08 杜比实验室特许公司 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
US9860666B2 (en) 2015-06-18 2018-01-02 Nokia Technologies Oy Binaural audio reproduction
KR20230105002A (ko) 2015-08-25 2023-07-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩
WO2017035163A1 (en) 2015-08-25 2017-03-02 Dolby Laboratories Licensing Corporation Audo decoder and decoding method
ES2818562T3 (es) * 2015-08-25 2021-04-13 Dolby Laboratories Licensing Corp Descodificador de audio y procedimiento de descodificación
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals
CN105611481B (zh) * 2015-12-30 2018-04-17 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和系统
GB2572650A (en) * 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
EP3561660B1 (en) 2018-04-27 2023-09-27 Sherpa Europe, S.L. Digital assistant
EP3588495A1 (en) * 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding
CN110956973A (zh) * 2018-09-27 2020-04-03 深圳市冠旭电子股份有限公司 一种回声消除方法、装置及智能终端
GB2580360A (en) * 2019-01-04 2020-07-22 Nokia Technologies Oy An audio capturing arrangement
MX2021015314A (es) 2019-06-14 2022-02-03 Fraunhofer Ges Forschung Codificacion y decodificacion de parametros.
US11212631B2 (en) 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
CN111031467A (zh) * 2019-12-27 2020-04-17 中航华东光电（上海）有限公司 一种hrir前后方位增强方法
AT523644B1 (de) * 2020-12-01 2021-10-15 Atmoky Gmbh Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
JP3286869B2 (ja) * 1993-02-15 2002-05-27 三菱電機株式会社 内部電源電位発生回路
US5521981A (en) * 1994-01-06 1996-05-28 Gehring; Louis S. Sound positioner
JP3498375B2 (ja) * 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
EP1025743B1 (en) * 1997-09-16 2013-06-19 Dolby Laboratories Licensing Corporation Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
US6442277B1 (en) * 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
AU2003219426A1 (en) * 2002-04-22 2003-11-03 Koninklijke Philips Electronics N.V. pARAMETRIC REPRESENTATION OF SPATIAL AUDIO
US7039204B2 (en) * 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
WO2004008806A1 (en) * 2002-07-16 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
ES2259158T3 (es) * 2002-09-19 2006-09-16 Matsushita Electric Industrial Co., Ltd. Metodo y aparato decodificador audio.
FI118247B (fi) * 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
SE527670C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9584943B2 (en) 2013-09-17 2017-02-28 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US10469969B2 (en) 2013-09-17 2019-11-05 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US9961469B2 (en) 2013-09-17 2018-05-01 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US11622218B2 (en) 2013-09-17 2023-04-04 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US11096000B2 (en) 2013-09-17 2021-08-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10455346B2 (en) 2013-09-17 2019-10-22 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
US10692508B2 (en) 2013-10-22 2020-06-23 Electronics And Telecommunications Research Institute Method for generating filter for audio signal and parameterizing device therefor
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US12014744B2 (en) 2013-10-22 2024-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US11195537B2 (en) 2013-10-22 2021-12-07 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US11689879B2 (en) 2013-12-23 2023-06-27 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10158965B2 (en) 2013-12-23 2018-12-18 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11109180B2 (en) 2013-12-23 2021-08-31 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10433099B2 (en) 2013-12-23 2019-10-01 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10701511B2 (en) 2013-12-23 2020-06-30 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10321254B2 (en) 2014-03-19 2019-06-11 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10070241B2 (en) 2014-03-19 2018-09-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US11343630B2 (en) 2014-03-19 2022-05-24 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10999689B2 (en) 2014-03-19 2021-05-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10771910B2 (en) 2014-03-19 2020-09-08 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
KR20180049256A (ko) * 2014-04-02 2018-05-10 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
KR20210018559A (ko) * 2014-04-02 2021-02-17 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US10469978B2 (en) 2014-04-02 2019-11-05 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
CN108966111A (zh) * 2014-04-02 2018-12-07 韦勒斯标准与技术协会公司 音频信号处理方法和装置
CN108966111B (zh) * 2014-04-02 2021-10-26 韦勒斯标准与技术协会公司 音频信号处理方法和装置
US10129685B2 (en) 2014-04-02 2018-11-13 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9986365B2 (en) 2014-04-02 2018-05-29 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
WO2015152663A3 (ko) * 2014-04-02 2016-08-25 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9860668B2 (en) 2014-04-02 2018-01-02 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device

Also Published As

Publication number Publication date
EP1971979A1 (en) 2008-09-24
RU2008127062A (ru) 2010-02-20
WO2007080211A1 (en) 2007-07-19
AU2007204332A1 (en) 2007-07-19
TW200746871A (en) 2007-12-16
RU2008126699A (ru) 2010-02-20
EP1972180A1 (en) 2008-09-24
CN101366081A (zh) 2009-02-11
JP2009522895A (ja) 2009-06-11
RU2409911C2 (ru) 2011-01-20
BRPI0706306A2 (pt) 2011-03-22
RU2409912C9 (ru) 2011-06-10
EP1971979A4 (en) 2011-12-28
CA2635985A1 (en) 2007-07-19
CA2635024A1 (en) 2007-07-19
US20070160218A1 (en) 2007-07-12
KR20080074223A (ko) 2008-08-12
TW200727729A (en) 2007-07-16
JP2009522894A (ja) 2009-06-11
CN101366321A (zh) 2009-02-11
US20070160219A1 (en) 2007-07-12
KR20110002491A (ko) 2011-01-07
EP1972180A4 (en) 2011-06-29
RU2409912C2 (ru) 2011-01-20
BRPI0722425A2 (pt) 2014-10-29
AU2007204333A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
RU2409911C2 (ru) Декодирование бинауральных аудиосигналов
EP1971978B1 (en) Controlling the decoding of binaural audio signals
KR101358700B1 (ko) 오디오 인코딩 및 디코딩
JP4856653B2 (ja) 被送出チャネルに基づくキューを用いる空間オーディオのパラメトリック・コーディング
US8265284B2 (en) Method and apparatus for generating a binaural audio signal
US9093063B2 (en) Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
AU2005324210C1 (en) Compact side information for parametric coding of spatial audio
KR20070100838A (ko) 오디오 피스 또는 오디오 데이터스트림의 인코딩된스테레오 신호를 생성하는 장치 및 방법
WO2007080225A1 (en) Decoding of binaural audio signals
KR101710544B1 (ko) 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치
KR20080078907A (ko) 양 귀 오디오 신호들의 복호화 제어
WO2007080224A1 (en) Decoding of binaural audio signals
MX2008008829A (en) Decoding of binaural audio signals
MX2008008424A (es) Decodificacion de señales de audio binaurales

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application