KR20070080593A - 부호화/복호화 장치 및 방법 - Google Patents

부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20070080593A
KR20070080593A KR1020070012929A KR20070012929A KR20070080593A KR 20070080593 A KR20070080593 A KR 20070080593A KR 1020070012929 A KR1020070012929 A KR 1020070012929A KR 20070012929 A KR20070012929 A KR 20070012929A KR 20070080593 A KR20070080593 A KR 20070080593A
Authority
KR
South Korea
Prior art keywords
domain
downmix signal
signal
information
downmix
Prior art date
Application number
KR1020070012929A
Other languages
English (en)
Other versions
KR100921453B1 (ko
Inventor
김동수
방희석
임재현
정양원
오현오
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20070080593A publication Critical patent/KR20070080593A/ko
Application granted granted Critical
Publication of KR100921453B1 publication Critical patent/KR100921453B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereophonic System (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 부호화/복호화 방법 및 장치에 관한 것이다. 그 복호화 방법은 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 단계; 호환형 다운믹스 신호를 제2 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환하는 호환 처리 단계; 및 변환된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의한 부호화/복호화 장치 및 방법에 따르면, 멀티 채널 신호를 3D 효과를 가지는 신호로 효율적으로 부호화할 수 있으며, 재생 환경에 따라 적응적으로 최상의 음질을 가지는 오디오 신호를 복원하여 재생할 수 있다.

Description

부호화/복호화 장치 및 방법{Apparatus and method for encoding/decoding signal}
도 1은 본 발명에 따른 부호화/복호화 장치의 전체적인 구성에 대한 일실시예를 나타내는 블록도이다.
도 2는 본 발명에 따른 부호화 장치의 구성에 대한 제1 실시예를 나타내는 블록도이다.
도 3은 본 발명에 따른 복호화 장치의 구성에 대한 제1 실시예를 나타내는 블록도이다.
도 4는 본 발명에 따른 부호화 장치의 구성에 대한 제2 실시예를 나타내는 블록도이다.
도 5는 본 발명에 따른 복호화 장치의 구성에 대한 제2 실시예를 나타내는 블록도이다.
도 6은 본 발명에 따른 복호화 장치의 구성에 대한 제3 실시예를 나타내는 블록도이다.
도 7은 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 8 내지 도 11은 비트스트림 구조에 대한 실시예들을 나타내는 도면이다.
도 12는 본 발명에 따른 임의 다운믹스 신호를 처리하는 부호화/복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 13은 임의 다운믹스 신호의 보상과 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 14는 본 발명에 따른 호환형 다운믹스 신호를 처리하는 복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 15는 호환형 다운믹스 신호의 호환 처리와 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 16은 크로스토크(crosstalk)를 제거하기 위한 복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
본 발명은 부호화/복호화 방법 및 장치에 관한 것으로서, 보다 상세하게는 3D 효과를 가지는 신호의 처리를 위한 오디오 신호의 부호화/복호화 장치 및 그를 이용한 부호화/복호화 방법에 관한 것이다.
멀티 채널 신호는 부호화 장치를 통해 그 보다 적은 수의 채널을 가지는 신호로 다운 믹스되어 복호화 장치로 전송되고, 복호화 장치는 상기 전송된 다은 믹스 신호를 멀티 채널 신호로 복원한 후 3 이상의 스피커, 예를 들어 5.1 채널의 스피커를 이용하여 재생한다.
또한, 멀티 채널 신호는 헤드폰과 같은 2 채널의 스피커를 통해 재생될 수도 있다. 이 경우 사용자가 2 채널 스피커의 소리를 3 이상의 음원으로부터 나오는 것으로 느낄 수 있도록, 멀티 채널 신호를 3D 효과를 가지는 신호로 부호화 또는 복호화하는 3D 처리 기술이 필요하다.
본 발명의 목적은 다양한 재생 환경에서 멀티 채널 신호를 재생할 수 있도록, 3D 효과를 가지는 신호를 효율적으로 처리할 수 있는 부호화/복호화 장치 및 방법을 제공하는데 있다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 방법은, 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 단계; 상기 호환형 다운믹스 신호를 제2 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환하는 호환 처리 단계; 및 상기 변환된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 또 다른 복호화 방법은, 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 단계; 3D 렌더링에 사용될 필터 정보에 상기 호환형 다운믹스 신호의 변환을 위한 호환 정보를 합성하는 단계; 및 상기 합성된 필터 정보를 이용해 상기 호환형 다운믹스 신호에 대해 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 장치는, 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 비트언팩킹부; 호환 정보를 이용하여 상기 호환형 다운믹스 신호를 제2 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환하는 다운믹스호환처리부; 및 상기 변환된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 3D렌더링부를 포함하는 것을 특징으로 한다.
상기 복호화 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 부호화/복호화 방법 및 장치에 대해 상세히 설명한다.
도 1은 본 발명에 따른 부호화/복호화 장치의 전체적인 구성에 대한 일실시예를 블록도로 도시한 것이다.
도 1을 참조하면, 부호화기(100)는 멀티채널인코더(110), 3D렌더링부(120), 다운믹스인코더(130) 및 비트팩킹부(140)를 포함하여 이루어진다.
멀티채널인코더(110)는 복수의 채널들을 가지는 멀티 채널 신호를 스테레오 또는 모노의 다운믹스 신호로 다운 믹스하며, 상기 다운믹스 신호로부터 멀티 채널 신호를 복원하는데 필요한 상기 복수의 채널 들에 대한 공간 정보(spatial information)를 생성한다.
공간 정보는 멀티 채널들 중 두 채널 간 에너지 차이를 나타내는 CLD(Channel Level Difference), 두 채널 신호로부터 세 채널 신호를 생성하기 위 해 사용되는 예측 계수인 CPC(Channel Prediction Coefficient), 두 채널 간 상관 관계(correlation)를 나타내는 ICC(Inter Channel Correlation) 및 두 채널간 시간 차를 나타내는 CTD(Channel Time Difference) 등을 포함할 수 있다.
3D렌더링부(120)는 상기 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성한다. 상기 3D 다운믹스 신호는 2 채널의 신호가 3 이상의 방향성을 가지도록 하여, 헤드폰과 같은 2 채널 스피커를 통해 3차원 입체 음향을 재생할 수 있도록 하기 위한 신호이다. 즉, 3D 다운믹스 신호를 2 채널의 스피커를 통해 재생하면, 상기 재생되는 소리는 3 채널 이상의 음원으로부터 나오는 것으로 사용자에게 들릴 수 있다. 음원의 방향감은 두 귀로 들어오는 소리의 강도차, 시간차, 위상차 중 적어도 하나에 의해 형성되므로, 3D렌더링부(120)는 상기와 같이 인간이 청각으로 음원의 3차원상 위치를 파악하는 메커니즘을 이용하여 다운 믹스 신호를 3D 다운믹스 신호로 변환할 수 있다.
3D렌더링부(120)는 필터를 이용하여 상기 다운 믹스 신호를 필터링함으로써 상기 3D 다운믹스 신호를 생성하는 것이 바람직하며, 상기 필터에 관한 정보, 예를 들어 필터의 계수는 외부로부터 입력될 수 있다. 또한, 3D렌더링부(120)는 상기 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성하기 위해, 멀티채널인코더(110)에서 생성된 공간 정보를 이용할 수도 있다. 예를 들어, 3D렌더링부(120)는 공간 정보를 이용해 상기 다운믹스 신호를 가상의 멀티 채널 신호로 변환한 후, 상기 가상의 멀티 채널 신호를 필터링하여 3D 다운믹스 신호로 변환할 수 있다.
3D렌더링부(120)는 HRTF(Head Related Transfer Function) 필터를 이용해 상 기 다운 믹스 신호를 필터링함으로써, 3D 다운믹스 신호를 생성할 수 있다.
HRTF는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)을 의미하며, 상기 음원의 방위와 고도에 따라 그 값을 달리한다. 방향성이 없는 신호를 특정 방향의 HRTF로 필터링하면, 사람이 들었을 때 마치 상기 특정 방향에서 소리가 들리는 것처럼 느끼게 된다.
3D렌더링부(120)는 주파수 도메인, 예를 들어 DFT(Discrete Fourier Transform) 도메인 또는 FFT(Fast Fourier Transform) 도메인 상에서 3D 다운믹스 신호 생성 작업을 수행할 수 있다. 이 경우, 3D 프로세싱에 앞서 DFT 또는 FFT를 수행하거나, 3D 프로세싱 후 inverse DFT 또는 inverse FFT가 수행될 수 있다.
3D 렌더링부(120)는 QMF/ Hybrid 도메인 상에서도 상기 3D 렌더링을 수행할 수 있으며, 그러한 경우 상기 3D 렌더링에 전후에 QMF/ Hybrid analysis 및 synthesis가 수행될 수 있다.
또한, 상기 3D 렌더링은 time 도메인 상에서도 수행될 수 있다. 3D 렌더링이 수행되는 도메인은 요구되는 음질, 장치의 연산 능력 등을 고려하여 가장 적합한 도메인으로 선택될 수 있다.
다운믹스인코더(130)는 멀티채널인코더(110)로부터 출력되는 다운믹스 신호 또는 3D렌더링부(120)로부터 출력되는 3D 다운믹스 신호를 부호화한다. 다운믹스인코더(130)는 입력되는 다운믹스 신호를 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 코딩 방법을 이용해 부호화할 수 있다.
다운믹스인코더(130)는 상기 3D 처리되지 않은 다운믹스 신호와 3D 처리된 3D 다운믹스 신호를 모두 부호화할 수도 있으며, 이 경우 전송되는 비트스트림에 상기 두 신호가 모두 포함될 수 있다.
비트팩킹부(140)는 상기 부호화된 다운믹스 신호 또는 3D 다운믹스 신호와 공간 정보를 이용하여 비트스트림을 생성한다.
비트스트림은 공간 정보, 포함된 신호가 다운 믹스 신호인지 3D 다운믹스 신호인지 여부에 대한 다운믹스 식별 정보, 3D렌더링부(120)에서 사용된 필터에 관한 정보, 예를 들어 HRTF 계수에 관한 정보 등을 포함할 수 있다.
즉, 복호화 장치로 전송되는 비트스트림에는 3D 처리되지 않은 다운믹스 신호와 인코더에서 3D 처리된 인코더 3D 다운믹스 신호 중 적어도 하나가 포함될 수 있으며, 전송된 비트스트림에 포함된 다운믹스 신호를 복호화 장치에서 식별하기 위한 다운믹스 식별 정보가 포함되는 것이 바람직하다.
전송되는 비트스트림에 상기 다운믹스 신호와 인코더 3D 다운믹스 신호 중 어느 것이 포함되는지 여부는 사용자의 선택, 부호화/복호화 장치의 성능, 재생 환경 등에 의해 결정될 수 있다.
상기 HRTF 계수에 대한 정보는 3D렌더링부(120)에서 사용된 HRTF의 역변환 함수의 계수를 포함할 수 있으며, 3D렌더링부(120)에서 사용된 HRTF의 계수에 대한 간략화된 정보, 예를 들어 상기 계수의 포락선(envelope) 정보만을 포함할 수도 있다. 비트스트림에 HRTF 역변환 함수의 계수를 포함시켜 전송하는 경우, 복호화 장치의 HRTF 계수 변환 작업이 생략될 수 있으므로 복호화 장치의 연산량을 감소시킬 수 있다.
비트스트림은 상기 HRTF를 이용한 필터링에 따른 신호의 에너지 변화에 대한 정보, 즉 필터링 전 신호의 에너지와 필터링 후 신호의 에너지 사이의 차이 또는 비에 대한 정보를 포함할 수 있다.
비트스트림은 HRTF 계수의 포함 여부를 나타내는 정보를 가질 수 있으며, 상기 HRTF 계수가 상기 비트스트림에 포함된 경우 3D렌더링부(120)에서 사용된 HRTF의 계수와 상기 HRTF의 역변환 함수의 계수 중 어느 것을 포함하고 있는지 여부에 대한 정보를 가질 수 있다.
도 1을 참조하면, 본 발명에 따른 복호화 장치는 비트언팩킹부(210), 다운믹스디코더(220), 3D렌더링부(230) 및 멀티채널디코더(240)를 포함하여 이루어진다.
비트언팩킹부(210)는 입력되는 비트스트림으로부터 부호화된 다운믹스 신호와 공간 정보를 추출하고, 다운믹스디코더(220)는 상기 부호화된 다운믹스 신호를 복호화 한다. 다운믹스디코더(220)는 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 복호화 방법을 이용해 상기 부호화된 다운믹스 신호를 복호화할 수 있다.
상기한 바와 같이, 상기 비트스트림으로부터 추출되는 신호는 부호화된 다운믹스 신호 또는 부호화된 인코더 3D 다운믹스 신호일 수 있다. 비트스트림에 포함된 다운믹스 신호가 3D 처리된 신호인지 여부에 대한 정보는 상기 비트스트림에 포함될 수 있다.
다운믹스디코더(220)에 의해 복호화된 인코더 3D 다운믹스 신호는 바로 재생 가능하다.
다운믹스디코더(220)에 의해 복호화된 다운믹스 신호는 3D 렌더링부(230)에 포함된 제3 렌더링부(233)에 의해 3D 효과 처리되어 3D 다운믹스로 변환될 수 있다. 상기와 같이 복호화 장치에서 3D 효과 처리된 디코더 3D 다운믹스 신호는 바로 재생 가능하다.
3D 렌더링부(230)에 포함된 제1 렌더링부(231)는 다운믹스디코더(220)에 의해 복호화된 인코더 3D 다운믹스 신호에 대해 3D 렌더링을 수행하여 다운믹스 신호를 생성한다. 예를 들어, 제1 렌더링부(231)는 상기 인코더 3D 다운믹스 신호의 3D 효과를 제거함으로써 3D 처리되지 않은 다운믹스 신호를 생성할 수 있다.
상기 인코더 3D 다운믹스 신호의 3D 효과는 제1 렌더링부(231)에 의해 완전히 제거되지 않을 수도 있으며, 그에 따라 제1 렌더링부(231)로부터 출력되는 다운믹스 신호는 약간의 3D 효과를 가지는 신호일 수도 있다.
제1 렌더링부(231)는 부호화기(100)의 3D렌더링부(120)에서 사용된 필터의 역변환 필터를 이용하여 상기 인코더 다운믹스 신호를 3D 효과가 제거된 다운믹스 신호로 변환할 수 있다. 3D렌더링부(120)에서 사용된 필터 또는 상기 역변환 필터에 관한 정보는 부호화기(100)로부터 전송되는 비트스트림에 포함될 수 있다.
상기 필터는 HRTF 필터인 것이 바람직하며, 이 경우 부호화기(100)에서 사용된 HRTF의 계수 또는 상기 HRTF의 역변환 계수는 부호화기(100)로부터 전송되는 비트스트림에 포함될 수 있다. 부호화기(100)에서 사용된 HRTF의 계수는 역변환된 후, 제1 렌더링부(231)의 3D 렌더링에 이용된다. 비트스트림에 부호화기(100)에서 사용된 HRTF의 역변환 계수가 포함된 경우, 상기 역변환 과정 없이 상기 비트스트림에 포함된 계수를 이용하여 3D 렌더링을 수행할 수 있으므로 복호화 장치의 연산량이 감소될 수 있다.
입력되는 비트스트림에는 필터 정보, 예를 들어 HRTF 계수의 포함 여부를 나타내는 정보 또는 상기 비트스트림에 포함된 필터 정보가 역변환된 것인지에 대한 정보가 포함될 수 있다.
멀티채널디코더(240)는 상기 3D 효과가 제거된 다운 믹스 신호와 비트스트림으로부터 추출된 공간 정보를 이용하여 3 이상의 채널을 가지는 3D 멀티 채널 신호를 생성한다.
또한, 제2 렌더링부(232)는 상기 3D 효과가 제거된 다운 믹스 신호에 대해 3D 렌더링을 수행하여, 3D 효과를 가지는 3D 다운믹스 신호를 생성할 수 있다. 즉, 제1 렌더링부(231)는 인코더 3D 다운믹스 신호로부터 부호화기(100)의 3D 효과를 제거하고, 제2 렌더링부(231)는 복호화 장치가 가지는 필터를 이용하여 상기 3D 효과가 제거된 다운믹스 신호에 대해 3D 렌더링을 수행하여 복호화 장치에서 원하는 3D 효과를 가지는 컴바인드(combined) 3D 다운믹스 신호를 생성할 수 있다.
본 발명에 따른 복호화 장치는 제1, 2, 3 렌더링부들(231, 232, 233) 중 동일한 동작을 수행하는 2 이상의 유닛들을 하나의 렌더링부로 병합하여 포함할 수 있다.
도 1에 도시된 바와 같이, 부호화기(100)에서 생성된 비트스트림은 상기한 바와 같은 복호화 장치의 구조를 가지는 제1 복호화기(200)와 상이한 제2 복호화 기(300)로 전송될 수도 있으며, 제2 복호화기(300)는 상기 비트스트림에 포함된 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성할 수 있다.
제2 복호화기(300)의 비트언팩킹부(310)는 입력되는 비트스트림으로부터 부호화된 다운믹스 신호와 공간 정보를 추출하고, 다운믹스디코더(320)는 상기 부호화된 다운믹스 신호를 복호화 한다. 다운믹스디코더(320)에 의해 복호화된 다운믹스 신호는 3D 렌더링부(330)에 의해 3D 효과 처리되어 3D 다운믹스로 변환될 수 있다.
도 2는 본 발명에 따른 부호화 장치의 구성에 대한 제1 실시예를 블록도로 도시한 것으로, 도시된 부호화 장치는 3D렌더링부(400, 420) 및 멀티채널인코더(410)를 포함하여 이루어진다. 도 2에 도시된 부호화 장치의 동작들 중 도 1을 참조하여 설명한 부호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 2를 참조하면, 3D렌더링부(400, 420)는 멀티채널인코더(410)의 전단 또는 후단에 위치할 수 있다. 즉, 멀티 채널 신호는 3D렌더링부(400)에서 3D 렌더링된 후 멀티채널인코더(410)로 입력되어 전처리 인코더 3D 다운믹스 신호로 부호화될 수 있으며, 그와 반대로 멀티 채널 신호는 멀티채널인코더(410)에서 다운믹스된 후 3D렌더링부(400)에서 3D 렌더링되어 후처리 인코더 다운믹스 신호로 부호화될 수도 있다.
상기 3D 렌더링이 멀티채널인코더(410)에 의한 다운믹스 이전 또는 이후에 수행되었는지 여부에 대한 정보는 부호화 장치로부터 전송되는 비트스트림에 포함되는 것이 바람직하다.
도 2에서는 3D렌더링부(400, 420)가 멀티채널인코더(410)의 전단 및 후단에 모두 위치하나, 멀티채널인코더(410)의 전단 및 후단 중 어느 하나에 3D렌더링부가 위치하는 것이 바람직하다.
도 3은 본 발명에 따른 복호화 장치의 구성에 대한 제1 실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 3D렌더링부(430, 450) 및 멀티채널디코더(440)을 포함하여 이루어 진다. 도 3에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 3을 참조하면, 3D렌더링부(430, 450)는 멀티채널디코더(440)의 전단 또는 후단에 위치할 수 있다. 즉, 인코더 3D 다운믹스 신호는 3D렌더링부(430)에서 3D 효과가 제거된 후 멀티채널디코더(430)로 입력되어 전처리 3D 멀티 채널 신호로 복호화될 수 있으며, 그와 반대로 인코더 3D 다운믹스 신호는 멀티채널디코더(430)에서 멀티 채널 신호로 복원된 후 3D렌더링부(450)에서 3D 효과가 제거되어 후처리 3D 멀티 채널 신호로 복호화될 수 있다.
상기 인코더 3D 다운믹스 신호를 생성한 부호화 장치에서 3D 렌더링이 다운믹스 이전에 수행된 경우 복호화 장치에서는 3D렌더링이 멀티채널디코딩 이후에 수행되도록 하는 것이 바람직하다. 또한, 부호화 장치에서 3D 렌더링이 다운믹스 이후에 수행된 경우에는, 복호화 장치에서는 3D렌더링이 멀티채널디코딩 이전에 수행되도록 하는 것이 바람직하다.
상기한 바와 같이, 부호화 장치에서 3D 렌더링이 다운믹스 이전 또는 이후에 수행되었는지 여부에 대한 정보는 부호화 장치로부터 전송되는 비트스트림로부터 추출되는 것이 바람직하다.
도 3에서는 3D렌더링부(430, 450)가 멀티채널디코더(430)의 전단 및 후단에 모두 위치하나, 멀티채널디코더(430)의 전단 및 후단 중 어느 하나에 3D렌더링부가 위치하는 것이 바람직하다.
도 4는 본 발명에 따른 부호화 장치의 구성에 대한 제2 실시예를 블록도로 도시한 것으로, 도시된 부호화 장치는 멀티채널인코더(500), 3D렌더링부(510), 다운믹스인코더(520) 및 비트팩킹부(530)를 포함하여 이루어진다. 도 4에 도시된 부호화 장치의 동작들 중 도 1을 참조하여 설명한 부호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 4를 참조하면, 멀티채널인코더(500)는 입력되는 멀티 채널 신호를 이용하여 다운믹스 신호와 공간 정보를 생성하고, 3D렌더링부(510)는 상기 생성된 다운믹스 신호에 대해 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성한다.
부호화 장치에서 상기 다운믹스 신호에 대해 3D 렌더링을 수행할 것인지 여부는 사용자의 선택, 부호화/복호화 장치의 성능, 재생 환경 또는 요구되는 음질 등에 의해 결정될 수 있다.
다운믹스인코더(520)는 멀티채널인코더(500)에서 생성된 다운믹스 신호 또는 3D렌더링부(510)에서 생성된 3D 다운믹스 신호를 부호화한다.
비트팩킹부(530)는 상기 부호화된 다운믹스 신호 또는 부호화된 인코더 3D 다운믹스 신호와 공간 정보를 이용하여 비트스트림을 생성한다. 상기 비트스트림에는 포함된 신호가 3D 효과를 가지지 않는 다운믹스 신호인지 3D 효과를 가지는 인 코더 3D 다운믹스 신호인지 여부에 대한 다운믹스 식별 정보를 포함하는 것이 바람직하다. 즉, 상기 다운믹스 식별 정보는 상기 비트스트림에 다운믹스 신호가 포함되어있는지, 인코더 3D 다운믹스 신호가 포함되어 있는지 또는 상기 두 신호를 모두 포함하는지에 대한 정보를 가질 수 있다.
도 5는 본 발명에 따른 복호화 장치의 구성에 대한 제2 실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(540), 다운믹스디코더(550) 및 3D렌더링부(560)를 포함하여 이루어진다. 도 5에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 5를 참조하면, 비트언팩킹부(540)는 입력되는 비트스트림으로부터 부호화된 다운믹스 신호, 공간 정보 및 다운믹스 식별 정보를 추출한다. 상기 추출된 다운믹스 식별 정보를 이용하여, 상기 비트스트림에 포함된 다운믹스 신호가 3D 효과를 가지지 않는 다운믹스 신호인지, 3D 효과를 가지는 3D 다운믹스 신호인지 여부를 알 수 있다.
상기 비트스트림에 다운믹스 신호와 3D 다운믹스 신호가 모두 포함된 경우, 사용자의 선택, 부호화/복호화 장치의 성능, 재생 환경 또는 요구되는 음질 등에 따라 상기 두 신호 중 어느 하나만이 상기 비트스트림으로부터 추출되어 복호화에 이용될 수도 있다.
다운믹스디코더(550)는 상기 부호화된 다운믹스 신호를 복호화한다. 상기 복호화된 신호가 부호화 장치에서 3D 렌더링된 인코더 3D 다운믹스 신호인 경우, 상 기 복호화된 인코더 3D 다운믹스 신호는 바로 재생 가능하다.
또한, 상기 복호화된 신호가 3D 효과를 가지지 않는 다운믹스 신호인 경우, 3D렌더링부(560)는 상기 다운믹스 신호에 대해 3D 렌더링을 수행하여 디코더 3D 다운믹스 신호를 생성할 수 있다.
도 6은 본 발명에 따른 복호화 장치의 구성에 대한 제3 실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(600), 다운믹스디코더(610), 제1 3D렌더링부(620), 제2 3D렌더링부(630) 및 필터정보저장부(640)를 포함하여 이루어진다. 도 6에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
비트언팩킹부(600)는 입력되는 비트스트림으로부터 부호화된 인코더 3D 다운믹스 신호 및 공간 정보를 추출하고, 다운믹스디코더(610)는 상기 부호화된 인코더 3D 다운믹스 신호를 복호화한다.
제1 3D렌더링부(620)는 부호화 장치에서 3D 렌더링에 사용된 필터의 역변환 필터를 이용하여 상기 복호화된 인코더 3D 다운믹스 신호로부터 3D 효과를 제거한다. 제2 3D렌더링부(630)는 복호화 장치가 가지는 필터를 이용하여 상기 3D 효과가 제거된 신호에 대해 3D 렌더링을 수행하여 3D 효과를 가지는 컴바인드(combined) 3D 다운믹스 신호를 생성한다.
제2 3D렌더링부(630)는 부호화 장치에서 3D 렌더링에 사용된 필터와 상이한 특성을 가지는 필터, 예를 들어 부호화 장치에서 사용된 HRTF와 상이한 계수를 가지는 HRTF를 이용해 3D 렌더링을 수행하는 것이 바람직하다.
필터정보저장부(640)는 3D 렌더링에 사용될 필터에 대한 정보, 예를 들어 HRTF 계수 정보를 저장하고 있으며, 제2 3D렌더링부(630)는 필터정보저장부(640)에 저장된 필터 정보를 이용하여 컴바인드(combined) 3D 다운믹스 신호를 생성할 수 있다.
필터정보저장부(640)는 복수의 필터들에 대한 정보를 저장할 수 있으며, 이 경우 사용자의 선택, 장치의 능력 또는 요구되는 음질 등에 따라 상기 저장된 복수의 필터들에 대한 정보 중 어느 하나의 필터 정보가 선택될 수 있다.
인종 등에 따라 귀 구조가 상이할 수 있으므로, 개개인에게 최적화된 HRTF 계수는 상이할 수 있다. 따라서 도 6에 도시된 바와 같은 구조를 가지는 복호화 장치는 사용자에게 최적화된 3D 다운믹스 신호를 재생할 수 있으며, 3D 다운믹스 신호 의 공급자가 사용하는 HRTF에 관계없이 사용자가 원하는 HRTF 필터에 따른 3D 효과를 가지는 3D 다운믹스 신호를 재생할 수 있다.
도 7은 3D 렌더링을 수행하는 3D 렌더링부의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 바와 같이 특정 도메인에서 3D 렌더링을 수행하기 위해 도메인변환부(700, 720)가 3D렌더링부(710)의 전단 또는 후단에 포함되는 것이 바람직하다.
도 7을 참조하면, 다운믹스 신호는 제1 도메인변환부(700)에 의해 주파수 도메인 상의 신호로 변환된다. 제1 도메인변환부(700)는 다운믹스 신호에 대해 이산 푸리에 변환(Discrete Fourier Transform, DFT)을 수행하여 DFT 도메인으로 변환하거나, 패스트 푸리에 변환(Fast Fourier Transform, FFT)을 수행하여 FFT 도메인으 로 변환할 수 있다.
3D렌더링부(710)은 주파수 도메인 상에서 상기 다운믹스 신호에 공간 정보를 적용하여 멀티 채널 신호를 생성하고, 상기 생성된 멀티 채널 신호를 필터링하여 3D 다운믹스 신호를 생성한다.
상기 생성된 3D 다운믹스 신호는 제2 도메인변환부(720)에 의해 시간 도메인 신호로 변환된다. 제2 도메인변환부(720)는 상기 3D 다운믹스 신호에 대해 역 이산 푸리에 변환(Inverse Discrete Fourier Transform, IDFT) 또는 역 패스트 푸리에 변환(Inverse Fast Fourier Transform, IFFT)을 수행할 수 있다.
상기와 같이 주파수 도메인 상에서 생성된 3D 다운믹스 신호를 시간 도메인 상의 신호로 변환 시, 에일리어싱(aliasing)과 같은 데이터의 손실 또는 왜곡이 발생할 수 있다.
상기 멀티 채널 신호 및 3D 다운믹스 신호의 생성 작업이 주파수 도메인 상에서 이루어지기 위해, 파라미터 밴드 별로 표현되는 공간 정보는 주파수 도메인 상으로 맵핑되고, 필터 계수는 주파수 도메인 상으로 변환된다.
3D렌더링부(710)는 주파수 도메인 상에서 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 곱하여 3D 다운믹스 신호를 생성할 수 있다.
M-point를 가지는 주파수 도메인 상에서 표현되는 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 곱한 후 시간 도메인 상의 신호로 변환하면, 상기 변환된 신호는 M개의 유효 신호를 갖게 된다. 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 M-point를 가지는 주파수 도메인 상에서 표현하기 위해, M-point DFT 또는 M- point FFT를 사용할 수 있다.
유효 신호는 복수의 신호들 중 언제나 0의 값을 가지는 신호를 제외한 신호들의 개수를 의미하는 것으로, 예를 들어 오디오 신호를 x개의 신호로 샘플링을 하여 x개의 유효 신호들을 생성할 수 있다. 또한, 상기 x개의 유효 신호들 중 y개의 유효 신호를 제로 패딩(zero-padding)하면, 유효 신호의 개수가 (x-y)개로 감소되며, a개의 유효 신호를 가지는 신호와 b개의 유효 신호를 가지는 신호를 컨볼루션(convolution)하면 (a+b-1)개의 유효 신호들을 가지는 신호가 생성된다.
상기 다운 믹스 신호, 공간 정보 및 필터 계수를 주파수 도메인 상에서 곱하는 과정은 시간 도메인 상에서 컨볼루션(convolution)을 하는 효과를 갖게 된다. 상기 M-point를 가지는 주파수 도메인 상에서 표현되는 다운 믹스 신호, 공간 정보 및 필터 계수를 시간 도메인 상으로 변환한 후 컨볼루션(convolution)을 하여 신호를 생성하면, 상기 신호는 (3*M-2)개의 유효 신호를 가지게 된다.
따라서 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 주파수 도메인 상에서 곱한 후 시간 도메인 상으로 변환하여 얻어지는 신호의 유효 신호 개수와 시간 도메인 상에서 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 컨볼루션하여 얻어지는 신호의 유효 신호 개수가 상이하게 될 수 있으며, 그로 인해 주파수 도메인 상에서 생성된 3D 다운믹스 신호를 시간 도메인 상의 신호로 변환 시 에일리어싱(aliasing)이 일어날 수 있다.
에일리어싱을 방지하기 위해서는, 시간 도메인 상에서 상기 다운 믹스 신호의 유효 신호 개수, 주파수 도메인 상으로 맵핑된 공간 정보의 유효 신호 개수 및 상기 필터의 계수들의 개수의 합이 상기 M보다 크지 않아야 한다. 주파수 도메인 상으로 맵핑된 공간 정보의 유효 신호 개수는 상기 주파수 도메인의 포인트에 의해 결정된다. 즉, 파라미터 밴드 별로 표현되는 공간 정보가 N-point를 가지는 주파수 도메인 상으로 맵핑되는 경우, 상기 맵핑된 공간 정보의 유효 신호 개수는 N이 된다.
도 7에 도시된 바와 같이, 제1 도메인변환부(700)는 제1 제로패딩부(711) 및 제1 주파수도메인변환부(712)를 포함하며, 3D렌더링부(710)은 맵핑부(711), 시간도메인변환부(712), 제2 제로패딩부(713), 제2 주파수도메인변환부(714), 멀티채널신호생성부(715), 제3 제로패딩부(716), 제3 주파수도메인변환부(717) 및 3D 다운믹스신호생성부(718)를 포함할 수 있다.
제1 제로패딩부(711)는 시간 도메인 상에서 X개 샘플을 가지는 다운 믹스 신호에 대해 제로 패딩(zero-padding)을 수행하여, 샘플의 개수를 M개까지 증가시키고, 제1 주파수도메인변환부(712)는 상기 제로 패딩된 다운 믹스 신호를 M-point를 가지는 주파수 도메인 상의 신호로 변환한다. 상기 제로 패딩된 다운 믹스 신호의 샘플 개수는 M이나, 그 중 유효 신호의 개수는 X개이다.
맵핑부(711)는 파라미터 밴드 별로 표현된 공간 정보를 N-point를 가지는 주파수 도메인 상으로 맵핑시키고, 시간도메인변환부(712)는 상기 주파수 도메인 상으로 맵핑된 공간 정보를 시간 도메인 상으로 변환한다. 상기 시간 도메인 상으로 변환된 공간 정보의 샘플 개수는 N이다.
제2 제로패딩부(713)는 시간 도메인 상에서 N개 샘플을 가지는 상기 공간 정 보에 대해 제로 패딩(zero-padding)을 수행하여, 샘플의 개수를 M개까지 증가시키고, 제2 주파수도메인변환부(714)는 상기 제로 패딩된 공간 정보를 M-point를 가지는 주파수 도메인 상의 신호로 변환한다. 상기 제로 패딩된 공간 정보의 샘플 개수는 M이나, 그 중 유효 신호의 개수는 N개이다.
멀티채널신호생성부(715)는 M-point를 가지는 주파수 도메인 상에서 표현된 상기 다운 믹스 신호와 공간 정보를 곱하여 멀티 채널 신호를 생성한다. 상기와 같은 주파수 도메인 상의 곱에 의해 생성된 멀티 채널 신호의 유효 신호 개수는 M개이며, 상기와 같은 유효 신호를 가지는 다운 믹스 신호와 공간 정보의 시간 도메인 상에서의 컨볼루션에 의해 생성되는 멀티 채널 신호의 유효 신호 개수는 (X+N-1)개가 된다.
제3 제로패딩부(716)는 시간 도메인 상에서 표현되는 Y개의 필터 계수들에 대해 제로 패딩(zero-padding)을 수행하여 샘플의 개수를 M개까지 증가시키고, 제3 주파수도메인변환부(717)는 상기 제로 패딩된 필터 계수들을 M-point를 가지는 주파수 도메인 상의 신호로 변환한다. 상기 제로 패딩된 필터 계수들의 샘플 개수는 M이나, 그 중 유효 신호의 개수는 Y개이다.
3D다운믹스신호생성부(718)는 상기 생성된 멀티 채널 신호와 상기 M-point를 가지는 주파수 도메인 상으로 변환된 필터 계수들을 곱하여 3D 다운믹스 신호를 생성한다. 상기와 같은 주파수 도메인 상의 곱에 의해 생성된 3D 다운믹스 신호의 유효 신호 개수는 M개이며, 상기한 바와 같은 유효 신호를 가지는 멀티 채널 신호와 필터 계수들의 시간 도메인 상에서의 컨볼루션에 의해 생성되는 3D 다운믹스 신호 의 유효 신호 개수는 (X+N+Y-2)개가 된다.
제1, 2, 3 주파수 도메인변환부(712)에서 변환되는 주파수 도메인의 포인트 M이 상기 (X+N+Y-2) 이상이 되도록 함으로써, 에일리어싱을 방지할 수 있다. 즉, 제1, 2, 3 주파수 도메인변환부(712)가 상기 (X+N+Y-2) 이상인 M-point DFT 또는 M-point FFT를 사용하여 도메인 변환을 수행하도록 함으로써, 에일리어싱을 방지할 수 있다.
상기 주파수 도메인으로의 변환에는 상기 DFT, FFT 뿐 아니라, QMF(Quadrature Mirror Filter) 이외의 필터 뱅크도 사용될 수 있으며, 상기 3D 다운믹스 신호 생성에 HRTF 필터가 이용될 수 있다.
상기 공간 정보의 유효 신호 개수를 조정하는 방법으로는 상기한 방법 이외의 조정 방법들도 사용 가능하며, 상기 조정 방법들 중 효율적이고 연산량이 적은 방법을 선택하여 사용할 수도 있다.
에일리어싱은 주파수 도메인과 시간 도메인 사이의 변환 과정 이외에 QMF/Hybrid 도메인으로의 변환 과정에서도 발생할 수 있으며, 상기한 바와 같은 에일리어싱 방지 방법은 상기 QMF/Hybrid 도메인으로의 변환 과정에서도 발생하는 에일리어싱에도 적용 가능하다.
또한, 멀티 채널 신호의 생성 또는 3D 다운믹스 신호의 생성에 사용되는 공간 정보가 변화함에 따라, 상기 공간 정보의 변화 구간에서 신호의 불연속(discontinuity)이 발생할 수 있으며, 상기와 같은 불연속은 출력 신호(output signal)에 노이즈 형태로 나타날 수 있다.
상기와 같은 노이즈는, 변화 구간에서 상기 공간 정보가 급격히 변화하지 않도록 하는 스무딩(smoothing) 방법을 적용함으로써 감소시킬 수 있다.
예를 들어, 서로 인접한 제1 프레임(frame)과 제2 프레임에 각각 적용되는 제1 공간 정보와 제2 공간 정보가 상이함에 따라 프레임간의 불연속이 발생할 수 있다.
이 경우, 상기 제1 공간 정보를 상기 제2 공간 정보를 이용해 보정하거나, 제2 공간 정보를 상기 제1 공간 정보를 이용해 보정하여, 상기 제1, 2 공간 정보 사이의 차를 줄임으로써 불연속으로 인해 발생하는 노이즈를 감소시킬 수 있다. 구체적으로는, 상기 제1, 2 공간 정보 중 적어도 하나를 상기 제1, 2 공간 정보의 평균으로 대체하여 노이즈를 감소시킬 수 있다.
또한, 공간 정보가 대응되는 파라미터 밴드(parameter band)들 중 서로 인접한 두 밴드 사이의 불연속에 의해서도 노이즈가 발생할 수 있다. 즉, 서로 인접한 제1 파라미터 밴드와 제2 파라미터 밴드에 각각 대응되는 제3 공간 정보와 제4 공간 정보가 상이함에 따라 파라미터 밴드들 간의 불연속이 발생할 수 있다.
이 경우, 상기 제3 공간 정보를 상기 제4 공간 정보를 이용해 보정하거나, 제4 공간 정보를 상기 제3 공간 정보를 이용해 보정하여, 상기 제3, 4 공간 정보 사이의 차를 줄임으로써 불연속으로 인해 발생하는 노이즈를 감소시킬 수 있다. 구체적으로는, 상기 제3, 4 공간 정보 중 적어도 하나를 상기 제3, 4 공간 정보의 평균으로 대체하여 노이즈를 감소시킬 수 있다.
인접한 프레임간 또는 파라미터 밴드들간의 불연속에 의해 발생하는 노이즈 는 상기한 방법 이외에도 다음과 같은 방법들에 의해 감소될 수 있다.
해닝 윈도우(Hanning window)와 같은 윈도우를 각 프레임들에 곱하고, 오버랩 앤 애드(overlap and add) 형태로 진행하여 프레임 간의 급격한 변화를 줄이는 방법을 사용할 수도 있고, 또한 서로 다른 공간 정보가 적용된 출력 신호에 대해 스무딩(smoothing)을 하여 상기 출력 신호의 프레임간에 급격한 변화가 일어나지 않도록 조정하는 방법을 사용할 수도 있다.
DFT 도메인 상에서 공간 정보, 예를 들어 ICC를 사용하여 채널 간의 디코릴레이션(decorrelation)을 조정하는 방법에 대한 실시예는 다음과 같다.
OTT 또는 TTT 박스의 특정 밴드에 적용되는 ICC 값이 A인 경우, 상기 박스로 입력되는 신호의 계수에 (A+(1-A*A)^0.5*i)를 곱하여 디코릴레이션(decorrelation)을 조정할 수 있다. 이때 허수 부분은 양과 음의 값 중 선택될 수 있다.
상기 계수에 곱해지는 값은 신호의 특성, 예를 들어 신호의 에너지 레벨, 신호의 주파수 별 에너지 특성 또는 ICC 값이 적용되는 박스에 따라 적절한 가중치(weighting factor)를 가질 수 있으며, 그에 따라 디코릴레이션(decorrelation) 효과를 조정할 수 있고, 프레임 간의 스무딩(smoothing)이나 인터폴레이션(interpolation) 등을 적용할 수 있다.
도 7을 참조하여 설명한 바와 같이 주파수 도메인 상에서 3D 다운믹스 신호를 생성하기 위해, HRTF 또는 주파수 도메인으로 변환된 HRIR(Head Related Impulse Response)이 사용될 수 있다.
또한, 도 7에 도시된 바와 달리, time domain 상에서 HRIR(Head Related Impulse Response)와 다운믹스 신호를 컨볼루션함에 의해 3D 다운믹스 신호를 생성할 수 있으며, 주파수 도메인 상에서 생성된 3D 다운믹스 신호에 대해 역 도메인 변환을 수행하지 않고 주파수 도메인 상에 남겨둘 수도 있다.
상기 time domain 상에서의 컨볼루션을 위해, FIR(Finite Impulse Response) filter 또는 IIR(Infinite Impulse Response) filter가 사용될 수 있다.
상기한 바와 같이, 본 발명에 따른 부호화 장치 또는 복호화 장치는 3D 다운믹스 신호를 생성하기 위해 i) 주파수 도메인 상에서 HRTF 또는 주파수 도메인으로 변환된 HRIR(Head Related Impulse Response)을 이용하는 방법 또는 ii) time domain 상에서 HRIR(Head Related Impulse Response)을 컨볼루션하는 방법을 사용할 수 있으며, 상기 두 방법을 조합하여 사용할 수도 있다.
도 8 내지 도 11은 비트스트림 구조에 대한 실시예들을 나타내는 도면이다.
도 8을 참조하면, 비트스트림은 멀티 채널 신호를 생성하기 위한 정보를 포함하는 멀티 채널 디코딩 정보 필드, 3D 다운믹스 신호를 생성하기 위한 정보를 포함하는 3D 렌더링 정보 필드 및 상기 두 정보를 사용하기 위한 헤더 정보를 가지는 헤더 필드로 구성될 수 있다. 또한, 상황에 따라 상기 세 필드 중 일부 필드만을 사용하여 비트스트림을 구성할 수도 있다.
도 9를 참조하면, 복호화에 필요한 부가 정보를 나타내기 위한 비트스트림은 부호화된 신호 전체에 대한 헤더 정보를 가지는 specific configuration 헤더 필드와, 각각 프레임(frame) 단위의 부가 정보를 가지는 복수의 프레임 데이터 필드들로 구성될 수 있다. 상기 프레임 데이터 필드는 프레임 단위의 헤더 정보를 가지는 프레이 헤더 필드와 프레임 단위의 공간 정보를 가지는 프레임 파라미터 데이터 필드를 포함할 수 있다. 또한, 도 9에 도시된 바와는 달리, 상기 프레임 데이터 필드는 공간 정보(spatial information)를 포함하는 프레임 파라미터 데이터 필드만으로 구성될 수도 있다.
상기 프레임 파라미터 데이터 필드는 플래그(flag)와 파라미터 데이터(parameter data)로 구성되는 모듈을 복수 개 포함할 수 있다. 상기 모듈은 공간 정보 등의 파라미터 데이터 및 그로부터 생성된 신호의 음질 향상을 위한 데이터, 예를 들어 다운믹스 게인, 스무딩 데이터(smoothing data)의 집합을 의미한다.
상기 프레임 헤더 필드에서 지정한 정보에 관련된 모듈 데이터를 별도의 플래그 없이 받는 경우, 프레임 헤더 필드에서 지정한 정보를 더 세세히 분류하는 경우 또는 프레임 헤더 필더에서 지정하지 않는 정보에 대해 별도의 플래그와 정보를 받는 경우에는, 상기 플래그가 생략될 수도 있다.
한편, 위 단락에서 설명한 3D 다운믹스 신호와 관련된 부가 정보들, 예를 들어 HRTF 계수 정보 등은 상기 specific configuration 헤더 필드, 프레임 헤더 및 프레임 파라미터 데이터 필드 중 적어도 하나에 포함될 수 있다.
도 10을 참조하면, 비트스트림은 멀티 채널 신호를 생성하기 위한 정보를 포함하는 멀티 채널 디코딩 정보 필드, 3D 다운믹스 신호를 생성하기 위한 정보를 포함하는 3D 렌더링 정보 필드로 구성될 수 있다.
상기와 같은 구성을 가지는 비트스트림을 입력 받은 복호화 장치는 재생하고자 하는 신호에 따라 상기 두 필드 중 어느 하나의 필드만을 읽어 들여 복호화에 이용하고, 다른 하나의 필드는 스킵(skip)할 수 있다.
즉, 멀티 채널 신호를 생성하고자 하는 경우, 복호화 장치는 3D 렌더링 정보 필드를 스킵하고, 멀티 채널 디코딩 정보 필드에 포함된 정보만을 읽어 들일 수 있다. 또한, 3D 다운믹스 신호를 생성하고자 하는 경우, 복호화 장치는 멀티 채널 디코딩 정보 필드를 스킵하고, 3D 렌더링 정보 필드에 포함된 정보만을 읽어 들일 수 있다.
복수의 필드들 중 일부를 스킵하는 방법에 대한 실시예들은 다음과 같다.
첫째, 필드의 전체 비트 수에 대한 필드 길이 정보를 비트스트림에 포함시켜, 상기 비트수에 해당하는 데이터를 스킵함으로써 원하는 필드를 스킵할 수 있다. 상기 필드 길이 정보는 해당 필드의 시작 부분에 위치하는 것이 바람직하다.
둘째, 필드의 끝 부분 또는 처음 부분에 싱크워드(syncword)를 위치시켜, 상기 싱크워드(syncword)를 이용해 필드의 위치를 파악함으로써 원하는 필드를 스킵할 수 있다.
셋째, 필드의 길이가 미리 정해져 고정되어 있는 경우에는, 상기 고정된 길이에 해당하는 데이터만큼을 스킵함으로써 원하는 필드를 스킵할 수 있다. 상기 필드의 고정 길이 정보는 비트스트림에 포함되거나, 복호화 장치에 저장되어 있을 수 있다.
넷째, 상기한 바와 같은 세 가지의 필드 스킵 방법 중 2 이상을 조합해 사용함으로써, 복수의 필드들 중 원하는 필드를 스킵할 수도 있다.
상기 스킵 정보, 예를 들어 필드 길이 정보, 싱크워드(syncword) 또는 고정 길이 정보는 도 9에 도시된 specific configuration 헤더 필드, 프레임 헤더 필드 및 프레임 파라미터 데이터 필드 중 적어도 어느 하나에 포함되거나, 상기 세 필드 이외의 새로이 정의되는 필드에 포함될 수 있다.
예를 들어, 멀티 채널 신호를 생성하고자 하는 경우, 복호화 장치는 3D 렌더링 정보 필드의 처음 부분에 포함된 필드 길이 정보, 멀티 채널 디코딩 정보 필드의 시작 부분에 포함된 싱크워드(syncword) 또는 3D 렌더링 정보 필드의 고정 길이 정보를 이용하여, 3D 렌더링 정보 필드를 스킵하고 멀티 채널 디코딩 정보 필드에 포함된 정보만을 읽어 들일 수 있다.
또한, 3D 다운믹스 신호를 생성하고자 하는 경우, 복호화 장치는 멀티 채널 디코딩 정보 필드의 시작 부분에 포함된 필드 길이 정보, 3D 렌더링 정보 필드의 시작 부분에 포함된 싱크워드(syncword) 또는 멀티 채널 디코딩 정보 필드의 고정 길이 정보를 이용하여, 멀티 채널 디코딩 정보 필드를 스킵하고 3D 렌더링 정보 필드에 포함된 데이터만을 읽어 들일 수 있다.
비트스트림은 포함하고 있는 데이터가 멀티 채널 신호를 생성하기 위한 것인지 3D 다운믹스 신호 생성을 위한 것인지 여부에 대한 정보를 가질 수 있다.
비트스트림에 3D 다운믹스 신호 생성을 위한 데이터만 포함되었으나, 예를 들어 HRTF 필터 계수만이 포함되고 CLD 등과 같은 공간 정보가 포함되지 않았으나 멀티 채널 신호를 재생하고자 하는 경우, 상기 공간 정보 없이 다운믹스 신호만을 이용하여 멀티 채널 신호를 복호화할 수도 있다.
예를 들어, 다운믹스 신호로부터 두 채널에 대한 공간 정보인 스테레오 파라 미터를 구한 후, 상기 스테레오 파라미터를 재생하고자 하는 복수의 채널들에 대한 공간 정보로 변환하고, 상기 다운믹스 신호에 상기 변환된 공간 정보를 적용하여 멀티 채널 신호를 생성할 수 있다.
반대로, 비트스트림에 멀티 채널 신호 생성을 위한 데이터만이 포함되었으나 3D 다운믹스 신호를 재생하고자 하는 경우, 별도의 복호화 작업 없이 다운믹스 신호를 재생하거나. 복호화 장치에 포함된 별도의 HRTF 필터를 이용해 상기 다운믹스 신호에 대해 3D 프로세싱을 수행하여 3D 다운믹스 신호를 재생할 수도 있다.
또한, 비트스트림에 멀티 채널 신호 생성을 위한 데이터와 3D 다운믹스 신호 생성을 위한 데이터가 모두 포함된 경우, 사용자가 상기 두 신호 중 재생할 신호를 선택하도록 할 수 있다.
이하에서는 복호화 과정을 나타내는 신택스(syntax)를 예로 들어, 일부 데이터를 스킵하는 방법에 대한 실시예를 설명하기로 한다.
다음은 프레임 단위로 오디오 신호를 복호화하는 과정을 나타내는 신택스(syntax)이다.
Figure 112007011616118-PAT00001
상기 신택스(syntax)에서, Ottdata()와 TttData()는 CLD, ICC, CPC 등의 공간 정보와 같이 다운믹스 신호를 멀티 채널 신호로 복원하는데 필수적인 파라미터들을 나타내는 모듈이다. SmgData(), TempShapeData(), ArbitraryDownmixData(), ResidualData()는 부호화 과정에서의 왜곡을 보정하여 음질을 향상시키기 위해 필요한 정보들을 나타내는 모듈이다.
예를 들어, 복호화 과정에서 CLD, ICC 또는 CPC와 같은 파라미터와 ArbitraryDownmixData()에 포함된 정보만을 사용하는 경우, TttData()와 ArbitraryDownmixData() 사이에 존재하는 SmgData()와 TempShapeData()은 필요하지 않게 된다. 따라서 상기 SmgData() 모듈과 TempShapeData() 모듈은 스킵하는 것이 효율적이다.
다음은 일부 모듈을 스킵하는 방법에 대한 제1 실시예를 나타내는 신택 스(syntax)이다.
Figure 112007011616118-PAT00002
상기 신택스(syntax)에 나타난 바와 같이, SkipData() 모듈을 스킵하고자 하는 모듈의 앞에서 정의하고, 상기 SkipData() 모듈 내부에서 스킵하고자 하는 모듈의 전체 비트 수(bsSkipBits)를 지정한다.
즉, 스킵할 SmgData()와 TempShapeData() 모듈에 사용되는 전체 비트수가 150bit라고 가정하면, 상기 SmgData()와 TempShapeData() 모듈 앞에 SkipData() 모듈을 정의하고, bsSkipBits를 150bit로 지정함으로써, 150bit에 해당하는 SmgData()와 TempShapeData() 모듈을 스킵할 수 있다.
다음은 일부 모듈을 스킵하는 방법에 대한 제2 실시예를 나타내는 신택스(syntax)이다.
Figure 112007011616118-PAT00003
상기 신택스(syntax)에 나타난 바와 같이, 싱크워드(syncword)의 사용 여부에 대한 정보를 가지는bsSkipSyncflag와 스킵되는 모듈의 끝 부분에 위치하는 bsSkipSyncword를 이용하여, 불필요한 모듈을 스킵할 수 있다.
즉, 상기 bsSkipSyncflag를 싱크워드(syncword)를 사용하는 것으로 지정하면, 상기 플래그 이하의 모듈은 싱크워드(syncword)가 나타날 때까지 스킵된다. 따라서 상기 신택스(syntax)에서는, bsSkipSyncflag와 bsSkipSyncword 사이의 SmgData() 및 TempShapeData() 모듈이 스킵될 수 있다.
도 11을 참조하면, 비트스트림은 멀티 채널 신호의 재생을 위한 헤더 정보를 가지는 멀티 채널 헤더 필드, 3D 다운믹스 신호의 재생을 위한 헤더 정보를 가지는 3D 렌더링 헤더 필드 및 각각 멀티 채널 신호의 재생을 위한 데이터를 가지는 복수의 멀티 채널 디코딩 정보 필드들을 포함한다.
멀티 채널 신호를 재생하고자 하는 경우, 복호화 장치는 3D 렌더링 헤더 필드를 스킵하고, 멀티 채널 헤더 필드에 포함된 헤더 정보와 멀티 채널 디코딩 정보 필드에 포함된 데이터를 읽어 들여 멀티 채널 신호를 생성한다.
상기 3D 렌더링 헤더 필드를 스킵하는 방법에 대한 실시예는, 상기 도 10을 참조하여 설명한 필드 스킵 방법과 동일하므로 생략하기로 한다.
3D 다운믹스 신호를 재생하고자 하는 경우, 복호화 장치는 멀티 채널 디코딩 정보 필드에 포함된 데이터와 3D 렌더링 헤더 필드에 포함된 헤더 정보를 이용하여 3D 다운믹스 신호를 생성할 수 있다. 예를 들어, 복호화 장치는 멀티 채널 디코딩 정보 필드에 포함된 다운 믹스 신호와 3D 렌더링 헤더 필드에 포함된 HRTF 계수 정보를 이용하여 3D 다운믹스 신호를 생성할 수 있다.
도 12는 본 발명에 따른 임의 다운믹스 신호를 처리하는 부호화/복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 임의 다운믹스 신호는 부호화기(800)에 포함된 멀티채널인코더(801)에 의해 생성된 다운믹스 신호가 아닌 다운믹스 신호를 의미한다. 도 12에 도시된 부호화/복호화 장치의 동작 중 도 1을 참조하여 설명한 부호화/복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 12를 참조하면, 부호화기(800)는 멀티채널인코더(801), 공간정보합성부(802) 및 비교부(803)를 포함하여 이루어진다.
멀티채널인코더(801)는 멀티 채널 신호를 스테레오 또는 모노의 다운믹스 신호로 다운 믹스하며, 상기 다운믹스 신호로부터 멀티 채널 신호를 복원하는데 필요한 공간 정보를 생성한다.
비교부(803)는 상기 생성된 다운믹스 신호와 임의 다운믹스 신호를 비교하여, 상기 임의 다운믹스 신호를 보상하여 상기 다운믹스 신호에 근사한 신호로 변 환하기 위한 보상 정보를 생성한다. 복호화 장치는 상기 보상 정보를 이용해 임의 다운믹스 신호를 보상한 후, 상기 보상된 임의 다운믹스 신호를 이용해 멀티 채널 신호를 생성함으로써, 원본 신호에 더욱 유사한 멀티 채널 신호를 복원할 수 있다.
상기 보상 정보는 멀티채널인코더(801)에서 생성된 다운믹스 신호와 상기 임의 다운믹스 신호의 차에 대한 정보일 수 있다. 복호화 장치는 상기 임의 다운믹스 신호에 상기 차 정보(difference information)에 상응하는 신호를 더하여, 상기 임의 다운믹스 신호를 보상할 수 있다.
또한, 상기 차 정보는 상기 다운믹스 신호와 임의 다운믹스 신호 사이의 에너지 레벨 차이에 대한 정보인 다운믹스 게인일 수 있다.
상기 다운믹스 게인은 주파수 밴드 별로 구해질 수도 있고, 시간(time) 혹은 시간 슬롯(time slot)별로 구해질 수도 있으며, 채널 별로 구해질 수도 있다. 상기 세 가지 방법을 조합하여 구할 수도 있다. 예를 들면, 일부 다운믹스 게인은 주파수 밴드 별로 구해지고, 또 다른 일부의 다운믹스 게인은 시간 슬롯(time slot)별로 구해질 수도 있다.
또한, 상기 다운믹스 게인은 파라미터 밴드 별로 구해지거나, 임의 다운믹스 신호에 최적화된 주파수 대역 별로 구해질 수도 있다. 상기 파라미터 밴드는 파라미터 형태의 공간 정보들이 적용되는 주파수 간격을 말한다.
상기 구해진 다운믹스 신호와 임의 다운믹스 신호의 에너지 레벨 차이는 양자화될 수도 있다. 상기 구해진 에너지 레벨 차이를 양자화하기 위한 양자화 레벨의 해상도는 CLD(Channel Level Difference)의 양자화 레벨 해상도와 동일하거나 상이할 수 있다. 또한, 상기 두 다운믹스 신호 간 에너지 레벨 차이의 양자화 레벨은 상기 CLD의 양자화 레벨의 일부 또는 전부를 사용하거나, 상기 CLD의 양자화 레벨의 일부 또는 전부와 새로 정의된 양자화 레벨을 조합하여 사용할 수 있다.
상기 두 다운믹스 신호 간 에너지 레벨 차이의 해상도는 CLD(Channel Level Difference)의 해상도보다 평균적으로 작으므로, 상기 구해진 에너지 레벨 차이를 양자화하기 위한 양자화 레벨의 해상도는 상기 CLD의 양자화 레벨 해상도보다 세밀한 값을 가지도록 할 수 있다.
임의 다운믹스 신호를 보상하기 위한 보상 정보는 멀티 채널 신호 중 상기 임의 다운믹스 신호 또는 다운믹스 게인을 이용하여 복원될 수 없는 성분에 대한 레지듀얼 정보를 포함하는 확장 정보일 수 있다. 복호화 장치는 임의 다운믹스 신호 또는 다운믹스 게인을 이용하여 복원될 수 없는 성분까지 상기 확장 정보를 이용해 복원함으로써, 원본 신호에 가까운 멀티 채널 신호를 복원할 수 있다.
상기 확장 정보를 생성하는 방법에 대한 실시예들은 다음과 같다.
멀티채널인코더(801)는 입력되는 멀티 채널 신호 중 상기 생성된 다운믹스 신호에 포함되지 않은 성분에 대한 정보를 제1 확장 정보로 생성할 수 있다. 복호화 장치는 다운믹스 신호와 공간 정보를 이용하여 멀티 채널 신호를 생성하는 단계에서 제1 확장 정보를 적용함으로써, 원본 신호에 가까운 멀티 채널 신호를 복원할 수 있다.
멀티채널인코더(801)는 상기 다운믹스 신호와 공간 정보를 이용해 멀티 채널 신호를 복원하고, 상기 복원된 멀티 채널 신호와 원본 멀티 채널 신호 사이의 차를 구함으로써 상기 제1 확장 정보를 구할 수 있다.
비교부(803)는 멀티채널인코더(801)에서 생성된 다운믹스 신호 중 임의 다운믹스 신호에 없는 성분, 즉 다운믹스 게인을 이용해 보상될 수 없는 성분들에 대한 정보를 제2 확장 정보로 생성할 수 있다. 복호화 장치는 상기 제2 확장 정보를 이용해 임의 다운믹스 신호를 상기 다운믹스 신호에 보다 가깝도록 보상할 수 있다.
상기 확장 정보는 상기한 방법 이외에 여러 레지듀얼 코딩(residual coding) 방법을 이용해 생성될 수 있다.
상기 다운믹스 게인과 확장 정보가 함께 보상 정보로 사용될 수 있다. 예를 들어, 전체 주파수 대역에 대해 상기 다운믹스 게인과 확장 정보를 구하거나, 일부 주파수 대역에 대해서는 상기 다운믹스 게인을 구하고 나머지 주파수 대역에 대해서는 상기 확장 정보를 구하여 보상 정보로서 사용할 수 있다. 일실시예로, 저주파 대역에 대해서는 상기 확장 정보를 보상 정보로 사용하고, 고주파 대역에 대해서는 상기 다운믹스 게인을 보상 정보로 사용할 수 있다.
또한, 저주파 대역 이외에 피크(peak) 또는 노치(notch) 등과 같이 음질에 중요한 영향을 미치는 부분도 상기 확장 정보를 보상 정보로 사용하는 것이 바람직하다.
공간정보합성부(802)는 멀티채널인코더(801)에서 생성된 멀티 채널 신호 복원을 위한 기본 공간 정보, 예를 들어 CLD, CPC, ICC, CTD 등과 상기 보상 정보를 공간 정보로 합성한다. 즉, 복호화 장치로 전송되는 공간 정보는 멀티 채널 신호 복원을 위한 기본 공간 정보, 다운믹스 게인, 제1, 2 확장 정보 등을 포함할 수 있 다.
상기 합성된 공간 정보는 임의 다운믹스 신호와 함께 비트스트림에 포함되어 복호화 장치로 전송된다.
상기 확장 정보와 임의 다운믹스 신호는 AAC, MP3 또는 BSAC 등의 인코더를 이용해 부호화될 수 있다. 상기 확장 정보를 부호화하는 인코더와 상기 임의 다운믹스 신호를 부호화하는 인코더는 동일하거나, 상이할 수도 있다.
상기 두 오디오 인코더가 동일한 경우, 복호화 장치에서도 한 종류의 오디오 디코더만으로 복호화 작업이 가능하다. 이 경우, 임의 다운믹스 신호의 복호화는 항상 가능한 상태에서 시작하므로, 상기 확장 정보를 복호화하지 못하는 경우는 발생하지 않는다. 다만, 임의 다운믹스 신호는 복호화된 PCM 신호의 형태로 복호화 장치에 입력되므로, 상기 임의 다운믹스 신호에 사용된 오디오 코덱의 종류를 알 수 없고, 그로 인해 확장 정보에 사용된 오디오 코덱의 종류도 알 수 없다.
따라서, 임의 다운믹스 신호와 확장 정보의 부호화에 사용된 오디오 코덱의 종류에 대한 정보를 비트스트림에 삽입하는 것이 바람직하다.
상기 오디오 코덱 종류에 대한 정보는 비트스트림 중 specific configuration 헤더 필드에 삽입되고, 복호화 장치는 상기 비트스트림의 specific configuration 헤더 필드로부터 상기 정보를 추출하여 확장 정보의 복호화에 이용한다.
상기 두 오디오 인코더가 상이한 경우, 확장 정보의 복호화가 불가능한 상황이 발생할 수 있으며, 그러한 경우 확장 정보의 끝 지점을 알 수 없기 때문에 더 이상의 복호화 작업 진행이 불가능해진다.
따라서, 임의 다운믹스 신호와 확장 정보에 사용된 오디오 코덱의 종류에 대한 정보를 비트스트림 중 specific configuration 헤더 필드에 삽입하고, 복호화 장치는 상기 비트스트림의 specific configuration 헤더 필드로부터 상기 정보를 추출하여 확장 정보의 복호화에 이용한다. 확장 정보를 복호화하기 위한 디코더가 복호화 장치에 존재하지 않는 경우, 확장 정보의 복호화작업을 진행하지 아니하고 그 다음 정보를 읽는 과정을 수행한다.
확장 정보에 대해 사용되는 코덱의 종류에 대한 정보는 비트스트림 중 Specific Configuration 헤더 필드에 포함된 특정 신택스 엘리먼트(syntax element)를 통해 표현될 수 있다. 예를 들어, 상기 코덱 정보는 다음의 표 1에 나타난 바와 같은 bsResidualCodecType이라는 4 비트의 신택스 엘리먼트(syntax element)에 의해 표현될 수 있다.
표 1.
Figure 112007011616118-PAT00004
상기 확장 정보는 상기 레지듀얼 정보와 함께 채널 확장 정보를 포함할 수 있다. 상기 채널 확장 정보는 공간 정보에 의해 복호화되는 멀티 채널 신호보다 많 은 수의 채널을 가지는 신호로 확장하기 위한 정보를 의미하며, 예를 들어 5.1 채널 또는 7.1 채널 신호를 9.1 채널 신호로 확장하기 위한 정보일 수 있다.
상기 확장 정보는 비트스트림에 포함되어 복호화 장치로 전송될 수 있으며, 복호화 장치는 상기 확장 정보를 이용하여 다운믹스 신호를 보상하거나, 멀티 채널 신호의 채널을 확장시킬 수 있다.
또한, 복호화 장치는 비트스트림에 포함된 상기 확장 정보를 추출하지 아니하고 스킵(skip)할 수도 있다. 예를 들어, 비트스트림에 포함된 3D 다운믹스 신호를 이용하여 멀티 채널 신호를 생성하거나, 비트스트림에 포함된 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성하고자 하는 경우, 복호화 장치는 비트스트림 중 상기 확장 정보를 스킵(skip)하는 것이 바람직하다.
비트스트림 중 상기 확장 정보를 스킵하는 방법은 도 10을 참조하여 설명한 스킵 방법과 동일할 수 있다.
예를 들어, 확장 정보의 시작 부분에 위치하는 상기 확장 정보의 전체 비트 수에 대한 정보, 상기 확장 정보의 시작 부분 또는 끝 부분에 위치하는 싱크워드(syncword), 상기 확장 정보의 고정된 비트 수에 대한 정보 중 적어도 하나를 이용하여 비트스트림 중 상기 확장 정보 부분을 스킵할 수 있다. 상기 스킵을 위한 정보들은 비트스트림에 포함되어 있는 것이 바람직하며, 상기 고정 비트수 정보는 복호화 장치에 저장되어 있을 수도 있다.
도 12를 참조하면, 복호화기(810)는 다운믹스보상부(811), 3D렌더링부(815) 및 멀티채널디코더(816)을 포함하여 이루어진다.
다운믹스보상부(811)는 공간 정보에 포함된 보상 정보, 예를 들어 다운믹스 계인 또는 확장 정보를 이용하여 임의 다운믹스 신호를 보상한다.
3D렌더링부(815)는 상기 보상된 다운믹스 신호에 대해 3D 렌더링을 수행하여 디코더 3D 다운믹스 신호를 생성한다. 또한, 멀티채널디코더(816)는 상기 보상된 다운믹스 신호와 상기 공간 정보에 포함된 기본 공간 정보를 이용하여 3D 멀티 채널 신호를 생성한다.
다운믹스보상부(811)가 임의 다운믹스 신호를 보상하는 방법에 대한 실시예는 다음과 같다.
상기 보상 정보가 다운믹스 게인인 경우, 다운믹스보상부(811)는 임의 다운믹스 신호의 에너지 레벨을 상기 다운믹스 게인을 이용해 보상하여 상기 임의 다운믹스 신호를 다운믹스 신호에 가까운 신호로 변환할 수 있다.
상기 보상 정보가 제2 확장 정보인 경우, 다운믹스보상부(811)는 상기 제2 확장 정보를 이용해 상기 임의 다운믹스 신호에 없는 성분들을 보상할 수 있다.
멀티채널디코더(816)는 다운믹스 신호에 pre-matrix M1, mix-matrix M2 및 post-matrix M3를 순차적으로 적용하여 멀티 채널 신호를 생성할 수 있는데, 상기 제1 확장 정보는 상기 mix-matrix M2 적용 단계에서 사용되어 다운믹스 신호를 보상할 수 있다. 즉, 상기 제2 확장 정보를 이용해 pre-matrix M1이 적용된 임의 다운믹스 신호를 보상할 수 있다.
상기와 같이 멀티 채널 신호 생성 과정 중에 확장 정보를 적용함으로써, 복수의 채널들 중 특정 채널에 대한 보상이 가능하다. 예를 들어, 확장 정보가 mix- matrix M2의 센터 채널에 적용되는 경우 다운믹스 신호의 좌측 및 우측 채널 신호가 상기 확장 정보를 이용해 보상되고, 확장 정보가 mix-matrix M2의 좌측 채널에 적용되는 경우에는 다운믹스 신호의 좌측 채널 신호가 상기 확장 정보를 이용해 보상되도록 할 수 있다.
또한, 상기 보상 정보로서 상기 다운믹스 게인과 확장 정보가 함께 사용될 수 있다. 예를 들어, 임의 다운믹스 신호의 저주파 대역은 상기 확장 정보를 이용하여 보상되고, 고주파 대역은 상의 다운믹스 게인을 이용하여 보상되도록 할 수 있다. 또한, 저주파 대역 이외에 peak, notch 등과 같이 음질에 중요한 영향을 미치는 부분도 상기 확장 정보에 의해 보상되도록 할 수 있다. 상기 확장 정보가 적용되는 영역에 대한 정보는 부호화 장치로부터 전송되는 비트스트림에 포함되어 있는 것이 바람직하다. 또한, 상기 비트스트림은 포함된 다운믹스 신호가 임의 다운믹스 신호인지 여부에 대한 정보 및 보상 정보의 포함 여부에 대한 정보를 포함할 수 있다.
부호화기(800)의 멀티채널인코더(801)에서 생성된 다운믹스 신호의 클리핑(clipping)을 방지하기 위해, 상기 생성된 다운믹스 신호는 특정 게인(gain) 값에 의해 나누어질 수 있다. 상기 게인은 고정된(static) 값을 가지거나 가변적인(dynamic) 값을 가질 수 있다.
다운믹스보상부(811)는 클리핑(clipping) 방지를 위해 약화된 상기 다운믹스 신호를 상기 게인 값을 이용해 보상하여 원래의 크기의 다운믹스 신호로 복원할 수 있다.
또한, 다운믹스보상부(811)에 의해 보상된 임의 다운믹스 신호는 직접 재생 가능 하며, 보상되지 않은 임의 다운믹스 신호가 3D렌더링부(815)로 입력되어 디코더 3D 다운믹스 신호로 변환될 수도 있다.
도 12를 참조하면, 다운믹스보상부(811)는 제1 도메인변환부(812), 보상처리부(813) 및 제2 도메인변환부(814)를 포함할 수 있다.
제1 도메인변환부(812)는 임의 다운믹스 신호에 대해 도메인 변환을 수행하고, 보상처리부(813)는 상기 변환된 도메인 상에서 보상 정보, 예를 들어 다운믹스 게인 또는 확장 정보를 이용해 상기 임의 다운믹스 신호를 보상한다.
상기 보상 작업은 QMF/Hybrid 도메인 상에서 이루어지는 것이 바람직하며, 그를 위해 제1 도메인변환부(812)는 상기 임의 다운믹스 신호에 대해 QMF/Hybrid 분석(analysis)를 수행할 수 있다. 또한, 제1 도메인변환부(812)는 상기 임의 다운믹스 신호를 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 DFT 또는 FFT 도메인과 같은 주파수 도메인으로 변환할 수도 있으며, 상기 보상 작업은 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 주파수 도메인 또는 시간 도메인 상에서 수행될 수도 있다.
제2 도메인변환부(814)는 상기 보상된 임의 다운믹스 신호에 도메인 변환을 수행한다. 제2 도메인변환부(814)는 제1 도메인변환부(814)에서 수행된 도메인 변환의 역변환을 수행하여, 상기 보상된 임의 다운믹스 신호를 다운믹스보상부(811)에 입력되기 이전의 도메인으로 역변환하는 것이 바람직하다.
예를 들어, 제2 도메인변환부(814)는 상기 보상된 임의 다운믹스 신호에 대 해 QMF/Hybrid 합성(synthesis)을 수행하여, 상기 보상된 임의 다운믹스 신호를 시간 도메인 상의 신호로 변환할 수 있다. 또한, 제2 도메인변환부(814)는 상기 보상된 임의 다운믹스 신호에 대해 IDFT 또는 IFFT 등을 수행할 수도 있다.
도 7을 참조하여 설명한 바와 같이, 3D렌더링부(815)는 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인 상에서 상기 보상된 임의 다운믹스 신호에 대해 3D 렌더링을 수행할 수 있다, 그를 위해, 3D렌더링부(815)는 상기 보상된 임의 다운믹스 신호를 상기 3D 렌더링이 수행될 도메인 상으로 변환하기 위한 도메인변환부 또는 상기 렌더링이 수행된 신호에 대해 도메인 변환을 수행하는 도메인변환부를 포함할 수 있다.
보상처리부(811)에서 보상 작업이 수행되는 도메인과 3D렌더링부(815)에서 3D 렌더링이 수행되는 도메인은 서로 동일하거나 또는 상이할 수 있다.
도 13은 임의 다운믹스 신호의 보상과 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 다운믹스보상/3D렌더링부(820)는 제1도메인변환부(821), 제2 도메인변환부(822), 보상/3D렌더링처리부(823) 및 제3도메인변환부(824)를 포함하여 이루어진다.
다운믹스보상/3D렌더링부(820)는 상기 보상 작업과 3D 렌더링을 하나의 도메인 상에서 처리하여, 복호화 장치의 연산량을 감소시킬 수 있다.
도 13을 참조하면, 제1도메인변환부(821)는 임의 다운믹스 신호를 상기 보상 작업과 3D 렌더링이 수행될 제1 도메인 상으로 변환한다. 제2 도메인변환부(822)는 공간 정보, 예를 들어 멀티 채널 신호 생성에 필요한 기본 공간 정보와 임의 다운 믹스 신호의 보상에 필요한 보상 정보를 상기 제1 도메인 상에서 적용 가능하도록 변환한다. 상기 보상 정보는 다운믹스 게인과 확장 정보 중 적어도 하나를 포함한다.
예를 들어, 제2 도메인변환부(822)는 QMF/Hybrid 도메인 상의 복수의 파라미터 밴드들 각각에 대응되는 보상 정보들을 주파수 대역에 맵핑(mapping)시켜, 상기 보상 정보를 주파수 도메인에서 적용 가능한 형태로 변환할 수 있다.
상기 제1 도메인은 DFT 또는 FFT 도메인 등과 같은 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인일 수 있으며, 그 이외에도 여러 다른 도메인일 수도 있다.
상기 보상 정보를 상기 제1 도메인 상에서 적용 가능하도록 변환하는 과정에서, 시간 지연(time delay)이 발생할 수 있다. 상기 시간 지연을 방지하기 위해, 제2 도메인변환부(822)는 상기 보상 정보의 도메인과 제1 도메인 사이의 시간 지연(time delay)를 보정하는 작업을 추가적으로 수행할 수 있다.
보상/3D렌더링처리부(823)는 상기 제1 도메인 상에서 상기 변환된 공간 정보를 이용해 임의 다운믹스 신호에 대해 보상 작업을 수행하고, 상기 보상된 임의 다운믹스 신호에 대해 3D 렌더링 작업을 수행한다. 상기 보상 작업과 3D 렌더링의 수행 순서는 변경 가능하다.
보상/3D렌더링처리부(823)는 상기 보상 작업과 3D 렌더링을 동시에 수행할 수도 있다. 예를 들어, 보상/3D렌더링처리부(823)는 3D 렌더링에 사용될 필터 계수와 보상 정보가 조합된 새로운 필터 계수를 이용하여 상기 제1 도메인 상에서 상기 임의 다운믹스 신호에 대해 3D 렌더링 작업을 수행함으로써 보상된 3D 다운믹스 신호를 생성할 수 있다.
제3도메인변환부(824)는 상기 제1 도메인 상에서 생성된 3D 다운믹스에 대해 주파수 도메인 변환을 수행한다.
도 14는 본 발명에 따른 호환형 다운믹스 신호를 처리하는 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 복호화기(900)는 제1 멀티채널디코더(910), 다운믹스호환처리부(920), 제2 멀티채널디코더(930) 및 3D렌더링부(940)을 포함하여 이루어진다. 도 14에 도시된 복호화 장치의 동작 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
호환형 다운믹스 신호는 2 이상의 멀티 채널 디코더에서 복호화 가능한 형태의 다운믹스 신호를 의미한다. 즉, 호환형 다운믹스 신호는 어느 하나의 멀티 채널 디코더에 최적화되어 생성된 다운믹스 신호이나, 호화 처리 작업을 통해 상기 멀티 채널 디코더 이외에 다른 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환 가능한 것을 의미할 수 있다.
도 14를 참조하면, 입력되는 호환형 다운믹스 신호는 제1 멀티채널디코더(910)에 최적화되어 생성된 것으로, 제2 멀티채널디코더(930)에서 복호화되기 위해서는 먼저 다운믹스호환처리부(920)를 통해 제2 멀티채널디코더(930)에 최적화된 신호로 호환 처리되는 것이 바람직하다. 제1 멀티채널디코더(910)는 상기 호환형 다운믹스 신호를 복호화하여 제1 멀티 채널 신호를 생성한다. 제1 멀티채널디코더(910)는 공간 정보 없이 상기 호환형 다운믹스 신호만을 이용하여 멀티 채널 신 호를 복호화할 수 있다.
제2 멀티채널디코더(930)는 상기 호환 처리된 다운믹스 신호와 공간 정보를 이용하여 제2 멀티 채널 신호를 생성한다. 3D렌더링부(940)는 상기 호환 처리된 다운믹스 신호에 대해 3D 렌더링을 수행하여 디코더 3D 다운믹스 신호를 생성할 수 있다.
호환형 다운믹스 신호를 인버젼 매트릭스(inversion matrix)와 같은 호환 정보를 이용하여 다른 멀티 채널 디코더에 최적화된 다운믹스 신호로 호환 처리될 수 있다. 예를 들어, 제1 멀티 채널 인코더/디코더 및 그와 다른 방식의 제2 멀티 채널 인코더/디코더가 존재할 때, 부호화 장치는 상기 제1 멀티 채널 인코더에 의해 생성된 다운믹스 신호에 매트릭스를 적용하여 상기 제2 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 생성할 수 있다. 또한, 복호화 장치는 상기 호환형 다운믹스 신호에 대해 인버젼 매트릭스(inversion matrix)를 적용하여 상기 제1 멀티 채널 디코더에 최적화된 다운믹스 신호를 생성할 수 있다.
도 14를 참조하면, 다운믹스호환처리부(920)는 인버젼 매트릭스(inversion matrix)를 호환형 다운믹스 신호에 대해 호환 처리를 수행함으로써, 제2 멀티채널디코더(930)에 최적화된 다운믹스 신호를 생성할 수 있다.
상기 인버젼 매트릭스(inversion matrix)에 대한 정보는 복호화 장치가 미리 저장하고 있거나, 입력되는 비트스트림에 포함되어 부호화 장치로부터 전송될 수도 있다. 또한, 다운믹스 신호가 임의 다운믹스 신호인지 호환형 다운 믹스 신호인지 여부에 대한 정보인 다운믹스 식별 정보가 부호화 장치로부터 전송되는 비트스트림 에 포함되는 것이 바람직하다.
도 14를 참조하면, 다운믹스호환처리부(920)는 제1 도메인변환부(921), 호환처리부(922) 및 제2 도메인변환부(923)를 포함할 수 있다.
제1 도메인변환부(921)는 호환형 다운믹스 신호에 대해 도메인 변환을 수행하고, 호환처리부(813)는 상기 변환된 도메인 상에서 호환 정보, 예를 들어 인버젼 매트릭스(inversion matrix)를 이용해 상기 호환형 다운믹스 신호를 제2 멀티채널디코더(930)에 최적화된 신호로 변환한다.
상기 호환 처리는 QMF/Hybrid 도메인 상에서 이루어지는 것이 바람직하며, 그를 위해 제1 도메인변환부(921)는 상기 호환형 다운믹스 신호에 대해 QMF/Hybrid 분석(analysis)를 수행할 수 있다. 또한, 제1 도메인변환부(921)는 상기 호환형 다운믹스 신호를 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 DFT 또는 FFT 도메인과 같은 주파수 도메인으로 변환할 수도 있으며, 상기 호환 처리는 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 주파수 도메인 또는 시간 도메인 상에서 수행될 수도 있다.
제2 도메인변환부(923)는 상기 호환 처리된 호환형 다운믹스 신호에 도메인 변환을 수행한다. 제2 도메인변환부(923)는 제1 도메인변환부(921)에서 수행된 도메인 변환의 역변환을 수행하여, 상기 호환 처리된 호환형 다운믹스 신호를 다운믹스호환처리부(920)에 입력되기 이전의 도메인으로 역변환하는 것이 바람직하다.
예를 들어, 제2 도메인변환부(923)는 상기 호환 처리된 호환형 다운믹스 신호에 대해 QMF/Hybrid 합성(synthesis)을 수행하여, 상기 호환 처리된 호환형 다운 믹스 신호를 시간 도메인 상의 신호로 변환할 수 있다. 또한, 제2 도메인변환부(923)는 상기 호환 처리된 호환형 다운믹스 신호에 대해 IDFT 또는 IFFT 등을 수행할 수도 있다.
3D렌더링부(940)는 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인 상에서 상기 호환 처리된 호환형 다운믹스 신호에 대해 3D 렌더링을 수행할 수 있다, 그를 위해, 3D렌더링부(940)는 상기 다운믹스 신호를 상기 3D 렌더링이 수행될 도메인 상으로 변환하기 위한 도메인변환부 또는 상기 렌더링이 수행된 신호에 대해 도메인 변환을 수행하는 도메인변환부를 포함할 수 있다.
호환처리부(922)에서 호환 처리가 수행되는 도메인과 3D렌더링부(940)에서 3D 렌더링이 수행되는 도메인은 서로 동일하거나 또는 상이할 수 있다.
도 15는 호환형 다운믹스 신호의 호환 처리와 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 다운믹스호환/3D렌더링부(950)는 제1 도메인변환부(951), 제2 도메인변환부(952), 호환/3D렌더링처리부(953) 및 제3도메인변환부(954)를 포함하여 이루어진다.
다운믹스호환/3D렌더링부(950)는 상기 호환 처리와 3D 렌더링을 하나의 도메인 상에서 처리하여, 복호화 장치의 연산량을 감소시킬 수 있다.
도 15를 참조하면, 제1도메인변환부(951)는 호환형 다운믹스 신호를 상기 호환 처리와 3D 렌더링이 수행될 제1 도메인 상으로 변환한다. 제2 도메인변환부(952)는 공간 정보와 호환 정보, 예를 들어 인버젼 매트릭스(inversion matrix)를 상기 제1 도메인 상에서 적용 가능하도록 변환한다.
예를 들어, 제2 도메인변환부(952)는 QMF/Hybrid 도메인 상의 복수의 파라미터 밴드들 각각에 대응되는 인버젼 매트릭스를 주파수 대역에 맵핑(mapping)시켜, 상기 인버젼 매트릭스를 주파수 도메인에서 적용 가능한 형태로 변환할 수 있다.
상기 제1 도메인은 DFT 또는 FFT 도메인 등과 같은 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인일 수 있으며, 그 이외에도 여러 다른 도메인일 수도 있다.
상기 공간 정보 및 호환 정보를 상기 제1 도메인 상에서 적용 가능하도록 변환하는 과정에서, 시간 지연(time delay)이 발생할 수 있다. 상기 시간 지연을 방지하기 위해, 제2 도메인변환부(952)는 상기 공간 정보 및 호환 정보의 도메인과 제1 도메인 사이의 시간 지연(time delay)를 보정하는 작업을 추가적으로 수행할 수 있다.
호환/3D렌더링처리부(953)는 상기 제1 도메인 상에서 상기 변환된 호환 정보를 이용해 호환형 다운믹스 신호에 대해 호환 처리를 수행하고, 상기 호환 처리된 호환형 다운믹스 신호에 대해 3D 렌더링 작업을 수행한다. 상기 호환 처리와 3D 렌더링의 수행 순서는 변경 가능하다.
호환/3D렌더링처리부(953)는 상기 호환 처리와 3D 렌더링을 동시에 수행할 수도 있다. 예를 들어, 호환/3D렌더링처리부(953)는 3D 렌더링에 사용될 필터 계수와 호환 정보가 조합된 새로운 필터 계수를 이용하여 상기 제1 도메인 상에서 상기 호환형 다운믹스 신호에 대해 3D 렌더링 작업을 수행함으로써 3D 다운믹스 신호를 생성할 수 있다.
제3도메인변환부(954)는 상기 제1 도메인 상에서 생성된 3D 다운믹스에 대해 주파수 도메인 변환을 수행한다.
도 16은 크로스토크(crosstalk)를 제거하기 위한 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(960), 다운믹스디코더(970), 3D렌더링부(980) 및 크로스토크제거부(990)을 포함하여 이루어진다. 도 16에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
3D렌더링부(980)로부터 출력되는 3D 다운믹스 신호는 헤드폰 등을 이용해 재생될 수 있다. 그러나, 상기 3D 다운믹스 신호가 사용자로부터 멀리 떨어진 스피커를 통해 재생되는 경우에는 채널 간 크로스토크(crosstalk)가 발생할 수 있다.
따라서 도 16에 도시된 바와 같이, 본 발명에 따른 복호화 장치는 상기 3D 다운믹스 신호에 대해 크로스 토크 제거(crosstalk cancellation)를 수행하는 크로스토크제거부(990)를 포함하는 것이 바람직하다.
또한, 본 발명에 따른 복호화 장치에서는 음장 처리(sound field processing)가 수행될 수도 있다.
상기 음장 처리에 사용되는 음장 정보, 즉 신호가 재생되는 공간이 어떤 공간인지에 대한 정보는 부호화 장치로부터 전송되는 비트스트림에 포함되거나, 복호화 장치에서 지정될 수 있다.
입력되는 비트스트림은 잔향 시간(reverberation time)에 대한 정보를 포함할 수 있으며, 음장 처리에 사용되는 필터는 상기 잔향 시간 정보에 따라 조정될 수 있다.
상기 음장 처리는 Early Part와 Late Reverberation으로 나뉘어 각각 다르게 처리될 수 있다. 예를 들어, Early Part는 FIR(Finite Impulse Response) filter를 이용해 처리되며, Late Reverberation은 IIR(Infinite Impulse Response) filter를 이용해 처리될 수 있다.
상기 Early Part에 대해 음장 처리를 수행하는 방법에 대한 실시예로는, time domain 상에서 FIR filter를 이용해 컨볼루션(convolution)을 수행하는 방법 또는 frequency domain 상에서의 곱을 수행한 후 time domain으로 변환하는 방법 등이 있을 수 있다. 상기 Late Reverberation은 time domain 상에서 음장 처리되는 것이 바람직하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상에서 살펴본 바와 같이 본 발명에 의한 부호화/복호화 장치 및 방법에 따르면, 멀티 채널 신호를 3D 효과를 가지는 신호로 효율적으로 부호화할 수 있으며, 재생 환경에 따라 적응적으로 최상의 음질을 가지는 오디오 신호를 복원하여 재생할 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다. 예를 들어, 본 발명에 의한 그룹핑, 데이터 코딩 및 엔트로피 코딩을 적용한 다양한 응용 분야 및 제품에 적용하는 것이 가능하다. 또한, 본 발명에 의한 적어도 일 특징을 적용한 데이터를 저장하는 매체(mediun)를 제공하는 것이 가능하다.
본 발명에 의한 부호화/복호화 장치 및 방법에 따르면, 멀티 채널 신호를 3D 효과를 가지는 신호로 효율적으로 부호화할 수 있으며, 재생 환경에 따라 적응적으로 최상의 음질을 가지는 오디오 신호를 복원하여 재생할 수 있다.

Claims (15)

  1. 입력되는 비트스트림으로부터 신호를 복호화하는 방법에 있어서,
    상기 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 단계;
    상기 호환형 다운믹스 신호를 제2 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환하는 호환 처리 단계; 및
    상기 변환된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  2. 제1항에 있어서, 상기 3D 렌더링은
    HRTF(Head Related Transfer Function)을 이용하는 것을 특징으로 하는 복호화 방법.
  3. 제1항에 있어서, 상기 호환 처리 단계는
    상기 호환형 다운믹스 신호를 제1 도메인에서 제2 도메인으로 도메인 변환하는 단계;
    상기 제2 도메인 상에서, 상기 호환형 다운믹스 신호를 상기 제2 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환하는 단계; 및
    상기 변환된 다운믹스 신호를 상기 제2 도메인에서 상기 제1 도메인으로 도 메인 변환하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  4. 제1항에 있어서, 상기 3D 다운믹스 신호 생성 단계는
    상기 변환된 다운믹스 신호를 제3 도메인에서 제4 도메인으로 도메인 변환하는 단계;
    상기 제4 도메인 상에서, 상기 변환된 다운믹스 신호에 대해 3D 렌더링을 수행하는 단계; 및
    상기 3D 렌더링이 수행된 신호를 상기 제4 도메인에서 상기 제3 도메인으로 도메인 변환하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  5. 제4항에 있어서,
    상기 호환 처리를 위한 호환 정보를 상기 제4 도메인에서 이용 가능하도록 변환하는 단계를 포함하고,
    상기 호환 처리 단계는
    상기 제4 도메인에서, 상기 변환된 호환 정보를 이용하여 상기 호환형 다운믹스 신호를 변환하는 것을 특징으로 하는 복호화 방법.
  6. 제5항에 있어서,
    상기 호환 정보의 변환 과정 중 발생하는 시간 지연(time delay)을 보정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 제4 도메인은 DFT(Discrete Fourier Transform) 도메인, FFT(Fast Fourier Transform) 도메인, QMF/Hybrid 도메인 및 시간 도메인 중 어느 하나인 것을 특징으로 하는 복호화 방법.
  8. 제1항에 있어서, 상기 비트스트림은
    포함하는 다운믹스 신호가 호환형 다운믹스 신호인지 여부에 대한 정보를 포함하는 것을 특징으로 하는 복호화 방법.
  9. 제1항에 있어서,
    상기 변환된 다운믹스 신호와 복수의 채널들에 대한 공간 정보를 이용하여 멀티 채널 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  10. 입력되는 비트스트림으로부터 신호를 복호화하는 방법에 있어서,
    상기 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 단계;
    3D 렌더링에 사용될 필터 정보에 상기 호환형 다운믹스 신호의 변환을 위한 호환 정보를 합성하는 단계; 및
    상기 합성된 필터 정보를 이용해 상기 호환형 다운믹스 신호에 대해 3D 렌더 링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  11. 제10항에 있어서, 상기 합성 단계는
    상기 호환 정보를 제2 도메인에서 이용 가능하도록 변환하는 단계; 및
    상기 제2 도메인 상에서, 상기 필터 정보에 상기 변환된 호환 정보를 합성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  12. 제11항에 있어서, 상기 3D 다운믹스 신호 생성 단계는
    상기 호환형 다운믹스 신호를 제1 도메인에서 상기 제2 도메인으로 도메인 변환하는 단계;
    상기 제2 도메인 상에서, 상기 합성된 필터 정보를 이용해 상기 호환형 다운믹스 신호에 대해 3D 렌더링을 수행하는 단계; 및
    상기 3D 렌더링이 수행된 호환형 다운믹스 신호를 상기 제2 도메인에서 상기 제1 도메인으로 도메인 변환하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
  13. 입력되는 비트스트림으로부터 신호를 복호화하는 장치에 있어서,
    상기 비트스트림으로부터 제1 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 추출하는 비트언팩킹부;
    호환 정보를 이용하여 상기 호환형 다운믹스 신호를 제2 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환하는 다운믹스호환처리부; 및
    상기 변환된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 3D렌더링부를 포함하는 것을 특징으로 하는 복호화 장치.
  14. 제13항에 있어서,
    상기 호환형 다운믹스 신호를 제1 도메인에서 제2 도메인으로 도메인 변환하는 제1 도메인변환부; 및
    상기 호환 정보를 상기 제2 도메인에서 이용 가능하도록 변환하는 제2 도메인변환부를 포함하고,
    상기 다운믹스호환처리부는 상기 제2 도메인 상에서 상기 변환된 호환 정보를 이용하여 상기 호환형 다운믹스 신호를 변환하고, 상기 3D렌더링부는 상기 제2 도메인 상에서 3D 렌더링을 수행하는 것을 특징으로 하는 복호화 장치.
  15. 제1항 내지 제12항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070012929A 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법 KR100921453B1 (ko)

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
US76574706P 2006-02-07 2006-02-07
US60/765,747 2006-02-07
US77147106P 2006-02-09 2006-02-09
US60/771,471 2006-02-09
US77333706P 2006-02-15 2006-02-15
US60/773,337 2006-02-15
US77577506P 2006-02-23 2006-02-23
US60/775,775 2006-02-23
US78175006P 2006-03-14 2006-03-14
US60/781,750 2006-03-14
US78251906P 2006-03-16 2006-03-16
US60/782,519 2006-03-16
US79232906P 2006-04-17 2006-04-17
US60/792,329 2006-04-17
US79365306P 2006-04-21 2006-04-21
US60/793,653 2006-04-21

Publications (2)

Publication Number Publication Date
KR20070080593A true KR20070080593A (ko) 2007-08-10
KR100921453B1 KR100921453B1 (ko) 2009-10-13

Family

ID=38345393

Family Applications (19)

Application Number Title Priority Date Filing Date
KR1020087016483A KR20080093419A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012931A KR100902898B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012930A KR100913091B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012938A KR100863479B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012928A KR100878814B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012941A KR100897809B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016479A KR100983286B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016478A KR20080093024A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016481A KR101203839B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012940A KR100908055B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012939A KR100863480B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087028251A KR20080110920A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016480A KR100991795B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016477A KR101014729B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012933A KR100878815B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012932A KR100902899B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012937A KR100878816B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012929A KR100921453B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016482A KR20080094775A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법

Family Applications Before (17)

Application Number Title Priority Date Filing Date
KR1020087016483A KR20080093419A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012931A KR100902898B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012930A KR100913091B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012938A KR100863479B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012928A KR100878814B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012941A KR100897809B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016479A KR100983286B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016478A KR20080093024A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016481A KR101203839B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012940A KR100908055B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012939A KR100863480B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087028251A KR20080110920A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016480A KR100991795B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020087016477A KR101014729B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012933A KR100878815B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012932A KR100902899B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법
KR1020070012937A KR100878816B1 (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087016482A KR20080094775A (ko) 2006-02-07 2007-02-07 부호화/복호화 장치 및 방법

Country Status (11)

Country Link
US (8) US8285556B2 (ko)
EP (7) EP1984914A4 (ko)
JP (7) JP5054035B2 (ko)
KR (19) KR20080093419A (ko)
CN (1) CN104681030B (ko)
AU (1) AU2007212845B2 (ko)
BR (1) BRPI0707498A2 (ko)
CA (1) CA2637722C (ko)
HK (1) HK1128810A1 (ko)
TW (4) TWI331322B (ko)
WO (7) WO2007091843A1 (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006126844A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
TWI329462B (en) 2006-01-19 2010-08-21 Lg Electronics Inc Method and apparatus for processing a media signal
JP5054035B2 (ja) 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
JP5023662B2 (ja) * 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
JP5355387B2 (ja) * 2007-03-30 2013-11-27 パナソニック株式会社 符号化装置および符号化方法
CN101414463B (zh) * 2007-10-19 2011-08-10 华为技术有限公司 一种混音编码方法、装置和系统
US8352249B2 (en) * 2007-11-01 2013-01-08 Panasonic Corporation Encoding device, decoding device, and method thereof
KR101452722B1 (ko) * 2008-02-19 2014-10-23 삼성전자주식회사 신호 부호화 및 복호화 방법 및 장치
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
CN101960514A (zh) * 2008-03-14 2011-01-26 日本电气株式会社 信号分析控制系统及其方法、信号控制装置及其方法和程序
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
CN102007533B (zh) * 2008-04-16 2012-12-12 Lg电子株式会社 用于处理音频信号的方法和装置
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
BRPI0905069A2 (pt) * 2008-07-29 2015-06-30 Panasonic Corp Aparelho de codificação de áudio, aparelho de decodificação de áudio, aparelho de codificação e de descodificação de áudio e sistema de teleconferência
ES2963744T3 (es) * 2008-10-29 2024-04-01 Dolby Int Ab Protección de recorte de señal usando metadatos de ganancia de audio preexistentes
KR101600352B1 (ko) * 2008-10-30 2016-03-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
JP5309944B2 (ja) * 2008-12-11 2013-10-09 富士通株式会社 オーディオ復号装置、方法、及びプログラム
KR101496760B1 (ko) 2008-12-29 2015-02-27 삼성전자주식회사 서라운드 사운드 가상화 방법 및 장치
EP2395504B1 (en) * 2009-02-13 2013-09-18 Huawei Technologies Co., Ltd. Stereo encoding method and apparatus
ES2452569T3 (es) 2009-04-08 2014-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato, procedimiento y programa de computación para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavización de valor fase
JP5540581B2 (ja) * 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
TWI384459B (zh) * 2009-07-22 2013-02-01 Mstar Semiconductor Inc 音框檔頭之自動偵測方法
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2489206A1 (fr) * 2009-10-12 2012-08-22 France Telecom Traitement de donnees sonores encodees dans un domaine de sous-bandes
CN102696070B (zh) * 2010-01-06 2015-05-20 Lg电子株式会社 处理音频信号的设备及其方法
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
JP5680391B2 (ja) * 2010-12-07 2015-03-04 日本放送協会 音響符号化装置及びプログラム
KR101227932B1 (ko) * 2011-01-14 2013-01-30 전자부품연구원 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법
US9942593B2 (en) * 2011-02-10 2018-04-10 Intel Corporation Producing decoded audio at graphics engine of host processing platform
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit
EP2727383B1 (en) * 2011-07-01 2021-04-28 Dolby Laboratories Licensing Corporation System and method for adaptive audio signal generation, coding and rendering
JP6007474B2 (ja) * 2011-10-07 2016-10-12 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体
CN103220058A (zh) * 2012-01-20 2013-07-24 旭扬半导体股份有限公司 音频数据与视觉数据同步装置及其方法
CN104246873B (zh) * 2012-02-17 2017-02-01 华为技术有限公司 用于编码多声道音频信号的参数编码器
CN104303229B (zh) 2012-05-18 2017-09-12 杜比实验室特许公司 用于维持与参数音频编码器相关联的可逆动态范围控制信息的系统
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
WO2014034555A1 (ja) * 2012-08-29 2014-03-06 シャープ株式会社 音声信号再生装置、方法、プログラム、及び記録媒体
US9460729B2 (en) * 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
CA2893729C (en) * 2012-12-04 2019-03-12 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
TR201808415T4 (tr) 2013-01-15 2018-07-23 Koninklijke Philips Nv Binoral ses işleme.
JP6433918B2 (ja) * 2013-01-17 2018-12-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． バイノーラルのオーディオ処理
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
CN104982042B (zh) 2013-04-19 2018-06-08 韩国电子通信研究院 多信道音频信号处理装置及方法
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
EP2830336A3 (en) * 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Renderer controlled spatial upmix
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
US20150127354A1 (en) * 2013-10-03 2015-05-07 Qualcomm Incorporated Near field compensation for decomposed representations of a sound field
WO2015152666A1 (ko) * 2014-04-02 2015-10-08 삼성전자 주식회사 Hoa 신호를 포함하는 오디오 신호를 디코딩하는 방법 및 장치
US9560464B2 (en) * 2014-11-25 2017-01-31 The Trustees Of Princeton University System and method for producing head-externalized 3D audio through headphones
JP6732764B2 (ja) 2015-02-06 2020-07-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法
WO2016167138A1 (ja) * 2015-04-13 2016-10-20 ソニー株式会社 信号処理装置および方法、並びにプログラム
ES2818562T3 (es) * 2015-08-25 2021-04-13 Dolby Laboratories Licensing Corp Descodificador de audio y procedimiento de descodificación
WO2017035281A2 (en) * 2015-08-25 2017-03-02 Dolby International Ab Audio encoding and decoding using presentation transform parameters
US10672408B2 (en) * 2015-08-25 2020-06-02 Dolby Laboratories Licensing Corporation Audio decoder and decoding method
WO2017038543A1 (ja) 2015-09-03 2017-03-09 ソニー株式会社 音声処理装置および方法、並びにプログラム
EP3369257B1 (en) * 2015-10-27 2021-08-18 Ambidio, Inc. Apparatus and method for sound stage enhancement
WO2017098949A1 (ja) 2015-12-10 2017-06-15 ソニー株式会社 音声処理装置および方法、並びにプログラム
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
CN108206983B (zh) * 2016-12-16 2020-02-14 南京青衿信息科技有限公司 兼容现有音视频系统的三维声信号的编码器及其方法
CN108206984B (zh) * 2016-12-16 2019-12-17 南京青衿信息科技有限公司 利用多信道传输三维声信号的编解码器及其编解码方法
GB2563635A (en) 2017-06-21 2018-12-26 Nokia Technologies Oy Recording and rendering audio signals
GB201808897D0 (en) * 2018-05-31 2018-07-18 Nokia Technologies Oy Spatial audio parameters
CN112309419B (zh) * 2020-10-30 2023-05-02 浙江蓝鸽科技有限公司 多路音频的降噪、输出方法及其系统
AT523644B1 (de) * 2020-12-01 2021-10-15 Atmoky Gmbh Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal
CN113844974B (zh) * 2021-10-13 2023-04-14 广州广日电梯工业有限公司 电梯遥监的安装方法以及电梯遥监的安装装置
WO2024059505A1 (en) * 2022-09-12 2024-03-21 Dolby Laboratories Licensing Corporation Head-tracked split rendering and head-related transfer function personalization

Family Cites Families (205)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US563005A (en) * 1896-06-30 Fireplace-heater
US798796A (en) * 1905-04-24 1905-09-05 Bartholomew Jacob Buckle.
US5166685A (en) * 1990-09-04 1992-11-24 Motorola, Inc. Automatic selection of external multiplexer channels by an A/D converter integrated circuit
US5632005A (en) 1991-01-08 1997-05-20 Ray Milton Dolby Encoder/decoder for multidimensional sound fields
DE4217276C1 (ko) 1992-05-25 1993-04-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
US5561736A (en) 1993-06-04 1996-10-01 International Business Machines Corporation Three dimensional speech synthesis
DE69428939T2 (de) 1993-06-22 2002-04-04 Deutsche Thomson-Brandt Gmbh Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix
EP0637191B1 (en) 1993-07-30 2003-10-22 Victor Company Of Japan, Ltd. Surround signal processing apparatus
TW263646B (en) 1993-08-26 1995-11-21 Nat Science Committee Synchronizing method for multimedia signal
DK0912076T3 (da) * 1994-02-25 2002-01-28 Henrik Moller Binaural syntese, head-related transfer functions samt anvendelser deraf
JPH07248255A (ja) 1994-03-09 1995-09-26 Sharp Corp 立体音像生成装置及び立体音像生成方法
CA2189126C (en) 1994-05-11 2001-05-01 Jonathan S. Abel Three-dimensional virtual audio display employing reduced complexity imaging filters
JP3397001B2 (ja) 1994-06-13 2003-04-14 ソニー株式会社 符号化方法及び装置、復号化装置、並びに記録媒体
US5703584A (en) 1994-08-22 1997-12-30 Adaptec, Inc. Analog data acquisition system
GB9417185D0 (en) 1994-08-25 1994-10-12 Adaptive Audio Ltd Sounds recording and reproduction systems
JP3395807B2 (ja) 1994-09-07 2003-04-14 日本電信電話株式会社 ステレオ音響再生装置
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
JPH0884400A (ja) 1994-09-12 1996-03-26 Sanyo Electric Co Ltd 音像制御装置
JPH08123494A (ja) 1994-10-28 1996-05-17 Mitsubishi Electric Corp 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置
JPH08202397A (ja) 1995-01-30 1996-08-09 Olympus Optical Co Ltd 音声復号化装置
US5668924A (en) * 1995-01-18 1997-09-16 Olympus Optical Co. Ltd. Digital sound recording and reproduction device using a coding technique to compress data for reduction of memory requirements
JPH0974446A (ja) 1995-03-01 1997-03-18 Nippon Telegr & Teleph Corp <Ntt> 音声通信制御装置
US5632205A (en) * 1995-06-07 1997-05-27 Acushnet Company Apparatus for the spatial orientation and manipulation of a game ball
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3088319B2 (ja) 1996-02-07 2000-09-18 松下電器産業株式会社 デコード装置およびデコード方法
JPH09224300A (ja) 1996-02-16 1997-08-26 Sanyo Electric Co Ltd 音像位置の補正方法及び装置
JP3483086B2 (ja) 1996-03-22 2004-01-06 日本電信電話株式会社 音声電話会議装置
US6252965B1 (en) * 1996-09-19 2001-06-26 Terry D. Beard Multichannel spectral mapping audio apparatus and method
US5886988A (en) * 1996-10-23 1999-03-23 Arraycomm, Inc. Channel assignment and call admission control for spatial division multiple access communication systems
SG54383A1 (en) * 1996-10-31 1998-11-16 Sgs Thomson Microelectronics A Method and apparatus for decoding multi-channel audio data
US6721425B1 (en) * 1997-02-07 2004-04-13 Bose Corporation Sound signal mixing
US6711266B1 (en) 1997-02-07 2004-03-23 Bose Corporation Surround sound channel encoding and decoding
TW429700B (en) 1997-02-26 2001-04-11 Sony Corp Information encoding method and apparatus, information decoding method and apparatus and information recording medium
US6449368B1 (en) 1997-03-14 2002-09-10 Dolby Laboratories Licensing Corporation Multidirectional audio decoding
JP3594281B2 (ja) * 1997-04-30 2004-11-24 株式会社河合楽器製作所 ステレオ拡大装置及び音場拡大装置
JPH1132400A (ja) 1997-07-14 1999-02-02 Matsushita Electric Ind Co Ltd デジタル信号再生装置
US6307941B1 (en) 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US5890125A (en) 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
WO1999014983A1 (en) 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6081783A (en) 1997-11-14 2000-06-27 Cirrus Logic, Inc. Dual processor digital audio decoder with shared memory data transfer and task partitioning for decompressing compressed audio data, and systems and methods using the same
US6414290B1 (en) 1998-03-19 2002-07-02 Graphic Packaging Corporation Patterned microwave susceptor
CA2325482C (en) * 1998-03-25 2009-12-15 Lake Technology Limited Audio signal processing method and apparatus
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
JP3781902B2 (ja) * 1998-07-01 2006-06-07 株式会社リコー 音像定位制御装置および音像定位制御方式
TW408304B (en) * 1998-10-08 2000-10-11 Samsung Electronics Co Ltd DVD audio disk, and DVD audio disk reproducing device and method for reproducing the same
DE19846576C2 (de) 1998-10-09 2001-03-08 Aeg Niederspannungstech Gmbh Plombierbare Verschließeinrichtung
DE19847689B4 (de) 1998-10-15 2013-07-11 Samsung Electronics Co., Ltd. Vorrichtung und Verfahren zur dreidimensionalen Tonwiedergabe
US6574339B1 (en) * 1998-10-20 2003-06-03 Samsung Electronics Co., Ltd. Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
JP3346556B2 (ja) 1998-11-16 2002-11-18 日本ビクター株式会社 音声符号化方法及び音声復号方法
EP1173925B1 (en) 1999-04-07 2003-12-03 Dolby Laboratories Licensing Corporation Matrixing for lossless encoding and decoding of multichannels audio signals
GB2351213B (en) 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
KR100416757B1 (ko) 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
JP2000353968A (ja) 1999-06-11 2000-12-19 Matsushita Electric Ind Co Ltd オーディオ復号装置
US6442278B1 (en) * 1999-06-15 2002-08-27 Hearing Enhancement Company, Llc Voice-to-remaining audio (VRA) interactive center channel downmix
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
KR20010009258A (ko) * 1999-07-08 2001-02-05 허진호 가상 멀티 채널 레코딩 시스템
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
US7031474B1 (en) 1999-10-04 2006-04-18 Srs Labs, Inc. Acoustic correction apparatus
US6931370B1 (en) 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
US6633648B1 (en) * 1999-11-12 2003-10-14 Jerald L. Bauck Loudspeaker array for enlarged sweet spot
US6829012B2 (en) 1999-12-23 2004-12-07 Dfr2000, Inc. Method and apparatus for a digital parallel processor for film conversion
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP4281937B2 (ja) 2000-02-02 2009-06-17 パナソニック株式会社 ヘッドホンシステム
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
TW468182B (en) 2000-05-03 2001-12-11 Ind Tech Res Inst Method and device for adjusting, recording and playing multimedia signals
JP2001359197A (ja) 2000-06-13 2001-12-26 Victor Co Of Japan Ltd 音像定位信号の生成方法、及び音像定位信号生成装置
JP3576936B2 (ja) 2000-07-21 2004-10-13 株式会社ケンウッド 周波数補間装置、周波数補間方法及び記録媒体
JP4645869B2 (ja) 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
EP1211857A1 (fr) 2000-12-04 2002-06-05 STMicroelectronics N.V. Procédé et dispositif d'estimation des valeurs successives de symboles numériques, en particulier pour l'égalisation d'un canal de transmission d'informations en téléphonie mobile
US7085939B2 (en) * 2000-12-14 2006-08-01 International Business Machines Corporation Method and apparatus for supplying power to a bus-controlled component of a computer
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP3566220B2 (ja) 2001-03-09 2004-09-15 三菱電機株式会社 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法
US6504496B1 (en) * 2001-04-10 2003-01-07 Cirrus Logic, Inc. Systems and methods for decoding compressed data
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US6807528B1 (en) * 2001-05-08 2004-10-19 Dolby Laboratories Licensing Corporation Adding data to a compressed data frame
WO2003001841A2 (en) 2001-06-21 2003-01-03 1... Limited Loudspeaker
JP2003009296A (ja) 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd 音響処理装置および音響処理方法
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
JP2003111198A (ja) 2001-10-01 2003-04-11 Sony Corp 音声信号処理方法および音声再生システム
MXPA03005133A (es) 2001-11-14 2004-04-02 Matsushita Electric Ind Co Ltd Dispositivo de codificacion, dispositivo de decodificacion y sistema de los mismos.
EP1315148A1 (en) 2001-11-17 2003-05-28 Deutsche Thomson-Brandt Gmbh Determination of the presence of ancillary data in an audio bitstream
TWI230024B (en) 2001-12-18 2005-03-21 Dolby Lab Licensing Corp Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers
DE60323331D1 (de) 2002-01-30 2008-10-16 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur audio-kodierung und -dekodierung
EP1341160A1 (en) 2002-03-01 2003-09-03 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a digital information signal
US7707287B2 (en) 2002-03-22 2010-04-27 F5 Networks, Inc. Virtual host acceleration system
WO2003086017A2 (en) 2002-04-05 2003-10-16 Koninklijke Philips Electronics N.V. Signal processing
BR0304231A (pt) 2002-04-10 2004-07-27 Koninkl Philips Electronics Nv Métodos para codificação de um sinal de canais múltiplos, método e disposição para decodificação de informação de sinal de canais múltiplos, sinal de dados incluindo informação de sinal de canais múltiplos, meio legìvel por computador, e, dispositivo para comunicação de um sinal de canais múltiplos
ES2280736T3 (es) 2002-04-22 2007-09-16 Koninklijke Philips Electronics N.V. Sintetizacion de señal.
DE60326782D1 (de) 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
EP2879299B1 (en) 2002-05-03 2017-07-26 Harman International Industries, Incorporated Multi-channel downmixing device
JP4296752B2 (ja) 2002-05-07 2009-07-15 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
DE10228999B4 (de) 2002-06-28 2006-12-14 Advanced Micro Devices, Inc., Sunnyvale Konstellationsmanipulation zur Frequenz/Phasenfehlerkorrektur
AU2003244932A1 (en) 2002-07-12 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
EP1523863A1 (en) 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
DE60327039D1 (de) 2002-07-19 2009-05-20 Nec Corp Audiodekodierungseinrichtung, dekodierungsverfahren und programm
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
ES2328922T3 (es) 2002-09-23 2009-11-19 Koninklijke Philips Electronics N.V. Generacion de una señal de sonido.
US20060100861A1 (en) 2002-10-14 2006-05-11 Koninkijkle Phillips Electronics N.V Signal filtering
US8437868B2 (en) 2002-10-14 2013-05-07 Thomson Licensing Method for coding and decoding the wideness of a sound source in an audio scene
WO2004036954A1 (en) 2002-10-15 2004-04-29 Electronics And Telecommunications Research Institute Apparatus and method for adapting audio signal according to user's preference
WO2004036955A1 (en) 2002-10-15 2004-04-29 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
KR20050085017A (ko) 2002-11-20 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오에 기초한 데이터 표시 장치 및 방법
US8139797B2 (en) 2002-12-03 2012-03-20 Bose Corporation Directional electroacoustical transducing
US6829925B2 (en) * 2002-12-20 2004-12-14 The Goodyear Tire & Rubber Company Apparatus and method for monitoring a condition of a tire
US7519530B2 (en) 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
US7391877B1 (en) 2003-03-31 2008-06-24 United States Of America As Represented By The Secretary Of The Air Force Spatial processor for enhanced performance in multi-talker speech displays
JP4196274B2 (ja) 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
CN1253464C (zh) 2003-08-13 2006-04-26 中国科学院昆明植物研究所 安丝菌素苷类化合物及其药物组合物，其制备方法及其应用
US20050063613A1 (en) 2003-09-24 2005-03-24 Kevin Casey Network based system and method to process images
KR100590340B1 (ko) * 2003-09-29 2006-06-15 엘지전자 주식회사 디지털 오디오 부호화 방법 및 장치
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
US7680289B2 (en) 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
US7949141B2 (en) 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
KR20060106834A (ko) * 2003-11-17 2006-10-12 1...리미티드 라우드 스피커
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
KR100598602B1 (ko) * 2003-12-18 2006-07-07 한국전자통신연구원 가상 입체 음향 생성 장치 및 그 방법
KR100532605B1 (ko) * 2003-12-22 2005-12-01 한국전자통신연구원 이동통신 단말기의 가상 입체 음향 제공 장치 및 그 방법
KR101117591B1 (ko) 2004-01-05 2012-02-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계
JP2007519995A (ja) 2004-01-05 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ内容から未レンダリング色空間を経由したマッピング変換によって導出される環境光
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7492915B2 (en) 2004-02-13 2009-02-17 Texas Instruments Incorporated Dynamic sound source and listener position based audio rendering
JPWO2005081229A1 (ja) 2004-02-25 2007-10-25 松下電器産業株式会社 オーディオエンコーダ及びオーディオデコーダ
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
ES2426917T3 (es) 2004-04-05 2013-10-25 Koninklijke Philips N.V. Aparato codificador, aparato decodificador, sus métodos y sistema de audio asociado
TWI253625B (en) 2004-04-06 2006-04-21 I-Shun Huang Signal-processing system and method thereof
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US20050276430A1 (en) 2004-05-28 2005-12-15 Microsoft Corporation Fast headphone virtualization
KR100636145B1 (ko) 2004-06-04 2006-10-18 삼성전자주식회사 확장된 고해상도 오디오 신호 부호화 및 복호화 장치
KR100636144B1 (ko) * 2004-06-04 2006-10-18 삼성전자주식회사 오디오 신호 부호화/복호화 장치 및 방법
US20050273324A1 (en) * 2004-06-08 2005-12-08 Expamedia, Inc. System for providing audio data and providing method thereof
JP2005352396A (ja) * 2004-06-14 2005-12-22 Matsushita Electric Ind Co Ltd 音響信号符号化装置および音響信号復号装置
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
JP4594662B2 (ja) 2004-06-29 2010-12-08 ソニー株式会社 音像定位装置
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US7617109B2 (en) 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
WO2006003813A1 (ja) 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
KR20060003444A (ko) 2004-07-06 2006-01-11 삼성전자주식회사 모바일 기기에서 크로스토크 제거 장치 및 방법
TW200603652A (en) * 2004-07-06 2006-01-16 Syncomm Technology Corp Wireless multi-channel sound re-producing system
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
PL2175671T3 (pl) * 2004-07-14 2012-10-31 Koninl Philips Electronics Nv Sposób, urządzenie, urządzenie kodujące, urządzenie dekodujące i system audio
KR100773539B1 (ko) 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
TWI497485B (zh) * 2004-08-25 2015-08-21 Dolby Lab Licensing Corp 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
DE102004042819A1 (de) * 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
KR20060022968A (ko) * 2004-09-08 2006-03-13 삼성전자주식회사 음향재생장치 및 음향재생방법
US7634092B2 (en) 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402650D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
WO2006054360A1 (ja) 2004-11-22 2006-05-26 Mitsubishi Denki Kabushiki Kaisha 音像生成装置及び音像生成プログラム
US7761304B2 (en) 2004-11-30 2010-07-20 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1817767B1 (en) 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
KR100608025B1 (ko) * 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
US20060198528A1 (en) 2005-03-03 2006-09-07 Thx, Ltd. Interactive content sound system
CN101151659B (zh) * 2005-03-30 2014-02-05 皇家飞利浦电子股份有限公司 多通道音频编码器、设备、方法及其解码器、设备和方法
KR20060109297A (ko) * 2005-04-14 2006-10-19 엘지전자 주식회사 오디오 신호의 인코딩/디코딩 방법 및 장치
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
CN101138274B (zh) 2005-04-15 2011-07-06 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
KR20060122693A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법
KR101251426B1 (ko) 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
WO2007004831A1 (en) * 2005-06-30 2007-01-11 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8081764B2 (en) 2005-07-15 2011-12-20 Panasonic Corporation Audio decoder
US7880748B1 (en) 2005-08-17 2011-02-01 Apple Inc. Audio view using 3-dimensional plot
JP5108767B2 (ja) * 2005-08-30 2012-12-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
CN102395098B (zh) 2005-09-13 2015-01-28 皇家飞利浦电子股份有限公司 生成3d声音的方法和设备
KR100739776B1 (ko) 2005-09-22 2007-07-13 삼성전자주식회사 입체 음향 생성 방법 및 장치
WO2007046659A1 (en) * 2005-10-20 2007-04-26 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
CN101310563A (zh) 2005-12-16 2008-11-19 唯听助听器公司 用于监视助听器装配系统中的无线连接的方法和系统
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
WO2007080212A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Controlling the decoding of binaural audio signals
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
US8190425B2 (en) 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
JP5054035B2 (ja) 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
KR100773562B1 (ko) 2006-03-06 2007-11-07 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
WO2007110103A1 (en) * 2006-03-24 2007-10-04 Dolby Sweden Ab Generation of spatial downmixes from parametric representations of multi channel signals
WO2007111568A2 (en) * 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
DE602006021347D1 (de) * 2006-03-28 2011-05-26 Fraunhofer Ges Forschung Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion
JP4778828B2 (ja) 2006-04-14 2011-09-21 矢崎総業株式会社 電気接続箱
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US7876904B2 (en) 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
US20080235006A1 (en) * 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
WO2008039041A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
JP5450085B2 (ja) * 2006-12-07 2014-03-26 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
JP2009044268A (ja) * 2007-08-06 2009-02-26 Sharp Corp 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、及び、記録媒体
MX2010004220A (es) * 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
US8077772B2 (en) * 2007-11-09 2011-12-13 Cisco Technology, Inc. Coding background blocks in video coding that includes coding as skipped
JP5056530B2 (ja) * 2008-03-27 2012-10-24 沖電気工業株式会社 復号システム、方法及びプログラム

Also Published As

Publication number Publication date
EP1984915A1 (en) 2008-10-29
EP1984914A1 (en) 2008-10-29
EP1987512A1 (en) 2008-11-05
EP1984912A1 (en) 2008-10-29
TWI329464B (en) 2010-08-21
EP1984915A4 (en) 2010-06-09
EP1984912A4 (en) 2010-06-09
KR100908055B1 (ko) 2009-07-15
TWI329465B (en) 2010-08-21
US8612238B2 (en) 2013-12-17
TWI483244B (zh) 2015-05-01
TW200921644A (en) 2009-05-16
US20090248423A1 (en) 2009-10-01
KR100902899B1 (ko) 2009-06-15
KR20080110920A (ko) 2008-12-19
WO2007091850A1 (en) 2007-08-16
KR20070080600A (ko) 2007-08-10
US20090037189A1 (en) 2009-02-05
US20090060205A1 (en) 2009-03-05
KR100878815B1 (ko) 2009-01-14
KR20070080595A (ko) 2007-08-10
KR100902898B1 (ko) 2009-06-16
KR20070080594A (ko) 2007-08-10
JP2009526263A (ja) 2009-07-16
EP1984914A4 (en) 2010-06-23
TWI331322B (en) 2010-10-01
EP1982327A4 (en) 2010-05-05
US20140222439A1 (en) 2014-08-07
WO2007091849A1 (en) 2007-08-16
KR20070080602A (ko) 2007-08-10
JP5054035B2 (ja) 2012-10-24
KR20080093419A (ko) 2008-10-21
JP2009526262A (ja) 2009-07-16
KR100878816B1 (ko) 2009-01-14
KR100983286B1 (ko) 2010-09-24
KR100991795B1 (ko) 2010-11-04
JP5199129B2 (ja) 2013-05-15
KR101203839B1 (ko) 2012-11-21
CN104681030A (zh) 2015-06-03
CA2637722A1 (en) 2007-08-16
EP1982326A4 (en) 2010-05-19
JP2009526261A (ja) 2009-07-16
KR20080094775A (ko) 2008-10-24
KR20070080598A (ko) 2007-08-10
US8285556B2 (en) 2012-10-09
JP2009526258A (ja) 2009-07-16
US9626976B2 (en) 2017-04-18
KR20080093417A (ko) 2008-10-21
WO2007091843A1 (en) 2007-08-16
JP5054034B2 (ja) 2012-10-24
KR20070080599A (ko) 2007-08-10
KR20070080597A (ko) 2007-08-10
TW200740267A (en) 2007-10-16
WO2007091847A1 (en) 2007-08-16
WO2007091845A1 (en) 2007-08-16
KR100863480B1 (ko) 2008-10-16
US20090245524A1 (en) 2009-10-01
JP2009526260A (ja) 2009-07-16
KR20070080601A (ko) 2007-08-10
KR20080093415A (ko) 2008-10-21
JP5173839B2 (ja) 2013-04-03
EP1984913A1 (en) 2008-10-29
US20090010440A1 (en) 2009-01-08
WO2007091848A1 (en) 2007-08-16
KR100897809B1 (ko) 2009-05-15
EP1982327A1 (en) 2008-10-22
KR101014729B1 (ko) 2011-02-16
WO2007091842A1 (en) 2007-08-16
KR100913091B1 (ko) 2009-08-19
BRPI0707498A2 (pt) 2011-05-10
KR100863479B1 (ko) 2008-10-16
KR20070080592A (ko) 2007-08-10
CN104681030B (zh) 2018-02-27
EP1984915B1 (en) 2016-09-07
EP1984913A4 (en) 2011-01-12
KR20080093418A (ko) 2008-10-21
KR100921453B1 (ko) 2009-10-13
US8625810B2 (en) 2014-01-07
KR20080093024A (ko) 2008-10-17
US20090028345A1 (en) 2009-01-29
US8712058B2 (en) 2014-04-29
US8296156B2 (en) 2012-10-23
EP1987512A4 (en) 2010-05-19
AU2007212845B2 (en) 2010-01-28
US20090012796A1 (en) 2009-01-08
CA2637722C (en) 2012-06-05
US8160258B2 (en) 2012-04-17
EP1982326A1 (en) 2008-10-22
KR20080093416A (ko) 2008-10-21
US8638945B2 (en) 2014-01-28
HK1128810A1 (en) 2009-11-06
JP2009526264A (ja) 2009-07-16
TW200740266A (en) 2007-10-16
KR20070080596A (ko) 2007-08-10
JP5173840B2 (ja) 2013-04-03
TW200802307A (en) 2008-01-01
AU2007212845A1 (en) 2007-08-16
KR100878814B1 (ko) 2009-01-14
JP2009526259A (ja) 2009-07-16

Similar Documents

Publication Publication Date Title
KR100863480B1 (ko) 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120926

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140924

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150924

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160923

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee