KR20080094775A - 부호화/복호화 장치 및 방법 - Google Patents
부호화/복호화 장치 및 방법 Download PDFInfo
- Publication number
- KR20080094775A KR20080094775A KR1020087016482A KR20087016482A KR20080094775A KR 20080094775 A KR20080094775 A KR 20080094775A KR 1020087016482 A KR1020087016482 A KR 1020087016482A KR 20087016482 A KR20087016482 A KR 20087016482A KR 20080094775 A KR20080094775 A KR 20080094775A
- Authority
- KR
- South Korea
- Prior art keywords
- downmix signal
- information
- domain
- signal
- downmix
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000009877 rendering Methods 0.000 claims abstract description 114
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 17
- 238000013139 quantization Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 210000000959 ear middle Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereophonic System (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 부호화/복호화 방법 및 장치에 관한 것이다. 그 복호화 방법은 입력되는 비트스트림으로부터 임의 다운믹스 신호와 임의 다운믹스 신호의 보상 정보를 추출하는 단계; 보상 정보를 이용하여 임의 다운믹스 신호를 보상하는 단계; 및 보상된 임의 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의한 부호화/복호화 장치 및 방법에 따르면, 멀티 채널 신호를 3D 효과를 가지는 신호로 효율적으로 부호화할 수 있으며, 재생 환경에 따라 적응적으로 최상의 음질을 가지는 오디오 신호를 복원하여 재생할 수 있다.
Description
본 발명은 부호화/복호화 방법 및 장치에 관한 것으로서, 보다 상세하게는 3D 효과를 가지는 신호의 처리를 위한 오디오 신호의 부호화/복호화 장치 및 그를 이용한 부호화/복호화 방법에 관한 것이다.
멀티 채널 신호는 부호화 장치를 통해 그 보다 적은 수의 채널을 가지는 신호로 다운 믹스되어 복호화 장치로 전송되고, 복호화 장치는 상기 전송된 다은 믹스 신호를 멀티 채널 신호로 복원한 후 3 이상의 스피커, 예를 들어 5.1 채널의 스피커를 이용하여 재생한다.
또한, 멀티 채널 신호는 헤드폰과 같은 2 채널의 스피커를 통해 재생될 수도 있다. 이 경우 사용자가 2 채널 스피커의 소리를 3 이상의 음원으로부터 나오는 것으로 느낄 수 있도록, 멀티 채널 신호를 3D 효과를 가지는 신호로 부호화 또는 복호화하는 3D 처리 기술이 필요하다.
기술적 과제
본 발명의 목적은 다양한 재생 환경에서 멀티 채널 신호를 재생할 수 있도록, 3D 효과를 가지는 신호를 효율적으로 처리할 수 있는 부호화/복호화 장치 및 방법을 제공하는데 있다.
기술적 해결방법
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 방법은, 비트스트림으로부터 임의 다운믹스 신호와 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 추출하는 단계; 상기 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하는 단계; 및 상기 보상된 임의 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 또 다른 복호화 방법은, 비트스트림으로부터 임의 다운믹스 신호와 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 추출하는 단계; 3D 렌더링에 사용될 필터 정보에 상기 추출된 보상 정보를 합성하는 단계; 및 상기 합성된 필터 정보를 이용해 상기 임의 다운믹스 신호에 대한 보상 및 3D 렌더링을 동시에 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.
상술한 바와 같은 기술적 과제를 해결하기 위한 본 발명에 의한 복호화 장치는, 입력되는 비트스트림으로부터 임의 다운믹스 신호와 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 추출하는 비트언팩킹부; 상기 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하는 다운믹스보상부; 및 상기 보상된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 3D렌더링부를 포함하는 것을 특징으로 한다.
상기 복호화 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
유리한 효과
본 발명에 의한 부호화/복호화 장치 및 방법에 따르면, 멀티 채널 신호를 3D 효과를 가지는 신호로 효율적으로 부호화할 수 있으며, 재생 환경에 따라 적응적으로 최상의 음질을 가지는 오디오 신호를 복원하여 재생할 수 있다.
도 1은 본 발명에 따른 부호화/복호화 장치의 전체적인 구성에 대한 일실시예를 나타내는 블록도이다.
도 2는 본 발명에 따른 부호화 장치의 구성에 대한 제1 실시예를 나타내는 블록도이다.
도 3은 본 발명에 따른 복호화 장치의 구성에 대한 제1 실시예를 나타내는 블록도이다.
도 4는 본 발명에 따른 부호화 장치의 구성에 대한 제2 실시예를 나타내는 블록도이다.
도 5는 본 발명에 따른 복호화 장치의 구성에 대한 제2 실시예를 나타내는 블록도이다.
도 6은 본 발명에 따른 복호화 장치의 구성에 대한 제3 실시예를 나타내는 블록도이다.
도 7은 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 나타내는 블록 도이다.
도 8 내지 도 11은 비트스트림 구조에 대한 실시예들을 나타내는 도면이다.
도 12는 본 발명에 따른 임의 다운믹스 신호를 처리하는 부호화/복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 13은 임의 다운믹스 신호의 보상과 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 14는 본 발명에 따른 호환형 다운믹스 신호를 처리하는 복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 15는 호환형 다운믹스 신호의 호환 처리와 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 16은 크로스토크(crosstalk)를 제거하기 위한 복호화 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
발명의 실시를 위한 최선의 형태
이하, 첨부된 도면을 참조하면서 본 발명에 따른 부호화/복호화 방법 및 장치에 대해 상세히 설명한다.
도 1은 본 발명에 따른 부호화/복호화 장치의 전체적인 구성에 대한 일실시예를 블록도로 도시한 것이다.
도 1을 참조하면, 부호화기(100)는 멀티채널인코더(110), 3D렌더링부(120), 다운믹스인코더(130) 및 비트팩킹부(140)를 포함하여 이루어진다.
멀티채널인코더(110)는 복수의 채널들을 가지는 멀티 채널 신호를 스테레오 또는 모노의 다운믹스 신호로 다운 믹스하며, 상기 다운믹스 신호로부터 멀티채널 신호를 복원하는데 필요한 상기 복수의 채널 들에 대한 공간 정보(spatial information)를 생성한다.
공간 정보는 멀티 채널들 중 두 채널 간 에너지 차이를 나타내는 CLD(Channel Level Difference), 두 채널 신호로부터 세 채널 신호를 생성하기 위해 사용되는 예측 계수인 CPC(Channel Prediction Coefficient), 두 채널 간 상관 관계(correlation)를 나타내는 ICC(Inter Channel Correlation) 및 두 채널간 시간차를 나타내는 CTD(Channel Time Difference) 등을 포함할 수 있다.
3D렌더링부(120)는 상기 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성한다. 상기 3D 다운믹스 신호는 2 채널의 신호가 3 이상의 방향성을 가지도록 하여, 헤드폰과 같은 2 채널 스피커를 통해 3차원 입체 음향을 재생할 수 있도록 하기 위한 신호이다. 즉, 3D 다운믹스 신호를 2 채널의 스피커를 통해 재생하면, 상기 재생되는 소리는 3 채널 이상의 음원으로부터 나오는 것으로 사용자에게 들릴 수 있다. 음원의 방향감은 두 귀로 들어오는 소리의 강도차, 시간차, 위상차 중 적어도 하나에 의해 형성되므로, 3D렌더링부(120)는 상기와 같이 인간이 청각으로 음원의 3차원상 위치를 파악하는 메커니즘을 이용하여 다운 믹스 신호를 3D 다운믹스 신호로 변환할 수 있다.
3D렌더링부(120)는 필터를 이용하여 상기 다운 믹스 신호를 필터링함으로써 상기 3D 다운믹스 신호를 생성하는 것이 바람직하며, 상기 필터에 관한 정보, 예를 들어 필터의 계수는 외부로부터 입력될 수 있다. 또한, 3D렌더링부(120)는 상기 다 운믹스 신호를 이용하여 3D 다운믹스 신호를 생성하기 위해, 멀티채널인코더(110)에서 생성된 공간 정보를 이용할 수도 있다. 예를 들어, 3D렌더링부(120)는 공간 정보를 이용해 상기 다운믹스 신호를 가상의 멀티 채널 신호로 변환한 후, 상기 가상의 멀티 채널 신호를 필터링하여 3D 다운믹스 신호로 변환할 수 있다.
3D렌더링부(120)는 HRTF(Head Related Transfer Function) 필터를 이용해 상기 다운 믹스 신호를 필터링함으로써, 3D 다운믹스 신호를 생성할 수 있다.
HRTF는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)을 의미하며, 상기 음원의 방위와 고도에 따라 그 값을 달리한다. 방향성이 없는 신호를 특정 방향의 HRTF로 필터링하면, 사람이 들었을 때 마치 상기 특정 방향에서 소리가 들리는 것처럼 느끼게 된다.
3D렌더링부(120)는 주파수 도메인, 예를 들어 DFT(Discrete Fourier Transform) 도메인 또는 FFT(Fast Fourier Transform) 도메인 상에서 3D 다운믹스 신호 생성 작업을 수행할 수 있다. 이 경우, 3D 프로세싱에 앞서 DFT 또는 FFT를 수행하거나, 3D 프로세싱 후 inverse DFT 또는 inverse FFT가 수행될 수 있다.
3D 렌더링부(120)는 QMF/Hybrid 도메인 상에서도 상기 3D 렌더링을 수행할 수 있으며, 그러한 경우 상기 3D 렌더링에 전후에 QMF/Hybrid analysis 및 synthesis가 수행될 수 있다.
또한, 상기 3D 렌더링은 time 도메인 상에서도 수행될 수 있다. 3D 렌더링이 수행되는 도메인은 요구되는 음질, 장치의 연산 능력 등을 고려하여 가장 적합한 도메인으로 선택될 수 있다.
다운믹스인코더(130)는 멀티채널인코더(110)로부터 출력되는 다운믹스 신호 또는 3D렌더링부(120)로부터 출력되는 3D 다운믹스 신호를 부호화한다. 다운믹스인코더(130)는 입력되는 다운믹스 신호를 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 코딩 방법을 이용해 부호화할 수 있다.
다운믹스인코더(130)는 상기 3D 처리되지 않은 다운믹스 신호와 3D 처리된 3D 다운믹스 신호를 모두 부호화할 수도 있으며, 이 경우 전송되는 비트스트림에 상기 두 신호가 모두 포함될 수 있다.
비트팩킹부(140)는 상기 부호화된 다운믹스 신호 또는 3D 다운믹스 신호와 공간 정보를 이용하여 비트스트림을 생성한다.
비트스트림은 공간 정보, 포함된 신호가 다운 믹스 신호인지 3D 다운믹스 신호인지 여부에 대한 다운믹스 식별 정보, 3D렌더링부(120)에서 사용된 필터에 관한 정보, 예를 들어 HRTF 계수에 관한 정보 등을 포함할 수 있다.
즉, 복호화 장치로 전송되는 비트스트림에는 3D 처리되지 않은 다운믹스 신호와 인코더에서 3D 처리된 인코더 3D 다운믹스 신호 중 적어도 하나가 포함될 수 있으며, 전송된 비트스트림에 포함된 다운믹스 신호를 복호화 장치에서 식별하기 위한 다운믹스 식별 정보가 포함되는 것이 바람직하다.
전송되는 비트스트림에 상기 다운믹스 신호와 인코더 3D 다운믹스 신호 중 어느 것이 포함되는지 여부는 사용자의 선택, 부호화/복호화 장치의 성능, 재생 환경 등에 의해 결정될 수 있다.
상기 HRTF 계수에 대한 정보는 3D렌더링부(120)에서 사용된 HRTF의 역변환 함수의 계수를 포함할 수 있으며, 3D렌더링부(120)에서 사용된 HRTF의 계수에 대한 간략화된 정보, 예를 들어 상기 계수의 포락선(envelope) 정보만을 포함할 수도 있다. 비트스트림에 HRTF 역변환 함수의 계수를 포함시켜 전송하는 경우, 복호화 장치의 HRTF 계수 변환 작업이 생략될 수 있으므로 복호화 장치의 연산량을 감소시킬 수 있다.
비트스트림은 상기 HRTF를 이용한 필터링에 따른 신호의 에너지 변화에 대한 정보, 즉 필터링 전 신호의 에너지와 필터링 후 신호의 에너지 사이의 차이 또는 비에 대한 정보를 포함할 수 있다.
비트스트림은 HRTF 계수의 포함 여부를 나타내는 정보를 가질 수 있으며, 상기 HRTF 계수가 상기 비트스트림에 포함된 경우 3D렌더링부(120)에서 사용된 HRTF의 계수와 상기 HRTF의 역변환 함수의 계수 중 어느 것을 포함하고 있는지 여부에 대한 정보를 가질 수 있다.
도 1을 참조하면, 본 발명에 따른 복호화 장치는 비트언팩킹부(210), 다운믹스디코더(220), 3D렌더링부(230) 및 멀티채널디코더(240)를 포함하여 이루어진다.
비트언팩킹부(210)는 입력되는 비트스트림으로부터 부호화된 다운믹스 신호와 공간 정보를 추출하고, 다운믹스디코더(220)는 상기 부호화된 다운믹스 신호를 복호화 한다. 다운믹스디코더(220)는 AAC(Advanced Audio Coding), MP3(MPEG layer 3) 또는 BSAC(Bit Sliced Arithmetic Coding) 등의 오디오 신호 복호화 방법을 이용해 상기 부호화된 다운믹스 신호를 복호화할 수 있다.
상기한 바와 같이, 상기 비트스트림으로부터 추출되는 신호는 부호화된 다운믹스 신호 또는 부호화된 인코더 3D 다운믹스 신호일 수 있다. 비트스트림에 포함된 다운믹스 신호가 3D 처리된 신호인지 여부에 대한 정보는 상기 비트스트림에 포함될 수 있다.
다운믹스디코더(220)에 의해 복호화된 인코더 3D 다운믹스 신호는 바로 재생 가능하다.
다운믹스디코더(220)에 의해 복호화된 다운믹스 신호는 3D 렌더링부(230)에 포함된 제3 렌더링부(233)에 의해 3D 효과 처리되어 3D 다운믹스로 변환될 수 있다. 상기와 같이 복호화 장치에서 3D 효과 처리된 디코더 3D 다운믹스 신호는 바로 재생 가능하다.
3D 렌더링부(230)에 포함된 제1 렌더링부(231)는 다운믹스디코더(220)에 의해 복호화된 인코더 3D 다운믹스 신호에 대해 3D 렌더링을 수행하여 다운믹스 신호를 생성한다. 예를 들어, 제1 렌더링부(231)는 상기 인코더 3D 다운믹스 신호의 3D 효과를 제거함으로써 3D 처리되지 않은 다운믹스 신호를 생성할 수 있다.
상기 인코더 3D 다운믹스 신호의 3D 효과는 제1 렌더링부(231)에 의해 완전히 제거되지 않을 수도 있으며, 그에 따라 제1 렌더링부(231)로부터 출력되는 다운믹스 신호는 약간의 3D 효과를 가지는 신호일 수도 있다.
제1 렌더링부(231)는 부호화기(100)의 3D렌더링부(120)에서 사용된 필터의 역변환 필터를 이용하여 상기 인코더 다운믹스 신호를 3D 효과가 제거된 다운믹스 신호로 변환할 수 있다. 3D렌더링부(120)에서 사용된 필터 또는 상기 역변환 필터 에 관한 정보는 부호화기(100)로부터 전송되는 비트스트림에 포함될 수 있다.
상기 필터는 HRTF 필터인 것이 바람직하며, 이 경우 부호화기(100)에서 사용된 HRTF의 계수 또는 상기 HRTF의 역변환 계수는 부호화기(100)로부터 전송되는 비트스트림에 포함될 수 있다. 부호화기(100)에서 사용된 HRTF의 계수는 역변환된 후, 제1 렌더링부(231)의 3D 렌더링에 이용된다. 비트스트림에 부호화기(100)에서 사용된 HRTF의 역변환 계수가 포함된 경우, 상기 역변환 과정 없이 상기 비트스트림에 포함된 계수를 이용하여 3D 렌더링을 수행할 수 있으므로 복호화 장치의 연산량이 감소될 수 있다.
입력되는 비트스트림에는 필터 정보, 예를 들어 HRTF 계수의 포함 여부를 나타내는 정보 또는 상기 비트스트림에 포함된 필터 정보가 역변환된 것인지에 대한 정보가 포함될 수 있다.
멀티채널디코더(240)는 상기 3D 효과가 제거된 다운 믹스 신호와 비트스트림으로부터 추출된 공간 정보를 이용하여 3 이상의 채널을 가지는 3D 멀티 채널 신호를 생성한다.
또한, 제2 렌더링부(232)는 상기 3D 효과가 제거된 다운 믹스 신호에 대해 3D 렌더링을 수행하여, 3D 효과를 가지는 3D 다운믹스 신호를 생성할 수 있다. 즉, 제1 렌더링부(231)는 인코더 3D 다운믹스 신호로부터 부호화기(100)의 3D 효과를 제거하고, 제2 렌더링부(231)는 복호화 장치가 가지는 필터를 이용하여 상기 3D 효과가 제거된 다운믹스 신호에 대해 3D 렌더링을 수행하여 복호화 장치에서 원하는 3D 효과를 가지는 컴바인드(combined) 3D 다운믹스 신호를 생성할 수 있다.
본 발명에 따른 복호화 장치는 제1, 2, 3 렌더링부들(231, 232, 233) 중 동일한 동작을 수행하는 2 이상의 유닛들을 하나의 렌더링부로 병합하여 포함할 수 있다.
도 1에 도시된 바와 같이, 부호화기(100)에서 생성된 비트스트림은 상기한 바와 같은 복호화 장치의 구조를 가지는 제1 복호화기(200)와 상이한 제2 복호화기(300)로 전송될 수도 있으며, 제2 복호화기(300)는 상기 비트스트림에 포함된 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성할 수 있다.
제2 복호화기(300)의 비트언팩킹부(310)는 입력되는 비트스트림으로부터 부호화된 다운믹스 신호와 공간 정보를 추출하고, 다운믹스디코더(320)는 상기 부호화된 다운믹스 신호를 복호화 한다. 다운믹스디코더(320)에 의해 복호화된 다운믹스 신호는 3D 렌더링부(330)에 의해 3D 효과 처리되어 3D 다운믹스로 변환될 수 있다.
도 2는 본 발명에 따른 부호화 장치의 구성에 대한 제1 실시예를 블록도로 도시한 것으로, 도시된 부호화 장치는 3D렌더링부(400, 420) 및 멀티채널인코더(410)를 포함하여 이루어진다. 도 2에 도시된 부호화 장치의 동작들 중 도 1을 참조하여 설명한 부호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 2를 참조하면, 3D렌더링부(400, 420)는 멀티채널인코더(410)의 전단 또는 후단에 위치할 수 있다. 즉, 멀티 채널 신호는 3D렌더링부(400)에서 3D 렌더링된 후 멀티채널인코더(410)로 입력되어 전처리 인코더 3D 다운믹스 신호로 부호화될 수 있으며, 그와 반대로 멀티 채널 신호는 멀티채널인코더(410)에서 다운믹스된 후 3D렌더링부(400)에서 3D 렌더링되어 후처리 인코더 다운믹스 신호로 부호화될 수도 있다.
상기 3D 렌더링이 멀티채널인코더(410)에 의한 다운믹스 이전 또는 이후에 수행되었는지 여부에 대한 정보는 부호화 장치로부터 전송되는 비트스트림에 포함되는 것이 바람직하다.
도 2에서는 3D렌더링부(400, 420)가 멀티채널인코더(410)의 전단 및 후단에 모두 위치하나, 멀티채널인코더(410)의 전단 및 후단 중 어느 하나에 3D렌더링부가 위치하는 것이 바람직하다.
도 3은 본 발명에 따른 복호화 장치의 구성에 대한 제1 실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 3D렌더링부(430, 450) 및 멀티채널디코더(440)을 포함하여 이루어 진다. 도 3에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 3을 참조하면, 3D렌더링부(430, 450)는 멀티채널디코더(440)의 전단 또는 후단에 위치할 수 있다. 즉, 인코더 3D 다운믹스 신호는 3D렌더링부(430)에서 3D 효과가 제거된 후 멀티채널디코더(430)로 입력되어 전처리 3D 멀티 채널 신호로 복호화될 수 있으며, 그와 반대로 인코더 3D 다운믹스 신호는 멀티채널디코더(430)에서 멀티 채널 신호로 복원된 후 3D렌더링부(450)에서 3D 효과가 제거되어 후처리 3D 멀티 채널 신호로 복호화될 수 있다.
상기 인코더 3D 다운믹스 신호를 생성한 부호화 장치에서 3D 렌더링이 다운믹스 이전에 수행된 경우 복호화 장치에서는 3D렌더링이 멀티채널디코딩 이후에 수 행되도록 하는 것이 바람직하다. 또한, 부호화 장치에서 3D 렌더링이 다운믹스 이후에 수행된 경우에는, 복호화 장치에서는 3D렌더링이 멀티채널디코딩 이전에 수행되도록 하는 것이 바람직하다.
상기한 바와 같이, 부호화 장치에서 3D 렌더링이 다운믹스 이전 또는 이후에 수행되었는지 여부에 대한 정보는 부호화 장치로부터 전송되는 비트스트림로부터 추출되는 것이 바람직하다.
도 3에서는 3D렌더링부(430, 450)가 멀티채널디코더(430)의 전단 및 후단에 모두 위치하나, 멀티채널디코더(430)의 전단 및 후단 중 어느 하나에 3D렌더링부가 위치하는 것이 바람직하다.
도 4는 본 발명에 따른 부호화 장치의 구성에 대한 제2 실시예를 블록도로 도시한 것으로, 도시된 부호화 장치는 멀티채널인코더(500), 3D렌더링부(510), 다운믹스인코더(520) 및 비트팩킹부(530)를 포함하여 이루어진다. 도 4에 도시된 부호화 장치의 동작들 중 도 1을 참조하여 설명한 부호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 4를 참조하면, 멀티채널인코더(500)는 입력되는 멀티 채널 신호를 이용하여 다운믹스 신호와 공간 정보를 생성하고, 3D렌더링부(510)는 상기 생성된 다운믹스 신호에 대해 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성한다.
부호화 장치에서 상기 다운믹스 신호에 대해 3D 렌더링을 수행할 것인지 여부는 사용자의 선택, 부호화/복호화 장치의 성능, 재생 환경 또는 요구되는 음질 등에 의해 결정될 수 있다.
다운믹스인코더(520)는 멀티채널인코더(500)에서 생성된 다운믹스 신호 또는 3D렌더링부(510)에서 생성된 3D 다운믹스 신호를 부호화한다.
비트팩킹부(530)는 상기 부호화된 다운믹스 신호 또는 부호화된 인코더 3D 다운믹스 신호와 공간 정보를 이용하여 비트스트림을 생성한다. 상기 비트스트림에는 포함된 신호가 3D 효과를 가지지 않는 다운믹스 신호인지 3D 효과를 가지는 인코더 3D 다운믹스 신호인지 여부에 대한 다운믹스 식별 정보를 포함하는 것이 바람직하다. 즉, 상기 다운믹스 식별 정보는 상기 비트스트림에 다운믹스 신호가 포함되어있는지, 인코더 3D 다운믹스 신호가 포함되어 있는지 또는 상기 두 신호를 모두 포함하는지에 대한 정보를 가질 수 있다.
도 5는 본 발명에 따른 복호화 장치의 구성에 대한 제2 실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(540), 다운믹스디코더(550) 및 3D렌더링부(560)를 포함하여 이루어진다. 도 5에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 5를 참조하면, 비트언팩킹부(540)는 입력되는 비트스트림으로부터 부호화된 다운믹스 신호, 공간 정보 및 다운믹스 식별 정보를 추출한다. 상기 추출된 다운믹스 식별 정보를 이용하여, 상기 비트스트림에 포함된 다운믹스 신호가 3D 효과를 가지지 않는 다운믹스 신호인지, 3D 효과를 가지는 3D 다운믹스 신호인지 여부를 알 수 있다.
상기 비트스트림에 다운믹스 신호와 3D 다운믹스 신호가 모두 포함된 경우, 사용자의 선택, 부호화/복호화 장치의 성능, 재생 환경 또는 요구되는 음질 등에 따라 상기 두 신호 중 어느 하나만이 상기 비트스트림으로부터 추출되어 복호화에 이용될 수도 있다.
다운믹스디코더(550)는 상기 부호화된 다운믹스 신호를 복호화한다. 상기 복호화된 신호가 부호화 장치에서 3D 렌더링된 인코더 3D 다운믹스 신호인 경우, 상기 복호화된 인코더 3D 다운믹스 신호는 바로 재생 가능하다.
또한, 상기 복호화된 신호가 3D 효과를 가지지 않는 다운믹스 신호인 경우, 3D렌더링부(560)는 상기 다운믹스 신호에 대해 3D 렌더링을 수행하여 디코더 3D 다운믹스 신호를 생성할 수 있다.
도 6은 본 발명에 따른 복호화 장치의 구성에 대한 제3 실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(600), 다운믹스디코더(610), 제1 3D렌더링부(620), 제2 3D렌더링부(630) 및 필터정보저장부(640)를 포함하여 이루어진다. 도 6에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
비트언팩킹부(600)는 입력되는 비트스트림으로부터 부호화된 인코더 3D 다운믹스 신호 및 공간 정보를 추출하고, 다운믹스디코더(610)는 상기 부호화된 인코더 3D 다운믹스 신호를 복호화한다.
제1 3D렌더링부(620)는 부호화 장치에서 3D 렌더링에 사용된 필터의 역변환 필터를 이용하여 상기 복호화된 인코더 3D 다운믹스 신호로부터 3D 효과를 제거한다. 제2 3D렌더링부(630)는 복호화 장치가 가지는 필터를 이용하여 상기 3D 효과가 제거된 신호에 대해 3D 렌더링을 수행하여 3D 효과를 가지는 컴바인드(combined) 3D 다운믹스 신호를 생성한다.
제2 3D렌더링부(630)는 부호화 장치에서 3D 렌더링에 사용된 필터와 상이한 특성을 가지는 필터, 예를 들어 부호화 장치에서 사용된 HRTF와 상이한 계수를 가지는 HRTF를 이용해 3D 렌더링을 수행하는 것이 바람직하다.
필터정보저장부(640)는 3D 렌더링에 사용될 필터에 대한 정보, 예를 들어 HRTF 계수 정보를 저장하고 있으며, 제2 3D렌더링부(630)는 필터정보저장부(640)에 저장된 필터 정보를 이용하여 컴바인드(combined) 3D 다운믹스 신호를 생성할 수 있다.
필터정보저장부(640)는 복수의 필터들에 대한 정보를 저장할 수 있으며, 이 경우 사용자의 선택, 장치의 능력 또는 요구되는 음질 등에 따라 상기 저장된 복수의 필터들에 대한 정보 중 어느 하나의 필터 정보가 선택될 수 있다.
인종 등에 따라 귀 구조가 상이할 수 있으므로, 개개인에게 최적화된 HRTF 계수는 상이할 수 있다. 따라서 도 6에 도시된 바와 같은 구조를 가지는 복호화 장치는 사용자에게 최적화된 3D 다운믹스 신호를 재생할 수 있으며, 3D 다운믹스 신호 의 공급자가 사용하는 HRTF에 관계없이 사용자가 원하는 HRTF 필터에 따른 3D 효과를 가지는 3D 다운믹스 신호를 재생할 수 있다.
도 7은 3D 렌더링을 수행하는 3D 렌더링부의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 바와 같이 특정 도메인에서 3D 렌더링을 수행하기 위해 도메인변환부(700, 720)가 3D렌더링부(710)의 전단 또는 후단에 포함되는 것이 바 람직하다.
도 7을 참조하면, 다운믹스 신호는 제1 도메인변환부(700)에 의해 주파수 도메인 상의 신호로 변환된다. 제1 도메인변환부(700)는 다운믹스 신호에 대해 이산 푸리에 변환(Discrete Fourier Transform, DFT)을 수행하여 DFT 도메인으로 변환하거나, 패스트 푸리에 변환(Fast Fourier Transform, FFT)을 수행하여 FFT 도메인으로 변환할 수 있다.
3D렌더링부(710)은 주파수 도메인 상에서 상기 다운믹스 신호에 공간 정보를 적용하여 멀티 채널 신호를 생성하고, 상기 생성된 멀티 채널 신호를 필터링하여 3D 다운믹스 신호를 생성한다.
상기 생성된 3D 다운믹스 신호는 제2 도메인변환부(720)에 의해 시간 도메인 신호로 변환된다. 제2 도메인변환부(720)는 상기 3D 다운믹스 신호에 대해 역이산 푸리에 변환(Inverse Discrete Fourier Transform, IDFT) 또는 역 패스트 푸리에 변환(Inverse Fast Fourier Transform, IFFT)을 수행할 수 있다.
상기와 같이 주파수 도메인 상에서 생성된 3D 다운믹스 신호를 시간 도메인 상의 신호로 변환 시, 에일리어싱(aliasing)과 같은 데이터의 손실 또는 왜곡이 발생할 수 있다.
상기 멀티 채널 신호 및 3D 다운믹스 신호의 생성 작업이 주파수 도메인 상에서 이루어지기 위해, 파라미터 밴드 별로 표현되는 공간 정보는 주파수 도메인 상으로 맵핑되고, 필터 계수는 주파수 도메인 상으로 변환된다.
3D렌더링부(710)는 주파수 도메인 상에서 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 곱하여 3D 다운믹스 신호를 생성할 수 있다.
M-point를 가지는 주파수 도메인 상에서 표현되는 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 곱한 후 시간 도메인 상의 신호로 변환하면, 상기 변환된 신호는 M개의 유효 신호를 갖게 된다. 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 M-point를 가지는 주파수 도메인 상에서 표현하기 위해, M-point DFT 또는 M-point FFT를 사용할 수 있다.
유효 신호는 복수의 신호들 중 언제나 0의 값을 가지는 신호를 제외한 신호들의 개수를 의미하는 것으로, 예를 들어 오디오 신호를 x개의 신호로 샘플링을 하여 x개의 유효 신호들을 생성할 수 있다. 또한, 상기 x개의 유효 신호들 중 y개의 유효 신호를 제로 패딩(zero-padding)하면, 유효 신호의 개수가 (x-y)개로 감소되며, a개의 유효 신호를 가지는 신호와 b개의 유효 신호를 가지는 신호를 컨볼루션(convolution)하면 (a+b-1)개의 유효 신호들을 가지는 신호가 생성된다.
상기 다운 믹스 신호, 공간 정보 및 필터 계수를 주파수 도메인 상에서 곱하는 과정은 시간 도메인 상에서 컨볼루션(convolution)을 하는 효과를 갖게 된다. 상기 M-point를 가지는 주파수 도메인 상에서 표현되는 다운 믹스 신호, 공간 정보 및 필터 계수를 시간 도메인 상으로 변환한 후 컨볼루션(convolution)을 하여 신호를 생성하면, 상기 신호는 (3*M-2)개의 유효 신호를 가지게 된다.
따라서 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 주파수 도메인 상에서 곱한 후 시간 도메인 상으로 변환하여 얻어지는 신호의 유효 신호 개수와 시간 도메인 상에서 상기 다운 믹스 신호, 공간 정보 및 필터 계수를 컨볼루션하여 얻어 지는 신호의 유효 신호 개수가 상이하게 될 수 있으며, 그로 인해 주파수 도메인 상에서 생성된 3D 다운믹스 신호를 시간 도메인 상의 신호로 변환 시 에일리어싱(aliasing)이 일어날 수 있다.
에일리어싱을 방지하기 위해서는, 시간 도메인 상에서 상기 다운 믹스 신호의 유효 신호 개수, 주파수 도메인 상으로 맵핑된 공간 정보의 유효 신호 개수 및 상기 필터의 계수들의 개수의 합이 상기 M보다 크지 않아야 한다. 주파수 도메인 상으로 맵핑된 공간 정보의 유효 신호 개수는 상기 주파수 도메인의 포인트에 의해 결정된다. 즉, 파라미터 밴드 별로 표현되는 공간 정보가 N-point를 가지는 주파수 도메인 상으로 맵핑되는 경우, 상기 맵핑된 공간 정보의 유효 신호 개수는 N이 된다.
도 7에 도시된 바와 같이, 제1 도메인변환부(700)는 제1 제로패딩부(711) 및 제1 주파수도메인변환부(712)를 포함하며, 3D렌더링부(710)은 맵핑부(711), 시간도메인변환부(712), 제2 제로패딩부(713), 제2 주파수도메인변환부(714), 멀티채널신호생성부(715), 제3 제로패딩부(716), 제3 주파수도메인변환부(717) 및 3D 다운믹스신호생성부(718)를 포함할 수 있다.
제1 제로패딩부(711)는 시간 도메인 상에서 X개 샘플을 가지는 다운 믹스 신호에 대해 제로 패딩(zero-padding)을 수행하여, 샘플의 개수를 M개까지 증가시키고, 제1 주파수도메인변환부(712)는 상기 제로 패딩된 다운 믹스 신호를 M-point를 가지는 주파수 도메인 상의 신호로 변환한다. 상기 제로 패딩된 다운믹스 신호의 샘플 개수는 M이나, 그 중 유효 신호의 개수는 X개이다.
맵핑부(711)는 파라미터 밴드 별로 표현된 공간 정보를 N-point를 가지는 주파수 도메인 상으로 맵핑시키고, 시간도메인변환부(712)는 상기 주파수 도메인 상으로 맵핑된 공간 정보를 시간 도메인 상으로 변환한다. 상기 시간 도메인 상으로 변환된 공간 정보의 샘플 개수는 N이다.
제2 제로패딩부(713)는 시간 도메인 상에서 N개 샘플을 가지는 상기 공간 정보에 대해 제로 패딩(zero-padding)을 수행하여, 샘플의 개수를 M개까지 증가시키고, 제2 주파수도메인변환부(714)는 상기 제로 패딩된 공간 정보를 M-point를 가지는 주파수 도메인 상의 신호로 변환한다. 상기 제로 패딩된 공간 정보의 샘플 개수는 M이나, 그 중 유효 신호의 개수는 N개이다.
멀티채널신호생성부(715)는 M-point를 가지는 주파수 도메인 상에서 표현된 상기 다운 믹스 신호와 공간 정보를 곱하여 멀티 채널 신호를 생성한다. 상기와 같은 주파수 도메인 상의 곱에 의해 생성된 멀티 채널 신호의 유효 신호 개수는 M개이며, 상기와 같은 유효 신호를 가지는 다운 믹스 신호와 공간 정보의 시간 도메인 상에서의 컨볼루션에 의해 생성되는 멀티 채널 신호의 유효 신호 개수는 (X+N-1)개가 된다.
제3 제로패딩부(716)는 시간 도메인 상에서 표현되는 Y개의 필터 계수들에 대해 제로 패딩(zero-padding)을 수행하여 샘플의 개수를 M개까지 증가시키고, 제3 주파수도메인변환부(717)는 상기 제로 패딩된 필터 계수들을 M-point를 가지는 주파수 도메인 상의 신호로 변환한다. 상기 제로 패딩된 필터 계수들의 샘플 개수는 M이나, 그 중 유효 신호의 개수는 Y개이다.
3D다운믹스신호생성부(718)는 상기 생성된 멀티 채널 신호와 상기 M-point를 가지는 주파수 도메인 상으로 변환된 필터 계수들을 곱하여 3D 다운믹스 신호를 생성한다. 상기와 같은 주파수 도메인 상의 곱에 의해 생성된 3D 다운믹스 신호의 유효 신호 개수는 M개이며, 상기한 바와 같은 유효 신호를 가지는 멀티 채널 신호와 필터 계수들의 시간 도메인 상에서의 컨볼루션에 의해 생성되는 3D 다운믹스 신호의 유효 신호 개수는 (X+N+Y-2)개가 된다.
제1, 2, 3 주파수 도메인변환부(712)에서 변환되는 주파수 도메인의 포인트 M이 상기 (X+N+Y-2) 이상이 되도록 함으로써, 에일리어싱을 방지할 수 있다. 즉, 제1, 2, 3 주파수 도메인변환부(712)가 상기 (X+N+Y-2) 이상인 M-point DFT 또는 M-point FFT를 사용하여 도메인 변환을 수행하도록 함으로써, 에일리어싱을 방지할 수 있다.
상기 주파수 도메인으로의 변환에는 상기 DFT, FFT 뿐 아니라, QMF(Quadrature Mirror Filter) 이외의 필터 뱅크도 사용될 수 있으며, 상기 3D 다운믹스 신호 생성에 HRTF 필터가 이용될 수 있다.
상기 공간 정보의 유효 신호 개수를 조정하는 방법으로는 상기한 방법 이외의 조정 방법들도 사용 가능하며, 상기 조정 방법들 중 효율적이고 연산량이 적은 방법을 선택하여 사용할 수도 있다.
에일리어싱은 주파수 도메인과 시간 도메인 사이의 변환 과정 이외에 QMF/Hybrid 도메인으로의 변환 과정에서도 발생할 수 있으며, 상기한 바와 같은 에일리어싱 방지 방법은 상기 QMF/Hybrid 도메인으로의 변환 과정에서도 발생하는 에 일리어싱에도 적용 가능하다.
또한, 멀티 채널 신호의 생성 또는 3D 다운믹스 신호의 생성에 사용되는 공간 정보가 변화함에 따라, 상기 공간 정보의 변화 구간에서 신호의 불연속(discontinuity)이 발생할 수 있으며, 상기와 같은 불연속은 출력 신호(output signal)에 노이즈 형태로 나타날 수 있다.
상기와 같은 노이즈는, 변화 구간에서 상기 공간 정보가 급격히 변화하지 않도록 하는 스무딩(smoothing) 방법을 적용함으로써 감소시킬 수 있다.
예를 들어, 서로 인접한 제1 프레임(frame)과 제2 프레임에 각각 적용되는 제1 공간 정보와 제2 공간 정보가 상이함에 따라 프레임간의 불연속이 발생할 수 있다.
이 경우, 상기 제1 공간 정보를 상기 제2 공간 정보를 이용해 보정하거나, 제2 공간 정보를 상기 제1 공간 정보를 이용해 보정하여, 상기 제1, 2 공간 정보 사이의 차를 줄임으로써 불연속으로 인해 발생하는 노이즈를 감소시킬 수 있다. 구체적으로는, 상기 제1, 2 공간 정보 중 적어도 하나를 상기 제1, 2 공간 정보의 평균으로 대체하여 노이즈를 감소시킬 수 있다.
또한, 공간 정보가 대응되는 파라미터 밴드(parameter band)들 중 서로 인접한 두 밴드 사이의 불연속에 의해서도 노이즈가 발생할 수 있다. 즉, 서로 인접한 제1 파라미터 밴드와 제2 파라미터 밴드에 각각 대응되는 제3 공간 정보와 제4 공간 정보가 상이함에 따라 파라미터 밴드들 간의 불연속이 발생할 수 있다.
이 경우, 상기 제3 공간 정보를 상기 제4 공간 정보를 이용해 보정하거나, 제4 공간 정보를 상기 제3 공간 정보를 이용해 보정하여, 상기 제3, 4 공간 정보 사이의 차를 줄임으로써 불연속으로 인해 발생하는 노이즈를 감소시킬 수 있다. 구체적으로는, 상기 제3, 4 공간 정보 중 적어도 하나를 상기 제3, 4 공간 정보의 평균으로 대체하여 노이즈를 감소시킬 수 있다.
인접한 프레임간 또는 파라미터 밴드들간의 불연속에 의해 발생하는 노이즈는 상기한 방법 이외에도 다음과 같은 방법들에 의해 감소될 수 있다.
해닝 윈도우(Hanning window)와 같은 윈도우를 각 프레임들에 곱하고, 오버랩 앤 애드(overlap and add) 형태로 진행하여 프레임 간의 급격한 변화를 줄이는 방법을 사용할 수도 있고, 또한 서로 다른 공간 정보가 적용된 출력 신호에 대해 스무딩(smoothing)을 하여 상기 출력 신호의 프레임간에 급격한 변화가 일어나지 않도록 조정하는 방법을 사용할 수도 있다.
DFT 도메인 상에서 공간 정보, 예를 들어 ICC를 사용하여 채널 간의 디코릴레이션(decorrelation)을 조정하는 방법에 대한 실시예는 다음과 같다.
OTT 또는 TTT 박스의 특정 밴드에 적용되는 ICC 값이 A인 경우, 상기 박스로 입력되는 신호의 계수에 (A+(1-A*A)^0.5*i)를 곱하여 디코릴레이션(decorrelation)을 조정할 수 있다. 이때 허수 부분은 양과 음의 값 중 선택될 수 있다.
상기 계수에 곱해지는 값은 신호의 특성, 예를 들어 신호의 에너지 레벨, 신호의 주파수 별 에너지 특성 또는 ICC 값이 적용되는 박스에 따라 적절한 가중치(weighting factor)를 가질 수 있으며, 그에 따라 디코릴레이션(decorrelation) 효 과를 조정할 수 있고, 프레임 간의 스무딩(smoothing)이나 인터폴레이션(interpolation) 등을 적용할 수 있다.
도 7을 참조하여 설명한 바와 같이 주파수 도메인 상에서 3D 다운믹스 신호를 생성하기 위해, HRTF 또는 주파수 도메인으로 변환된 HRIR(Head Related Impulse Response)이 사용될 수 있다.
또한, 도 7에 도시된 바와 달리, time domain 상에서 HRIR(Head Related Impulse Response)와 다운믹스 신호를 컨볼루션함에 의해 3D 다운믹스 신호를 생성할 수 있으며, 주파수 도메인 상에서 생성된 3D 다운믹스 신호에 대해 역 도메인 변환을 수행하지 않고 주파수 도메인 상에 남겨둘 수도 있다.
상기 time domain 상에서의 컨볼루션을 위해, FIR(Finite Impulse Response) filter 또는 IIR(Infinite Impulse Response) filter가 사용될 수 있다.
상기한 바와 같이, 본 발명에 따른 부호화 장치 또는 복호화 장치는 3D 다운믹스 신호를 생성하기 위해 i) 주파수 도메인 상에서 HRTF 또는 주파수 도메인으로 변환된 HRIR(Head Related Impulse Response)을 이용하는 방법 또는 ii) time domain 상에서 HRIR(Head Related Impulse Response)을 컨볼루션하는 방법을 사용할 수 있으며, 상기 두 방법을 조합하여 사용할 수도 있다.
도 8 내지 도 11은 비트스트림 구조에 대한 실시예들을 나타내는 도면이다.
도 8을 참조하면, 비트스트림은 멀티 채널 신호를 생성하기 위한 정보를 포함하는 멀티 채널 디코딩 정보 필드, 3D 다운믹스 신호를 생성하기 위한 정보를 포함하는 3D 렌더링 정보 필드 및 상기 두 정보를 사용하기 위한 헤더 정보를 가지는 헤더 필드로 구성될 수 있다. 또한, 상황에 따라 상기 세 필드 중 일부 필드만을 사용하여 비트스트림을 구성할 수도 있다.
도 9를 참조하면, 복호화에 필요한 부가 정보를 나타내기 위한 비트스트림은 부호화된 신호 전체에 대한 헤더 정보를 가지는 specific configuration 헤더 필드와, 각각 프레임(frame) 단위의 부가 정보를 가지는 복수의 프레임 데이터 필드들로 구성될 수 있다. 상기 프레임 데이터 필드는 프레임 단위의 헤더 정보를 가지는 프레이 헤더 필드와 프레임 단위의 공간 정보를 가지는 프레임 파라미터 데이터 필드를 포함할 수 있다. 또한, 도 9에 도시된 바와는 달리, 상기 프레임 데이터 필드는 공간 정보(spatial information)를 포함하는 프레임 파라미터 데이터 필드만으로 구성될 수도 있다.
상기 프레임 파라미터 데이터 필드는 플래그(flag)와 파라미터 데이터(parameter data)로 구성되는 모듈을 복수 개 포함할 수 있다. 상기 모듈은 공간 정보 등의 파라미터 데이터 및 그로부터 생성된 신호의 음질 향상을 위한 데이터, 예를 들어 다운믹스 게인, 스무딩 데이터(smoothing data)의 집합을 의미한다.
상기 프레임 헤더 필드에서 지정한 정보에 관련된 모듈 데이터를 별도의 플래그 없이 받는 경우, 프레임 헤더 필드에서 지정한 정보를 더 세세히 분류하는 경우 또는 프레임 헤더 필더에서 지정하지 않는 정보에 대해 별도의 플래그와 정보를 받는 경우에는, 상기 플래그가 생략될 수도 있다.
한편, 위 단락에서 설명한 3D 다운믹스 신호와 관련된 부가 정보들, 예를 들어 HRTF 계수 정보 등은 상기 specific configuration 헤더 필드, 프레임 헤더 및 프레임 파라미터 데이터 필드 중 적어도 하나에 포함될 수 있다.
도 10을 참조하면, 비트스트림은 멀티 채널 신호를 생성하기 위한 정보를 포함하는 멀티 채널 디코딩 정보 필드, 3D 다운믹스 신호를 생성하기 위한 정보를 포함하는 3D 렌더링 정보 필드로 구성될 수 있다.
상기와 같은 구성을 가지는 비트스트림을 입력 받은 복호화 장치는 재생하고자 하는 신호에 따라 상기 두 필드 중 어느 하나의 필드만을 읽어 들여 복호화에 이용하고, 다른 하나의 필드는 스킵(skip)할 수 있다.
즉, 멀티 채널 신호를 생성하고자 하는 경우, 복호화 장치는 3D 렌더링 정보 필드를 스킵하고, 멀티 채널 디코딩 정보 필드에 포함된 정보만을 읽어 들일 수 있다. 또한, 3D 다운믹스 신호를 생성하고자 하는 경우, 복호화 장치는 멀티 채널 디코딩 정보 필드를 스킵하고, 3D 렌더링 정보 필드에 포함된 정보만을 읽어 들일 수 있다.
복수의 필드들 중 일부를 스킵하는 방법에 대한 실시예들은 다음과 같다.
첫째, 필드의 전체 비트 수에 대한 필드 길이 정보를 비트스트림에 포함시켜, 상기 비트수에 해당하는 데이터를 스킵함으로써 원하는 필드를 스킵할 수 있다. 상기 필드 길이 정보는 해당 필드의 시작 부분에 위치하는 것이 바람직하다.
둘째, 필드의 끝 부분 또는 처음 부분에 싱크워드(syncword)를 위치시켜, 상기 싱크워드(syncword)를 이용해 필드의 위치를 파악함으로써 원하는 필드를 스킵할 수 있다.
셋째, 필드의 길이가 미리 정해져 고정되어 있는 경우에는, 상기 고정된 길 이에 해당하는 데이터만큼을 스킵함으로써 원하는 필드를 스킵할 수 있다. 상기 필드의 고정 길이 정보는 비트스트림에 포함되거나, 복호화 장치에 저장되어 있을 수 있다.
넷째, 상기한 바와 같은 세 가지의 필드 스킵 방법 중 2 이상을 조합해 사용함으로써, 복수의 필드들 중 원하는 필드를 스킵할 수도 있다.
상기 스킵 정보, 예를 들어 필드 길이 정보, 싱크워드(syncword) 또는 고정 길이 정보는 도 9에 도시된 specific configuration 헤더 필드, 프레임 헤더 필드 및 프레임 파라미터 데이터 필드 중 적어도 어느 하나에 포함되거나, 상기 세 필드 이외의 새로이 정의되는 필드에 포함될 수 있다.
예를 들어, 멀티 채널 신호를 생성하고자 하는 경우, 복호화 장치는 3D 렌더링 정보 필드의 처음 부분에 포함된 필드 길이 정보, 멀티 채널 디코딩 정보 필드의 시작 부분에 포함된 싱크워드(syncword) 또는 3D 렌더링 정보 필드의 고정 길이 정보를 이용하여, 3D 렌더링 정보 필드를 스킵하고 멀티 채널 디코딩 정보 필드에 포함된 정보만을 읽어 들일 수 있다.
또한, 3D 다운믹스 신호를 생성하고자 하는 경우, 복호화 장치는 멀티 채널 디코딩 정보 필드의 시작 부분에 포함된 필드 길이 정보, 3D 렌더링 정보 필드의 시작 부분에 포함된 싱크워드(syncword) 또는 멀티 채널 디코딩 정보 필드의 고정 길이 정보를 이용하여, 멀티 채널 디코딩 정보 필드를 스킵하고 3D 렌더링 정보 필드에 포함된 데이터만을 읽어 들일 수 있다.
비트스트림은 포함하고 있는 데이터가 멀티 채널 신호를 생성하기 위한 것인 지 3D 다운믹스 신호 생성을 위한 것인지 여부에 대한 정보를 가질 수 있다.
비트스트림에 3D 다운믹스 신호 생성을 위한 데이터만 포함되었으나, 예를 들어 HRTF 필터 계수만이 포함되고 CLD 등과 같은 공간 정보가 포함되지 않았으나 멀티 채널 신호를 재생하고자 하는 경우, 상기 공간 정보 없이 다운믹스 신호만을 이용하여 멀티 채널 신호를 복호화할 수도 있다.
예를 들어, 다운믹스 신호로부터 두 채널에 대한 공간 정보인 스테레오 파라미터를 구한 후, 상기 스테레오 파라미터를 재생하고자 하는 복수의 채널들에 대한 공간 정보로 변환하고, 상기 다운믹스 신호에 상기 변환된 공간 정보를 적용하여 멀티 채널 신호를 생성할 수 있다.
반대로, 비트스트림에 멀티 채널 신호 생성을 위한 데이터만이 포함되었으나 3D 다운믹스 신호를 재생하고자 하는 경우, 별도의 복호화 작업 없이 다운믹스 신호를 재생하거나. 복호화 장치에 포함된 별도의 HRTF 필터를 이용해 상기 다운믹스 신호에 대해 3D 프로세싱을 수행하여 3D 다운믹스 신호를 재생할 수도 있다.
또한, 비트스트림에 멀티 채널 신호 생성을 위한 데이터와 3D 다운믹스 신호 생성을 위한 데이터가 모두 포함된 경우, 사용자가 상기 두 신호 중 재생할 신호를 선택하도록 할 수 있다.
이하에서는 복호화 과정을 나타내는 신택스(syntax)를 예로 들어, 일부 데이터를 스킵하는 방법에 대한 실시예를 설명하기로 한다.
다음은 프레임 단위로 오디오 신호를 복호화하는 과정을 나타내는 신택스(syntax)이다.
상기 신택스(syntax)에서, Ottdata()와 TttData()는 CLD, ICC, CPC 등의 공간 정보와 같이 다운믹스 신호를 멀티 채널 신호로 복원하는데 필수적인 파라미터들을 나타내는 모듈이다. SmgData(), TempShapeData(), ArbitraryDownmixData(), ResidualData()는 부호화 과정에서의 왜곡을 보정하여 음질을 향상시키기 위해 필요한 정보들을 나타내는 모듈이다.
예를 들어, 복호화 과정에서 CLD, ICC 또는 CPC와 같은 파라미터와 ArbitraryDownmixData()에 포함된 정보만을 사용하는 경우, TttData()와 ArbitraryDownmixData() 사이에 존재하는 SmgData()와 TempShapeData()은 필요하지 않게 된다. 따라서 상기 SmgData() 모듈과 TempShapeData() 모듈은 스킵하는 것이 효율적이다.
다음은 일부 모듈을 스킵하는 방법에 대한 제1 실시예를 나타내는 신택스(syntax)이다.
상기 신택스(syntax)에 나타난 바와 같이, SkipData() 모듈을 스킵하고자 하는 모듈의 앞에서 정의하고, 상기 SkipData() 모듈 내부에서 스킵하고자 하는 모듈의 전체 비트 수(bsSkipBits)를 지정한다.
즉, 스킵할 SmgData()와 TempShapeData() 모듈에 사용되는 전체 비트수가 150bit라고 가정하면, 상기 SmgData()와 TempShapeData() 모듈 앞에 SkipData() 모듈을 정의하고, bsSkipBits를 150bit로 지정함으로써, 150bit에 해당하는 SmgData()와 TempShapeData() 모듈을 스킵할 수 있다.
다음은 일부 모듈을 스킵하는 방법에 대한 제2 실시예를 나타내는 신택스(syntax)이다.
상기 신택스(syntax)에 나타난 바와 같이, 싱크워드(syncword)의 사용 여부에 대한 정보를 가지는bsSkipSyncflag와 스킵되는 모듈의 끝 부분에 위치하는 bsSkipSyncword를 이용하여, 불필요한 모듈을 스킵할 수 있다.
즉, 상기 bsSkipSyncflag를 싱크워드(syncword)를 사용하는 것으로 지정하면, 상기 플래그 이하의 모듈은 싱크워드(syncword)가 나타날 때까지 스킵된다. 따라서 상기 신택스(syntax)에서는, bsSkipSyncflag와 bsSkipSyncword 사이의 SmgData() 및 TempShapeData() 모듈이 스킵될 수 있다.
도 11을 참조하면, 비트스트림은 멀티 채널 신호의 재생을 위한 헤더 정보를 가지는 멀티 채널 헤더 필드, 3D 다운믹스 신호의 재생을 위한 헤더 정보를 가지는 3D 렌더링 헤더 필드 및 각각 멀티 채널 신호의 재생을 위한 데이터를 가지는 복수의 멀티 채널 디코딩 정보 필드들을 포함한다.
멀티 채널 신호를 재생하고자 하는 경우, 복호화 장치는 3D 렌더링 헤더 필드를 스킵하고, 멀티 채널 헤더 필드에 포함된 헤더 정보와 멀티 채널 디코딩 정보 필드에 포함된 데이터를 읽어 들여 멀티 채널 신호를 생성한다.
상기 3D 렌더링 헤더 필드를 스킵하는 방법에 대한 실시예는, 상기 도 10을 참조하여 설명한 필드 스킵 방법과 동일하므로 생략하기로 한다.
3D 다운믹스 신호를 재생하고자 하는 경우, 복호화 장치는 멀티 채널 디코딩 정보 필드에 포함된 데이터와 3D 렌더링 헤더 필드에 포함된 헤더 정보를 이용하여 3D 다운믹스 신호를 생성할 수 있다. 예를 들어, 복호화 장치는 멀티 채널 디코딩 정보 필드에 포함된 다운 믹스 신호와 3D 렌더링 헤더 필드에 포함된 HRTF 계수 정보를 이용하여 3D 다운믹스 신호를 생성할 수 있다.
도 12는 본 발명에 따른 임의 다운믹스 신호를 처리하는 부호화/복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 임의 다운믹스 신호는 부호화기(800)에 포함된 멀티채널인코더(801)에 의해 생성된 다운믹스 신호가 아닌 다운믹스 신호를 의미한다. 도 12에 도시된 부호화/복호화 장치의 동작 중 도 1을 참조하여 설명한 부호화/복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
도 12를 참조하면, 부호화기(800)는 멀티채널인코더(801), 공간정보합성부(802) 및 비교부(803)를 포함하여 이루어진다.
멀티채널인코더(801)는 멀티 채널 신호를 스테레오 또는 모노의 다운믹스 신호로 다운 믹스하며, 상기 다운믹스 신호로부터 멀티 채널 신호를 복원하는데 필요한 공간 정보를 생성한다.
비교부(803)는 상기 생성된 다운믹스 신호와 임의 다운믹스 신호를 비교하여, 상기 임의 다운믹스 신호를 보상하여 상기 다운믹스 신호에 근사한 신호로 변 환하기 위한 보상 정보를 생성한다. 복호화 장치는 상기 보상 정보를 이용해 임의 다운믹스 신호를 보상한 후, 상기 보상된 임의 다운믹스 신호를 이용해 멀티 채널 신호를 생성함으로써, 원본 신호에 더욱 유사한 멀티 채널 신호를 복원할 수 있다.
상기 보상 정보는 멀티채널인코더(801)에서 생성된 다운믹스 신호와 상기 임의 다운믹스 신호의 차에 대한 정보일 수 있다. 복호화 장치는 상기 임의 다운믹스 신호에 상기 차 정보(difference information)에 상응하는 신호를 더하여, 상기 임의 다운믹스 신호를 보상할 수 있다.
또한, 상기 차 정보는 상기 다운믹스 신호와 임의 다운믹스 신호 사이의 에너지 레벨 차이에 대한 정보인 다운믹스 게인일 수 있다.
상기 다운믹스 게인은 주파수 밴드 별로 구해질 수도 있고, 시간(time) 혹은 시간 슬롯(time slot)별로 구해질 수도 있으며, 채널 별로 구해질 수도 있다. 상기 세 가지 방법을 조합하여 구할 수도 있다. 예를 들면, 일부 다운믹스 게인은 주파수 밴드 별로 구해지고, 또 다른 일부의 다운믹스 게인은 시간 슬롯(time slot)별로 구해질 수도 있다.
또한, 상기 다운믹스 게인은 파라미터 밴드 별로 구해지거나, 임의 다운믹스 신호에 최적화된 주파수 대역 별로 구해질 수도 있다. 상기 파라미터 밴드는 파라미터 형태의 공간 정보들이 적용되는 주파수 간격을 말한다.
상기 구해진 다운믹스 신호와 임의 다운믹스 신호의 에너지 레벨 차이는 양자화될 수도 있다. 상기 구해진 에너지 레벨 차이를 양자화하기 위한 양자화 레벨의 해상도는 CLD(Channel Level Difference)의 양자화 레벨 해상도와 동일하거나 상이할 수 있다. 또한, 상기 두 다운믹스 신호 간 에너지 레벨 차이의 양자화 레벨은 상기 CLD의 양자화 레벨의 일부 또는 전부를 사용하거나, 상기 CLD의 양자화 레벨의 일부 또는 전부와 새로 정의된 양자화 레벨을 조합하여 사용할 수 있다.
상기 두 다운믹스 신호 간 에너지 레벨 차이의 해상도는 CLD(Channel Level Difference)의 해상도보다 평균적으로 작으므로, 상기 구해진 에너지 레벨 차이를 양자화하기 위한 양자화 레벨의 해상도는 상기 CLD의 양자화 레벨 해상도보다 세밀한 값을 가지도록 할 수 있다.
임의 다운믹스 신호를 보상하기 위한 보상 정보는 멀티 채널 신호 중 상기 임의 다운믹스 신호 또는 다운믹스 게인을 이용하여 복원될 수 없는 성분에 대한 레지듀얼 정보를 포함하는 확장 정보일 수 있다. 복호화 장치는 임의 다운믹스 신호 또는 다운믹스 게인을 이용하여 복원될 수 없는 성분까지 상기 확장 정보를 이용해 복원함으로써, 원본 신호에 가까운 멀티 채널 신호를 복원할 수 있다.
상기 확장 정보를 생성하는 방법에 대한 실시예들은 다음과 같다.
멀티채널인코더(801)는 입력되는 멀티 채널 신호 중 상기 생성된 다운믹스 신호에 포함되지 않은 성분에 대한 정보를 제1 확장 정보로 생성할 수 있다. 복호화 장치는 다운믹스 신호와 공간 정보를 이용하여 멀티 채널 신호를 생성하는 단계에서 제1 확장 정보를 적용함으로써, 원본 신호에 가까운 멀티 채널 신호를 복원할 수 있다.
멀티채널인코더(801)는 상기 다운믹스 신호와 공간 정보를 이용해 멀티 채널 신호를 복원하고, 상기 복원된 멀티 채널 신호와 원본 멀티 채널 신호 사이의 차를 구함으로써 상기 제1 확장 정보를 구할 수 있다.
비교부(803)는 멀티채널인코더(801)에서 생성된 다운믹스 신호 중 임의 다운믹스 신호에 없는 성분, 즉 다운믹스 게인을 이용해 보상될 수 없는 성분들에 대한 정보를 제2 확장 정보로 생성할 수 있다. 복호화 장치는 상기 제2 확장 정보를 이용해 임의 다운믹스 신호를 상기 다운믹스 신호에 보다 가깝도록 보상할 수 있다.
상기 확장 정보는 상기한 방법 이외에 여러 레지듀얼 코딩(residual coding) 방법을 이용해 생성될 수 있다.
상기 다운믹스 게인과 확장 정보가 함께 보상 정보로 사용될 수 있다. 예를 들어, 전체 주파수 대역에 대해 상기 다운믹스 게인과 확장 정보를 구하거나, 일부 주파수 대역에 대해서는 상기 다운믹스 게인을 구하고 나머지 주파수 대역에 대해서는 상기 확장 정보를 구하여 보상 정보로서 사용할 수 있다. 일실시예로, 저주파 대역에 대해서는 상기 확장 정보를 보상 정보로 사용하고, 고주파 대역에 대해서는 상기 다운믹스 게인을 보상 정보로 사용할 수 있다.
또한, 저주파 대역 이외에 피크(peak) 또는 노치(notch) 등과 같이 음질에 중요한 영향을 미치는 부분도 상기 확장 정보를 보상 정보로 사용하는 것이 바람직하다.
공간정보합성부(802)는 멀티채널인코더(801)에서 생성된 멀티 채널 신호 복원을 위한 기본 공간 정보, 예를 들어 CLD, CPC, ICC, CTD 등과 상기 보상 정보를 공간 정보로 합성한다. 즉, 복호화 장치로 전송되는 공간 정보는 멀티 채널 신호 복원을 위한 기본 공간 정보, 다운믹스 게인, 제1, 2 확장 정보 등을 포함할 수 있 다.
상기 합성된 공간 정보는 임의 다운믹스 신호와 함께 비트스트림에 포함되어 복호화 장치로 전송된다.
상기 확장 정보와 임의 다운믹스 신호는 AAC, MP3 또는 BSAC 등의 인코더를 이용해 부호화될 수 있다. 상기 확장 정보를 부호화하는 인코더와 상기 임의 다운믹스 신호를 부호화하는 인코더는 동일하거나, 상이할 수도 있다.
상기 두 오디오 인코더가 동일한 경우, 복호화 장치에서도 한 종류의 오디오 디코더만으로 복호화 작업이 가능하다. 이 경우, 임의 다운믹스 신호의 복호화는 항상 가능한 상태에서 시작하므로, 상기 확장 정보를 복호화하지 못하는 경우는 발생하지 않는다. 다만, 임의 다운믹스 신호는 복호화된 PCM 신호의 형태로 복호화 장치에 입력되므로, 상기 임의 다운믹스 신호에 사용된 오디오 코덱의 종류를 알 수 없고, 그로 인해 확장 정보에 사용된 오디오 코덱의 종류도 알 수 없다.
따라서, 임의 다운믹스 신호와 확장 정보의 부호화에 사용된 오디오 코덱의 종류에 대한 정보를 비트스트림에 삽입하는 것이 바람직하다.
상기 오디오 코덱 종류에 대한 정보는 비트스트림 중 specific configuration 헤더 필드에 삽입되고, 복호화 장치는 상기 비트스트림의 specific configuration 헤더 필드로부터 상기 정보를 추출하여 확장 정보의 복호화에 이용한다.
상기 두 오디오 인코더가 상이한 경우, 확장 정보의 복호화가 불가능한 상황이 발생할 수 있으며, 그러한 경우 확장 정보의 끝 지점을 알 수 없기 때문에 더 이상의 복호화 작업 진행이 불가능해진다.
따라서, 임의 다운믹스 신호와 확장 정보에 사용된 오디오 코덱의 종류에 대한 정보를 비트스트림 중 specific configuration 헤더 필드에 삽입하고, 복호화 장치는 상기 비트스트림의 specific configuration 헤더 필드로부터 상기 정보를 추출하여 확장 정보의 복호화에 이용한다. 확장 정보를 복호화하기 위한 디코더가 복호화 장치에 존재하지 않는 경우, 확장 정보의 복호화작업을 진행하지 아니하고 그 다음 정보를 읽는 과정을 수행한다.
확장 정보에 대해 사용되는 코덱의 종류에 대한 정보는 비트스트림 중 Specific Configuration 헤더 필드에 포함된 특정 신택스 엘리먼트(syntax element)를 통해 표현될 수 있다. 예를 들어, 상기 코덱 정보는 다음의 표 1에 나타난 바와 같은 bsResidualCodecType이라는 4 비트의 신택스 엘리먼트(syntax element)에 의해 표현될 수 있다.
표 1
상기 확장 정보는 상기 레지듀얼 정보와 함께 채널 확장 정보를 포함할 수 있다. 상기 채널 확장 정보는 공간 정보에 의해 복호화되는 멀티 채널 신호보다 많은 수의 채널을 가지는 신호로 확장하기 위한 정보를 의미하며, 예를 들어 5.1 채 널 또는 7.1 채널 신호를 9.1 채널 신호로 확장하기 위한 정보일 수 있다.
상기 확장 정보는 비트스트림에 포함되어 복호화 장치로 전송될 수 있으며, 복호화 장치는 상기 확장 정보를 이용하여 다운믹스 신호를 보상하거나, 멀티 채널 신호의 채널을 확장시킬 수 있다.
또한, 복호화 장치는 비트스트림에 포함된 상기 확장 정보를 추출하지 아니하고 스킵(skip)할 수도 있다. 예를 들어, 비트스트림에 포함된 3D 다운믹스 신호를 이용하여 멀티 채널 신호를 생성하거나, 비트스트림에 포함된 다운믹스 신호를 이용하여 3D 다운믹스 신호를 생성하고자 하는 경우, 복호화 장치는 비트스트림 중 상기 확장 정보를 스킵(skip)하는 것이 바람직하다.
비트스트림 중 상기 확장 정보를 스킵하는 방법은 도 10을 참조하여 설명한 스킵 방법과 동일할 수 있다.
예를 들어, 확장 정보의 시작 부분에 위치하는 상기 확장 정보의 전체 비트 수에 대한 정보, 상기 확장 정보의 시작 부분 또는 끝 부분에 위치하는 싱크워드(syncword), 상기 확장 정보의 고정된 비트 수에 대한 정보 중 적어도 하나를 이용하여 비트스트림 중 상기 확장 정보 부분을 스킵할 수 있다. 상기 스킵을 위한 정보들은 비트스트림에 포함되어 있는 것이 바람직하며, 상기 고정 비트수 정보는 복호화 장치에 저장되어 있을 수도 있다.
도 12를 참조하면, 복호화기(810)는 다운믹스보상부(811), 3D렌더링부(815) 및 멀티채널디코더(816)을 포함하여 이루어진다.
다운믹스보상부(811)는 공간 정보에 포함된 보상 정보, 예를 들어 다운믹스 계인 또는 확장 정보를 이용하여 임의 다운믹스 신호를 보상한다.
3D렌더링부(815)는 상기 보상된 다운믹스 신호에 대해 3D 렌더링을 수행하여 디코더 3D 다운믹스 신호를 생성한다. 또한, 멀티채널디코더(816)는 상기 보상된 다운믹스 신호와 상기 공간 정보에 포함된 기본 공간 정보를 이용하여 3D 멀티 채널 신호를 생성한다.
다운믹스보상부(811)가 임의 다운믹스 신호를 보상하는 방법에 대한 실시예는 다음과 같다.
상기 보상 정보가 다운믹스 게인인 경우, 다운믹스보상부(811)는 임의 다운믹스 신호의 에너지 레벨을 상기 다운믹스 게인을 이용해 보상하여 상기 임의 다운믹스 신호를 다운믹스 신호에 가까운 신호로 변환할 수 있다.
상기 보상 정보가 제2 확장 정보인 경우, 다운믹스보상부(811)는 상기 제2 확장 정보를 이용해 상기 임의 다운믹스 신호에 없는 성분들을 보상할 수 있다.
멀티채널디코더(816)는 다운믹스 신호에 pre-matrix M1, mix-matrix M2 및 post-matrix M3를 순차적으로 적용하여 멀티 채널 신호를 생성할 수 있는데, 상기 제1 확장 정보는 상기 mix-matrix M2 적용 단계에서 사용되어 다운믹스 신호를 보상할 수 있다. 즉, 상기 제2 확장 정보를 이용해 pre-matrix M1이 적용된 임의 다운믹스 신호를 보상할 수 있다.
상기와 같이 멀티 채널 신호 생성 과정 중에 확장 정보를 적용함으로써, 복수의 채널들 중 특정 채널에 대한 보상이 가능하다. 예를 들어, 확장 정보가 mix-matrix M2의 센터 채널에 적용되는 경우 다운믹스 신호의 좌측 및 우측 채널 신호 가 상기 확장 정보를 이용해 보상되고, 확장 정보가 mix-matrix M2의 좌측 채널에 적용되는 경우에는 다운믹스 신호의 좌측 채널 신호가 상기 확장 정보를 이용해 보상되도록 할 수 있다.
또한, 상기 보상 정보로서 상기 다운믹스 게인과 확장 정보가 함께 사용될 수 있다. 예를 들어, 임의 다운믹스 신호의 저주파 대역은 상기 확장 정보를 이용하여 보상되고, 고주파 대역은 상의 다운믹스 게인을 이용하여 보상되도록 할 수 있다. 또한, 저주파 대역 이외에 peak, notch 등과 같이 음질에 중요한 영향을 미치는 부분도 상기 확장 정보에 의해 보상되도록 할 수 있다. 상기 확장 정보가 적용되는 영역에 대한 정보는 부호화 장치로부터 전송되는 비트스트림에 포함되어 있는 것이 바람직하다. 또한, 상기 비트스트림은 포함된 다운믹스 신호가 임의 다운믹스 신호인지 여부에 대한 정보 및 보상 정보의 포함 여부에 대한 정보를 포함할 수 있다.
부호화기(800)의 멀티채널인코더(801)에서 생성된 다운믹스 신호의 클리핑(clipping)을 방지하기 위해, 상기 생성된 다운믹스 신호는 특정 게인(gain) 값에 의해 나누어질 수 있다. 상기 게인은 고정된(static) 값을 가지거나 가변적인(dynamic) 값을 가질 수 있다.
다운믹스보상부(811)는 클리핑(clipping) 방지를 위해 약화된 상기 다운믹스 신호를 상기 게인 값을 이용해 보상하여 원래의 크기의 다운믹스 신호로 복원할 수 있다.
또한, 다운믹스보상부(811)에 의해 보상된 임의 다운믹스 신호는 직접 재생 가능 하며, 보상되지 않은 임의 다운믹스 신호가 3D렌더링부(815)로 입력되어 디코더 3D 다운믹스 신호로 변환될 수도 있다.
도 12를 참조하면, 다운믹스보상부(811)는 제1 도메인변환부(812), 보상처리부(813) 및 제2 도메인변환부(814)를 포함할 수 있다.
제1 도메인변환부(812)는 임의 다운믹스 신호에 대해 도메인 변환을 수행하고, 보상처리부(813)는 상기 변환된 도메인 상에서 보상 정보, 예를 들어 다운믹스 게인 또는 확장 정보를 이용해 상기 임의 다운믹스 신호를 보상한다.
상기 보상 작업은 QMF/Hybrid 도메인 상에서 이루어지는 것이 바람직하며, 그를 위해 제1 도메인변환부(812)는 상기 임의 다운믹스 신호에 대해 QMF/Hybrid 분석(analysis)를 수행할 수 있다. 또한, 제1 도메인변환부(812)는 상기 임의 다운믹스 신호를 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 DFT 또는 FFT 도메인과 같은 주파수 도메인으로 변환할 수도 있으며, 상기 보상 작업은 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 주파수 도메인 또는 시간 도메인 상에서 수행될 수도 있다.
제2 도메인변환부(814)는 상기 보상된 임의 다운믹스 신호에 도메인 변환을 수행한다. 제2 도메인변환부(814)는 제1 도메인변환부(814)에서 수행된 도메인 변환의 역변환을 수행하여, 상기 보상된 임의 다운믹스 신호를 다운믹스보상부(811)에 입력되기 이전의 도메인으로 역변환하는 것이 바람직하다.
예를 들어, 제2 도메인변환부(814)는 상기 보상된 임의 다운믹스 신호에 대해 QMF/Hybrid 합성(synthesis)을 수행하여, 상기 보상된 임의 다운믹스 신호를 시 간 도메인 상의 신호로 변환할 수 있다. 또한, 제2 도메인변환부(814)는 상기 보상된 임의 다운믹스 신호에 대해 IDFT 또는 IFFT 등을 수행할 수도 있다.
도 7을 참조하여 설명한 바와 같이, 3D렌더링부(815)는 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인 상에서 상기 보상된 임의 다운믹스 신호에 대해 3D 렌더링을 수행할 수 있다, 그를 위해, 3D렌더링부(815)는 상기 보상된 임의 다운믹스 신호를 상기 3D 렌더링이 수행될 도메인 상으로 변환하기 위한 도메인변환부 또는 상기 렌더링이 수행된 신호에 대해 도메인 변환을 수행하는 도메인변환부를 포함할 수 있다.
보상처리부(811)에서 보상 작업이 수행되는 도메인과 3D렌더링부(815)에서 3D 렌더링이 수행되는 도메인은 서로 동일하거나 또는 상이할 수 있다.
도 13은 임의 다운믹스 신호의 보상과 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 다운믹스보상/3D렌더링부(820)는 제1도메인변환부(821), 제2 도메인변환부(822), 보상/3D렌더링처리부(823) 및 제3도메인변환부(824)를 포함하여 이루어진다.
다운믹스보상/3D렌더링부(820)는 상기 보상 작업과 3D 렌더링을 하나의 도메인 상에서 처리하여, 복호화 장치의 연산량을 감소시킬 수 있다.
도 13을 참조하면, 제1도메인변환부(821)는 임의 다운믹스 신호를 상기 보상 작업과 3D 렌더링이 수행될 제1 도메인 상으로 변환한다. 제2 도메인변환부(822)는 공간 정보, 예를 들어 멀티 채널 신호 생성에 필요한 기본 공간 정보와 임의 다운믹스 신호의 보상에 필요한 보상 정보를 상기 제1 도메인 상에서 적용 가능하도록 변환한다. 상기 보상 정보는 다운믹스 게인과 확장 정보 중 적어도 하나를 포함한다.
예를 들어, 제2 도메인변환부(822)는 QMF/Hybrid 도메인 상의 복수의 파라미터 밴드들 각각에 대응되는 보상 정보들을 주파수 대역에 맵핑(mapping)시켜, 상기 보상 정보를 주파수 도메인에서 적용 가능한 형태로 변환할 수 있다.
상기 제1 도메인은 DFT 또는 FFT 도메인 등과 같은 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인일 수 있으며, 그 이외에도 여러 다른 도메인일 수도 있다.
상기 보상 정보를 상기 제1 도메인 상에서 적용 가능하도록 변환하는 과정에서, 시간 지연(time delay)이 발생할 수 있다. 상기 시간 지연을 방지하기 위해, 제2 도메인변환부(822)는 상기 보상 정보의 도메인과 제1 도메인 사이의 시간 지연(time delay)를 보정하는 작업을 추가적으로 수행할 수 있다.
보상/3D렌더링처리부(823)는 상기 제1 도메인 상에서 상기 변환된 공간 정보를 이용해 임의 다운믹스 신호에 대해 보상 작업을 수행하고, 상기 보상된 임의 다운믹스 신호에 대해 3D 렌더링 작업을 수행한다. 상기 보상 작업과 3D 렌더링의 수행 순서는 변경 가능하다.
보상/3D렌더링처리부(823)는 상기 보상 작업과 3D 렌더링을 동시에 수행할 수도 있다. 예를 들어, 보상/3D렌더링처리부(823)는 3D 렌더링에 사용될 필터 계수와 보상 정보가 조합된 새로운 필터 계수를 이용하여 상기 제1 도메인 상에서 상기 임의 다운믹스 신호에 대해 3D 렌더링 작업을 수행함으로써 보상된 3D 다운믹스 신 호를 생성할 수 있다.
제3도메인변환부(824)는 상기 제1 도메인 상에서 생성된 3D 다운믹스에 대해 주파수 도메인 변환을 수행한다.
도 14는 본 발명에 따른 호환형 다운믹스 신호를 처리하는 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 복호화기(900)는 제1 멀티채널디코더(910), 다운믹스호환처리부(920), 제2 멀티채널디코더(930) 및 3D렌더링부(940)을 포함하여 이루어진다. 도 14에 도시된 복호화 장치의 동작 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
호환형 다운믹스 신호는 2 이상의 멀티 채널 디코더에서 복호화 가능한 형태의 다운믹스 신호를 의미한다. 즉, 호환형 다운믹스 신호는 어느 하나의 멀티 채널 디코더에 최적화되어 생성된 다운믹스 신호이나, 호화 처리 작업을 통해 상기 멀티 채널 디코더 이외에 다른 멀티 채널 디코더에 최적화된 다운믹스 신호로 변환 가능한 것을 의미할 수 있다.
도 14를 참조하면, 입력되는 호환형 다운믹스 신호는 제1 멀티채널디코더(910)에 최적화되어 생성된 것으로, 제2 멀티채널디코더(930)에서 복호화되기 위해서는 먼저 다운믹스호환처리부(920)를 통해 제2 멀티채널디코더(930)에 최적화된 신호로 호환 처리되는 것이 바람직하다. 제1 멀티채널디코더(910)는 상기 호환형 다운믹스 신호를 복호화하여 제1 멀티 채널 신호를 생성한다. 제1 멀티채널디코더(910)는 공간 정보 없이 상기 호환형 다운믹스 신호만을 이용하여 멀티 채널 신호를 복호화할 수 있다.
제2 멀티채널디코더(930)는 상기 호환 처리된 다운믹스 신호와 공간 정보를 이용하여 제2 멀티 채널 신호를 생성한다. 3D렌더링부(940)는 상기 호환 처리된 다운믹스 신호에 대해 3D 렌더링을 수행하여 디코더 3D 다운믹스 신호를 생성할 수 있다.
호환형 다운믹스 신호를 인버젼 매트릭스(inversion matrix)와 같은 호환 정보를 이용하여 다른 멀티 채널 디코더에 최적화된 다운믹스 신호로 호환 처리될 수 있다. 예를 들어, 제1 멀티 채널 인코더/디코더 및 그와 다른 방식의 제2 멀티 채널 인코더/디코더가 존재할 때, 부호화 장치는 상기 제1 멀티 채널 인코더에 의해 생성된 다운믹스 신호에 매트릭스를 적용하여 상기 제2 멀티 채널 디코더에 최적화된 호환형 다운믹스 신호를 생성할 수 있다. 또한, 복호화 장치는 상기 호환형 다운믹스 신호에 대해 인버젼 매트릭스(inversion matrix)를 적용하여 상기 제1 멀티 채널 디코더에 최적화된 다운믹스 신호를 생성할 수 있다.
도 14를 참조하면, 다운믹스호환처리부(920)는 인버젼 매트릭스(inversion matrix)를 호환형 다운믹스 신호에 대해 호환 처리를 수행함으로써, 제2 멀티채널디코더(930)에 최적화된 다운믹스 신호를 생성할 수 있다.
상기 인버젼 매트릭스(inversion matrix)에 대한 정보는 복호화 장치가 미리 저장하고 있거나, 입력되는 비트스트림에 포함되어 부호화 장치로부터 전송될 수도 있다. 또한, 다운믹스 신호가 임의 다운믹스 신호인지 호환형 다운 믹스 신호인지 여부에 대한 정보인 다운믹스 식별 정보가 부호화 장치로부터 전송되는 비트스트림에 포함되는 것이 바람직하다.
도 14를 참조하면, 다운믹스호환처리부(920)는 제1 도메인변환부(921), 호환처리부(922) 및 제2 도메인변환부(923)를 포함할 수 있다.
제1 도메인변환부(921)는 호환형 다운믹스 신호에 대해 도메인 변환을 수행하고, 호환처리부(813)는 상기 변환된 도메인 상에서 호환 정보, 예를 들어 인버젼 매트릭스(inversion matrix)를 이용해 상기 호환형 다운믹스 신호를 제2 멀티채널디코더(930)에 최적화된 신호로 변환한다.
상기 호환 처리는 QMF/Hybrid 도메인 상에서 이루어지는 것이 바람직하며, 그를 위해 제1 도메인변환부(921)는 상기 호환형 다운믹스 신호에 대해 QMF/Hybrid 분석(analysis)를 수행할 수 있다. 또한, 제1 도메인변환부(921)는 상기 호환형 다운믹스 신호를 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 DFT 또는 FFT 도메인과 같은 주파수 도메인으로 변환할 수도 있으며, 상기 호환 처리는 QMF/Hybrid 도메인 이외의 도메인, 예를 들어 주파수 도메인 또는 시간 도메인 상에서 수행될 수도 있다.
제2 도메인변환부(923)는 상기 호환 처리된 호환형 다운믹스 신호에 도메인 변환을 수행한다. 제2 도메인변환부(923)는 제1 도메인변환부(921)에서 수행된 도메인 변환의 역변환을 수행하여, 상기 호환 처리된 호환형 다운믹스 신호를 다운믹스호환처리부(920)에 입력되기 이전의 도메인으로 역변환하는 것이 바람직하다.
예를 들어, 제2 도메인변환부(923)는 상기 호환 처리된 호환형 다운믹스 신호에 대해 QMF/Hybrid 합성(synthesis)을 수행하여, 상기 호환 처리된 호환형 다운믹스 신호를 시간 도메인 상의 신호로 변환할 수 있다. 또한, 제2 도메인변환부 (923)는 상기 호환 처리된 호환형 다운믹스 신호에 대해 IDFT 또는 IFFT 등을 수행할 수도 있다.
3D렌더링부(940)는 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인 상에서 상기 호환 처리된 호환형 다운믹스 신호에 대해 3D 렌더링을 수행할 수 있다, 그를 위해, 3D렌더링부(940)는 상기 다운믹스 신호를 상기 3D 렌더링이 수행될 도메인 상으로 변환하기 위한 도메인변환부 또는 상기 렌더링이 수행된 신호에 대해 도메인 변환을 수행하는 도메인변환부를 포함할 수 있다.
호환처리부(922)에서 호환 처리가 수행되는 도메인과 3D렌더링부(940)에서 3D 렌더링이 수행되는 도메인은 서로 동일하거나 또는 상이할 수 있다.
도 15는 호환형 다운믹스 신호의 호환 처리와 3D 렌더링을 수행하는 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 다운믹스호환/3D렌더링부(950)는 제1 도메인변환부(951), 제2 도메인변환부(952), 호환/3D렌더링처리부(953) 및 제3도메인변환부(954)를 포함하여 이루어진다.
다운믹스호환/3D렌더링부(950)는 상기 호환 처리와 3D 렌더링을 하나의 도메인 상에서 처리하여, 복호화 장치의 연산량을 감소시킬 수 있다.
도 15를 참조하면, 제1도메인변환부(951)는 호환형 다운믹스 신호를 상기 호환 처리와 3D 렌더링이 수행될 제1 도메인 상으로 변환한다. 제2 도메인변환부(952)는 공간 정보와 호환 정보, 예를 들어 인버젼 매트릭스(inversion matrix)를 상기 제1 도메인 상에서 적용 가능하도록 변환한다.
예를 들어, 제2 도메인변환부(952)는 QMF/Hybrid 도메인 상의 복수의 파라미 터 밴드들 각각에 대응되는 인버젼 매트릭스를 주파수 대역에 맵핑(mapping)시켜, 상기 인버젼 매트릭스를 주파수 도메인에서 적용 가능한 형태로 변환할 수 있다.
상기 제1 도메인은 DFT 또는 FFT 도메인 등과 같은 주파수 도메인, QMF/Hybrid 도메인 또는 시간 도메인일 수 있으며, 그 이외에도 여러 다른 도메인일 수도 있다.
상기 공간 정보 및 호환 정보를 상기 제1 도메인 상에서 적용 가능하도록 변환하는 과정에서, 시간 지연(time delay)이 발생할 수 있다. 상기 시간 지연을 방지하기 위해, 제2 도메인변환부(952)는 상기 공간 정보 및 호환 정보의 도메인과 제1 도메인 사이의 시간 지연(time delay)를 보정하는 작업을 추가적으로 수행할 수 있다.
호환/3D렌더링처리부(953)는 상기 제1 도메인 상에서 상기 변환된 호환 정보를 이용해 호환형 다운믹스 신호에 대해 호환 처리를 수행하고, 상기 호환 처리된 호환형 다운믹스 신호에 대해 3D 렌더링 작업을 수행한다. 상기 호환 처리와 3D 렌더링의 수행 순서는 변경 가능하다.
호환/3D렌더링처리부(953)는 상기 호환 처리와 3D 렌더링을 동시에 수행할 수도 있다. 예를 들어, 호환/3D렌더링처리부(953)는 3D 렌더링에 사용될 필터 계수와 호환 정보가 조합된 새로운 필터 계수를 이용하여 상기 제1 도메인 상에서 상기 호환형 다운믹스 신호에 대해 3D 렌더링 작업을 수행함으로써 3D 다운믹스 신호를 생성할 수 있다.
제3도메인변환부(954)는 상기 제1 도메인 상에서 생성된 3D 다운믹스에 대해 주파수 도메인 변환을 수행한다.
도 16은 크로스토크(crosstalk)를 제거하기 위한 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 복호화 장치는 비트언팩킹부(960), 다운믹스디코더(970), 3D렌더링부(980) 및 크로스토크제거부(990)을 포함하여 이루어진다. 도 16에 도시된 복호화 장치의 동작들 중 도 1을 참조하여 설명한 복호화 장치의 동작과 동일한 것에 대한 설명은 생략하기로 한다.
3D렌더링부(980)로부터 출력되는 3D 다운믹스 신호는 헤드폰 등을 이용해 재생될 수 있다. 그러나, 상기 3D 다운믹스 신호가 사용자로부터 멀리 떨어진 스피커를 통해 재생되는 경우에는 채널 간 크로스토크(crosstalk)가 발생할 수 있다.
따라서 도 16에 도시된 바와 같이, 본 발명에 따른 복호화 장치는 상기 3D 다운믹스 신호에 대해 크로스 토크 제거(crosstalk cancellation)를 수행하는 크로스토크제거부(990)를 포함하는 것이 바람직하다.
또한, 본 발명에 따른 복호화 장치에서는 음장 처리(sound field processing)가 수행될 수도 있다.
상기 음장 처리에 사용되는 음장 정보, 즉 신호가 재생되는 공간이 어떤 공간인지에 대한 정보는 부호화 장치로부터 전송되는 비트스트림에 포함되거나, 복호화 장치에서 지정될 수 있다.
입력되는 비트스트림은 잔향 시간(reverberation time)에 대한 정보를 포함할 수 있으며, 음장 처리에 사용되는 필터는 상기 잔향 시간 정보에 따라 조정될 수 있다.
상기 음장 처리는 Early Part와 Late Reverberation으로 나뉘어 각각 다르게 처리될 수 있다. 예를 들어, Early Part는 FIR(Finite Impulse Response) filter를 이용해 처리되며, Late Reverberation은 IIR(Infinite Impulse Response) filter를 이용해 처리될 수 있다.
상기 Early Part에 대해 음장 처리를 수행하는 방법에 대한 실시예로는, time domain 상에서 FIR filter를 이용해 컨볼루션(convolution)을 수행하는 방법 또는 frequency domain 상에서의 곱을 수행한 후 time domain으로 변환하는 방법 등이 있을 수 있다. 상기 Late Reverberation은 time domain 상에서 음장 처리되는 것이 바람직하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상에서 살펴본 바와 같이 본 발명에 의한 부호화/복호화 장치 및 방법에 따르면, 멀티 채널 신호를 3D 효과를 가지는 신호로 효율적으로 부호화할 수 있으며, 재생 환경에 따라 적응적으로 최상의 음질을 가지는 오디오 신호를 복원하여 재생할 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다. 예를 들어, 본 발명에 의한 그룹핑, 데이터 코딩 및 엔트로피 코딩을 적용한 다양한 응용 분야 및 제품에 적용하는 것이 가능하다. 또한, 본 발명에 의한 적어도 일 특징을 적용한 데이터를 저장하는 매체(mediun)를 제공하는 것이 가능하다.
Claims (22)
- 입력되는 비트스트림으로부터 신호를 복호화하는 방법에 있어서,상기 비트스트림으로부터 임의 다운믹스 신호와 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 추출하는 단계;상기 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하는 단계; 및상기 보상된 임의 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 보상 정보는부호화 장치에서 생성되는 다운믹스 신호와 상기 추출된 임의 다운믹스 신호의 차이에 대한 정보인 것을 특징으로 하는 복호화 방법.
- 제2항에 있어서, 상기 보상 단계는상기 임의 다운믹스 신호에 상기 보상 정보에 상응하는 신호를 합하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 보상 정보는부호화 장치에서 생성되는 다운믹스 신호와 상기 추출된 임의 다운믹스 신호의 에너지 레벨의 비에 대한 다운믹스 게인 정보를 포함하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 보상 정보는멀티 채널 신호 중 상기 추출된 임의 다운믹스 신호에 포함되지 않은 성분에 대한 확장 정보를 포함하는 것을 특징으로 하는 복호화 방법.
- 제4항 및 제5항에 있어서, 상기 보상 단계는상기 임의 다운믹스 신호의 저주파 대역은 상기 확장 정보를 이용해 보상하고, 고주파 대역은 상기 다운믹스 게인을 이용해 보상하는 것을 특징으로 하는 복호화 방법.
- 제5항에 있어서, 상기 확장 정보는상기 멀티 채널 신호의 저주파 대역, peak 성분 및 notch 성분 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 보상 정보는복수의 채널에 대한 공간 정보와 상이한 해상도로 양자화된 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 3D 렌더링은HRTF(Head Related Transfer Function)을 이용하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 보상 단계는상기 임의 다운믹스 신호를 제1 도메인에서 제2 도메인으로 변환하는 단계;상기 제2 도메인 상에서, 상기 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하는 단계; 및상기 보상된 신호를 상기 제2 도메인에서 상기 제1 도메인으로 변환하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 3D 다운믹스 신호 생성 단계는상기 보상된 임의 다운믹스 신호를 제3 도메인에서 제4 도메인으로 변환하는 단계;상기 제4 도메인 상에서, 상기 보상된 임의 다운믹스 신호에 대해 3D 렌더링을 수행하는 단계; 및상기 3D 렌더링이 수행된 신호를 상기 제4 도메인에서 상기 제3 도메인으로 변환하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제11항에 있어서,상기 보상 정보를 상기 제4 도메인에서 이용 가능하도록 변환하는 단계를 포 함하고,상기 보상 단계는상기 제4 도메인에서, 상기 변환된 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하는 것을 특징으로 하는 복호화 방법.
- 제12항에 있어서,상기 보상 정보의 변환 과정 중 발생하는 시간 지연(time delay)을 보정하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제11항 내지 제13항 중 어느 한 항에 있어서,상기 제4 도메인은 DFT(Discrete Fourier Transform) 도메인, FFT(Fast Fourier Transform) 도메인, QMF/Hybrid 도메인 및 시간 도메인 중 어느 하나인 것을 특징으로 하는 복호화 방법.
- 제1항에 있어서, 상기 비트스트림은포함하는 다운믹스 신호가 임의 다운믹스 신호인지 여부에 대한 정보를 포함하는 것을 특징으로 하는 복호화 방법.
- 입력되는 비트스트림으로부터 신호를 복호화하는 방법에 있어서,상기 비트스트림으로부터 임의 다운믹스 신호와 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 추출하는 단계;3D 렌더링에 사용될 필터 정보에 상기 추출된 보상 정보를 합성하는 단계; 및상기 합성된 필터 정보를 이용해 상기 임의 다운믹스 신호에 대해 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제16항에 있어서, 상기 합성 단계는상기 추출된 보상 정보를 제2 도메인에서 이용 가능하도록 변환하는 단계; 및상기 제2 도메인 상에서, 상기 필터 정보에 상기 변환된 보상 정보를 합성하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 제17항에 있어서, 상기 3D 다운믹스 신호 생성 단계는상기 임의 다운믹스 신호를 제1 도메인에서 상기 제2 도메인으로 변환하는 단계;상기 제2 도메인 상에서, 상기 합성된 필터 정보를 이용해 상기 임의 다운믹스 신호에 대해 3D 렌더링을 수행하는 단계; 및상기 3D 렌더링이 수행된 임의 다운믹스를 상기 제2 도메인에서 상기 제1 도메인으로 변환하는 단계를 포함하는 것을 특징으로 하는 복호화 방법.
- 입력되는 비트스트림으로부터 신호를 복호화하는 장치에 있어서,상기 비트스트림으로부터 임의 다운믹스 신호와 상기 임의 다운믹스 신호를 보상하기 위한 보상 정보를 추출하는 비트언팩킹부;상기 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하는 다운믹스보상부; 및상기 보상된 다운믹스 신호에 3D 렌더링을 수행하여 3D 다운믹스 신호를 생성하는 3D렌더링부를 포함하는 것을 특징으로 하는 복호화 장치.
- 제19항에 있어서, 상기 보상 정보는부호화 장치에서 생성되는 다운믹스 신호와 상기 추출된 임의 다운믹스 신호의 에너지 레벨의 비에 대한 다운믹스 게인 정보 및 멀티 채널 신호 중 상기 추출된 임의 다운믹스 신호에 포함되지 않은 성분에 대한 확장 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 복호화 장치.
- 제19항에 있어서,상기 임의 다운믹스 신호를 제1 도메인에서 제2 도메인으로 변환하는 제1 도메인변환부; 및상기 보상 정보를 상기 제2 도메인에서 이용 가능하도록 변환하는 제2 도메인변환부를 포함하고,상기 다운믹스보상부는 상기 제2 도메인 상에서 상기 변환된 보상 정보를 이용하여 상기 임의 다운믹스 신호를 보상하고, 상기 3D렌더링부는 상기 제2 도메인 상에서 3D 렌더링을 수행하는 것을 특징으로 하는 복호화 장치.
- 제1항 내지 제18항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Applications Claiming Priority (16)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US76574706P | 2006-02-07 | 2006-02-07 | |
US60/765,747 | 2006-02-07 | ||
US77147106P | 2006-02-09 | 2006-02-09 | |
US60/771,471 | 2006-02-09 | ||
US77333706P | 2006-02-15 | 2006-02-15 | |
US60/773,337 | 2006-02-15 | ||
US77577506P | 2006-02-23 | 2006-02-23 | |
US60/775,775 | 2006-02-23 | ||
US78175006P | 2006-03-14 | 2006-03-14 | |
US60/781,750 | 2006-03-14 | ||
US78251906P | 2006-03-16 | 2006-03-16 | |
US60/782,519 | 2006-03-16 | ||
US79232906P | 2006-04-17 | 2006-04-17 | |
US60/792,329 | 2006-04-17 | ||
US79365306P | 2006-04-21 | 2006-04-21 | |
US60/793,653 | 2006-04-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20080094775A true KR20080094775A (ko) | 2008-10-24 |
Family
ID=38345393
Family Applications (19)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087016478A KR20080093024A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087028251A KR20080110920A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012928A KR100878814B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016481A KR101203839B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012932A KR100902899B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016480A KR100991795B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012933A KR100878815B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016483A KR20080093419A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012938A KR100863479B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012941A KR100897809B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012937A KR100878816B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016482A KR20080094775A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012929A KR100921453B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016477A KR101014729B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016479A KR100983286B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012931A KR100902898B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012940A KR100908055B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012930A KR100913091B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012939A KR100863480B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
Family Applications Before (11)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087016478A KR20080093024A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087028251A KR20080110920A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012928A KR100878814B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016481A KR101203839B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012932A KR100902899B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016480A KR100991795B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012933A KR100878815B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016483A KR20080093419A (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012938A KR100863479B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012941A KR100897809B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012937A KR100878816B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
Family Applications After (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070012929A KR100921453B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016477A KR101014729B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020087016479A KR100983286B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012931A KR100902898B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012940A KR100908055B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012930A KR100913091B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
KR1020070012939A KR100863480B1 (ko) | 2006-02-07 | 2007-02-07 | 부호화/복호화 장치 및 방법 |
Country Status (11)
Country | Link |
---|---|
US (8) | US8285556B2 (ko) |
EP (7) | EP1982327A4 (ko) |
JP (7) | JP2009526264A (ko) |
KR (19) | KR20080093024A (ko) |
CN (1) | CN104681030B (ko) |
AU (1) | AU2007212845B2 (ko) |
BR (1) | BRPI0707498A2 (ko) |
CA (1) | CA2637722C (ko) |
HK (1) | HK1128810A1 (ko) |
TW (4) | TWI329464B (ko) |
WO (7) | WO2007091847A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014088328A1 (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자 주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1905002B1 (en) | 2005-05-26 | 2013-05-22 | LG Electronics Inc. | Method and apparatus for decoding audio signal |
JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
EP1974348B1 (en) | 2006-01-19 | 2013-07-24 | LG Electronics, Inc. | Method and apparatus for processing a media signal |
KR20080093024A (ko) | 2006-02-07 | 2008-10-17 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
JP5023662B2 (ja) | 2006-11-06 | 2012-09-12 | ソニー株式会社 | 信号処理システム、信号送信装置、信号受信装置およびプログラム |
EP2133872B1 (en) * | 2007-03-30 | 2012-02-29 | Panasonic Corporation | Encoding device and encoding method |
CN101414463B (zh) * | 2007-10-19 | 2011-08-10 | 华为技术有限公司 | 一种混音编码方法、装置和系统 |
JP5404412B2 (ja) * | 2007-11-01 | 2014-01-29 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
KR101452722B1 (ko) * | 2008-02-19 | 2014-10-23 | 삼성전자주식회사 | 신호 부호화 및 복호화 방법 및 장치 |
JP2009206691A (ja) | 2008-02-27 | 2009-09-10 | Sony Corp | 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
WO2009113516A1 (ja) * | 2008-03-14 | 2009-09-17 | 日本電気株式会社 | 信号分析制御システム及びその方法と、信号制御装置及びその方法と、プログラム |
KR101461685B1 (ko) * | 2008-03-31 | 2014-11-19 | 한국전자통신연구원 | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 |
CN102007533B (zh) * | 2008-04-16 | 2012-12-12 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
EP2144230A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
EP2144231A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
KR101614160B1 (ko) * | 2008-07-16 | 2016-04-20 | 한국전자통신연구원 | 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 |
CN101809656B (zh) * | 2008-07-29 | 2013-03-13 | 松下电器产业株式会社 | 音响编码装置、音响解码装置、音响编码解码装置及会议系统 |
RU2468451C1 (ru) * | 2008-10-29 | 2012-11-27 | Долби Интернэшнл Аб | Защита от ограничения сигнала с использованием заранее существующих метаданных коэффициента усиления аудиосигнала |
KR101600352B1 (ko) * | 2008-10-30 | 2016-03-07 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 장치 및 방법 |
JP5309944B2 (ja) * | 2008-12-11 | 2013-10-09 | 富士通株式会社 | オーディオ復号装置、方法、及びプログラム |
KR101496760B1 (ko) | 2008-12-29 | 2015-02-27 | 삼성전자주식회사 | 서라운드 사운드 가상화 방법 및 장치 |
WO2010091555A1 (zh) * | 2009-02-13 | 2010-08-19 | 华为技术有限公司 | 一种立体声编码方法和装置 |
MX2011006248A (es) | 2009-04-08 | 2011-07-20 | Fraunhofer Ges Forschung | Aparato, metodo y programa de computacion para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavizacion de valor de fase. |
JP5540581B2 (ja) * | 2009-06-23 | 2014-07-02 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
TWI384459B (zh) * | 2009-07-22 | 2013-02-01 | Mstar Semiconductor Inc | 音框檔頭之自動偵測方法 |
KR101613975B1 (ko) * | 2009-08-18 | 2016-05-02 | 삼성전자주식회사 | 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
WO2011045506A1 (fr) * | 2009-10-12 | 2011-04-21 | France Telecom | Traitement de donnees sonores encodees dans un domaine de sous-bandes |
WO2011083979A2 (en) * | 2010-01-06 | 2011-07-14 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
JP2012004668A (ja) | 2010-06-14 | 2012-01-05 | Sony Corp | 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置 |
JP5680391B2 (ja) * | 2010-12-07 | 2015-03-04 | 日本放送協会 | 音響符号化装置及びプログラム |
KR101227932B1 (ko) * | 2011-01-14 | 2013-01-30 | 전자부품연구원 | 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법 |
US9942593B2 (en) * | 2011-02-10 | 2018-04-10 | Intel Corporation | Producing decoded audio at graphics engine of host processing platform |
US9826238B2 (en) | 2011-06-30 | 2017-11-21 | Qualcomm Incorporated | Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit |
KR102185941B1 (ko) | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
JP6007474B2 (ja) * | 2011-10-07 | 2016-10-12 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体 |
CN103220058A (zh) * | 2012-01-20 | 2013-07-24 | 旭扬半导体股份有限公司 | 音频数据与视觉数据同步装置及其方法 |
CN104246873B (zh) | 2012-02-17 | 2017-02-01 | 华为技术有限公司 | 用于编码多声道音频信号的参数编码器 |
JP6174129B2 (ja) | 2012-05-18 | 2017-08-02 | ドルビー ラボラトリーズ ライセンシング コーポレイション | パラメトリックオーディオコーダに関連するリバーシブルダイナミックレンジ制御情報を維持するシステム |
US10844689B1 (en) | 2019-12-19 | 2020-11-24 | Saudi Arabian Oil Company | Downhole ultrasonic actuator system for mitigating lost circulation |
WO2014034555A1 (ja) * | 2012-08-29 | 2014-03-06 | シャープ株式会社 | 音声信号再生装置、方法、プログラム、及び記録媒体 |
WO2014046916A1 (en) * | 2012-09-21 | 2014-03-27 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
US9568985B2 (en) * | 2012-11-23 | 2017-02-14 | Mediatek Inc. | Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method |
US9860663B2 (en) * | 2013-01-15 | 2018-01-02 | Koninklijke Philips N.V. | Binaural audio processing |
EP2946572B1 (en) | 2013-01-17 | 2018-09-05 | Koninklijke Philips N.V. | Binaural audio processing |
EP2757559A1 (en) | 2013-01-22 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
US9093064B2 (en) | 2013-03-11 | 2015-07-28 | The Nielsen Company (Us), Llc | Down-mixing compensation for audio watermarking |
CN108810793B (zh) | 2013-04-19 | 2020-12-15 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
EP2830336A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
US20150127354A1 (en) * | 2013-10-03 | 2015-05-07 | Qualcomm Incorporated | Near field compensation for decomposed representations of a sound field |
WO2015152666A1 (ko) * | 2014-04-02 | 2015-10-08 | 삼성전자 주식회사 | Hoa 신호를 포함하는 오디오 신호를 디코딩하는 방법 및 장치 |
US9560464B2 (en) * | 2014-11-25 | 2017-01-31 | The Trustees Of Princeton University | System and method for producing head-externalized 3D audio through headphones |
CN114554387A (zh) | 2015-02-06 | 2022-05-27 | 杜比实验室特许公司 | 用于自适应音频的混合型基于优先度的渲染系统和方法 |
US10380991B2 (en) * | 2015-04-13 | 2019-08-13 | Sony Corporation | Signal processing device, signal processing method, and program for selectable spatial correction of multichannel audio signal |
ES2818562T3 (es) * | 2015-08-25 | 2021-04-13 | Dolby Laboratories Licensing Corp | Descodificador de audio y procedimiento de descodificación |
KR20230105002A (ko) * | 2015-08-25 | 2023-07-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩 |
KR20230048461A (ko) | 2015-08-25 | 2023-04-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 디코더 및 디코딩 방법 |
EP3346728A4 (en) | 2015-09-03 | 2019-04-24 | Sony Corporation | SOUND PROCESSING DEVICE, METHOD AND PROGRAM |
KR20180075610A (ko) * | 2015-10-27 | 2018-07-04 | 앰비디오 인코포레이티드 | 사운드 스테이지 향상을 위한 장치 및 방법 |
JP6841229B2 (ja) | 2015-12-10 | 2021-03-10 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
US10142755B2 (en) * | 2016-02-18 | 2018-11-27 | Google Llc | Signal processing methods and systems for rendering audio on virtual loudspeaker arrays |
CN108206984B (zh) * | 2016-12-16 | 2019-12-17 | 南京青衿信息科技有限公司 | 利用多信道传输三维声信号的编解码器及其编解码方法 |
CN108206983B (zh) * | 2016-12-16 | 2020-02-14 | 南京青衿信息科技有限公司 | 兼容现有音视频系统的三维声信号的编码器及其方法 |
GB2563635A (en) | 2017-06-21 | 2018-12-26 | Nokia Technologies Oy | Recording and rendering audio signals |
GB201808897D0 (en) * | 2018-05-31 | 2018-07-18 | Nokia Technologies Oy | Spatial audio parameters |
CN112309419B (zh) * | 2020-10-30 | 2023-05-02 | 浙江蓝鸽科技有限公司 | 多路音频的降噪、输出方法及其系统 |
AT523644B1 (de) * | 2020-12-01 | 2021-10-15 | Atmoky Gmbh | Verfahren für die Erzeugung eines Konvertierungsfilters für ein Konvertieren eines multidimensionalen Ausgangs-Audiosignal in ein zweidimensionales Hör-Audiosignal |
CN113844974B (zh) * | 2021-10-13 | 2023-04-14 | 广州广日电梯工业有限公司 | 电梯遥监的安装方法以及电梯遥监的安装装置 |
WO2024059505A1 (en) * | 2022-09-12 | 2024-03-21 | Dolby Laboratories Licensing Corporation | Head-tracked split rendering and head-related transfer function personalization |
Family Cites Families (205)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US563005A (en) * | 1896-06-30 | Fireplace-heater | ||
US798796A (en) * | 1905-04-24 | 1905-09-05 | Bartholomew Jacob | Buckle. |
US5166685A (en) | 1990-09-04 | 1992-11-24 | Motorola, Inc. | Automatic selection of external multiplexer channels by an A/D converter integrated circuit |
US5632005A (en) * | 1991-01-08 | 1997-05-20 | Ray Milton Dolby | Encoder/decoder for multidimensional sound fields |
DE4217276C1 (ko) | 1992-05-25 | 1993-04-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De | |
DE4236989C2 (de) | 1992-11-02 | 1994-11-17 | Fraunhofer Ges Forschung | Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle |
US5561736A (en) * | 1993-06-04 | 1996-10-01 | International Business Machines Corporation | Three dimensional speech synthesis |
DE69428939T2 (de) * | 1993-06-22 | 2002-04-04 | Deutsche Thomson-Brandt Gmbh | Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix |
EP0637191B1 (en) | 1993-07-30 | 2003-10-22 | Victor Company Of Japan, Ltd. | Surround signal processing apparatus |
TW263646B (en) | 1993-08-26 | 1995-11-21 | Nat Science Committee | Synchronizing method for multimedia signal |
US6118875A (en) * | 1994-02-25 | 2000-09-12 | Moeller; Henrik | Binaural synthesis, head-related transfer functions, and uses thereof |
JPH07248255A (ja) | 1994-03-09 | 1995-09-26 | Sharp Corp | 立体音像生成装置及び立体音像生成方法 |
EP0760197B1 (en) | 1994-05-11 | 2009-01-28 | Aureal Semiconductor Inc. | Three-dimensional virtual audio display employing reduced complexity imaging filters |
JP3397001B2 (ja) | 1994-06-13 | 2003-04-14 | ソニー株式会社 | 符号化方法及び装置、復号化装置、並びに記録媒体 |
US5703584A (en) * | 1994-08-22 | 1997-12-30 | Adaptec, Inc. | Analog data acquisition system |
GB9417185D0 (en) | 1994-08-25 | 1994-10-12 | Adaptive Audio Ltd | Sounds recording and reproduction systems |
JP3395807B2 (ja) | 1994-09-07 | 2003-04-14 | 日本電信電話株式会社 | ステレオ音響再生装置 |
US6072877A (en) | 1994-09-09 | 2000-06-06 | Aureal Semiconductor, Inc. | Three-dimensional virtual audio display employing reduced complexity imaging filters |
JPH0884400A (ja) | 1994-09-12 | 1996-03-26 | Sanyo Electric Co Ltd | 音像制御装置 |
JPH08123494A (ja) | 1994-10-28 | 1996-05-17 | Mitsubishi Electric Corp | 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置 |
JPH08202397A (ja) | 1995-01-30 | 1996-08-09 | Olympus Optical Co Ltd | 音声復号化装置 |
US5668924A (en) * | 1995-01-18 | 1997-09-16 | Olympus Optical Co. Ltd. | Digital sound recording and reproduction device using a coding technique to compress data for reduction of memory requirements |
JPH0974446A (ja) | 1995-03-01 | 1997-03-18 | Nippon Telegr & Teleph Corp <Ntt> | 音声通信制御装置 |
US5632205A (en) * | 1995-06-07 | 1997-05-27 | Acushnet Company | Apparatus for the spatial orientation and manipulation of a game ball |
IT1281001B1 (it) | 1995-10-27 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio. |
US5956674A (en) | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
JP3088319B2 (ja) | 1996-02-07 | 2000-09-18 | 松下電器産業株式会社 | デコード装置およびデコード方法 |
JPH09224300A (ja) | 1996-02-16 | 1997-08-26 | Sanyo Electric Co Ltd | 音像位置の補正方法及び装置 |
JP3483086B2 (ja) | 1996-03-22 | 2004-01-06 | 日本電信電話株式会社 | 音声電話会議装置 |
US6252965B1 (en) * | 1996-09-19 | 2001-06-26 | Terry D. Beard | Multichannel spectral mapping audio apparatus and method |
US5886988A (en) * | 1996-10-23 | 1999-03-23 | Arraycomm, Inc. | Channel assignment and call admission control for spatial division multiple access communication systems |
SG54383A1 (en) * | 1996-10-31 | 1998-11-16 | Sgs Thomson Microelectronics A | Method and apparatus for decoding multi-channel audio data |
US6721425B1 (en) | 1997-02-07 | 2004-04-13 | Bose Corporation | Sound signal mixing |
US6711266B1 (en) | 1997-02-07 | 2004-03-23 | Bose Corporation | Surround sound channel encoding and decoding |
TW429700B (en) | 1997-02-26 | 2001-04-11 | Sony Corp | Information encoding method and apparatus, information decoding method and apparatus and information recording medium |
US6449368B1 (en) | 1997-03-14 | 2002-09-10 | Dolby Laboratories Licensing Corporation | Multidirectional audio decoding |
JP3594281B2 (ja) * | 1997-04-30 | 2004-11-24 | 株式会社河合楽器製作所 | ステレオ拡大装置及び音場拡大装置 |
JPH1132400A (ja) | 1997-07-14 | 1999-02-02 | Matsushita Electric Ind Co Ltd | デジタル信号再生装置 |
US6307941B1 (en) * | 1997-07-15 | 2001-10-23 | Desper Products, Inc. | System and method for localization of virtual sound |
US5890125A (en) | 1997-07-16 | 1999-03-30 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method |
JP4627880B2 (ja) * | 1997-09-16 | 2011-02-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用 |
US7085393B1 (en) * | 1998-11-13 | 2006-08-01 | Agere Systems Inc. | Method and apparatus for regularizing measured HRTF for smooth 3D digital audio |
US6081783A (en) | 1997-11-14 | 2000-06-27 | Cirrus Logic, Inc. | Dual processor digital audio decoder with shared memory data transfer and task partitioning for decompressing compressed audio data, and systems and methods using the same |
US6414290B1 (en) * | 1998-03-19 | 2002-07-02 | Graphic Packaging Corporation | Patterned microwave susceptor |
US6741706B1 (en) * | 1998-03-25 | 2004-05-25 | Lake Technology Limited | Audio signal processing method and apparatus |
US6122619A (en) * | 1998-06-17 | 2000-09-19 | Lsi Logic Corporation | Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor |
JP3781902B2 (ja) * | 1998-07-01 | 2006-06-07 | 株式会社リコー | 音像定位制御装置および音像定位制御方式 |
TW408304B (en) * | 1998-10-08 | 2000-10-11 | Samsung Electronics Co Ltd | DVD audio disk, and DVD audio disk reproducing device and method for reproducing the same |
DE19846576C2 (de) | 1998-10-09 | 2001-03-08 | Aeg Niederspannungstech Gmbh | Plombierbare Verschließeinrichtung |
DE19847689B4 (de) | 1998-10-15 | 2013-07-11 | Samsung Electronics Co., Ltd. | Vorrichtung und Verfahren zur dreidimensionalen Tonwiedergabe |
US6574339B1 (en) * | 1998-10-20 | 2003-06-03 | Samsung Electronics Co., Ltd. | Three-dimensional sound reproducing apparatus for multiple listeners and method thereof |
JP3346556B2 (ja) | 1998-11-16 | 2002-11-18 | 日本ビクター株式会社 | 音声符号化方法及び音声復号方法 |
MY123651A (en) * | 1999-04-07 | 2006-05-31 | Dolby Laboratories Licensing Corp | Matrix improvements to lossless encoding and decoding |
GB2351213B (en) | 1999-05-29 | 2003-08-27 | Central Research Lab Ltd | A method of modifying one or more original head related transfer functions |
KR100416757B1 (ko) | 1999-06-10 | 2004-01-31 | 삼성전자주식회사 | 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법 |
JP2000353968A (ja) | 1999-06-11 | 2000-12-19 | Matsushita Electric Ind Co Ltd | オーディオ復号装置 |
US6442278B1 (en) * | 1999-06-15 | 2002-08-27 | Hearing Enhancement Company, Llc | Voice-to-remaining audio (VRA) interactive center channel downmix |
US6226616B1 (en) | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
KR20010009258A (ko) * | 1999-07-08 | 2001-02-05 | 허진호 | 가상 멀티 채널 레코딩 시스템 |
US6175631B1 (en) * | 1999-07-09 | 2001-01-16 | Stephen A. Davis | Method and apparatus for decorrelating audio signals |
US7031474B1 (en) * | 1999-10-04 | 2006-04-18 | Srs Labs, Inc. | Acoustic correction apparatus |
US6931370B1 (en) | 1999-11-02 | 2005-08-16 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
US6633648B1 (en) * | 1999-11-12 | 2003-10-14 | Jerald L. Bauck | Loudspeaker array for enlarged sweet spot |
US6611293B2 (en) | 1999-12-23 | 2003-08-26 | Dfr2000, Inc. | Method and apparatus for synchronization of ancillary information in film conversion |
AUPQ514000A0 (en) * | 2000-01-17 | 2000-02-10 | University Of Sydney, The | The generation of customised three dimensional sound effects for individuals |
JP4281937B2 (ja) | 2000-02-02 | 2009-06-17 | パナソニック株式会社 | ヘッドホンシステム |
US7266501B2 (en) * | 2000-03-02 | 2007-09-04 | Akiba Electronics Institute Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
US6973130B1 (en) | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
TW468182B (en) | 2000-05-03 | 2001-12-11 | Ind Tech Res Inst | Method and device for adjusting, recording and playing multimedia signals |
JP2001359197A (ja) | 2000-06-13 | 2001-12-26 | Victor Co Of Japan Ltd | 音像定位信号の生成方法、及び音像定位信号生成装置 |
JP3576936B2 (ja) | 2000-07-21 | 2004-10-13 | 株式会社ケンウッド | 周波数補間装置、周波数補間方法及び記録媒体 |
JP4645869B2 (ja) | 2000-08-02 | 2011-03-09 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
EP1211857A1 (fr) | 2000-12-04 | 2002-06-05 | STMicroelectronics N.V. | Procédé et dispositif d'estimation des valeurs successives de symboles numériques, en particulier pour l'égalisation d'un canal de transmission d'informations en téléphonie mobile |
US7085939B2 (en) * | 2000-12-14 | 2006-08-01 | International Business Machines Corporation | Method and apparatus for supplying power to a bus-controlled component of a computer |
WO2004019656A2 (en) | 2001-02-07 | 2004-03-04 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
JP3566220B2 (ja) | 2001-03-09 | 2004-09-15 | 三菱電機株式会社 | 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法 |
US6504496B1 (en) | 2001-04-10 | 2003-01-07 | Cirrus Logic, Inc. | Systems and methods for decoding compressed data |
US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
US7583805B2 (en) | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
US20030035553A1 (en) * | 2001-08-10 | 2003-02-20 | Frank Baumgarte | Backwards-compatible perceptual coding of spatial cues |
US7292901B2 (en) | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
US6807528B1 (en) * | 2001-05-08 | 2004-10-19 | Dolby Laboratories Licensing Corporation | Adding data to a compressed data frame |
EP1397937A2 (en) | 2001-06-21 | 2004-03-17 | 1... Limited | Loudspeaker |
JP2003009296A (ja) | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 音響処理装置および音響処理方法 |
SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
JP2003111198A (ja) | 2001-10-01 | 2003-04-11 | Sony Corp | 音声信号処理方法および音声再生システム |
MXPA03005133A (es) * | 2001-11-14 | 2004-04-02 | Matsushita Electric Ind Co Ltd | Dispositivo de codificacion, dispositivo de decodificacion y sistema de los mismos. |
EP1315148A1 (en) * | 2001-11-17 | 2003-05-28 | Deutsche Thomson-Brandt Gmbh | Determination of the presence of ancillary data in an audio bitstream |
TWI230024B (en) | 2001-12-18 | 2005-03-21 | Dolby Lab Licensing Corp | Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers |
WO2003065353A1 (en) | 2002-01-30 | 2003-08-07 | Matsushita Electric Industrial Co., Ltd. | Audio encoding and decoding device and methods thereof |
EP1341160A1 (en) | 2002-03-01 | 2003-09-03 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for encoding and for decoding a digital information signal |
US7707287B2 (en) * | 2002-03-22 | 2010-04-27 | F5 Networks, Inc. | Virtual host acceleration system |
AU2003209585A1 (en) | 2002-04-05 | 2003-10-20 | Koninklijke Philips Electronics N.V. | Signal processing |
EP1500085B1 (en) | 2002-04-10 | 2013-02-20 | Koninklijke Philips Electronics N.V. | Coding of stereo signals |
BRPI0304540B1 (pt) | 2002-04-22 | 2017-12-12 | Koninklijke Philips N. V | Methods for coding an audio signal, and to decode an coded audio sign, encoder to codify an audio signal, codified audio sign, storage media, and, decoder to decode a coded audio sign |
ATE354161T1 (de) | 2002-04-22 | 2007-03-15 | Koninkl Philips Electronics Nv | Signalsynthese |
JP4187719B2 (ja) * | 2002-05-03 | 2008-11-26 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | マルチチャネル・ダウンミキシング装置 |
JP4296752B2 (ja) * | 2002-05-07 | 2009-07-15 | ソニー株式会社 | 符号化方法及び装置、復号方法及び装置、並びにプログラム |
DE10228999B4 (de) | 2002-06-28 | 2006-12-14 | Advanced Micro Devices, Inc., Sunnyvale | Konstellationsmanipulation zur Frequenz/Phasenfehlerkorrektur |
JP4322207B2 (ja) | 2002-07-12 | 2009-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ符号化方法 |
AU2003281128A1 (en) | 2002-07-16 | 2004-02-02 | Koninklijke Philips Electronics N.V. | Audio coding |
BR0311601A (pt) | 2002-07-19 | 2005-02-22 | Nec Corp | Aparelho e método decodificador de áudio e programa para habilitar computador |
US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
WO2004028204A2 (en) | 2002-09-23 | 2004-04-01 | Koninklijke Philips Electronics N.V. | Generation of a sound signal |
AU2003219428A1 (en) | 2002-10-14 | 2004-05-04 | Koninklijke Philips Electronics N.V. | Signal filtering |
CN1973318B (zh) | 2002-10-14 | 2012-01-25 | 汤姆森许可贸易公司 | 用于对音频信号的表示描述进行编码或解码的方法和设备 |
US7698006B2 (en) | 2002-10-15 | 2010-04-13 | Electronics And Telecommunications Research Institute | Apparatus and method for adapting audio signal according to user's preference |
AU2003269551A1 (en) | 2002-10-15 | 2004-05-04 | Electronics And Telecommunications Research Institute | Method for generating and consuming 3d audio scene with extended spatiality of sound source |
KR100542129B1 (ko) * | 2002-10-28 | 2006-01-11 | 한국전자통신연구원 | 객체기반 3차원 오디오 시스템 및 그 제어 방법 |
WO2004047489A1 (en) | 2002-11-20 | 2004-06-03 | Koninklijke Philips Electronics N.V. | Audio based data representation apparatus and method |
US8139797B2 (en) | 2002-12-03 | 2012-03-20 | Bose Corporation | Directional electroacoustical transducing |
US6829925B2 (en) * | 2002-12-20 | 2004-12-14 | The Goodyear Tire & Rubber Company | Apparatus and method for monitoring a condition of a tire |
US7519530B2 (en) * | 2003-01-09 | 2009-04-14 | Nokia Corporation | Audio signal processing |
KR100917464B1 (ko) | 2003-03-07 | 2009-09-14 | 삼성전자주식회사 | 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치 |
US7391877B1 (en) * | 2003-03-31 | 2008-06-24 | United States Of America As Represented By The Secretary Of The Air Force | Spatial processor for enhanced performance in multi-talker speech displays |
JP4196274B2 (ja) | 2003-08-11 | 2008-12-17 | ソニー株式会社 | 画像信号処理装置および方法、プログラム、並びに記録媒体 |
CN1253464C (zh) | 2003-08-13 | 2006-04-26 | 中国科学院昆明植物研究所 | 安丝菌素苷类化合物及其药物组合物,其制备方法及其应用 |
US20050063613A1 (en) | 2003-09-24 | 2005-03-24 | Kevin Casey | Network based system and method to process images |
KR100590340B1 (ko) * | 2003-09-29 | 2006-06-15 | 엘지전자 주식회사 | 디지털 오디오 부호화 방법 및 장치 |
US7447317B2 (en) | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
US6937737B2 (en) | 2003-10-27 | 2005-08-30 | Britannia Investment Corporation | Multi-channel audio surround sound from front located loudspeakers |
KR101217649B1 (ko) | 2003-10-30 | 2013-01-02 | 돌비 인터네셔널 에이비 | 오디오 신호 인코딩 또는 디코딩 |
US7680289B2 (en) * | 2003-11-04 | 2010-03-16 | Texas Instruments Incorporated | Binaural sound localization using a formant-type cascade of resonators and anti-resonators |
US7949141B2 (en) | 2003-11-12 | 2011-05-24 | Dolby Laboratories Licensing Corporation | Processing audio signals with head related transfer function filters and a reverberator |
WO2005053356A1 (en) * | 2003-11-17 | 2005-06-09 | 1... Limited | Loudspeaker |
KR20050060789A (ko) * | 2003-12-17 | 2005-06-22 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
KR100598602B1 (ko) * | 2003-12-18 | 2006-07-07 | 한국전자통신연구원 | 가상 입체 음향 생성 장치 및 그 방법 |
KR100532605B1 (ko) * | 2003-12-22 | 2005-12-01 | 한국전자통신연구원 | 이동통신 단말기의 가상 입체 음향 제공 장치 및 그 방법 |
WO2005069638A1 (en) | 2004-01-05 | 2005-07-28 | Koninklijke Philips Electronics, N.V. | Flicker-free adaptive thresholding for ambient light derived from video content mapped through unrendered color space |
EP1704726B8 (en) | 2004-01-05 | 2018-09-12 | TP Vision Holding B.V. | Ambient light derived from video content by mapping transformations through unrendered color space |
US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
US7492915B2 (en) | 2004-02-13 | 2009-02-17 | Texas Instruments Incorporated | Dynamic sound source and listener position based audio rendering |
WO2005081229A1 (ja) | 2004-02-25 | 2005-09-01 | Matsushita Electric Industrial Co., Ltd. | オーディオエンコーダ及びオーディオデコーダ |
DE602005005640T2 (de) | 2004-03-01 | 2009-05-14 | Dolby Laboratories Licensing Corp., San Francisco | Mehrkanalige audiocodierung |
US7805313B2 (en) | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
US7668712B2 (en) * | 2004-03-31 | 2010-02-23 | Microsoft Corporation | Audio encoding and decoding with intra frames and adaptive forward error correction |
RU2396608C2 (ru) | 2004-04-05 | 2010-08-10 | Конинклейке Филипс Электроникс Н.В. | Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема |
TWI253625B (en) | 2004-04-06 | 2006-04-21 | I-Shun Huang | Signal-processing system and method thereof |
SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
US20050276430A1 (en) | 2004-05-28 | 2005-12-15 | Microsoft Corporation | Fast headphone virtualization |
KR100636144B1 (ko) | 2004-06-04 | 2006-10-18 | 삼성전자주식회사 | 오디오 신호 부호화/복호화 장치 및 방법 |
KR100636145B1 (ko) | 2004-06-04 | 2006-10-18 | 삼성전자주식회사 | 확장된 고해상도 오디오 신호 부호화 및 복호화 장치 |
US20050273324A1 (en) | 2004-06-08 | 2005-12-08 | Expamedia, Inc. | System for providing audio data and providing method thereof |
JP2005352396A (ja) | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | 音響信号符号化装置および音響信号復号装置 |
KR100644617B1 (ko) * | 2004-06-16 | 2006-11-10 | 삼성전자주식회사 | 7.1 채널 오디오 재생 방법 및 장치 |
JP4594662B2 (ja) | 2004-06-29 | 2010-12-08 | ソニー株式会社 | 音像定位装置 |
US8843378B2 (en) * | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
US7617109B2 (en) | 2004-07-01 | 2009-11-10 | Dolby Laboratories Licensing Corporation | Method for correcting metadata affecting the playback loudness and dynamic range of audio information |
WO2006003813A1 (ja) | 2004-07-02 | 2006-01-12 | Matsushita Electric Industrial Co., Ltd. | オーディオ符号化及び復号化装置 |
TW200603652A (en) * | 2004-07-06 | 2006-01-16 | Syncomm Technology Corp | Wireless multi-channel sound re-producing system |
KR20060003444A (ko) | 2004-07-06 | 2006-01-11 | 삼성전자주식회사 | 모바일 기기에서 크로스토크 제거 장치 및 방법 |
US7391870B2 (en) | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
CN1985544B (zh) | 2004-07-14 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 处理立体声下混合信号的方法、装置、编译码器和系统 |
KR100773539B1 (ko) | 2004-07-14 | 2007-11-05 | 삼성전자주식회사 | 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치 |
TWI498882B (zh) | 2004-08-25 | 2015-09-01 | Dolby Lab Licensing Corp | 音訊解碼器 |
TWI393121B (zh) | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
DE102004042819A1 (de) * | 2004-09-03 | 2006-03-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals |
KR20060022968A (ko) | 2004-09-08 | 2006-03-13 | 삼성전자주식회사 | 음향재생장치 및 음향재생방법 |
US7634092B2 (en) | 2004-10-14 | 2009-12-15 | Dolby Laboratories Licensing Corporation | Head related transfer functions for panned stereo audio content |
US7720230B2 (en) | 2004-10-20 | 2010-05-18 | Agere Systems, Inc. | Individual channel shaping for BCC schemes and the like |
SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
WO2006054360A1 (ja) | 2004-11-22 | 2006-05-26 | Mitsubishi Denki Kabushiki Kaisha | 音像生成装置及び音像生成プログラム |
US7787631B2 (en) * | 2004-11-30 | 2010-08-31 | Agere Systems Inc. | Parametric coding of spatial audio with cues based on transmitted channels |
WO2006060278A1 (en) | 2004-11-30 | 2006-06-08 | Agere Systems Inc. | Synchronizing parametric coding of spatial audio with externally provided downmix |
EP1817767B1 (en) | 2004-11-30 | 2015-11-11 | Agere Systems Inc. | Parametric coding of spatial audio with object-based side information |
KR100682904B1 (ko) * | 2004-12-01 | 2007-02-15 | 삼성전자주식회사 | 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 |
US7903824B2 (en) | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
US7573912B2 (en) | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
US20060198528A1 (en) | 2005-03-03 | 2006-09-07 | Thx, Ltd. | Interactive content sound system |
KR100608025B1 (ko) * | 2005-03-03 | 2006-08-02 | 삼성전자주식회사 | 2채널 헤드폰용 입체 음향 생성 방법 및 장치 |
EP1866911B1 (en) * | 2005-03-30 | 2010-06-09 | Koninklijke Philips Electronics N.V. | Scalable multi-channel audio coding |
KR20060109296A (ko) * | 2005-04-14 | 2006-10-19 | 엘지전자 주식회사 | 멀티채널 오디오 신호에 대한 서브밴드별 공간 정보의 변동기준채널 적용방법 |
US7961890B2 (en) * | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
US7983922B2 (en) | 2005-04-15 | 2011-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
EP1829424B1 (en) | 2005-04-15 | 2009-01-21 | Dolby Sweden AB | Temporal envelope shaping of decorrelated signals |
KR20060122694A (ko) * | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 두 채널 이상의 다운믹스 오디오 신호에 공간 정보비트스트림을 삽입하는 방법 |
KR101251426B1 (ko) | 2005-06-03 | 2013-04-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법 |
MX2008000122A (es) * | 2005-06-30 | 2008-03-18 | Lg Electronics Inc | Metodo y aparato para codificar y descodificar una senal de audio. |
EP1906706B1 (en) * | 2005-07-15 | 2009-11-25 | Panasonic Corporation | Audio decoder |
US7880748B1 (en) * | 2005-08-17 | 2011-02-01 | Apple Inc. | Audio view using 3-dimensional plot |
JP5108768B2 (ja) | 2005-08-30 | 2012-12-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号をエンコーディング及びデコーディングするための装置とその方法 |
WO2007031906A2 (en) * | 2005-09-13 | 2007-03-22 | Koninklijke Philips Electronics N.V. | A method of and a device for generating 3d sound |
KR100739776B1 (ko) | 2005-09-22 | 2007-07-13 | 삼성전자주식회사 | 입체 음향 생성 방법 및 장치 |
US20080262853A1 (en) * | 2005-10-20 | 2008-10-23 | Lg Electronics, Inc. | Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof |
CN101310563A (zh) | 2005-12-16 | 2008-11-19 | 唯听助听器公司 | 用于监视助听器装配系统中的无线连接的方法和系统 |
JP4944902B2 (ja) | 2006-01-09 | 2012-06-06 | ノキア コーポレイション | バイノーラルオーディオ信号の復号制御 |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
KR100803212B1 (ko) | 2006-01-11 | 2008-02-14 | 삼성전자주식회사 | 스케일러블 채널 복호화 방법 및 장치 |
US8190425B2 (en) * | 2006-01-20 | 2012-05-29 | Microsoft Corporation | Complex cross-correlation parameters for multi-channel audio |
KR20080093024A (ko) | 2006-02-07 | 2008-10-17 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
KR100773562B1 (ko) | 2006-03-06 | 2007-11-07 | 삼성전자주식회사 | 스테레오 신호 생성 방법 및 장치 |
RU2407226C2 (ru) * | 2006-03-24 | 2010-12-20 | Долби Свидн Аб | Генерация пространственных сигналов понижающего микширования из параметрических представлений мультиканальных сигналов |
MX2008012324A (es) | 2006-03-28 | 2008-10-10 | Fraunhofer Ges Zur Foeerderung | Metodo mejorado para la modulacion de señales en la reconstruccion de audio multicanal. |
JP4875142B2 (ja) * | 2006-03-28 | 2012-02-15 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | マルチチャネル・サラウンドサウンドのためのデコーダのための方法及び装置 |
JP4778828B2 (ja) | 2006-04-14 | 2011-09-21 | 矢崎総業株式会社 | 電気接続箱 |
US8027479B2 (en) | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
US7876904B2 (en) | 2006-07-08 | 2011-01-25 | Nokia Corporation | Dynamic decoding of binaural audio signals |
US20080235006A1 (en) * | 2006-08-18 | 2008-09-25 | Lg Electronics, Inc. | Method and Apparatus for Decoding an Audio Signal |
MX2008012250A (es) * | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
KR101111520B1 (ko) | 2006-12-07 | 2012-05-24 | 엘지전자 주식회사 | 오디오 처리 방법 및 장치 |
JP2009044268A (ja) * | 2007-08-06 | 2009-02-26 | Sharp Corp | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、及び、記録媒体 |
WO2009049895A1 (en) * | 2007-10-17 | 2009-04-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding using downmix |
US8077772B2 (en) * | 2007-11-09 | 2011-12-13 | Cisco Technology, Inc. | Coding background blocks in video coding that includes coding as skipped |
JP5056530B2 (ja) | 2008-03-27 | 2012-10-24 | 沖電気工業株式会社 | 復号システム、方法及びプログラム |
-
2007
- 2007-02-07 KR KR1020087016478A patent/KR20080093024A/ko active Search and Examination
- 2007-02-07 US US12/278,571 patent/US8285556B2/en active Active
- 2007-02-07 KR KR1020087028251A patent/KR20080110920A/ko not_active Application Discontinuation
- 2007-02-07 US US12/278,569 patent/US8612238B2/en active Active
- 2007-02-07 KR KR1020070012928A patent/KR100878814B1/ko not_active IP Right Cessation
- 2007-02-07 KR KR1020087016481A patent/KR101203839B1/ko active IP Right Grant
- 2007-02-07 TW TW096104543A patent/TWI329464B/zh active
- 2007-02-07 US US12/278,572 patent/US8160258B2/en active Active
- 2007-02-07 EP EP07708820A patent/EP1982327A4/en not_active Ceased
- 2007-02-07 KR KR1020070012932A patent/KR100902899B1/ko not_active IP Right Cessation
- 2007-02-07 WO PCT/KR2007/000674 patent/WO2007091847A1/en active Application Filing
- 2007-02-07 JP JP2008554141A patent/JP2009526264A/ja active Pending
- 2007-02-07 KR KR1020087016480A patent/KR100991795B1/ko active IP Right Grant
- 2007-02-07 US US12/278,774 patent/US8712058B2/en active Active
- 2007-02-07 EP EP07708826.8A patent/EP1984915B1/en active Active
- 2007-02-07 KR KR1020070012933A patent/KR100878815B1/ko not_active IP Right Cessation
- 2007-02-07 KR KR1020087016483A patent/KR20080093419A/ko active Search and Examination
- 2007-02-07 US US12/278,568 patent/US8625810B2/en active Active
- 2007-02-07 KR KR1020070012938A patent/KR100863479B1/ko not_active IP Right Cessation
- 2007-02-07 KR KR1020070012941A patent/KR100897809B1/ko not_active IP Right Cessation
- 2007-02-07 WO PCT/KR2007/000677 patent/WO2007091850A1/en active Application Filing
- 2007-02-07 EP EP07708824A patent/EP1984913A4/en not_active Ceased
- 2007-02-07 JP JP2008554137A patent/JP5054035B2/ja active Active
- 2007-02-07 CA CA2637722A patent/CA2637722C/en not_active Expired - Fee Related
- 2007-02-07 KR KR1020070012937A patent/KR100878816B1/ko not_active IP Right Cessation
- 2007-02-07 TW TW096104544A patent/TWI331322B/zh active
- 2007-02-07 BR BRPI0707498-0A patent/BRPI0707498A2/pt not_active IP Right Cessation
- 2007-02-07 KR KR1020087016482A patent/KR20080094775A/ko active Search and Examination
- 2007-02-07 WO PCT/KR2007/000668 patent/WO2007091842A1/en active Application Filing
- 2007-02-07 JP JP2008554138A patent/JP5199129B2/ja active Active
- 2007-02-07 TW TW097150309A patent/TWI483244B/zh active
- 2007-02-07 KR KR1020070012929A patent/KR100921453B1/ko not_active IP Right Cessation
- 2007-02-07 JP JP2008554139A patent/JP5173840B2/ja active Active
- 2007-02-07 CN CN201510128054.0A patent/CN104681030B/zh active Active
- 2007-02-07 KR KR1020087016477A patent/KR101014729B1/ko not_active IP Right Cessation
- 2007-02-07 WO PCT/KR2007/000672 patent/WO2007091845A1/en active Application Filing
- 2007-02-07 KR KR1020087016479A patent/KR100983286B1/ko active IP Right Grant
- 2007-02-07 JP JP2008554134A patent/JP5173839B2/ja active Active
- 2007-02-07 KR KR1020070012931A patent/KR100902898B1/ko not_active IP Right Cessation
- 2007-02-07 AU AU2007212845A patent/AU2007212845B2/en not_active Ceased
- 2007-02-07 JP JP2008554140A patent/JP2009526263A/ja active Pending
- 2007-02-07 KR KR1020070012940A patent/KR100908055B1/ko not_active IP Right Cessation
- 2007-02-07 TW TW096104545A patent/TWI329465B/zh active
- 2007-02-07 EP EP07708818A patent/EP1982326A4/en not_active Ceased
- 2007-02-07 JP JP2008554136A patent/JP5054034B2/ja active Active
- 2007-02-07 WO PCT/KR2007/000670 patent/WO2007091843A1/en active Application Filing
- 2007-02-07 WO PCT/KR2007/000675 patent/WO2007091848A1/en active Application Filing
- 2007-02-07 US US12/278,775 patent/US8638945B2/en active Active
- 2007-02-07 WO PCT/KR2007/000676 patent/WO2007091849A1/en active Application Filing
- 2007-02-07 EP EP07708822A patent/EP1984912A4/en not_active Ceased
- 2007-02-07 EP EP07708827A patent/EP1987512A4/en not_active Withdrawn
- 2007-02-07 KR KR1020070012930A patent/KR100913091B1/ko active IP Right Grant
- 2007-02-07 US US12/278,776 patent/US8296156B2/en active Active
- 2007-02-07 EP EP07708825A patent/EP1984914A4/en not_active Ceased
- 2007-02-07 KR KR1020070012939A patent/KR100863480B1/ko not_active IP Right Cessation
-
2009
- 2009-07-23 HK HK09106748.3A patent/HK1128810A1/xx not_active IP Right Cessation
-
2014
- 2014-01-27 US US14/165,540 patent/US9626976B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014088328A1 (ko) * | 2012-12-04 | 2014-06-12 | 삼성전자 주식회사 | 오디오 제공 장치 및 오디오 제공 방법 |
US9774973B2 (en) | 2012-12-04 | 2017-09-26 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
US10149084B2 (en) | 2012-12-04 | 2018-12-04 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
US10341800B2 (en) | 2012-12-04 | 2019-07-02 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100863480B1 (ko) | 부호화/복호화 장치 및 방법 | |
MX2008009565A (en) | Apparatus and method for encoding/decoding signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
B601 | Maintenance of original decision after re-examination before a trial | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100916 Effective date: 20120604 |