KR102628755B1 - 다운믹스된 신호 계산 방법 및 장치 - Google Patents
다운믹스된 신호 계산 방법 및 장치 Download PDFInfo
- Publication number
- KR102628755B1 KR102628755B1 KR1020207035596A KR20207035596A KR102628755B1 KR 102628755 B1 KR102628755 B1 KR 102628755B1 KR 1020207035596 A KR1020207035596 A KR 1020207035596A KR 20207035596 A KR20207035596 A KR 20207035596A KR 102628755 B1 KR102628755 B1 KR 102628755B1
- Authority
- KR
- South Korea
- Prior art keywords
- current frame
- subframe
- signal
- downmixed
- subband
- Prior art date
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000003860 storage Methods 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 abstract description 48
- 230000006870 function Effects 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
Abstract
본 출원은 오디오 신호 프로세싱 분야에 관한 것으로, 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하기 위해, 다운믹스된 신호 계산 방법 및 장치를 개시한다. 본 방법은 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 또는 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 단계, 및 현재의 프레임에서의 제 1 다운믹스된 신호를 사전 설정된 주파수 대역에서의 현재의 프레임에서의 다운믹스된 신호로서 결정하는 단계를 포함하며, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 단계는 구체적으로, 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하는 단계 (S402a) 및 현재의 프레임의 다운믹스 보상 인자 (S402b), 및 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임의 다운믹스 보상 인자에 기초하여 현재의 프레임에서의 제 2 다운믹스된 신호를 보정하는 단계 (S402c)를 포함한다.
Description
본 출원은 2018년 5월 31일자에, "DOWNMIXED SIGNAL CALCULATION METHOD AND APPARATUS" 란 발명의 명칭으로 중국 특허청에 출원된 중국 특허출원 번호 제 201810549905.2호에 대해 우선권을 주장하며, 이는 본원에 전체적으로 참고로 포함된다.
본 출원의 실시형태들은 오디오 신호 프로세싱 분야, 특히, 다운믹스된 신호 계산 방법 및 장치에 관한 것이다.
삶의 질이 향상됨에 따라, 사람들은 고품질 오디오에 대한 수요가 증가하고 있다. 스테레오 오디오는 방향 감각들 및 다양한 사운드 소스들의 분포를 제공하므로, 정보 명확성, 명료도, 및 몰입감이 향상될 수 있다. 따라서, 스테레오 오디오는 매우 선호된다.
파라메트릭 스테레오 인코딩 및 디코딩 기술은 스테레오 신호를 인코딩 및 디코딩하는 데 대개 사용된다. 파라메트릭 스테레오 인코딩 및 디코딩 기술에서, 스테레오 신호에 대한 압축 프로세싱을 구현하기 위해, 스테레오 신호는 공간 지각 파라미터 및 신호의 하나의 채널 (또는, 신호들의 2개의 채널들)로 변환된다. 파라메트릭 스테레오 인코딩 및 디코딩은 시간 도메인에서 수행될 수도 있거나, 주파수 도메인에서 수행될 수도 있거나, 또는 시간-주파수 도메인에서 수행될 수도 있다.
주파수 도메인 또는 시간-주파수 도메인에서 수행되는 파라메트릭 스테레오 인코딩 동안, 입력 스테레오 신호를 분석한 후, 인코더 측은 스테레오 파라미터, (중간 채널 신호 또는 1차 채널 신호로서 또한 지칭될 수도 있는) 다운믹스된 신호, 및 (측면 채널 신호 또는 2차 채널 신호로서 또한 지칭될 수도 있는) 잔차 신호를 획득할 수도 있다. 선행 기술에서, 코딩 레이트가 상대적으로 낮을 때 (예를 들어, 대역폭이 광대역인 경우 코딩 레이트는 26 kbps 이하이거나, 또는 대역폭이 초 광대역인 경우 코딩 레이트는 34 kbps 이하이다), 인코더 측은 사전 설정된 방법을 이용하여, 다운믹스된 신호를 계산한다. 그 결과, 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하며, 이에 의해 청각 품질에 영향을 미친다.
본 출원의 실시형태들은 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하기 위해, 다운믹스된 신호 계산 방법 및 장치를 제공한다.
전술한 목적을 달성하기 위해, 다음 기술적인 해결책들이 본 출원에서 사용된다.
제 1 양태에 따르면, 다운믹스된 신호 계산 방법이 제공되며, 상기 방법은 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 또는 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, (이하에서 간단히 계산 장치로서 지칭되는) 다운믹스된 신호 계산 장치에 의해, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 단계, 및 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정하는 단계를 포함한다. 계산 장치에 의해, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 방법은 구체적으로, 계산 장치에 의해, 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임의 다운믹스 보상 인자를 획득하는 단계; 및 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하는 단계를 포함한다.
본 출원의 본 실시형태에서, 스테레오 신호의 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 또는 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 계산 장치는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고, 제 1 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정한다. 이는 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서, 사전 설정된 주파수 대역에서 앞뒤로 스위칭함으로 인해 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하며, 이에 의해 청각 품질을 효과적으로 향상시킨다.
선택적으로, 본 출원의 가능한 구현예에서, 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 계산 장치에 의해, 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하는 방법은 계산 장치에 의해, 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 제 1 주파수-도메인 신호 및 현재의 프레임의 다운믹스 보상 인자에 기초하여 계산하는 단계; 및 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하는 단계를 포함하고, 제 1 주파수-도메인 신호가 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임에서의 우측 채널 주파수-도메인 신호이거나; 또는 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 단계; 및 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산하는 단계를 포함하고, 제 2 주파수-도메인 신호는 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호이고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 그리고, 현재의 프레임에서의 제 1 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]이다.
계산 장치가 각각의 프레임의 관점으로부터 현재의 프레임에서의 제 1 다운믹스된 신호를 계산할 수도 있거나, 또는 현재의 프레임의 각각의 서브프레임의 관점으로부터 현재의 프레임에서의 제 1 다운믹스된 신호를 계산할 수도 있음을 알 수 있다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 계산 장치에 의해, 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 제 1 주파수-도메인 신호 및 현재의 프레임의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임에서의 제 1 주파수-도메인 신호와 현재의 프레임의 다운믹스 보상 인자의 곱을 현재의 프레임에서의 보상된 다운믹스된 신호로서 결정하는 단계를 포함한다.
계산 장치에 의해, 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정하는 단계를 포함한다. 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호와 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자의 곱을 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호로서 결정하는 단계를 포함한다. 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호로서 결정하는 단계를 포함한다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 계산 장치에 의해, 현재의 프레임의 다운믹스 보상 인자를 현재의 프레임의 다운믹스 보상 인자를 획득하는 방법은 계산 장치에 의해, 현재의 프레임에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임에서의 우측 채널 주파수-도메인 신호, 현재의 프레임에서의 제 2 다운믹스된 신호, 현재의 프레임에서의 잔차 신호, 또는 제 1 플래그 중 적어도 하나에 기초하여 계산하는 단계로서, 제 1 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 하는지 여부를 표시하는데 사용되는, 상기 계산하는 단계; 또는 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 단계로서, 제 2 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 포함하며, P 및 i 양자는 정수들이고, P≥2이며, 그리고 i∈[0,P-1]인, 상기 계산하는 단계; 또는 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 1 플래그 중 적어도 하나에 기초하여 계산하는 단계로서, 제 1 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]인, 상기 계산하는 단계를 포함한다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이고, 그리고 이거나; 또는
이고, 이고, 및 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compib(k) = αi(b) * Lib''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
수식에서, 이고, 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Si(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호의 에너지 총합을 나타내고; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; RESib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compib(k) = αi(b) * Lib''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며, 그리고, 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시하고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compib(k) = αi(b) * Lib''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며, 그리고 이거나; 또는
이고, 이며, 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compi(k) = αi * Li''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
수식에서, 이고 이다.
E_Si는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들의 에너지 총합을 나타내며; E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; RESi'(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들을 나타내고; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compi(k) = αi * Li''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며, 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; k는 주파수 빈 인덱스 값을 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; 그리고 nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시한다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compi(k) = αi * Li''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며 그리고 이거나; 또는
이고, 이며, 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; Lib'(k)는 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하며, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compib(k) = αi(b) * Rib''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
수식에서, 이고 이다.
E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Si(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호의 에너지 총합을 나타내고; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; RESib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compib(k) = αi(b) * Rib''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며, 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시하고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compib(k) = αi(b) * Rib''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며 그리고 이거나; 또는
이고, 이며 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compi(k) = αi * Ri''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
수식에서, 이고 이다.
E_Si는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들의 에너지 총합을 나타내며; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; RESi'(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들을 나타내고; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compi(k) = αi * Ri''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하는 단계를 포함한다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
수식에서, 이고, 이며 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; k는 주파수 빈 인덱스 값을 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시한다.
대응하여, 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 수식 DMX_compi(k) = αi * Ri''(k)에 따라서, 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하는 단계를 포함하며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, Th1≤b≤Th2, Th1<b≤Th2, Th1≤b<Th2, 또는 Th1<b<Th2이고, 여기서, 0≤Th1≤Th2≤M-1이고, Th1는 사전 설정된 주파수 대역의 최소 서브밴드 인덱스 값을 나타내고, 그리고 Th2는 사전 설정된 주파수 대역의 최대 서브밴드 인덱스 값을 나타낸다.
제 2 양태에 따르면, 다운믹스된 신호 계산 장치가 제공된다. 구체적으로 설명하면, 계산 장치는 결정 유닛 및 계산 유닛을 포함한다.
본 출원에서 제공되는 유닛들 및 모듈들에 의해 구현되는 기능들은 구체적으로 다음과 같다.
결정 유닛은 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임인지 여부 및 이전 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정하도록 구성되거나, 또는 현재의 프레임이 스위칭 프레임인지 여부 및 현재의 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정하도록 구성된다. 계산 유닛은 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정 유닛이 결정할 때, 또는 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하도록 구성된다. 결정 유닛은 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서, 계산 유닛에 의해 계산되는 현재의 프레임에서의 제 1 다운믹스된 신호를 결정하도록 추가로 구성된다. 계산 유닛은 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임의 다운믹스 보상 인자를 획득하고; 그리고 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하도록 구체적으로 구성된다.
선택적으로, 본 출원의 가능한 구현예에서, 계산 유닛은 구체적으로, 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 제 1 주파수-도메인 신호 및 현재의 프레임의 다운믹스 보상 인자에 기초하여 계산하고, 그리고 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하도록 구성되고, 제 1 주파수-도메인 신호는 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임에서의 우측 채널 주파수-도메인 신호이거나; 또는 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하고, 그리고 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산하도록 구성되고, 제 2 주파수-도메인 신호는 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호이고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 그리고, 현재의 프레임에서의 제 1 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 계산 유닛은 구체적으로, 현재의 프레임에서의 제 1 주파수-도메인 신호와 현재의 프레임의 다운믹스 보상 인자의 곱을 현재의 프레임에서의 보상된 다운믹스된 신호로서 결정하고, 그리고 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정하도록 구성되거나; 또는 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호와 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자의 곱을 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호로서 결정하고, 그리고 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호로서 결정하도록 구성된다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 계산 유닛은 구체적으로, 현재의 프레임의 다운믹스 보상 인자를 현재의 프레임에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임에서의 우측 채널 주파수-도메인 신호, 현재의 프레임에서의 제 2 다운믹스된 신호, 현재의 프레임에서의 잔차 신호, 또는 제 1 플래그 중 적어도 하나에 기초하여 계산하도록 구성되고, 여기서, 제 1 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 하는지 여부를 표시하는데 사용되거나; 또는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하도록 구성되고, 여기서, 제 2 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 포함하며, P 및 i 양자는 정수들이고, P≥2이며, 그리고 i∈[0,P-1]이거나; 또는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 1 플래그 중 적어도 하나에 기초하여 계산하도록 구성되고, 여기서, 제 1 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
이고, 이며 그리고 이거나; 또는
이고, 이며 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
계산 유닛은 구체적으로, 수식 DMX_compib(k) = αi(b) * Lib''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 유닛은 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하도록 구체적으로 구성된다. 본원에서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
이고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Si(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호의 에너지 총합을 나타내고; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; RESib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
계산 유닛은 구체적으로, 수식 DMX_compib(k) = αi(b) * Lib''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 유닛은 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하도록 구체적으로 구성된다. 본원에서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
이고, 이며 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시하고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
계산 유닛은 구체적으로, 수식 DMX_compib(k) = αi(b) * Lib''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
이고, 이며 그리고 이거나; 또는
이고, 이며 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
계산 유닛은 구체적으로, 수식 DMX_compi(k) = αi * Li''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
이고 이다.
E_Si는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들의 에너지 총합을 나타내며; E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; RESi'(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들을 나타내고; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
계산 유닛은 구체적으로, 수식 DMX_compi(k) = αi * Li''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
이고, 이며, 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; k는 주파수 빈 인덱스 값을 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; 그리고 nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시한다.
계산 유닛은 구체적으로, 수식 DMX_compi(k) = αi * Li''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
이고, 이며, 그리고 이거나; 또는
이고, 이며, 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; Lib'(k)는 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
계산 유닛은 구체적으로, 수식 DMX_compib(k) = αi(b) * Rib''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 추가로 구성되며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 유닛은 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하도록 구체적으로 구성된다. 본원에서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
이고 그리고 이다.
E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Si(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호의 에너지 총합을 나타내고; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; RESib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
계산 유닛은 구체적으로, 수식 DMX_compib(k) = αi(b) * Rib''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 추가로 구성되며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 유닛은 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하도록 구체적으로 구성된다. 본원에서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산된다:
이고, 이며, 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시하고; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하며, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하고, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2이다.
계산 유닛은 구체적으로, 수식 DMX_compib(k) = αi(b) * Rib''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 추가로 구성되며, 여기서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
이고, 이며 그리고 이거나; 또는
이고, 이며 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
계산 유닛은 구체적으로, 수식 DMX_compi(k) = αi * Ri''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 유닛은 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여 계산하도록 구체적으로 구성된다. 본원에서, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
이고 이다.
E_Si는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들의 에너지 총합을 나타내며; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; RESi'(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들을 나타내고; 그리고 k는 주파수 빈 인덱스 값을 나타낸다.
계산 유닛은 구체적으로, 다음 수식: DMX_compi(k) = αi * Ri''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호가 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호일 때, 계산 유닛은 구체적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여 계산하도록 구성된다. 본원에서, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi는 다음 수식에 따라서 계산된다:
이고, 이며, 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; k는 주파수 빈 인덱스 값을 나타내고; nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시한다.
계산 유닛은 구체적으로, 수식 DMX_compi(k) = αi * Ri''(k)에 따라서 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 계산하도록 추가로 구성되며, 여기서, DMX_compi(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 각각의 서브밴드에서의 보상된 다운믹스된 신호를 나타내고, Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits_1,band_limits_2]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, Th1≤b≤Th2, Th1<b≤Th2, Th1≤b<Th2, 또는 Th1<b<Th2이고, 여기서, 0≤Th1≤Th2≤M-1이고, Th1는 사전 설정된 주파수 대역의 최소 서브밴드 인덱스 값을 나타내고, 그리고 Th2는 사전 설정된 주파수 대역의 최대 서브밴드 인덱스 값을 나타낸다.
제 3 양태에 따르면, 터미널이 제공된다. 터미널은 하나 이상의 프로세서들, 메모리, 및 통신 인터페이스를 포함한다. 메모리 및 통신 인터페이스는 하나 이상의 프로세서들에 커플링되며; 터미널은 통신 인터페이스를 통해서 다른 디바이스와 통신하며; 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되며, 컴퓨터 프로그램 코드는 명령을 포함하며; 하나 이상의 프로세서들이 명령을 실행할 때, 터미널은 제 1 양태 또는 제 1 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 수행한다.
제 4 양태에 따르면, 오디오 인코더가 제공되며, 비-휘발성 저장 매체 및 중앙 처리 유닛을 포함하고, 비-휘발성 저장 매체는 실행가능 프로그램을 저장하며, 중앙 처리 유닛은 비-휘발성 저장 매체에 접속되고, 그리고 실행가능 프로그램을 실행하여, 제 1 양태 또는 제 1 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 구현한다.
제 5 양태에 따르면, 인코더가 제공되며, 인코더는 제 2 양태에서의 다운믹스된 신호 계산 장치 및 인코딩 모듈을 포함하고, 인코딩 모듈은 현재의 프레임의 제 1 다운믹스된 신호를 인코딩하도록 구성되며, 현재의 프레임의 제 1 다운믹스된 신호는 다운믹스된 신호 계산 장치에 의해 획득된다.
제 6 양태에 따르면, 컴퓨터-판독가능 저장 매체가 추가로 제공되며, 컴퓨터-판독가능 저장 매체는 명령을 저장하고; 그리고 명령이 제 3 양태에서 설명된 터미널 상에서 실행될 때, 터미널은 제 1 양태 또는 제 1 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 수행하도록 인에이블된다.
제 7 양태에 따르면, 명령을 포함하는 컴퓨터 프로그램 제품이 추가로 제공된다. 컴퓨터 프로그램 제품이 제 3 양태에서 설명된 터미널 상에서 실행될 때, 터미널은 제 1 양태 또는 제 1 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 수행하도록 인에이블된다.
본 출원에서의 제 2 양태, 제 3 양태, 제 4 양태, 제 5 양태, 제 6 양태, 및 제 7 양태 및 제 2 양태, 제 3 양태, 제 4 양태, 제 5 양태, 제 6 양태, 및 제 7 양태의 다양한 구현예들의 상세한 설명들에 대해서는, 제 1 양태 및 제 1 양태의 다양한 구현예들의 상세한 설명들을 참조한다. 게다가, 제 2 양태, 제 3 양태, 제 4 양태, 제 5 양태, 제 6 양태, 및 제 7 양태 및 제 2 양태, 제 3 양태, 제 4 양태, 제 5 양태, 제 6 양태, 및 제 7 양태의 다양한 구현예들의 유익한 효과들에 대해서는, 제 1 양태 및 제 1 양태의 다양한 구현예들의 유익한 효과 분석을 참조한다. 세부 사항들은 본원에서 다시 설명되지 않는다.
제 8 양태에 따르면, 다운믹스된 신호 계산 방법이 제공되며, 상기 방법은 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 계산 장치에 의해, 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하는 단계; 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 이전 프레임의 다운믹스 보상 인자에 기초하여 보정하는 단계; 및 계산 장치에 의해, 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정하는 단계를 포함한다.
본 출원의 본 실시형태에서, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 계산 장치는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고, 제 1 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정한다. 이는 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서, 사전 설정된 주파수 대역에서 앞뒤로 스위칭함으로 인해 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하며, 이에 의해 청각 품질을 효과적으로 향상시킨다.
선택적으로, 본 출원의 가능한 구현예에서, 계산 장치에 의해, 현재의 프레임에서의 제 2 다운믹스된 신호를 이전 프레임의 다운믹스 보상 인자에 기초하여 보정하는 방법은 계산 장치에 의해, 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 제 1 주파수-도메인 신호 및 이전 프레임의 다운믹스 보상 인자에 기초하여 계산하는 단계, 및 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하는 단계를 포함하고, 제 1 주파수-도메인 신호는 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임에서의 우측 채널 주파수-도메인 신호이거나; 또는 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 이전 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 단계, 및 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산하는 단계를 포함하고, 제 2 주파수-도메인 신호는 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호이고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 그리고, 현재의 프레임에서의 제 1 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 계산 장치에 의해, 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 제 1 주파수-도메인 신호 및 이전 프레임의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임에서의 제 1 주파수-도메인 신호와 이전 프레임의 다운믹스 보상 인자의 곱을 현재의 프레임에서의 보상된 다운믹스된 신호로서 결정하는 단계를 포함한다.
계산 장치에 의해, 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정하는 단계를 포함한다. 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 이전 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 방법은 계산 장치에 의해, 서브프레임 i에서의 제 2 주파수-도메인 신호와 서브프레임 i의 다운믹스 보상 인자의 곱을 서브프레임 i에서의 보상된 다운믹스된 신호로서 결정하는 단계를 포함한다.
계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산하는 방법은 계산 장치에 의해, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호로서 결정하는 단계를 포함한다.
제 9 양태에 따르면, 다운믹스된 신호 계산 장치가 제공된다. 구체적으로 설명하면, 계산 장치는 결정 유닛, 획득 유닛, 및 계산 유닛을 포함한다.
본 출원에서 제공되는 유닛들 및 모듈들에 의해 구현되는 기능들은 구체적으로 다음과 같다.
결정 유닛은 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임인지 여부 및 이전 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정하도록 구성된다. 획득 유닛은 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정 유닛이 결정할 때 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하도록 구성된다. 계산 유닛은 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 획득 유닛에 의해 획득된 이전 프레임의 다운믹스 보상 인자에 기초하여 보정하도록 구성된다. 결정 유닛은 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서, 계산 유닛에 의해 획득된 제 1 다운믹스된 신호를 결정하도록 추가로 구성된다.
선택적으로, 본 출원의 가능한 구현예에서, 계산 유닛은 구체적으로, 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 제 1 주파수-도메인 신호 및 이전 프레임의 다운믹스 보상 인자에 기초하여 계산하고, 그리고 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하도록 구성되고, 제 1 주파수-도메인 신호는 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임에서의 우측 채널 주파수-도메인 신호이거나; 또는 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 주파수-도메인 신호 및 이전 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하고, 그리고 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산하도록 구성되고, 제 2 주파수-도메인 신호는 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 또는 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호이고, 현재의 프레임은 P개의 서브프레임들을 포함하고, 그리고, 현재의 프레임에서의 제 1 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]이다.
선택적으로, 본 출원의 다른 가능한 구현예에서, 계산 유닛은 구체적으로, 현재의 프레임에서의 제 1 주파수-도메인 신호와 이전 프레임의 다운믹스 보상 인자의 곱을 현재의 프레임에서의 보상된 다운믹스된 신호로서 결정하고, 그리고 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정하도록 구성되거나; 또는 서브프레임 i에서의 제 2 주파수-도메인 신호와 서브프레임 i의 다운믹스 보상 인자의 곱을 서브프레임 i에서의 보상된 다운믹스된 신호로서 결정하고, 그리고 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호로서 결정하도록 구성된다.
제 10 양태에 따르면, 터미널이 제공된다. 터미널은 하나 이상의 프로세서들, 메모리, 및 통신 인터페이스를 포함한다. 메모리 및 통신 인터페이스는 하나 이상의 프로세서들에 커플링되며; 터미널은 통신 인터페이스를 통해서 다른 디바이스와 통신하며; 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되며, 컴퓨터 프로그램 코드는 명령을 포함하며; 그리고 하나 이상의 프로세서들이 명령을 실행할 때, 터미널은 제 8 양태 또는 제 8 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 수행한다.
제 11 양태에 따르면, 오디오 인코더가 제공되며, 그리고 비-휘발성 저장 매체 및 중앙 처리 유닛을 포함하며, 비-휘발성 저장 매체는 실행가능 프로그램을 저장하며, 중앙 처리 유닛은 비-휘발성 저장 매체에 접속되고, 그리고 실행가능 프로그램을 실행하여, 제 8 양태 또는 제 8 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 구현한다.
제 12 양태에 따르면, 인코더가 제공되며, 인코더는 제 9 양태에서의 다운믹스된 신호 계산 장치 및 인코딩 모듈을 포함하며, 인코딩 모듈은 현재의 프레임의 제 1 다운믹스된 신호를 인코딩하도록 구성되며, 현재의 프레임의 제 1 다운믹스된 신호는 다운믹스된 신호 계산 장치에 의해 획득된다.
제 13 양태에 따르면, 컴퓨터-판독가능 저장 매체는 추가로 제공되며, 컴퓨터-판독가능 저장 매체는 명령을 저장하고; 그리고, 명령이 제 10 양태에서 설명된 터미널 상에서 실행될 때, 터미널은 제 8 양태 또는 제 8 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 실행하도록 인에이블된다.
제 14 양태에 따르면, 명령을 포함하는 컴퓨터 프로그램 제품이 추가로 제공된다. 컴퓨터 프로그램 제품이 제 10 양태에서 설명된 터미널 상에서 실행될 때, 터미널은 제 8 양태 또는 제 8 양태의 가능한 구현예들 중 임의의 하나에서 설명된 다운믹스된 신호 계산 방법을 실행하도록 인에이블된다.
본 출원에서의 제 9 양태, 제 10 양태, 제 11 양태, 제 12 양태, 제 13 양태, 및 제 14 양태 및 제 9 양태, 제 10 양태, 제 11 양태, 제 12 양태, 제 13 양태, 및 제 14 양태의 다양한 구현예들의 상세한 설명들에 대해서는, 제 8 양태 및 제 8 양태의 다양한 구현예들의 상세한 설명들을 참조한다. 게다가, 제 9 양태, 제 10 양태, 제 11 양태, 제 12 양태, 제 13 양태, 및 제 14 양태 및 제 9 양태, 제 10 양태, 제 11 양태, 제 12 양태, 제 13 양태, 및 제 14 양태의 의 다양한 구현예들의 유익한 효과들에 대해서는, 제 8 양태 및 제 8 양태의 다양한 구현예들의 유익한 효과 분석을 참조한다. 세부 사항들은 본원에서 다시 설명되지 않는다.
본 출원에서, 전술한 다운믹스된 신호 계산 장치의 명칭은 디바이스들 또는 기능 모듈들에 대한 제한을 구성하지 않는다. 실제 구현예에서, 디바이스들 또는 기능 모듈들은 다른 명칭들을 가질 수도 있다. 본 출원에서의 기능들과 유사한 기능들을 가진 모든 디바이스들 또는 기능 모듈들은 본 출원에서의 청구 범위 및 이들의 등가 기술들에 의해 정의되는 범위에 속한다.
본 출원의 이들 양태들 또는 다른 양태들은 다음 설명에서 이해하기에 더 간명하고 용이하다.
도 1은 본 출원의 일 실시형태에 따른 오디오 송신 시스템의 개략적인 구조 다이어그램이다.
도 2는 본 출원의 일 실시형태에 따른 오디오 인코딩 및 디코딩 장치의 개략적인 구조 다이어그램이다.
도 3은 본 출원의 일 실시형태에 따른 오디오 인코딩 및 디코딩 시스템의 개략적인 구조 다이어그램이다.
도 4는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 1이다.
도 5a는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 2이다.
도 5b는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 3이다.
도 5c는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 4이다.
도 6은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 1이다.
도 7은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 2이다.
도 8은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 3이다.
도 9는 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 4이다.
도 10은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 5이다.
도 11은 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램 1이다.
도 12는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램 2이다.
도 13은 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램 3이다.
도 2는 본 출원의 일 실시형태에 따른 오디오 인코딩 및 디코딩 장치의 개략적인 구조 다이어그램이다.
도 3은 본 출원의 일 실시형태에 따른 오디오 인코딩 및 디코딩 시스템의 개략적인 구조 다이어그램이다.
도 4는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 1이다.
도 5a는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 2이다.
도 5b는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 3이다.
도 5c는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트 4이다.
도 6은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 1이다.
도 7은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 2이다.
도 8은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 3이다.
도 9는 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 4이다.
도 10은 본 출원의 일 실시형태에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트 5이다.
도 11은 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램 1이다.
도 12는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램 2이다.
도 13은 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램 3이다.
본 출원의 실시형태들에서, 단어 "예를 들어"가 예, 예시도, 또는 설명을 제공하는 것을 나타내는데 사용된다. 본 출원의 실시형태들에서 "예를 들어"로서 설명된 임의의 실시형태 또는 설계 방식은 다른 실시형태 또는 설계 방식보다 더 많은 이점을 갖는 것으로 설명되어서는 안된다. 정확히, 단어 "예를 들어" 또는 기타 등등의 사용은 특정의 방법으로 상대적인 컨셉을 제시하기 위한 것이다.
다음 용어들 "제 1" 및 "제 2"는 단지 설명의 목적을 위한 것일 뿐, 상대적 중요성의 표시 또는 암시 또는 다량의 표시된 기술적인 특징들의 암시적인 표시로서 이해되어서는 안된다. 따라서, "제 1" 또는 "제 2"에 의해 제한된 특징은 명시적으로 또는 내재적으로 하나 이상의 특징들을 포함할 수도 있다. 본 출원의 실시형태의 설명에서, 달리 언급되지 않는 한, "복수의"는 2 이상을 의미한다.
모노 신호와는 달리, 스테레오 신호는 사운드 이미지 정보를 포함하며, 따라서 더 강한 사운드 공간감을 갖는다. 스테레오 신호에서의 일부 음악 신호들 및 음성 신호들에 대해, 낮은 주파수 정보는 스테레오 신호의 공간감을 더 잘 반영할 수 있으며, 낮은 주파수 정보의 정확도는 또한 스테레오 사운드 이미지의 안정성에서 아주 중요한 역할을 한다.
현재, 파라메트릭 스테레오 인코딩 및 디코딩 기술은 스테레오 신호를 인코딩 및 디코딩하는데 대개 사용된다. 파라메트릭 스테레오 인코딩 및 디코딩 기술에서, 스테레오 신호는 스테레오 신호에 대한 압축 프로세싱을 구현하기 위해, 공간 지각 파라미터 및 신호의 하나의 채널 (또는, 신호들의 2개의 채널들) 로 변환된다. 파라메트릭 스테레오 인코딩 및 디코딩은 시간 도메인에서 수행될 수도 있거나, 주파수 도메인에서 수행될 수도 있거나, 또는 시간-주파수 도메인에서 수행될 수도 있다. 주파수 도메인 또는 시간-주파수 도메인에서 수행되는 파라메트릭 스테레오 인코딩 동안, 입력 스테레오 신호를 분석한 후, 인코더 측은 스테레오 파라미터, 다운믹스된 신호, 및 잔차 신호를 획득할 수도 있다.
파라메트릭 스테레오 인코딩 및 디코딩 기술에서의 스테레오 파라미터들은 채널간 코히어런스 (Inter-channel Coherence, IC), 채널간 레벨 차이 (Inter-channel Level Difference, ILD), 채널간 시간 차이 (Inter-channel Time Difference, ITD), 및 채널간 위상 차이 (Inter-channel Phase Difference, IPD) 등을 포함한다.
ITD 및 IPD는 음향 신호의 수평 방향을 표시하는 공간 지각 파라미터들이고, ILD, ITD, 및 IPD는 사람 귀들에 의한 음향 신호의 위치의 지각을 결정하는데 사용되며, 스테레오 신호 복구에서 상당한 역할을 한다.
선행 기술에서, 스테레오 신호의 코딩 모드에서, 코딩 레이트가 상대적으로 낮을 (예를 들어, 코딩 레이트가 26 kbps 이하일) 때 잔차 신호는 인코딩되지 않으며; 그리고 코딩 레이트가 상대적으로 높을 때 잔차 신호들의 일부 또는 모두가 인코딩된다. 그러나, 잔차 신호가 인코딩되지 않으면, 디코딩된 스테레오 신호의 공간감은 상대적으로 열악하며, 사운드 이미지 안정성은 스테레오 파라미터 추출의 정확도에 의해 크게 영향을 받지 않는다.
스테레오 신호의 다른 코딩 모드에서, 코딩 레이트가 상대적으로 낮을 때, 디코딩된 스테레오 신호의 공간감 및 사운드 이미지 안정성을 향상시키기 위해, 사전 설정된 낮은 주파수 대역에 대응하는 서브밴드에서의 스테레오 파라미터, 다운믹스된 신호, 및 잔차 신호가 인코딩된다. 그러나, 인코딩에 대한 비트들의 전체 양의 제한으로 인해, 사전 설정된 낮은 주파수 대역에 대응하는 서브밴드에서의 잔차 신호가 인코딩되면, 다운믹스된 신호에서의 일부 고 주파수 정보는 할당된 비트들의 수가 불충분하기 때문에 인코딩될 수 없다. 그 결과, 디코딩된 스테레오 신호의 고 주파수 왜곡이 증가되며, 이에 의해 전체 인코딩 품질에 영향을 미친다.
스테레오 신호의 다른 코딩 모드에서, 코딩 레이트가 상대적으로 낮을 때스테레오 파라미터 및 다운믹스된 신호가 인코딩된다. 게다가, 인코더 측은 현재의 프레임에서의 잔차 신호를 이전 프레임에서의 다운믹스된 신호에 기초하여 추가로 예측하며, 예측 계수를 인코딩하여, 매우 작은 양의 비트들을 이용하여 잔차 신호의 관련된 정보를 인코딩한다. 그러나, 다운믹스된 신호의 스펙트럼 구조와 잔차 신호의 스펙트럼 구조 사이에 아주 낮은 유사성이 존재할 때, 이 방법에 의해 추정되는 잔차 신호와 실제 잔차 신호 사이의 차이가 대개 상대적으로 크다. 그 결과, 디코딩된 스테레오 신호의 공간감이 뚜렷하게 향상되지 않고, 사운드 이미지 안정성이 향상될 수 없다.
스테레오 신호의 다른 코딩 모드에서, 인코더 측은 고정된 수식을 이용하여 다운믹스된 신호 및 잔차 신호를 계산하고, 계산된 다운믹스된 신호 및 잔차 신호를 대응하는 인코딩 방법에 따라서 인코딩한다. 그러나, 인코딩 동안, 스위칭이 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서 앞뒤로 수행되어야 하고 다운믹스된 신호를 계산하는 방법이 변경되지 않으면, 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하며, 이에 의해 청각 품질에 영향을 미친다.
전술한 기술적인 문제들 중 임의의 하나를 감안하여, 본 출원은 디코딩된 스테레오 신호의 공간감 및 사운드 이미지 안정성을 향상시키면서 디코딩된 스테레오 신호의 고 주파수 왜곡을 가능한 한 줄이기 위해, 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 잔차 신호를 인코딩할지 여부를 적응적으로 선택하는 오디오 신호 인코딩 방법을 제공함으로써, 전체 인코딩 품질을 향상시킨다.
인코더 측이 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 잔차 신호를 인코딩할지 여부를 적응적으로 선택하면, 인코더 측은 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서 사전 설정된 주파수 대역에서 앞뒤로의 스위칭을 수행하여야 한다.
이를 감안하여, 본 출원의 일 실시형태는 스테레오 신호의 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 또는 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 새로운 방법을 이용하여 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 단계, 및 현재의 프레임에서의 계산된 제 1 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정하는 단계를 포함하는, 다운믹스된 신호 계산 방법을 제공한다. 이는 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서, 사전 설정된 주파수 대역에서 앞뒤로 스위칭함으로 인해 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하며, 이에 의해 청각 품질을 효과적으로 향상시킨다.
본 출원의 본 실시형태에서, 스테레오 신호의 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 또는 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 방법은 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임의 다운믹스 보상 인자를 획득하는 단계; 및 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하는 단계를 포함한다.
게다가, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 방법은 대안적으로, 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하는 단계; 및 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 이전 프레임의 다운믹스 보상 인자에 기초하여 보정하는 단계를 포함할 수도 있다.
본 출원에서 제공되는 다운믹스된 신호 계산 방법은 다운믹스된 신호 계산 장치, 오디오 인코딩 및 디코딩 장치, 오디오 코덱, 또는 오디오 인코딩 및 디코딩 기능들을 갖는 다른 디바이스에 의해 수행될 수도 있다. 다운믹스된 신호 계산 방법은 인코딩 프로세스에서 사용된다.
본 출원의 본 실시형태에서 제공되는 다운믹스된 신호 계산 방법은 오디오 송신 시스템에 적용가능하다. 도 1 은 본 출원의 일 실시형태에 따른 오디오 송신 시스템의 개략적인 구조 다이어그램이다. 도 1 에 나타낸 바와 같이, 오디오 송신 시스템은 아날로그-디지털 (Analog-to-Digital, A/D) 변환 모듈 (101), 인코딩 모듈 (102), 전송 모듈 (103), 네트워크 (104), 수신 모듈 (105), 디코딩 모듈 (106), 및 디지털-아날로그 (Digital-to-Analog, D/A) 변환 모듈 (107)을 포함한다.
오디오 송신 시스템에서의 모듈들의 특정의 기능들은 다음과 같다.
아날로그-디지털 변환 모듈 (101)은 인코딩 전에 스테레오 신호를 프로세싱하고, 연속적인 스테레오 아날로그 신호를 이산 스테레오 디지털 신호로 변환하도록 구성된다.
인코딩 모듈 (102)은 비트스트림을 획득하기 위해 스테레오 디지털 신호를 인코딩하도록 구성된다.
전송 모듈 (103)은 인코딩을 통해서 획득된 비트스트림을 전송하도록 구성된다.
네트워크 (104)는 전송 모듈 (103)에 의해 전송된 비트스트림을 수신 모듈 (105)로 송신하도록 구성된다.
수신 모듈 (105)은 전송 모듈 (103)에 의해 전송된 비트스트림을 수신하도록 구성된다.
디코딩 모듈 (106)은 수신 모듈 (105)에 의해 수신된 비트스트림을 디코딩하고, 스테레오 디지털 신호를 복원하도록 구성된다.
디지털-아날로그 변환 모듈 (107)은 디코딩 모듈 (106)에 의해 획득된 스테레오 디지털 신호에 대해 디지털-아날로그 변환을 수행하여, 스테레오 아날로그 신호를 획득하도록 구성된다.
구체적으로 설명하면, 도 1에 나타낸 오디오 송신 시스템에서의 인코딩 모듈 (102)은 본 출원의 본 실시형태에서의 다운믹스된 신호 계산 방법을 수행할 수도 있다.
전술한 설명으로부터, 본 출원의 본 실시형태에서 제공되는 다운믹스된 신호 계산 방법이 오디오 인코딩 및 디코딩 장치에 의해 수행될 수도 있음을 알 수 있다. 이 경우, 본 출원의 본 실시형태에서 제공되는 다운믹스된 신호 계산 방법은 또한 오디오 인코딩 및 디코딩 장치를 포함하는 인코딩 및 디코딩 시스템에도 적용가능하다.
도 2 및 도 3을 참조하면, 다음은 자세하게 오디오 인코딩 및 디코딩 장치, 및 그 오디오 인코딩 및 디코딩 장치를 포함하는 오디오 인코딩 및 디코딩 시스템을 설명한다.
도 2는 본 출원의 일 실시형태에 따른 오디오 인코딩 및 디코딩 장치의 개략도이다. 도 2에 나타낸 바와 같이, 오디오 인코딩 및 디코딩 장치 (20)는 오디오 신호를 특히 인코딩 및/또는 디코딩하는 장치일 수도 있거나, 또는 오디오 인코딩 및 디코딩 기능들을 갖는 전자 디바이스일 수도 있다. 또, 오디오 인코딩 및 디코딩 장치 (20)는 무선 통신 시스템에서 모바일 단말기 또는 사용자 장비일 수도 있다.
오디오 인코딩 및 디코딩 장치 (20)는 컴포넌트들 예컨대 제어기 (201), 무선 주파수 (무선 주파수, RF) 회로 (202), 메모리 (203), 코덱 (204), 라우드스피커 (205), 마이크로폰 (206), 주변장치 인터페이스 (207), 및 전원 공급 장치 (208)를 포함할 수도 있다. 이들 컴포넌트들은 하나 이상의 통신들 버스들 또는 신호 케이블들 (도 2에 미도시)을 통해서 서로 통신을 수행할 수도 있다.
당업자는, 도 2에 나타낸 구조가 오디오 인코딩 및 디코딩 장치 (20)에 대한 제한을 구성하지 않고, 그리고 오디오 인코딩 및 디코딩 장치 (20)가 도면에 나타낸 컴포넌트들보다 더 많거나 또는 더 적은 컴포넌트들, 또는 일부 컴포넌트들의 조합, 또는 상이한 배열들의 컴포넌트들을 포함할 수도 있음을 이해할 수 있다.
다음은 오디오 인코딩 및 디코딩 장치 (20)의 컴포넌트들을 도 2를 참조하여 자세하게 설명한다.
제어기 (201)는 오디오 인코딩 및 디코딩 장치 (20)의 제어 센터이고, 다양한 인터페이스들 및 라인들을 통해서 오디오 인코딩 및 디코딩 장치 (20)의 다양한 부분들에 접속되며, 그리고, 메모리 (203)에 저장된 애플리케이션 프로그램을 실행 또는 이행하고 메모리 (203)에 저장된 데이터를 호출함으로써, 오디오 인코딩 및 디코딩 장치 (20)의 다양한 기능들 및 데이터 프로세싱을 수행한다. 일부 실시형태들에서, 제어기 (201)는 하나 이상의 프로세싱 유닛들을 포함할 수도 있다.
RF 회로 (202)는 정보를 수신하고 전송하는 프로세스에서 라디오 신호들을 수신하고 전송하도록 구성될 수도 있다. 대개, RF 회로는 안테나, 적어도 하나의 증폭기, 트랜시버, 커플러, 낮은 잡음 증폭기, 듀플렉서 등을 포함하지만 이에 한정되지 않는다. 게다가, RF 회로 (202)는 무선 통신을 통해서 다른 디바이스와 추가로 통신할 수도 있다. 무선 통신은 GSM 통신 (Global System for Mobile Communications), 일반 패킷 무선 서비스, 코드분할 다중접속, 광대역 코드분할 다중접속, 롱 텀 에볼루션, email, 단문 메시징 서비스 등을 포함하지만 이에 한정되지 않는 임의의 통신 표준 또는 프로토콜을 이용할 수도 있다.
메모리 (203)는 애플리케이션 프로그램 및 데이터를 저장하도록 구성되며, 제어기 (201)는 메모리 (203)에 저장된 애플리케이션 프로그램 및 데이터를 실행함으로써 오디오 인코딩 및 디코딩 장치 (20)의 다양한 기능들 및 데이터 프로세싱을 수행한다.
메모리 (203)는 프로그램 저장 영역 및 데이터 저장 영역을 주로 포함한다. 프로그램 저장 영역은 운영 시스템, 및 적어도 하나의 기능 (예를 들어, 사운드 재생 기능 및 이미지 프로세싱 기능) 에 필요한 애플리케이션 프로그램을 저장할 수도 있으며; 데이터 저장 영역은 오디오 인코딩 및 디코딩 장치 (20)의 사용 동안 생성된 데이터를 저장할 수도 있다. 게다가, 메모리 (203)는 고속 랜덤 액세스 메모리 (RAM) 를 포함할 수도 있으며, 대안적으로, 비휘발성 메모리, 예를 들어, 디스크 저장 디바이스, 플래시 저장 디바이스, 또는 다른 비휘발성 고체 상태 저장 디바이스를 포함할 수도 있다. 메모리 (203)는 다양한 운영 시스템들, 예를 들어, iOS 운영 시스템 및 Android 운영 시스템을 저장할 수도 있다. 메모리 (203)는 독립적이고 통신 버스를 통해서 제어기 (201)에 접속될 수도 있거나; 또는 메모리 (203)는 대안적으로, 제어기 (201)와 통합될 수도 있다.
코덱 (204)은 오디오 신호를 인코딩하거나 또는 디코딩하도록 구성된다.
라우드스피커 (205) 및 마이크로폰 (206)은 사용자와 오디오 인코딩 및 디코딩 장치 (20) 사이에 오디오 인터페이스를 제공할 수도 있다. 코덱 (204)은 인코딩된 오디오 신호를 라우드스피커 (205)로 송신할 수도 있으며, 라우드스피커 (205)는 인코딩된 오디오 신호를 출력을 위해 음향 신호로 변환한다. 마이크로폰 (206)은 수집된 음향 신호를 전기 신호로 변환하고, 코덱 (204)은 전기 신호를 수신하고 전기 신호를 오디오 데이터로 변환하고, 그후 오디오 데이터를 예를 들어, 다른 오디오 인코딩 및 디코딩 장치로 전송하기 위해 오디오 데이터를 RF 회로 (202)로 출력하거나, 또는 추가적인 프로세싱을 위해 오디오 데이터를 메모리 (203)로 출력한다.
주변장치 인터페이스 (207)는 외부 입출력 디바이스들 (예를 들어, 키보드, 마우스, 외부 디스플레이, 및 외부 메모리) 에 대한 다양한 인터페이스들을 제공하도록 구성된다. 예를 들어, 주변장치 인터페이스 (207)는 범용 시리얼 버스 (Universal Serial Bus, USB) 인터페이스를 통해서 마우스에 접속되며, 가입자 식별 모듈 (Subscriber Identity Module, SIM) 카드의 카드 슬롯의 금속 접점을 통해서, 원격 통신 운영자에 의해 제공되는 가입자 식별 모듈 카드에 접속된다. 주변장치 인터페이스 (207)는 전술한 외부 입력/출력 주변장치 디바이스를 제어기 (201) 및 메모리 (203)에 커플링하도록 구성될 수도 있다.
본 출원의 본 실시형태에서, 오디오 인코딩 및 디코딩 장치 (20)는 주변장치 인터페이스 (207)를 통해서 디바이스 그룹 내 다른 디바이스와 통신할 수도 있다. 예를 들어, 오디오 인코딩 및 디코딩 장치 (20)는 디스플레이를 위해 다른 디바이스에 의해 전송된 디스플레이 데이터를 주변장치 인터페이스 (207)를 통해서 수신할 수도 있다. 이는 본 출원의 실시형태에 한정되지 않는다.
오디오 인코딩 및 디코딩 장치 (20)는 전력을 각각의 컴포넌트에 공급하는 전원 공급 장치 (208) (예를 들어, 배터리 및 전력 관리 칩)을 더 포함할 수도 있다. 배터리는 전력 관리 칩를 통해서 제어기 (201)에 논리적으로 접속될 수도 있으므로, 충전 관리, 방전 관리, 및 전력 소비 관리와 같은 기능이 전원 공급 장치 (208)를 이용하여 구현된다.
선택적으로, 오디오 인코딩 및 디코딩 장치 (20)는 센서, 지문 수집 디바이스, 스마트 카드, 블루투스 장치, 무선 충실도 (Wireless Fidelity, Wi-Fi) 장치, 또는 디스플레이 유닛 중 적어도 하나를 더 포함할 수도 있다. 세부 사항들은 본원에서 하나씩 설명되지 않는다.
본 출원의 일부 실시형태들에서, 송신 및/또는 저장을 수행하기 전에, 오디오 인코딩 및 디코딩 장치 (20)는 다른 디바이스에 전송된 프로세싱될 오디오 신호를 수신할 수도 있다. 본 출원의 일부 다른 실시형태들에서, 오디오 인코딩 및 디코딩 장치 (20)는 무선 또는 유선 접속을 통해서 오디오 신호를 수신할 수도 있으며, 수신된 오디오 신호를 인코딩/디코딩할 수도 있다.
도 3은 본 출원의 일 실시형태에 따른 오디오 인코딩 및 디코딩 시스템 (30)의 개략 블록도이다.
도 3에 나타낸 바와 같이, 오디오 인코딩 및 디코딩 시스템 (30)은 소스 장치 (301) 및 목적지 장치 (302)를 포함한다. 소스 장치 (301)는 인코딩된 오디오 신호를 발생시킨다. 소스 장치 (301)는 또한 오디오 인코딩 장치 또는 오디오 인코딩 디바이스로서 지칭될 수도 있다. 목적지 장치 (302)는 소스 장치 (301)에 의해 발생된 인코딩된 오디오 데이터를 디코딩할 수도 있다. 목적지 장치 (302)는 또한 오디오 디코딩 장치 또는 오디오 디코딩 디바이스로서 지칭될 수도 있다.
소스 장치 (301) 및 목적지 장치 (302)의 특정의 구현 유형은 다음 디바이스들: 데스크탑 컴퓨터, 모바일 컴퓨팅 장치, 노트북 (예를 들어, 랩탑) 컴퓨터, 태블릿 컴퓨터, 셋 탑 박스, 스마트폰, 핸드셋, 텔레비전, 카메라, 디스재생 장치, 디지털 미디어 플레이어, 비디오 게임 콘솔, 및 차량 탑재 컴퓨터, 또는 다른 유사한 디바이스 중 임의의 하나일 수도 있다.
목적지 장치 (302)는 소스 장치 (301)로부터 채널 (303)을 통해서 인코딩된 오디오 신호를 수신할 수도 있다. 채널 (303)은 인코딩된 오디오 신호를 소스 장치 (301)로부터 목적지 장치 (302)로 이동시킬 수 있는 하나 이상의 매체들 및/또는 장치들을 포함할 수도 있다. 일 예에서, 채널 (303)은 소스 장치 (301)로 하여금 인코딩된 오디오 신호를 목적지 장치 (302)로 실시간으로 직접 송신가능하게 하는 하나 이상의 통신 매체들을 포함할 수도 있다. 이 예에서, 소스 장치 (301)는 통신 표준 (예를 들어, 무선 통신 프로토콜)에 따라서, 인코딩된 오디오 신호를 변조할 수도 있으며, 변조된 오디오 신호를 목적지 장치 (302)로 송신할 수도 있다. 전술한 하나 이상의 통신 매체들은 무선 및/또는 유선 통신 매체, 예를 들어, 무선 주파수 (Radio Frequency, RF) 스펙트럼 또는 하나 이상의 물리적인 송신 라인들을 포함할 수도 있다. 전술한 하나 이상의 통신 매체들은 패킷-기반 네트워크 (예를 들어, 근거리 네트워크, 광역 네트워크, 또는 글로벌 네트워크 (예를 들어, 인터넷))의 부분을 구성할 수도 있다. 전술한 하나 이상의 통신 매체들은 라우터, 스위치, 기지국, 또는 소스 장치 (301)로부터 목적지 장치 (302)로의 통신을 구현하는 다른 디바이스를 포함할 수도 있다.
다른 예에서, 채널 (303)은 소스 장치 (301)에 의해 발생된 인코딩된 오디오 신호를 저장하는 저장 매체를 포함할 수도 있다. 이 예에서, 목적지 장치 (302)는 디스크 액세스 또는 카드 액세스를 통해서 저장 매체에 액세스할 수도 있다. 저장 매체는 로컬 액세스-유형 데이터 저장 매체들의 복수의 유형들, 예를 들어, 블루-레이 디스크, 고밀도 디지털 비디오 디스크 (Digital Video Disc, DVD), 컴팩트 디스크 판독 전용 메모리 (Compact Disc Read-Only Memory, CD-ROM), 플래시 메모리, 또는 인코딩된 비디오 데이터를 저장하는데 사용되는 다른 적합한 디지털 저장 매체를 포함할 수도 있다.
다른 예에서, 채널 (303)은 소스 장치 (301)에 의해 발생된 인코딩된 오디오 신호를 저장하는 파일 서버 또는 다른 중간 저장 장치를 포함할 수도 있다. 이 예에서, 목적지 장치 (302)는 스트리밍 송신 또는 다운로딩을 통해서, 파일 서버 또는 다른 중간 저장 장치에 저장된 인코딩된 오디오 신호에 액세스할 수도 있다. 파일 서버는 인코딩된 오디오 신호를 저장하고 인코딩된 오디오 신호를 목적지 장치 (302)로 송신하는 것이 가능한 서버의 유형일 수도 있다. 예를 들어, 파일 서버는 (예를 들어, 웹사이트용으로 사용되는) 월드 와이드 웹 (World Wide Web, Web) 서버, 파일 전송 프로토콜 (File Transfer Protocol, FTP) 서버, 네트워크 부착된 저장 (Network Attached Storage, NAS) 장치, 및 로컬 디스크 드라이브를 포함할 수도 있다.
목적지 장치 (302)는 인코딩된 오디오 신호를 표준 데이터 접속 (예를 들어, 인터넷 접속)을 통해서 액세스할 수도 있다. 데이터 접속의 예시적인 유형은 파일 서버에 저장된 인코딩된 오디오 신호에 액세스하기에 적합한 무선 채널 또는 유선 접속 (예를 들어, 케이블 모뎀), 또는 이들의 조합을 포함한다. 파일 서버로부터의 인코딩된 오디오 신호의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들의 조합일 수도 있다.
본 출원에서의 다운믹스된 신호 계산 방법은 무선 애플리케이션 시나리오에 한정되지 않는다. 예를 들어, 본 출원에서의 다운믹스된 신호 계산 방법은 다음 애플리케이션들: 오버-디-에어 텔레비전 브로드캐스팅, 케이블 텔레비전 송신, 위성 텔레비전 송신, (예를 들어, 인터넷을 통한) 스트리밍 비디오 송신, 데이터 저장 매체에 저장된 오디오 신호의 인코딩, 데이터 저장 매체에 저장된 오디오 신호의 디코딩, 또는 다른 애플리케이션과 같은, 다양한 멀티미디어 애플리케이션들을 지원하는 오디오 인코딩 및 디코딩에 적용될 수도 있다.
일부 예들에서, 오디오 인코딩 및 디코딩 시스템 (30)은 스트리밍 비디오 송신, 비디오 재생, 비디오 브로드캐스팅, 및/또는 비디오전화와 같은 애플리케이션들을 지원하기 위해 단방향 또는 양방향 비디오 송신을 지원하도록 구성될 수도 있다.
도 3에서, 소스 장치 (301)는 오디오 소스 (3011), 오디오 인코더 (3012), 및 출력 인터페이스 (3013)를 포함한다. 일부 예들에서, 출력 인터페이스 (3013)는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 오디오 소스 (3011)는 오디오 캡쳐 장치 (예를 들어, 스마트폰), 이전에 캡쳐된 오디오 신호를 포함하는 오디오 아카이브, 오디오 콘텐츠 제공자로부터 오디오 신호를 수신하도록 구성된 오디오 입력 인터페이스, 및/또는 오디오 신호, 또는 전술한 오디오 신호 소스들의 조합을 발생시키도록 구성된 컴퓨터 그래픽스 시스템을 포함할 수도 있다.
오디오 인코더 (3012)는 오디오 소스 (3011)로부터 오디오 신호를 인코딩할 수도 있다. 일부 예들에서, 소스 장치 (301)는 인코딩된 오디오 신호를 출력 인터페이스 (3013)를 통해서 목적지 장치 (302)로 직접 송신한다. 인코딩된 오디오 신호는 대안적으로, 디코딩 및/또는 재생을 위해 목적지 장치 (302)에 의한 추후 액세스를 위해 저장 매체에 또는 파일 서버 상에 저장될 수도 있다.
도 3의 예에서, 목적지 장치 (302)는 입력 인터페이스 (3023), 오디오 디코더 (3022), 및 재생 장치 (3021)를 포함한다. 일부 예들에서, 입력 인터페이스 (3023)는 수신기 및/또는 모뎀을 포함한다. 입력 인터페이스 (3023)는 인코딩된 오디오 신호를 채널 (303)을 통해서 수신할 수도 있다. 재생 장치 (3021)는 목적지 장치 (302)와 통합될 수도 있거나 또는 외부 목적지 장치 (302)에 위치될 수도 있다. 일반적으로, 재생 장치 (3021)는 디코딩된 오디오 신호를 재생한다.
오디오 인코더 (3012) 및 오디오 디코더 (3022)는 오디오 압축 표준에 따라서 동작들을 수행할 수도 있다.
도 1에 나타낸 오디오 송신 시스템, 도 2에 나타낸 오디오 인코딩 및 디코딩 장치, 및 오디오 인코딩 및 디코딩 장치을 포함하고 도 3에 나타낸 오디오 인코딩 및 디코딩 시스템을 참조하면, 다음은 본 출원에서 제공되는 다운믹스된 신호 계산 방법을 자세하게 설명한다.
본 출원의 실시형태들에서 제공되는 다운믹스된 신호 계산 방법은 다운믹스된 신호 계산 장치에 의해 수행될 수도 있거나, 또는 오디오 인코딩 및 디코딩 장치에 의해 수행될 수도 있거나, 또는 오디오 코덱에 의해 수행될 수도 있거나, 또는 오디오 인코딩 및 디코딩 기능들을 갖는 다른 디바이스에 의해 수행될 수도 있다. 이는 본 출원의 실시형태들에 구체적으로 한정되지 않는다.
구체적으로 설명하면, 도 4는 본 출원의 일 실시형태에 따른 다운믹스된 신호 계산 방법의 개략적인 플로우차트이다. 설명의 용이성을 위해, 오디오 인코더가 실행체인 예가 도 4에서의 설명에 이용된다.
도 4에 나타낸 바와 같이, 다운믹스된 신호 계산 방법은 다음 단계들을 포함한다.
S401. 오디오 인코더는 스테레오 신호의 현재의 프레임이 스위칭 프레임인지 여부 및 현재의 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정한다.
오디오 인코더는 현재의 프레임의 잔차 코딩 스위칭 플래그의 값에 기초하여, 현재의 프레임이 스위칭 프레임인지 여부를 결정하고, 현재의 프레임의 잔차 코딩 플래그의 값에 기초하여, 현재의 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정한다.
선택적으로, 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 0과 동일하면, 현재의 프레임은 스위칭 프레임이 아니다. 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 0보다 크면, 현재의 프레임은 스위칭 프레임이다. 현재의 프레임의 잔차 코딩 플래그의 값이 0과 동일하면, 현재의 프레임에서의 잔차 신호는 인코딩될 필요가 없다. 현재의 프레임의 잔차 코딩 플래그의 값이 0 보다 크면, 현재의 프레임에서의 잔차 신호가 인코딩되어야 한다.
"잔차 코딩 스위칭 플래그", "잔차 코딩 플래그", 및 "오디오 인코더가 스테레오 신호의 현재의 프레임이 스위칭 프레임인지 여부 및 현재의 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정한다"의 상세한 설명들에 대해서는, 다음 내용을 참조한다.
S402. 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고, 제 1 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정한다.
구체적으로 설명하면, 도 4를 참조하면, 도 5a에 나타낸 바와 같이, 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하기 위해, S402a 내지 S402c를 수행한다. 구체적으로, S402는 S402a 내지 S402c로 대체될 수도 있다.
S402a 내지 S402c가 본원에서 설명된다.
S402a. 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호를 획득한다.
오디오 인코더는 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정하기 전에 현재의 프레임에서의 제 2 다운믹스된 신호를 계산할 수도 있다. 이러한 방법으로, 오디오 인코더는 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정한 후 현재의 프레임에서의 계산된 제 2 다운믹스된 신호를 직접 획득한다. 오디오 인코더는 대안적으로, 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정한 후 현재의 프레임에서의 제 2 다운믹스된 신호를 계산할 수도 있다.
선택적으로, 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 현재의 프레임의 사전 설정된 주파수 대역에서의 각각의 대응하는 서브밴드에서의 제 2 다운믹스된 신호를 현재의 프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 현재의 프레임의 각각의 서브프레임에서의 제 2 다운믹스된 신호를 현재의 프레임의 서브프레임에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 또는 현재의 서브프레임의 각각의 서브프레임의 사전 설정된 주파수 대역에서의 각각의 대응하는 서브밴드에서의 제 2 다운믹스된 신호를 현재의 서브프레임의 서브프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 좌측 채널 주파수-도메인 신호 및 현재의 서브프레임의 서브프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있다.
본 출원의 본 실시형태에서의 각각의 사전 설정된 주파수 대역은 사전 설정된 낮은 주파수 대역이다.
오디오 인코더가 제 2 다운믹스된 신호를 현재의 프레임의 서브프레임의 그래뉼래러티로 계산하면, 오디오 인코더가 현재의 프레임의 각각의 서브프레임에서의 제 2 다운믹스된 신호를 계산하여야 한다는 점에 유의해야 한다. 이러한 방법으로, 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호를 획득할 수 있으며, 현재의 프레임에서의 제 2 다운믹스된 신호는 현재의 프레임의 각각의 서브프레임에서의 제 2 다운믹스된 신호를 포함한다.
현재의 프레임의 각각의 서브프레임에 대해, 오디오 인코더가 제 2 다운믹스된 신호를 서브프레임에서의 각각의 서브밴드의 그래뉼래러티로 계산하면, 오디오 인코더는 서브프레임에서의 각각의 서브밴드에서의 제 2 다운믹스된 신호를 계산하여야 한다. 이러한 방법으로, 오디오 인코더는 서브프레임에서의 제 2 다운믹스된 신호를 획득할 수 있으며, 서브프레임에서의 제 2 다운믹스된 신호는 서브프레임에서의 각각의 서브밴드에서의 제 2 다운믹스된 신호를 포함한다.
일 예에서, 본 출원의 본 실시형태에서의 스테레오 신호의 각각의 프레임이 P (P≥2이고, 그리고 P는 정수임)개의 서브프레임들을 포함하고 각각의 서브프레임이 M (M≥2)개의 서브밴드들을 포함하면, 오디오 인코더는 다음 수식 (1) 에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호 DMXib(k)를 결정한다.
현재의 프레임에서의 제 2 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호를 포함하며, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호를 포함한다. b 및 i 양자는 정수들이고, i∈[0,P-1]이고, 그리고 b∈[0,M-1]이다.
(1)
전술한 수식 (1)에서, Lib''(k)=Lib'(k)*e-jβ이고, 그리고 Rib''(k)=Rib'(k)*e-j(IPD(b)-β)이고, β=arctan(sin(IPDi(b)),cos(IPDi(b))+2*c)이며, 그리고 c=(1+g_ILDi)/(1-g_ILDi)이고, 여기서, IPDi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 IPD 파라미터를 나타내며; g_ILDi는 현재의 프레임의 서브프레임 i의 서브밴드 측 이득을 나타내고; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; Lib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호 (예를 들어, IC, ILD, ITD, 또는 IPD)를 나타내며; Rib''(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 여기서, k∈[band_limits(b),band_limits(b+1)-1]; band_limits(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; 그리고 band_limits(b+1)은 현재의 프레임의 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타낸다.
다른 예에서, 오디오 인코더는 다음 수식 (2)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호 DMXib(k)를 결정한다.
이와 유사하게, 현재의 프레임에서의 제 2 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호를 포함하며, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호를 포함한다. b 및 i 양자는 정수들이고, i∈[0,P-1]이고, 그리고 b∈[0,M-1]이다.
(2)
수식 (2)에서의 파라미터들에 대해서는, 전술한 수식 (1)에서의 파라미터들의 설명들을 설명한다. 세부 사항들은 본원에서 다시 설명되지 않는다.
S402b. 오디오 인코더는 현재의 프레임의 다운믹스 보상 인자를 획득한다.
선택적으로, 오디오 인코더는 현재의 프레임의 다운믹스 보상 인자를 현재의 프레임에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임에서의 우측 채널 주파수-도메인 신호, 현재의 프레임에서의 제 2 다운믹스된 신호, 현재의 프레임에서의 잔차 신호, 또는 제 1 플래그 중 적어도 하나에 기초하여 계산할 수도 있다.
제 1 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 하는지 여부를 표시하는데 사용된다. 본 출원에서, 제 1 플래그는 직접 또는 간접 형태로 제시될 수도 있다.
예를 들어, 구현예에서, 제 1 플래그는 플래그 flag이며, 여기서, flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 한다는 것을 표시하며, flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩될 필요가 없다는 것을 표시한다. 다른 구현예에서, 채널간 위상 차이 IPD의 값이 1일 때, 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 한다는 것을 표시하며; 채널간 위상 차이 IPD의 값이 0일 때, 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩될 필요가 없다는 것을 표시한다.
오디오 인코더는 대안적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 (현재의 프레임은 P개의 서브프레임들을 포함하고, P≥2이고, 그리고 i∈[0,P-1]임), 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산할 수도 있다. 제 2 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 포함한다. 이 경우, 오디오 인코더가 현재의 프레임의 각각의 서브프레임의 다운믹스 보상 인자를 계산하여야 함을 알 수 있다.
오디오 인코더는 대안적으로, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 (현재의 프레임은 P개의 서브프레임들을 포함하고, P≥2이고, 그리고 i∈[0,P-1]임), 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 잔차 신호, 또는 제 1 플래그 중 적어도 하나에 기초하여 계산할 수도 있다. 제 1 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 포함한다. 이 경우, 오디오 인코더가 현재의 프레임의 각각의 서브프레임의 다운믹스 보상 인자를 계산하여야 함을 알 수 있다.
이와 유사하게, 오디오 인코더가 다운믹스 보상 인자를 현재의 프레임의 서브프레임의 그래뉼래러티로 계산하면, 오디오 인코더는 현재의 프레임의 각각의 서브프레임의 다운믹스 보상 인자를 계산하여야 한다. 이러한 방법으로, 오디오 인코더는 현재의 프레임의 다운믹스 보상 인자를 획득할 수 있으며, 현재의 프레임의 다운믹스 보상 인자는 현재의 프레임의 각각의 서브프레임의 다운믹스 보상 인자를 포함한다.
현재의 프레임의 각각의 서브프레임에 대해, 오디오 인코더가 다운믹스 보상 인자를 서브프레임에서의 각각의 서브밴드의 그래뉼래러티로 계산하면, 오디오 인코더는 서브프레임에서의 각각의 서브밴드의 다운믹스 보상 인자를 계산하여야 한다. 이러한 방법으로, 오디오 인코더는 서브프레임의 다운믹스 보상 인자를 획득할 수 있으며, 서브프레임의 다운믹스 보상 인자는 서브프레임에서의 각각의 서브밴드의 다운믹스 보상 인자를 포함한다.
예를 들어, 오디오 인코더는 현재의 프레임의 다운믹스 보상 인자를 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 현재의 프레임에서의 각각의 서브밴드의 다운믹스 보상 인자를 현재의 프레임에서의 서브밴드에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임에서의 서브밴드에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 또는 현재의 프레임의 사전 설정된 주파수 대역에서의 각각의 대응하는 서브밴드의 다운믹스 보상 인자를 현재의 프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있다.
또, 오디오 인코더가 스테레오 신호의 각각의 프레임을 프로세싱을 위해 복수의 서브프레임들로 분할하면, 오디오 인코더는 현재의 프레임의 각각의 서브프레임의 다운믹스 보상 인자를 현재의 프레임의 서브프레임에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 현재의 프레임의 각각의 서브프레임에서의 각각의 서브밴드의 다운믹스 보상 인자를 현재의 프레임의 서브프레임에서의 서브밴드에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임에서의 서브밴드에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있거나; 또는 현재의 프레임의 각각의 서브프레임의 사전 설정된 주파수 대역에서의 각각의 대응하는 서브밴드의 다운믹스 보상 인자를 현재의 프레임의 서브프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임의 사전 설정된 주파수 대역에서의 대응하는 서브밴드에서의 우측 채널 주파수-도메인 신호에 기초하여 계산할 수도 있다.
본원에서, 좌측 채널 주파수-도메인 신호는 원래 좌측 채널 주파수-도메인 신호일 수도 있거나, 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호일 수도 있거나, 또는 스테레오 파라미터에 기초하여 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호일 수도 있다. 이와 유사하게, 우측 채널 주파수-도메인 신호는 원래 우측 채널 주파수-도메인 신호일 수도 있거나, 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호일 수도 있거나, 또는 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호일 수도 있다.
선택적으로, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산한다.
일 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호에 기초하여, 다음 수식 (3)에 따라서, 계산한다.
(3)
이고, 이며 그리고 이거나; 또는
이고, 이며 그리고 이다.
E_Li(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지와 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; Lib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; 그리고 Rib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고, 여기서 b는 정수이고, 그리고 b∈[0,M-1]이다. 게다가, band_limits(b), band_limits(b+1), Lib''(k), 및 Rib''(k)에 대해서는, 전술한 수식 (1)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함한다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호에 기초하여, 다음 수식 (4)에 따라서, 계산한다.
(4)
이다.
E_Si(b)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호의 에너지 총합을 나타내고; 그리고 RESib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타내며, 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함하며, b는 정수이고, 그리고 b∈[0,M-1]이다. E_Li(b)에 대해서는, 전술한 수식 (3)의 설명을 참조하며, 세부 사항들은 본원에서 다시 설명되지 않는다. band_limits(b) 및 band_limits(b+1)에 대해서는, 전술한 수식 (1)에서의 파라미터들의 설명들을 참조하며, 세부 사항들은 본원에서 다시 설명되지 않는다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함한다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여, 다음 수식 (5)에 따라서, 계산한다.
(5)
nipd_flag는 제 2 플래그를 나타내며; nipd_flag=1은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩될 필요가 없다는 것을 표시하며; 그리고 nipd_flag=0은 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 현재의 프레임의 서브프레임 i에서 인코딩되어야 한다는 것을 표시하며, 여기서 b는 정수이고, 그리고 b∈[0,M-1]이다. E_Li(b), E_Ri(b), 및 E_LRi(b)에 대해서는, 전술한 수식 (3)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함한다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호에 기초하여, 다음 수식 (6)에 따라서, 계산한다.
(6)
b는 정수이고, 그리고 b∈[0,M-1]이다. E_Li(b), E_Ri(b), 및 E_LRi(b)에 대해서는, 전술한 수식 (3)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함한다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호에 기초하여, 다음 수식 (7)에 따라서, 계산한다.
(7)
b는 정수이고, 그리고 b∈[0,M-1]이다. E_Si(b)에 대해서는, 전술한 수식 (4)의 설명을 참조하고; E_Ri(b)에 대해서는, 전술한 수식 (3)의 설명을 참조하고; 세부 사항들은 본원에서 다시 설명되지 않는다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함한다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여, 다음 수식 (8)에 따라서, 계산한다.
(8)
b는 정수이고, 그리고 b∈[0,M-1]이다. E_Li(b), E_Ri(b), 및 E_LRi(b)에 대해서는, 전술한 수식 (3)에서의 파라미터들의 설명들을 참조하고; nipd_flag에 대해서는, 전술한 수식 (5)의 설명을 참조하고; 세부 사항들은 본원에서 다시 설명되지 않는다. 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자는 현재의 프레임의 서브프레임 i에서의 서브밴드 b의 다운믹스 보상 인자를 포함한다.
선택적으로, 오디오 인코더는 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자 αi를, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 우측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 제 2 다운믹스된 신호, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여, 계산한다.
일 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여, 다음 수식 (9)에 따라서, 계산한다.
(9)
이고 이며 이거나; 또는
이고, 이며, 그리고 이다.
E_Li는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_Ri는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 우측 채널 주파수-도메인 신호들의 에너지 총합을 나타내고; E_LRi는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 좌측 채널 주파수-도메인 신호들의 에너지와 우측 채널 주파수-도메인 신호들의 에너지의 에너지 총합을 나타내며; band_limits_1은 사전 설정된 주파수 대역의 모든 서브밴드들의 최소 주파수 빈 인덱스 값을 나타내고; band_limits_2는 사전 설정된 주파수 대역의 모든 서브밴드들의 최대 주파수 빈 인덱스 값을 나타내며; Li''(k)는 현재의 프레임의 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri''(k)는 현재의 프레임의 서브프레임 i에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; Li'(k)는 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내고; Ri'(k)는 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내며; k는 주파수 빈 인덱스 값을 나타내며, 현재의 프레임은 P개의 서브프레임들을 포함하고, P 및 i 양자는 정수들이고, i∈[0,P-1]이며, 그리고 P≥2이다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여, 다음 수식 (10)에 따라서, 계산한다.
(10)
이다.
E_Si는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들의 에너지 총합을 나타내며; 그리고 RESi'(k)는 현재의 프레임의 서브프레임 i에서의 사전 설정된 주파수 대역의 모든 서브밴드들에서의 잔차 신호들을 나타낸다.
E_Li, band_limits_1, 및 band_limits_2에 대해서는, 전술한 수식 (9)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여, 다음 수식 (11)에 따라서, 계산한다.
(11)
E_Li, E_Ri, 및 E_LRi에 대해서는, 전술한 수식 (9)에서의 파라미터들의 설명들을 참조하고; nipd_flag에 대해서는, 전술한 수식 (5)의 설명을 참조하고; 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여, 다음 수식 (12)에 따라서, 계산한다.
(12)
E_Li, E_Ri, 및 E_LRi에 대해서는, 전술한 수식 (9)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호 및 현재의 프레임의 서브프레임 i에서의 잔차 신호에 기초하여, 다음 수식 (13)에 따라서, 계산한다.
(13)
이다.
E_Si 및 RESi'(k)에 대해서는, 전술한 수식 (10)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다. E_Ri, band_limits_1, 및 band_limits_2에 대해서는, 전술한 수식 (9)를 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 및 제 2 플래그에 기초하여, 다음 수식 (14)에 따라서, 계산한다.
(14)
E_Li, E_Ri, 및 E_LRi에 대해서는, 전술한 수식 (9)에서의 파라미터들의 설명들을 참조하고; nipd_flag에 대해서는, 전술한 수식 (5)의 설명을 참조하고; 세부 사항들은 본원에서 다시 설명되지 않는다.
선택적으로, 본 출원의 본 실시형태에서, 사전 설정된 주파수 대역의 최소 서브밴드 인덱스 값은 res_cod_band_min으로서 표시될 수도 있으며 (또는, Th1로서 표시될 수도 있으며), 사전 설정된 주파수 대역의 최대 서브밴드 인덱스 값은 res_cod_band_max로서 표시될 수도 있다 (또는, Th2로서 표시될 수도 있다). 이 경우, 사전 설정된 주파수 대역의 서브밴드 인덱스 b 의 값은 res_cod_band_min < b < res_cod_band_max를 만족하거나; res_cod_band_min ≤ b ≤ res_cod_band_max를 만족할 수도 있거나; res_cod_band_min ≤ b < res_cod_band_max를 만족할 수도 있거나; 또는 res_cod_band_min < b ≤ res_cod_band_max를 만족할 수도 있다.
사전 설정된 주파수 대역의 범위는 현재의 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정하는데 사용되는 주파수 대역 범위와 동일할 수도 있거나, 또는 현재의 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정하는데 사용되는 주파수 대역 범위와 상이할 수도 있다.
예를 들어, 사전 설정된 주파수 대역은 서브밴드 인덱스 값들이 0 이상이고 5미만인 모든 서브밴드들을 포함할 수도 있거나, 또는 서브밴드 인덱스 값들이 0 보다 크고 5미만인 모든 서브밴드들을 포함할 수도 있거나, 또는 서브밴드 인덱스 값들이 1 보다 크고 7 미만인 모든 서브밴드들을 포함할 수도 있다.
오디오 인코더는 먼저 S402a를 수행하고 그후 S402b를 수행할 수도 있거나, 또는 먼저 S402b를 수행하고 그후 S402a를 수행할 수도 있거나, 또는 S402a 및 S402b를 동시에 수행할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
S402c. 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정한다.
선택적으로, 오디오 인코더는 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 (또는, 현재의 프레임에서의 우측 채널 주파수-도메인 신호) 및 현재의 프레임의 다운믹스 보상 인자에 기초하여 계산한다. 그 후, 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 보정한다.
오디오 인코더는 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 (또는, 현재의 프레임에서의 우측 채널 주파수-도메인 신호) 와 현재의 프레임의 다운믹스 보상 인자의 곱을 현재의 프레임에서의 보상된 다운믹스된 신호로서 결정할 수도 있다.
선택적으로, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 (또는, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호) 및 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산한다. 그 후, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산한다.
현재의 프레임은 P (P≥2)개의 서브프레임들을 포함하며, 그리고, 현재의 프레임에서의 제 1 다운믹스된 신호는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 포함하며, 여기서, i∈[0,P-1]이며, 그리고 P 및 i 양자는 정수들이다.
오디오 인코더는 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 (또는, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호) 와 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자의 곱을 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호로서 결정할 수도 있다.
S402b의 설명으로부터, 오디오 인코더가 현재의 프레임의 다운믹스 보상 인자를 계산할 수도 있거나; 현재의 프레임에서의 각각의 서브밴드의 다운믹스 보상 인자를 계산할 수도 있거나; 현재의 프레임의 사전 설정된 주파수 대역에서의 각각의 대응하는 서브밴드의 다운믹스 보상 인자를 계산할 수도 있거나; 현재의 프레임의 각각의 서브프레임의 다운믹스 보상 인자를 계산할 수도 있거나; 현재의 프레임의 각각의 서브프레임에서의 각각의 서브밴드의 다운믹스 보상 인자를 계산할 수도 있거나; 또는 현재의 프레임의 각각의 서브프레임의 사전 설정된 주파수 대역에서의 각각의 대응하는 서브밴드의 다운믹스 보상 인자를 계산할 수도 있음을 알 수 있다. 이와 유사하게, 오디오 인코더는 또한 현재의 프레임에서의 보상된 다운믹스된 신호 및 현재의 프레임에서의 제 1 다운믹스된 신호를 다운믹스 보상 인자를 계산하는 방법과 유사한 방법으로 계산하여야 한다.
오디오 인코더에 의해 현재의 프레임에서의 보상된 다운믹스된 신호를 계산하는 방법이 본원에서 설명된다.
일 예에서, 오디오 인코더가 전술한 수식 (3), 수식 (4), 또는 수식 (5)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 계산하면, 오디오 인코더는 다음 수식 (15)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호 DMX_compib(k)를 계산한다.
DMX_compib(k) = αi(b) * Lib''(k) (15)
Lib''(k)에 대해서는, 전술한 수식 (1)의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더가 전술한 수식 (6), 수식 (7), 또는 수식 (8)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)를 계산하면, 오디오 인코더는 다음 수식 (16)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호 DMX_compib(k)를 계산한다.
DMX_compib(k) = αi(b) * Rib''(k) (16)
Rib''(k)에 대해서는, 전술한 수식 (1)의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더가 전술한 수식 (9), 수식 (10), 또는 수식 (11)에 따라서, 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 계산하면, 오디오 인코더는 다음 수식 (17)에 따라서, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 보상된 다운믹스된 신호 DMX_compi(k)를 계산한다.
DMX_compi(k)=αi * Li''(k) (17)
Li''(k)에 대해서는, 전술한 수식 (9)의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 오디오 인코더가 전술한 수식 (12), 수식 (13), 또는 수식 (14)에 따라서, 현재의 프레임의 서브프레임 i에서의 다운믹스 보상 인자 αi를 계산하면, 오디오 인코더는 다음 수식 (18)에 따라서, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 보상된 다운믹스된 신호 DMX_compi(k)를 계산한다.
DMX_compi(k)=αi * Ri''(k) (18)
Ri''(k)에 대해서는, 전술한 수식 (9)의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
선택적으로, 현재의 프레임에서의 보상된 다운믹스된 신호를 계산한 후, 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정할 수도 있다. 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 계산한 후, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정할 수도 있다.
일 예에서, 오디오 인코더가 전술한 수식 (15) 또는 (16)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호 DMX_compib(k)를 계산하면, 오디오 인코더는 다음 수식 (19)에 따라서, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 1 다운믹스된 신호 를 계산한다.
(19)
DMXib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호를 나타낸다. 오디오 인코더는 DMXib(k)를 전술한 수식 (1) 또는 수식 (2)에 따라서 계산할 수도 있다.
다른 예에서, 오디오 인코더가 전술한 수식 (17) 또는 (18)에 따라서, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 보상된 다운믹스된 신호 DMX_compi(k)를 계산하면, 오디오 인코더는 다음 수식 (20)에 따라서, 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 제 1 다운믹스된 신호 를 계산한다.
(20)
DMXi(k)는 현재의 프레임의 서브프레임 i의 사전 설정된 주파수 대역에서의 각각의 서브밴드에서의 제 2 다운믹스된 신호를 나타낸다. DMXi(k)를 계산하는 방법은 DMXib(k)를 계산하는 방법과 유사하며, 세부 사항들은 본원에서 다시 설명되지 않는다.
전술한 설명을 참조하면, 본 출원의 본 실시형태에서, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 새로운 방법이 또한 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는데 사용됨을 알 수 있다.
일 구현예에서, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 오디오 인코더에 의해 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 방법은 오디오 인코더에 의해, 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임의 다운믹스 보상 인자를 획득하는 단계; 및 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임의 획득된 다운믹스 보상 인자 및 현재의 프레임에서의 획득된 제 2 다운믹스된 신호에 기초하여 보정하는 단계를 포함한다.
구체적으로 설명하면, 도 5a를 참조하면, 도 5b에 나타낸 바와 같이, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, S401은 S401'으로 대체된다.
S401'. 오디오 인코더는 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임인지 여부 및 이전 프레임에서의 잔차 신호가 인코딩되어야 하는지 여부를 결정한다.
다른 구현예에서, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 오디오 인코더에 의해 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 방법은 오디오 인코더에 의해, 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하는 단계; 및 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 이전 프레임의 획득된 다운믹스 보상 인자 및 현재의 프레임에서의 획득된 제 2 다운믹스된 신호에 기초하여 보정하는 단계를 포함한다.
구체적으로 설명하면, 도 5b를 참조하면, 도 5c에 나타낸 바와 같이, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없는 것으로 결정될 때, 도 5b에서의 S402a 내지 S402c는 S500 및 S501로 대체된다.
S500. 오디오 인코더는 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호를 획득한다.
오디오 인코더에 의해 이전 프레임의 다운믹스 보상 인자를 획득하는 방법은 오디오 인코더에 의해 현재의 프레임의 다운믹스 보상 인자를 획득하는 방법과 유사하다. 세부 사항들에 대해서는, S402b의 설명을 참조한다. 세부 사항들은 본원에서 다시 설명되지 않는다.
오디오 인코더에 의해 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하는 방법에 대해서는, S402a의 설명을 참조한다. 세부 사항들은 본원에서 다시 설명되지 않는다.
S501. 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호에 기초하여 보정한다.
선택적으로, 오디오 인코더는 현재의 프레임에서의 보상된 다운믹스된 신호를 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 (또는, 현재의 프레임에서의 우측 채널 주파수-도메인 신호) 및 이전 프레임의 다운믹스 보상 인자에 기초하여 계산한다. 그 후, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산한다.
오디오 인코더는 현재의 프레임에서의 제 1 주파수-도메인 신호와 이전 프레임의 다운믹스 보상 인자의 곱을 현재의 프레임에서의 보상된 다운믹스된 신호로서 결정하고, 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임에서의 제 1 다운믹스된 신호로서 결정할 수도 있다.
선택적으로, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 (또는, 현재의 프레임의 서브프레임 i에서의 우측 채널 주파수-도메인 신호) 및 이전 프레임의 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산한다. 그 후, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호를 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호 및 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호에 기초하여 계산한다.
오디오 인코더는 서브프레임 i에서의 제 2 주파수-도메인 신호와 서브프레임 i의 다운믹스 보상 인자의 곱을 서브프레임 i에서의 보상된 다운믹스된 신호로서 결정하고, 현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호로서 결정할 수도 있다.
현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 오디오 인코더에 의해, 이전 프레임의 다운믹스 보상 인자 및 현재의 프레임에서의 제 2 다운믹스된 신호에 기초하여 보정하는 방법은 오디오 인코더에 의해, 현재의 프레임에서의 제 1 다운믹스된 신호를 획득하기 위해, 현재의 프레임에서의 제 2 다운믹스된 신호를 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하는 전술한 방법과 유사함을 알 수 있다. 세부 사항들에 대해서는, S402c의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
실제 애플리케이션에서, 오디오 인코더의 내부 코드는 상이한 설정들을 가질 수도 있다. 실제 요건 및 내부 코드에 기초하여, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 도 5a에 나타낸 절차에 따라서 계산할 수도 있거나, 현재의 프레임에서의 제 1 다운믹스된 신호를 도 5b에 나타낸 절차에 따라서 계산할 수도 있거나, 또는 현재의 프레임에서의 제 1 다운믹스된 신호를 도 5c에 나타낸 절차에 따라서 계산할 수도 있다.
현재의 프레임이 스위칭 프레임이거나 또는 현재의 프레임에서의 잔차 신호가 인코딩되어야 할 때, 오디오 인코더는 S401 및 S402를 포함하는 방법과는 상이한 방법을 이용하여, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산한다. 이러한 방법으로, 상이한 경우들에서, 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서, 사전 설정된 주파수 대역 사이에서 앞뒤로 스위칭하는 것으로 인한, 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하고 이에 의해 청각 품질을 효과적으로 향상시키기 위해, 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 방법들은 상이하다.
본 출원의 본 실시형태에서 제공되는 다운믹스된 신호 계산 방법을 완전히 이해하기 위해, 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 잔차 신호를 인코딩할지 여부를 적응적으로 선택하는 방법이 본원에서 설명되거나, 또는 즉, 본 출원에서의 오디오 신호 인코딩 방법이 설명된다.
구체적으로 설명하면, 도 6은 본 출원에 따른 오디오 신호 인코딩 방법의 개략적인 플로우차트이다. 설명의 용이성을 위해, 오디오 인코더가 실행체인 예가 도 6에서의 설명에 이용된다. 본 출원의 본 실시형태에서, 26 kbps의 코딩 레이트에서 수행되는 광대역 스테레오 인코딩이 설명을 위한 예로서 이용된다.
본 출원에서의 오디오 신호 인코딩 방법이 26 kbps의 코딩 레이트에서 수행되는 광대역 스테레오 인코딩에서 구현되는 것에 한정되지 않거나, 또는 초광대역 스테레오 인코딩 또는 다른 레이트에서 수행되는 인코딩에 적용될 수도 있다는 점에 유의해야 한다.
도 6에 나타낸 바와 같이, 오디오 신호 인코딩 방법은 다음 단계들을 포함한다.
S600. 오디오 인코더는 스테레오 신호의 좌측 채널 및 우측 채널 시간-도메인 신호들에 대해 시간-도메인 사전 프로세싱을 수행한다.
본 출원의 본 실시형태에서, "좌측 채널 및 우측 채널 시간-도메인 신호들"은 좌측 채널 시간-도메인 신호 및 우측 채널 시간-도메인 신호이고, "사전 프로세싱된 좌측 채널 및 우측 채널 시간-도메인 신호들"은 사전 프로세싱된 좌측 채널 시간-도메인 신호 및 사전 프로세싱된 우측 채널 시간-도메인 신호이다.
본 출원의 본 실시형태에서의 스테레오 신호는 원래 스테레오 신호일 수도 있거나, 다중-채널 신호에 포함된 신호들의 2개의 채널들로 구성된 스테레오 신호일 수도 있거나, 또는 다중-채널 신호에 포함된 신호들의 복수의 채널들에 의해 공동으로 발생되는 신호들의 2개의 채널들로 구성된 스테레오 신호일 수도 있다.
본 출원의 본 실시형태에서의 스테레오 인코딩은 독립적인 스테레오 인코더에 의해 수행될 수도 있거나, 또는 다중-채널 인코더 내 코어 인코딩 부분에 의해 수행될 수도 있으며, 다중-채널 신호에 포함된 신호들의 복수의 채널들에 의해 공동으로 발생되는 신호들의 2개의 채널들로 구성된 스테레오 신호를 인코딩하기 위한 것이다.
일반적으로, 오디오 인코더는 스테레오 신호에 대해 프레이밍 프로세싱을 수행하고, 스테레오 신호의 각각의 프레임에 기초하여 인코딩을 수행한다. 스테레오 신호의 샘플링 레이트가 16 kHz이고 신호의 각각의 프레임이 20 ms이고 프레임 길이가 N으로 표시되면, N = 320이다, 즉, 프레임 길이는 320 샘플링 지점들과 동일하다. 프레임 길이는 대개 스테레오 신호에 포함된 신호의 하나의 채널의 프레임 길이이다. 각각의 스테레오 신호는 좌측 채널 시간-도메인 신호 및 우측 채널 시간-도메인 신호를 포함한다. 대응하여, 현재의 프레임에서의 스테레오 신호는 현재의 프레임에서의 좌측 채널 시간-도메인 신호 및 현재의 프레임에서의 우측 채널 시간-도메인 신호를 포함한다.
설명의 용이성을 위해, 현재의 프레임이 본원에서의 설명을 위한 예로서 이용된다. 본 출원의 본 실시형태에서, 현재의 프레임에서의 좌측 채널 시간-도메인 신호는 XL(n)으로서 표시되며, 현재의 프레임에서의 우측 채널 시간-도메인 신호는 XR(n)으로서 표시되며, 여기서, n은 샘플링 지점 시퀀스 번호를 나타내고, n=0,1, …, N-1이다.
구체적으로 설명하면, 오디오 인코더는 현재의 프레임에서의 사전 프로세싱된 좌측 채널 및 우측 채널 시간-도메인 신호들을 획득하기 위해, 현재의 프레임에서의 좌측 채널 시간-도메인 신호 및 우측 채널 시간-도메인 신호 양자에 대해 고역 통과 필터링 프로세싱을 수행할 수도 있다. 본 출원의 본 실시형태에서, 현재의 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호는 XLHP(n)으로서 표시되며, 현재의 프레임에서의 사전 프로세싱된 우측 채널 시간-도메인 신호는 XRHP(n)으로서 표시된다. 본원에서, 고역 통과 필터링 프로세싱은 차단 주파수가 20 Hz인 무한 임펄스 응답 (Infinite Impulse Response, IIR) 필터에 의해 수행될 수도 있거나, 또는 다른 유형의 필터에 의해 수행될 수도 있다.
예를 들어, 샘플링 레이트가 16 kHz이고 차단 주파수가 20 Hz인 고역 통과 필터의 전달 함수는 다음과 같이 표현될 수도 있다:
전달 함수에서, b0=0.994461788958195, b1=-1.988923577916390, b2=0.994461788958195, a1=1.988892905899653, a2=-0.988954249933127이고, z는 Z-변환의 변환 인자를 나타낸다.
대응하여, 현재의 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호 XLHP(n)은 다음과 같다:
현재의 프레임에서의 사전 프로세싱된 우측 채널 시간-도메인 신호 XRHP(n)은 다음과 같다:
S601. 오디오 인코더는 사전 프로세싱된 좌측 채널 및 우측 채널 시간-도메인 신호들에 대해 시간-도메인 분석을 수행한다.
선택적으로, 오디오 인코더가 사전 프로세싱된 좌측 채널 및 우측 채널 시간-도메인 신호들에 대해 시간-도메인 분석을 수행하는 것은 오디오 인코더에 의해, 사전 프로세싱된 좌측 채널 및 우측 채널 시간-도메인 신호들에 대한 과도 검출(transient detection)을 수행하는 것일 수도 있다.
과도 검출은 에너지 버스트가 현재의 프레임에서 발생하는지 여부를 검출하기 위해, 현재의 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호 및 현재의 프레임에서의 사전 프로세싱된 우측 채널 시간-도메인 신호 양자에 대해 오디오 인코더에 의해 수행되는 에너지 검출일 수도 있다.
예를 들어, 오디오 인코더는 현재의 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호의 에너지가 Ecur-L이라고 결정하고; 오디오 인코더는 현재의 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호의 과도 검출 결과를 획득하기 위해, 이전 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호의 에너지 Epre-L와 현재의 프레임에서의 사전 프로세싱된 좌측 채널 시간-도메인 신호의 에너지 Ecur-L 사이의 차이의 절대값에 기초하여 과도 검출을 수행한다.
이와 유사하게, 오디오 인코더는 동일한 방법을 이용하여 현재의 프레임에서의 사전 프로세싱된 우측 채널 시간-도메인 신호에 대해 과도 검출을 수행할 수도 있다.
시간-도메인 분석이 대안적으로, 과도 검출 이외의 선행 기술에서의 시간-도메인 분석, 예를 들어, 시간-도메인 채널간 시간 차이 파라미터 (Inter-channel Time Difference, ITD)의 예비 결정, 시간 도메인에서의 지연 정렬 프로세싱, 및 대역 확산 사전 프로세싱일 수도 있다는 점을 쉽게 이해할 수 있다.
S602. 오디오 인코더는 좌측 채널 및 우측 채널 주파수-도메인 신호들을 획득하기 위해, 사전 프로세싱된 좌측 및 우측 채널 신호들에 대해 시간-주파수 변환을 수행한다.
구체적으로 설명하면, 오디오 인코더는 좌측 채널 주파수-도메인 신호를 획득하기 위해 사전 프로세싱된 좌측 채널 시간-도메인 신호에 대해 이산 푸리에 변환 (Discrete Fourier Transform, DFT)을 수행하고, 우측 채널 주파수-도메인 신호를 획득하기 위해, 사전 프로세싱된 우측 채널 시간-도메인 신호에 대해 이산 푸리에 변환을 수행할 수도 있다.
스펙트럼 에일리어싱의 문제를 극복하기 위해, 중첩-가산 방법이 이산 푸리에 변환의 2개의 연속된 시간들 사이의 프로세싱에 대개 이용된다. 실제 요건에 기초하여, 오디오 인코더는 이산 푸리에 변환이 수행될 입력 신호에 제로를 추가로 가산할 수도 있다.
선택적으로, 오디오 인코더는 각각의 프레임에 대해 이산 푸리에 변환을 한번 수행할 수도 있거나, 또는 각각의 프레임을 P (P≥2)개의 서브프레임들로 분할하고 각각의 서브프레임에 대해 이산 푸리에 변환을 한번 수행할 수도 있다.
오디오 인코더가 각각의 프레임에 대해 이산 푸리에 변환을 한번 수행하면, 변환된 좌측 채널 주파수-도메인 신호는 L(k)로서 표시될 수도 있으며, 여기서, k=0,1, …, a/2-1이고; 그리고, 변환된 우측 채널 주파수-도메인 신호는 R(k)로서 표시될 수도 있으며, 여기서, k=0, 1, …, a/2-1이고, k는 주파수 빈 인덱스 값을 나타내며, a는 이산 푸리에 변환이 각각의 프레임에 대해 한번 수행되는 부분의 길이를 나타낸다.
오디오 인코더가 각각의 서브프레임에 대해 이산 푸리에 변환을 한번 수행하면, 서브프레임 i에서의 변환된 좌측 채널 주파수-도메인 신호는 Li(k) 로서 표시될 수도 있으며, 여기서, k=0, 1, …, L/2-1이고; 서브프레임 i에서의 변환된 우측 채널 주파수-도메인 신호는 Ri(k)로서 표시될 수도 있으며, 여기서, k=0, 1, …, L/2-1이고, k는 주파수 빈 인덱스 값을 나타내며, L은 이산 푸리에 변환이 각각의 서브프레임에 대해 한번 수행되는 부분의 길이를 나타내고, i는 서브프레임 인덱스 값을 나타내고, i=0, 1, …, P-1이다.
예를 들어, 좌측 채널 신호 또는 우측 채널 신호의 각각의 프레임이 20 ms이고 프레임 길이 N이 320이고 오디오 인코더가 각각의 프레임을 2개의 서브프레임들, 즉, P = 2로 분할하면, 신호의 각각의 서브프레임은 10 ms이고 서브프레임 길이는 160이다. 이산 푸리에 변환이 각각의 서브프레임에 대해 한번 수행되는 부분의 길이가 400이면, 서브프레임 i에서의 변환된 좌측 채널 주파수-도메인 신호는 Li(k) 로서 표시될 수도 있으며, 여기서, k=0, 1, …, 199이고; 서브프레임 i에서의 변환된 우측 채널 주파수-도메인 신호는 Ri(k)로서 표시될 수도 있으며, 여기서, k=0, 1, …, 199이고, i의 값은 0 또는 1이다.
선택적으로, 오디오 인코더는 대안적으로, 시간-주파수 변환 기술들 예컨대, 고속 푸리에 변환 (Fast Fourier Transform, FFT) 및 변형 이산 코사인 변환 (Modified Discrete Cosine Transform, MDCT)을 이용하여 시간-도메인 신호를 주파수-도메인 신호로 변환할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
S603. 오디오 인코더는 ITD 파라미터를 결정하고, ITD 파라미터를 인코딩한다.
선택적으로, 오디오 인코더는 주파수 도메인에서 ITD 파라미터를 결정할 수도 있거나, 시간 도메인에서 ITD 파라미터를 결정할 수도 있거나, 또는 시간-주파수 도메인에서 ITD 파라미터를 결정할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
일 예에서, 오디오 인코더는 교차-상관 계수를 이용하여 시간 도메인에서 ITD 파라미터를 추출한다. 범위 0≤i≤Tmax 이내에서, 오디오 인코더는 및 를 계산한다. max(cn(i))>max(cp(i))이면, ITD 파라미터 값은 max(cn(i))에 대응하는 인덱스 값의 반대 숫자(opposite number)이거나; 또는 아니면, ITD 파라미터 값은 max(cp(i))에 대응하는 인덱스 값이다. i는 교차-상관 계수를 계산하는 인덱스 값을 나타내고, j는 샘플링 지점의 인덱스 값을 나타내며, Tmax는 상이한 샘플링 레이트들에서의 최대 ITD 값에 대응하며, N은 프레임 길이를 나타낸다.
다른 예에서, 오디오 인코더는 좌측 채널 및 우측 채널 주파수-도메인 신호들에 기초하여 주파수 도메인에서 ITD 파라미터를 결정한다.
선택적으로, 오디오 인코더는 서브프레임 i의 주파수 도메인 교차-상관 계수 XCORRi(k): XCORRi(k)=Li(k)*Ri *(k)를 계산하며, 여기서, Ri *(k)는 서브프레임 i에서의 우측 채널 주파수-도메인 신호의 공액을 나타낸다. 그 후, 오디오 인코더는 주파수 도메인 교차-상관 계수 XCORRi(k)를 시간-도메인 계수 xcorri(n)으로 변환하며, 여기서, n=0, 1, …, L-1이다. 마지막으로, 오디오 인코더는 L/2-Tmax≤ n ≤ L/2+Tmax의 범위에서 xcorrib(n)의 최대 값을 탐색하고, 서브프레임 i에 대응하는 ITD 파라미터 값 Ti, 즉, Ti=arg max(xcorri(n))-L/2를 획득한다.
선택적으로, 오디오 인코더는 -Tmax≤j≤Tmax의 탐색 범위 내에서 진폭 값 mag(j)를 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 및 서브프레임 i에서의 우측 채널 주파수-도메인 신호에 기초하여 추가로 계산할 수도 있으며, 여기서, 이고, ITD 파라미터 값 Ti는 Ti=arg max(mag(j))이며, 구체적으로, ITD 파라미터 값 Ti는 최대 진폭 값에 대응하는 인덱스 값이다.
구체적으로 설명하면, ITD 파라미터를 결정한 후, 오디오 인코더는 ITD 파라미터를 인코딩하고 인코딩된 ITD 파라미터를 스테레오 인코딩된 비트스트림으로 기록한다. 본 출원의 본 실시형태에서, 오디오 인코더는 임의의 기존 양자화 인코딩 기술을 이용하여 ITD 파라미터를 인코딩할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
S604. 오디오 인코더는 ITD 파라미터에 기초하여 좌측 채널 및 우측 채널 주파수-도메인 신호들에 대해 시간-시프트 조정을 수행한다.
오디오 인코더는 임의의 기존 기술에 따라서 좌측 채널 및 우측 채널 주파수-도메인 신호들에 대해 시간-시프트 조정을 수행할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
본원에서, 각각의 프레임이 P개의 서브프레임들로 분할되고 P=2인 예가 설명에 사용된다. 본 출원의 본 실시형태에서, 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호는 Li'(k)로서 표시될 수도 있으며, 여기서, k=0, 1, …, L/2-1이고; 및 서브프레임 i에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호는 Ri'(k) 로서 표시될 수도 있으며, 여기서, k=0, 1, …, L/2-1이고, k는 주파수 빈 인덱스 값을 나타내며, i는 서브프레임 인덱스 값을 나타내고, i=0, 1, …, P-1이다.
Ti는 서브프레임 i에 대응하는 ITD 파라미터 값을 나타내고, L은 이산 푸리에 변환이 각각의 서브프레임에 대해 한번 수행되는 부분의 길이를 나타내며, Li(k)는 서브프레임 i에서의 좌측 채널 주파수-도메인 신호를 나타내고, Ri(k)는 서브프레임 i에서의 우측 채널 주파수-도메인 신호를 나타내며, 여기서, i는 서브프레임 인덱스 값을 나타내고, i=0, 1, …, P-1이다.
오디오 인코더가 각각의 프레임에 대해 이산 푸리에 변환을 한번 수행하면, 오디오 인코더가 또한 각각의 프레임에 대한 시간-시프트 조정을 수행함을 알 수 있다.
S605. 오디오 인코더는 시간-시프트 조정 이후에 획득된 좌측 채널 및 우측 채널 주파수-도메인 신호들에 기초하여 다른 주파수-도메인 스테레오 파라미터를 계산하고, 다른 주파수-도메인 스테레오 파라미터를 인코딩한다.
본원에서의 다른 주파수-도메인 스테레오 파라미터는 IPD 파라미터, ILD 파라미터, 서브밴드 측 이득 등을 포함할 수도 있지만 이에 한정되지 않는다. 다른 주파수-도메인 스테레오 파라미터를 획득한 후, 오디오 인코더는 다른 주파수-도메인 스테레오 파라미터를 인코딩하고 인코딩된 다른 주파수-도메인 스테레오 파라미터를 스테레오 인코딩된 비트스트림에 기록하여야 한다.
본 출원의 본 실시형태에서, 오디오 인코더는 임의의 기존 양자화 인코딩 기술을 이용하여 전술한 다른 주파수-도메인 스테레오 파라미터를 인코딩할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
S606. 오디오 인코더는 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하는지 여부를 결정한다.
본 출원의 본 실시형태에서, 오디오 인코더는 각각의 프레임에서의 주파수-도메인 신호 또는 각각의 서브프레임에서의 주파수-도메인 신호에 대해 서브밴드 분할을 수행한다. 서브밴드 b에 포함되는 주파수 빈은 k∈[band_limits(b),band_limits(b+1)-1]이며, 여기서, band_limits(b)는 서브밴드 b에 포함된 주파수 빈의 최소 인덱스 값을 나타낸다. 본 출원의 본 실시형태에서, 각각의 서브프레임에서의 주파수-도메인 신호는 M (M≥2)개의 서브밴드들로 분할되며, 각각의 서브밴드에 포함된 특정의 주파수 빈은 band_limits(b)에 기초하여 결정될 수도 있다.
제 1 사전 설정된 조건은 서브밴드 인덱스 값이 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값 미만, 즉, b < res_flag_band_max일 수도 있으며, 여기서, res_flag_band_max는 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값을 나타내거나; 서브밴드 인덱스 값이 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값 이하, 즉, b ≤ res_flag_band_max일 수도 있거나; 서브밴드 인덱스 값이 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값 미만이고 잔차 코딩 결정을 위한 최소 서브밴드 인덱스 값보다 큰 것, 즉, res_flag_band_min < b < res_flag_band_max일 수도 있으며, 여기서 res_flag_band_max는 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값을 나타내고 res_flag_band_min은 잔차 코딩 결정을 위한 최소 서브밴드 인덱스 값을 나타내거나; 서브밴드 인덱스 값이 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값 이하이고 잔차 코딩 결정을 위한 최소 서브밴드 인덱스 값 이상, 즉, res_flag_band_min ≤ b ≤ res_flag_band_max일 수도 있거나; 서브밴드 인덱스 값이 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값 이하이고 잔차 코딩 결정을 위한 최소 서브밴드 인덱스 값보다 큰 것, 즉, res_flag_band_min < b ≤ res_flag_band_max일 수도 있거나; 또는 서브밴드 인덱스 값이 잔차 코딩 결정을 위한 최대 서브밴드 인덱스 값 미만이고 잔차 코딩 결정을 위한 최소 서브밴드 인덱스 값 이상, 즉, res_flag_band_min ≤ b < res_flag_band_max일 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다.
제 1 사전 설정된 조건은 상이한 코딩 레이트들 및/또는 상이한 인코딩 대역폭들에 따라 달라질 수도 있다. 예를 들어, 대역폭이 광대역이고 코딩 레이트가 26 kbps일 때, 제 1 사전 설정된 조건은 서브밴드 인덱스 값이 5 미만이라는 것이다. 대역폭이 광대역 및 코딩 레이트가 44 kbps일 때, 제 1 사전 설정된 조건은 서브밴드 인덱스 값이 6 미만이라는 것이다. 대역폭이 광대역 및 코딩 레이트가 56 kbps일 때, 제 1 사전 설정된 조건은 서브밴드 인덱스 값이 7 미만이라는 것이다.
본 출원의 본 실시형태에서, 예를 들어, 대역폭은 광대역이고 코딩 레이트는 26 kbps이다. 각각의 프레임은 P개의 서브프레임들로 분할되며 P=2이며; 각각의 서브프레임에서의 주파수-도메인 신호는 M개의 서브밴드들로 분할되며 M=10이다. 이 경우, 각각의 서브프레임에 대해, 오디오 인코더는 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하는지 여부를 결정하여야 한다. 제 1 사전 설정된 조건은 서브밴드 인덱스 값이 res_flag_band_max 미만인 것이며, 여기서, res_flag_band_max = 5이다.
구체적으로 설명하면, 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하면, 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호 및 현재의 프레임에서의 잔차 신호를 시간-시프트 조정 이후에 획득되는 현재의 프레임에서의 좌측 채널 및 우측 채널 주파수-도메인 신호들에 기초하여 계산한다, 즉, S607을 수행한다. 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하지 않으면, 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호를 시간-시프트 조정 이후에 획득되는 현재의 프레임에서의 좌측 채널 및 우측 채널 주파수-도메인 신호들에 기초하여 계산한다, 즉, S608을 수행한다.
S607. 오디오 인코더는 제 2 다운믹스된 신호 및 현재의 프레임에서의 잔차 신호를 시간-시프트 조정 이후에 획득되는 현재의 프레임에서의 좌측 채널 및 우측 채널 주파수-도메인 신호들에 기초하여 계산한다.
본원에서, 오디오 인코더는 전술한 수식 (1) 또는 수식 (2)에 따라서 현재의 프레임에서의 제 2 다운믹스된 신호를 계산할 수도 있다.
선택적으로, 본 출원의 본 실시형태에서, 오디오 인코더는 다음 수식 (21)에 따라서 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호 RESib'(k)를 계산한다:
(21)
전술한 수식 (21)에서, RESib(k)=(Lib''(k)-Rib''(k))/2이다. 게다가, Lib''(k), Rib''(k), g_ILDi, 및 DMXi(k)에 대해서는, 전술한 수식 (1)에서의 파라미터들의 설명들을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S608. 오디오 인코더는 현재의 프레임에서의 제 2 다운믹스된 신호를 시간-시프트 조정 이후에 획득되는 현재의 프레임에서의 좌측 채널 및 우측 채널 주파수-도메인 신호들에 기초하여 계산한다.
본원에서, 오디오 인코더는 S607의 방법과 동일한 방법을 이용하여 현재의 프레임에서의 제 2 다운믹스된 신호를 계산할 수도 있거나, 또는 선행 기술에서의 다른 다운믹스된 신호 계산 방법을 이용하여 현재의 프레임에서의 제 2 다운믹스된 신호를 계산할 수도 있다.
S607 또는 S608을 수행한 후, 오디오 인코더는 S609를 수행한다.
S609. 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 결정하고 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 결정한다.
오디오 인코더가 현재의 프레임의 잔차 코딩 플래그의 값을 결정하는 것이 먼저 설명된다.
선택적으로, 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 잔차 신호 사이의 에너지 관계에 기초하여 결정할 수도 있거나, 또는 현재의 프레임의 잔차 코딩 플래그의 값을 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 잔차 신호 사이의 에너지 관계를 나타내는데 사용되는 파라미터 및/또는 다른 파라미터에 기초하여 결정할 수도 있다. 이는 본 출원의 본 실시형태에서 구체적으로 한정되지 않는다. 예를 들어, 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 보이스/음악 분류 결과, 보이스 활성화 검출 결과, 잔차 신호 에너지, 또는 좌측 채널 주파수-도메인 신호와 우측 채널 주파수-도메인 신호 사이의 상관과 같은 파라미터들 중 적어도 하나에 기초하여 결정한다.
본원에서, 오디오 인코더가 현재의 프레임의 잔차 코딩 플래그의 값을 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 잔차 신호 사이의 에너지 관계를 나타내는데 사용되는 파라미터 및/또는 다른 파라미터에 기초하여 결정하는 예를 이용하여 설명이 제공된다.
선택적으로, 현재의 프레임에서의 제 2 다운믹스된 신호와 현재의 프레임에서의 잔차 신호 사이의 에너지 관계를 나타내는데 사용되는 파라미터가 사전 설정된 임계치보다 크면, 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 현재의 프레임에서의 잔차 신호가 인코딩되어야 한다는 것을 표시하는 값으로 설정한다. 그렇지 않으면, 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 잔차 신호가 인코딩될 필요가 없다는 것을 표시하는 값으로 설정한다.
오디오 인코더가 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 결정하는 것이 본원에서 설명된다.
선택적으로, 오디오 인코더는 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 현재의 프레임의 잔차 코딩 플래그의 값과 이전 프레임의 잔차 코딩 플래그의 값 사이의 관계에 기초하여 결정할 수도 있다.
일 구현예에서, 오디오 인코더는 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 결정하고, 이전 프레임의 잔차 코딩 플래그의 수정 플래그 값을 업데이트할 수도 있다.
현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하지 않고 이전 프레임의 잔차 코딩 플래그가 두번째 수정되지 않는다는 것을 이전 프레임의 잔차 코딩 플래그의 수정 플래그가 표시하면, 현재의 프레임의 잔차 코딩 스위칭 플래그는 현재의 프레임이 스위칭 프레임이라는 것을 표시한다.
현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하지 않고 이전 프레임의 잔차 코딩 플래그가 두번째 수정되지 않는다는 것을 이전 프레임의 잔차 코딩 플래그의 수정 플래그가 표시하고 잔차 신호가 인코딩될 필요가 없다는 것을 현재의 프레임의 잔차 코딩 플래그가 표시하면, 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그를 두번째 수정하여 현재의 프레임의 잔차 코딩 플래그를 잔차 신호가 인코딩되어야 한다는 것을 표시하는 값으로 수정하고, 이전 프레임의 잔차 코딩 플래그의 수정 플래그를 이전 프레임의 잔차 코딩 플래그가 두번째 수정되었다는 것을 표시하는 값으로 설정한다.
현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하거나, 또는 이전 프레임의 잔차 코딩 플래그가 두번째 수정된다는 것을 이전 프레임의 잔차 코딩 플래그의 수정 플래그가 표시하면, 현재의 프레임의 잔차 코딩 스위칭 플래그는 현재의 프레임이 스위칭 프레임이 아니라는 것을 표시하고 이전 프레임의 잔차 코딩 플래그의 수정 플래그는 이전 프레임의 잔차 코딩 플래그가 두번째 수정되지 않는다는 것을 표시하는 값으로 설정된다.
다른 구현예에서, 오디오 인코더는 대안적으로, 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 결정하고, 이전 프레임의 잔차 코딩 스위칭 플래그의 값을 업데이트할 수도 있다.
오디오 인코더는 초기에, 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 현재의 프레임이 스위칭 프레임이 아니라는 것을 표시하는 값으로 설정한다. 현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하지 않고 이전 프레임이 스위칭 프레임이 아니라는 것을 이전 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하면, 오디오 인코더는 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 현재의 프레임이 스위칭 프레임이라는 것을 표시하는 값으로 수정한다. 현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하지 않고 이전 프레임이 스위칭 프레임이 아니라는 것을 이전 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하고 잔차 신호가 인코딩될 필요가 없다는 것을 현재의 프레임의 잔차 코딩 플래그가 표시하면, 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그를 두번째 수정하여, 현재의 프레임의 잔차 코딩 플래그를 잔차 신호가 인코딩되어야 한다는 것을 표시하는 값으로 수정한다. 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 수정한 후, 오디오 인코더는 수정된 현재의 프레임의 잔차 코딩 스위칭 플래그의 값에 기초하여 이전 프레임의 잔차 코딩 스위칭 플래그의 값을 업데이트한다.
예를 들어, 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 0보다 크면, 현재의 프레임의 잔차 코딩 스위칭 플래그는 현재의 프레임이 스위칭 프레임이라는 것을 표시하는데 사용된다. 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 0과 동일하면, 현재의 프레임의 잔차 코딩 스위칭 플래그는 현재의 프레임이 스위칭 프레임이 아니라는 것을 표시하는데 사용된다.
S610. 오디오 인코더는 현재의 프레임이 스위칭 프레임이라는 것을 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하는지 여부를 결정한다.
현재의 프레임이 스위칭 프레임이라고 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하면, 스위칭 프레임에서의 다운믹스된 신호 및 잔차 신호가 계산되며, 스위칭 프레임에서의 다운믹스된 신호가 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호로서 사용되고, 스위칭 프레임에서의 잔차 신호가 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 잔차 신호로서 사용된다, 즉, S611이 수행된다.
현재의 프레임이 스위칭 프레임이 아니라는 것을 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하고 현재의 프레임의 잔차 코딩 플래그의 값이 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없다는 것을 표시하는데 사용되면, 현재의 프레임에서의 제 1 다운믹스된 신호가 계산되고 현재의 프레임에서의 제 1 다운믹스된 신호가 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호로서 사용된다, 즉, S612가 수행된다.
본 출원의 본 실시형태에서, 사전 설정된 주파수 대역의 최소 서브밴드 인덱스 값은 res_cod_band_min으로서 표시되고 (또는, Th1로 표시될 수도 있고), 사전 설정된 주파수 대역의 최대 서브밴드 인덱스 값은 res_cod_band_max로 표시된다 (또는, Th2로 표시될 수도 있다). 대응하여, 사전 설정된 주파수 대역의 서브밴드 인덱스 b는 res_cod_band_min < b < res_cod_band_max를 만족할 수도 있거나, 또는 res_cod_band_min ≤ b ≤ res_cod_band_max를 만족할 수도 있거나, 또는 res_cod_band_min ≤ b < res_cod_band_max를 만족할 수도 있거나, 또는 res_cod_band_min < b ≤ res_cod_band_max를 만족할 수도 있다.
본원에서, 사전 설정된 주파수 대역의 범위는 오디오 인코더가 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하는지 여부를 결정할 때 설정되고 제 1 사전 설정된 조건을 만족하는 서브밴드 범위와 동일하거나, 또는 오디오 인코더가 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하는지 여부를 결정할 때 설정되고 제 1 사전 설정된 조건을 만족하는 서브밴드 범위와 상이할 수도 있다. 예를 들어, 오디오 인코더가 각각의 서브밴드 인덱스가 제 1 사전 설정된 조건을 만족하는지 여부를 결정할 때 설정되고 제 1 사전 설정된 조건을 만족하는 서브밴드 범위가 b < 5이면, 사전 설정된 주파수 대역은 서브밴드 인덱스들이 5 미만인 모든 서브밴드들을 포함할 수도 있거나, 서브밴드 인덱스들이 0 보다 크고 5 미만인 모든 서브밴드들을 포함할 수도 있거나, 또는 서브밴드 인덱스들이 1 보다 크고 7 미만인 모든 서브밴드들을 포함할 수도 있다.
S611. 오디오 인코더는 스위칭 프레임에서의 다운믹스된 신호 및 잔차 신호를 계산하고, 다운믹스된 신호 및 잔차 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호 및 잔차 신호로서 각각 이용한다.
예를 들어, 사전 설정된 주파수 대역은 서브밴드 인덱스가 0 이상이고 5 미만인 서브밴드이다. 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 0보다 크면, 오디오 인코더는 스위칭 프레임에서의 다운믹스된 신호 및 잔차 신호를 인덱스들이 0 이상이고 5 미만인 서브밴드들의 범위에서 계산하고, 계산된 다운믹스된 신호 및 잔차 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호 및 잔차 신호로서 각각 이용한다.
일 예에서, 오디오 인코더는 현재의 프레임이 스위칭 프레임일 때, 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스된 신호 를 다음 수식 (22)에 따라서 계산한다:
(22)
전술한 수식 (22)에서, DMX_compib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, DMXib(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 제 2 다운믹스된 신호를 나타내고, 는 현재의 프레임이 스위칭 프레임일 때 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 다운믹스된 신호를 나타내며, 여기서, k∈[band_limits(b),band_limits(b+1)-1]이다.
일 예에서, 오디오 인코더는 현재의 프레임이 스위칭 프레임일 때 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호 를 다음 수식 (23)에 따라서 계산한다:
(23)
전술한 수식 (23)에서, RESib'(k)는 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타내며, 는 현재의 프레임이 스위칭 프레임일 때 현재의 프레임의 서브프레임 i에서의 서브밴드 b에서의 잔차 신호를 나타낸다.
S612. 현재의 프레임이 스위칭 프레임이 아니라는 것을 현재의 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없다는 것을 현재의 프레임의 잔차 코딩 플래그의 값이 표시하면, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고 제 1 다운믹스된 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호로서 이용한다.
S612는 S402와 동일하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S611 또는 S612가 수행된 후, 오디오 인코더는 S613를 계속 수행한다.
S613. 오디오 인코더는 현재의 프레임에서의 다운믹스된 신호를 시간-도메인 신호로 변환하고 사전 설정된 인코딩 방법에 따라서 시간-도메인 신호를 인코딩한다.
현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없다는 것을 현재의 프레임의 잔차 코딩 플래그의 값이 표시하면, 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 현재의 프레임에서의 다운믹스된 신호는 현재의 프레임에서의 제 1 다운믹스된 신호이고 사전 설정된 주파수 대역의 대응하는 서브밴드 이외의 서브밴드에서의 현재의 프레임에서의 다운믹스된 신호는 대응하는 서브밴드 이외의 서브밴드에서의 현재의 프레임에서의 제 2 다운믹스된 신호이다.
현재의 프레임에서의 잔차 신호가 인코딩되어야 한다는 것을 현재의 프레임의 잔차 코딩 플래그의 값이 표시하면, 현재의 프레임에서의 다운믹스된 신호는 현재의 프레임에서의 제 2 다운믹스된 신호이다.
오디오 인코더는 현재의 프레임에서의 다운믹스된 신호를 시간-도메인 신호로 변환하고, 시간-도메인 신호를 사전 설정된 인코딩 방법에 따라서 인코딩한다.
본 출원의 본 실시형태에서, 오디오 인코더가 각각의 프레임에 대해 프레이밍 프로세싱을 수행하고 각각의 서브프레임에 대해 서브밴드 분할 프로세싱을 수행하기 때문에, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 모든 서브밴드들에서의 다운믹스된 신호들을 합성하여 서브프레임 i에서의 다운믹스된 신호를 구성하여야 하고, 서브프레임 i에서의 다운믹스된 신호를 역 DFT 변환을 통해서 시간-도메인 신호로 변환하고, 서브프레임들 사이에 중첩-가산 프로세싱을 수행하여 현재의 프레임에서의 시간-도메인 다운믹스된 신호를 획득한다.
오디오 인코더는 현재의 프레임에서의 시간-도메인 다운믹스된 신호를 선행 기술에 따라서 인코딩하여, 다운믹스된 신호의 인코딩된 비트스트림을 획득하고, 추가로, 다운믹스된 신호의 인코딩된 비트스트림을 스테레오 인코딩된 비트스트림으로 기록할 수도 있다.
S614. 현재의 프레임에서의 잔차 신호가 인코딩되어야 한다는 것을 현재의 프레임의 잔차 코딩 플래그의 값이 표시하면, 오디오 인코더는 현재의 프레임에서의 잔차 신호를 시간-도메인 신호로 변환하고, 시간-도메인 신호를 사전 설정된 인코딩 방법에 따라서 인코딩한다.
본 출원의 본 실시형태에서, 오디오 인코더가 각각의 프레임에 대해 프레이밍 프로세싱을 수행하고 각각의 서브프레임에 대해 서브밴드 분할 프로세싱을 수행하기 때문에, 오디오 인코더는 현재의 프레임의 서브프레임 i에서의 모든 서브밴드들에서의 잔차 신호들을 합성하여 서브프레임 i에서의 잔차 신호를 합성하여야 하며, 서브프레임 i에서의 잔차 신호를 역 DFT 변환을 통해서 시간-도메인 신호로 변환하고, 서브프레임들 사이에 중첩-가산 프로세싱을 수행하여 현재의 프레임에서 시간-도메인 잔차 신호를 획득한다.
오디오 인코더는 현재의 프레임에서 시간-도메인 잔차 신호를 선행 기술에 따라서 인코딩하여, 잔차 신호의 인코딩된 비트스트림을 획득하고, 추가로, 잔차 신호의 인코딩된 비트스트림을 스테레오 인코딩된 비트스트림으로 기록할 수도 있다.
마지막으로, 본 출원에서의 오디오 신호 인코딩 방법에서, 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 현재의 프레임이 스위칭 프레임이 아니고 현재의 프레임에서의 잔차 신호가 인코딩되어야 할 때, 그리고 현재의 프레임이 스위칭 프레임일 때, 오디오 인코더는 상이한 방법들을 이용하여 현재의 프레임에서의 다운믹스된 신호를 계산한다. 상이한 코딩 모드들에서, 오디오 인코더는 상이한 방법들을 이용하여 현재의 프레임에서의 제 1 다운믹스된 신호 및 현재의 프레임에서의 제 2 다운믹스된 신호를 계산한다. 이는 잔차 신호를 인코딩하는 것과 잔차 신호를 인코딩하는 것을 스킵하는 것 사이에서, 사전 설정된 주파수 대역에서 앞뒤로 스위칭함으로 인해 디코딩된 스테레오 신호의 불연속적인 공간감 및 열악한 사운드 이미지 안정성이 존재하는 문제를 해결하며, 이에 의해 청각 품질을 효과적으로 향상시킨다.
게다가, 전술한 설명을 참조하면, 이전 프레임이 스위칭 프레임이 아니고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없을 때, 본 출원의 본 실시형태에서의 컴퓨터가 현재의 프레임에서의 제 1 다운믹스된 신호를 S401', S402a, S402b, 및 S402c를 포함하는 절차 (즉, 도 5b에 나타낸 절차)에 따라서 계산할 수도 있음을 알 수 있다. 이 경우에 본 출원에서의 오디오 신호 인코딩 방법이 본원에서 설명된다.
도 6을 참조하면, 도 7에 나타낸 바와 같이, 본 출원에서의 오디오 신호 인코딩 방법은 다음 단계들을 포함할 수도 있다:
S600 내지 S608, 및 S700이 S608 이후 수행된다.
S700. 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 결정한다.
S700에 대해서는, S609의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S701. 오디오 인코더는 이전 프레임이 스위칭 프레임임을 이전 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하는지 여부를 결정한다.
S701은 S610과 유사하다. S701 과 S610 사이의 차이는, S610에서, 오디오 인코더가 현재의 프레임에 대해 결정하는 것을 수행하고, 동시에 S701에서, 오디오 인코더가 이전 프레임에 대해 결정하는 것을 수행한다는 점에 있다.
S702. 이전 프레임이 스위칭 프레임이라는 것을 이전 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하면, 오디오 인코더는 스위칭 프레임의 다운믹스된 신호 및 잔차 신호를 계산하고, 다운믹스된 신호 및 잔차 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호 및 잔차 신호로서 각각 이용한다.
S702에 대해서는, S611의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S703. 이전 프레임이 스위칭 프레임이 아니라는 것을 이전 프레임의 잔차 코딩 스위칭 플래그의 값이 표시하고 이전 프레임에서의 잔차 신호가 인코딩될 필요가 없다는 것을 이전 프레임의 잔차 코딩 플래그의 값이 표시하면, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고, 제 1 다운믹스된 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호로서 이용한다.
S703에 대해서는, S612의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S704. 오디오 인코더는 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 결정한다.
S704에 대해서는, S609의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S705. 오디오 인코더는 현재의 프레임에서의 다운믹스된 신호를 시간-도메인 신호로 변환하고, 시간-도메인 신호를 사전 설정된 인코딩 방법에 따라서 인코딩한다.
S705에 대해서는, S613의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
S706. 이전 프레임에서의 잔차 신호가 인코딩되어야 한다는 것을 이전 프레임의 잔차 코딩 플래그의 값이 표시하면, 오디오 인코더는 현재의 프레임에서의 잔차 신호를 시간-도메인 신호로 변환하고, 시간-도메인 신호를 사전 설정된 인코딩 방법에 따라서 인코딩한다.
S706에 대해서는, S614의 설명을 참조하고, 세부 사항들은 본원에서 다시 설명되지 않는다.
다른 예에서, 도 7을 참조하면, 도 8에 나타낸 바와 같이, 도 7의 S700은 S800으로 대체될 수도 있으며, 도 7의 S704는 S801로 대체될 수도 있다.
S800. 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그 결정 파라미터를 결정한다.
S801. 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 현재의 프레임의 잔차 코딩 플래그 결정 파라미터에 기초하여 결정하고, 현재의 프레임의 잔차 코딩 스위칭 플래그의 값을 결정한다.
다른 예에서, 도 7을 참조하면, 도 9에 나타낸 바와 같이, 도 7의 S701은 S900으로 대체될 수도 있으며, 도 7의 S702는 S901로 대체될 수도 있으며, 도 7의 S703은 S902로 대체될 수도 있다.
S900. 오디오 인코더는 현재의 프레임 (예를 들어, 프레임 n)의 이전 프레임의 잔차 코딩 플래그의 값이 프레임 n-2의 잔차 코딩 플래그의 값과 동일하지 않은지 여부를 결정한다.
S901. 프레임 n-1의 잔차 코딩 플래그의 값이 프레임 n-2의 잔차 코딩 플래그 값의 값과 동일하지 않으면, 오디오 인코더는 스위칭 프레임에서의 다운믹스된 신호 및 잔차 신호를 계산하고, 다운믹스된 신호 및 잔차 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호 및 잔차 신호로서 각각 이용한다.
S902. 프레임 n-1의 잔차 코딩 플래그의 값이 프레임 n-2의 잔차 코딩 플래그의 값과 동일하고 프레임 n-1에서의 잔차 신호가 인코딩될 필요가 없으면, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고 제 1 다운믹스된 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호로서 이용한다.
다른 예에서, 도 6을 참조하면, 도 10에 나타낸 바와 같이, 도 6의 S609는 S1000으로 대체될 수도 있으며, 도 6의 S610은 S1001로 대체될 수도 있으며, 도 6의 S611은 S1002로 대체될 수도 있으며, 도 6의 S612는 S1003으로 대체될 수도 있다.
S1000. 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값을 결정한다.
S1001. 오디오 인코더는 현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하지 않은지 여부를 결정한다.
S1002. 현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하지 않으면, 오디오 인코더는 스위칭 프레임에서의 다운믹스된 신호 및 잔차 신호를 계산하고, 다운믹스된 신호 및 잔차 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호 및 잔차 신호로서 각각 이용한다.
S1003. 현재의 프레임의 잔차 코딩 플래그의 값이 이전 프레임의 잔차 코딩 플래그의 값과 동일하고 현재의 프레임에서의 잔차 신호가 인코딩될 필요가 없으면, 오디오 인코더는 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하고, 제 1 다운믹스된 신호를 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 다운믹스된 신호로서 이용한다.
마지막으로, 본 출원의 본 실시형태에서, 오디오 인코더는 디코딩된 스테레오 신호의 고 주파수 왜곡을 가능한 한 줄이면서 디코딩된 스테레오 신호의 공간감 및 사운드 이미지 안정성을 향상시킴으로써 전체 인코딩 품질을 향상시키기 위해, 사전 설정된 주파수 대역의 대응하는 서브밴드에서의 잔차 신호를 인코딩할지 여부를 적응적으로 선택할 수 있다. 게다가, 상이한 경우들에서: 잔차 신호가 인코딩되어야 할 때, 그리고, 잔차 신호가 인코딩될 필요가 없을 때, 오디오 인코더는 디코딩된 스테레오 신호의 공간감 및 사운드 이미지 안정성이 불연속적인 문제를 해결함으로써 청각 품질을 효과적으로 향상시키기 위해, 다운믹스된 신호를 상이한 방법들을 이용하여 계산한다.
본 출원의 실시형태는 다운믹스된 신호 계산 장치를 제공한다. 다운믹스된 신호 계산 장치는 오디오 인코더일 수도 있다. 구체적으로 설명하면, 다운믹스된 신호 계산 장치는 전술한 다운믹스된 신호 계산 방법들에서 오디오 인코더에 의해 수행되는 단계들을 수행하도록 구성된다. 본 출원의 본 실시형태에서 제공되는 다운믹스된 신호 계산 장치는 대응하는 단계들에 대응하는 모듈들을 포함할 수도 있다.
본 출원의 본 실시형태에서, 다운믹스된 신호 계산 장치는 전술한 방법 예들에 기초하여 기능 모듈들로 분할될 수도 있다. 예를 들어, 각각의 기능 모듈은 각각의 대응하는 기능에 기초하여 분할을 통해서 획득될 수도 있거나, 또는 2개 이상의 기능들은 하나의 프로세싱 모듈로 통합될 수도 있다. 통합된 모듈은 하드웨어의 형태로 구현될 수도 있거나, 또는 소프트웨어 기능 모듈의 형태로 구현될 수도 있다. 본 출원의 본 실시형태에서, 모듈들로의 분할은 예시적이며, 단지 논리 기능 분할이다. 실제 구현예에서, 다른 분할 방법이 사용될 수도 있다.
각각의 기능 모듈이 각각의 대응하는 기능에 기초하여 분할을 통해서 획득될 때, 도 11은 전술한 실시형태에서의 다운믹스된 신호 계산 장치의 가능한 개략적인 구조 다이어그램이다. 도 11에 나타낸 바와 같이, 다운믹스된 신호 계산 장치 (11)는 결정 유닛 (110) 및 계산 유닛 (111)을 포함한다.
결정 유닛 (110)은 전술한 실시형태에서 S401, S401' 등을 수행할 때에, 다운믹스된 신호 계산 장치를 지원하도록 구성되고/되거나, 본 명세서에서 설명된 기술의 다른 프로세스에 사용된다.
계산 유닛 (111)은 전술한 실시형태들에서 S402, S501 등을 수행할 때에, 다운믹스된 신호 계산 장치를 지원하도록 구성되고/되거나, 본 명세서에서 설명된 기술의 다른 프로세스에 사용된다.
전술한 방법 실시형태들에서의 단계들의 모든 관련 내용은 대응하는 기능 모듈들의 기능 설명들에서 인용될 수도 있다. 세부 사항들은 본원에서 다시 설명되지 않는다.
확실히, 본 출원의 본 실시형태에서 제공되는 다운믹스된 신호 계산 장치는 전술한 모듈들을 포함하지만 이에 한정되지 않는다. 예를 들어, 도 11에 나타낸 바와 같이, 다운믹스된 신호 계산 장치 (11)는 저장 유닛 (112)을 더 포함할 수도 있다. 저장 유닛 (112)은 다운믹스된 신호 계산 장치의 프로그램 코드 및 데이터를 저장하도록 구성될 수도 있다.
또, 도 11을 참조하면, 도 12에 나타낸 바와 같이, 다운믹스된 신호 계산 장치 (11)는 획득 유닛 (113)을 더 포함할 수도 있다. 획득 유닛 (113)은 전술한 실시형태에서 S500 및 기타 등등을 수행할 때에, 다운믹스된 신호 계산 장치를 지원하도록 구성되고/되거나, 본 명세서에서 설명된 기술의 다른 프로세스에서 사용된다.
통합된 유닛이 사용될 때, 도 13은 본 출원의 실시형태들에서의 다운믹스된 신호 계산 장치의 개략적인 구조 다이어그램이다. 도 13에서, 다운믹스된 신호 계산 장치 (13)는 프로세싱 모듈 (130) 및 통신 모듈 (131)을 포함한다.
프로세싱 모듈 (130)은 다운믹스된 신호 계산 장치의 액션을 제어 및 관리하도록, 예를 들어, 결정 유닛 (110), 계산 유닛 (111), 및 획득 유닛 (113)에 의해 수행되는 단계들을 수행하도록, 및/또는 본 명세서에서 설명된 기술의 다른 프로세스를 수행하도록 구성된다.
통신 모듈 (131)은 다운믹스된 신호 계산 장치와 다른 디바이스 사이의 상호작용을 지원하도록 구성된다.
도 13에 나타낸 바와 같이, 다운믹스된 신호 계산 장치는 저장 모듈 (132)을 더 포함할 수도 있다. 저장 모듈 (132)은 다운믹스된 신호 계산 장치의 프로그램 코드 및 데이터를 저장하도록, 예를 들어, 전술한 저장 유닛 (112) 내에 저장된 콘텐츠를 저장하도록 구성된다.
프로세싱 모듈 (130)은 프로세서 또는 제어기일 수도 있으며, 예를 들어, 중앙 처리 유닛 (Central Processing Unit, CPU), 범용 프로세서, 디지털 신호 프로세서 (Digital Signal Processor, DSP), ASIC, FPGA 또는 다른 프로그래밍가능 로직 디바이스, 트랜지스터 로직 디바이스, 하드웨어 컴포넌트, 또는 이들의 임의의 조합일 수도 있다. 프로세서는 본 출원에서 개시된 내용을 참조하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 및 회로들을 구현하거나 또는 실행할 수도 있다. 프로세서는 대안적으로, 컴퓨팅 기능을 구현하는 프로세서들의 조합, 예를 들어, 하나 이상의 마이크로프로세서들의 조합, 또는 DSP와 마이크로프로세서의 조합일 수도 있다. 통신 모듈 (131)은 트랜시버, RF 회로, 통신 인터페이스, 또는 기타 등등일 수도 있다. 저장 모듈 (132)은 메모리일 수도 있다.
전술한 방법 실시형태들에서의 시나리오들의 모든 관련된 내용은 대응하는 기능 모듈들의 기능 설명들에서 인용될 수도 있다. 세부 사항들은 본원에서 다시 설명되지 않는다.
다운믹스된 신호 계산 장치 (11) 및 다운믹스된 신호 계산 장치 (12) 양자는 도 4, 도 5a, 도 5b, 또는 도 5c에 나타낸 다운믹스된 신호 계산 방법을 수행할 수도 있으며, 다운믹스된 신호 계산 장치 (11) 및 다운믹스된 신호 계산 장치 (12) 각각은 구체적으로 오디오 인코딩 장치 또는 오디오 인코딩 기능을 가지는 다른 디바이스일 수도 있다.
본 출원은 터미널을 추가로 제공한다. 터미널은 하나 이상의 프로세서들, 메모리, 및 통신 인터페이스를 포함한다. 메모리 및 통신 인터페이스는 하나 이상의 프로세서들에 커플링된다. 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성된다. 컴퓨터 프로그램 코드는 명령을 포함한다. 하나 이상의 프로세서들이 명령을 실행할 때, 터미널은 본 출원의 실시형태들에서의 다운믹스된 신호 계산 방법을 수행한다.
본원에서의 터미널은 스마트폰, 포터블 컴퓨터, 또는 오디오를 프로세싱하거나 또는 재생할 수 있는 다른 디바이스일 수도 있다.
본 출원은 비-휘발성 저장 매체 및 중앙 처리 유닛을 포함하는 오디오 인코더를 추가로 제공한다. 비-휘발성 저장 매체는 실행가능 프로그램을 저장한다. 중앙 처리 유닛은 비-휘발성 저장 매체에 접속되며, 실행가능 프로그램을 실행하여 본 출원의 실시형태들에서의 다운믹스된 신호 계산 방법을 수행한다. 게다가, 오디오 인코더는 본 출원의 실시형태들에서의 오디오 신호 인코딩 방법을 추가로 수행할 수도 있다.
본 출원은 인코더를 추가로 포함한다. 인코더는 본 출원의 실시형태들에서의 다운믹스된 신호 계산 장치 (다운믹스된 신호 계산 장치 (11) 또는 다운믹스된 신호 계산 장치 (12)) 및 인코딩 모듈을 포함한다. 인코딩 모듈은 현재의 프레임의 제 1 다운믹스된 신호를 인코딩하도록 구성되며, 현재의 프레임의 제 1 다운믹스된 신호는 다운믹스된 신호 계산 장치에 의해 획득된다.
본 출원의 다른 실시형태는 컴퓨터-판독가능 저장 매체를 추가로 제공한다. 컴퓨터-판독가능 저장 매체는 프로그램 코드의 하나 이상의 조각들을 포함한다. 하나 이상의 프로그램들은 명령을 포함하며, 터미널 내 프로세서가 프로그램 코드를 실행할 때, 터미널은 도 4, 도 5a, 도 5b, 또는 도 5c에 나타낸 다운믹스된 신호 계산 방법을 수행한다.
본 출원의 다른 실시형태에서, 컴퓨터 프로그램 제품은 추가로 제공된다. 컴퓨터 프로그램 제품은 컴퓨터-실행가능한 명령을 포함하며, 컴퓨터-실행가능한 명령은 컴퓨터-판독가능 저장 매체에 저장된다. 터미널의 적어도 하나의 프로세서는 컴퓨터-판독가능 저장 매체로부터 컴퓨터-실행가능한 명령을 판독할 수도 있으며, 적어도 하나의 프로세서는 컴퓨터-실행가능한 명령을 실행하므로, 터미널은 도 4, 도 5a, 도 5b, 또는 도 5c에 나타낸 다운믹스된 신호 계산 방법에서 오디오 인코더에 의해 수행되는 단계들을 수행한다.
전술한 실시형태들의 모두 또는 일부는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합을 이용하여 구현될 수도 있다. 소프트웨어 프로그램이 실시형태들을 구현하는데 사용될 때, 실시형태들은 컴퓨터 프로그램 제품의 형태로 완전히 또는 부분적으로 구현될 수도 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령들을 포함한다. 컴퓨터 프로그램 명령들이 로드되어 컴퓨터 상에서 실행될 때, 본 출원의 실시형태들에 따른 절차 또는 기능들은 모두 또는 부분적으로 발생된다.
컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크, 또는 다른 프로그래밍가능 장치일 수도 있다. 컴퓨터 명령들은 컴퓨터-판독가능 저장 매체에 저장될 수도 있거나 또는 컴퓨터-판독가능 저장 매체로부터 다른 컴퓨터-판독가능 저장 매체로 송신될 수도 있다. 예를 들어, 컴퓨터 명령들은 웹사이트, 컴퓨터, 서버, 또는 데이터 센터로부터 다른 웹사이트, 컴퓨터, 서버, 또는 데이터 센터로 유선 (예를 들어, 동축 케이블, 광 섬유, 또는 디지털 가입자 회선 (DSL))으로 또는 무선 (예를 들어, 적외선, 라디오, 또는 마이크로파) 방식으로 송신될 수도 있다. 컴퓨터-판독가능 저장 매체는 컴퓨터에 의해 액세스가능한 임의의 사용가능한 매체, 또는 하나 이상의 사용가능한 매체들을 통합하는 서버 또는 데이터 센터와 같은, 데이터 저장 디바이스일 수도 있다. 사용가능한 매체는 자기 매체 (예를 들어, 플로피 디스크, 하드 디스크, 또는 자기 테이프), 광학 매체 (예를 들어, DVD), 반도체 매체 (예를 들어, 고체-상태 드라이브(Solid State Drive: SSD)), 또는 기타 등등일 수도 있다.
구현예들에 관한 전술한 설명들은 당업자로 하여금, 편리하고 간단한 설명의 목적을 위해, 전술한 기능 모듈들로의 분할이 예시를 위한 예로서 사용됨을 알수 있게 한다. 실제 애플리케이션에서, 전술한 기능들은 상이한 모듈들에 할당되어 요구조건에 기초하여 구현될 수 있다, 즉, 장치의 내부 구조가 위에서 설명된 기능들의 모두 또는 일부를 구현하기 위해 상이한 기능 모듈들로 분할된다.
본 출원에서 제공되는 여러 실시형태들에서, 개시된 장치 및 방법이 다른 방식들로 구현될 수도 있는 것으로 이해되어야 한다. 예를 들어, 설명된 장치 실시형태는 단지 예시적이다. 예를 들어, 모듈 또는 유닛 분할은 단지 논리적 기능 분할이며 실제 구현예에서는 다른 분할일 수도 있다. 예를 들어, 복수의 유닛들 또는 컴포넌트들은 다른 장치에 결합되거나 또는 통합될 수도 있거나, 또는 일부 특징들은 무시되거나 또는 수행되지 않을 수도 있다. 게다가, 표시되거나 또는 설명된 상호 커플링들 또는 직접 커플링들 또는 통신 접속들은 일부 인터페이스들을 이용하여 구현될 수도 있다. 장치들 또는 유닛들 사이의 간접 커플링들 또는 통신 접속들은 전기적, 기계적, 또는 다른 형태들로 구현될 수도 있다.
별개의 부분들로서 설명된 유닛들은 물리적으로 분리될 수도 있거나 또는 분리되지 않을 수도 있으며, 유닛들로부터 표시된 부분들은 하나 이상의 물리적인 유닛들일 수도 있거나, 하나의 장소에 위치될 수도 있거나, 또는 상이한 장소들 상에 분포될 수도 있다. 유닛들의 일부 또는 모두는 실시형태들의 솔루션들의 목적들을 달성하기 위해 실제 요건들에 기초하여 선택될 수도 있다.
게다가, 본 출원의 실시형태들에서의 기능적 유닛들은 하나의 프로세싱 유닛으로 통합될 수도 있거나, 또는 유닛들의 각각은 물리적으로 단독으로 존재할 수도 있거나, 또는 2개 이상의 유닛들은 하나의 유닛으로 통합된다. 통합된 유닛은 하드웨어의 형태로 구현될 수도 있거나, 또는 소프트웨어 기능적 유닛의 형태로 구현될 수도 있다.
통합된 유닛이 소프트웨어 기능적 유닛의 형태로 구현되고 독립적인 제품으로서 시판되거나 사용될 때, 통합된 유닛은 판독가능 저장 매체에 저장될 수도 있다. 이러한 이해에 기초하여, 본질적으로 본 출원의 실시형태들에서의 기술적인 해결책들, 또는 선행 기술에 기여하는 부분, 또는 기술적인 해결책들의 모두 또는 일부는 소프트웨어 제품의 형태로 구현될 수도 있다. 소프트웨어 제품은 저장 매체에 저장되며, 본 출원의 실시형태들에서 설명된 방법의 단계들의 모두 또는 일부를 수행하도록 (단일-칩 마이크로컴퓨터, 칩 또는 기타 등등일 수도 있는) 디바이스 또는 프로세서 (processor)에게 명령하는 여러 명령들을 포함한다. 전술한 저장 매체는 USB 플래시 드라이브, 착탈식 하드 디스크, 판독-전용 메모리 (Read-Only Memory, ROM), 랜덤 액세스 메모리 (Random Access Memory, RAM), 자기 디스크, 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 설명들은 본 출원의 특정의 구현예들일 뿐이며, 본 출원의 보호 범위를 한정하려는 것이 아니다. 본 출원에 개시된 기술적인 범위 내 임의의 변형 또는 교체는 본 출원의 보호 범위 내에 속한다. 따라서, 본 출원의 보호 범위는 청구 범위의 보호 범위를 따른다.
Claims (18)
- 다운믹스된 신호 계산 방법으로서,
제 1 조건 또는 제 2 조건이 만족됨을 결정하는 단계 ― 상기 제 1 조건이 만족됨을 결정하는 것은, 스테레오 신호의 현재의 프레임의 이전 프레임이 스위칭 프레임이 아니고 상기 이전 프레임에서의 잔차 신호를 인코딩하지 않음을 결정하는 것을 포함하고, 상기 제 2 조건이 만족됨을 결정하는 것은, 현재의 프레임이 스위칭 프레임이 아니고 상기 현재의 프레임에서의 잔차 신호를 인코딩하지 않음을 결정하는 것을 포함하며, 상기 스위칭 프레임에 대해 상기 잔차 신호를 인코딩하는 것으로부터 상기 잔차 신호를 인코딩하지 않는 것으로 또는 그 반대로 스위칭이 일어남 ― ,
상기 제 1 조건 또는 상기 제 2 조건이 만족됨을 결정하는 것에 응답하여, 상기 현재의 프레임에서의 제 1 다운믹스된 신호를 계산하는 단계, 및
상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호를 상기 현재의 프레임의 사전 설정된 주파수 대역에서의 다운믹스된 신호로서 결정하는 단계를 포함하고,
상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호를 계산하는 단계는:
상기 현재의 프레임에서의 제 2 다운믹스된 신호를 획득하는 단계;
상기 현재의 프레임의 다운믹스 보상 인자를 획득하는 단계; 및
상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호를 획득하기 위해, 상기 현재의 프레임에서의 상기 제 2 다운믹스된 신호를 상기 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하는 단계를 포함하되,
상기 현재의 프레임의 다운믹스 보상 인자를 획득하는 단계는,
상기 현재의 프레임의 서브프레임 i의 다운믹스 보상 인자를 상기 현재의 프레임의 상기 서브프레임 i에서의 좌측 채널 주파수-도메인 신호, 상기 현재의 프레임의 상기 서브프레임 i에서의 우측 채널 주파수-도메인 신호, 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 제 2 다운믹스된 신호, 상기 현재의 프레임의 상기 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 단계 - 상기 제 2 플래그는 채널간 시간 차이 파라미터 이외의 스테레오 파라미터가 상기 현재의 프레임의 상기 서브프레임 i에서 인코딩되어야 하는지 여부를 표시하는데 사용되고, 상기 현재의 프레임은 P개의 서브프레임들을 포함하며, 상기 현재의 프레임의 다운믹스 보상 인자는 상기 현재의 프레임의 상기 서브프레임 i의 다운 믹스 보상 인자를 포함하고, P 및 i 양자는 정수들이고, P≥2이며, 그리고 i∈[0,P-1]임 - 를 포함하고,
상기 현재의 프레임의 상기 서브프레임 i에서의 제 2 주파수-도메인 신호가 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 좌측 채널 주파수-도메인 신호일 때, 상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자를 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 좌측 채널 주파수-도메인 신호, 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 우측 채널 주파수-도메인 신호, 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 제 2 다운믹스된 신호, 상기 현재의 프레임의 상기 서브프레임 i에서의 잔차 신호, 또는 제 2 플래그 중 적어도 하나에 기초하여 계산하는 단계는,
상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자를 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 좌측 채널 주파수-도메인 신호 및 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 우측 채널 주파수-도메인 신호에 기초하여 계산하는 단계 -
상기 현재의 프레임의 상기 서브프레임 i에서의 서브밴드 b에서의 다운믹스 보상 인자 αi(b)는 다음 수식에 따라서 계산되며:
이고, 이며, 그리고 이거나; 또는
이고, 이며, 그리고 이며;
여기서, E_Li(b)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에서의 좌측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_Ri(b)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에서의 우측 채널 주파수-도메인 신호의 에너지 총합을 나타내고; E_LRi(b)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에서의 상기 좌측 채널 주파수-도메인 신호의 에너지와 상기 우측 채널 주파수-도메인 신호의 에너지의 에너지 총합을 나타내며; band_limits(b)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b의 최소 주파수 빈 인덱스 값을 나타내며; band_limits(b+1)은 상기 현재의 프레임의 상기 서브프레임 i에서의 서브밴드 b + 1의 최소 주파수 빈 인덱스 값을 나타내고; Lib''(k)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib''(k)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에 있고 스테레오 파라미터에 기초하여 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; Lib'(k)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 좌측 채널 주파수-도메인 신호를 나타내며; Rib'(k)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에 있고 시간-시프트 조정 이후에 획득되는 우측 채널 주파수-도메인 신호를 나타내고; k는 주파수 빈 인덱스 값을 나타내며, 상기 현재의 프레임의 각각의 서브프레임은 M개의 서브밴드들을 포함하고, 상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b의 다운믹스 보상 인자를 포함하며, b는 정수이고, b∈[0,M-1]이며, 그리고 M≥2임 - 를 포함하고,
상기 현재의 프레임의 상기 서브프레임 i에서의 보상된 다운믹스된 신호를 상기 현재의 프레임의 상기 서브프레임 i에서의 제 2 주파수-도메인 신호 및 상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 단계는,
상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에서의 보상된 다운믹스된 신호를 다음 수식: DMX_compib(k) = αi(b) * Lib''(k)에 따라서 계산하는 단계 - DMX_compib(k)는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 서브밴드 b에서의 보상된 다운믹스된 신호를 나타내고, k는 주파수 빈 인덱스 값을 나타내며, 그리고 k∈[band_limits(b),band_limits(b+1)-1]임 - 를 포함하는,
다운믹스된 신호 계산 방법. - 제 1 항에 있어서,
상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호를 획득하기 위해, 상기 현재의 프레임에서의 상기 제 2 다운믹스된 신호를 상기 현재의 프레임의 다운믹스 보상 인자에 기초하여 보정하는 단계는,
상기 현재의 프레임에서의 제 1 주파수-도메인 신호 및 상기 현재의 프레임의 다운믹스 보상 인자에 기초하여 상기 현재의 프레임에서의 보상된 다운믹스된 신호를 계산하는 단계로서, 상기 제 1 주파수-도메인 신호는 상기 현재의 프레임에서의 좌측 채널 주파수-도메인 신호 또는 상기 현재의 프레임에서의 우측 채널 주파수-도메인 신호인, 상기 계산하는 단계; 및 상기 현재의 프레임에서의 상기 제 2 다운믹스된 신호 및 상기 현재의 프레임에서의 상기 보상된 다운믹스된 신호에 기초하여, 상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호를 계산하는 단계를 포함하거나; 또는
상기 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 상기 현재의 프레임의 상기 서브프레임 i에서의 제 2 주파수-도메인 신호 및 상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 단계로서, 상기 제 2 주파수-도메인 신호는 현재의 프레임의 상기 서브프레임 i에서의 좌측 채널 주파수-도메인 신호 또는 상기 현재의 프레임의 상기 서브프레임 i에서의 우측 채널 주파수-도메인 신호인, 상기 계산하는 단계; 및 상기 현재의 프레임의 상기 서브프레임 i에서의 제 1 다운믹스된 신호를 상기 현재의 프레임의 상기 서브프레임 i에서의 제 2 다운믹스된 신호 및 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 보상된 다운믹스된 신호에 기초하여 계산하는 단계로서, 상기 현재의 프레임은 P개의 서브프레임들을 포함하고, 상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호는 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 제 1 다운믹스된 신호를 포함하며, P 및 i 양자는 정수들이고, P≥2이고, 그리고 i∈[0,P-1]인, 상기 계산하는 단계를 포함하는, 다운믹스된 신호 계산 방법. - 제 2 항에 있어서,
상기 현재의 프레임에서의 보상된 다운믹스된 신호를 상기 현재의 프레임에서의 제 1 주파수-도메인 신호 및 상기 현재의 프레임의 다운믹스 보상 인자에 기초하여 계산하는 단계는,
상기 현재의 프레임에서의 상기 제 1 주파수-도메인 신호와 상기 현재의 프레임의 다운믹스 보상 인자의 곱을 상기 현재의 프레임에서의 상기 보상된 다운믹스된 신호로서 결정하는 단계를 포함하고;
상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호를 상기 현재의 프레임에서의 상기 제 2 다운믹스된 신호 및 상기 현재의 프레임에서의 보상된 다운믹스된 신호에 기초하여 계산하는 단계는,
상기 현재의 프레임에서의 상기 제 2 다운믹스된 신호와 상기 현재의 프레임에서의 상기 보상된 다운믹스된 신호의 총합을 상기 현재의 프레임에서의 상기 제 1 다운믹스된 신호로서 결정하는 단계를 포함하거나; 또는
상기 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호를 상기 현재의 프레임의 상기 서브프레임 i에서의 제 2 주파수-도메인 신호 및 상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자에 기초하여 계산하는 단계는,
상기 현재의 프레임의 상기 서브프레임 i에서의 상기 제 2 주파수-도메인 신호와 상기 현재의 프레임의 상기 서브프레임 i의 다운믹스 보상 인자의 곱을 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 보상된 다운믹스된 신호로서 결정하는 단계를 포함하고;
상기 현재의 프레임의 상기 서브프레임 i에서의 제 1 다운믹스된 신호를 상기 현재의 프레임의 상기 서브프레임 i에서의 제 2 다운믹스된 신호 및 상기 현재의 프레임의 상기 서브프레임 i에서의 상기 보상된 다운믹스된 신호에 기초하여 계산하는 단계는,
현재의 프레임의 서브프레임 i에서의 제 2 다운믹스된 신호와 현재의 프레임의 서브프레임 i에서의 보상된 다운믹스된 신호의 총합을 현재의 프레임의 서브프레임 i에서의 제 1 다운믹스된 신호로서 결정하는 단계를 포함하는, 다운믹스된 신호 계산 방법. - 제 1 항에 있어서,
Th1≤b≤Th2, Th1<b≤Th2, Th1≤b<Th2, 또는 Th1<b<Th2이고, 여기서, 0≤Th1≤Th2≤M-1이고, Th1는 상기 사전 설정된 주파수 대역의 최소 서브밴드 인덱스 값을 나타내고, 그리고 Th2는 상기 사전 설정된 주파수 대역의 최대 서브밴드 인덱스 값을 나타내는, 다운믹스된 신호 계산 방법. - 터미널로서,
상기 터미널은 하나 이상의 프로세서들, 메모리, 및 통신 인터페이스를 포함하며, 상기 메모리 및 상기 통신 인터페이스는 상기 하나 이상의 프로세서들에 커플링되며; 상기 터미널은 상기 통신 인터페이스를 통해서 다른 디바이스와 통신하며, 상기 메모리는 컴퓨터 프로그램 코드를 저장하도록 구성되며, 상기 컴퓨터 프로그램 코드는 명령을 포함하고, 그리고 상기 하나 이상의 프로세서들이 상기 명령을 실행할 때, 상기 터미널은 제 1 항 내지 제 4 항 중 어느 한 항에 따른 다운믹스된 신호 계산 방법을 수행하는, 터미널. - 명령을 포함하는 컴퓨터-판독가능 저장 매체로서,
상기 명령이 터미널 상에서 실행될 때, 상기 터미널은 제 1 항 내지 제 4 항 중 어느 한 항에 따른 다운믹스된 신호 계산 방법을 수행하도록 인에이블되는, 컴퓨터-판독가능 저장 매체. - 비-휘발성 저장 매체 및 중앙 처리 유닛을 포함하는 오디오 인코더로서,
상기 비-휘발성 저장 매체는 실행가능 프로그램을 저장하며, 상기 중앙 처리 유닛은 상기 비-휘발성 저장 매체에 접속되고, 그리고, 상기 중앙 처리 유닛이 상기 실행가능 프로그램을 실행할 때, 상기 오디오 인코더는 제 1 항 내지 제 4 항 중 어느 한 항에 따른 다운믹스된 신호 계산 방법을 수행하는, 오디오 인코더. - 컴퓨터로 하여금 제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 수행하게 하도록 구성된 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247002200A KR20240013287A (ko) | 2018-05-31 | 2019-01-02 | 다운믹스된 신호 계산 방법 및 장치 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549905.2A CN110556119B (zh) | 2018-05-31 | 2018-05-31 | 一种下混信号的计算方法及装置 |
| CN201810549905.2 | 2018-05-31 | ||
| PCT/CN2019/070116 WO2019227931A1 (zh) | 2018-05-31 | 2019-01-02 | 一种下混信号的计算方法及装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247002200A Division KR20240013287A (ko) | 2018-05-31 | 2019-01-02 | 다운믹스된 신호 계산 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210009342A KR20210009342A (ko) | 2021-01-26 |
| KR102628755B1 true KR102628755B1 (ko) | 2024-01-23 |
Family
ID=68698667
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247002200A KR20240013287A (ko) | 2018-05-31 | 2019-01-02 | 다운믹스된 신호 계산 방법 및 장치 |
| KR1020207035596A KR102628755B1 (ko) | 2018-05-31 | 2019-01-02 | 다운믹스된 신호 계산 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247002200A KR20240013287A (ko) | 2018-05-31 | 2019-01-02 | 다운믹스된 신호 계산 방법 및 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11869517B2 (ko) |
| EP (1) | EP3783608A4 (ko) |
| JP (1) | JP7159351B2 (ko) |
| KR (2) | KR20240013287A (ko) |
| CN (2) | CN114420139A (ko) |
| BR (1) | BR112020024232A2 (ko) |
| SG (1) | SG11202011329QA (ko) |
| WO (1) | WO2019227931A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113948098A (zh) * | 2020-07-17 | 2022-01-18 | 华为技术有限公司 | 一种立体声音频信号时延估计方法及装置 |
| US11802894B2 (en) * | 2020-09-17 | 2023-10-31 | Silicon Laboratories Inc. | Compressing information in an end node using an autoencoder neural network |
| CN113421579B (zh) * | 2021-06-30 | 2024-06-07 | 北京小米移动软件有限公司 | 声音处理方法、装置、电子设备和存储介质 |
| GB2628413A (en) * | 2023-03-24 | 2024-09-25 | Nokia Technologies Oy | Coding of frame-level out-of-sync metadata |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140226822A1 (en) * | 2011-09-29 | 2014-08-14 | Dolby International Ab | High quality detection in fm stereo radio signal |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
| US8082157B2 (en) * | 2005-06-30 | 2011-12-20 | Lg Electronics Inc. | Apparatus for encoding and decoding audio signal and method thereof |
| DE602007013415D1 (de) * | 2006-10-16 | 2011-05-05 | Dolby Sweden Ab | Erweiterte codierung und parameterrepräsentation einer mehrkanaligen heruntergemischten objektcodierung |
| CN101197134A (zh) * | 2006-12-05 | 2008-06-11 | 华为技术有限公司 | 消除编码模式切换影响的方法和装置以及解码方法和装置 |
| JP5363488B2 (ja) * | 2007-09-19 | 2013-12-11 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | マルチチャネル・オーディオのジョイント強化 |
| KR101162275B1 (ko) * | 2007-12-31 | 2012-07-04 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| KR101444102B1 (ko) * | 2008-02-20 | 2014-09-26 | 삼성전자주식회사 | 스테레오 오디오의 부호화, 복호화 방법 및 장치 |
| CN102157149B (zh) * | 2010-02-12 | 2012-08-08 | 华为技术有限公司 | 立体声信号下混方法、编解码装置和编解码系统 |
| CA3097372C (en) * | 2010-04-09 | 2021-11-30 | Dolby International Ab | Mdct-based complex prediction stereo coding |
| CN102446507B (zh) * | 2011-09-27 | 2013-04-17 | 华为技术有限公司 | 一种下混信号生成、还原的方法和装置 |
| ES2904275T3 (es) * | 2015-09-25 | 2022-04-04 | Voiceage Corp | Método y sistema de decodificación de los canales izquierdo y derecho de una señal sonora estéreo |
| KR102387162B1 (ko) * | 2016-09-28 | 2022-04-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 다중 채널 오디오 신호 처리 방법, 장치 및 시스템 |
-
2018
- 2018-05-31 CN CN202210102567.4A patent/CN114420139A/zh active Pending
- 2018-05-31 CN CN201810549905.2A patent/CN110556119B/zh active Active
-
2019
- 2019-01-02 JP JP2020564202A patent/JP7159351B2/ja active Active
- 2019-01-02 WO PCT/CN2019/070116 patent/WO2019227931A1/zh unknown
- 2019-01-02 SG SG11202011329QA patent/SG11202011329QA/en unknown
- 2019-01-02 EP EP19811813.5A patent/EP3783608A4/en active Pending
- 2019-01-02 KR KR1020247002200A patent/KR20240013287A/ko active Application Filing
- 2019-01-02 KR KR1020207035596A patent/KR102628755B1/ko active IP Right Grant
- 2019-01-02 BR BR112020024232-2A patent/BR112020024232A2/pt unknown
-
2020
- 2020-11-23 US US17/102,190 patent/US11869517B2/en active Active
-
2023
- 2023-11-29 US US18/523,738 patent/US20240105188A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140226822A1 (en) * | 2011-09-29 | 2014-08-14 | Dolby International Ab | High quality detection in fm stereo radio signal |
Non-Patent Citations (2)
| Title |
|---|
| ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.* |
| ITU-T Recommendation G.711.1, Wideband embedded extension for ITU-T G.711 pulse code modulation, 2012.09.13. |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3783608A4 (en) | 2021-06-23 |
| KR20240013287A (ko) | 2024-01-30 |
| EP3783608A1 (en) | 2021-02-24 |
| KR20210009342A (ko) | 2021-01-26 |
| WO2019227931A1 (zh) | 2019-12-05 |
| CN114420139A (zh) | 2022-04-29 |
| CN110556119A (zh) | 2019-12-10 |
| JP2021524938A (ja) | 2021-09-16 |
| US20210082441A1 (en) | 2021-03-18 |
| US20240105188A1 (en) | 2024-03-28 |
| SG11202011329QA (en) | 2020-12-30 |
| BR112020024232A2 (pt) | 2021-02-23 |
| US11869517B2 (en) | 2024-01-09 |
| CN110556119B (zh) | 2022-02-18 |
| JP7159351B2 (ja) | 2022-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102628755B1 (ko) | 다운믹스된 신호 계산 방법 및 장치 | |
| US11568882B2 (en) | Inter-channel phase difference parameter encoding method and apparatus | |
| KR20230137473A (ko) | 스테레오 신호 인코딩 방법 및 장치 | |
| KR20220066316A (ko) | 오디오 코딩 방법 및 장치 | |
| KR102710464B1 (ko) | 스테레오 신호 인코딩 방법 및 장치 | |
| KR102605961B1 (ko) | 고해상도 오디오 코딩 | |
| KR102618380B1 (ko) | 다운믹스 신호 및 잔차 신호를 계산하는 방법 및 장치 | |
| CN113302688B (zh) | 高分辨率音频编解码 | |
| CN113302684B (zh) | 高分辨率音频编解码 | |
| US20240355342A1 (en) | Inter-channel phase difference parameter encoding method and apparatus | |
| RU2809609C2 (ru) | Представление пространственного звука посредством звукового сигнала и ассоциированных с ним метаданных | |
| WO2020146870A1 (en) | High resolution audio coding | |
| CN118571233A (zh) | 音频信号的处理方法及相关装置 | |
| KR20240145060A (ko) | 스테레오 신호 인코딩 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |