KR102343973B1 - 프레임 제어 동기화을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 - Google Patents
프레임 제어 동기화을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR102343973B1 KR102343973B1 KR1020187024233A KR20187024233A KR102343973B1 KR 102343973 B1 KR102343973 B1 KR 102343973B1 KR 1020187024233 A KR1020187024233 A KR 1020187024233A KR 20187024233 A KR20187024233 A KR 20187024233A KR 102343973 B1 KR102343973 B1 KR 102343973B1
- Authority
- KR
- South Korea
- Prior art keywords
- output
- time
- sequence
- spectral
- blocks
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 87
- 230000003595 spectral effect Effects 0.000 claims abstract description 188
- 238000005070 sampling Methods 0.000 claims abstract description 159
- 238000001228 spectrum Methods 0.000 claims abstract description 121
- 238000012545 processing Methods 0.000 claims abstract description 89
- 230000001131 transforming effect Effects 0.000 claims abstract description 16
- 230000001360 synchronised effect Effects 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 101
- 230000015572 biosynthetic process Effects 0.000 claims description 55
- 238000003786 synthesis reaction Methods 0.000 claims description 55
- 238000012952 Resampling Methods 0.000 claims description 49
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000011049 filling Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 claims 1
- 238000003775 Density Functional Theory Methods 0.000 description 53
- 230000006870 function Effects 0.000 description 38
- 238000009432 framing Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 238000007792 addition Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 201000006747 infectious mononucleosis Diseases 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000004134 energy conservation Methods 0.000 description 3
- 208000024875 Infantile dystonia-parkinsonism Diseases 0.000 description 2
- 208000029523 Interstitial Lung disease Diseases 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 208000001543 infantile parkinsonism-dystonia Diseases 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Control Of Eletrric Generators (AREA)
- Emergency Protection Circuit Devices (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereo-Broadcasting Methods (AREA)
Abstract
적어도 2개의 채널들을 포함하는 멀티-채널 신호를 인코딩하기 위한 장치는: 적어도 2개의 채널들에 대한 스펙트럼 값들의 블록들의 시퀀스들을 갖는 주파수 도메인 표현으로 적어도 2개의 채널들의 샘플링 값들의 블록들의 시퀀스들을 변환하기 위한 시간-스펙트럼 변환기(1000); 적어도 2개의 채널들에 관련된 정보를 포함하는 스펙트럼 값들의 블록들의 적어도 하나의 결과 시퀀스를 획득하기 위해, 스펙트럼 값들의 블록들의 시퀀스들에 조인트 멀티-채널 프로세싱을 적용하기 위한 멀티-채널 프로세서(1010); 샘플링 값들의 블록들의 출력 시퀀스를 포함하는 시간 도메인 표현으로 스펙트럼 값들의 블록들의 결과 시퀀스를 변환하기 위한 스펙트럼-시간 변환기(1030); 및 인코딩된 멀티-채널 신호(1510)를 획득하기 위해 샘플링 값들의 블록들의 출력 시퀀스를 인코딩하기 위한 코어 인코더(1040)를 포함하고, 상기 코어 인코더(1040)는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해지고, 상기 시간-스펙트럼 변환기(1000) 또는 상기 스펙트럼-시간 변환기(1030)는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되고, 상기 프레임들의 시퀀스의 각각의 프레임의 상기 시작 프레임 경계(1901) 또는 상기 종료 프레임 경계(1902)는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 상기 시간-스펙트럼 변환기(1000)에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 출력 시퀀스의 각각의 블록에 대하여 상기 스펙트럼-시간 변환기(1030)에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있다.
Description
본 출원은 스테레오 프로세싱, 또는 일반적으로는 멀티-채널 프로세싱에 관한 것이며, 여기서, 멀티-채널 신호는, 스테레오 신호의 경우에는 좌측 채널 및 우측 채널과 같은 2개의 채널들, 또는 3개, 4개, 5개 또는 임의의 다른 수의 채널들과 같은 2개 초과의 채널들을 갖는다.
스테레오 스피치 및 특히 대화형 스테레오 스피치는 스테레오포닉(stereophonic) 음악의 저장 및 브로드캐스팅보다 훨씬 더 작은 과학적 관심을 받았다. 실제로, 스피치 통신들에서, 모노포닉 송신이 여전히 현재 주로 사용되고 있다. 그러나, 네트워크 대역폭 및 용량의 증가에 따라, 스테레오포닉 기술들에 기초한 통신들이 더 대중화될 것이고, 더 양호한 청취 경험을 가져올 것으로 예상된다.
스테레오포닉 오디오 재료의 효율적인 코딩은 효율적인 저장 또는 브로드캐스팅을 위해 음악의 지각적인 오디오 코딩에서 장시간 연구되어 왔다. 파형 보존이 중요한 높은 비트레이트들에서, 중간/사이드(M/S) 스테레오로서 알려진 합차(sum-difference) 스테레오가 장시간 이용되었다. 낮은 비트레이트들의 경우, 인텐서티(intensity) 스테레오 및 더 최근에는 파라메트릭 스테레오 코딩이 도입되었다. 최신 기법이 HeAACv2 및 Mpeg USAC로서 상이한 표준들에서 채용되었다. 그것은, 2-채널 신호의 다운믹스를 생성하고 콤팩트한 공간 사이드 정보를 연관시킨다.
조인트(joint) 스테레오 코딩은 일반적으로, 고주파수 분해능, 즉 신호의 낮은 시간 분해능의 시간-주파수 변환을 통해 구축되고, 그 후, 대부분의 스피치 코더들에서 수행되는 낮은 지연 및 시간 도메인 프로세싱과 호환가능하지 않다. 또한, 발생된 비트레이트는 일반적으로 높다.
한편, 파라메트릭 스테레오는 프리-프로세서로서 인코더의 전단에 그리고 포스트-프로세서로서 디코더의 후단에 포지셔닝된 여분의 필터-뱅크를 이용한다. 따라서, 파라메트릭 스테레오는, 그것이 MPEG USAC에서 행해지는 것과 같이 ACELP와 같은 종래의 스피치 코더들과 함께 사용될 수 있다. 또한, 청각 장면의 파라미터화는, 낮은 비트레이트들에 적합한 최소의 양의 사이드 정보를 이용하여 달성될 수 있다. 그러나, 파라메트릭 스테레오는, 예컨대, 낮은 지연을 위해 특별히 설계되지는 않은 MPEG USAC에서와 같으며, 상이한 대화형 시나리오들에 대해서는 일관된 품질을 전달하지 않는다. 공간 장면의 종래의 파라메트릭 표현에서, 스테레오 이미지의 폭은 2개의 합성된 채널들 상에 적용된 역상관기에 의해 인위적으로 재생되고, 인코더에 의해 계산 및 송신된 채널간 일관성(IC들) 파라미터들에 의해 제어된다. 대부분의 스테레오 스피치에 대해, 스테레오 이미지를 넓히는 이러한 방식은 상당히 직접적인 사운드인 스피치의 자연스러운 분위기를 재현하는데 적합하지 않은데, 이는, 그것이 (룸으로부터 종종 일부 잔향을 갖는) 공간 내의 특정 포지션에 위치된 단일 소스에 의해 생성되기 때문이다. 대조적으로, 음악 악기들은 스피치보다 훨씬 더 자연스러운 폭을 가지며, 이는, 채널들을 역상관시킴으로써 더 양호하게 모방될 수 있다.
마이크로폰들이 서로 떨어져 있는 경우 또는 입체음향 레코딩 또는 렌더링의 경우 A-B 구성에서와 같이 비-일치 마이크로폰들을 이용하여 스피치가 레코딩되는 경우에 문제점들이 또한 발생한다. 원격회의들에서 스피치를 캡쳐하거나 또는 멀티포인트 제어 유닛(MCU)에서 원거리의 스피커들을 이용하여 가상적으로 청각 장면을 생성하기 위해 이 시나리오들이 예상될 수 있다. 그 후, 신호의 도달 시간은, X-Y(인텐서티 레코딩) 또는 M-S(중간-사이드 레코딩)과 같은 일치하는 마이크로폰들 상에서 행해진 레코딩들과는 달리 채널마다 상이하다. 그러한 비 시간-정렬된 2개의 채널들의 일관성의 계산은 잘못 추정될 수 있으며, 이는, 인공 환경 합성을 실패하게 한다.
스테레오 프로세싱과 관련된 선행 기술 참조들은 미국 특허 제 5,434,948호 또는 미국 특허 제 8,811,621호이다.
문헌 WO 2006/089570 A1은 거의-투명하거나 투명한 멀티-채널 인코더/디코더 방식을 개시한다. 멀티-채널 인코더/디코더 방식은 부가적으로, 파형-타입 잔여(residual) 신호를 생성한다. 이러한 잔여 신호는 하나 이상의 멀티-채널 파라미터들과 함께 디코더로 송신된다. 순수하게 파라메트릭한 멀티-채널 디코더와는 대조적으로, 향상된 디코더는, 부가적인 잔여 신호 때문에 개선된 출력 품질을 갖는 멀티-채널 출력 신호를 생성한다. 인코더-측 상에서, 좌측 채널 및 우측 채널 둘 모두는 분석 필터-뱅크에 의해 필터링된다. 그 후, 각각의 서브대역 신호에 대해, 정렬값 및 이득값이 서브대역에 대해 계산된다. 그 후, 그러한 정렬은 추가적인 프로세싱 전에 수행된다. 디코더-측 상에서, 역-정렬 및 이득 프로세싱이 수행되며, 그 후, 대응하는 신호들은 디코딩된 좌측 신호 및 디코딩된 우측 신호를 생성하기 위하여 합성 필터-뱅크에 의해 합성된다.
한편, 파라메트릭 스테레오는 프리-프로세서로서 인코더의 전단에 그리고 포스트-프로세서로서 디코더의 후단에 포지셔닝된 여분의 필터-뱅크를 이용한다. 따라서, 파라메트릭 스테레오는, 그것이 MPEG USAC에서 행해지는 것과 같이 ACELP와 같은 종래의 스피치 코더들과 함께 사용될 수 있다. 또한, 청각 장면의 파라미터화는, 낮은 비트레이트들에 적합한 최소의 양의 사이드 정보를 이용하여 달성될 수 있다. 그러나, 파라메트릭 스테레오는, 예컨대, 낮은 지연을 위해 특별히 설계되지는 않은 MPEG USAC에서와 같으며, 전체 시스템은 매우 높은 알고리즘적 지연을 나타낸다.
낮은 지연을 획득하기 위한 포지션에 있고 효율적인 멀티-채널 인코딩/디코딩에 대한 개선된 개념을 제공하는 것이 본 발명의 목적이다.
이러한 목적은, 청구항 제1항에 따른 멀티-채널 신호를 인코딩하기 위한 장치, 청구항 제24항에 따른 멀티-채널 신호를 인코딩하는 방법, 청구항 제25항에 따른 인코딩된 멀티-채널 신호를 디코딩하기 위한 장치, 청구항 제42항에 따른 인코딩된 멀티-채널 신호를 디코딩하는 방법, 또는 청구항 제43항에 따른 컴퓨터 프로그램에 의해 달성된다.
본 발명은, 멀티-채널 프로세싱의 적어도 일부 및 바람직하게는 모든 부분들, 즉 조인트 멀티-채널 프로세싱이 스펙트럼 도메인에서 수행된다는 발견에 기초한다. 구체적으로, 스펙트럼 도메인에서 조인트 멀티-채널 프로세싱의 다운믹스 동작 및 부가적으로는 시간 및 위상 정렬 동작들 또는 심지어, 조인트 스테레오/조인트 멀티-채널 프로세싱을 위해 파라미터들을 분석하기 위한 절차들을 수행하는 것이 바람직하다. 게다가, 상기 코어 인코더에 대한 프레임 제어의 동기화 및 상기 스펙트럼 도메인에서의 스테레오 프로세싱이 수행된다.
상기 코어 인코더는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계 및 종료 프레임 경계에 의해 경계가 정해지고, 상기 시간-스펙트럼 변환기 또는 상기 스펙트럼-시간 변환기는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되고, 상기 프레임들의 시퀀스의 각각의 프레임의 상기 시작 프레임 경계 또는 상기 종료 프레임 경계는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 상기 시간-스펙트럼 변환기에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 출력 시퀀스의 각각의 블록에 대하여 상기 스펙트럼-시간 변환기에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있다.
본 발명에서, 멀티-채널 인코더의 코어 인코더는 프레이밍 제어에 따라 동작하도록 구성되며, 스테레오 포스트-프로세서 및 리샘플러의 시간-스펙트럼 변환기 및 스펙트럼-시간 변환기는 또한, 코어 인코더의 프레이밍 제어에 동기화되는 추가적인 프레이밍 제어에 따라 동작하도록 구성된다. 코어 인코더의 프레임들의 시퀀스의 각각의 프레임의 시작 프레임 경계 또는 종료 프레임 경계가, 샘플링 값들의 블록들의 시퀀스의 각각의 블록 또는 스펙트럼 값들의 블록들의 리샘플링된 시퀀스의 각각의 블록에 대한 시간-스펙트럼 변환기 또는 스펙트럼-시간 변환기에 의해 사용되는 윈도우의 중첩 부분의 시작 순간 또는 종료 순간과 미리 결정된 관계에 있도록 하는 그러한 방식으로 동기화가 수행된다. 따라서, 후속 프레이밍 동작들이 서로 동기화되어 동작한다는 것이 보장된다.
추가적인 실시예들에서, 룩-어헤드(look-ahead) 부분에 대한 룩-어헤드 동작이 코어 인코더에 의해 수행된다. 이러한 실시예에서, 룩-어헤드 부분은 시간-스펙트럼 변환기의 분석 윈도우에 의해 또한 사용되는 것이 바람직하며, 여기서, 룩-어헤드 부분의 시간 길이보다 작거나 그와 동일한 시간 길이를 갖는 분석 윈도우의 중첩 부분이 사용된다.
따라서, 코어 인코더의 룩-어헤드 부분과 분석 윈도우의 중첩 부분을 서로 동일하게 함으로써 또는 중첩 부분을 코어 인코더의 룩-어헤드 부분보다 훨씬 더 작게 함으로써, 스테레오 프리-프로세서의 시간-스펙트럼 분석은 임의의 부가적인 알고리즘 지연 없이는 구현될 수 없다. 이러한 윈도우잉된 룩-어헤드 부분이 코어 인코더 룩-어헤드 기능에 너무 많은 영향을 주지 않도록 하기 위해, 분석 윈도우 기능의 역을 사용하여 이러한 부분을 교정하는 것이 바람직하다.
이것이 양호한 안정성으로 행해지는 것을 보장하기 위해, 사인(sine) 윈도우의 제곱근이 사인 윈도우 형상 대신 분석 윈도우로서 사용되며, 1.5의 거듭제곱(power) 합성 윈도우에 대한 사인은, 스펙트럼-시간 변환기의 출력에서 중첩 동작을 수행하기 전에 합성 윈도우잉의 목적으로 사용된다. 따라서, 사인-함수의 역인 교정 함수와 비교하여, 자신의 크기들에 비해 감소되는 값들을 교정 함수가 가정하는 것이 보장되게 된다.
선호되는, 스펙트럼 도메인 리샘플링은, 후속하여 연결된 코어 인코더에 의해 요구되는 출력 샘플링 레이트에 이미 있는 추가적인 스펙트럼-시간 변환기로부터 출력 신호를 제공하기 위해, 멀티-채널 프로세싱에 후속하여 또는 심지어 멀티-채널 프로세싱 이전에 수행된다. 그러나, 상기 코어 인코더의 프레임 제어의 동기화의 독창적인(inventive) 절차 및 상기 스펙트럼 시간 또는 시간 스펙트럼 변환기는 또한 임의의 스펙트럼 도메인 리샘플링이 수행되지 않는 시나리오에서도 적용될 수 있다.
디코더-측 상에서, 스펙트럼 도메인에서 다운믹스 신호로부터 제1 채널 신호 및 제2 채널 신호를 생성하기 위한 동작을 적어도 다시 한번 수행하고, 바람직하게는, 스펙트럼 도메인에서 심지어 전체의 역 멀티-채널 프로세싱을 수행하는 것이 바람직하다. 게다가, 코어 디코딩된 신호를 스펙트럼 도메인 표현으로 변환하기 위한 시간-스펙트럼 변환기가 제공되며, 주파수 도메인 내에서, 역 멀티-채널 프로세싱이 수행된다.
상기 코어 디코더는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계 및 종료 프레임 경계에 의해 경계가 정해진다. 상기 시간-스펙트럼 변환기 또는 상기 스펙트럼-시간 변환기는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성된다. 구체적으로, 상기 시간-스펙트럼 변환기 또는 상기 스펙트럼-시간 변환기는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되고, 상기 프레임들의 시퀀스의 각각의 프레임의 상기 시작 프레임 경계 또는 상기 종료 프레임 경계는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 상기 시간-스펙트럼 변환기에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 적어도 2개의 출력 시퀀스의 각각의 블록에 대하여 상기 스펙트럼-시간 변환기에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있다.
물론 요구되는 어떠한 교정도 존재하지 않으므로, 동일한 분석 및 합성 윈도우 형상들을 사용하는 것이 바람직하다. 한편, 디코더-측 상에서 시간 갭을 사용하는 것이 바람직하며, 여기서, 디코더-측 상의 시간-스펙트럼 변환기의 분석 윈도우의 선두 중첩 부분의 종료부와 멀티-채널 디코더-측 상의 코어 디코더에 의해 출력된 프레임의 종료부의 시간 순간 사이에 시간 갭이 존재한다. 따라서, 이러한 시간 갭 내의 코어 디코더 출력 샘플들은 스테레오 포스트-프로세서에 의한 분석 윈도우잉의 목적으로 즉시 필요한 것이 아니라 다음의 프레임의 프로세싱/윈도우잉에 대해서만 요구된다. 그러한 시간 갭은, 예를 들어, 중첩 부분의 단축을 초래하는 분석 윈도우의 중간의 비-중첩 부분을 통상적으로 사용함으로써 구현될 수 있다. 그러나, 그러한 시간 갭을 구현하기 위한 다른 대안들이 또한 사용될 수 있지만, 중간의 비-중첩 부분에 의해 시간 갭을 구현하는 것이 바람직한 방식이다. 따라서, 코어 디코더가 주파수-도메인으로부터 시간-도메인 프레임으로 스위칭하는 경우 바람직하게는 스위칭 이벤트들 사이의 다른 코어 디코더 동작들 또는 평활화 동작들, 또는 파라미터가 변하거나 또는 코딩 특징 변화들이 발생하는 경우 유용할 수 있는 임의의 다른 평활화 동작들에 대해 이러한 시간 갭이 사용될 수 있다.
실시 예에서, 스펙트럼 도메인 리샘플링은, 스펙트럼-시간 변환기가 시간 도메인 출력 신호에 대해 의도된 출력 샘플링 레이트의 시간 도메인으로 스펙트럼적으로 리샘플링된 신호를 결국 변환하는 그러한 방식으로, 멀티-채널 역 프로세싱 이전에 수행되거나, 또는 멀티-채널 역 프로세싱에 후속하여 수행된다.
따라서, 본 발명의 실시 예들은 임의의 계산 집약적인 시간-도메인 리샘플링 동작들을 완전히 피하도록 허용한다. 대신, 멀티-채널 프로세싱은 리샘플링과 결합된다. 바람직한 실시예들에서, 스펙트럼 도메인 리샘플링은, 다운샘플링의 경우에는 스펙트럼을 절단함으로써 수행되거나, 또는 업샘플링의 경우에는 스펙트럼을 제로 패딩함으로써 수행된다. DFT 또는 FFT 알고리즘과 같은 스펙트럼 도메인/시간-도메인 변환 알고리즘들에서 수행되는 특정한 정규화 동작들을 고려하기 위해, 이러한 용이한 동작들, 즉 한편으로는 스펙트럼을 절단하는 것 또는 다른 한편으로는 스펙트럼을 제로 패딩하는 것 및 바람직한 부가적인 스케일링들은 매우 효율적이고 낮은-지연 방식으로 스펙트럼 도메인 리샘플링 동작을 완료한다.
게다가, 인코더-측 상의 적어도 일부 또는 심지어 전체의 조인트 스테레오 프로세싱/조인트 멀티-채널 프로세싱 및 디코더-측 상의 대응하는 역 멀티-채널 프로세싱이 주파수-도메인에서 실행되기에 적합하다는 것이 발견되었다. 이것은, 인코더-측 상의 최소의 조인트 멀티-채널 프로세싱으로서의 다운믹스 동작 뿐만 아니라 또는 디코더-측 상의 최소의 역 멀티-채널 프로세싱에 유효하다. 대신, 심지어 인코더-측 상의 스테레오 장면 분석 및 시간/위상 정렬들 또는 디코더-측 상의 위상 및 시간 역정렬들이 또한 스펙트럼 도메인에서 수행될 수 있다. 인코더-측 상의 바람직하게 수행된 사이드 채널 인코딩 또는 디코더-측 상의 2개의 디코딩된 출력 채널들의 생성을 위한 사이드 채널 합성 및 사용에 동일한 것이 적용된다.
따라서, 본 발명의 이점은, 기존의 스테레오 코딩 방식들보다 스테레오 스피치의 변환에 훨씬 더 적합한 새로운 스테레오 코딩 방식을 제공하는 것이다. 본 발명의 실시예들은, 낮은-지연 스테레오 코덱을 달성하고, 스위칭형 오디오 코덱 내의 스피치 코어 코더 및 MDCT-기반 코어 코더 둘 모두에 대해 주파수-도메인에서 수행되는 공통 스테레오 툴을 통합하기 위한 새로운 프레임워크를 제공한다.
본 발명의 실시예들은 종래의 M/S 스테레오 또는 파라메트릭 스테레오로부터의 엘리먼트들을 혼합하는 하이브리드 접근법에 관한 것이다. 실시예들은 조인트 스테레오 코딩으로부터의 일부 양상들 및 툴들 및 파라메트릭 스테레오로부터의 다른 양상들 및 툴들을 사용한다. 특히, 실시예들은 인코더의 전단 및 디코더의 후단에서 행해진 여분의 시간-주파수 분석 및 합성을 채용한다. 시간-주파수 분해 및 역변환은 복소 값들을 갖는 필터-뱅크 또는 블록 변환 중 어느 하나를 이용함으로써 달성된다. 2개의 채널들 또는 멀티-채널 입력으로부터, 스테레오 또는 멀티-채널 프로세싱은 입력 채널들을 결합하고 그 채널들을 중간 및 사이드 신호들(MS)로 지칭되는 출력 채널들로 변경시킨다.
본 발명의 실시예들은 스테레오 모듈에 의해, 그리고 특히 자신의 필터-뱅크의 프레이밍 및 윈도우잉으로부터 도입된 알고리즘 지연을 감소시키기 위한 솔루션을 제공한다. 본 발명은, 동일한 스테레오 프로세싱 신호를 상이한 샘플링 레이트들로 생성함으로써 3GPP EVS와 같은 스위칭형 코더, 또는 ACELP와 같은 스피치 코더와 TCX와 같은 일반적인 오디오 코더 사이에서 스위칭하는 코더를 공급하기 위한 멀티-레이트 역변환을 제공한다. 또한, 본 발명은, 상이한 제약들의 낮은-지연 및 낮은-복잡 시스템 뿐만 아니라 스테레오 프로세싱에 대해 적응되는 윈도우잉을 제공한다. 또한, 실시예들은 스펙트럼 도메인에서 상이한 디코딩된 합성 결과들을 결합 및 리샘플링하기 위한 방법을 제공하며, 여기서, 역 스테레오 프로세싱이 또한 적용된다.
본 발명의 바람직한 실시예는, 스펙트럼 값들의 단일 스펙트럼-도메인 리샘플링된 블록 뿐만 아니라, 부가적으로는, 더 높은 또는 더 낮은 샘플링 레이트에 대응하는 스펙트럼 값들의 블록들의 추가로 리샘플링된 시퀀스를 생성하는 스펙트럼 도메인 리샘플러의 다기능을 포함한다.
또한, 멀티-채널 인코더는, 인코더-측 상에서 시간-스펙트럼 변환기로 입력된 본래의 제1 및 제2 채널 신호와 동일한 샘플링 레이트를 갖는 스펙트럼-시간 변환기의 출력에서 출력 신호를 부가적으로 제공하도록 구성된다. 따라서, 실시예들에서, 멀티-채널 인코더는, 바람직하게는 MDCT-기반 인코딩을 위해 사용되는 본래의 입력 샘플링 레이트로 적어도 하나의 출력 신호를 제공한다. 부가적으로, 적어도 하나의 출력 신호는 ACELP 코딩에 특히 유용한 중간 샘플링 레이트로 제공되며, ACELP 인코딩에 또한 유용하지만 다른 출력 샘플링 레이트와는 상이한 추가적인 출력 샘플링 레이트로 추가적인 출력 신호를 부가적으로 제공한다.
이들 절차들은, 중간 신호 또는 사이드 신호 중 어느 하나 또는 멀티-채널 신호의 제1 및 제2 채널 신호로부터 도출된 신호들 둘 모두에 대해 수행될 수 있으며, 여기서, 2개의 채널들(부가적으로는 2개, 예컨대, 저-주파수 향상 채널)만을 갖는 스테레오 신호의 경우에서, 제1 신호는 또한 좌측 신호일 수 있고 제2 신호는 우측 신호일 수 있다.
후속하여, 본 발명의 바람직한 실시 예들은 첨부한 도면들에 대해 상세히 논의된다.
도 1은 멀티-채널 인코더의 일 실시 예의 블록도이다.
도 2는 스펙트럼 도메인 리샘플링의 실시 예들을 나타낸다.
도 3a-3c는 스펙트럼 도메인에서 상이한 정규화들 및 대응하는 스케일링을 이용하여 시간/주파수 또는 주파수/시간-변환들을 수행하기 위한 상이한 대안들을 나타낸다.
도 3d는 특정한 실시 예들에 대한 상이한 주파수 분해능들 및 다른 주파수-관련 양상들을 나타낸다.
도 4a는 인코더의 일 실시 예의 블록도를 나타낸다.
도 4b는 디코더의 대응하는 실시 예의 블록도를 나타낸다.
도 5는 멀티-채널 인코더의 바람직한 실시 예를 나타낸다.
도 6은 멀티-채널 디코더의 일 실시 예의 블록도를 나타낸다.
도 7a는 결합기를 포함하는 멀티-채널 디코더의 추가적인 실시 예를 나타낸다.
도 7b는 결합기(부가)를 부가적으로 포함하는 멀티-채널 디코더의 추가적인 실시 예를 나타낸다.
도 8a는 수 개의 샘플링 레이트들에 대한 윈도우의 상이한 특징들을 도시하는 표를 나타낸다.
도 8b는 시간-스펙트럼 변환기 및 스펙트럼-시간 변환기의 일 구현으로서 DFT 필터-뱅크에 대한 상이한 제안들/실시 예들을 나타낸다.
도 8c는 10ms의 시간 분해능을 갖는 DFT의 2개의 분석 윈도우들의 시퀀스를 나타낸다.
도 9a는 제1 제안/실시 예에 따른 인코더의 개략적인 윈도우잉을 나타낸다.
도 9b는 제1 제안/실시 예에 따른 디코더의 개략적인 윈도우잉을 나타낸다.
도 9c는 제1 제안/실시 예에 따른 인코더 및 디코더의 윈도우들을 나타낸다.
도 9d는 교정 실시 예를 예시하는 바람직한 흐름도를 나타낸다.
도 9e는 교정 실시 예를 추가로 예시하는 흐름도를 나타낸다.
도 9f는 시간 갭의 디코더-측 실시 예를 설명하기 위한 흐름도를 나타낸다.
도 10a는 제4 제안/실시 예에 따른 인코더의 개략적인 윈도우잉을 나타낸다.
도 10b는 제4 제안/실시 예에 따른 디코더의 개략적인 윈도우를 나타낸다.
도 10c는 제4 제안/실시 예에 따른 인코더 및 디코더의 윈도우들을 나타낸다.
도 11a는 제5 제안/실시 예에 따른 인코더의 개략적인 윈도우잉을 나타낸다.
도 11b는 제5 제안/실시 예에 따른 디코더의 개략적인 윈도우잉을 나타낸다.
도 11c는 제5 제안/실시 예에 따른 인코더 및 디코더에서의 윈도우들을 나타낸다.
도 12는 신호 프로세서에서 다운믹스를 사용하는 멀티-채널 프로세싱의 바람직한 구현의 블록도이다.
도 13은 신호 프로세서 내의 업믹스 동작을 이용하는 역 멀티-채널 프로세싱의 바람직한 실시 예이다.
도 14a는 채널들을 정렬시키려는 목적으로 인코딩을 위한 장치에서 수행되는 절차들의 흐름도를 나타낸다.
도 14b는 주파수-도메인에서 수행되는 절차들의 바람직한 실시 예를 나타낸다.
도 14c는 제로 패딩 부분들 및 중첩 범위들을 갖는 분석 윈도우를 사용하여 인코딩하기 위한 장치에서 수행되는 절차들의 바람직한 실시 예를 나타낸다.
도 14d는 인코딩을 위한 장치의 일 실시 예 내에서 수행되는 추가적인 절차들에 대한 흐름도를 나타낸다.
도 15a는 멀티-채널 신호들을 디코딩 및 인코딩하기 위한 장치의 일 실시 예에 의해 수행되는 절차들을 나타낸다.
도 15b는 일부 양상들에 대한 디코딩을 위한 장치의 바람직한 구현을 나타낸다.
도 15c는 인코딩된 멀티-채널 신호의 디코딩의 프레임워크에서 브로드밴드 역-정렬의 콘텍스트로 수행되는 절차를 나타낸다.
도 2는 스펙트럼 도메인 리샘플링의 실시 예들을 나타낸다.
도 3a-3c는 스펙트럼 도메인에서 상이한 정규화들 및 대응하는 스케일링을 이용하여 시간/주파수 또는 주파수/시간-변환들을 수행하기 위한 상이한 대안들을 나타낸다.
도 3d는 특정한 실시 예들에 대한 상이한 주파수 분해능들 및 다른 주파수-관련 양상들을 나타낸다.
도 4a는 인코더의 일 실시 예의 블록도를 나타낸다.
도 4b는 디코더의 대응하는 실시 예의 블록도를 나타낸다.
도 5는 멀티-채널 인코더의 바람직한 실시 예를 나타낸다.
도 6은 멀티-채널 디코더의 일 실시 예의 블록도를 나타낸다.
도 7a는 결합기를 포함하는 멀티-채널 디코더의 추가적인 실시 예를 나타낸다.
도 7b는 결합기(부가)를 부가적으로 포함하는 멀티-채널 디코더의 추가적인 실시 예를 나타낸다.
도 8a는 수 개의 샘플링 레이트들에 대한 윈도우의 상이한 특징들을 도시하는 표를 나타낸다.
도 8b는 시간-스펙트럼 변환기 및 스펙트럼-시간 변환기의 일 구현으로서 DFT 필터-뱅크에 대한 상이한 제안들/실시 예들을 나타낸다.
도 8c는 10ms의 시간 분해능을 갖는 DFT의 2개의 분석 윈도우들의 시퀀스를 나타낸다.
도 9a는 제1 제안/실시 예에 따른 인코더의 개략적인 윈도우잉을 나타낸다.
도 9b는 제1 제안/실시 예에 따른 디코더의 개략적인 윈도우잉을 나타낸다.
도 9c는 제1 제안/실시 예에 따른 인코더 및 디코더의 윈도우들을 나타낸다.
도 9d는 교정 실시 예를 예시하는 바람직한 흐름도를 나타낸다.
도 9e는 교정 실시 예를 추가로 예시하는 흐름도를 나타낸다.
도 9f는 시간 갭의 디코더-측 실시 예를 설명하기 위한 흐름도를 나타낸다.
도 10a는 제4 제안/실시 예에 따른 인코더의 개략적인 윈도우잉을 나타낸다.
도 10b는 제4 제안/실시 예에 따른 디코더의 개략적인 윈도우를 나타낸다.
도 10c는 제4 제안/실시 예에 따른 인코더 및 디코더의 윈도우들을 나타낸다.
도 11a는 제5 제안/실시 예에 따른 인코더의 개략적인 윈도우잉을 나타낸다.
도 11b는 제5 제안/실시 예에 따른 디코더의 개략적인 윈도우잉을 나타낸다.
도 11c는 제5 제안/실시 예에 따른 인코더 및 디코더에서의 윈도우들을 나타낸다.
도 12는 신호 프로세서에서 다운믹스를 사용하는 멀티-채널 프로세싱의 바람직한 구현의 블록도이다.
도 13은 신호 프로세서 내의 업믹스 동작을 이용하는 역 멀티-채널 프로세싱의 바람직한 실시 예이다.
도 14a는 채널들을 정렬시키려는 목적으로 인코딩을 위한 장치에서 수행되는 절차들의 흐름도를 나타낸다.
도 14b는 주파수-도메인에서 수행되는 절차들의 바람직한 실시 예를 나타낸다.
도 14c는 제로 패딩 부분들 및 중첩 범위들을 갖는 분석 윈도우를 사용하여 인코딩하기 위한 장치에서 수행되는 절차들의 바람직한 실시 예를 나타낸다.
도 14d는 인코딩을 위한 장치의 일 실시 예 내에서 수행되는 추가적인 절차들에 대한 흐름도를 나타낸다.
도 15a는 멀티-채널 신호들을 디코딩 및 인코딩하기 위한 장치의 일 실시 예에 의해 수행되는 절차들을 나타낸다.
도 15b는 일부 양상들에 대한 디코딩을 위한 장치의 바람직한 구현을 나타낸다.
도 15c는 인코딩된 멀티-채널 신호의 디코딩의 프레임워크에서 브로드밴드 역-정렬의 콘텍스트로 수행되는 절차를 나타낸다.
도 1은 적어도 2개의 채널들(1001, 1002)을 포함하는 멀티-채널 신호를 인코딩하기 위한 장치를 나타낸다. 2채널 스테레오 시나리오의 경우에서, 제1 채널(1001)은 좌측 채널이고, 제2 채널(1002)은 우측 채널일 수 있다. 그러나, 멀티-채널 시나리오의 경우에서, 제1 채널(1001) 및 제2 채널(1002)은, 예를 들어, 한편으로는 좌측 채널 및 다른 한편으로는 좌측 서라운드 채널 또는 한편으로는 우측 채널 및 다른 한편으로는 우측 서라운드 채널과 같은 멀티-채널 신호의 채널들 중 임의의 채널일 수 있다. 그러나, 이들 채널 쌍들은 예들일 뿐이며, 다른 채널 쌍들이 경우에 따라 적용될 수 있다.
도 1의 멀티-채널 인코더는, 적어도 2개의 채널들의 샘플링 값들의 블록들의 시퀀스들을 시간-스펙트럼 변환기의 출력의 주파수-도메인 표현으로 변환하기 위한 시간-스펙트럼 변환기를 포함한다. 각각의 주파수 도메인 표현은 적어도 2개의 채널들 중 하나에 대한 스펙트럼 값들의 블록들의 시퀀스를 갖는다. 특히, 제1 채널(1001) 또는 제2 채널(1002)의 샘플링 값들의 블록은 연관된 입력 샘플링 레이트를 가지며, 시간-스펙트럼 변환기의 출력의 시퀀스들의 스펙트럼 값들의 블록은, 입력 샘플링 레이트에 관련되는 최대 입력 주파수까지의 스펙트럼 값들을 갖는다. 도 1에 예시된 실시 예에서, 시간-스펙트럼 변환기는 멀티-채널 프로세서(1010)에 연결된다. 이러한 멀티-채널 프로세서는, 적어도 2개의 채널들에 관련된 정보를 포함하는 스펙트럼 값들의 블록들의 적어도 하나의 결과 시퀀스를 획득하기 위해, 스펙트럼 값들의 블록들의 시퀀스들에 조인트 멀티-채널 프로세싱을 적용하도록 구성된다. 통상적인 멀티-채널 프로세싱 동작은 다운믹스 동작이지만, 바람직한 멀티-채널 동작은 이후에 설명될 부가적인 절차들을 포함한다.
코어 인코더(1040)는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해진다. 시간-스펙트럼 변환기(1000) 또는 스펙트럼-시간 변환기(1030)는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되고, 상기 프레임들의 시퀀스의 각각의 프레임의 시작 프레임 경계(1901) 또는 종료 프레임 경계(1902)는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 시간-스펙트럼 변환기(1000)에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 출력 시퀀스의 각각의 블록에 대하여 스펙트럼-시간 변환기(1030)에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있다.
도 1에 나타난 바와 같이, 스펙트럼 도메인 리샘플링은 선택적인(optional) 특징이다. 본 발명은 또한 임의의 리샘플링 없이 수행되거나, 또는 멀티채널 프로세싱 이후 또는 이전의 리샘플링과 함께 수행될 수 있다. 사용하는 경우, 스펙트럼 도메인 리샘플러(1020)는 주파수 도메인에서 스펙트럼-시간 변환기(1030)로 입력된 데이터에 대해서 또는 멀티-채널 프로세서(1010)로 입력된 데이터에 대해서 리샘플링 동작을 수행하고, 스펙트럼 값들의 블록들의 리샘플링된 시퀀스의 블록은 최대 입력 주파수(1211)와는 상이한 최대 출력 주파수(1231, 1221)까지의 스펙트럼 값들을 가진다. 그 후에, 리샘플링의 실시 예들이 서술되나, 상기 리샘플링은 선택적인 특징임은 강조되어야 한다.
추가의 실시 예에서, 멀티-채널 프로세서(1010)는 스펙트럼 도메인 리샘플러(1020)에 연결되고, 스펙트럼-도메인 리샘플러(1020)의 출력은 멀티-채널 프로세서에 입력된다. 이것은 파선 연결들(1021, 1022)에 의해 예시된다. 이러한 대안적인 실시 예에서, 멀티-채널 프로세서는, 시간-스펙트럼 변환기에 의한 출력으로서의 스펙트럼 값들의 블록들의 시퀀스들이 아니라 연결 라인들(1022) 상에서 이용가능한 것으로서의 블록들의 리샘플링된 시퀀스들에 조인트 멀티-채널 프로세싱을 적용하도록 구성된다.
스펙트럼-도메인 리샘플러(1020)는, 멀티-채널 프로세서에 의해 생성된 결과 시퀀스의 리샘플링을 위해, 또는 시간-스펙트럼 변환기(1000)에 의해 출력된 블록들의 시퀀스들을 리샘플링하여, 라인(1025)에 예시된 바와 같이 중간-신호를 표현할 수 있는 스펙트럼 값들의 블록들의 리샘플링된 시퀀스를 획득하도록 구성된다. 바람직하게, 스펙트럼 도메인 리샘플러는, 멀티-채널 프로세서에 의해 생성된 사이드 신호에 대한 리샘플링을 부가적으로 수행하고, 따라서, 1026에 예시된 바와 같이 사이드 신호에 대응하는 리샘플링된 시퀀스를 또한 출력한다. 그러나, 사이드 신호의 생성 및 리샘플링은 선택적이며, 낮은 비트 레이트 구현에 대해서는 요구되지 않는다. 바람직하게, 스펙트럼-도메인 리샘플러(1020)는, 다운샘플링의 목적으로 스펙트럼 값들의 블록들을 절단하거나, 또는 업샘플링의 목적으로 스펙트럼 값들의 블록들을 제로 패딩하기 위해 구성된다. 멀티-채널 인코더는 부가적으로, 입력 샘플링 레이트와는 상이한 출력 샘플링 레이트를 연관시키는 샘플링 값들의 블록들의 출력 시퀀스를 포함하는 시간-도메인 표현으로 스펙트럼 값들의 블록들의 리샘플링된 시퀀스를 변환하기 위한 스펙트럼-시간 변환기를 포함한다. 스펙트럼 도메인 리샘플링이 멀티-채널 프로세싱 이전에 수행되는 대안적인 실시 예들에서, 멀티-채널 프로세서는 파선(1023)을 통해 결과 시퀀스를 스펙트럼-시간 변환기(1030)에 직접 제공한다. 이러한 대안적인 실시 예에서, 선택적인 특성은 부가적으로, 사이드 신호가 리샘플링된 표현으로 이미 멀티-채널 프로세서에 의해 생성되고, 그 후, 사이드 신호가 스펙트럼-시간 변환기에 의해 또한 프로세싱된다는 것이다.
결국, 바람직하게는, 스펙트럼-시간 변환기는 시간-도메인 중간 신호(1031) 및 선택적인 시간-도메인 사이드 신호(1032)를 제공하며, 그 둘 모두의 신호들은 코어 인코더(1040)에 의해 코어-인코딩될 수 있다. 일반적으로, 코어 인코더는 인코딩된 멀티-채널 신호를 획득하기 위해 샘플링 값들의 블록들의 출력 시퀀스를 인코딩하는 코어에 대해 구성된다.
도 2는 스펙트럼 도메인 리샘플링을 설명하는데 유용한 스펙트럼 차트들을 나타낸다.
도 2의 상부 차트는 시간-스펙트럼 변환기(1000)의 출력에서 이용가능한 바와 같은 채널의 스펙트럼을 나타낸다. 이러한 스펙트럼(1210)은 최대 입력 주파수(1211) 까지의 스펙트럼 값들을 갖는다. 업샘플링의 경우에서, 제로 패딩은 최대 출력 주파수(1221)까지 확장되는 제로 패딩 부분 또는 제로 패딩 구역(1220) 내에서 수행된다. 업샘플링이 의도되므로, 최대 출력 주파수(1221)는 최대 입력 주파수(1211) 보다 크다.
이와는 대조적으로, 도 2의 최하부 차트는 블록들의 시퀀스를 다운샘플링함으로써 발생되는 절차들을 나타낸다. 이를 위해, 블록은, 1231에서의 절단된 스펙트럼의 최대 출력 주파수가 최대 입력 주파수(1211)보다 낮도록, 절단된 구역(1230) 내에서 절단된다.
통상적으로, 도 2의 대응하는 스펙트럼과 연관된 샘플링 레이트는 스펙트럼의 최대 주파수의 적어도 2x이다. 따라서, 도 2의 상부의 경우에 대해, 샘플링 레이트는 최대 입력 주파수(1211)의 적어도 2배가 될 것이다.
도 2의 제2 차트에서, 샘플링 레이트는 최대 출력 주파수(1221)의 적어도 2배, 즉 제로 패딩 구역(1220)의 최고의 주파수일 것이다. 이와 대조적으로, 도 2의 최하부 차트에서, 샘플링 레이트는 최대 출력 주파수(1231)의 적어도 2x, 즉 절단된 구역(1230) 내의 절두부에 후속하는 남아있는 최고의 스펙트럼 값이 될 것이다.
도 3a 내지 도 3c는 특정한 DFT 순방향 또는 역방향 변환 알고리즘들의 콘텍스트에서 사용될 수 있는 수개의 대안들을 나타낸다. 도 3a에서, 사이즈 x를 갖는 DFT가 수행되고, 순방향 변환 알고리즘(1311)에서 어떠한 정규화도 발생하지 않은 상황이 고려된다. 블록(1331)에서, 상이한 사이즈 y를 갖는 역방향 변환이 예시되며, 여기서, 1/Ny 를 이용한 정규화가 수행된다. Ny는 사이즈 y를 갖는 역방향 변환의 스펙트럼 값들의 수이다. 그 후, 블록(1321)에 의해 예시된 바와 같이, Ny/Nx에 의한 스케일링을 수행하는 것이 바람직하다.
이와 대조적으로, 도 3b는, 정규화가 순방향 변환(1312) 및 역방향 변환(1332)에 분배되는 구현을 나타낸다. 그 후, 스케일링이 블록(1322)에 예시된 바와 같이 요구되며, 여기서, 역방향 변환의 스펙트럼 값들의 수 내지 순방향 변환의 스펙트럼 값들의 수 사이의 관계의 제곱근이 유용하다.
도 3c는 추가적인 구현을 예시하며, 여기서, 전체 정규화는 사이즈 x를 갖는 순방향 변환이 수행되는 순방향 변환에 대해 수행된다. 그 후, 블록(1333)에 예시된 바와 같은 역방향 변환은, 임의의 스케일링이 도 3c의 개략적인 블록(1323)에 의해 예시된 바와 같이 요구되지 않도록 임의의 정규화없이 동작된다. 따라서 특정한 알고리즘들에 의존하여, 특정한 스케일링 동작들이 요구되거나, 심지어 어떠한 스케일링 동작들도 요구되지 않는다. 그러나, 도 3a에 따라 동작하는 것이 바람직하다.
전체 지연을 낮게 유지하기 위해, 본 발명은, 시간-도메인 리샘플러의 필요성을 피하기 위하여, 그리고 DFT 도메인에서 신호들을 리샘플링함으로써 이를 대체함으로써, 인코더-측의 방법을 제공한다. 예를 들어, EVS에서, 그것은, 시간-도메인 리샘플러로부터 도래하는 0.9375ms의 지연을 절약하는 것을 허용한다. 주파수 도메인의 리샘플링은 스펙트럼을 제로 패딩 또는 절단하고 그것을 정확히 스케일링함으로써 달성된다.
사이즈 Nx의 스펙트럼 X에 대해 레이트 fx로 샘플링된 입력 윈도우잉된 신호 x 및 사이즈 Ny의 스펙트럼에 대해 레이트 fy로 리-샘플링된 동일한 신호의 버전 y를 고려한다. 그 후, 샘플링 팩터는 다음과 동일하며:
업샘플링의 경우에는 Nx＞Ny 이다.
다운샘플링은 본래의 스펙트럼 X를 직접 스케일링 및 절단함으로써 주파수 도메인에서 간단히 수행될 수 있으며:
업샘플링의 경우에는 Nx＜Ny 이다. 업-샘플링은 본래의 스펙트럼 X를 직접 스케일링 및 제로 패딩함으로써 주파수 도메인에서 간단히 수행될 수 있다.
리-샘플링 동작들 둘 모두는 다음으로 요약될 수 있다:
일단 새로운 스펙트럼 Y가 획득되면, 시간-도메인 신호 y는 사이즈 Ny의 연관된 역변환 iDFT를 적용함으로써 획득될 수 있다:
상이한 프레임들에 걸쳐 연속적인 시간 신호를 구성하기 위해, 그 후, 출력 프레임 y는 윈도우잉되고, 이전에 획득된 프레임에 중첩-부가된다.
윈도우 형상은 모든 샘플링 레이트들에 대해 동일하지만, 윈도우는 샘플들에서 상이한 사이즈들을 가지며, 샘플링 레이트에 의존하여 상이하게 샘플링된다. 형상이 순수하게 분석적으로 정의되므로, 윈도우들의 샘플들의 수 및 그들의 값들이 용이하게 도출될 수 있다. 윈도우의 상이한 부분들 및 사이즈들은, 타겟팅된 샘플링 레이트의 함수로서 도 8a에서 발견될 수 있다. 이러한 경우에서, 중첩 부분(LA)의 사인 함수가 분석 및 합성 윈도우들에 대해 사용된다. 이 구역들에 대해, 오름차순 ovlp_size 계수들은 다음에 의해 제공된다:
한편, 내림차순 ovlp_size 계수들은 다음에 의해 제공된다:
여기서, ovlp_size는 샘플링 레이트의 함수이고, 도 8a에서 제공된다.
새로운 낮은 지연 스테레오 코딩은 일부 공간 큐들을 활용하는 조인트 중간/사이드(M/S) 스테레오 코딩이며, 여기서, 중간-채널은 1차 모노 코어 코더에 의해 코딩되고, 사이드-채널은 2차 코어 코더에서 코딩된다. 인코더 및 디코더 원리들은 도 4a 및 도 4b에 도시된다.
스테레오 프로세싱은 주로 주파수 도메인(FD)에서 수행된다. 선택적으로, 일부 스테레오 프로세싱은 주파수 분석 이전에 시간 도메인(TD)에서 수행될 수 있다. 그것은, 스테레오 분석 및 프로세싱을 추구하기 전에 시간으로 채널들을 정렬하기 위한 주파수 분석 전에 계산 및 적용될 수 있는 ITD 계산에 대한 경우이다. 대안적으로, ITD 프로세싱은 주파수 도메인에서 직접 행해질 수 있다. ACELP와 같은 일반적인 스피치 코더는 어떠한 내부 시간-주파수 분해도 포함되지 않으므로, 스테레오 코딩은 코어 인코더 전의 분석 및 합성 필터-뱅크 및 코어 디코더 이후의 분석-합성 필터-뱅크의 다른 스테이지에 의해 여분의 복소 변조된 필터-뱅크를 부가한다. 바람직한 실시 예에서, 낮은 중첩 구역을 갖는 오버샘플링된 DFT가 이용된다. 그러나, 다른 실시 예들에서, 유사한 시간 분해능을 이용한 임의의 복소 값의 시간-주파수 분해가 사용될 수 있다. 스테레오 필터-뱅크에 후속하여, QMF와 같은 필터-뱅크 또는 DFT와 같은 블록 변환 중 어느 하나가 참조된다.
스테레오 프로세싱은, 채널간 시간 차이(ITD), 채널간 위상 차이(IPD)들, 채널간 레벨 차이(ILD)들 및 중간 신호(M)와 함께 사이드 신호(S)를 예측하기 위한 예측 이득들과 같은 스테레오 파라미터들 및/또는 공간 큐들을 계산하는 것으로 이루어진다. 인코더 및 디코더 둘 모두의 스테레오 필터-뱅크가 코딩 시스템에 여분의 지연을 도입한다는 것을 유의하는 것이 중요하다.
도 4a는 멀티-채널 신호를 인코딩하기 위한 장치를 예시하며, 이러한 구현에서, 특정한 조인트 스테레오 프로세싱은 채널간 시간 차이(ITD) 분석을 사용하여 시간-도메인에서 수행되고, 이러한 ITD 분석(1420)의 결과는 시간-스펙트럼 변환기들(1000) 전에 배치된 시간-시프트 블록(1410)을 사용하여 시간 도메인 내에 적용된다.
그 후, 스펙트럼 도메인 내에서, 중간 신호 M에 대한 좌측 및 우측의 적어도 다운 믹스, 및 선택적으로는 사이드 신호 S의 계산을 초래하는 추가적인 스테레오 프로세싱(1010)이 수행되며, 도 4a에 명시적으로 예시되지는 않지만, 도 1에 예시된 스펙트럼-도메인 리샘플러(1020)에 의해 수행된 리샘플링 동작은 2개의 상이한 대안들 중 하나를 적용할 수 있으며, 즉, 멀티-채널 프로세싱에 후속하여 또는 멀티-채널 프로세싱 전에 리샘플링을 수행할 수 있다.
또한, 도 4a는 바람직한 코어 인코더(1040)의 추가적인 세부사항들을 나타낸다. 특히, 스펙트럼-시간 변환기(1030)의 출력에서 시간-도메인 중간 신호 m을 코딩하려는 목적으로, EVS 인코더가 사용된다. 부가적으로, MDCT 코딩(1440) 및 후속하여 연결된 벡터 양자화(1450)가 사이드 신호 인코딩의 목적으로 수행된다.
인코딩된 또는 코어-인코딩된 중간 신호 및 코어-인코딩된 사이드 신호는 이들 인코딩된 신호들을 사이드 정보와 멀티플렉싱하는 멀티플렉서(1500)에 포워딩된다. 하나의 종류의 사이드 정보는, 멀티플렉서(및 선택적으로는 스테레오 프로세싱 엘리먼트(1010))에 대한 1421에서의 ID 파라미터 출력이고, 추가적인 파라미터는 채널 레벨 차이/예측 파라미터들, 채널간 위상 차이(IPD 파라미터)들 또는 라인(1422)에 예시된 바와 같은 스테레오 충진(filling) 파라미터들이다. 대응적으로, 비트스트림(1510)에 의해 표현되는 멀티-채널 신호를 디코딩하기 위한 도 4b의 장치는, 디멀티플렉서(1520), 이러한 실시 예에서는 인코딩된 중간 신호에 대한 EVS 디코더(1602)로 이루어진 코어 디코더, 벡터 역양자화기(1603) 및 후속하여 연결된 역 MDCT 블록(1604)을 포함한다. 블록(1604)은 코어 디코딩된 사이드 신호 s를 제공한다. 디코딩된 신호들 m, s는 시간-스펙트럼 변환기들(1610)을 사용하여 스펙트럼 도메인으로 변환되고, 그 후, 스펙트럼 도메인 내에서, 역 스테레오 프로세싱 및 리샘플링이 수행된다. 다시, 도 4b는, M 신호로부터 좌측 L 및 우측 R로의 업믹싱이 수행되고, 부가적으로는 IPD 파라미터들을 사용하여 협대역 역-정렬이 수행되고, 부가적으로는, 채널간 레벨 차이 파라미터들 ILD 및 라인(1605) 상의 스테레오 충진 파라미터들을 사용하여 좌측 및 우측 채널을 가능한 양호하게 계산하기 위한 추가적인 절차들이 수행되는 상황을 나타낸다. 또한, 예를 들어, 디멀티플렉서(1520)는 비트스트림(1510)으로부터 라인(1605) 상의 파라미터들을 추출할 뿐만 아니라, 라인(1606) 상의 채널간 시간 차이를 추출하고, 이러한 정보를 블록 역 스테레오 프로세싱/리샘플러에 그리고 부가적으로는, 시간-도메인에서 수행되는 (즉, EVS 디코더(1602)의 출력의 레이트와는 상이하거나 또는 IMDCT 블록(1604)의 출력의 레이트와는 상이한 출력 레이트로 디코딩된 좌측 및 우측 신호들을 제공하는 스펙트럼-시간 변환기들에 의해 수행되는 절차에 후속하는) 블록(1650)의 역 시간 시프트 프로세싱에 포워딩한다.
그 후, 스테레오 DFT는 다른 샘플링된 버전들의 신호를 제공할 수 있으며, 이 신호는 스위칭형 코어 인코더에 추가로 전달된다. 코딩할 신호는, 중간 채널, 사이드 채널, 또는 좌측 및 우측 채널들, 또는 2개의 입력 채널들의 회전 또는 채널 매핑으로부터 초래되는 임의의 신호일 수 있다. 스위칭형 시스템의 상이한 코어 인코더들이 상이한 샘플링 레이트들을 수용하므로, 스테레오 합성 필터-뱅크가 멀티-정격 신호를 제공할 수 있다는 것은 중요한 특성이다. 원리는 도 5에서 제공된다.
도 5에서, 스테레오 모듈은 2개의 입력 채널 l 및 r을 입력으로서 취하고, 이들을 주파수 도메인에서 신호 M 및 S로 변환한다. 스테레오 프로세싱에서, 최종적으로, 입력 채널들을 프로세싱하는 것은 2개의 새로운 신호들 M 및 S를 생성하도록 맵핑 또는 수정될 수 있다. M은 3GPP 표준 EVS 모노 또는 그의 수정된 버전에 의해 추가로 코딩된다. 그러한 인코더는, MDCT 코어들(EVS의 경우에는 TCX 및 HQ-코어)와 스피치 코더(EVS의 ACELP) 사이에서 스위칭하는 스위칭형 코더이다. 또한, 그것은, 12.8kHz에서 항상 구동하는 프리-프로세싱 기능들 및 동작 모드(12.8, 16, 25.6 또는 32kHz)에 따라 변하는 샘플링 레이트로 구동하는 다른 프리-프로세싱 기능들을 갖는다. 또한, ACELP는 12.8 또는 16kHz 중 어느 하나로 구동하는 반면, MDCT 코어들은 입력 샘플링 레이트로 구동한다. 신호 S는, 표준 EVS 모노 인코더(또는 그의 수정된 버전) 또는 그의 특징들을 위해 특수하게 설계된 특정 사이드 신호 인코더 중 어느 하나에 의해 코딩될 수 있다. 사이드 신호 S의 코딩을 스킵하는 것이 또한 가능할 수 있다.
도 5는 스테레오 프로세싱된 신호들 M 및 S의 멀티-레이트 합성 필터-뱅크를 갖는 바람직한 스테레오 인코더 세부사항들을 나타낸다. 도 5는 입력 레이트, 즉 신호들(1001 및 1002)이 갖는 레이트로 시간 주파수 변환을 수행하는 시간-스펙트럼 변환기(1000)를 도시한다. 명시적으로, 도 5는 각각의 채널에 대한 시간-도메인 분석 블록(1000a, 1000e)을 부가적으로 나타낸다. 특히, 도 5가 명시적인 시간-도메인 분석 블록, 즉 분석 윈도우를 대응하는 채널에 적용하기 위한 윈도우어(windower)를 예시하지만, 본 명세서의 다른 장소들에서, 시간-도메인 분석 블록을 적용하기 위한 윈도우어는 일부 샘플링 레이트의 "시간-스펙트럼 변환기” 또는 "DFT"로 표시된 블록에 포함되는 것으로 고려됨을 유의할 것이다. 또한 그리고 대응적으로, 스펙트럼-시간 변환기의 언급은 통상적으로, 실제 DFT 알고리즘의 출력에서, 대응하는 합성 윈도우를 적용하기 위한 윈도우어를 포함하며, 여기서, 최종적으로 출력 샘플들을 획득하기 위해, 대응하는 합성 윈도우를 이용하여 윈도우잉된 샘플링 값들의 블록들의 중첩-부가가 수행된다. 따라서, 예를 들어, 블록(1030)이 단지 "IDFT"만을 언급하더라도, 이러한 블록은 또한 통상적으로, 분석 윈도우를 이용한 시간-도메인 샘플들의 블록의 후속 윈도우잉 및 또한, 시간-도메인 m 신호를 최종적으로 획득하기 위한 후속 중첩-부가 동작을 나타낸다.
또한, 도 5는 스테레오 프로세싱 및 다운믹스를 수행하기 위해 블록(1010)에서 사용되는 파라미터들을 수행하는 특정 스테레오 장면 분석 블록(1011)을 예시하며, 이들 파라미터들은, 예를 들어, 도 4a의 라인들(1422 또는 1421) 상의 파라미터들일 수 있다. 따라서, 블록(1011)은, 심지어 파라미터 분석, 즉 스테레오 장면 분석이 스펙트럼 도메인에서, 특히, 리샘플링되는 것이 아니라 입력 샘플링 레이트에 대응하는 최대 주파수에 있는 스펙트럼 값들의 블록들의 시퀀스에 대해 발생하는 구현에서 도 4a의 블록(1420)에 대응할 수 있다.
또한, 코어 디코더(1040)는 MDCT-기반 인코더 분기(1430a) 및 ACELP 인코딩 분기(1430b)를 포함한다. 특히, 중간 신호들 M에 대한 중간 코더 및 사이드 신호 s에 대한 대응하는 사이드 코더는 MDCT-기반 인코딩과 ACELP 인코딩 사이의 스위치 코딩을 수행하며, 여기서, 통상적으로 코어 인코더는 부가적으로, 특정한 블록 또는 프레임이 MDCT-기반 절차들을 사용하여 인코딩될지 또는 ACELP-기반 절차들을 사용하여 인코딩될지를 결정하기 위해 특정한 룩-어헤드 부분 상에서 통상적으로 동작하는 코딩 모드 판정기를 갖는다. 또한, 또는 대안적으로, 코어 인코더는 LPC 파라미터들 등과 같은 다른 특징들을 결정하기 위해 룩-어헤드 부분을 사용하도록 구성된다.
또한, 코어 인코더는 부가적으로, 12.8kHz에서 동작하는 제1 프리프로세싱 스테이지(1430c) 및 16kHz, 25.6kHz 또는 32kHz로 이루어진 샘플링 레이트들의 그룹의 샘플링 레이트들로 동작하는 추가적인 프리프로세싱 스테이지(1430d)와 같이 상이한 샘플링 레이트들의 프리프로세싱 스테이지들을 포함한다.
따라서, 일반적으로, 도 5에 예시된 실시 예는, 8kHz, 16kHz 또는 32kHz 일 수 있는 입력 레이트로부터 8, 16 또는 32와는 상이한 출력 레이트들 중 임의의 레이트로 리샘플링하기 위한 스펙트럼 도메인 리샘플러를 갖도록 구성된다.
또한, 도 5의 실시 예는 부가적으로, 리샘플링되지 않은 부가적인 분기, 즉 중간 신호 및 선택적으로는 사이드 신호에 대하여 "입력 레이트의 IDFT"에 의해 예시된 분기를 갖도록 구성된다.
또한, 도 5의 인코더는 바람직하게, 제1 출력 샘플링 레이트 및 제2 출력 샘플링 레이트 둘 모두에 대한 데이터를 갖기 위해 제1 출력 샘플링 레이트 뿐만 아니라 제2 출력 샘플링 레이트로 리샘플링하는 리샘플러, 및, 예를 들어, 몇몇 종류의 필터링, 몇몇 종류의 LPC 계산, 또는 도 4a의 콘텍스트에서 이미 언급된 EVS 인코더에 대한 3GPP 표준에서 바람직하게 개시된 몇몇 종류의 다른 신호 프로세싱을 수행하도록 동작가능할 수 있는 프리프로세서들(1430c 및 1430d)을 포함한다.
도 6은 인코딩된 멀티-채널 신호(1601)를 디코딩하기 위한 장치에 대한 일 실시 예를 나타낸다. 디코딩하기 위한 장치는, 코어 디코더(1600), 시간-스펙트럼 변환기(1610), 선택적인(optional) 스펙트럼 도메인 리샘플러(1620), 멀티-채널 프로세서(1630) 및 스펙트럼-시간 변환기(1640)를 포함한다.
코어 인코더(1600)는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해진다. 시간-스펙트럼 변환기(1610) 또는 스펙트럼-시간 변환기(1640)는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되고, 상기 프레임들의 시퀀스의 각각의 프레임의 시작 프레임 경계(1901) 또는 종료 프레임 경계(1902)는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 시간-스펙트럼 변환기(1610)에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 적어도 2개의 출력 시퀀스의 각각의 블록에 대하여 스펙트럼-시간 변환기(1640)에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있다.
다시, 인코딩된 멀티-채널 신호(1601)를 디코딩하기 위한 장치에 관한 본 발명은 몇몇의(several) 대안들로 구현될 수 있다. 하나의 대안은, 스펙트럼 도메인 리샘플러가 전혀 사용되지 않는 것이다. 다른 대안은 멀티-채널 프로세싱을 수행하기 전에 스펙트럼 도메인에서 코어-디코딩된 신호를 리샘플링하도록 구성되는 것이다. 이러한 대안은 도 6의 실선들에 의해 예시된다. 그러나, 추가적인 대안은, 스펙트럼 도메인 리샘플링이 멀티-채널 프로세싱에 후속하여 수행된다는 것, 즉 멀티-채널 프로세싱이 입력 샘플링 레이트로 발생한다는 것이다. 이러한 실시 예는 파선들에 의해 도 6에 예시된다. 만약 사용될 경우, 스펙트럼 도메인 리샘플러(1620)는 주파수 도메인에서 스펙트럼-시간 변환기(1640)로 입력된 데이터에 대해서 또는 멀티-채널 프로세서(1630)로 입력된 데이터에 대해서 리샘플링 동작을 수행하고, 리샘플링된 시퀀스의 블록은 최대 입력 주파수와 상이한 최대 출력 주파수까지의 스펙트럼 값들을 가진다.
특히, 제1 실시 예에서, 즉, 스펙트럼 도메인 리샘플링이 멀티-채널 프로세싱 전에 스펙트럼 도메인에서 수행되는 경우, 샘플링 값들의 블록들의 시퀀스를 표현하는 코어 디코딩된 신호는, 라인(1611)의 코어-디코딩된 신호에 대한 스펙트럼 값들의 블록들의 시퀀스를 갖는 주파수 도메인 표현으로 변환된다.
부가적으로, 코어-디코딩된 신호는 라인(1602)의 M 신호뿐만 아니라 라인(1603)의 사이드 신호를 포함하며, 여기서, 사이드 신호는 코어-인코딩된 표현으로 1604에 예시된다.
그 후, 시간-스펙트럼 변환기(1610)는 라인(1612) 상의 사이드 신호에 대한 스펙트럼 값들의 블록들의 시퀀스를 부가적으로 생성한다.
그 후, 스펙트럼 도메인 리샘플링이 블록(1620)에 의해 수행되고, 중간 신호 또는 다운믹스 채널 또는 제1 채널에 대한 스펙트럼 값들의 블록들의 리샘플링된 시퀀스가 라인(1621)에서 멀티-채널 프로세서에 포워딩되며, 선택적으로는 사이드 신호에 대한 스펙트럼 값들의 블록들의 리샘플링된 시퀀스가 또한 라인(1622)을 통해 스펙트럼 도메인 리샘플러(1620)로부터 멀티-채널 프로세서(1630)로 또한 포워딩된다.
그 후, 멀티-채널 프로세서(1630)는, 1631 및 1632에 예시된 스펙트럼 값들의 블록들의 적어도 2개의 결과 시퀀스들을 출력하기 위해 다운믹스 신호로부터 그리고 선택적으로는 라인들(1621 및 1622)에 예시된 사이드 신호로부터의 시퀀스를 포함하는 시퀀스에 대한 역 멀티-채널 프로세싱을 수행한다. 그 후, 이들 적어도 2개의 시퀀스들은, 시간-도메인 채널 신호들(1641 및 1642)을 출력하기 위해 스펙트럼-시간 변환기를 사용하여 시간-도메인으로 변환된다. 라인(1615)에 예시된 다른 대안에서, 시간-스펙트럼 변환기는 중간 신호와 같은 코어-디코딩된 신호를 멀티-채널 프로세서에 공급하도록 구성된다. 부가적으로, 시간-스펙트럼 변환기는 또한, 디코딩된 사이드 신호(1603)를 그의 스펙트럼-도메인 표현으로 멀티-채널 프로세서(1630)에 공급할 수 있지만, 이러한 옵션은 도 6에 예시되지 않는다. 그 후, 멀티-채널 프로세서는 역 프로세싱을 수행하고, 적어도 2개의 채널들의 출력은 연결 라인(1635)을 통해 스펙트럼-도메인 리샘플러로 포워딩되며, 그 후, 그 리샘플러는, 이들 2개의 채널들에서 리샘플링된 것을 라인(1625)을 통해 스펙트럼-시간 변환기(1640)에 포워딩한다.
따라서, 도 1의 콘텍스트에서 논의되었던 것과 약간 유사하게, 인코딩된 멀티-채널 신호를 디코딩하기 위한 장치는 또한, 2개의 대안들을 포함하며, 즉, 여기서 스펙트럼 도메인 리샘플링은 역 멀티-채널 프로세싱 전에 수행되거나, 또는 대안적으로, 스펙트럼 도메인 리샘플링은 입력 샘플링 레이트의 멀티-채널 프로세싱에 후속하여 수행된다. 그러나, 바람직하게는, 제1 대안이 수행되는데, 이는, 그것이 도 7a 및 도 7b에 예시된 상이한 신호 기여도들의 유리한 정렬을 허용하기 때문이다.
다시, 도 7a는 코어 디코더(1600)를 예시하지만, 그 코어 디코더는 3개의 상이한 출력 신호들, 즉 출력 샘플링 레이트와는 상이한 샘플링 레이트의 제1 출력 신호(1601), 입력 샘플링 레이트, 즉 코어 인코딩된 신호(1601)의 기저가 되는 샘플링 레이트의 제2 코더 디코딩된 신호(1602)를 출력하며, 코어 디코더는 출력 샘플링 레이트, 즉 도 7a의 스펙트럼-시간 변환기(1640)의 출력에서 최종적으로 의도되는 샘플링 레이트로 동작가능하고 이용가능한 제3 출력 신호(1603)를 부가적으로 생성한다.
3개의 코어 디코딩된 신호들 모두는, 스펙트럼 값들(1613, 1611 및 1612)의 블록들의 3개의 상이한 시퀀스들을 생성하는 시간-스펙트럼 변환기(1610)에 입력된다.
스펙트럼 값들(1613)의 블록들의 시퀀스는 최대 출력 주파수까지의 주파수 또는 스펙트럼 값들을 가지며, 따라서 출력 샘플링 레이트와 연관된다.
스펙트럼 값들(1611)의 블록들의 시퀀스는 상이한 최대 주파수까지의 스펙트럼 값들을 가지며, 따라서, 이러한 신호는 출력 샘플링 레이트에 대응하지 않는다.
더욱이, 신호(1612)는, 또한 최대 출력 주파수와는 상이한 최대 입력 주파수까지의 스펙트럼 값들을 갖는다.
따라서, 시퀀스들(1612 및 1611)은 스펙트럼 도메인 리샘플러(1620)에 포워딩되는 반면, 신호(1613)는 스펙트럼 도메인 리샘플러(1620)에 포워딩되지 않는데, 이는, 이러한 신호가 정확한 출력 샘플링 레이트와 이미 연관되어 있기 때문이다.
스펙트럼 도메인 리샘플러(1620)는, 중첩 상황들에 대응하는 신호들에 대해 스펙트럼 라인들 단위와의 블록 단위 결합을 수행하도록 구성된 결합기(1700)에 스펙트럼 값들의 리샘플링된 시퀀스들을 포워딩한다. 따라서, MDCT-기반 신호로부터 ACELP 신호로의 스위치 사이에 교차(cross-over) 구역이 통상적으로 존재할 것이며, 이러한 중첩 범위에서, 신호 값들이 존재하고 서로 결합된다. 그러나, 이러한 중첩 범위가 끝나고, 신호가 신호(1603)에만 존재하는 경우, 예를 들어, 신호(1602)가, 예를 들어, 존재하지 않는 동안, 결합기는이러한 부분에서 블록 단위 스펙트럼 라인 부가를 수행하지 않을 것이다. 그러나, 스위치-오버가 나중에 발생하는 경우, 블록 단위의 스펙트럼 라인 단위의 부가는 이러한 교차 구역 동안 발생할 것이다.
더욱이, 연속적인 부가가 도 7b에 예시된 바와 같이 또한 가능할 수 있으며, 여기서, 블록(1600a)에 예시된 베이스(bass)-포스트 필터 출력 신호가 수행되어, 예를 들어, 도 7a로부터의 신호(1601)일 수 있는 하모닉간 에러 신호를 생성한다. 그 후, 블록(1610)의 시간-스펙트럼 변환 및 후속 스펙트럼 도메인 리샘플링(1620)에 후속하여, 도 7b의 블록(1700)에서 부가를 수행하기 전에, 부가적인 필터링 동작(1702)이 바람직하게 수행된다.
유사하게, MDCT-기반 디코딩 스테이지(1600d) 및 시간-도메인 대역폭 확장 디코딩 스테이지(1600c)는 코어 디코딩된 신호(1603)를 획득하기 위하여 크로스-페이딩(cross-fading) 블록(1704)을 통해 커플링될 수 있으며, 그 후, 그 코어 디코딩된 신호는, 이러한 신호(1613)에 대해, 스펙트럼 도메인 리샘플링이 필수적이지는 않지만, 신호가 결합기(1700)에 직접 포워딩될 수 있도록 출력 샘플링 레이트의 스펙트럼 도메인 표현으로 변환된다. 그 후, 스테레오 역 프로세싱 또는 멀티-채널 프로세싱(1603)이 결합기(1700)에 후속하여 발생된다.
따라서, 도 6에 예시된 실시 예와는 대조적으로, 멀티-채널 프로세서(1630)는 스펙트럼 값들의 리샘플링된 시퀀스에 대해 동작하는 것이 아니라, 1622 및 1621과 같은 스펙트럼 값들의 적어도 하나의 리샘플링된 시퀀스를 포함하는 시퀀스에 대해 동작하며, 여기서, 멀티-채널 프로세서(1630)가 동작하는 시퀀스는 리샘플링될 필요가 없었던 시퀀스(1613)를 부가적으로 포함한다.
도 7에 예시된 바와 같이, 상이한 샘플링 레이트들로 작동하는 상이한 DFT들로부터 도래하는 상이한 디코딩된 신호들은, 상이한 샘플링 레이트들의 분석 윈도우들이 동일한 형상을 공유하므로 이미 시간 정렬된다. 그러나, 스펙트럼들은 상이한 사이즈들 및 스케일링을 나타낸다. 이들을 하모닉시키고 이들을 호환가능하게 하기 위해, 모든 스펙트럼들은, 서로 부가되기 전에, 원하는 출력 샘플링 레이트로 주파수 도메인에서 리샘플링된다.
따라서, 도 7은 DFT 도메인에서의 합성된 신호의 상이한 기여도들의 결합을 예시하며, 여기서, 결국, 결합기(1700)에 의해 부가될 모든 신호들이 출력 샘플링 레이트에 대응하는, 즉 스펙트럼 시간 변환기(1640)의 출력에서 그 후에 획득되는 출력 샘플링 레이트의 절반보다 작거나 그와 동일한 최대 출력 주파수까지 확장되는 스펙트럼 값들과 함께 이미 이용가능하도록 하는 그러한 방식으로 스펙트럼 도메인 리샘플링이 수행된다.
스테레오 필터-뱅크의 선택은 낮은-지연 시스템에 매우 중요하며, 달성가능한 트레이드-오프가 도 8b에서 요약된다. 그것은, DFT(블록 변환) 또는 CLDFB(필터-뱅크)로 지칭되는 의사의 낮은 지연 QMF를 이용할 수 있다. 각각의 제안은 상이한 지연, 시간 및 주파수 분해능들을 나타낸다. 시스템의 경우, 이 특징들 사이의 최상의 이러한 특성 간의 최상의 타협이 선택되어야 한다. 양호한 주파수 및 시간 분해능들을 갖는 것이 중요하다. 이것은, 제안 3에서와 같이 의사-QMF 필터-뱅크를 사용하는 것이 문제가 될 수 있기 때문이다. 주파수 분해능은 낮다. 그것은, MPEG-USAC의 MPS 212에서와 같이 하이브리드 접근법들에 의해 향상될 수 있지만, 그것은 복잡도 및 지연 둘 모두를 상당히 증가시킨다는 단점을 갖는다. 다른 중요 포인트는, 코어 디코더와 역 스테레오 프로세싱 사이의 디코더 측에서 이용가능한 지연이다. 이러한 지연이 커질수록, 그것은 더 양호해진다. 예를 들어, 제안 2는 그러한 지연을 제공할 수 없으며, 이러한 이유로 가치있는 솔루션은 아니다. 이러한 위에서 언급된 이유들 때문에, 본 발명은 설명의 나머지에서 제안들 1, 4 및 5에 포커싱할 것이다.
필터-뱅크의 분석 및 합성 윈도우는 다른 중요한 양상이다. 바람직한 실시 예에서, DFT의 분석 및 합성을 위해 동일한 윈도우가 사용된다. 그것은 또한, 인코더 측과 디코더 측에서 동일하다. 다음의 제약들을 충족시키기 위해 특별한 주의를 기울였다.
● 중첩 구역은 MDCT 코어 및 ACELP 룩-어헤드의 중첩 구역과 동일하거나 그보다 작아야 한다. 바람직한 실시 예에서, 모든 사이즈들은 8.75 ms와 동일하다.
● 제로 패딩은, DFT 도메인에서 채널들의 선형 시프트를 적용하는 것을 허용하기 위해 적어도 약 2.5 ms 이어야 한다.
● 윈도우 사이즈, 중첩 구역 사이즈 및 제로 패딩 사이즈는, 상이한 샘플링 레이트, 즉 12.8, 16, 25.6, 32 및 48kHz에 대해 정수 개수의 샘플들로 표현되어야 한다.
● DFT 복잡도는 가능한 낮아야 하며, 즉, 분할-기수(split-radix) FFT 구현의 DFT의 최대 기수는 가능한 낮아야 한다.
● 시간 분해능은 10ms로 고정된다.
이들 제약들을 안다면, 제안 1 및 4의 윈도우들이 도 8c 및 도 8a에서 설명된다.
도 8c는 초기 중첩 부분(1801), 후속 중간 부분(1803) 및 단자 중첩 부분 또는 제2 중첩 부분(1802)으로 이루어진 제1 윈도우를 나타낸다. 또한, 제1 중첩 부분(1801) 및 제2 중첩 부분(1802)은 부가적으로, 그의 시작부에서 1804의 제로 패딩 부분 및 그의 종료부에서 1805의 제로 패딩 부분을 갖는다.
또한, 도 8c는, 도 1의 시간-스펙트럼 변환기(1000) 또는 대안적으로는 도 7a의 시간-스펙트럼 변환기(1610)의 프레이밍에 대해 수행되는 절차를 나타낸다. 엘리먼트들(1811), 즉 제1 중첩 부분, 중간의 비-중첩 부분(1813) 및 제2 중첩 부분(1812)으로 이루어진 추가적인 분석 윈도우는 제1 윈도우와 50%만큼 중첩된다. 제2 윈도우는 부가적으로, 그의 시작부와 종료부에서 제로 패딩 부분들(1814 및 1815)을 갖는다. 이들 제로 중첩 부분들은 주파수 도메인에서 브로드밴드 시간 정렬을 수행하기 위한 포지션에 있기 위해 필요하다.
또한, 예시된 바와 같이, 제2 윈도우의 제1 중첩 부분(1811)은 중간 부분(1803)의 종료부, 즉 제1 윈도우의 비-중첩 부분에서 시작하고, 제2 윈도우의 중첩 부분, 즉 비-중첩 부분(1813)은 제1 윈도우의 제2 중첩 부분(1802)의 종료부에서 시작한다.
도 8c가 인코더에 대한 도 1의 스펙트럼-시간 변환기(1030) 또는 디코더에 대한 스펙트럼-시간 변환기(1640)와 같은 스펙트럼-시간 변환기 상의 중첩-부가 동작을 표현하는 것으로 고려되는 경우, 블록(1801, 1802, 1803, 1805, 1804)으로 이루어진 제1 윈도우는 합성 윈도우에 대응하고, 부분들(1811, 1812, 1813, 1814, 1815)로 이루어진 제2 윈도우는 다음의 블록에 대한 합성 윈도우에 대응한다. 그 후, 윈도우 사이의 중첩은 중첩 부분을 예시하며, 중첩 부분은 1820에서 예시되고, 중첩 부분의 길이는 현재 프레임을 2로 나눈 것과 동일하고, 바람직한 실시 예에서는 10ms와 동일하다. 또한, 도 8c의 최하부에서, 중첩 범위(1801 또는 1811) 내의 오름차순 윈도우 계수들을 계산하기 위한 분석 수학식은 사인 함수로서 예시되고, 대응적으로, 중첩 부분(1802 및 1812)의 내림차순 중첩 사이즈 계수들은 또한, 사인 함수로서 예시된다.
바람직한 실시 예들에서, 동일한 분석 및 합성 윈도우들은 도 6, 도 7a, 도 7b에 예시된 디코더에 대해서만 사용된다. 따라서, 시간-스펙트럼 변환기(1616) 및 스펙트럼-시간 변환기(1640)는 도 8c에 예시된 것과 정확히 동일한 윈도우들을 사용한다.
그러나, 특히 후속하는 제안/실시 예 1에 대한 특정한 실시 예들에서, 일반적으로 도 1c와 일치하는 분석 윈도우가 사용되지만, 오름차순 또는 내림차순 중첩 부분들에 대한 윈도우 계수들은, 도 8c에서와 같은 사인 함수에서 동일한 인수를 갖는 사인 함수의 제곱근을 사용하여 계산된다. 대응적으로, 합성 윈도우는 1.5 함수의 거듭제곱에 대한 사인을 사용하여 계산되지만, 사인 함수의 동일한 인수를 이용하여 다시 계산된다.
또한, 중첩-부가 동작으로 인해, 0.5의 거듭제곱에 대한 사인을 곱한 1.5의 거듭제곱에 대한 사인의 곱셈이 다시 한번 에너지 보존 상황을 갖기 위해 필요한 2의 거듭제곱에 대한 사인을 초래함을 유의할 것이다.
제안 1은, DFT의 중첩 구역이 동일한 사이즈를 가지며 ACELP 룩-어헤드 및 MDCT 코어 중첩 구역과 정렬된다는 것을 주된 특징들로 갖는다. 그 후, 인코더 지연은 ACELP/MDCT 코어들의 경우와 동일하며, 스테레오는 인코더에서 어떠한 부가적인 지연도 도입하지 않는다. EVS의 경우에서 그리고 도 5에 설명된 바와 같은 멀티-레이트 합성 필터-뱅크 접근법이 사용되는 경우에서, 스테레오 인코더 지연은 8.75ms만큼 낮다.
인코더의 개략 프레이밍은 도 9a에 예시되는 반면, 디코더는 도 9e에 도시된다. 윈도우들은, 인코더에 대해서는 파선의 블루로 그리고 디코더에 대해서는 실선의 레드로 도 9에 도시된다.
제안 1에 대한 하나의 주요 이슈는, 인코더에서의 룩-어헤드이 윈도우잉된다는 것이다. 그것은 후속 프로세싱을 위해 교정될 수 있거나, 또는 그것은, 후속 프로세싱이 윈도우잉된 룩-어헤드을 고려하기 위해 적응되면 윈도우잉되게 유지될 수 있다. 그것은, DFT에서 수행된 스테레오 프로세싱이 입력 채널을 수정했다면, 그리고 특히, 비선형 연산들을 사용할 경우, 교정된 또는 윈도우잉된 신호가 코어 코딩이 우회되는 경우에 완벽한 재구성을 달성하는 것을 허용하지 않는 것일 수 있다.
코어 디코더 합성 윈도우와 스테레오 디코더 분석 윈도우 사이에서, 코어 디코더 포스트-프로세싱에 의해, ACELP를 통해 사용되는 시간 도메인 대역폭 확장(BWE)과 같은 BWE에 의해, 또는 ACELP와 MDCT 코어들 사이의 전환의 경우에 일부 평활화에 의해 활용될 수 있는 1.25ms의 시간 갭이 존재한다는 것을 유의할 가치가 있다.
단지 1.25ms만의 이러한 시간 갭이 그러한 동작들에 대한 표준 EVS에 의해 요구되는 2.3125ms보다 낮으므로, 본 발명은, 스테레오 모듈의 DFT 도메인 내에서 스위칭형 디코더의 상이한 합성 부분들을 결합, 리샘플링 및 평활화하기 위한 방식을 제공한다.
도 9a에 예시된 바와 같이, 코어 인코더(1040)는, 프레임들의 시퀀스를 제공하기 위해 프레이밍 제어에 따라 동작하도록 구성되며, 여기서, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해진다. 또한, 시간-스펙트럼 변환기(1000) 및/또는 스펙트럼-시간 변환기(1030)는 또한, 제1 프레이밍 제어에 동기화되는 제2 프레이밍 제어에 따라 동작하도록 구성된다. 프레이밍 제어는, 인코더 내의 시간-스펙트럼 변환기(1000)에 대한, 그리고 특히 동시에 프로세싱되고 완전히 동기화되는 제1 채널(1001) 및 제2 채널(1002)에 대한 2개의 중첩 윈도우들(1903 및 1904)에 의해 예시된다. 또한, 프레이밍 제어는 또한, 구체적으로는 1913 및 1914에 예시된 도 6의 시간-스펙트럼 변환기(1610)에 대한 2개의 중첩 윈도우들을 갖는 디코더-측 상에서 가시적이다. 예를 들어, 이들 윈도우들(1913 및 1914)은, 바람직하게는 도 6의 단일 모노 또는 다운믹스 신호(1610)인 코어 디코더 신호에 적용된다. 또한, 도 9a로부터 명백해지는 바와 같이, 코어 인코더(1040)와 시간-스펙트럼 변환기(1000) 또는 스펙트럼-시간 변환기(1030)의 프레이밍 제어 사이의 동기화는, 프레임들의 시퀀스의 각각의 프레임의 시작 프레임 경계(1901) 또는 종료 프레임 경계(1902)가, 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대해 또는 스펙트럼 값들의 블록들의 리샘플링된 시퀀스의 각각의 블록에 대해 시간-스펙트럼 변환기(1000) 또는 스펙트럼-시간 변환기(1030)에 의하여 사용되는 윈도우의 중첩 부분의 시작 인스턴스 및/또는 종료 인스턴스와 미리 결정된 관계에 있도록 이루어진다. 도 9a에 예시된 실시 예에서, 미리 결정된 관계는, 예를 들어, 제1 중첩 부분의 시작이 윈도우(1903)에 대한 시작 시간 경계와 일치하고, 추가적인 윈도우(1904)의 중첩 부분의 시작이 도 8c의 부분(1803)과 같은 중간 부분의 종료부와 일치하도록 이루어진다. 따라서, 도 8c의 제2 윈도우가 도 9a의 윈도우(1904)에 대응하는 경우, 종료 프레임 경계(1902)는 도 8c의 중간 부분(1813)의 종료부와 일치한다.
따라서, 도 9a의 제2 윈도우(1904)의 도 8c의 1812와 같은 제2 중첩 부분이 종료 또는 중지 프레임 경계(1902)에 걸쳐 확장되며, 따라서, 1905에 예시된 코어-코더 룩-어헤드 부분으로 확장된다는 것은 명백해진다.
따라서, 코어 인코더(1040)는, 샘플링 값들의 블록들의 출력 시퀀스의 출력 블록을 코어 인코딩할 경우, 룩-어헤드 부분(1905)과 같은 룩-어헤드 부분을 사용하도록 구성되며, 여기서, 출력 룩-어헤드 부분은 출력 블록에 시간상 후속하여 위치된다. 출력 블록은 프레임 경계들(1901, 1904)에 의해 경계가 정해진 프레임에 대응하며, 출력 룩-어헤드 부분(1905)은 코어 인코더(1040)에 대한 이러한 출력 블록 이후에 온다.
또한, 예시된 바와 같이, 시간-스펙트럼 변환기는 분석 윈도우, 즉, 룩-어헤드 부분(1905)의 시간 길이보다 작거나 그와 동일한 시간 길이를 갖는 중첩 부분을 가진 윈도우(1904)를 사용하도록 구성되며, 여기서, 중첩 범위에 위치되는 도 8c의 중첩(1812)에 대응하는 이러한 중첩 부분은 윈도우잉된 룩-어헤드 부분을 생성하기 위해 사용된다.
또한, 스펙트럼-시간 변환기(1030)는, 바람직하게는 교정 함수를 사용하여, 윈도우잉된 룩-어헤드 부분에 대응하는 출력 룩-어헤드 부분을 프로세싱하도록 구성되며, 여기서, 교정 함수는 분석 윈도우의 중첩 부분의 영향이 감소 또는 제거되도록 구성된다.
따라서, 도 9a의 코어 인코더(1040)와 다운믹스(1010)/다운샘플링 블록(1020) 사이에서 동작하는 스펙트럼-시간 변환기는, 도 9a의 윈도우(1904)에 의해 적용된 윈도우잉을 되돌리기 위해 교정 함수를 적용하도록 구성된다.
따라서, 코어 인코더(1040)가 자신의 룩-어헤드 기능을 룩-어헤드 부분(1905)에 적용할 경우, 룩-어헤드 기능 부분이 아니라 가능한 먼 본래 부분에 가까운 부분을 수행한다는 것이 확인된다.
그러나, 낮은-지연 제약들로 인해 그리고 스테레오 프리프로세서와 코어 인코더의 프레이밍 사이의 동기화로 인해, 룩-어헤드 부분에 대한 본래의 시간 도메인 신호가 존재하지 않는다. 그러나 교정 함수의 적용은, 이러한 절차에 의해 초래되는 임의의 아티팩트들이 가능한 많이 감소되는 것을 확인한다.
이러한 기술에 대한 절차들의 시퀀스는 도 9d, 도 9e에 더 상세히 예시된다.
단계(1910)에서, 제0 블록의 DFT-1은 시간 도메인에서 제0 블록을 획득하기 위해 수행된다. 제0 블록은 도 9a의 윈도우(1903)의 좌측에 사용된 윈도우를 획득했을 것이다. 그러나, 이러한 제0 블록은 도 9a에 명시적으로 예시되지 않는다.
그 후, 단계(1912)에서, 제0 블록은 합성 윈도우를 사용하여 윈도우잉되며, 즉, 도 1에 예시된 스펙트럼-시간 변환기(1030)에서 윈도우잉된다.
그 후, 블록(1911)에 예시된 바와 같이, 윈도우(1903)에 의해 획득된 제1 블록의 DFT-1은 시간 도메인에서 제1 블록을 획득하기 위해 수행되며, 이러한 제1 블록은 블록(1910)에서 합성 윈도우를 사용하여 다시 한번 윈도우잉된다.
그 후, 도 9d의 1918에서 표시된 바와 같이, 제2 블록, 즉 도 9a의 윈도우(1904)에 의해 획득된 블록의 역 DFT은 시간 도메인에서 제2 블록을 획득하기 위해 수행되며, 그 후, 제2 블록의 제1 부분은 도 9d의 1920에 의해 예시된 바와 같이 합성 윈도우를 사용하여 윈도우잉된다. 그러나 중요하게, 도 9d의 아이템(1918)에 의해 획득된 제2 블록의 제2 부분은 합성 윈도우를 사용하여 윈도우잉되는 것이 아니라, 도 9d의 블록(1922)에 예시된 바와 같이 교정되며, 교정 함수에 대해, 분석 윈도우 기능의 역 및 분석 윈도우 기능의 대응하는 중첩 부분이 사용된다.
따라서, 제2 블록을 생성하기 위해 사용된 윈도우가 도 8c에 예시된 사인 윈도우였다면, 도 8c의 최하부에 대한 수학식들의 내림차순 중첩 사이즈 계수들에 대한 1/sin()이 교정 함수로서 사용된다.
그러나, 분석 윈도우에 대한 사인 윈도우의 제곱근을 사용하는 것이 바람직하며, 따라서 교정 함수는 
의 윈도우 함수이다. 이것은, 블록(1922)에 의해 획득된 교정된 룩-어헤드 부분이 룩-어헤드 부분 내의 본래의 신호, 즉 물론 본래의 좌측 신호 또는 본래의 우측 신호가 아니라 중간 신호를 획득하기 위해 좌측 및 우측 신호들을 부가함으로써 획득되었을 본래의 신호에 가능한 가깝다.
그 후, 도 9d의 단계(1924)에서, 블록 경계들(1901, 1902)에 의해 표시된 프레임은, 인코더가 시간-도메인 신호를 갖도록 블록(1030)에서 중첩-부가 동작을 수행함으로써 생성되며, 이러한 프레임은, 윈도우(1903)에 대응하는 블록과 선행 블록의 선행 샘플들 사이의 중첩-부가 동작에 의해 수행되고, 블록(1920)에 의해 획득된 제2 블록의 제1 부분을 사용한다. 그 후, 블록(1924)에 의해 출력된 이러한 프레임은 코어 인코더(1040)에 포워딩되며, 부가적으로, 코어 코더는 프레임에 대한 교정된 룩-어헤드 부분을 부가적으로 수신하고, 그 후, 단계(1926)에 예시된 바와 같이, 코어 코더는 단계(1922)에 의해 획득된 교정된 룩-어헤드 부분을 사용하여 코어 코더에 대한 특징을 결정할 수 있다. 그 후, 단계(1928)에 예시된 바와 같이, 코어 인코더는 블록(1926)에서 결정된 특징을 사용하여 프레임을 코어-인코딩하여, 바람직한 실시 예에서는, 20ms의 길이를 갖는 프레임 경계(1901,1902)에 대응하는 코어-인코딩된 프레임을 최종적으로 획득한다.
바람직하게, 룩-어헤드 부분(1905) 내로 확장되는 윈도우(1904)의 중첩 부분은 룩-어헤드 부분과 동일한 길이를 갖지만, 그것은 또한, 룩-어헤드 부분보다 짧을 수 있으며, 그러나, 그것은, 스테레오 프리프로세서가 중첩 윈도우들로 인해 임의의 부가적인 지연을 도입하지 않도록 룩-어헤드 부분보다 더 길지는 않는 것이 바람직하다.
그 후, 절차는 블록(1930)에 예시된 바와 같이 합성 윈도우를 사용하여 제2 블록의 제2 부분의 윈도우잉으로 진행한다. 따라서, 제2 블록의 제2 부분은 한편으로는 블록(1922)에 의해 교정되고, 다른 한편으로는 블록(1930)에 예시된 바와 같이 합성 윈도우에 의해 윈도우잉되는데, 이는, 이러한 부분이 그 후에, 블록(1932)에 예시된 바와 같이 제2 블록의 윈도우잉된 제2 부분, 윈도우잉된 제3 블록 및 제4 블록의 윈도우잉된 제1 부분을 중첩-부가함으로써 코어 인코더에 대한 다음의 프레임을 생성하는데 요구되기 때문이다. 자연스럽게, 제4 블록, 및 특히 제4 블록의 제2 부분은 도 9d의 아이템(1922)의 제2 블록에 대해 논의된 바와 같이 다시 한번 교정 동작을 겪을 것이며, 그 후, 절차는 이전에 논의된 바와 같이 다시 한번 반복될 것이다. 또한, 단계(1934)에서, 코어 코더는 제4 블록의 제2 부분의 교정을 사용하여 코어 코더 특징들을 결정할 것이고, 그 후, 다음의 프레임은, 블록(1934)에서 코어 인코딩된 다음의 프레임을 최종적으로 획득하기 위해, 결정된 코딩 특징들을 사용하여 인코딩될 것이다. 따라서, 코어 코더 룩-어헤드 부분(1905)과 분석 (대응하는 합성의) 윈도우의 제2 중첩 부분의 정렬은, 매우 낮은-지연 구현이 획득될 수 있고, 이러한 이점이, 윈도우잉된 바와 같은 룩-어헤드 부분이 한편으로는 교정 동작을 수행하고 다른 한편으로는 합성 윈도우와 동일하지 하지 않은 분석 윈도우를 적용하지만 더 작은 영향을 적용함으로써 어드레싱된다는 사실로 인해 이루어진다는 것을 확인하여, 교정 함수가 동일한 분석/합성 윈도우의 사용과 비교하여 더 안정적이라는 것이 확인될 수 있다. 그러나, 코어 인코더가 윈도우잉된 부분에 대한 코어 인코딩 특징들을 결정하기 위해 통상적으로 필요한 자신의 룩-어헤드 기능을 동작하도록 수정되는 경우, 교정 함수를 수행할 필요가 없다. 그러나, 교정 함수의 사용이 코어 인코더를 수정하는 것에 비해 유리하다는 것이 발견되었다.
또한, 이전에 논의된 바와 같이, 윈도우, 즉 분석 윈도우(1914)의 종료부와 도 9b의 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 정의된 프레임의 종료 프레임 경계(1902) 사이에 시간 갭이 존재함을 유의할 것이다.
특히, 도 6의 시간-스펙트럼 변환기(1610)에 의해 적용된 분석 윈도우에 대해 시간 갭이 1920에 예시되고, 이러한 시간 갭은 또한, 제1 출력 채널(1641) 및 제2 출력 채널(1642)에 대해 가시적이다(120).
도 9f는 시간 갭의 콘텍스트에서 수행되는 단계들의 절차를 도시하며, 코어 디코더(1600)는 시간 갭(1920)까지 프레임 또는 프레임의 적어도 초기 부분을 코어-디코딩한다. 그 후, 도 6의 시간-스펙트럼 변환기(1610)는 프레임의 종료까지, 즉 시간 인스턴트(1902)까지 확장되는 것이 아니라 시간 갭(1920)의 시작까지 연장되는 분석 윈도우(1914)를 사용하여 프레임의 초기 부분에 분석 윈도우를 적용하도록 구성된다.
따라서, 코어 디코더는 블록(1940)에 예시된 바와 같이, 시간 갭에서 샘플들을 코어 디코딩하고 그리고/또는 시간 갭에서 샘플들을 포스트-프로세싱하기 위해 부가적인 시간을 갖는다. 따라서, 시간-스펙트럼 변환기(1610)는 단계(1938)의 결과로서 제1 블록을 이미 출력하며, 코어 디코더는 단계(1940)에서 시간 갭에서 나머지 샘플들을 제공할 수 있거나 시간 갭에서 샘플들을 포스트-프로세싱할 수 있다.
그 후, 단계(1942)에서, 시간-스펙트럼 변환기(1610)는 도 9b의 윈도우(1914)에 후속하여 발생할 다음의 분석 윈도우를 사용하여 다음의 프레임의 샘플들과 함께 시간 갭에서 샘플들을 윈도우잉하도록 구성된다. 그 후, 단계(1944)에 예시된 바와 같이, 코어 디코더(1600)는, 다음의 프레임에서 발생하는 시간 갭(1920)까지 다음의 프레임 또는 다음의 프레임의 적어도 초기 부분을 디코딩하도록 구성된다. 그 후, 단계(1946)에서, 시간-스펙트럼 변환기(1610)는 다음의 프레임의 시간 갭(1920)까지 다음의 프레임의 샘플들을 윈도우잉하도록 구성되며, 그 후, 단계(1948)에서, 코어 디코더는 다음의 프레임의 시간 갭에서 나머지 샘플들을 코어-디코딩하고 그리고/또는 이들 샘플들을 포스트-프로세싱한다.
따라서, 도 9b의 실시 예가 고려될 경우, 예를 들어, 1.25ms의 이러한 시간 갭은, 코어 디코더 포스트-프로세싱에 의해, 대역폭 확장에 의해, 예를 들어, ACELP의 콘텍스트에서 사용되는 시간-도메인 대역폭 확장에 의해, 또는 ACELP와 MDCT 코어 신호들 사이의 송신 전환의 경우 일부 평활화에 의해 활용될 수 있다.
따라서, 다시 한번, 코어 디코더(1600)는 프레임들의 시퀀스를 제공하기 위해 제1 프레이밍 제어에 따라 동작하도록 구성되며, 여기서, 시간-스펙트럼 변환기(1610) 또는 스펙트럼-시간 변환기(1640)는 제1 프레이밍 제어와 동기화되는 제2 프레이밍 제어에 따라 동작하도록 구성되어, 프레임들의 시퀀스의 각각의 프레임의 시작 프레임 경계 또는 종료 프레임 경계는, 샘플링 값들의 블록들의 시퀀스의 각각의 블록 또는 스펙트럼 값들의 블록들의 리샘플링된 시퀀스의 각각의 블록에 대해 시간-스펙트럼 변환기 또는 스펙트럼-시간 변환기에 의하여 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있다.
또한, 시간-스펙트럼 변환기(1610)는, 중첩 부분의 종료부와 종료 프레임 경계 사이에 시간 갭(1920)을 남기는 종료 프레임 경계(1902) 전에 중첩 범위를 종료시키는 프레임들의 시퀀스의 프레임을 윈도우잉하기 위해 분석 윈도우를 사용하도록 구성된다. 따라서, 코어 디코더(1600)는 분석 윈도우를 사용하여 프레임의 윈도우잉과 병렬로 시간 갭(1920)에서 샘플들에 대한 프로세싱을 수행하도록 구성되며, 여기서, 시간 갭을 추가로 포스트-프로세싱하는 것은 시간-스펙트럼 변환기에 의해 분석 윈도우를 사용하여 프레임의 윈도우잉과 병렬로 수행된다.
또한 그리고 바람직하게, 코어 디코딩된 신호의 후속 블록에 대한 분석 윈도우는, 윈도우의 중간의 비-중첩 부분이 도 9b의 1920에 예시된 바와 같이 시간 갭 내에 위치되도록 위치된다.
제안 4에서, 전체 시스템 지연은 제안 1과 비교하여 확대된다. 인코더에서, 여분의 지연이 스테레오 모듈로부터 오게 된다. 완벽한 재구성의 이슈는 제안 1과는 달리 제안 4에서 더 이상 관련성이 없다.
디코더에서, 코어 디코더와 제1 DFT 분석 사이의 이용가능한 지연은 2.5ms이며, 이는, 표준 EVS에 대해 행해지는 바와 같이 상이한 코어 합성과 확장된 대역폭 신호들 사이에서 종래의 리샘플링, 결합 및 평활화를 수행하는 것을 허용한다.
인코더의 개략 프레이밍은 도 10a에 예시되는 반면, 디코더는 도 10b에 도시된다. 윈도우들은 도 10c에서 제공된다.
제안 5에서, DFT의 시간 분해능은 5ms로 감소된다. 코어 디코더의 룩-어헤드 및 중첩 구역은 윈도우잉되지 않으며, 이는, 제안 4와 공통된 이점이다. 다른 한편으로, 코더 디코딩과 스테레오 분석 사이의 이용가능한 지연은 작으며, 제안 1에서 제안된 바와 같은 솔루션이 필요하다(도 7). 이러한 제안의 주된 단점들은, 시간-주파수 분해의 저주파수 분해능 및 5ms로 감소된 작은 중첩 구역이며, 이는, 주파수 도메인에서 큰 시간 시프트를 방지한다.
인코더의 개략 프레이밍은 도 11a에 예시되는 반면, 디코더는 도 11b에 도시된다. 윈도우들은 도 11c에서 제공된다.
위의 관점에서, 바람직한 실시 예들은 인코더 측에 대해, 상이한 샘플링 레이트들의 적어도 하나의 스테레오 프로세싱된 신호를 후속 프로세싱 모듈들에 제공하는 멀티-레이트 시간-주파수 합성에 관한 것이다. 모듈은, 예를 들어, ACELP와 같은 스피치 인코더, 프리-프로세싱 툴들, TCX와 같은 MDCT-기반 오디오 인코더 또는 시간-도메인 대역폭 확장 인코더와 같은 대역폭 확장 인코더를 포함한다.
디코더에 대해, 디코더 합성의 상이한 기여도들에 대한 스테레오 주파수-도메인에서 리샘플링하는 결합이 수행된다. 이들 합성 신호들은 ACELP 디코더, MDCT-기반 디코더와 같은 스피치 디코더, 대역폭 확장 모듈, 또는 베이스-포스트-필터와 같은 포스트-프로세싱으로부터의 하모닉간 에러 신호로부터 올 수 있다.
또한, 인코더 및 디코더 둘 모두에 대해, DFT에 대한 윈도우, 또는 제로 패딩을 이용하여 변환된 복소 값, 낮은 중첩 구역, 및 12.9kHz, 16kHz, 25.6kHz, 32kHz 또는 48kHz와 같은 상이한 샘플링 레이트들의 정수 개수의 샘플들에 대응하는 홉사이즈(hopsize)를 적용하는 것이 유용하다.
실시 예들은 낮은 지연으로 스테레오 오디오의 낮은 비트레이트 코딩을 달성할 수 있다. 그것은, EVS와 같은 낮은-지연 스위칭형 오디오 코딩 방식을 스테레오 코딩 모듈의 필터-뱅크들과 효율적으로 결합하도록 구체적으로 설계되었다.
실시 예들은, 예를 들어, 디지털 라디오, 인터넷 스트리밍 및 오디오 통신 애플리케이션들과 같은 모든 타입들의 스테레오 또는 멀티-채널 오디오 콘텐츠를 (주어진 낮은 비트레이트에서 일정한 지각 품질을 갖는 스피치 및 음악과 유사하게) 분배 또는 브로드캐스팅하는 것의 사용을 발견할 수 있다.
도 12는 적어도 2개의 채널들을 갖는 멀티-채널 신호를 인코딩하기 위한 장치를 나타낸다. 멀티-채널 신호(10)는, 한편으로는 파라미터 결정기(100)에 입력되고, 다른 한편으로는 신호 정렬기(200)에 입력된다. 파라미터 결정기(100)는, 멀티-채널 신호로부터 한편으로는 브로드밴드 정렬 파라미터를 결정하고, 다른 한편으로는 복수의 협대역 정렬 파라미터들을 결정한다. 이들 파라미터들은 파라미터 라인(12)을 통해 출력된다. 또한, 이들 파라미터들은 예시된 바와 같이, 추가적인 파라미터 라인(14)을 통해 출력 인터페이스(500)로 또한 출력된다. 파라미터 라인(14) 상에서, 레벨 파라미터들과 같은 부가적인 파라미터들은 파라미터 결정기(100)로부터 출력 인터페이스(500)로 포워딩된다. 신호 정렬기(200)는, 신호 정렬기(200)의 출력에서 정렬된 채널들(20)을 획득하기 위해, 파라미터 라인(10)을 통해 수신된 브로드밴드 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 멀티-채널 신호(10)의 적어도 2개의 채널들을 정렬하도록 구성된다. 이들 정렬된 채널들(20)은, 라인(20)을 통해 수신된 정렬된 채널들로부터 중간-신호(31) 및 사이드 신호(32)를 계산하도록 구성된 신호 프로세서(300)에 포워딩된다. 인코딩하기 위한 장치는, 라인(41) 상의 인코딩된 중간-신호 및 라인(42) 상의 인코딩된 사이드 신호를 획득하기 위해 라인(31)으로부터의 중간-신호 및 라인(32)으로부터의 사이드 신호를 인코딩하기 위한 신호 인코더(400)를 더 포함한다. 이들 신호들 둘 모두는 출력 라인(50)에서 인코딩된 멀티-채널 신호를 생성하기 위해 출력 인터페이스(500)에 포워딩된다. 출력 라인(50)의 인코딩된 신호는, 라인(41)으로부터의 인코딩된 중간-신호, 라인(42)으로부터의 인코딩된 사이드 신호, 라인(14)으로부터의 협대역 정렬 파라미터들 및 브로드밴드 정렬 파라미터들, 및 선택적으로는 라인(14)로부터의 레벨 파라미터, 및 부가적으로 선택적으로는 신호 인코더(400)에 의해 생성되고 파라미터 라인(43)을 통해 출력 인터페이스(500)에 포워딩되는 스테레오 충진 파라미터를 포함한다.
바람직하게, 신호 정렬기는, 파라미터 결정기(100)가 협대역 파라미터들을 실제로 계산하기 전에 브로드밴드 정렬 파라미터를 사용하여 멀티-채널 신호로부터 채널들을 정렬하도록 구성된다. 따라서, 이러한 실시 예에서, 신호 정렬기(200)는 브로드밴드 정렬된 채널들을 연결 라인(15)을 통해 파라미터 결정기(100)로 다시 전송한다. 그 후, 파라미터 결정기(100)는 브로드밴드 특징 정렬된 멀티-채널 신호에 대해 이전에 복수의 협대역 정렬 파라미터들을 결정한다. 그러나, 다른 실시 예들에서, 파라미터들은 이러한 특정 시퀀스의 절차들 없이 결정된다.
도 14a는 바람직한 구현을 예시하며, 여기서, 연결 라인(15)을 초래하는 단계들의 특정 시퀀스가 수행된다. 단계(16)에서, 브로드밴드 정렬 파라미터는, 2개의 채널을 사용하여 결정되고, 채널간 시간 차이 또는 ITD 파라미터와 같은 브로드밴드 정렬 파라미터가 획득된다. 그 후, 단계(21)에서, 2개의 채널들은 브로드밴드 정렬 파라미터를 사용하여 도 12의 신호 정렬기(200)에 의해 정렬된다. 그 후, 단계(17)에서, 협대역 파라미터들은, 멀티-채널 신호의 상이한 대역들에 대한 복수의 채널간 위상 차이 파라미터들과 같은 복수의 협대역 정렬 파라미터들을 결정하기 위해 파라미터 결정기(100) 내의 정렬된 채널들을 사용하여 결정된다. 그 후, 단계(22)에서, 각각의 파라미터 대역의 스펙트럼 값들은, 이러한 특정 대역에 대한 대응하는 협대역 정렬 파라미터를 사용하여 정렬된다. 협대역 정렬 파라미터가 이용가능한 각각의 대역에 대해 단계(22)의 이러한 절차가 수행되는 경우, 정렬된 제1 및 제2 또는 좌측/우측 채널들은 도 12의 신호 프로세서(300)에 의한 추가적인 신호 프로세싱에 이용가능하다.
도 14b는, 수 개의 절차들이 주파수 도메인에서 수행되는 도 12의 멀티-채널 인코더의 추가적인 구현을 나타낸다.
구체적으로, 멀티-채널 인코더는, 주파수 도메인 내의 적어도 2개의 채널들의 스펙트럼 표현으로 시간 도메인 멀티-채널 신호를 변환하기 위한 시간-스펙트럼 변환기(150)를 더 포함한다.
또한, 152에 예시된 바와 같이, 도 12의 100, 200 및 300에 예시된 파라미터 결정기, 신호 정렬기 및 신호 프로세서는 모두 주파수 도메인에서 동작한다.
또한, 멀티-채널 인코더 및 구체적으로, 신호 프로세서는 적어도 중간-신호의 시간 도메인 표현을 생성하기 위한 스펙트럼-시간 변환기(154)를 더 포함한다.
바람직하게, 스펙트럼 시간 변환기는 부가적으로, 블록(152)에 의해 표현된 절차들에 의해 또한 결정된 사이드 신호의 스펙트럼 표현을 시간 도메인 표현으로 변환하며, 그 후, 도 12의 신호 인코더(400)는, 도 12의 신호 인코더(400)의 특정 구현에 의존하여 중간 신호를 및/또는 사이드 신호를 시간 도메인 신호들로서 추가로 인코딩하도록 구성된다.
바람직하게, 도 14b의 시간-스펙트럼 변환기(150)는 도 4c의 단계들(155, 156 및 157)을 구현하도록 구성된다. 구체적으로, 단계(155)는, 분석 윈도우의 일 단부에서 적어도 하나의 제로 패딩 부분, 및 구체적으로는, 예를 들어, 이 후의 도 7에 예시된 바와 같이, 초기 윈도우 부분의 제로 패딩 부분 및 종결 윈도우 부분의 제로 패딩 부분을 그 분석 윈도우에 제공하는 단계를 포함한다. 또한, 분석 윈도우는 부가적으로, 윈도우의 제1 절반 및 윈도우의 제2 절반에서 중첩 범위들 또는 중첩 부분들을 가지며, 경우에 따라 비-중첩 범위인 중간 부분을 부가적으로 갖는 것이 바람직하다.
단계(156)에서, 각각의 채널은 중첩 범위들을 갖는 분석 윈도우를 사용하여 윈도우잉된다. 구체적으로, 각각의 채널은, 채널의 제1 블록이 획득되는 그러한 방식으로 분석 윈도우를 사용하여 윈도우잉된다. 후속하여, 제1 블록과의 특정한 중첩 범위 등을 갖는 동일한 채널의 제2 블록이 획득되어서, 예를 들어, 5개의 윈도우잉 동작들에 후속하여, 각각의 채널의 윈도우잉된 샘플들의 5개의 블록들이 이용가능하고, 그 후, 도 14c의 157에 예시된 바와 같이 스펙트럼 표현으로 개별적으로 변환된다. 동일한 절차가 다른 채널에 대해 또한 수행되어, 단계(157)의 말단에서, 스펙트럼 값들의 블록들의 시퀀스, 및 구체적으로는 DFT 스펙트럼 값들 또는 복소 서브대역 샘플들과 같은 복소 스펙트럼 값들이 이용가능하게 된다.
도 12의 파라미터 결정기(100)에 의해 수행되는 단계(158)에서, 브로드밴드 정렬 파라미터가 결정되고, 도 12의 신호 정렬(200)에 의해 수행되는 단계(159)에서, 브로드밴드 정렬 파라미터를 사용하여 원형 시프트가 수행된다. 도 12의 파라미터 결정기(100)에 의해 다시 수행되는 단계(160)에서, 협대역 정렬 파라미터들은 개별 대역들/서브대역들에 대해 결정되고, 단계(161)에서, 정렬된 스펙트럼 값들은 특정 대역들에 대해 결정된 대응하는 협대역 정렬 파라미터들을 사용하여 각각의 대역에 대해 회전된다.
도 14d는 신호 프로세서(300)에 의해 수행되는 추가적인 절차들을 나타낸다. 구체적으로, 신호 프로세서(300)는 단계(301)에 예시된 바와 같이 중간-신호 및 사이드 신호를 계산하도록 구성된다. 단계(302)에서, 사이드 신호의 몇몇 종류의 추가적인 프로세싱이 수행될 수 있으며, 그 후 단계(303)에서, 중간-신호 및 사이드 신호의 각각의 블록은 시간 도메인으로 다시 변환되고, 단계(304)에서, 합성 윈도우는 단계(303)에 의해 획득된 각각의 블록에 적용되고, 단계(305)에서, 한편으로는 중간-신호에 대한 중첩 부가 동작 및 다른 한편으로는 사이드 신호에 대한 중첩 부가 동작이 수행되어, 시간 도메인 중간/사이드 신호들을 최종적으로 획득한다.
구체적으로, 단계(304 및 305)의 동작들은 중간 신호의 다음 블록에서 중간-신호 또는 사이드 신호의 하나의 블록으로부터 일종의 크로스 페이딩을 초래하며, 사이드 신호가 수행되어, 채널간 시간 차이 파라미터 또는 채널간 위상 차이 파라미터와 같은 임의의 파라미터 변화들이 발생하는 경우라도, 이것은 그럼에도, 도 14d의 단계(305)에 의해 획득된 시간 도메인 중간/사이드 신호들에서 가청적이지 않게 한다.
도 13은 입력 라인(50)에서 수신된 인코딩된 멀티-채널 신호를 디코딩하기 위한 장치의 일 실시 예의 블록도를 나타낸다.
특히, 신호는 입력 인터페이스(600)에 의해 수신된다. 입력 인터페이스(600)에 연결된 것은 신호 디코더(700) 및 신호 역정렬기(900)이다. 또한, 신호 프로세서(800)는, 한편으로는 신호 디코더(700)에 연결되고, 다른 한편으로는 신호 역정렬기에 연결된다.
특히, 인코딩된 멀티-채널 신호는, 인코딩된 중간-신호, 인코딩된 사이드 신호, 브로드밴드 정렬 파라미터에 대한 정보 및 복수의 협대역 파라미터들에 대한 정보를 포함한다. 따라서, 라인(50)상의 인코딩된 멀티-채널 신호는 도 12의 출력 인터페이스(500)에 의한 출력과 정확히 동일한 신호일 수 있다.
그러나, 중요하게, 도 12에 예시된 것과는 대조적으로, 특정한 형태의 인코딩된 신호에 포함된 브로드밴드 정렬 파라미터 및 복수의 협대역 정렬 파라미터들은, 도 12의 신호 정렬기(200)에 의해 사용되는 것과 정확히 같은 정렬 파라미터들일 수 있지만, 대안적으로는 또한 그의 역의 값들, 즉 신호 정렬기(200)에 의해 수행되는 것과 정확히 동일한 동작들에 의해 사용될 수 있지만, 역-정렬이 획득되도록 역의 값들을 가질 수 있다.
따라서, 정렬 파라미터들에 대한 정보는, 도 12의 신호 정렬기(200)에 의해 사용되는 바와 같은 정렬 파라미터들일 수 있거나 또는 역의 값들, 즉 실제 "역-정렬 파라미터들"일 수 있다. 부가적으로, 이들 파라미터들은 통상적으로, 도 8에 대해 추후에 논의될 바와 같이 특정한 형태로 양자화될 것이다.
도 13의 입력 인터페이스(600)는, 인코딩된 중간/사이드 신호들로부터 브로드밴드 정렬 파라미터 및 복수의 협대역 정렬 파라미터들에 대한 정보를 분리하고, 이러한 정보를 파라미터 라인(610)을 통해 신호-정렬기(900)에 포워딩한다. 다른 한편으로, 인코딩된 중간-신호는 라인(601)을 통해 신호 디코더(700)에 포워딩되고, 인코딩된 사이드 신호는 신호 라인(602)을 통해 신호 디코더(700)에 포워딩된다.
신호 디코더는, 라인(701) 상의 디코딩된 중간-신호 및 라인(702) 상의 디코딩된 사이드 신호를 획득하기 위해, 인코딩된 중간 신호를 디코딩하고, 인코딩된 사이드 신호를 디코딩하도록 구성된다. 이들 신호들은, 디코딩된 중간 신호 및 디코딩된 사이드 신호로부터, 디코딩된 제1 채널 신호 또는 디코딩된 좌측 신호를 계산하고 디코딩된 제2 채널 또는 디코딩된 우측 채널 신호를 계산하기 위하여 신호 프로세서(800)에 의해 사용되며, 디코딩된 제1 채널 및 디코딩된 제2 채널은 각각 라인들(801, 802) 상에서 출력된다. 신호 역-정렬기(900)는, 브로드밴드 정렬 파라미터에 대한 정보를 사용하여 라인(801) 상의 디코딩된 제1 채널 및 디코딩된 우측 채널(802)을 역-정렬시키며, 그리고 디코딩된 멀티-채널 신호, 즉, 라인들(901 및 902) 상에 적어도 2개의 디코딩되고 역-정렬된 채널들을 갖는 디코딩된 신호를 획득하기 위해 복수의 협대역 정렬 파라미터들에 대한 정보를 부가적으로 사용하도록 구성된다.
도 9a는 도 13으로부터의 신호 역-정렬기(900)에 의해 수행된 단계들의 바람직한 시퀀스를 나타낸다. 구체적으로, 단계(910)는 도 13으로부터의 라인들(801, 802) 상에서 이용가능한 것으로서, 정렬된 좌측 및 우측 채널들을 수신한다. 단계(910)에서, 신호 역-정렬기(900)는 911a 및 911b에서 위상-역-정렬된 디코딩된 제1 및 제2 또는 좌측 및 우측 채널들을 획득하기 위해 협대역 정렬 파라미터들에 대한 정보를 사용하여 개별적인 서브대역들을 역-정렬시킨다. 단계(912)에서, 채널들은 브로드밴드 정렬 파라미터를 사용하여 디-정렬되어, 913a 및 913b에서, 위상 및 시간-역-정렬된 채널들이 획득된다.
단계(914)에서, 915a 또는 915b에서 아티팩트-감소된 또는 아티팩트-없는 디코딩된 신호, 즉, 한편으로는 브로드밴드 및 다른 한편으로는 복수의 협대역들에 대해 통상적으로 시변 역-정렬 파라미터들이 존재하더라도 어떠한 아티팩트들도 갖지 않는 디코딩된 채널들을 획득하기 위해, 윈도우잉 또는 임의의 중첩-부가 동작 또는 일반적으로는 임의의 크로스-페이드 동작을 사용하는 것을 포함하는 임의의 추가적인 프로세싱이 수행된다.
도 15b는 도 13에 예시된 멀티-채널 디코더의 바람직한 구현을 나타낸다.
특히, 도 13으로부터의 신호 프로세서(800)는 시간-스펙트럼 변환기(810)를 포함한다.
또한, 신호 프로세서는, 중간 신호 M 및 사이드 신호 S로부터 좌측 신호 L 및 우측 신호 R을 계산하기 위해 중간/사이드 투 좌측/우측 변환기(820)를 포함한다.
그러나, 중요하게, 블록(820)에서 중간/사이드-좌측/우측 변환에 의하여 L 및 R을 계산하기 위해, 사이드 신호 S가 반드시 사용될 필요는 없다. 대신에, 추후에 논의되는 바와 같이, 좌측/우측 신호들은 채널간 레벨 차이 파라미터 ILD로부터 도출되는 이득 파라미터만을 사용하여 초기에 계산된다. 따라서, 이러한 구현에서, 사이드 신호 S는 우회 라인(821)에 의해 예시된 바와 같이, 송신된 사이드 신호 S를 사용하여 더 양호한 좌측/우측 신호를 제공하기 위해 동작하는 채널 업데이터(830)에서만 사용된다.
따라서, 변환기(820)는 레벨 파라미터 입력(822)을 통해 그리고 사이드 신호 S를 실제로 사용하지 않고 획득되는 레벨 파라미터를 사용하여 동작하지만, 그 후, 채널 업데이터(830)는 사이드(821)룰 사용하여 동작하고, 특정 구현에 의존하여,라인(831)을 통해 수신된 스테레오 충진 파라미터를 사용하여 동작한다. 그 후, 신호 정렬기(900)는 위상-역-정렬기 및 에너지 스케일러(910)를 포함한다. 에너지 스케일링은 스케일링 팩터 계산기(940)에 의해 도출된 스케일링 팩터에 의해 제어된다. 스케일링 팩터 계산기(940)는 채널 업데이터(830)의 출력에 의해 공급을 받는다. 입력(911)을 통해 수신된 협대역 정렬 파라미터들에 기초하여, 위상 역-정렬이 수행되며, 블록(920)에서, 라인(921)을 통해 수신된 브로드밴드 정렬 파라미터에 기초하여, 시간-역-정렬이 수행된다. 최종적으로, 디코딩된 신호를 최종적으로 획득하기 위해 스펙트럼-시간 변환(930)이 수행된다.
도 15c는 바람직한 실시 예에서, 도 15b의 블록들(920 및 930) 내에서 통상적으로 수행되는 단계들의 추가적인 시퀀스를 나타낸다.
구체적으로, 협대역 역-정렬된 채널들은 도 15b의 블록(920)에 대응하는 브로드밴드 역-정렬 기능으로 입력된다. 블록(931)에서, DFT 또는 임의의 다른 변환이 수행된다. 시간 도메인 샘플들의 실제 계산에 후속하여, 합성 윈도우를 사용하는 선택적인 합성 윈도우잉이 수행된다. 합성 윈도우는 바람직하게, 분석 윈도우와 정확히 동일하거나 또는 분석 윈도우, 예를 들어, 보간 또는 데시메이션(decimation)으로부터 도출되지만, 분석 윈도우로부터의 특정 방식에 의존한다. 이러한 의존성은 바람직하게, 2개의 중첩 윈도우들에 의해 정의된 곱셈 팩터들이 중첩 범위 내의 각각의 포인트에 대해 최대 1을 부가하도록 이루어진다. 따라서, 블록(932)의 합성 윈도우에 후속하여, 중첩 동작 및 후속 부가 동작이 수행된다. 대안적으로, 합성 윈도우잉 및 중첩/부가 동작 대신에, 도 15a의 콘텍스트에서 이미 논의된 바와 같이, 아티팩트 감소된 디코딩된 신호를 획득하기 위해, 각각의 채널에 대한 후속 블록들 사이의 크로스 페이드가 수행된다.
도 6b가 고려될 경우, 중간 신호, 즉 한편으로는 "EVS 디코더"에 대한 실제 디코딩 동작 및 사이드 신호에 대해서는 역 벡터 양자화 VQ-1 및 역 MDCT 동작(IMDCT)은 도 13의 신호 디코더(700)에 대응한다는 것이 명백해진다.
또한, 블록(810)의 DFT 동작들은 도 15b의 엘리먼트(810)에 대응하고, 역 스테레오 프로세싱 및 역 시간 시프트의 기능들은 도 13의 블록들(800, 900)에 대응하며, 도 6b의 역 DFT 동작들(930)은 도 15b의 블록(930)의 대응하는 동작에 대응한다.
후속하여, 도 3d가 더 상세히 논의된다. 특히, 도 3d는 개별적인 스펙트럼 라인들을 갖는 DFT 스펙트럼을 나타낸다. 바람직하게, 도 3d에 예시된 DFT 스펙트럼 또는 임의의 다른 스펙트럼은 복소 스펙트럼이고, 각각의 라인은 크기 및 위상을 갖거나 또는 실수부 및 허수부를 갖는 복소 스펙트럼 라인이다.
부가적으로, 스펙트럼은 또한, 상이한 파라미터 대역들로 분할된다. 각각의 파라미터 대역은 적어도 하나 및 바람직하게는 1개 초과의 스펙트럼 라인들을 갖는다. 부가적으로, 파라미터 대역들은 더 낮은 주파수로부터 더 높은 주파수로 증가한다. 통상적으로, 브로드밴드 정렬 파라미터는 전체 스펙트럼, 즉, 도 3d의 예시적인 실시 예에서 모든 대역들 1 내지 6을 포함하는 스펙트럼에 대한 단일 브로드밴드 정렬 파라미터이다.
또한, 복수의 협대역 정렬 파라미터들은, 각각의 파라미터 대역에 대한 단일 정렬 파라미터가 존재하도록 제공된다. 이것은, 대역에 대한 정렬 파라미터가 대응하는 대역 내의 모든 스펙트럼 값들에 항상 적용된다는 것을 의미한다.
또한, 협대역 정렬 파라미터들에 부가하여, 레벨 파라미터들이 또한 각각의 파라미터 대역에 대해 제공된다.
대역 1로부터 대역 6까지의 각각의 그리고 모든 파라미터 대역에 대해 제공되는 레벨 파라미터들과는 대조적으로, 대역들 1, 2, 3 및 4와 같은 제한된 수의 더 낮은 대역들에 대해서만 복수의 협대역 정렬 파라미터들을 제공하는 것이 바람직하다.
부가적으로, 예시적인 실시 예에서, 대역들 4, 5 및 6에 대한 것과 같이 더 낮은 대역들을 제외한 특정한 수의 대역들에 대해 스테레오 충진 파라미터들이 제공되는 반면, 더 낮은 파라미터 대역들 1, 2 및 3에 대한 사이드 신호 스펙트럼 값들이 존재하며, 결과적으로, 어떠한 스테레오 충진 파라미터들도 이들 더 낮은 대역들에 대해 존재하지 않고, 여기서, 사이드 신호 그 자체 또는 사이드 신호를 표현하는 예측 잔여 신호 중 어느 하나를 사용하여 파형 매칭이 획득된다.
이미 언급된 바와 같이, 도 3d의 실시 예에서의 파라미터 대역 6의 7개의 스펙트럼 라인들 대 파라미터 대역 2의 단지 3개만의 스펙트럼 라인들과 같이, 더 높은 대역들에서 더 많은 스펙트럼 라인들이 존재한다. 그러나, 자연스럽게, 파라미터 대역들의 수, 스펙트럼 라인들의 수 및 파라미터 대역 내의 스펙트럼 라인들의 수 및 또한 특정한 파라미터들에 대한 상이한 제한들이 상이할 것이다.
그럼에도, 도 8은, 도 3d와는 대조적으로 실제로는 12개의 대역들이 존재하는 특정한 실시 예에서 파라미터들이 제공되는 파라미터들의 분포 및 대역들의 수를 나타낸다.
예시된 바와 같이, 레벨 파라미터 ILD는 12개의 대역들 각각에 대해 제공되고, 대역 당 5개의 비트들에 의해 표현되는 양자화 정확도로 양자화된다.
또한, 협대역 정렬 파라미터들 IPD는 2.5kHz의 경계 주파수까지의 더 낮은 대역들에 대해서만 제공된다. 부가적으로, 채널간 시간 차이 또는 브로드밴드 정렬 파라미터는 전체 스펙트럼에 대한 단일 파라미터로서만 제공되지만, 전체 대역에 대하여 8개의 비트들에 의해 표현되는 매우 높은 양자화 정확도를 갖는다.
또한, 매우 대략적으로 양자화된 스테레오 충진 파라미터들은, 더 낮은 대역들에 대해, 실제로 인코딩된 사이드 신호 또는 사이드 신호 잔여 스펙트럼 값들이 포함되므로, 1kHz 미만의 더 낮은 대역들에 대해서가 아니라 대역 당 3개의 비트들에 의해 표현되어 제공된다.
후속하여, 인코더 측 상의 바람직한 프로세싱이 요약된다. 제1 단계에서, 좌측 및 우측 채널의 DFT 분석이 수행된다. 이러한 절차는 도 14c의 단계들(155 내지 157)에 대응한다. 브로드밴드 정렬 파라미터가 계산되고, 특히, 바람직한 브로드밴드 정렬 파라미터인 채널간 시간 차이(ITD)가 계산된다. 주파수 도메인에서 L 및 R의 시간 시프트가 수행된다. 대안적으로, 이러한 시간 시프트는 또한, 시간 도메인에서 수행될 수 있다. 그 후, 브로드밴드 정렬 파라미터를 사용하여 정렬에 후속하는 스펙트럼 표현들을 다시 한번 갖기 위해, 역 DFT가 수행되고, 시간 시프트가 시간 도메인에서 수행되며, 부가적인 순방향 DFT가 수행된다.
ILD 파라미터들, 즉 레벨 파라미터들 및 위상 파라미터들(IPD 파라미터들)은 시프트된 L 및 R 표현들 상의 각각의 파라미터 대역에 대해 계산된다. 이러한 단계는, 예를 들어, 도 14c의 단계(160)에 대응한다. 시간 시프트된 L 및 R 표현들은, 도 14c의 단계(161)에 예시된 바와 같이 채널간 위상 차이 파라미터들의 함수로서 회전된다. 후속하여, 중간 및 사이드 신호들은, 단계(301)에 예시된 바와 같이 계산되고, 바람직하게는, 추후에 논의되는 바와 같이, 부가적으로 에너지 보존 동작을 이용하여 계산된다. 또한, ILD의 함수로서 M을 이용한 그리고 선택적으로는 과거의 M 신호, 즉 더 이전의 프레임의 중간-신호를 이용한 S의 예측이 수행된다. 후속하여, 바람직한 실시 예에서 도 14d의 단계들(303, 304, 305)에 대응하는 중간-신호 및 사이드 신호의 역 DFT가 수행된다.
최종 단계에서, 시간 도메인 중간-신호 m 및 선택적으로는 잔여 신호가 코딩된다. 이러한 절차는 도 12의 신호 인코더(400)에 의해 수행되는 것에 대응한다.
역 스테레오 프로세싱의 디코더에서, 사이드 신호는 DFT 도메인에서 생성되고, 중간 신호로부터 먼저 다음과 같이 예측된다:
여기서, g는 각각의 파라미터 대역에 대해 계산된 이득이고, 송신된 채널간 레벨 차이(ILD들)의 함수이다.
그 후, 예측 
의 잔여는 다음과 같이 2개의 상이한 방식들로 정제될 수 있다:
- 잔여 신호의 2차 코딩에 의해:
여기서, gcod는 전체 스펙트럼에 대해 송신된 글로벌 이득이다.
- 스테레오 충진으로 알려진 잔여 예측에 의해, 이전의 DFT 프레임으로부터의 이전의 디코딩된 중간 신호 스펙트럼을 이용하여 잔여 사이드 스펙트럼을 예측한다:
여기서 gpred는 파라미터 대역 당 송신되는 예측 이득이다.
2개의 타입들의 코딩 정제는 동일한 DFT 스펙트럼 내에서 혼합될 수 있다. 바람직한 실시 예에서, 잔여 코딩은 더 낮은 파라미터 대역들에 적용되는 반면, 잔여 예측은 나머지 대역들에 적용된다. 잔여 코딩은, 도 12에 도시된 바와 같은 바람직한 실시 예에 존재하며, 시간 도메인에서 잔여 사이드 신호를 합성하고 그것을 MDCT에 의해 변환한 이후 MDCT 도메인에서 수행된다. DFT와는 달리, MDCT는 임계 샘플링되며, 오디오 코딩에 더 적합하다. MDCT 계수들은, 래티스 벡터 양자화(Lattice Vector Quantization)에 의해 직접 벡터 양자화되지만, 대안적으로, 스칼라 양자화기, 후속하여 엔트로피 코더에 의해 코딩될 수 있다. 대안적으로, 잔여 사이드 신호는 또한, 스피치 코딩 기법에 의해 시간 도메인에서 또는 직접 DFT 도메인에서 코딩될 수 있다.
후속하여, 조인트 스테레오/멀티채널 인코더 프로세싱 또는 역 스테레오/멀티채널 프로세싱의 추가적인 실시 예가 설명된다.
1. 시간-주파수 분석: DFT
DFT들에 의해 행해지는 스테레오 프로세싱으로부터의 여분의 시간-주파수 분해가 코딩 시스템의 전체 지연을 상당히 증가시키지 않으면서, 양호한 청각 장면 분석을 허용하는 것이 중요하다. 디폴트로, 10ms의 시간 분해능(코어 코더의 20ms 프레이밍의 2배)가 사용된다. 분석 및 합성 윈도우는 동일하며 대칭이다. 윈도우는 도 7에서 16 kHz의 샘플링 레이트로 표현된다. 발생된 지연을 감소시키기 위해 중첩 구역이 제한되며, 이후 설명될 바와 같이, 주파수 도메인에서 ITD를 적용할 경우, 원형 시프트를 카운터 밸런싱(counter balance)하기 위해 제로 패딩이 또한 부가된다는 것이 관측될 수 있다.
2. 스테레오 파라미터들
스테레오 파라미터들은 스테레오 DFT의 시간 분해능에서 최대로 송신될 수 있다. 최소한, 그것은 코어 코더의 프레이밍 분해능, 즉 20ms로 감소될 수 있다. 디폴트로, 어떠한 트랜션트(transient)들도 검출되지 않는 경우, 파라미터들은 2개의 DFT 윈도우들에서 매 20ms마다 계산된다. 파라미터 대역들은, 등가 사각 대역폭들(Equivalent Rectangular Bandwidth: ERB)의 대략 2배 또는 4배에 따라 스펙트럼의 비-균일하고 비-중첩한 분해를 구성한다. 디폴트로, 16kHz의 주파수 대역폭(32kbps 샘플링-레이트, 슈퍼 광대역 스테레오)에 대한 총 12개의 대역들에 대해 4배의 ERB 스케일이 사용된다. 도 8은, 스테레오 사이드 정보가 약 5kbps로 송신되는 구성의 일 예를 요약했다.
3. ITD 및 채널 시간 정렬의 계산
ITD는, 위상 변환을 이용한 일반화된 교차 상관(Generalized Cross Correlation with Phase Transform: GCC-PHAT)을 사용하여 도달 시간 지연(TDOA)을 추정함으로써 계산되며:
여기서, L 및 R은 각각 좌측 및 우측 채널들의 주파수 스펙트럼들이다. 주파수 분석은, 후속 스테레오 프로세싱을 위해 사용되는 DFT와는 독립적으로 수행될 수 있거나 또는 공유될 수 있다. ITD를 계산하기 위한 의사-코드는 다음과 같다.
ITD 계산은 또한, 다음과 같이 요약될 수 있다. 교차-상관은, 스펙트럼 평탄도 측정에 의존하여 평활화되기 전에 주파수 도메인에서 계산된다. SFM은 0과 1 사이에서 경계가 정해진다. 잡음형 신호들의 경우, SFM은 하이(즉, 약 1)일 것이고, 평활화는 약할 것이다. 톤형 신호의 경우, SFM은 낮을 것이고, 평활화는 더 강해질 것이다. 그 후, 평활화된 교차-상관은, 시간 도메인으로 다시 변환되기 전에 그의 진폭에 의해 정규화된다. 정규화는, 교차-상관의 위상-변환에 대응하며, 낮은 잡음 및 비교적 높은 잔향 환경들에서의 일반적인 교차-상관보다 더 양호한 성능을 나타내는 것으로 알려져 있다. 이렇게-획득된 시간 도메인 함수는, 더 견고한 피크 피킹(peak peaking)을 달성하기 위해 먼저 필터링된다. 최대 진폭에 대응하는 인덱스는 좌측 및 우측 채널(ITD) 사이의 시간 차이의 추정에 대응한다. 최대값의 진폭이 주어진 임계치보다 낮으면, ITD의 추정치는 신뢰가능한 것으로 고려되지 않으며, 제로로 셋팅된다.
시간 정렬이 시간 도메인에 적용되면, ITD는 별개의 DFT 분석으로 계산된다. 시프트는 다음과 같이 행해진다:
그것은 인코더에서 여분의 지연을 요구하며, 이는, 처리될 수 있는 최대의 절대 ITD에 최대로 동일하다. 시간에 걸친 ITD의 변화는 DFT의 분석 윈도우잉에 의해 평활화된다.
대안적으로, 시간 정렬은 주파수 도메인에서 수행될 수 있다. 이러한 경우, ITD 계산 및 원형 시프트는 동일한 DFT 도메인에 존재하며, 그 도메인은 이러한 다른 스테레오 프로세싱과 공유된다. 원형 시프트는 다음과 같이 제공된다:
DFT 윈도우들의 제로 패딩은 원형 시프트를 이용하여 시간 시프트를 시뮬레이팅하기 위해 필요하다. 제로 패딩의 사이즈는, 처리될 수 있는 최대의 절대 ITD에 대응한다. 바람직한 실시 예에서, 제로 패딩은, 말단들 둘 모두 상에 3.125ms의 제로들을 부가함으로써 분석 윈도우들의 측면들 둘 모두 상에서 균일하게 분할된다. 그 후, 최대의 절대 가능 ITD는 6.25ms이다. A-B 마이크로폰 셋업에서, 그것은 최악의 경우에 대해, 2개의 마이크로폰들 사이의 약 2.15미터의 최대 거리에 대응한다. 시간에 걸친 ITD의 변화는 DFT의 중첩-부가 및 합성 윈도우잉에 의해 평활화된다.
시간 시프트에는 시프트된 신호의 윈도우잉이 후속한다는 것이 중요하다. 그것은 종래 기술의 바이노럴 큐 코딩(Binaural Cue Coding: BCC)과의 주된 차이점이며, 여기서, 시간 시프트는 윈도우잉된 신호에 적용되지만, 합성 스테이지에서는 추가로 윈도우잉되지 않는다. 결과로서, 시간에 걸친 ITD의 임의의 변화는 디코딩된 신호에서 아티팩트적인 트랜션트/클릭을 생성한다.
4. IPD들 및 채널 회전의 계산
IPD는 2개의 채널들을 시간 정렬시킨 이후에 계산되며, 이것은, 스테레오 구성에 의존하여 각각의 파라미터 대역 또는 적어도, 주어진 ipd_max_band 까지에 대한 것이다.
그 후, IPD들은 그들의 위상들을 정렬시키기 위해 2개의 채널들에 적용된다:
여기서, 
이고, b는, 주파수 인덱스 k에 속하는 파라미터 대역 인덱스이다. 파라미터 β는, 2개의 채널들의 위상을 정렬시키면서 그 2개의 채널들 사이에 위상 회전의 양을 분배하는 것을 담당한다. β는 IPD 뿐만 아니라 채널들의 상대적 진폭 레벨, 즉 ILD에 의존한다. 채널이 더 높은 진폭을 가지면, 그것은 선두 채널로서 고려될 것이며, 더 낮은 진폭을 갖는 채널보다 위상 회전에 의해 덜 영향을 받을 것이다.
5. 합산 차이 및 사이드 신호 코딩
합산 차이 변환은, 중간 신호에서 에너지가 보존되는 방식으로 2개의 채널들의 시간 및 위상 정렬된 스펙트럼들에 대해 수행된다.
여기서, 
는 1/1.2와 1.2 사이, 즉 ―1.58와 +1.58 dB 사이에서 경계가 정해진다. 제한은, M 및 S의 에너지를 조정할 경우 인공물을 피한다. 시간 및 위상이 사전에 정렬되었던 경우 이러한 에너지 보존은 덜 중요하다는 것을 유의할 가치가 있다. 대안적으로, 경계들은 증가 또는 감소될 수 있다.
사이드 신호 S는 M을 이용하여 추가로 예측된다:
여기서 
이고, 
이다. 대안적으로, 최적의 예측 이득 g는 이전의 수학식에 의해 추론된 잔류 및 ILD들의 평균 제곱 에러(MSE)를 최소화함으로써 발견될 수 있다.
잔여 신호 S'(f)는 2개의 수단들에 의해, 즉 M의 지연된 스펙트럼을 이용하여 그 신호를 예측함으로써 또는 MDCT 도메인에서 그 신호를 직접 코딩함으로써 모델링될 수 있다.
6. 스테레오 디코딩
중간 신호 X 및 사이드 신호 S는 먼저 다음과 같이 좌측 및 우측 채널들로 변환된다:
여기서, 파라미터 대역 당 이득 g는 ILD 파라미터로부터 도출된다:
cod_max_band 아래의 파라미터 대역들에 대해, 2개의 채널들은 디코딩된 사이드 신호를 이용하여 업데이트된다.
더 높은 파라미터 대역들에 대해, 사이드 신호가 예측되고, 채널들이 다음과 같이 업데이트된다:
최종적으로, 채널들은 스테레오 신호의 본래의 에너지 및 채널간 위상을 복원하는 것을 목적으로 하여 복소 값과 곱해진다:
여기서,
여기서, a는 이전에 정의된 바와 같이 정의되고 경계가 정해지며, 
이고, atan2(x,y)는 y에 걸친 x의 4상한(four-quadrant) 역 탄젠트이다.
최종적으로, 채널들은, 송신된 ITD에 의존하여 시간 도메인 또는 주파수 도메인 중 어느 하나에서 시간 시프트된다. 시간 도메인 채널들은 역 DFT들 및 중첩-가산에 의해 합성된다.
본 발명의 인코딩된 오디오 신호는, 디지털 저장 매체 또는 비-일시적인 저장 매체 상에 저장될 수 있거나, 무선 송신 매체와 같은 송신 매체 또는 인터넷과 같은 유선 송신 매체 상에서 송신될 수 있다.
일부 양상들이 장치의 콘텍스트에서 설명되었지만, 이들 양상들이 또한 대응하는 방법의 설명을 표현한다는 것은 명확하며, 여기서, 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특성에 대응한다. 유사하게, 방법 단계의 콘텍스트에서 설명된 양상들은 또한, 대응하는 장치의 대응하는 블록 또는 아이템 또는 특성의 설명을 표현한다.
특정한 구현 요건들에 의존하면, 본 발명의 실시 예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은, 각각의 방법이 수행되도록 프로그래밍가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독가능한 제어 신호들이 저장된 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다.
본 발명에 따른 일부 실시 예들은, 본 명세서에 설명된 방법들 중 하나가 수행되도록 프로그래밍가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 물건으로서 구현될 수 있으며, 프로그램 코드는, 컴퓨터 프로그램 물건이 컴퓨터 상에서 구동되는 경우 방법들 중 하나를 수행하기 위해 동작된다. 프로그램 코드는, 예를 들어, 머신 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은, 머신 판독가능 캐리어 또는 비-일시적인 저장 매체 상에 저장되는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 따라서, 본 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터 상에서 구동되는 경우, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법들의 추가적인 실시 예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램(상부에 기록됨)을 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독가능 매체)이다.
따라서, 본 발명의 방법의 추가적인 실시 예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는, 예를 들어, 데이터 통신 연결을 통해, 예를 들어, 인터넷을 통해 전달되도록 구성될 수 있다.
추가적인 실시 예는, 본 명세서에 설명된 방법들 중 하나를 수행하도록 구성 또는 적응되는 프로세싱 수단, 예를 들어, 컴퓨터, 또는 프로그래밍가능 로직 디바이스를 포함한다.
추가적인 실시 예는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 인스톨된 컴퓨터를 포함한다.
일부 실시 예들에서, 프로그래밍가능 로직 디바이스(예를 들어, 필드 프로그래밍가능 게이트 어레이)는, 본 명세서에 설명된 방법들의 기능들 중 일부 또는 모두를 수행하기 위해 사용될 수 있다. 일부 실시 예들에서, 필드 프로그래밍가능 게이트 어레이는, 본 명세서에 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게 임의의 하드웨어 장치에 의해 수행된다.
위에서 설명된 실시 예들은 단지, 본 발명의 원리들에 대해 예시적일 뿐이다. 본 명세서에 설명된 어레인지먼트(arrangement)들 및 세부사항들의 변형들 및 변경들이 당업자들에게는 명백할 것임을 이해한다. 따라서, 본 명세서의 실시 예들의 설명 및 해설에 의해 제시된 특정한 세부사항들이 아니라 임박한 특허 청구항들의 범위에 의해서만 제한되는 것이 의도이다.
Claims (43)
- 적어도 2개의 채널들을 포함하는 멀티-채널 신호를 인코딩하기 위한 장치에 있어서,
상기 적어도 2개의 채널들에 대한 스펙트럼 값들의 블록들의 시퀀스들을 갖는 주파수 도메인 표현으로 상기 적어도 2개의 채널들의 샘플링 값들의 블록들의 시퀀스들을 변환하기 위한 시간-스펙트럼 변환기(1000);
상기 적어도 2개의 채널들에 관련된 정보를 포함하는 스펙트럼 값들의 블록들의 적어도 하나의 결과 시퀀스를 획득하기 위해, 상기 스펙트럼 값들의 블록들의 시퀀스들에 조인트(joint) 멀티-채널 프로세싱을 적용하기 위한 멀티-채널 프로세서(1010);
샘플링 값들의 블록들의 출력 시퀀스를 포함하는 시간 도메인 표현으로 상기 스펙트럼 값들의 블록들의 결과 시퀀스를 변환하기 위한 스펙트럼-시간 변환기(1030); 및
인코딩된 멀티-채널 신호(1510)를 획득하기 위해 상기 샘플링 값들의 블록들의 출력 시퀀스를 인코딩하기 위한 코어 인코더(1040)를 포함하고,
상기 코어 인코더(1040)는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해지고,
상기 시간-스펙트럼 변환기(1000) 또는 상기 스펙트럼-시간 변환기(1030)는, 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되고, 상기 프레임들의 시퀀스의 각각의 프레임의 상기 시작 프레임 경계(1901) 또는 상기 종료 프레임 경계(1902)는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 상기 시간-스펙트럼 변환기(1000)에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 출력 시퀀스의 각각의 블록에 대하여 상기 스펙트럼-시간 변환기(1030)에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있으며,
상기 코어 인코더(1040)는, 출력 샘플링 레이트를 연관시키는 상기 샘플링 값들의 블록들의 출력 시퀀스로부터 도출되는 프레임을 코어 인코딩하는 경우, 룩-어헤드 부분(1905)을 사용하도록 구성되고, 상기 룩-어헤드 부분(1905)은 상기 프레임에 후속하는 시간에 위치되고, 상기 시간-스펙트럼 변환기(1000)는 상기 룩-어헤드 부분(1905)의 시간 길이보다 작거나 또는 그와 동일한 시간 길이를 갖는 중첩 부분을 가진 분석 윈도우(1904)를 사용하도록 구성되고, 상기 분석 윈도우의 중첩 부분은 윈도우잉된 룩-어헤드 부분을 생성하기 위해 사용되거나, 또는
상기 스펙트럼-시간 변환기(1030)는, 합성 윈도우를 사용하여 제1 출력 블록을 생성하고, 상기 합성 윈도우를 사용하여 제2 출력 블록을 생성하도록 구성되고, 상기 제2 출력 블록의 제2 부분은 출력 룩-어헤드 부분이고, 상기 스펙트럼-시간 변환기(1030)는, 상기 출력 룩-어헤드 부분을 배제하는 상기 제2 출력 블록의 부분과 상기 제1 출력 블록 사이에서 중첩-부가(overlap-add) 동작을 사용하여 프레임의 샘플링 값들을 생성하도록 구성되고, 상기 코어 인코더(1040)는, 상기 프레임을 코어 인코딩하기 위한 코딩 정보를 결정하기 위해 상기 출력 룩-어헤드 부분에 룩-어헤드 동작을 적용하도록 구성되며, 상기 코어 인코더(1040)는 상기 룩-어헤드 동작의 결과를 사용하여 상기 프레임을 코어 인코딩하도록 구성되거나, 또는
샘플링 값들의 블록은 연관된 입력 샘플링 레이트를 갖고, 상기 스펙트럼 값들의 블록들의 시퀀스들의 스펙트럼 값들의 블록은, 상기 입력 샘플링 레이트에 관련된 최대 입력 주파수(1211)까지의 스펙트럼 값들을 가지고; 상기 장치는, 상기 주파수 도메인에서 상기 스펙트럼-시간 변환기(1030)로 입력된 데이터에 대해서 또는 상기 멀티-채널 프로세서(1010)로 입력된 데이터에 대해서 리샘플링 동작을 수행하기 위한 스펙트럼 도메인 리샘플러(1020)를 더 포함하고, 상기 스펙트럼 값들의 블록들의 리샘플링된 시퀀스의 블록은 상기 최대 입력 주파수(1211)와는 상이한 최대 출력 주파수(1231, 1221)까지의 스펙트럼 값들을 가지고, 샘플링 값들의 블록들의 출력 시퀀스는 상기 입력 샘플링 레이트와는 다른 연관된 출력 샘플링 레이트를 가지는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 시간-스펙트럼 변환기(1000)에 의해 사용되는 상기 분석 윈도우(1904) 또는 상기 스펙트럼-시간 변환기(1030)에 의해 사용되는 합성 윈도우 각각은, 증가하는 중첩 부분 및 감소하는 중첩 부분을 가지며, 상기 코어 인코더(1040)는, 상기 룩-어헤드(look-ahead) 부분(1905)을 갖는 시간-도메인 인코더 또는 코어 윈도우의 중첩 부분을 갖는 주파수 도메인 인코더를 포함하고, 상기 분석 윈도우 또는 상기 합성 윈도우의 중첩 부분은 상기 코어 인코더의 룩-어헤드 부분(1905) 또는 상기 코어 윈도우의 중첩 부분보다 작거나 또는 그와 동일하며,
상기 코어 인코더(1040)는, 출력 샘플링 레이트를 연관시키는 상기 샘플링 값들의 블록들의 출력 시퀀스로부터 도출되는 프레임을 코어 인코딩하는 경우, 룩-어헤드 부분(1905)을 사용하도록 구성되고, 상기 룩-어헤드 부분(1905)은 상기 프레임에 후속하는 시간에 위치되고,상기 시간-스펙트럼 변환기(1000)는 상기 룩-어헤드 부분(1905)의 시간 길이보다 작거나 또는 그와 동일한 시간 길이를 갖는 중첩 부분을 가진 분석 윈도우(1904)를 사용하도록 구성되고, 상기 분석 윈도우의 중첩 부분은 윈도우잉된 룩-어헤드 부분(1905)을 생성하기 위해 사용되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 삭제
- 제1항에 있어서,
상기 스펙트럼-시간 변환기(1030)는, 교정 함수(redress function; 1922)를 사용하여 상기 윈도우잉된 룩-어헤드 부분에 대응하는 출력 룩-어헤드 부분을 프로세싱하도록 구성되며,
상기 교정 함수는 상기 분석 윈도우의 중첩 부분의 영향이 감소 또는 제거되도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제4항에 있어서,
상기 교정 함수는, 상기 분석 윈도우의 중첩 부분을 정의하는 함수에 역(inverse)인,
멀티-채널 신호를 인코딩하기 위한 장치. - 제4항에 있어서,
상기 중첩 부분은 사인 함수(sine function)의 제곱근에 비례하고,
상기 교정 함수는 상기 사인 함수의 역 제곱근(inverse square root)에 비례하며,
상기 스펙트럼-시간 변환기(1030)는 상기 사인 함수의 1.5승(power of 1.5)에 비례하는 상기 중첩 부분을 사용하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 삭제
- 제1항에 있어서,
상기 스펙트럼-시간 변환기(1030)는, 상기 합성 윈도우를 사용하여 상기 제2 출력 블록에 후속하는 제3 출력 블록을 생성하도록 구성되며,
상기 스펙트럼-시간 변환기(1030)는, 시간상 상기 프레임에 후속하는 추가적인 프레임의 샘플들을 획득하기 위해, 상기 합성 윈도우를 사용하여 윈도우잉된 상기 제2 출력 블록의 제2 부분과 상기 제3 출력 블록의 제1 중첩 부분을 중첩시키도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제8항에 있어서,
상기 스펙트럼-시간 변환기(1030)는, 상기 프레임에 대해 상기 제2 출력 블록을 생성하는 경우, 상기 시간-스펙트럼 변환기(1000)에 의해 사용된 상기 분석 윈도우(1904)의 영향을 적어도 부분적으로 되돌리기(undo) 위해, 상기 출력 룩-어헤드 부분을 윈도우잉하지 않거나 또는 상기 출력 룩-어헤드 부분을 교정(1922)하도록 구성되며,
상기 스펙트럼-시간 변환기(1030)는, 추가적인 프레임에 대해 상기 제2 출력 블록과 상기 제3 출력 블록 사이에서 중첩-부가 동작을 수행(1924)하고, 상기 합성 윈도우를 이용하여 상기 출력 룩-어헤드 부분을 윈도우잉(1920)하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 스펙트럼-시간 변환기(1030)는,
출력 샘플들의 제1 블록―상기 출력 샘플들의 상기 제1 블록은 상기 제1 블록의 출력 샘플들의 제1 부분 및 상기 제1 블록의 출력 샘플들의 제2 부분을 가짐―을 생성하고 또한, 출력 샘플들의 제2 블록―출력 샘플들의 상기 제2 블록은 상기 제2 블록의출력 샘플들의 제1 부분 및 상기 제2 블록―출력 샘플들의 제2 부분을 가짐―을 생성하기 위해 합성 윈도우를 사용하고,
출력 샘플들의 출력 부분을 생성하기 위해 상기 제1 블록의 출력 샘플들의 상기 제2 부분과 상기 제2 블록의 출력 샘플들의 상기 제1 부분을 중첩-부가하도록 구성되며,
상기 코어 인코더(1040)는 출력 샘플들을 코어 인코딩하기 위한 상기 출력 샘플들의 다른 부분에 상기 룩-어헤드 동작을 적용하도록 구성되고,
출력 샘플들의 상기 다른 부분은 상기 룩-어헤드 부분(1905)을 나타내며 또한 상기 중첩-부가에 의해서 생성된 상기 출력 샘플들의 상기 출력 부분 이전의 시간에 위치되며, 상기 룩-어헤드 부분은 출력의 상기 제2 부분을 포함하지 않는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 스펙트럼-시간 변환기(1030)는, 코어 인코더 프레임의 길이의 2배보다 더 큰 시간 분해능(time resolution)을 제공하는 합성 윈도우를 사용하도록 구성되거나, 또는
상기 스펙트럼-시간 변환기(1030)는, 출력 샘플들의 블록들을 생성하기 위해 상기 합성 윈도우를 사용하고, 중첩-부가 동작을 수행하도록 구성되고, 상기 코어 인코더(1040)의 상기 룩-어헤드 부분(1905)의 모든 샘플들은 상기 중첩-부가 동작을 사용하여 계산되거나, 또는
상기 스펙트럼-시간 변환기(1030)는, 상기 룩-어헤드 부분(1905) 이전의 시간에 위치되는 출력 샘플들을 코어 인코딩하기 위해 상기 출력 샘플들에 상기 룩-어헤드 동작을 적용하도록 구성되고, 상기 룩-어헤드 부분은 제2 블록의 샘플들의 제2 부분을 포함하지 않는,
멀티-채널 신호를 인코딩하기 위한 장치. - 삭제
- 제1항에 있어서,
상기 스펙트럼 도메인 리샘플러(1020)는, 다운샘플링의 목적으로 상기 블록들을 절단(truncating)하거나, 또는 업샘플링의 목적으로 상기 블록들을 제로 패딩(zero padding)하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 스펙트럼 도메인 리샘플러(1020)는, 상기 최대 입력 주파수(1211)에 의존하고 상기 최대 출력 주파수(1231, 1221)에 의존하는 스케일링 팩터를 사용하여 상기 블록들의 결과 시퀀스의 블록들의 스펙트럼 값들을 스케일링(1322)하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제14항에 있어서,
상기 스케일링 팩터는 업샘플링의 경우에는 1보다 크고 상기 출력 샘플링 레이트는 상기 입력 샘플링 레이트보다 크거나, 또는 상기 스케일링 팩터는 다운샘플링의 경우에는 1보다 작고, 상기 출력 샘플링 레이트는 상기 입력 샘플링 레이트보다 작거나, 또는
상기 시간-스펙트럼 변환기(1000)는, 스펙트럼 값들의 블록의 스펙트럼 값들의 총 수에 대한 정규화를 사용하지 않으면서 시간-주파수 변환 알고리즘을 수행하도록 구성되고(1311), 상기 스케일링 팩터는, 상기 리샘플링된 시퀀스의 블록의 스펙트럼 값들의 수와 리샘플링 이전의 스펙트럼 값들의 블록의 스펙트럼 값들의 수 사이의 몫(quotient)과 동일하며, 상기 스펙트럼-시간 변환기(1030)는, 상기 최대 출력 주파수(1231, 1221)에 기반하여 정규화를 적용하도록 구성되는, 멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 시간-스펙트럼 변환기(1000)는 이산 푸리에 변환 알고리즘을 수행하도록 구성되거나, 또는 상기 스펙트럼-시간 변환기(1030)는 역 이산 푸리에 변환 알고리즘을 수행하도록 구성되는, 멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 멀티-채널 프로세서(1010)는 스펙트럼 값들의 블록들의 추가적인 결과 시퀀스를 획득하도록 구성되고,
상기 스펙트럼-시간 변환기(1030)는, 상기 입력 샘플링 레이트와 동일한 출력 샘플링 레이트를 연관시키는 샘플링 값들의 블록들의 추가적인 출력 시퀀스를 포함하는 추가적인 시간 도메인 표현(1032)으로 상기 스펙트럼 값들의 추가적인 결과 시퀀스를 변환하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 멀티-채널 프로세서(1010)는, 스펙트럼 값들의 블록들의 더 추가적인 결과 시퀀스를 제공하도록 구성되고,
상기 스펙트럼 도메인 리샘플러(1020)는, 스펙트럼 값들의 블록들의 추가적인 리샘플링된 시퀀스를 획득하기 위해 상기 주파수 도메인으로 상기 더 추가적인 결과 시퀀스의 블록들을 리샘플링하도록 구성되고, 상기 추가적인 리샘플링된 시퀀스의 블록은, 상기 최대 입력 주파수(1211)와는 상이하거나 또는 상기 최대 출력 주파수(1231, 1221)와는 상이한 추가적인 최대 출력 주파수까지의 스펙트럼 값들을 가지며,
상기 스펙트럼-시간 변환기(1030)는, 상기 입력 샘플링 레이트 또는 상기 출력 샘플링 레이트와는 상이한 추가적인 출력 샘플링 레이트를 연관시키는 샘플링 값들의 블록들의 더 추가적인 출력 시퀀스를 포함하는 더 추가적인 시간 도메인 표현으로 상기 스펙트럼 값들의 블록들의 추가적인 리샘플링된 시퀀스를 변환하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 멀티-채널 프로세서(1010)는, 다운믹스 동작만을 사용하여 스펙트럼 값들의 블록들의 적어도 하나의 결과 시퀀스로서 중간-신호, 또는 스펙트럼 값들의 블록들의 추가적인 결과 시퀀스로서 부가적인 사이드 신호를 생성하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 멀티-채널 프로세서(1010)는 상기 적어도 하나의 결과 시퀀스로서 중간-신호를 생성하도록 구성되고, 상기 스펙트럼 도메인 리샘플러(1020)는, 상기 최대 입력 주파수(1211)와는 상이한 2개의 상이한 최대 출력 주파수들을 갖는 2개의 별개의 시퀀스들로 상기 중간-신호를 리샘플링하도록 구성되고,
상기 스펙트럼-시간 변환기(1030)는 2개의 리샘플링된 시퀀스들을 상이한 샘플링 레이트들을 갖는 2개의 출력 시퀀스들로 변환하도록 구성되고,
상기 코어 인코더(1040)는, 제1 샘플링 레이트로 제1 출력 시퀀스를 프리프로세싱하기 위한 제1 프리프로세서(1430c) 또는 제2 샘플링 레이트로 제2 출력 시퀀스를 프리프로세싱하기 위한 제2 프리프로세서(1430d)를 포함하고,
상기 코어 인코더(1040)는, 제1 프리프로세싱된 출력 시퀀스 또는 제2 프리프로세싱된 신호를 코어 인코딩하도록 구성되고,
상기 멀티-채널 프로세서(1010)는 상기 적어도 하나의 결과 시퀀스로서 사이드 신호를 생성하도록 구성되고, 상기 스펙트럼 도메인 리샘플러(1020)는, 상기 최대 입력 주파수(1211)와는 상이한 2개의 상이한 최대 출력 주파수들을 갖는 2개의 리샘플링된 시퀀스들로 상기 사이드 신호를 리샘플링하도록 구성되고,
상기 스펙트럼-시간 변환기(1030)는 상기 2개의 리샘플링된 시퀀스들을 상이한 샘플링 레이트들을 갖는 2개의 출력 시퀀스들로 변환하도록 구성되고,
상기 코어 인코더(1040)는, 제1 출력 시퀀스 또는 제2 출력 시퀀스를 프리프로세싱하기 위한 제1 프리프로세서(1430c) 또는 제2 프리프로세서(1430d)를 포함하며,
상기 코어 인코더(1040)는, 제1 프리프로세싱된 출력 시퀀스 또는 제2 프리프로세싱된 시퀀스를 코어 인코딩(1430a, 1430b)하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 스펙트럼-시간 변환기(1030)는, 임의의 스펙트럼 도메인 리샘플링 없이 시간 도메인 표현으로 상기 적어도 하나의 결과 시퀀스를 변환하도록 구성되고,
상기 코어 인코더(1040)는, 인코딩된 멀티-채널 신호를 획득하기 위해 비-리샘플링된(non-resampled) 출력 시퀀스를 코어 인코딩(1430a)하도록 구성되거나, 또는
상기 스펙트럼-시간 변환기(1030)는, 사이드 신호 없이 임의의 스펙트럼 도메인 리샘플링 없이 시간 도메인 표현으로 상기 적어도 하나의 결과 시퀀스를 변환하도록 구성되고,
상기 코어 인코더(1040)는, 인코딩된 멀티-채널 신호를 획득하기 위해 상기 사이드 신호에 대한 상기 비-리샘플링된 출력 시퀀스를 코어 인코딩(1430a)하도록 구성되거나, 또는
상기 장치는, 특정한 스펙트럼 도메인 사이드 신호 인코더(1430e)를 더 포함하거나, 또는
상기 입력 샘플링 레이트는, 8kHz, 16kHz, 32kHz를 포함하는 일 그룹의 샘플링 레이트들 중 적어도 하나의 샘플링 레이트이거나, 또는
상기 출력 샘플링 레이트는, 8kHz, 12.8kHz, 16kHz, 25.6kHz 및 32kHz를 포함하는 일 그룹의 샘플링 레이트들 중 적어도 하나의 샘플링 레이트인,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 시간-스펙트럼 변환기(1000)는 상기 분석 윈도우(1904)를 적용하도록 구성되고,
상기 스펙트럼-시간 변환기(1030)는 합성 윈도우를 적용하도록 구성되고,
상기 분석 윈도우의 시간 길이는 상기 합성 윈도우의 시간 길이와 동일하거나, 또는 상기 합성 윈도우의 시간 길이의 정수배 또는 정수 분율(integer fraction)이거나, 또는
상기 분석 윈도우 및 상기 합성 윈도우 각각은, 자신의 초기 부분 또는 종료 부분에 제로 패딩 부분을 갖거나, 또는
상기 분석 윈도우 및 상기 합성 윈도우는, 윈도우 사이즈, 중첩 구역 사이즈 및 제로 패딩 사이즈 각각이 12.8kHz, 16kHz, 25.6kHz, 32kHz, 48kHz를 포함하는 그룹의 샘플링 레이트들 중 적어도 2개의 샘플링 레이트들에 대한 정수 개수의 샘플들을 포함하도록 이루어지거나, 또는
분할 기수(radix) 구현의 디지털 푸리에 변환의 최대 기수는 7보다 작거나 또는 그와 동일하거나, 또는 시간 분해능은 상기 코어 인코더(1040)의 프레임 레이트보다 작거나 또는 그와 동일한 값으로 고정되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 제1항에 있어서,
상기 멀티-채널 프로세서(1010)는, 브로드밴드 시간 정렬 파라미터(12)를 사용하여 시간 정렬을 획득하고 복수의 협대역 위상 정렬 파라미터들(14)을 사용하여 협대역 위상 정렬을 획득하기 위해 블록들의 시퀀스를 프로세싱하고, 정렬된 시퀀스들을 사용하여 결과 시퀀스들로서 중간-신호 및 사이드 신호를 계산하도록 구성되는,
멀티-채널 신호를 인코딩하기 위한 장치. - 적어도 2개의 채널들을 포함하는 멀티-채널 신호를 인코딩하는 방법에 있어서,
상기 적어도 2개의 채널들에 대한 스펙트럼 값들의 블록들의 시퀀스들을 갖는 주파수 도메인 표현으로 상기 적어도 2개의 채널들의 샘플링 값들의 블록들의 시퀀스들을 시간-스펙트럼 변환하는 단계;
상기 적어도 2개의 채널들에 관련된 정보를 포함하는 스펙트럼 값들의 블록들의 적어도 하나의 결과 시퀀스를 획득하기 위해, 상기 스펙트럼 값들의 블록들의 시퀀스들에 조인트 멀티-채널 프로세싱을 적용하는 단계;
샘플링 값들의 블록들의 출력 시퀀스를 포함하는 시간 도메인 표현으로 상기 스펙트럼 값들의 블록들의 결과 시퀀스를 스펙트럼-시간 변환하는 단계; 및
인코딩된 멀티-채널 신호(1510)를 획득하기 위해 상기 샘플링 값들의 블록들의 출력 시퀀스를 코어 인코딩하는 단계를 포함하고,
상기 코어 인코딩하는 단계는 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해지고,
시간-스펙트럼 변환 또는 스펙트럼-시간 변환은 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하고,
상기 프레임들의 시퀀스의 각각의 프레임의 상기 시작 프레임 경계(1901) 또는 상기 종료 프레임 경계(1902)는 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 상기 시간-스펙트럼 변환에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 출력 시퀀스의 각각의 블록에 대하여 상기 스펙트럼-시간 변환에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있으며,
상기 코어 인코딩하는 단계는 출력 샘플링 레이트와 연관된 샘플링 값들의 블록들의 상기 출력 시퀀스로부터 도출된 프레임을 코어 인코딩할 때 룩-어헤드 부분을 사용하는 단계를 포함하며, 상기 룩-어헤드 부분은 상기 프레임에 후속하는 시간에 위치되고, 또한 상기 시간-스펙트럼 변환하는 단계는 상기 룩-어헤드 부분의 시간 길이보다 작거나 또는 그와 동일한 시간 길이를 갖는 중첩 부분을 가진 분석 윈도우를 사용하는 단계를 포함하고, 상기 분석 윈도우의 상기 중첩 부분은 윈도우잉된 룩-어헤드 부분을 생성하기 위해 사용되며, 또는
상기 스펙트럼-시간 변환하는 단계는 합성 윈도우를 사용하여 제1 출력 블록을 생성하고, 상기 합성 윈도우를 사용하여 제2 출력 블록을 생성하는 단계를 포함하고, 상기 스펙트럼-시간 변환하는 단계는 출력 룩-어헤드 부분을 배제하는 상기 제2 출력 블록의 부분과 상기 제1 출력 블록 사이에서 중첩-부가(overlap-add) 동작을 사용하여 프레임의 샘플링 값들을 생성하는 단계 포함하고, 상기 코어 인코딩하는 단계는 상기 프레임을 코어 인코딩하기 위한 코딩 정보를 결정하기 위해 상기 출력 룩-어헤드 부분에 룩-어헤드 동작을 적용하는 단계를 포함하며, 또한 상기 코어 인코딩하는 단계는 상기 룩-어헤드 동작의 결과를 사용하여 상기 프레임을 코어 인코딩하는 단계를 포함하거나, 또는
샘플링 값들의 블록은 연관된 입력 샘플링 레이트를 갖고, 샘플링 값들의 블록은 연관된 입력 샘플링 레이트를 갖고, 상기 스펙트럼 값들의 블록들의 시퀀스들의 스펙트럼 값들의 블록은, 상기 입력 샘플링 레이트에 관련된 최대 입력 주파수(1211)까지의 스펙트럼 값들을 가지고; 상기 방법은, 상기 주파수 도메인에서 상기 스펙트럼-시간 변환하는 단계에 입력된 데이터에 대해서 또는 또는 상기 조인트멀티-채널 프로세싱을 적용하는 단계로 입력된 데이터에 대해서 리샘플링 동작을 수행하는 단계를 더 포함하고, 상기 스펙트럼 값들의 블록들의 리샘플링된 시퀀스의 블록은 상기 최대 입력 주파수(1211)와는 상이한 최대 출력 주파수(1231, 1221)까지의 스펙트럼 값들을 가지고, 샘플링 값들의 블록들의 출력 시퀀스는 상기 입력 샘플링 레이트와는 다른 연관된 출력 샘플링 레이트를 가지는,
멀티-채널 신호를 인코딩하기 위한 방법. - 인코딩된 멀티-채널 신호를 디코딩하기 위한 장치에 있어서,
코어 디코딩된 신호를 생성하기 위한 코어 디코더(1600);
상기 코어 디코딩된 신호에 대한 스펙트럼 값들의 블록들의 시퀀스를 갖는 주파수 도메인 표현으로 상기 코어 디코딩된 신호의 샘플링 값들의 블록들의 시퀀스를 변환하기 위한 시간-스펙트럼 변환기(1610);
스펙트럼 값들의 블록들의 적어도 2개의 결과 시퀀스들(1631, 1632, 1635)을 획득하기 위해 블록들의 시퀀스를 포함하는 시퀀스(1615)에 역 멀티-채널 프로세싱을 적용하기 위한 멀티-채널 프로세서(1630); 및
샘플링 값들의 블록들의 적어도 2개의 출력 시퀀스들을 포함하는 시간 도메인 표현으로 스펙트럼 값들의 블록들의 적어도 2개의 결과 시퀀스들(1631, 1632) 을 변환하기 위한 스펙트럼-시간 변환기(1640)를 포함하고,
상기 코어 디코더(1600)는, 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하도록 구성되고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해지고,
상기 시간-스펙트럼 변환기(1610) 또는 상기 스펙트럼-시간 변환기(1640)는, 상기 제1 프레임 제어에 동기화되는 제2 프레임 제어에 따라 동작하도록 구성되며, 또한
상기 프레임들의 시퀀스의 각각의 프레임의 시작 프레임 경계(1901) 또는 종료 프레임 경계(1902)는, 상기 샘플링 값들의 블록들의 시퀀스의 각각의 블록에 대하여 상기 시간-스펙트럼 변환기(1610)에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 적어도 2개의 출력 시퀀스들의 각각의 블록에 대하여 상기 스펙트럼-시간 변환기(1640)에 의해 사용되는 윈도우의 중첩 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있으며,
상기 코어 디코딩된 신호는 프레임들의 시퀀스를 갖고, 프레임은 상기 시작 프레임 경계(1901) 및 상기 종료 프레임 경계(1902)를 갖고, 상기 프레임들의 시퀀스의 프레임을 윈도우잉하기 위하여 상기 시간-스펙트럼 변환기(1610)에 의해 사용되는 분석 윈도우(1914)는, 중첩 부분의 종료부와 상기 종료 프레임 경계(1902) 사이에 시간 갭(1920)을 남기는 상기 종료 프레임 경계(1902) 전에 종료되는 중첩 부분을 가지며, 상기 코어 디코더(1600)는, 상기 분석 윈도우(1914)를 사용하여 상기 프레임의 윈도우잉과 병렬로 상기 시간 갭(1920)에서 샘플들에 대한 프로세싱을 수행하도록 구성되거나, 또는 코어 디코더의 포스트-프로세싱은, 상기 분석 윈도우를 사용하여 상기 프레임의 윈도우잉과 병렬로 상기 시간 갭(1920)에서 샘플들에 대해 수행되거나, 또는
상기 코어 디코딩된 신호는 프레임들의 시퀀스를 갖고, 프레임은 상기 시작 프레임 경계(1901) 및 상기 종료 프레임 경계(1902)를 갖고, 분석 윈도우(1914)의 제1 중첩 부분의 시작부는 상기 시작 프레임 경계(1901)와 일치하고, 상기 분석 윈도우(1914)의 제2 중첩 부분의 종료부는 상기 종료 프레임 경계(1902) 전에 위치되어, 시간 갭(1920)이 상기 제2 중첩 부분의 종료부와 상기 종료 프레임 경계 사이에 존재하며, 상기 코어 디코딩된 신호의 후속 블록에 대한 분석 윈도우는, 상기 분석 윈도우의 중간의 비-중첩 부분이 상기 시간 갭(1920) 내에 위치되도록 위치되거나, 또는
샘플링 값들의 블록은 연관된 입력 샘플링 레이트를 갖고, 스펙트럼 값들의 블록은, 상기 입력 샘플링 레이트에 관련된 최대 입력 주파수(1211)까지의 스펙트럼 값들을 가지고; 상기 장치는, 상기 주파수 도메인에서 상기 스펙트럼-시간 변환기(1640)로 입력된 데이터에 대해서 또는 상기 멀티-채널 프로세서(1630)로 입력된 데이터에 대해서 리샘플링 동작을 수행하기 위한 스펙트럼 도메인 리샘플러(1620)를 더 포함하고, 리샘플링된 시퀀스의 블록은 상기 최대 입력 주파수와는 상이한 최대 출력 주파수까지의 스펙트럼 값들을 가지고,샘플링 값들의 블록들의 상기 적어도 2개의 출력 시퀀스들은 상기 입력 샘플링 레이트와는 상이한 출력 샘플링 레이트를 연관시키는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 삭제
- 삭제
- 제25항에 있어서,
상기 시간-스펙트럼 변환기(1610)에 의해 사용되는 분석 윈도우는, 상기 스펙트럼-시간 변환기(1640)에 의해 사용되는 합성 윈도우와 동일한 형상 및 시간 길이를 갖는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
코어 디코더(1600)에 의해서 제공된 상기 코어 디코딩된 신호는 프레임들의 시퀀스를 갖고, 프레임들의 상기 시퀀스의 프레임은 길이를 포함하며, 상기 시간-스펙트럼 변환기(1610)는 윈도우(1811, 1812, 1813, 1814, 1815)를 사용하도록 구성되고, 또한 임의의 제로 패딩 부분들을 배제한 상기 윈도우(1811, 1812, 1813, 1814, 1815)의 중첩 부분(1811, 1812)의 시간 길이는 상기 프레임의 길이의 절반보다 작거나 또는 그와 동일한,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 스펙트럼-시간 변환기(1640)는,
상기 적어도 2개의 출력 시퀀스들의 제1 출력 시퀀스에 대한 윈도우잉된 샘플들의 제1 출력 블록을 획득하기 위해 합성 윈도우를 적용하고;
상기 적어도 2개의 출력 시퀀스들의 상기 제1 출력 시퀀스에 대한 윈도우잉된 샘플들의 제2 출력 블록을 획득하기 위해 상기 합성 윈도우를 적용하며;
상기 제1 출력 시퀀스에 대한 출력 샘플들의 제1 그룹을 획득하기 위해 상기 제1 출력 블록과 상기 제2 출력 블록을 중첩-부가하도록 구성되고;
상기 스펙트럼-시간 변환기(1640)는,
상기 적어도 2개의 출력 시퀀스들의 제2 출력 시퀀스에 대한 윈도우잉된 샘플들의 제1 출력 블록을 획득하기 위해 합성 윈도우를 적용하고;
상기 적어도 2개의 출력 시퀀스들의 상기 제2 출력 시퀀스에 대한 윈도우잉된 샘플들의 제2 출력 블록을 획득하기 위해 상기 합성 윈도우를 적용하며;
상기 제2 출력 시퀀스에 대한 출력 샘플들의 제2 그룹을 획득하기 위해 상기 제1 출력 블록과 상기 제2 출력 블록을 중첩-부가하도록 구성되고;
상기 제1 출력 시퀀스에 대한 출력 샘플들의 상기 제1 그룹 및 상기 제2 출력 시퀀스에 대한 출력 샘플들의 상기 제2 그룹은, 상기 디코딩된 멀티-채널 신호의 동일한 시간 부분에 관련되거나, 또는 상기 코어 디코딩된 신호의 동일한 프레임에 관련되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 삭제
- 제25항에 있어서,
상기 스펙트럼 도메인 리샘플러(1620)는, 다운샘플링의 목적으로 블록들을 절단하거나, 또는 업샘플링의 목적으로 블록들을 제로 패딩하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 스펙트럼 도메인 리샘플러(1620)는, 상기 최대 입력 주파수에 의존하고 상기 최대 출력 주파수에 의존하는 스케일링 팩터를 사용하여 상기 블록들의 결과 시퀀스의 블록들의 스펙트럼 값들을 스케일링(1322)하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 스펙트럼 도메인 리샘플러(1620)는 다운샘플링의 목적으로 상기 블록들을 절단(truncating)하거나, 또는 업샘플링의 목적으로 상기 블록들을 제로 패딩(zero padding)하도록 구성되고,
상기 스펙트럼 도메인 리샘플러(1020)는, 상기 최대 입력 주파수에 의존하고 상기 최대 출력 주파수에 의존하는 스케일링 팩터를 사용하여 상기 블록들의 상기 결과 시퀀스의 블록들의 상기 스펙트럼 값들을 스케일링(1322)하도록 구성되며,
상기 스케일링 팩터는 상기 업샘플링의 경우에는 1보다 크고, 상기 업샘플링의 경우에, 상기 출력 샘플링 레이트는 상기 입력 샘플링 레이트보다 크거나, 또는 상기 스케일링 팩터는 다운 샘플링의 경우에는 1보다 작고, 상기 다운 샘플링의 경우에, 상기 출력 샘플링 레이트는 상기 입력 샘플링 레이트보다 작거나, 또는
상기 시간-스펙트럼 변환기(1610)는, 스펙트럼 값들의 블록의 스펙트럼 값들의 총 수에 대한 정규화를 사용하지 않으면서 시간-주파수 변환 알고리즘을 수행하도록 구성되고(1311), 상기 스케일링 팩터는, 상기 리샘플링된 시퀀스의 블록의 스펙트럼 값들의 수와 리샘플링 이전의 스펙트럼 값들의 블록의 스펙트럼 값들의 수 사이의 몫(quotient)과 동일하며, 상기 스펙트럼-시간 변환기(1640)는, 상기 최대 출력 주파수에 기반하여 정규화를 적용하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 시간-스펙트럼 변환기(1610)는 이산 푸리에 변환 알고리즘을 수행하도록 구성되거나, 또는 상기 스펙트럼-시간 변환기(1640)는 역 이산 푸리에 변환 알고리즘을 수행하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 코어 디코더(1600)는, 상기 입력 샘플링 레이트와는 상이한 추가적인 샘플링 레이트를 갖는 추가적인 코어 디코딩된 신호(1601)를 생성하도록 구성되고,
상기 시간-스펙트럼 변환기(1610)는, 상기 추가적인 코어 디코딩된 신호에 대한 스펙트럼 값들의 블록들의 추가적인 시퀀스(1611)를 갖는 주파수 도메인 표현으로 상기 추가적인 코어 디코딩된 신호를 변환하도록 구성되고, 상기 추가적인 코어 디코딩된 신호의 스펙트럼 값들의 블록은 최대 입력 주파수와는 상이하고 상기 추가적인 샘플링 레이트에 관련된 추가적인 최대 입력 주파수까지의 스펙트럼 값들을 갖고,
상기 스펙트럼 도메인 리샘플러(1620)는, 스펙트럼 값들의 블록들의 추가적인 리샘플링된 시퀀스(1621)를 획득하기 위해 상기 주파수 도메인에서 상기 추가적인 코어 디코딩된 신호에 대한 블록들의 추가적인 시퀀스를 리샘플링하도록 구성되고, 상기 추가적인 리샘플링된 시퀀스의 스펙트럼 값들의 블록은, 상기 추가적인 최대 입력 주파수와는 상이한 최대 출력 주파수까지의 스펙트럼 값들을 가지며,
상기 장치는 상기 멀티-채널 프로세서(1630)에 의해 프로세싱될 시퀀스(1701)를 획득하기 위해 상기 리샘플링된 시퀀스와 상기 추가적인 리샘플링된 시퀀스를 결합하는 결합기(1700)를 더 포함하는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 코어 디코더(1600)는, 상기 출력 샘플링 레이트와 동일한 추가적인 샘플링 레이트를 갖는 더 추가적인 코어 디코딩된 신호를 생성하도록 구성되고,
상기 시간-스펙트럼 변환기(1610)는 스펙트럼 값들의 블록들의 더 추가적인 시퀀스를 획득하기 위하여 주파수 도메인 표현으로 상기 더 추가적인 코어 디코딩된 신호를 변환하도록 구성되며,
상기 장치는, 상기 멀티-채널 프로세서(1630)에 의해 프로세싱되는 블록들의 시퀀스를 생성하는 프로세스에서, 스펙트럼 값들의 블록들의 더 추가적인 시퀀스와 블록들의 리샘플링된 시퀀스(1622, 1621)를 결합하기 위한 결합기(1700)를 더 포함하는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 코어 디코더(1600)는, MDCT 기반 디코딩 부분(1600d), 시간 도메인 대역폭 확장 디코딩 부분(1600c), ACELP 디코딩 부분(1600b) 및 베이스(bass) 포스트-필터 디코딩 부분(1600a) 중 적어도 하나를 포함하고,
상기 MDCT 기반 디코딩 부분(1600d) 또는 시간 도메인 대역폭 확장 디코딩 부분(1600c)은, 상기 출력 샘플링 레이트를 갖는 상기 코어 디코딩된 신호를 생성하도록 구성되거나, 또는
상기 ACELP 디코딩 부분(1600b) 또는 상기 베이스 포스트-필터 디코딩 부분(1600a)은, 상기 출력 샘플링 레이트와는 상이한 샘플링 레이트에서 추가적인 코어 디코딩된 신호를 생성하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 시간-스펙트럼 변환기(1610)는, 복수의 상이한 코어 디코딩된 신호들 중 적어도 2개에 상기 분석 윈도우(1914)를 적용하도록 구성되고, 상기 분석 윈도우는 시간에서 동일한 사이즈를 갖거나 또는 시간에 대해 동일한 형상을 갖고,
상기 장치는, 상기 멀티-채널 프로세서(1630)에 의해 프로세싱된 시퀀스를 획득하기 위해, 적어도 하나의 리샘플링된 시퀀스와 최대 출력 주파수까지의 스펙트럼 값들을 갖는 블록들을 가진 임의의 다른 시퀀스를 블록 단위 기반으로 결합하기 위한 결합기(1700)를 더 포함하는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 멀티-채널 프로세서(1630)에 의해 프로세싱된 시퀀스는 중간-신호에 대응하고,
상기 멀티-채널 프로세서(1630)는, 상기 인코딩된 멀티-채널 신호에 포함된 사이드 신호에 대한 정보를 사용하여 사이드 신호를 부가적으로 생성하도록 구성되며,
상기 멀티-채널 프로세서(1630)는, 상기 중간-신호 및 상기 사이드 신호를 사용하여 적어도 2개의 결과 시퀀스들을 생성하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 제25항에 있어서,
상기 멀티-채널 프로세서(1630)는,
파라미터 대역 당 이득 팩터를 사용하여 제1 출력 채널에 대한 제1 시퀀스 및 제2 출력 채널에 대한 제2 시퀀스로 시퀀스를 변환(820)하고;
디코딩된 사이드 신호를 사용하여 제1 시퀀스 및 상기 제2 시퀀스를 업데이트(830)하거나, 또는 파라미터 대역에 대한 스테레오 충진(filling) 파라미터를 사용하여 중간-신호에 대한 블록들의 시퀀스의 이전의 블록으로부터 예측된 사이드 신호를 사용하여 상기 제1 시퀀스 및 상기 제2 시퀀스를 업데이트하고;
복수의 협대역 위상 할당 파라미터들에 대한 정보를 사용하여 위상 역-정렬(de-alignment) 및 에너지 스케일링을 수행(910)하며;
상기 적어도 2개의 결과 시퀀스들을 획득하기 위해 브로드밴드 시간-정렬 파라미터에 대한 정보를 사용하여 시간-역-정렬을 수행(920)하도록 구성되는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 장치. - 인코딩된 멀티-채널 신호를 디코딩하는 방법에 있어서,
코어 디코딩된 신호를 생성하는 단계;
상기 코어 디코딩된 신호에 대한 스펙트럼 값들의 블록들의 시퀀스를 갖는 주파수 도메인 표현으로 상기 코어 디코딩된 신호의 샘플링 값들의 블록들의 시퀀스를 시간-스펙트럼 변환하는 단계;
스펙트럼 값들의 블록들의 적어도 2개의 결과 시퀀스들(1631, 1632, 1635)을 획득하기 위해 블록들의 시퀀스를 포함하는 시퀀스(1615)에 역 멀티-채널 프로세싱을 적용하는 단계; 및
샘플링 값들의 블록들의 적어도 2개의 출력 시퀀스들을 포함하는 시간 도메인 표현으로 스펙트럼 값들의 블록들의 적어도 2개의 결과 시퀀스들(1631, 1632)을 스펙트럼-시간 변환하는 단계를 포함하고,
상기 코어 디코딩된 신호를 생성하는 단계는 프레임들의 시퀀스를 제공하기 위해 제1 프레임 제어에 따라 동작하고, 프레임은 시작 프레임 경계(1901) 및 종료 프레임 경계(1902)에 의해 경계가 정해지고,
시간-스펙트럼 변환 또는 스펙트럼-시간 변환은 상기 제1 프레임 제어와 동기화되는 제2 프레임 제어에 따라 동작하고, 또한
상기 프레임들의 시퀀스의 각각의 프레임의 상기 시작 프레임 경계(1901) 또는 상기 종료 프레임 경계(1902)는, 상기 샘플링 값들의 블록들의 시퀀스들의 각각의 블록에 대하여 상기 시간-스펙트럼 변환에 의해 사용되거나 또는 상기 샘플링 값들의 블록들의 상기 적어도 2개의 출력 시퀀스들의 각각의 블록에 대하여 상기 스펙트럼-시간 변환에 의해 사용되는 윈도우의 부분의 시작 인스턴트 또는 종료 인스턴트와 미리 결정된 관계에 있으며,
상기 코어 디코딩된 신호는 프레임들의 시퀀스를 갖고, 프레임은 상기 시작 프레임 경계(1901) 및 상기 종료 프레임 경계(1902)를 갖고, 상기 프레임들의 시퀀스의 프레임을 윈도우잉하기 위하여 상기 시간-스펙트럼 변환하는 단계에서 사용되는 분석 윈도우(1914)는, 중첩 부분의 종료부와 상기 종료 프레임 경계(1902) 사이에 시간 갭(1920)을 남기는 상기 종료 프레임 경계(1902) 전에 종료되는 중첩 부분을 가지며, 상기 코어 디코딩하는 단계는, 상기 분석 윈도우(1914)를 사용하여 상기 프레임의 윈도우잉과 병렬로 상기 시간 갭(1920)에서 샘플들에 대한 프로세싱을 수행하도록 구성되거나, 또는 코어 디코더의 포스트-프로세싱은, 상기 분석 윈도우를 사용하여 상기 프레임의 윈도우잉과 병렬로 상기 시간 갭(1920)에서 샘플들에 대해 수행하는 단계를 포함하거나, 또는
상기 코어 디코딩된 신호는 프레임들의 시퀀스를 갖고, 프레임은 상기 시작 프레임 경계(1901) 및 상기 종료 프레임 경계(1902)를 갖고, 분석 윈도우(1914)의 제1 중첩 부분의 시작부는 상기 시작 프레임 경계(1901)와 일치하고, 상기 분석 윈도우(1914)의 제2 중첩 부분의 종료부는 상기 종료 프레임 경계(1902) 전에 위치되어, 시간 갭(1920)이 상기 제2 중첩 부분의 종료부와 상기 종료 프레임 경계 사이에 존재하며, 상기 코어 디코딩된 신호의 후속 블록에 대한 분석 윈도우는, 상기 분석 윈도우의 중간의 비-중첩 부분이 상기 시간 갭(1920) 내에 위치되도록 위치되거나, 또는
샘플링 값들의 블록은 연관된 입력 샘플링 레이트를 갖고, 스펙트럼 값들의 블록은, 상기 입력 샘플링 레이트에 관련된 최대 입력 주파수(1211)까지의 스펙트럼 값들을 가지고, 상기 방법은 상기 주파수 도메인에서 상기 스펙트럼-시간 변환단계로 입력된 데이터에 대해서 또는 상기 멀티-채널 프로세싱 단계로 입력된 데이터에 대해서 리샘플링 동작을 수행하는 단계를 더 포함하고, 리샘플링된 시퀀스의 블록은 상기 최대 입력 주파수와는 상이한 최대 출력 주파수까지의 스펙트럼 값들을 가지고, 또한 샘플링 값들의 블록들의 상기 적어도 2개의 출력 시퀀스들은 상기 입력 샘플링 레이트와는 상이한 출력 샘플링 레이트를 연관시키는,
인코딩된 멀티-채널 신호를 디코딩하기 위한 방법. - 컴퓨터 판독 가능 저장 매체로서,
컴퓨터 또는 프로세서 상에서 구동하는 경우, 제24항의 방법 또는 제42항의 방법을 수행하기 위한 컴퓨터 프로그램이 저장되는,
컴퓨터 판독 가능 저장 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16152450 | 2016-01-22 | ||
| EP16152453 | 2016-01-22 | ||
| EP16152453.3 | 2016-01-22 | ||
| EP16152450.9 | 2016-01-22 | ||
| PCT/EP2017/051212 WO2017125562A1 (en) | 2016-01-22 | 2017-01-20 | Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180103149A KR20180103149A (ko) | 2018-09-18 |
| KR102343973B1 true KR102343973B1 (ko) | 2021-12-28 |
Family
ID=57838406
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187024171A KR102230727B1 (ko) | 2016-01-22 | 2017-01-20 | 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| KR1020187024233A KR102343973B1 (ko) | 2016-01-22 | 2017-01-20 | 프레임 제어 동기화을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| KR1020177037759A KR102083200B1 (ko) | 2016-01-22 | 2017-01-20 | 스펙트럼-도메인 리샘플링을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| KR1020187024177A KR102219752B1 (ko) | 2016-01-22 | 2017-01-20 | 채널 간 시간 차를 추정하기 위한 장치 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187024171A KR102230727B1 (ko) | 2016-01-22 | 2017-01-20 | 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177037759A KR102083200B1 (ko) | 2016-01-22 | 2017-01-20 | 스펙트럼-도메인 리샘플링을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| KR1020187024177A KR102219752B1 (ko) | 2016-01-22 | 2017-01-20 | 채널 간 시간 차를 추정하기 위한 장치 및 방법 |
Country Status (20)
| Country | Link |
|---|---|
| US (7) | US10535356B2 (ko) |
| EP (5) | EP3405951B1 (ko) |
| JP (10) | JP6412292B2 (ko) |
| KR (4) | KR102230727B1 (ko) |
| CN (6) | CN107710323B (ko) |
| AU (5) | AU2017208580B2 (ko) |
| BR (4) | BR112017025314A2 (ko) |
| CA (4) | CA3011914C (ko) |
| ES (4) | ES2727462T3 (ko) |
| HK (1) | HK1244584B (ko) |
| MX (4) | MX2018008887A (ko) |
| MY (4) | MY189205A (ko) |
| PL (4) | PL3284087T3 (ko) |
| PT (3) | PT3405949T (ko) |
| RU (4) | RU2705007C1 (ko) |
| SG (3) | SG11201806241QA (ko) |
| TR (1) | TR201906475T4 (ko) |
| TW (4) | TWI629681B (ko) |
| WO (4) | WO2017125559A1 (ko) |
| ZA (3) | ZA201804625B (ko) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9773505B2 (en) * | 2008-09-18 | 2017-09-26 | Electronics And Telecommunications Research Institute | Encoding apparatus and decoding apparatus for transforming between modified discrete cosine transform-based coder and different coder |
| EP3405951B1 (en) | 2016-01-22 | 2019-11-13 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization |
| CN107731238B (zh) * | 2016-08-10 | 2021-07-16 | 华为技术有限公司 | 多声道信号的编码方法和编码器 |
| US10224042B2 (en) * | 2016-10-31 | 2019-03-05 | Qualcomm Incorporated | Encoding of multiple audio signals |
| BR112019009315A2 (pt) | 2016-11-08 | 2019-07-30 | Fraunhofer Ges Forschung | aparelho e método para mixagem de redução ou mixagem de aumento de um sinal de múltiplos canais com o uso de compensação de fase |
| US10475457B2 (en) * | 2017-07-03 | 2019-11-12 | Qualcomm Incorporated | Time-domain inter-channel prediction |
| US10535357B2 (en) * | 2017-10-05 | 2020-01-14 | Qualcomm Incorporated | Encoding or decoding of audio signals |
| US10839814B2 (en) * | 2017-10-05 | 2020-11-17 | Qualcomm Incorporated | Encoding or decoding of audio signals |
| CN112074902B (zh) * | 2018-02-01 | 2024-04-12 | 弗劳恩霍夫应用研究促进协会 | 使用混合编码器/解码器空间分析的音频场景编码器、音频场景解码器及相关方法 |
| TWI708243B (zh) * | 2018-03-19 | 2020-10-21 | 中央研究院 | 於分散式語音辨識中基於小波轉換之語音特徵壓縮及重建系統與方法 |
| ES2909343T3 (es) * | 2018-04-05 | 2022-05-06 | Fraunhofer Ges Forschung | Aparato, método o programa informático para estimar una diferencia de tiempo entre canales |
| CN110556116B (zh) | 2018-05-31 | 2021-10-22 | 华为技术有限公司 | 计算下混信号和残差信号的方法和装置 |
| EP3588495A1 (en) * | 2018-06-22 | 2020-01-01 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Multichannel audio coding |
| WO2020009082A1 (ja) * | 2018-07-03 | 2020-01-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び符号化方法 |
| JP7092048B2 (ja) * | 2019-01-17 | 2022-06-28 | 日本電信電話株式会社 | 多地点制御方法、装置及びプログラム |
| EP3719799A1 (en) | 2019-04-04 | 2020-10-07 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | A multi-channel audio encoder, decoder, methods and computer program for switching between a parametric multi-channel operation and an individual channel operation |
| WO2020216459A1 (en) * | 2019-04-23 | 2020-10-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating an output downmix representation |
| CN110459205B (zh) * | 2019-09-24 | 2022-04-12 | 京东科技控股股份有限公司 | 语音识别方法及装置、计算机可存储介质 |
| CN110740416B (zh) * | 2019-09-27 | 2021-04-06 | 广州励丰文化科技股份有限公司 | 一种音频信号处理方法及装置 |
| US20220156217A1 (en) * | 2019-11-22 | 2022-05-19 | Stmicroelectronics (Rousset) Sas | Method for managing the operation of a system on chip, and corresponding system on chip |
| CN110954866B (zh) * | 2019-11-22 | 2022-04-22 | 达闼机器人有限公司 | 声源定位方法、电子设备及存储介质 |
| CN111131917B (zh) * | 2019-12-26 | 2021-12-28 | 国微集团(深圳)有限公司 | 音频频谱实时同步方法、播放装置 |
| TWI750565B (zh) * | 2020-01-15 | 2021-12-21 | 原相科技股份有限公司 | 真無線多聲道揚聲裝置及其多音源發聲之方法 |
| CN111402906B (zh) * | 2020-03-06 | 2024-05-14 | 深圳前海微众银行股份有限公司 | 语音解码方法、装置、引擎及存储介质 |
| US11276388B2 (en) * | 2020-03-31 | 2022-03-15 | Nuvoton Technology Corporation | Beamforming system based on delay distribution model using high frequency phase difference |
| CN111525912B (zh) * | 2020-04-03 | 2023-09-19 | 安徽白鹭电子科技有限公司 | 一种数字信号的任意重采样方法及系统 |
| CN113223503B (zh) * | 2020-04-29 | 2022-06-14 | 浙江大学 | 一种基于测试反馈的核心训练语音选择方法 |
| WO2021260826A1 (ja) * | 2020-06-24 | 2021-12-30 | 日本電信電話株式会社 | 音信号復号方法、音信号復号装置、プログラム及び記録媒体 |
| CN115917644A (zh) * | 2020-06-24 | 2023-04-04 | 日本电信电话株式会社 | 声音信号编码方法、声音信号编码装置、程序以及记录介质 |
| AU2021317755B2 (en) * | 2020-07-30 | 2023-11-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for encoding an audio signal or for decoding an encoded audio scene |
| MX2023003963A (es) | 2020-10-09 | 2023-05-25 | Fraunhofer Ges Forschung | Aparato, metodo, o programa de computadora para procesar una escena de audio codificada utilizando un suavizado de parametro. |
| CA3194876A1 (en) | 2020-10-09 | 2022-04-14 | Franz REUTELHUBER | Apparatus, method, or computer program for processing an encoded audio scene using a bandwidth extension |
| JP2023549038A (ja) | 2020-10-09 | 2023-11-22 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | パラメータ変換を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム |
| US20240064483A1 (en) * | 2021-01-18 | 2024-02-22 | Panasonic Intellectual Property Corporation Of America | Signal processing device and signal processing method |
| WO2022262960A1 (en) | 2021-06-15 | 2022-12-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Improved stability of inter-channel time difference (itd) estimator for coincident stereo capture |
| CN113435313A (zh) * | 2021-06-23 | 2021-09-24 | 中国电子科技集团公司第二十九研究所 | 一种基于dft的脉冲频域特征提取方法 |
| WO2023153228A1 (ja) * | 2022-02-08 | 2023-08-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、及び、符号化方法 |
| CN115691515A (zh) * | 2022-07-12 | 2023-02-03 | 南京拓灵智能科技有限公司 | 一种音频编解码方法及装置 |
| WO2024053353A1 (ja) * | 2022-09-08 | 2024-03-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 信号処理装置、及び、信号処理方法 |
| WO2024074302A1 (en) | 2022-10-05 | 2024-04-11 | Telefonaktiebolaget Lm Ericsson (Publ) | Coherence calculation for stereo discontinuous transmission (dtx) |
| CN117476026A (zh) * | 2023-12-26 | 2024-01-30 | 芯瞳半导体技术(山东)有限公司 | 一种多路音频数据混音的方法、系统、装置及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160005407A1 (en) | 2013-02-21 | 2016-01-07 | Dolby International Ab | Methods for Parametric Multi-Channel Encoding |
Family Cites Families (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5434948A (en) * | 1989-06-15 | 1995-07-18 | British Telecommunications Public Limited Company | Polyphonic coding |
| US5526359A (en) * | 1993-12-30 | 1996-06-11 | Dsc Communications Corporation | Integrated multi-fabric digital cross-connect timing architecture |
| US6073100A (en) * | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
| US5903872A (en) | 1997-10-17 | 1999-05-11 | Dolby Laboratories Licensing Corporation | Frame-based audio coding with additional filterbank to attenuate spectral splatter at frame boundaries |
| US6138089A (en) * | 1999-03-10 | 2000-10-24 | Infolio, Inc. | Apparatus system and method for speech compression and decompression |
| US6549884B1 (en) * | 1999-09-21 | 2003-04-15 | Creative Technology Ltd. | Phase-vocoder pitch-shifting |
| EP1199711A1 (en) * | 2000-10-20 | 2002-04-24 | Telefonaktiebolaget Lm Ericsson | Encoding of audio signal using bandwidth expansion |
| US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| FI119955B (fi) * | 2001-06-21 | 2009-05-15 | Nokia Corp | Menetelmä, kooderi ja laite puheenkoodaukseen synteesi-analyysi puhekoodereissa |
| US7240001B2 (en) * | 2001-12-14 | 2007-07-03 | Microsoft Corporation | Quality improvement techniques in an audio encoder |
| WO2003107591A1 (en) * | 2002-06-14 | 2003-12-24 | Nokia Corporation | Enhanced error concealment for spatial audio |
| CN100481735C (zh) * | 2002-08-21 | 2009-04-22 | 广州广晟数码技术有限公司 | 用于从编码后的音频数据流中解码重建多声道音频信号的解码方法 |
| US7502743B2 (en) * | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
| US7536305B2 (en) * | 2002-09-04 | 2009-05-19 | Microsoft Corporation | Mixed lossless audio compression |
| US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| US7596486B2 (en) | 2004-05-19 | 2009-09-29 | Nokia Corporation | Encoding an audio signal using different audio coder modes |
| EP1769491B1 (en) | 2004-07-14 | 2009-09-30 | Koninklijke Philips Electronics N.V. | Audio channel conversion |
| US8204261B2 (en) * | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
| US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
| US9626973B2 (en) * | 2005-02-23 | 2017-04-18 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive bit allocation for multi-channel audio encoding |
| US7630882B2 (en) * | 2005-07-15 | 2009-12-08 | Microsoft Corporation | Frequency segmentation to obtain bands for efficient coding of digital media |
| US20070055510A1 (en) | 2005-07-19 | 2007-03-08 | Johannes Hilpert | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
| KR100712409B1 (ko) * | 2005-07-28 | 2007-04-27 | 한국전자통신연구원 | 벡터의 차원변환 방법 |
| TWI396188B (zh) * | 2005-08-02 | 2013-05-11 | Dolby Lab Licensing Corp | 依聆聽事件之函數控制空間音訊編碼參數的技術 |
| WO2007052612A1 (ja) * | 2005-10-31 | 2007-05-10 | Matsushita Electric Industrial Co., Ltd. | ステレオ符号化装置およびステレオ信号予測方法 |
| US7720677B2 (en) | 2005-11-03 | 2010-05-18 | Coding Technologies Ab | Time warped modified transform coding of audio signals |
| US7953604B2 (en) * | 2006-01-20 | 2011-05-31 | Microsoft Corporation | Shape and scale parameters for extended-band frequency coding |
| US7831434B2 (en) * | 2006-01-20 | 2010-11-09 | Microsoft Corporation | Complex-transform channel coding with extended-band frequency coding |
| MX2008010836A (es) * | 2006-02-24 | 2008-11-26 | France Telecom | Un metodo para codificacion binaria de indices de cuantificacion de una envoltura de señal, un metodo para descodificar una envoltura de señal, y modulos de codificacion y descodificacion correspondiente. |
| DE102006049154B4 (de) | 2006-10-18 | 2009-07-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kodierung eines Informationssignals |
| US7885819B2 (en) * | 2007-06-29 | 2011-02-08 | Microsoft Corporation | Bitstream syntax for multi-process audio decoding |
| GB2453117B (en) * | 2007-09-25 | 2012-05-23 | Motorola Mobility Inc | Apparatus and method for encoding a multi channel audio signal |
| CN101903944B (zh) * | 2007-12-18 | 2013-04-03 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| EP2107556A1 (en) * | 2008-04-04 | 2009-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio transform coding using pitch correction |
| CN101267362B (zh) * | 2008-05-16 | 2010-11-17 | 亿阳信通股份有限公司 | 一种性能指标值正常波动范围的动态确定方法及其装置 |
| JP5122681B2 (ja) * | 2008-05-23 | 2013-01-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ |
| US8355921B2 (en) * | 2008-06-13 | 2013-01-15 | Nokia Corporation | Method, apparatus and computer program product for providing improved audio processing |
| EP2144229A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
| MY154452A (en) * | 2008-07-11 | 2015-06-15 | Fraunhofer Ges Forschung | An apparatus and a method for decoding an encoded audio signal |
| KR101400535B1 (ko) * | 2008-07-11 | 2014-05-28 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 시간 워프 활성 신호의 제공 및 이를 이용한 오디오 신호의 인코딩 |
| MX2011000361A (es) * | 2008-07-11 | 2011-02-25 | Ten Forschung Ev Fraunhofer | Un aparato y un metodo para generar datos de salida por ampliacion de ancho de banda. |
| ES2683077T3 (es) * | 2008-07-11 | 2018-09-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada |
| PL2146344T3 (pl) * | 2008-07-17 | 2017-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście |
| US8504378B2 (en) * | 2009-01-22 | 2013-08-06 | Panasonic Corporation | Stereo acoustic signal encoding apparatus, stereo acoustic signal decoding apparatus, and methods for the same |
| US8457975B2 (en) * | 2009-01-28 | 2013-06-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program |
| RU2542668C2 (ru) * | 2009-01-28 | 2015-02-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Звуковое кодирующее устройство, звуковой декодер, кодированная звуковая информация, способы кодирования и декодирования звукового сигнала и компьютерная программа |
| KR101433701B1 (ko) | 2009-03-17 | 2014-08-28 | 돌비 인터네셔널 에이비 | 적응형으로 선택가능한 좌／우 또는 미드／사이드 스테레오 코딩과 파라메트릭 스테레오 코딩의 조합에 기초한 진보된 스테레오 코딩 |
| US9111527B2 (en) * | 2009-05-20 | 2015-08-18 | Panasonic Intellectual Property Corporation Of America | Encoding device, decoding device, and methods therefor |
| CN101989429B (zh) * | 2009-07-31 | 2012-02-01 | 华为技术有限公司 | 转码方法、装置、设备以及系统 |
| JP5031006B2 (ja) | 2009-09-04 | 2012-09-19 | パナソニック株式会社 | スケーラブル復号化装置及びスケーラブル復号化方法 |
| JP5405373B2 (ja) * | 2010-03-26 | 2014-02-05 | 富士フイルム株式会社 | 電子内視鏡システム |
| EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
| RU2559899C2 (ru) * | 2010-04-09 | 2015-08-20 | Долби Интернешнл Аб | Стереофоническое кодирование на основе mdct с комплексным предсказанием |
| PL3779975T3 (pl) | 2010-04-13 | 2023-12-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder audio i powiązane sposoby przetwarzania wielokanałowych sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji |
| US8463414B2 (en) * | 2010-08-09 | 2013-06-11 | Motorola Mobility Llc | Method and apparatus for estimating a parameter for low bit rate stereo transmission |
| AU2011288406B2 (en) * | 2010-08-12 | 2014-07-31 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Resampling output signals of QMF based audio codecs |
| BR112013008463B8 (pt) | 2010-10-06 | 2022-04-05 | Fraunhofer Ges Zur Foerderung Der Angewandten Forschubg E V | Aparelho e método para processar um sinal de áudio e para prover uma granularidade temporal maior para um codec de fala e áudio unificado combinado (usac) |
| FR2966634A1 (fr) | 2010-10-22 | 2012-04-27 | France Telecom | Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase |
| WO2012105885A1 (en) * | 2011-02-02 | 2012-08-09 | Telefonaktiebolaget L M Ericsson (Publ) | Determining the inter-channel time difference of a multi-channel audio signal |
| DK2671221T3 (en) * | 2011-02-03 | 2017-05-01 | ERICSSON TELEFON AB L M (publ) | DETERMINING THE INTERCHANNEL TIME DIFFERENCE FOR A MULTI-CHANNEL SIGNAL |
| MY160265A (en) * | 2011-02-14 | 2017-02-28 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V | Apparatus and Method for Encoding and Decoding an Audio Signal Using an Aligned Look-Ahead Portion |
| BR112013020482B1 (pt) * | 2011-02-14 | 2021-02-23 | Fraunhofer Ges Forschung | aparelho e método para processar um sinal de áudio decodificado em um domínio espectral |
| EP2710592B1 (en) * | 2011-07-15 | 2017-11-22 | Huawei Technologies Co., Ltd. | Method and apparatus for processing a multi-channel audio signal |
| EP2600343A1 (en) * | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for merging geometry - based spatial audio coding streams |
| EP3288033B1 (en) | 2012-02-23 | 2019-04-10 | Dolby International AB | Methods and systems for efficient recovery of high frequency audio content |
| CN103366749B (zh) * | 2012-03-28 | 2016-01-27 | 北京天籁传音数字技术有限公司 | 一种声音编解码装置及其方法 |
| CN103366751B (zh) * | 2012-03-28 | 2015-10-14 | 北京天籁传音数字技术有限公司 | 一种声音编解码装置及其方法 |
| EP2834813B1 (en) | 2012-04-05 | 2015-09-30 | Huawei Technologies Co., Ltd. | Multi-channel audio encoder and method for encoding a multi-channel audio signal |
| KR101621287B1 (ko) | 2012-04-05 | 2016-05-16 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 다채널 오디오 신호 및 다채널 오디오 인코더를 위한 인코딩 파라미터를 결정하는 방법 |
| KR20150012146A (ko) * | 2012-07-24 | 2015-02-03 | 삼성전자주식회사 | 오디오 데이터를 처리하기 위한 방법 및 장치 |
| WO2014043476A1 (en) * | 2012-09-14 | 2014-03-20 | Dolby Laboratories Licensing Corporation | Multi-channel audio content analysis based upmix detection |
| EP2898506B1 (en) * | 2012-09-21 | 2018-01-17 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
| CN104885383B (zh) * | 2012-12-27 | 2017-08-29 | 松下电器（美国）知识产权公司 | 影像显示方法 |
| WO2014128194A1 (en) | 2013-02-20 | 2014-08-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an encoded signal or for decoding an encoded audio signal using a multi overlap portion |
| TWI546799B (zh) * | 2013-04-05 | 2016-08-21 | 杜比國際公司 | 音頻編碼器及解碼器 |
| EP2830064A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
| EP2980795A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| CN107113147B (zh) * | 2014-12-31 | 2020-11-06 | Lg电子株式会社 | 在无线通信系统中分配资源的方法和设备 |
| WO2016108655A1 (ko) * | 2014-12-31 | 2016-07-07 | 한국전자통신연구원 | 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 |
| EP3067886A1 (en) * | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal |
| EP3405951B1 (en) * | 2016-01-22 | 2019-11-13 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization |
| US10224042B2 (en) | 2016-10-31 | 2019-03-05 | Qualcomm Incorporated | Encoding of multiple audio signals |
-
2017
- 2017-01-20 EP EP17701669.8A patent/EP3405951B1/en active Active
- 2017-01-20 AU AU2017208580A patent/AU2017208580B2/en active Active
- 2017-01-20 JP JP2018510479A patent/JP6412292B2/ja active Active
- 2017-01-20 BR BR112017025314-3A patent/BR112017025314A2/pt active Search and Examination
- 2017-01-20 WO PCT/EP2017/051208 patent/WO2017125559A1/en active Application Filing
- 2017-01-20 AU AU2017208575A patent/AU2017208575B2/en active Active
- 2017-01-20 KR KR1020187024171A patent/KR102230727B1/ko active IP Right Grant
- 2017-01-20 ES ES17700706T patent/ES2727462T3/es active Active
- 2017-01-20 MX MX2018008887A patent/MX2018008887A/es active IP Right Grant
- 2017-01-20 CA CA3011914A patent/CA3011914C/en active Active
- 2017-01-20 RU RU2018130151A patent/RU2705007C1/ru active
- 2017-01-20 AU AU2017208576A patent/AU2017208576B2/en active Active
- 2017-01-20 RU RU2018130272A patent/RU2711513C1/ru active
- 2017-01-20 PL PL17700706T patent/PL3284087T3/pl unknown
- 2017-01-20 CA CA3011915A patent/CA3011915C/en active Active
- 2017-01-20 PL PL19157001.9T patent/PL3503097T3/pl unknown
- 2017-01-20 TR TR2019/06475T patent/TR201906475T4/tr unknown
- 2017-01-20 RU RU2018130275A patent/RU2704733C1/ru active
- 2017-01-20 EP EP17700706.9A patent/EP3284087B1/en active Active
- 2017-01-20 ES ES17701669T patent/ES2768052T3/es active Active
- 2017-01-20 KR KR1020187024233A patent/KR102343973B1/ko active IP Right Grant
- 2017-01-20 WO PCT/EP2017/051212 patent/WO2017125562A1/en active Application Filing
- 2017-01-20 MX MX2018008890A patent/MX2018008890A/es active IP Right Grant
- 2017-01-20 ES ES17700707T patent/ES2773794T3/es active Active
- 2017-01-20 EP EP17700705.1A patent/EP3405948B1/en active Active
- 2017-01-20 CN CN201780002248.3A patent/CN107710323B/zh active Active
- 2017-01-20 MY MYPI2018001321A patent/MY189205A/en unknown
- 2017-01-20 ES ES17700705T patent/ES2790404T3/es active Active
- 2017-01-20 JP JP2018538601A patent/JP6626581B2/ja active Active
- 2017-01-20 CA CA3012159A patent/CA3012159C/en active Active
- 2017-01-20 JP JP2018538602A patent/JP6641018B2/ja active Active
- 2017-01-20 EP EP17700707.7A patent/EP3405949B1/en active Active
- 2017-01-20 MY MYPI2017001705A patent/MY181992A/en unknown
- 2017-01-20 CN CN201780019674.8A patent/CN108885879B/zh active Active
- 2017-01-20 CN CN202210761486.5A patent/CN115148215A/zh active Pending
- 2017-01-20 PL PL17701669T patent/PL3405951T3/pl unknown
- 2017-01-20 BR BR112018014799-0A patent/BR112018014799A2/pt active Search and Examination
- 2017-01-20 PT PT177007077T patent/PT3405949T/pt unknown
- 2017-01-20 PL PL17700707T patent/PL3405949T3/pl unknown
- 2017-01-20 CN CN201780018898.7A patent/CN108885877B/zh active Active
- 2017-01-20 PT PT177016698T patent/PT3405951T/pt unknown
- 2017-01-20 JP JP2018538633A patent/JP6730438B2/ja active Active
- 2017-01-20 SG SG11201806241QA patent/SG11201806241QA/en unknown
- 2017-01-20 WO PCT/EP2017/051205 patent/WO2017125558A1/en active Application Filing
- 2017-01-20 MY MYPI2018001318A patent/MY189223A/en unknown
- 2017-01-20 WO PCT/EP2017/051214 patent/WO2017125563A1/en active Application Filing
- 2017-01-20 CN CN201780018903.4A patent/CN108780649B/zh active Active
- 2017-01-20 BR BR112018014689-7A patent/BR112018014689A2/pt active Search and Examination
- 2017-01-20 BR BR112018014916-0A patent/BR112018014916A2/pt active Search and Examination
- 2017-01-20 SG SG11201806216YA patent/SG11201806216YA/en unknown
- 2017-01-20 MY MYPI2018001323A patent/MY196436A/en unknown
- 2017-01-20 SG SG11201806246UA patent/SG11201806246UA/en unknown
- 2017-01-20 PT PT17700706T patent/PT3284087T/pt unknown
- 2017-01-20 AU AU2017208579A patent/AU2017208579B2/en active Active
- 2017-01-20 MX MX2017015009A patent/MX371224B/es active IP Right Grant
- 2017-01-20 MX MX2018008889A patent/MX2018008889A/es active IP Right Grant
- 2017-01-20 KR KR1020177037759A patent/KR102083200B1/ko active IP Right Grant
- 2017-01-20 RU RU2017145250A patent/RU2693648C2/ru active
- 2017-01-20 CN CN202311130088.4A patent/CN117238300A/zh active Pending
- 2017-01-20 KR KR1020187024177A patent/KR102219752B1/ko active IP Right Grant
- 2017-01-20 CA CA2987808A patent/CA2987808C/en active Active
- 2017-01-20 EP EP19157001.9A patent/EP3503097B1/en active Active
- 2017-01-23 TW TW106102409A patent/TWI629681B/zh active
- 2017-01-23 TW TW106102410A patent/TWI643487B/zh active
- 2017-01-23 TW TW106102398A patent/TWI628651B/zh active
- 2017-01-23 TW TW106102408A patent/TWI653627B/zh active
- 2017-11-22 US US15/821,108 patent/US10535356B2/en active Active
-
2018
- 2018-03-20 HK HK18103855.8A patent/HK1244584B/zh unknown
- 2018-07-11 ZA ZA2018/04625A patent/ZA201804625B/en unknown
- 2018-07-12 US US16/034,206 patent/US10861468B2/en active Active
- 2018-07-13 US US16/035,456 patent/US10706861B2/en active Active
- 2018-07-13 US US16/035,471 patent/US10424309B2/en active Active
- 2018-07-17 ZA ZA2018/04776A patent/ZA201804776B/en unknown
- 2018-07-20 ZA ZA2018/04910A patent/ZA201804910B/en unknown
- 2018-09-27 JP JP2018181254A patent/JP6856595B2/ja active Active
-
2019
- 2019-04-04 US US16/375,437 patent/US10854211B2/en active Active
- 2019-08-09 AU AU2019213424A patent/AU2019213424B8/en active Active
- 2019-12-26 JP JP2019235359A patent/JP6859423B2/ja active Active
-
2020
- 2020-02-19 US US16/795,548 patent/US11410664B2/en active Active
- 2020-07-02 JP JP2020114535A patent/JP7053725B2/ja active Active
-
2021
- 2021-03-18 JP JP2021044222A patent/JP7258935B2/ja active Active
- 2021-03-25 JP JP2021051011A patent/JP7161564B2/ja active Active
-
2022
- 2022-03-31 JP JP2022057862A patent/JP7270096B2/ja active Active
- 2022-05-23 US US17/751,303 patent/US11887609B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160005407A1 (en) | 2013-02-21 | 2016-01-07 | Dolby International Ab | Methods for Parametric Multi-Channel Encoding |
Non-Patent Citations (4)
| Title |
|---|
| Draft International Standard ISO/IEC DIS 23008-3. ISO/IEC JTC 1/SC 29/WG 11. 2014.07.25. |
| ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20. |
| JANSSON, Tomas. Stereo coding for the ITU-T G. 719 codec. 2011.* |
| Marina Bosi, et al. ISO/IEC MPEG-2 advanced audio coding. Journal of the Audio engineering society, 1997, Vol.45. No.10, pp.789-814.* |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102343973B1 (ko) | 프레임 제어 동기화을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |