KR20100113065A - 정수 변환에 기초한 부호화 및 복호화에 대한 반올림 노이즈 셰이핑 - Google Patents
정수 변환에 기초한 부호화 및 복호화에 대한 반올림 노이즈 셰이핑 Download PDFInfo
- Publication number
- KR20100113065A KR20100113065A KR1020107013872A KR20107013872A KR20100113065A KR 20100113065 A KR20100113065 A KR 20100113065A KR 1020107013872 A KR1020107013872 A KR 1020107013872A KR 20107013872 A KR20107013872 A KR 20107013872A KR 20100113065 A KR20100113065 A KR 20100113065A
- Authority
- KR
- South Korea
- Prior art keywords
- filter
- noise shaping
- transform
- integer
- block
- Prior art date
Links
- 238000007493 shaping process Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000003044 adaptive effect Effects 0.000 claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000002441 reversible effect Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims description 19
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006978 adaptation Effects 0.000 description 30
- 238000013139 quantization Methods 0.000 description 16
- OVOUKWFJRHALDD-UHFFFAOYSA-N 2-[2-(2-acetyloxyethoxy)ethoxy]ethyl acetate Chemical compound CC(=O)OCCOCCOCCOC(C)=O OVOUKWFJRHALDD-UHFFFAOYSA-N 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 241000282596 Hylobatidae Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- UNFWWIHTNXNPBV-WXKVUWSESA-N spectinomycin Chemical compound O([C@@H]1[C@@H](NC)[C@@H](O)[C@H]([C@@H]([C@H]1O1)O)NC)[C@]2(O)[C@H]1O[C@H](C)CC2=O UNFWWIHTNXNPBV-WXKVUWSESA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- LOHSJZLQNKMZMK-QWHCGFSZSA-N methyl (2r)-2-[[(2s)-2-amino-3-(4-hydroxyphenyl)propanoyl]amino]-5-(diaminomethylideneamino)pentanoate Chemical compound NC(N)=NCCC[C@H](C(=O)OC)NC(=O)[C@@H](N)CC1=CC=C(O)C=C1 LOHSJZLQNKMZMK-QWHCGFSZSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 108010077537 tyrosylarginine methyl ester Proteins 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
정수형 MDCT가 무손실 오디오 부호화에 이용된다. 그러나, 정수 가역 변형이 연속적인 리프팅 단계로 분산되고, 이들 단계 각각은 신호에 상당한 반올림 오차를 유입시킨다. 이 문제는 부호화되는 유용 신호의 수준이 낮을수록 더욱 심각해진다. 노이즈 셰이핑 없는 반올림 오차 노이즈는 변환된 신호의 모든 주파수 빈에 균등하게 영향을 미치게 된다. 본 발명은 무손실 코덱의 데이터 속도에 대한 정수 가역 변환의 각 리프팅 단계에 수반하거나 이로부터 결과되는 반올림 오차 노이즈의 영향을 제한한다. 변환 계수에 대한 적응 노이즈 셰이핑 필터의 필터 계수는 무손실 코덱의 데이터 속도에 적응된다. 대안으로, 자동 회귀적 전처리 필터는 무손실 변환 전에 부가되어, 이들 영역에서의 반올림 오차의 우세를 줄이기 위해 저전력으로 주파수 영역의 수준을 올리는 데에 목표를 두고 있다. 두 처리는 무손실 코덱의 압축비를 더욱 개선하도록 조합될 수 있다.
Description
본 발명은 오디오 또는 비디오 신호에 대한 부호화 효율을 개선하기 위한 방법 및 장치에 관한 것이다.
정수 가역 변환(integer-reversible transform), 특히 정수형 MDCT (IntMDCT)는 무손실 또는 HD (고해상도) 오디오/비디오 부호화에 이용된다. 예를 들어, 최근에 표준화된 MPEG-4 SLS 코덱은 IntMDCT를 이용한다.
이 방법은 무손실 변환들이 이용되는 다른 분야에서도 또한 적용 가능할 수 있다. 예를 들어, 정수 가역 웨이블릿 변환들이 무손실 화상 및 비디오 부호화에 이용된다.
정수 가역 변환의 문제는 각 단계들이 신호에 상당한 반올림 오차(rounding errors)를 유입하게 되는 연속적인 단계들로 변환이 분산된다는 데에 있다. 이 문제는 부호화되는 유용 신호의 레벨이 낮아질수록 더욱 심각해진다. 따라서, 반올림 오차 노이즈는 잔류 부호화 방식에서 제한적인 요소가 되고 있으며, 이 때 나머지란 원본 (또는 무손실 또는 HD) 신호와 이의 손실 또는 표준 해상도 부호화 버전 간의 오차 신호이다.
노이즈 세이핑이 없으면 반올림 오차 노이즈는 변환된 신호의 모든 주파수 빈 (bin)에 동일하게 영향을 주게 된다. 이것은 실재의 신호 레벨이 낮은 주파수 빈에 특정한 문제가 된다. 반올림 오차가 우세한 빈에서는, 강하게 증가된 엔트로피 (및 이에 따라 데이터율)의 측면에서의 대규모의 "패널티"가 무손실 변환을 위해 치러져야 한다. 패널티는 반올림 오차가 우세하지 않은 주파수 빈에 대해서는 더 낮다.
이 문제의 해결책은 2006년 11월, 오디오, 스피치 및 랭귀지 프로세싱에 대한 IEEE 트랜잭션, Vol.14, No.6, pp.2201-2211, Yoshikkazu Yodotani, Ralf Geiger, Gerald D.T. Schuller, Soontorn Oraintara, K.R. Rao의 "IntMDCT 및 반올림 오차 셰이핑을 이용한 무손실 오디오 부호화"에서, Fraunhofer에 의해 제안되었다. 여기에서 고주파수에서 저주파수까지 반올림 오차 기여를 특별하게 교환하기 위해서 고정된 노이즈 셰이핑 필터를 몇 개의 리프팅 단계 (작은 정수 가역 부단계의 변환을 나타냄)에 부가하는 것이 제안되고 있다. 이 저자는 노이즈 셰이핑 필터 계수를 구하기 위해서 발견적 최적화 표준을 적용한다. 이 방법의 간단한 변환이 MPEG-4 SLS 코덱 (일차의 고정 저역 통과 필터)의 일부이다.
리프팅 방식 기반의 정수 변환은 정수 대 정수 매핑하며 가역적이다. 이런 리프팅의 기본적인 개념은: 예를 들어, 한쌍의 필터 (h, g)가 보완적인 경우, 즉, 완전한 재구성이 가능한 경우, 모든 필터 s에 대해 h'(z) = h(z)+s(z2)*g(z)인 쌍 (h', g)은 완전한 재구성이 또한 가능하다. 이것은 또한 필터 t 및 유형 g'(z) = g(z)+t(z2)*h(z)인 모든 쌍 (h, g')에 대해서도 참이 된다. 역이 또한 참인데: 필터 뱅크 (h,g) 및 (h',g)가 완전한 재구성이 허용되는 경우,
h'(z) = h(z)+s(z2)*g(z)
인 유일한 필터 s가 있게 된다. 필터 뱅크의 이러한 각 변환 동작을 리프팅 단계라고 한다. 리프팅 단계의 순서는 교차하는 단계, 즉 한 단계에서는 저역 통과가 고정되고 고역 통과는 변경되고 다음 단계에서는 고역 통과가 고정되고 저역 통과가 변경되게 하는 교차 단계로 이루어지고, 동일한 방향의 연속된 단계들은 합병될 수 있다.
이 문제를 다루는 다른 방법들은: 2004 5월 31일 - 6월 2일, 중국, 상하이, 모바일 및 무선 위원회, 이머징 기술에 관한 IEEE 6차 CAS 심포지움, Min Shi, Shengli Xie의 "DPCM을 정수 웨이블릿 변환과 조합하는 것에 의한 무손실 화상 압축 알고리즘"에서 비디오 부호화의 영역에서 발행되고 있다. 이 저자들은 무손실 변환 전에 DPCM 전처리 필터를 적용하고, 이로 인해 신호는 '화이트화'되고 따라서 (또한 '화이트') 반올림 오차 노이즈는 신호 스펙트럼과 유사하게 효율적으로 셰이핑된다. 그러나, 이 방법은 또한 몇 가지 결점을 갖는다: 먼저, 정수 가역적이기 위해서 전처리 필터는 부호화 성능을 열화시키는 반올림 오차를 그 자체에 부가할 필요가 있다 (이하 참조). 둘째, 저자들은 '표준'의 포워드 DPCM 필터를 적용하지만, 이는 문제 해결을 위한 최적의 선택은 아니다.
보통 바람직하긴 하지만, 상술된 고정 노이즈 셰이핑은 개별의 신호 블럭에 대해서 차선일 수 있다.
본 발명이 해결하려고 하는 문제는 리프팅을 이용하여 정수 가역적 변환에서의 반올림 오차 노이즈 분산을 최적화하고/하거나 특정 오디오 또는 비디오 신호를 비트 정확하게 부호화하는 데에, 즉 부호화/복호화 효율을 개선하는 데에 필요한 데이터율을 감소하는 것이다. 이 문제는 청구범위 제1항 및 제3항에 개시된 방법으로 해결된다. 이들 방법들을 이용하는 대응 장치들은 청구범위 제2항 및 제4항에 개시되었다.
본 발명은 노이즈 셰이핑의 블럭별 적응을 이용함으로써, 무손실 코덱의 데이터율에 대한 정수 가역적 변환의 각 리프팅 단계에 수반하거나, 이로부터 결과된 반올림 오차 노이즈의 영향을 제한시킨다. 두 기본적인 방법이 이용된다: 먼저, 변환 또는 주파수 도메인 계수에 대한 노이즈 셰이핑 필터의 필터 계수는 현재 시간 도메인 신호 특성에 따른 개별의 리프팅 단계에서 적응된다. 최적에 가까운 필터 계수를 전달하는 새로운 분석적 적응 규칙이 개발되었다. 또한, 부가의 (선택적) 반복적 과정은 국부적으로 최적인 계수 세트를 만들어낸다. 둘째, 자동 회귀적 (즉, 반복적) 전처리 필터는 무손실 변환 전에 부가될 수 있다. 이 필터는 이들 영역에서 반올림 오차의 우세를 줄이기 위해서 저 전력으로 주파수 영역의 레벨을 "상승"시키는 데에 명백히 촛점을 맞추고 있다. 이 전처리 필터는 변환 또는 주파수 도메인 계수에 대한 적응 노이즈 셰이핑(adaptive noise shaping) 처리와 동일한 본 발명의 적응 규칙을 공유한다. 바람직하게, 이들 두 기본 처리는 무손실 코덱의 압축율을 더욱 개선하기 위해 조합될 수 있다.
필터 계수가 연산되게 되는 오디오 또는 비디오 신호 샘플 프레임들은 필터 계수가 적용되는 대응 변환 계수 블럭인 오디오 또는 비디오 신호 샘플 블럭과는 다른 길이를 가질 수 있다.
대안적으로, 또는 부가하여, 샘플 프레임은 샘플 블럭과 관련하여 일시적으로 시프트될 수 있고, 이 실시예는 필터 계수가 복호화기 측으로 전송될 필요가 없고 복호화기 측에서 대응하여 연산될 수 있다는 장점을 갖는다.
필터 계수를 신호 샘플 프레임으로부터 직접 연산하는 대신에, 부호화 처리시, 예를 들어, 오디오 또는 비디오 신호 부호화기의 필터 뱅크 섹션에서 이용가능할 수 있는 오차나 나머지 신호(residuum)로부터 또한 연산할 수 있다.
원칙적으로, 본 발명의 부호화 방법은 오디오 또는 비디오 신호에 대한 부호화 효율을 개선하는 데에 적합하고, 상기 신호는 상기 신호의 샘플의 각 블럭에 대해 정수 가역 변환을 이용하여 처리되며, 이 정수 변환은 상기 정수 변환의 부단계를 나타내는 리프팅 단계를 이용하여 실행되며 이 리프팅 단계는 반올림 연산(rounding operations)을 포함하고, 상기 리프팅 단계로 결과된 반올림 오차에 대한 노이즈 셰이핑이 실행되고, 상기 방법은 상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환하는 단계를 포함하고, 상기 변환 단계는 대응하는 변환 계수의 블럭을 제공하고 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈가 감소되는 반면 상기 현재 변환되는 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터의 필터 계수는 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도된다.
오디오 또는 비디오 신호에 대한 부호화 효율을 개선하기 위한 장치에 있어서, 상기 신호는 상기 신호의 샘플의 각 블럭에 대해 정수 가역 변환을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계에서 결과된 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고, 상기 장치는: 상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환하는 데에 적합한 수단 - 상기 변환은 대응하는 변환 계수의 블럭을 제공하고 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈가 감소되는 반면 상기 현재 변환되는 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행됨 - ; 및 그 필터 계수가 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되는 대응하는 노이즈 셰이핑 필터를 포함한다.
오디오 또는 비디오 신호에 대한 부호화/복호화 효율을 개선하기 위한 방법에 있어서, 상기 신호는 부호화기측에서 상기 신호의 각 샘플 블럭에 대한 정수 가역 변환을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계로부터 결과된 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고, 상기 샘플 블럭은 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환되고, 상기 변환은 대응하는 변환 계수의 블럭을 제공하고 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈가 감소되는 반면 상기 현재 변환되는 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터의 필터 계수는 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되고, 상기 부호화된 오디오 또는 비디오 신호의 복호화 단계는:
상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계의 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 역 변환하는 단계를 포함하고, 상기 역 변환은 변환 계수의 블럭에 대해 동작하여 대응하는 출력 샘플 값의 블럭을 제공하고 상기 노이즈 셰이핑은 상기 역 변환된 블럭 중 현재의 블럭의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈가 감소되는 반면 상기 현재 역 변환되는 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터의 필터 계수는 프레임 별로 상기 역 변환된 오디오 또는 비디오 신호 샘플로부터 유도된다.
오디오 또는 비디오 신호에 대한 부호화/복호화 효율을 개선하기 위한 장치에 있어서, 상기 신호는 부호화기측에서 상기 신호의 각 샘플 블럭에 대한 정수 가격 변환을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계로부터 결과된 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고, 상기 샘플 블럭은 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환되고, 상기 변환은 대응하는 변환 계수의 블럭을 제공하고 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈가 감소되는 반면 상기 현재 변환되는 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터의 필터 계수는 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되고,
상기 장치는 상기 부호화된 오디오 또는 비디오 신호를 복호화하는 데에 적합하며, 상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계의 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 역 변환하는 데에 적합한 수단 - 상기 역 변환은 변환 계수의 블럭에 대해 동작하며 대응하는 출력 샘플 값의 블럭을 제공하고 상기 노이즈 셰이핑은 상기 역 변환된 블럭 중 현재의 블럭의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈가 감소되는 반면 상기 현재 역 변환된 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행됨 - ; 및
그 필터 계수가 프레임 별로 상기 역 변환된 오디오 또는 비디오 신호 샘플로부터 유도되는 대응하는 노이즈 셰이핑 필터를 포함한다.
본 발명의 바람직한 부가의 실시예는 각 종속항에서 개시되어 있다. 예를 들어, 노이즈 셰이핑 필터의 필터 계수는 상기 오디오 또는 비디오 신호의 복호화 처리에서, 예를 들어, 오디오나 비디오 신호 복호화의 필터 뱅크 섹션에서 이용 가능한 오차나 나머지 신호로부터 프레임 별로 유도될 수 있다.
노이즈 셰이핑 필터는 정수 변환 (정수 역변환) 내에 구성되지 않고 정수 변환(정수 역변환) 상류측 (하류측)에 구성되는 전처리 필터 (후처리 필터)일 수 있다. 상류측 (하류측) 노이즈 셰이핑 전처리 필터 (후처리 필터)는 또한 정수 변환 (정수 역변환) 내에 구성된 노이즈 셰이핑 필터에 부가한 필터일 수 있다.
첨부한 도면을 참조한 본 발명의 예시의 실시예가 설명된다:
도 1은 TDAC에 대해, 기벤스 (Givens) 회전의 세 연속적 리프팅 단계로의 분해를 나타내는 도면이다. 이 때, 각 리프팅 단계는 반올림 오차가 수반한다.
도 2는 두 병렬 입력 신호 (스테레오의 경우)에 대해 적용되는 다차원의 리프팅 방식을 나타내는 도면이다. 이 때, 두 개의 입력 신호 x와 y는 이미 TDAM 블럭에서 반올림 오차 노이즈가 걸려 있다.
도 3은 노이즈 셰이핑을 이용한 반올림을 설명하는 도면이다.
도 4는 공지된 손실 기반의 무손실 부호화기 및 복호화기의 기본 블럭도이다.
도 5는 정수형 MDCT의 분해도이다.
도 6은 노이즈 셰이핑이 없는 공지의 단일의 다차원 리프팅 단계를 나타내는 도면이다.
도 7은 단일의 다차원 리프팅 단계에서의 공지된 노이즈 셰이핑을 나타내는 도면이다.
도 8은 독립형 변형인, 본 발명에 따른 적응 노이즈 셰이핑 IntMDCT를 나타내는 도면이다.
도 9는 독립형 변형인, 본 발명에 따른 적응 노이즈 셰이핑 역 IntMDCT를 나타내는 도면이다.
도 10은 스케일러블-투-무손실 변환 부호화기인, 본 발명에 따른 적응 노이즈 셰이핑 IntMDCT를 나타내는 도면이다.
도 11은 스케일러블-투-무손실 변환 부호화기인, 본 발명에 따른 적응 노이즈 셰이핑 역 IntMDCT를 나타내는 도면이다.
도 12는 독립형 변형인, 본 발명에 따른 적응 전처리 필터 IntMDCT를 나타내는 도면이다.
도 13은 독립형 변형인, 본 발명에 따른 적응 전처리 필터 역 IntMDCT를 나타내는 도면이다.
도 1은 TDAC에 대해, 기벤스 (Givens) 회전의 세 연속적 리프팅 단계로의 분해를 나타내는 도면이다. 이 때, 각 리프팅 단계는 반올림 오차가 수반한다.
도 2는 두 병렬 입력 신호 (스테레오의 경우)에 대해 적용되는 다차원의 리프팅 방식을 나타내는 도면이다. 이 때, 두 개의 입력 신호 x와 y는 이미 TDAM 블럭에서 반올림 오차 노이즈가 걸려 있다.
도 3은 노이즈 셰이핑을 이용한 반올림을 설명하는 도면이다.
도 4는 공지된 손실 기반의 무손실 부호화기 및 복호화기의 기본 블럭도이다.
도 5는 정수형 MDCT의 분해도이다.
도 6은 노이즈 셰이핑이 없는 공지의 단일의 다차원 리프팅 단계를 나타내는 도면이다.
도 7은 단일의 다차원 리프팅 단계에서의 공지된 노이즈 셰이핑을 나타내는 도면이다.
도 8은 독립형 변형인, 본 발명에 따른 적응 노이즈 셰이핑 IntMDCT를 나타내는 도면이다.
도 9는 독립형 변형인, 본 발명에 따른 적응 노이즈 셰이핑 역 IntMDCT를 나타내는 도면이다.
도 10은 스케일러블-투-무손실 변환 부호화기인, 본 발명에 따른 적응 노이즈 셰이핑 IntMDCT를 나타내는 도면이다.
도 11은 스케일러블-투-무손실 변환 부호화기인, 본 발명에 따른 적응 노이즈 셰이핑 역 IntMDCT를 나타내는 도면이다.
도 12는 독립형 변형인, 본 발명에 따른 적응 전처리 필터 IntMDCT를 나타내는 도면이다.
도 13은 독립형 변형인, 본 발명에 따른 적응 전처리 필터 역 IntMDCT를 나타내는 도면이다.
정수형 MDCT (InMDCT)는 원본 PCM 샘플의 비트 정확한 재구성을 허용하는 통상의 MDCT 알고리즘의 근사이다. 이 특성은 모든 알고리즘의 단계들을 단계별로 비트 정확하게 가역적인 리프팅 단계로 분해하여 이루어진다. 더 많은 정보는 예를 들어, 2004년 5월, 캐나다, 몬트리올, ICASSP의 간행물, 볼륨 2, 페이지 17-21, Ralf Geiger, Yoshikazu Yokotani, Gerald Schuller, Jurgen Herre, "다차원 리프팅을 이용한 개선된 정수 변환"에서 찾을 수 있다.
무손실 (즉, 비트 정확) 재구성 특성은 부가의 오차 대신인 것으로: 각 리프팅 단계에서의 반올림 연산은 반올림 연산 잡음을 추가시킨다. 본 발명의 목적은 이들 반올림 오차의 변환을 양자화하고 무손실 코덱의 압축율에 대한 영향을 평가하는 것이다. 다음에, 노이즈 셰이핑 필터 및/또는 전처리 필터는 최소한의 엔트로피에 최적화하는 데에 이용된다. 고정 및 적응 필터의 설명이 이하 개시된다.
A) 반올림 오차
반올림 오차는 IntMDCT의 리프팅 단계 대부분에서 유도되며, 상세 사항과 전개를 위해서, 2006년, 11월, 오디오, 스피치 및 랭귀지 프로세싱에 대한 IEEE 트랜잭션 14(6):2201-2211, Y. Yokotani, R.Geiger, G.D.T.Schuller, S.Oraintara, K.R.Rao의 "IntMDCT 및 반올림 오차 셰이핑을 이용한 무손실 오디오 부호화"를 참조하면 된다. 이하 부단락에서, 반올림 오차의 소스가 간략하게 요약되며 몇가지 정의가 주어진다.
A.1) 시간 영역 에일리어싱 제거 (TDAC)
TDAC와 윈도윙 연산(기벤스 회전)의 세 리프팅 단계로의 분해를 도 1에 나타내었다. 입력 오디오나 비디오 신호의 각 블럭이나 섹션의 이런 윈도윙 연산은 보통 예를 들어, 사인이나 코사인 함수 가중 및 50% 중첩된 윈도윙을 이용하여, 블럭이나 섹션에서의 진폭이나 크기를 가중하는 것과 연관된다. 대응하는 첨가 노이즈 n1, n2, n3 값과 같은 세 개의 반올림 연산의 해석은
을 산출하고 이때
이고, 각도 α의 세트는 윈도우 함수를 정의한다. 사인 윈도우에 대해 각도는
에 의해 정의된다. 일반적으로, 0≤α≤π/4이다.
반올림 오차의 파워는 기벤스 회전의 회전 각도 α에 따라 달라지고 (c 및 d는 기벤스 회전의 비양자화된 원하는 출력을 나타냄):
상술된 바와 같이, 도 1은 기벤스 회전을 세 개의 연속되는 리프팅 단계로 분해한 것을 나타내고, 이 때 각 리프팅 단계는 반올림 연산이 따르게 된다. 입력 값은 a 및 b이고, 출력 값은 c' 및 d'이다 (비교. 수학식 1 및 2). Q1, Q2, 및 Q3은 양자화 단계를 나타낸다. 제1 리프팅 단계는 a+Q1 (cs α*b)를 연산하고,
제2 리프팅 단계는 b+Q2 (sinα[a+Q1(csα*b)])를 연산하고, 및 제3 리프팅 단계는 a+Q1(csα*b)+Q3[csα(b+Q2(sinα[a+Q1(csα*b)]))]를 연산한다.
사인 윈도우에 대해서 정수형 MDCT의 TDAC 부분으로부터 반올림 오차 노이즈의 평균 파워는 1.6/12이다. 이값은 모든 이용 가능한 α 값에 대해 수학식 1/2E{c'-c)2}+ 1/2E{(d'-d)2}을 평균화하여 이론적으로 유도될 수 있다. 이 평균 파워 값은 시뮬레이션으로 더욱 증명된다.
A.2) 다차원 리프팅 방식: 스테레오 버전
두 개의 평행 입력 신호 다차원 리프팅 방식이나 스테레오 다차원 리프팅 방식을 도 2에 도시하였다. 두 개의 입력 신호 x 및 y는 TDAC 블럭 TDAC1 및 TDAC2에서 이미 반올림 오차 노이즈의 영향을 받았다 (비교 도 1). 부호화기측 TDAC 블럭의 출력 벡터는 하측 및 상측부에 대해 x 및 y로 각각 나타내었다. 다음에, IntMDCT 영역 (복호화기 전)에서의 각 부호화 출력 벡터는 다음과 같이 구성된다:
이 때 'DCTIV'는 유형 IV의 DCT (즉, 정수형 MDCT)를 말하고, n4, n5 및 n6는 양자화 오차 신호이고 Q4, Q5 및 Q6는 양자화 연산을 나타낸다. 블럭도에 따르면, 각 최종 '스펙트럼'은 실재 MDCT 스펙트럼, 예를 들어 DCTIV{x}와, 주파수 영역과 시간 영역 오차로 구성된 추가 노이즈의 혼합물이다. 복호화기측에서, 세 개의 변환 리프팅 단계는 역전되고, 이어서 대응하는 TDAC 블럭 TDAC3 및 TDAC4가 이어진다. 부호화에서 중간 및 최종 결과되는 벡터의 확실치 않는 시간-주파수 특성은 이해와 필터 최적화를 어렵게 만든다.
A.3) 전처리 필터
바람직하게, 디지털 필터에 의한 입력 신호의 전처리는 TDAC 처리 전에 실행된다. 이것은 자동 회귀적 (AR) 또는 이동 평균 (MA) 필터에 의해 실현된다. 전처리 필터는 정수 가역식으로 실현되게 된다. 이것은 필터 특성이 엄격히 말해서 최소 위상이어야 하는 것을 의미한다. 더욱, 부호화기 및 복호화기에서 인가되는 필터 구조는 완전히 반대이어야 한다. 따라서 필터 연산은 중간 값 (예측기의 출력)에서 정수 값으로 적어도 하나의 반올림 연산을 포함한다. 이것은 전처리 필터가 항상 추가의 반올림 오차 노이즈가 수반된다는 것을 의미한다.
IntMDCT 내에서의 노이즈 세이핑의 최적화와 전처리 필터의 최적화 간에는 강한 유사성이 있다. 차이점은 전처리 필터가 또한 최종 양자화 단계(도 2에서 Q5/n5 및 Q6/n6; Qx는 비선형 양자화 연산에 대한 수학적 기술이고, nx는 최종 추가의 양자화 오차)의 영향을 강하게 받는다는 것이고, 유사한 필터 차수의 연산 복잡성이 적으며, 전처리 필터는 부가의 반올림 오차를 형성하게 된다는 것이다.
B) 노이즈 셰이핑에 의한 반올림
반올림 오차의 주파수 특성은 도 3에서 나타낸 바와 같이 노이즈 셰이핑 필터를 이용하여 형성될 수 있다. 양자화기 Q 출력 신호 y(k)로부터 결과된 원본 양자화 노이즈 n(k)는 임펄스 응답 a(k) 및 딜레이 T로 한정된 임펄스 응답 (fir) 필터에 의해 결정 및 필터링된다. 대응하여 필터링된 노이즈 n(k)는 입력 신호 x(k)로 다시 공급된다. 계속해서 노이즈 셰이핑 필터 a(k)는 차수 p를 가지며 원인이 된다고 가정된다. 이 때, 이전의 딜레이 연산을 포함하여, 필터는 다음의 전달 함수를 갖는다.
이 때 A(z)는 a(k)의 z-변환을 나타내고 αλ는 필터 계수이다. 필터 계수 αλ는 여러 주파수 특성을 성취하기 위해서 자유롭게 변환될 수 있다. λ=1...p.
특히, 관심있는 것은 이산 MDCT의 중심 주파수에 관한 주파수 응답이다. i가 이산 주파수 지수를 나타내면, i=0,1,...,N-1, MDCT의 i번째 주파수 빈의 중심 주파수는 각도 표시로 Ωi=(2π(i+0.5))/2N으로 주어지고, 이 때 N은 MDCT의 길이다.
노이즈 셰이핑 필터의 주파수 응답은:
가 된다.
나중에 이어지는 연산에서 γ번째 필터 계수 αγ에 대한 주파수 응답의 편미분이 필요하다.
노이즈 셰이핑 필터링으로 인해, 반올림 오차 노이즈의 시간 영역 특성이 또한 변환된다. 상관을 유도한 것에 부가하여, 노이즈 셰이핑 필터는 최종 노이즈 신호 n(k)의 분산을 증가시킨다:
이 미분식에서 원본 양자화 노이즈의 자기 상관이 원점 외부에서 제로인 것으로 가정되는데, 즉, γ≠0이면, E[n(k)n(k-γ)=0이다. 논제로 계수 α≠0는 시간 영역에서의 유효 양자화 노이즈의 파워를 증가시키게 되는 것에 유의해야 한다.
C) 반올림 오차 노이즈 및 미분 엔트로피
다음의 조사를 간략화하기 위해서, 입력 신호는 가우시안 확률 밀도 함수 (PDF)를 갖는 랜덤 노이즈이고 적어도 단기간 고정적이라고 가정된다. 그러나, 입력 신호의 주파수 특성은 제한적이지 않다.
x(k)가 입력 신호의 시간 영역 표시를 나타낸다고 하자. 상술한 랜덤 입력 신호가 정규형 (부동 소수점) MDCT를 통해 변환된다면, 주파수 영역 표시 X(i), 짧게 Xi가 성취되고, 이때 i는 주파수 지수를 나타낸다. 프레임 지수는 이해를 위해서 생략된다. 입력 신호가 고정적인 랜덤 노이즈라고 가정되기 때문에, MDCT 빈은 또한 개별의 분산 σXi 2 를 갖는 랜덤이다. iqjsWo 주파수 빈의 미분 엔트로피는:
이다. 리프팅 단계 연산에서 반올림 오차 노이즈를 부가하면 개별의 노이즈 성분을 각 주파수 빈에 부가하게 된다. i번째 빈의 노이즈 분산은 σNi 2 로 나타내고 각 빈에서의 신호 성분 Xi와 노이즈 성분 Ni이 서로 독립적이라고 가정된다. 이 때, 노이즈 주파수 빈의 미분 엔트로피는:
즉, 미분 엔트로피는 개별의 신호 대 잡음비에 좌우되는 페널티 hi +를 받게 된다. 전체 주파수 범위에 대해서, 이들 개별의 패널티는 적어도 각 블럭을 부호화하는 데에 필요한 총 비트 속도를 증가시키기 위해 추가된다 (주의: 양자화 및 부호화 이후에 미분 엔트로피와 비트 스트림의 비트 속도 간의 간략화된 직접적 매핑을 가정함. 실재로, 차선의 엔트로피 부호화 등으로 인해 추가의 손실이 있을 수 있음):
각 블럭에 대한 이 총 패널티를 최소화하는 노이즈 셰이핑 필터에 대한 적응규칙을 성취하는 것이 다음 미분식의 목표이다.
이전 단락 B)로부터의 미분식에 따르면, i번째 주파수 빈의 노이즈 성분의 분산은 다음과 같이 모델화된다:
이 때, Ωi=(2π(i+0.5)/2N이고 스칼라 인수 k2는 원본 반올림 오차 노이즈 n(k)의 분산을 설명하는 임의의 인수이다. γ번째 계수 αλ의 편미분은:
이 되고, 상기 수학식 13 내지 15의 미분식을 참조하라.
C.1) 근사법
이하, 계수 αγ는 총 패널티 H+를 최소화하기 위해서 최적화된다. 간략하게 하기 위해, 저 양자화 노이즈가 먼저 가정되고, 즉 다음이 가정되고:
이에 의해 x《1의 경우 유효한 근사식 log(1+x)≒x가 이용된다. 신호 처리 조건에서, σNi2《σNi 2가 모든 주파수 빈에서 유효하다고 가정된다.
전 패널티 H+는 다음이 된다:
계수 αλ에 대한 편미분은 다음을 구한다:
이 편미분을 제로로 설정하게 되면 최소 엔트로피 패널티를 갖는 계수를 구하기 위해 풀어야 할 다음의 수학식 세트로 이어지게 된다:
이 점에서 미지수 p를 풀기 위한 p 방정식이 있다. 이해를 돕기 위해, 방정식의 세트는 매트릭스 벡터 표기법으로 표현될 수 있다. 다음의 벡터와 매트릭스가 정의된다:
이 때 축약하여
가 이용된다.
상기의 수학식 세트는 다음과 같은 선형 방정식 시스템:
를 부여한다. 이것은 토플리츠 (Toeplitz) 행렬 M의 역으로 풀 수 있다:
크기 R(κ)는 입력 신호 x(k)의 역 스펙트럼을 갖는 신호의 자기 상관 함수와 동일함에 유의해야 한다. 따라서, 최적화법은 정규 방정식을 이용하여 선형 예측 필터의 블럭 기반의 적응성과 매우 유사하고, 예를 들어, John Wiley & Sons Ltd, 2006, Sec.6.2, P. Vary 및 R. Martin의 "디지털 스피치 전송: 강화, 부호화 및 에러 은폐"와 비교하면 된다. 따라서, 의사 자기 상관 값 R(κ)의 연산 후에, 선형 예측 필터를 최적화하기 위한 수치 계산법의 집합, 예를 들어 수치적으로 유효한 레빈슨-더빈 알고리즘 (Levinson-Dubin algorithm)을 이용할 수 있다.
적응 노이즈 셰이핑 필터의 필터 계수는 신호 샘플 프레임의 역 파워 스펙트럼을 연산하여 결정되고, 이로 인해 필터 계수는 역 파워 스펙트럼(inverse power spectrum)과 이들 필터 계수에 대응하는 모든 극 필터(all-pole filter)의 주파수 응답 간의 평균 스펙트럼 거리(mean spectral distance)를 최소화하기 위해서와 같이 최적화되게 된다.
즉, 필터 계수의 최적화는 신호 샘플 프레임의 역 파워 스펙트럼에 기초한 선형 예측 분석으로 실행된다.
역 파워 스펙트럼은 필터 계수의 최적화가 실행되기 전에 의사 자기 상관 계수(pseudo-autocorrelation coefficients)로 변환될 수 있다.
C.2) 정확한 해법을 위해
이전 단락에서, 선형 최적화 문제를 해결하기 위해 근사법이 이용되었다. 더욱 정확한 해법을 성취하기 위해서, 정확한 항이 엔트로피 패널티를 표현하기 위해 이용되어야 한다:
γ번째 필터 계수의 편미분은 다음 항을 산출한다:
불행히도, 이 항은 비선형이다. 
에 대한 간단한 분석법은 발견할 수 없다. 그러나, 수치계산법은 최적의 해법을 위해 반복하여 적용될 수 있다. 예를 들어, 최적화된 필터 계수로 더욱 세밀화하기 위해서 반복적인 경사 하강 최적화(iterative gradient descent optimisation) 처리나 반복적인 최대 경사 처리법이 실현될 수 있다. 이 처리중에 계수의 세트 a=[a1, a2,...,aP]T는 최대(음) 경사의 방향으로 작은 단차를 두어 각 반복 단계에서 세밀화될 수 있다.
이 때 μ는 반복 지수를 나타내고 경사는 다음과 같이 정의된다:
스칼라 인수 θ는 단차 크기를 특정한다. 이것은 적응의 속도를 제어하기 위해 이용될 수 있다. 반복은 예를 들어, 계수 세트가 안정된 해법으로 수렴될 때 까지 계속된다. 너무 많은 단차 크기는 불안정한 수렴 동작을 유도하게 된다.
이 처리는 p차원의 최적화 문제에 대한 국부적인 해법을 찾게 한다. 최종 결과는 반복적 알고리즘의 시작점, 즉 초기 계수 세트 a(0)에 따라 다를 수 있다. 일치하는 결과는 이전 단락에서 주어진 바와 같은 근사법으로 시작하여 구할 수 있다. 그럼에도, 이 근사법은 H+를 최소화하기 위해서 원래의 문제의 전역 최적점을 반영하는 것을 보장하지 못한다.
더욱, 최종 계수 세트가 최소 위상 필터 응답을 산출하는 것을 보장하지 못한다. 이것은 그 결과가 전처리 필터 내에서 적용되기 때문에 최소 위상 특성에 대해 체크되어야 한다는 것을 의미한다.
이 적응 노이즈 셰이핑의 효과는 입력 신호 블럭이나 섹션 중 현재의 것에서의 저 레벨의 크기 샘플로부터의 반올림 노이즈는 감소하는 반면 현재 블럭이나 섹션에서의 고 레벨의 크기 샘플로부터의 반올림 노이즈는 증가한다는 것이다. '저 레벨의 크기' 및 '고 레벨의 크기'는 예를 들어, 블럭에서의 평균 크기 레벨이나 블럭의 임계 크기 레벨 보다 각각 더 작거나 더 큰 것을 의미한다.
상기 최적화는 이동 평균 노이즈 셰이핑 필터의 적응에 적용된다. 바람직하게, 동일한 적응 규칙이 자기 회귀적 (모든 극(all-pole)) 전처리 필터(pre-filter)를 최적화하기 위해 적용될 수 있다.
C.3) 이동 평균 (MA) 전처리 필터
이동 평균 (유한 임펄스 응답) 전처리 필터에 대한 최적 계수를 유도하기 위해서, 필터 구조에 관하여, 이 처리는 '문어적인' 프리-앰퍼시스 (pre-emphasis) 또는 선형 예측과 매우 유사하다. 그러나, 최적화 표준은 이들 잘 조사된 시나리오에 대해서와 본 문제에 대해서 다르다.
전처리 필터링의 결과, MDCT 영역에서의 신호의 여러 파워 스펙트럼이 이하 관찰되며: σXi 2│G(i)│2 는 σXi 2 대신에 얻어진다. MDCT 영역에서의 반올림 에러 노이즈는 적응 노이즈 셰이핑이 전처리 필터에 부가하여 적용되지 않는 경우 화이트 노이즈이다. 이 때, 노이즈 파워 스펙트럼은 상수 σNi 2 = κ2이다. 따라서, 최적화 표준은 다음과 같이 정의된다:
│G(i)│2의 정의는 변경되지 않는 것에 유의해야 한다. γ번째 필터 계수에 대한 근사법의 편미분은 다음 항을 산출한다:
다시, 이 항은 비선형이고, 최적화 문제에 대한 분석적 해결법을 유도하기 어렵다. 그러나, 이전 단락에서 정의된 바와 같은 동일한 반복적 "최대 경사' 최적화 과정이 적용될 수 있다. 반복적 세밀화 처리가 선택되면, 상기 이용되는 근사법은 또한 건너뛸 수 있다. 정확한 표준에서 시작한다면, 다음 항은 αγ에 대한 편미분의 결과이다:
상술한 두 반복적 적응 규칙 둘 다에 대해서, 전역 최적이 성취된다는 것은 보장할 수가 없다. 대신에, 이 방법은 국부적 최적으로 수렴하게 되고, 최종 결과는 시작법에 매우 강하게 좌우되게 된다.
EBU-SQAM CD로부터 실재 오디오 데이터에 대한 상세 시뮬레이션은 본 발명의 처리를 적용할 때 예상되는 개선점을 증명한다. 다른 제안과 관련하여 0.2퍼센트 포인트 (16비트 신호 가정) 이상의 성능 이득이 있다.
D) 스테레오 IntMDCT에의 적용
일반적으로, 좌측 및 우측 채널에 대한 개별의 최적화가 적용되고, 대략 모든 반올림 오차 소스가 σNi 2《σXi 2인 모든 반올림 오차에 대해 가정되는 경우 서로 독립적으로 처리될 수 있다.
따라서, TDAC 처리로부터의 n1, n2, n3 및 다차원 리프팅 방식의 제1 단계로부터의 n4에 대한 노이즈 셰이핑 필터의 적응은 수월하며 단락 C.1로부터의 근사법이 이용될 수 있다. n6, 즉 다차원 리프팅 방식의 최종 단계에 대해서는, 노이즈 셰이핑이 실행되어서는 안된다. 문제는 n5의 적응에 대한 해법을 찾는 방법이다. 이 양자화 노이즈는 이중 효과를 갖는데: 먼저, 이것은 X, 즉 좌측 채널에 직접 부가되고, 둘째 그 주파수 변환은 Y, 즉 우측 채널에 부가되는 것이다. 따라서, '정규의' 근사 적응 규칙을 이용하는, 노이즈 셰이핑 없음과 완전 노이즈 셰이핑 간의 트레이드-오프 (trade-off)를 구해야 한다.
반올림 오차 노이즈 n5에 대한 패널티는 두개의 가수로 이루어진다.
γ번째 계수에 대한 미분은 다음을 산출한다:
이들 항을 제로로 설정하게 되면 다음이 유도되고:
이는 변환된 적응 규칙을 시사한다:
단락 C.1과 비교할 때, 유일한 차이는 주 대각선이 Rx(0)을 부가함으로써 변환된다는 것이다. 이런 종류의 처리는 예를 들어, 1976년 스프링거-베를랙, 베를린, 하이델베르그, 뉴욕, J.D.Markel, A.H.Gray, "스피치의 선형 예측"에서, 선형 예측 필터의 적응시 때로 적용되는 화이트 노이즈 정정 처리와 유사하다.
E) 부호화/복호화시의 본 발명의 적용
더 쉽게 이해하기 위해서, 몇 종래의 상세 사항은 본 발명의 관점에서 설명된다.
손실 기반의 무손실 부호화의 공지된 기본 원리는 도 4에 도시되었다. 도 4의 좌측에서의 부호화부에서, PCM 오디오 입력 신호 SPCM은 손실 부호화기(81)를 통과하여 손실 복호화기(82)에 그리고 손실 비트 스트림으로서 복호화부 (우측)의 손실 복호화기(85)에 통과한다. 손실 부호화 및 복호화는 신호를 무연관성화하는 데에 이용된다. 복호화기(82)의 출력 신호는 감산기(83)에서 입력 신호 SPCM으로부터 제거되고, 최종 차이 신호는 확장 비트 스트림으로서 무손실 부호화기(84)를 통해 무손실 복호화기(87)로 보내진다. 복호화기(85 및 87)의 출력 신호는 원신호 SPCM를 다시 얻기 위해서 조합된다.
이 기본 원리는 EP-B-0756386 및 US-B-6498811에서 오디오 부호화에 대해 개시되어 있으며, 또한 1996년 9월, J. Audio Eng. SOc,. Vol.44, No.9, P.Craven, M. Gerzon의 "오디오 디스크에 대하 무손실 부호화" 및 1997년 8월 AES 103번째 컨벤션, 프리프린트 4621, J.Koller, Th.Sporer, K.H.Brandenburg의 "고품질의 오디오 신호의 로버스트 부호화"에 개시되어 있다.
손실 부호화기에서 PCM 오디오 입력 신호 SPCM은 분석 필터 뱅크 및 부대역 샘플을 위한 양자화를 거쳐 코딩 처리된다. 양자화는 신호 SPCM를 수신하는 지각 모델로 제어되며 분석 필터 뱅크로부터 대응하는 정보를 수신할 수 있다. 복호화기 측에서, 부호화된 손실 비트 스트림은 복호화되고 최종 부대역 샘플은 복호화된 손실 PCM신호를 출력하는 합성 필터 뱅크를 통과한다. 손실 부호화 및 복호화의 예가 표준 ISO/IEC 11172-3 (MPEG-1 Audio)에서 상세히 개시되었다.
도 5의 정수형 MDCT의 공지된 분해에서, 입력 신호 x(k) 및 y(k) 각각은 고정된 노이즈 셰이핑 NS를 갖는 TDAC 및 고정된 노이즈 셰이핑 NS을 갖는 DCTIV를 통과하여, 출력 신호 X(i) 및 Y(i)를 제공한다. 스테레오 버전은 2004년 5월, ICASSP의 간행물, R. Geiger 등의 상술된 논문에서와 같이, 일 예로 주어진다. TDAC는 세 단계 T* 1 내지 T* 3에서 채널 당 실행된다. DCTIV는 도시된 단계를 이용하여 실행되고 여기에서 D* 1 내지 D* 3은 리프팅 단계이고 (비교. 도 2), P는 일 채널에 대한 순열 및 사인 역전이다 (반올림 연산 없음). 리프팅 단계는 '*'로 마크되며 반올림 연산을 필요로 한다.
종래 기술에서, 고정 노이즈 셰이핑은 바람직하게 T* 1, T* 2, T* 3 및 D* 1, 그리고 선택적으로 D* 2에서 구현된다. 본 발명에 따르면, 적응 노이즈 셰이핑은 단계 T* 1, T* 2, T* 3 및 D* 1 중 하나 이상에서, 선택적으로 단계 D* 2에서 구현된다.
도 6은 입력 신호 벡터 x(0),..., X(N)에 대한 노이즈 셰이핑 없는 공지의 단일한 다차원 리프팅 단계를 나타내며, 이는 출력 신호 벡터 x(N+1),..., x(2N)을 산출한다.
도 6에 기초하여, 도 7은 단일의 다차원 리프팅 단계에서의 공지의 노이즈 셰이핑을 나타낸다. 이것은 도 5의 IntMDCT 알고리즘에서 T* 1, T* 2, T* 3, D* 1 및 선택적으로 D* 2에 적용된다.
도 5에 기초하여, 도 8은 본 발명의 적응 노이즈 셰이핑 IntMDCT의 독립형 변형을 나타낸다. 입력 신호 x(k)로부터, 필터 적응 파라미터 또는 계수는 필터 적응 단계나 국면(121)에서 연산된다. 연산된 필터 파라미터나 계수 h(k)는 정수 MDCT 단계나 국면(123)에 제공되고, 이는 적응 노이즈 셰이핑 필터링된 TDAC 및 적응 노이즈 셰이핑 필터링된 DCTIV를 포함한다. 필터 적응 단계나 국면(121)는 또한 복호화기에 대응하는 보조 정보(122)를 제공할 수 있다.
도 8에 기초하여, 도 9는 본 발명의 적응 노이즈 셰이핑 역 IntMDCT의 독립형 변형을 나타낸다. 복호화기 입력 신호 X(i)는 역 정수 MDCT 단계나 국면(33)를 통과하고, 이는 적응 노이즈 셰이핑된 역 TDAC 및 적응 노이즈 셰이핑된 역 DCTIV를 포함한다. 그 출력 신호 x(k)로부터, 필터 적응 파라미터나 계수는 필터 적응 단계나 국면(131)에서 연산된다. 연산된 필터 파라미터나 계수 h(k)는 단계/국면(133)에 제공된다. 필터 적응 단계나 국면(131)은 또한 복호화기로부터 대응하는 보조 정보(122)를 수신할 수 있다. 이 경우 복호화기 출력 신호 x(k)는 단계/국면(131)에 필요하지 않다.
도 8 및 도 9에 따른 처리는 예를 들어, MPEG-4 SLS no core와 같은 독립형 무손실 코덱에 적용 가능하다.
도 10은 적응 노이즈 셰이핑 IntMDCT를 이용한 본 발명의 스케일러블-투-무손실 변환 부호화기의 블럭도를 나타내고, 여기에서 '스케일러블-투-무손실'은 비트 스트림이 적어도 두 계층적 층을 포함한다: 하나는 손실 코어 코덱 (예를 들어, AAC 또는 mp3)에 대응하고 하나는 -제1층과 조합하여- 원 PCM 샘플을 나타낸다. 한 측에서, 입력 신호 x(k)는 변환 부호화기(144) (예를 들어, AAC 부호화기), 선택적 매핑 단계나 국면(146) 및 반올림 또는 양자화 단계나 국면(147)을 통과하여 감산기(140)로 간다. 이들 단계/국면은 도 4에서 손실 부호화기(81)에 포함된다. 변환 부호화기(144)는 손실 부호화기 비트 스트림에 부호화된 신호(148)를 제공한다.
반면, 입력 신호 x(k)는 정수형 MDCT(143)를 통과하여 감산기(140)의 다른 입력으로 간다. 정수형 MDCT(143)에 대해 본 발명의 적응 노이즈 셰이핑이 이용되고, 즉 정수형 MDCT(143)는 적응 노이즈 셰이핑 필터링된 TDAC 및 적응 노이즈 셰이핑 필터링된 DCTIV를 포함한다. 부호화기(144)로부터의 대응하는 정보 (예를 들어, 양자화된 변환 계수, 양자화기의 파라미터 및 가능한 원 변환 계수)를 이용하여, 나머지의 평가 단계나 국면(145)에서, 상술된 바와 같은 필터 적응 단계나 국면(141)을 제어하는 데에 이용되는 나머지 신호 (시간이나 주파수 영역 내)이 평가된다. 연산된 필터 파라미터나 계수 h(k)는 단계/국면(143)에 제공된다. 감산기(140)에서, 단계/국면(147)의 출력 신호는 정수형 MDCT(143)의 출력 신호로부터 감산되고, 이로 인해 나머지 신호 R(i)를 제공한다. 신호 R(i)는 필요에 따라 부호화되고, 도 4의 무손실 부호화기(84)와 비교한다. 도 8과 달리, 필터 적응 단계나 국면(141)은 디코더 측에서 적응이 실행될 수 있기 때문에 디코더에 대응하는 보조 정보를 제공할 필요가 없다.
도 11은 적응 노이즈 셰이핑 역 IntMDCT를 이용한 본 발명의 스케일러블-투-무손실 변환 복호화기의 블럭도를 나타낸다. 변환 부호화기 비트 스트림으로부터의 복호화기 입력 신호(158)는 변환 복호화기(154) (예를 들어, AAC 또는 mp3 복호화기), 선택적 매핑 단계나 국면(156) 및 반올림 또는 양자화 단계나 국면(157)을 통과하여 조합기(150)로 간다.
조합기(150)는 단계/국면(157) 출력 신호를 확장 비트 스트림으로부터의 복호화된 나머지 입력 신호 R(i)와 조합한다. 조합된 신호 X(i)는 도 4에서 SPCM에 대응하는, 무손실 복호화기 출력 신호 x(k)를 출력하는 역 정수형 MDCT(153)을 통과한다. 역 정수형 MDCT(153)에 대해 본 발명의 적응 노이즈 셰이핑이 이용되는데, 즉 정수형 MDCT(143)은 적응 노이즈 셰이핑 필터링된 TDAC 및 적응 노이즈 셰이핑 필터링된 DCTIV를 포함한다. 나머지 평가 단계나 국면(155)에서, 복호화기(154)로부터의 대응하는 정보 (예를 들어, 양자화된 변환 계수, 양자화기의 파라미터, 및 가능한 원 변환 계수)를 이용하여, 상술된 바와 같이 필터 적응 단계나 국면(151)을 제어하는 데에 이용되는 나머지 신호 (시간 또는 주파수 영역 내)가 평가된다. 연산된 필터 파라미터나 계수 h(k)는 단계/국면(153)에 제공된다. 도 9와 달리, 필터 적응 단계나 국면(151)은 적응이 복호화기 측에서 실행될 수 있기 때문에 복호화기에 대한 대응 보조 정보를 수신할 필요가 없다. 도 10 및 도 11에 따른 처리는 예를 들어, MPEG-4 SLS에 적용 가능하다.
도 12는 본 발명의 적응 전처리 필터 IntMDCT의 독립형 변형의 블럭도를 나타낸다. 한 측에서, 입력 신호 x(k)가 필터 적응 단계나 국면(161)에 공급된다. 이 단계/국면의 출력 신호는 필터 특성 단계/국면(168)에 필터 파라미터나 계수 h(k)를 제공한다. 한편, 입력 신호 x(k)는 조합기(160)를 통과하여 비트 스트림으로의 전송을 위해 부호화되는 출력 신호 X'(i)를 제공하는 정수형 MDCT 단계나 국면(163) (여기에서는 노이즈 셰이핑이 실행되지 않음)에 보내진다. 조합기(160)의 출력 신호는 필터 특성 단계나 국면(168) 및 양자화기(169)를 통과하여 조합기(160)의 다른 입력부에 보내진다. 도 8에서와 같이, 필터 적응 단계나 국면(161)는 또한 복호화기에 대응하는 보조 정보(162)를 제공할 수 있다.
도 13은 역 IntMDCT에 이어지는 본 발명에 따른 적응 후처리 필터의 독립형 변형의 블럭도를 나타낸다. 비트 스트림으로부터 복호화된 복호화기 입력 신호 X(i)는 역 정수형 MDCT 단계나 국면(173)을 통과하고, 여기에서는 노이즈 셰이핑이 실행되지 않는다. 이 단계/국면의 출력 신호는 출력 신호 x(k)를 공급하는 조합기(170)에 공급된다. 출력 신호 x(k)는 필터 파라미터나 계수 h(k)를 필터 특성 단계/국면(178)에 공급하는 필터 적응 단계나 국면(171)에 보내진다. 역 정수 MDCT 단계나 국면(173)의 출력 신호는 필터 특성 단계나 국면(178) 및 양자화기(179)를 거쳐 조합기(170)의 다른 입력부에 보내진다.
필터 적응 단계나 국면(171)은 또한 부호화기로부터 대응하는 보조 정보(162)를 수신할 수 있다. 이 경우 복호화기 출력 신호 x(k)는 단계/국면(171)에 필요하지 않을 수 있다.
도 12 및 도 13에 따른 처리는 예를 들어, MPEG-4 SLS no core와 같은 독립형 무손실 코덱에 적용 가능하다.
바람직하게, 최적화된 적응 노이즈 셰이핑 처리는 항상 상술된 MPEG-4 SLS에서 구현되는 노이즈 셰이핑이나 단순한 저역 통과 노이즈 셰이핑 처리 보다 더 우수한 성능을 보인다. 본 발명에 따르면, 저 차수의 적응 노이즈 셰이핑이 구현된다. 바람직하게, 필터 계수의 적응은 수월하며 연산 복잡성의 증가는 매우 적당하다.
본 발명은 반올림 오차 노이즈 스펙트럼을 셰이핑함으로써 데이터 속도를 관리하고 제한하도록 해준다.
본 발명은 연속적인 리프팅 단계로의 분해가 관계되는 한 무손실 부호화에 적용될 수 있다.
본 발명에 따라 부호화되는 디지털 오디오 또는 비디오 신호는 저장 매체, 예를 들어 광 디스크, 고형 상태 메모리나 하드 디스크에 저장되거나 기록될 수 있다.
Claims (16)
- 오디오 또는 비디오 신호(x(k))에 대한 부호화 효율을 개선하기 위한 방법에 있어서,
상기 신호는 상기 신호(x(k))의 샘플의 각 블럭에 대해 정수 가역 변환(DCTIV)을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환(DCTIV)의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계로부터 발생되는 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고,
상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환하는 단계(123, 143, 163)를 포함하고, 상기 변환 단계는 대응하는 변환 계수의 블럭을 제공하고, 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것에서의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈는 감소되는 반면 상기 현재 변환되는 블럭 내의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터(168, 169, 160)의 필터 계수(h(k))는 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되는(121, 141, 161) 방법. - 오디오 또는 비디오 신호(x(k))에 대한 부호화 효율을 개선하기 위한 장치에 있어서,
상기 신호는 상기 신호(x(k))의 샘플의 각 블럭에 대해 정수 가역 변환(DCTIV)을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환(DCTIV)의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계로부터 발생되는 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고, 상기 장치는:
상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환하는 수단(123, 143, 163); 및
그 필터 계수(h(k))가 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되는 대응하는 노이즈 셰이핑 필터를 포함하되,
상기 변환은 대응하는 변환 계수의 블럭을 제공하고, 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것에서의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈는 감소되는 반면 상기 현재 변환되는 블럭 내의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되는, 장치. - 오디오 또는 비디오 신호(x(k))에 대한 부호화/복호화 효율을 개선하기 위한 방법에 있어서,
상기 신호는 부호화기측에서 상기 신호(x(k))의 각 샘플 블럭에 대한 정수 가역 변환(DCTIV)을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환(DCTIV)의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계로부터 발생되는 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고,
상기 샘플 블럭은 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환되고(123, 143, 163), 상기 변환은 대응하는 변환 계수의 블럭을 제공하고, 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것에서의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈는 감소되는 반면 상기 현재 변환되는 블럭 내의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터(168, 169, 160)의 필터 계수(h(k))는 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되고(121, 141, 161),
상기 부호화된 오디오 또는 비디오 신호의 복호화 단계는:
상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계의 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 역 변환하는 단계(153, 173)을 포함하고, 상기 역 변환은 변환 계수의 블럭에 대해 동작하며 대응하는 출력 샘플 값의 블럭을 제공하고, 상기 노이즈 셰이핑은 상기 역 변환된 블럭 중 현재의 블럭에서의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈는 감소되는 반면 상기 현재 역 변환되는 블럭 내의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터(178, 179, 170)의 필터 계수(h(k))는 프레임 별로 상기 역 변환된 오디오 또는 비디오 신호 샘플로부터 유도되는(151, 171) 방법. - 오디오 또는 비디오 신호(x(k))에 대한 부호화/복호화 효율을 개선하기 위한 장치에 있어서,
상기 신호는 부호화기측에서 상기 신호(x(k))의 각 샘플 블럭에 대한 정수 가역 변환(DCTIV)을 이용하여 처리되고, 상기 정수 변환은 상기 정수 변환(DCTIV)의 부단계를 나타내는 리프팅 단계를 이용하여 실행되고 상기 리프팅 단계는 반올림 연산을 포함하고, 상기 리프팅 단계로부터 발생되는 상기 반올림 오차에 대한 노이즈 셰이핑이 실행되고,
상기 샘플 블럭은 리프팅 단계 및 상기 리프팅 단계 중 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 변환되고(123, 143, 163), 상기 변환은 대응하는 변환 계수의 블럭을 제공하고, 상기 노이즈 셰이핑은 상기 변환된 블럭 중 현재의 것에서의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈는 감소되는 반면 상기 현재 변환되는 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되고, 대응하는 노이즈 셰이핑 필터(168, 169, 160)의 필터 계수(h(k))는 프레임 별로 상기 오디오 또는 비디오 신호 샘플로부터 유도되고(121, 141, 161),
상기 장치는 상기 부호화된 오디오 또는 비디오 신호를 복호화하는 데에 적합하며, 상기 장치는:
상기 샘플 블럭을 리프팅 단계 및 상기 리프팅 단계의 적어도 일부에 대한 적응 노이즈 셰이핑을 이용하여 정수 역 변환하는 수단(153, 173); 및
그 필터 계수(h(k))가 프레임 별로 상기 역 변환된 오디오 또는 비디오 신호 샘플로부터 유도되는 대응하는 노이즈 셰이핑 필터를 포함하되,
상기 역 변환은 변환 계수의 블럭에 대해 동작하며 대응하는 출력 샘플 값의 블럭을 제공하고, 상기 노이즈 셰이핑은 상기 역 변환된 블럭 중 현재의 블럭에서의 저 레벨 크기의 변환 계수로부터의 반올림 노이즈는 감소되는 반면 상기 현재 역 변환된 블럭의 고 레벨 크기의 변환 계수로부터의 반올림 노이즈는 증가하도록 실행되는, 장치. - 제1항 또는 제3항에 따른 방법 또는 제2항 또는 제4항에 따른 장치에 있어서,
상기 적응 노이즈 셰이핑 필터의 상기 필터 계수(h(k))는 신호 샘플 프레임의 상기 역 파워 스펙트럼을 연산하여 결정되고, 상기 필터 계수는 상기 역 파워 스펙트럼과 상기 필터 계수에 대응하는 모든 극 필터의 주파수 응답 간의 평균 스펙트럼 거리를 최소화하도록 최적화되는 방법 또는 장치. - 제5항에 있어서, 상기 필터 계수(h(k))의 상기 최적화는 상기 신호 샘플 프레임의 상기 역 파워 스펙트럼에 기초한 선형 예측 분석에 의해 실행되는 방법 또는 장치.
- 제5항 또는 제6항에 있어서, 상기 역 파워 스펙트럼은 상기 필터 계수(h(k))의 상기 최적화가 실행되기 전에 의사 자기상관 계수로 변환되는 방법 또는 장치.
- 제5항 내지 제7항 중 어느 한 항에 있어서,
상기 최적화된 필터 계수(h(k))는 반복적인 경사 하강 최적화 과정에 의해 더욱 세밀화되는 방법 또는 장치. - 제1항 및 제5항 내지 제8항 중 어느 한 항에 따른 방법, 또는 제2항 및 제5항 내지 제8항 중 어느 한 항에 따른 장치에 있어서,
상기 노이즈 셰이핑 필터(168, 169, 160)의 상기 필터 계수(h(k))는 상기 오디오나 비디오 신호의 부호화 처리시, 예를 들어, 상기 오디오나 비디오 신호 부호화의 필터 뱅크 섹션에서 이용 가능한 오차나 나머지 신호로부터 프레임 별로 유도되는(121, 141, 161) 방법 또는 장치. - 제3항 및 제5항 내지 제8항 중 어느 한 항에 따른 방법, 또는 제4항 및 제5항 내지 제8항 중 어느 한 항에 따른 장치에 있어서,
상기 노이즈 셰이핑 필터(168, 169, 160)의 상기 필터 계수(h(k))는 상기 오디오나 비디오 신호의 복호화 처리시, 예를 들어 상기 오디오 또는 비디오 신호 복호화의 필터 뱅크 섹션에서 이용 가능한 오차나 나머지 신호로부터 프레임 별로 유도되는(121, 141, 161) 방법 또는 장치. - 제1항 및 제5항 내지 제9항 중 어느 한 항에 따른 방법, 또는 제2항 및 제5항 내지 제9항 중 어느 한 항에 따른 장치에 있어서,
상기 노이즈 셰이핑 필터(160, 168, 169)는 상기 정수 변환 내에 배치되지 않고 상기 정수 변환(163) 상류측에 배치된 반복적 또는 모든 극 전처리 필터인 방법 또는 장치. - 제1항 및 제5항 내지 제9항 중 어느 한 항에 따른 방법, 또는 제2항 및 제5항 내지 제9항 중 어느 한 항에 따른 장치에 있어서,
노이즈 셰이핑 전처리 필터(160, 168, 169)가 상기 정수 변환(143) 상류측에 부가하여 배치되는 방법 또는 장치. - 제3항, 제5항 내지 제8항 및 제10항 중 어느 한 항에 따른 방법, 또는 제4항, 제5항 내지 제8항 및 제10항 중 어느 한 항에 따른 장치에 있어서,
상기 노이즈 셰이핑 필터(170, 178, 179)는 상기 역 정수 변환 내에 배치되지 않고 상기 역 정수 변환(173) 하류측에 배치된 후처리 필터인 방법 또는 장치. - 제3항, 제5항 내지 제8항 및 제10항 중 어느 한 항에 따른 방법, 또는 제4항, 제5항 내지 제8항 및 제10항 중 어느 한 항에 따른 장치에 있어서,
노이즈 셰이핑 후처리 필터(170, 178, 179)가 부가하여 상기 역 정수 변환(153) 하류측에 배치되는 방법 또는 장치. - 제1항, 제5항 내지 제9항, 제11항 및 제12항 중 어느 한 항의 방법에 따라 부호화되는 디지털 오디오 또는 비디오 신호.
- 제15항에 따른 디지털 오디오 또는 비디오 신호를 포함 또는 저장하거나 기록하고 있는, 예를 들어 광 디스크와 같은 저장 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP07121440A EP2063417A1 (en) | 2007-11-23 | 2007-11-23 | Rounding noise shaping for integer transform based encoding and decoding |
| EP07121440.7 | 2007-11-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20100113065A true KR20100113065A (ko) | 2010-10-20 |
Family
ID=40225570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020107013872A KR20100113065A (ko) | 2007-11-23 | 2008-11-10 | 정수 변환에 기초한 부호화 및 복호화에 대한 반올림 노이즈 셰이핑 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US8503535B2 (ko) |
| EP (2) | EP2063417A1 (ko) |
| JP (1) | JP4961042B2 (ko) |
| KR (1) | KR20100113065A (ko) |
| CN (1) | CN101868822B (ko) |
| BR (1) | BRPI0820467A2 (ko) |
| CA (1) | CA2705228A1 (ko) |
| MX (1) | MX2010005418A (ko) |
| PT (1) | PT2215631E (ko) |
| RU (1) | RU2530926C2 (ko) |
| WO (1) | WO2009065748A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019013363A1 (ko) * | 2017-07-10 | 2019-01-17 | 엘지전자 주식회사 | 영상 코딩 시스템에서 주파수 도메인 잡음 감소 방법 및 장치 |
| KR20210128251A (ko) | 2020-04-16 | 2021-10-26 | (주)진영기계 | 유압실린더를 동력원으로 한 토글 프레스 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2298884B1 (en) | 2008-05-28 | 2014-06-18 | Kao Corporation | Method for detection of thermotolerant bacterium |
| WO2011042464A1 (en) * | 2009-10-08 | 2011-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping |
| US9883207B2 (en) * | 2009-12-31 | 2018-01-30 | Thomson Licensing Dtv | Methods and apparatus for adaptive coupled pre-processing and post-processing filters for video encoding and decoding |
| US10515643B2 (en) * | 2011-04-05 | 2019-12-24 | Nippon Telegraph And Telephone Corporation | Encoding method, decoding method, encoder, decoder, program, and recording medium |
| PL397008A1 (pl) * | 2011-11-17 | 2013-05-27 | Politechnika Poznanska | Sposób kodowania obrazu |
| CA2942903A1 (en) * | 2014-03-16 | 2015-09-24 | Vid Scale, Inc. | Method and apparatus for the signaling of lossless video coding |
| EP3616196A4 (en) * | 2017-04-28 | 2021-01-20 | DTS, Inc. | AUDIO ENCODER WINDOW AND TRANSFORMATION IMPLEMENTATIONS |
| EP3691130A4 (en) * | 2017-09-29 | 2021-06-30 | Nagoya Institute Of Technology | REQUANTIZATION DEVICE WITH NOISE SHAPING FUNCTION, SIGNAL COMPRESSION DEVICE WITH NOISE SHAPING FUNCTION AND SIGNAL TRANSFER DEVICE WITH NOISE SHAPING FUNCTION |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2201654C2 (ru) * | 1997-12-23 | 2003-03-27 | Томсон Лайсенсинг С.А. | Способ низкошумового кодирования и декодирования |
| DE10217297A1 (de) * | 2002-04-18 | 2003-11-06 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Codieren eines zeitdiskreten Audiosignals und Vorrichtung und Verfahren zum Decodieren von codierten Audiodaten |
| US7275036B2 (en) * | 2002-04-18 | 2007-09-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for coding a time-discrete audio signal to obtain coded audio data and for decoding coded audio data |
| DE10331803A1 (de) * | 2003-07-14 | 2005-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Umsetzen in eine transformierte Darstellung oder zum inversen Umsetzen der transformierten Darstellung |
| US7451082B2 (en) * | 2003-08-27 | 2008-11-11 | Texas Instruments Incorporated | Noise-resistant utterance detector |
| DE10345996A1 (de) * | 2003-10-02 | 2005-04-28 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten |
| DE10345995B4 (de) * | 2003-10-02 | 2005-07-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines Signals mit einer Sequenz von diskreten Werten |
| US8446947B2 (en) * | 2003-10-10 | 2013-05-21 | Agency For Science, Technology And Research | Method for encoding a digital signal into a scalable bitstream; method for decoding a scalable bitstream |
-
2007
- 2007-11-23 EP EP07121440A patent/EP2063417A1/en not_active Withdrawn
-
2008
- 2008-11-10 JP JP2010534441A patent/JP4961042B2/ja not_active Expired - Fee Related
- 2008-11-10 CA CA2705228A patent/CA2705228A1/en not_active Abandoned
- 2008-11-10 EP EP08852258A patent/EP2215631B1/en not_active Not-in-force
- 2008-11-10 CN CN2008801172506A patent/CN101868822B/zh not_active Expired - Fee Related
- 2008-11-10 BR BRPI0820467-5A patent/BRPI0820467A2/pt not_active IP Right Cessation
- 2008-11-10 RU RU2010125613/07A patent/RU2530926C2/ru not_active IP Right Cessation
- 2008-11-10 US US12/734,625 patent/US8503535B2/en not_active Expired - Fee Related
- 2008-11-10 KR KR1020107013872A patent/KR20100113065A/ko active IP Right Grant
- 2008-11-10 WO PCT/EP2008/065189 patent/WO2009065748A1/en active Application Filing
- 2008-11-10 MX MX2010005418A patent/MX2010005418A/es active IP Right Grant
- 2008-11-10 PT PT08852258T patent/PT2215631E/pt unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019013363A1 (ko) * | 2017-07-10 | 2019-01-17 | 엘지전자 주식회사 | 영상 코딩 시스템에서 주파수 도메인 잡음 감소 방법 및 장치 |
| KR20210128251A (ko) | 2020-04-16 | 2021-10-26 | (주)진영기계 | 유압실린더를 동력원으로 한 토글 프레스 |
Also Published As
| Publication number | Publication date |
|---|---|
| MX2010005418A (es) | 2010-10-26 |
| CN101868822B (zh) | 2012-05-30 |
| EP2063417A1 (en) | 2009-05-27 |
| RU2530926C2 (ru) | 2014-10-20 |
| EP2215631A1 (en) | 2010-08-11 |
| US20100309983A1 (en) | 2010-12-09 |
| BRPI0820467A2 (pt) | 2015-06-16 |
| CA2705228A1 (en) | 2009-05-28 |
| RU2010125613A (ru) | 2011-12-27 |
| EP2215631B1 (en) | 2012-05-16 |
| CN101868822A (zh) | 2010-10-20 |
| US8503535B2 (en) | 2013-08-06 |
| JP4961042B2 (ja) | 2012-06-27 |
| JP2011505728A (ja) | 2011-02-24 |
| WO2009065748A1 (en) | 2009-05-28 |
| PT2215631E (pt) | 2012-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20100113065A (ko) | 정수 변환에 기초한 부호화 및 복호화에 대한 반올림 노이즈 셰이핑 | |
| TWI407432B (zh) | 用於可縮放的語言及音頻編碼之方法、器件、處理器及機器可讀媒體 | |
| JP5722040B2 (ja) | スケーラブルなスピーチおよびオーディオコーデックにおける、量子化ｍｄｃｔスペクトルに対するコードブックインデックスのエンコーディング／デコーディングのための技術 | |
| JP3391686B2 (ja) | 符号化されたオーディオ信号を復号する方法及び装置 | |
| EP2313887B1 (en) | Variable bit rate lpc filter quantizing and inverse quantizing device and method | |
| JP5123303B2 (ja) | 不可逆的符号化データ・ストリームと可逆的伸張データ・ストリームを用いて原信号を可逆的に符号化する方法及び装置 | |
| KR20070083957A (ko) | 벡터 변환 장치 및 벡터 변환 방법 | |
| JP2017083876A (ja) | Ｃｅｌｐ符号器および復号器で使用するための柔軟で拡張性のある複合革新コードブック | |
| JPH0341500A (ja) | 低遅延低ビツトレート音声コーダ | |
| WO2009015944A1 (en) | A low-delay audio coder | |
| KR20100114450A (ko) | 가변 비트율을 갖는 잔차 신호 부호화를 이용한 고품질 다객체 오디오 부호화 및 복호화 장치 | |
| Lee et al. | KLT-based adaptive entropy-constrained quantization with universal arithmetic coding | |
| Ghaderi et al. | Wideband speech coding using ADPCM and a new enhanced bandwidth extension method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |