KR101711312B1 - 오디오 신호를 재생하기 위한 장치 및 방법, 코딩된 오디오 신호를 생성하기 위한 장치 및 방법, 컴퓨터 프로그램 및 코딩된 오디오 신호 - Google Patents
오디오 신호를 재생하기 위한 장치 및 방법, 코딩된 오디오 신호를 생성하기 위한 장치 및 방법, 컴퓨터 프로그램 및 코딩된 오디오 신호 Download PDFInfo
- Publication number
- KR101711312B1 KR101711312B1 KR1020157007971A KR20157007971A KR101711312B1 KR 101711312 B1 KR101711312 B1 KR 101711312B1 KR 1020157007971 A KR1020157007971 A KR 1020157007971A KR 20157007971 A KR20157007971 A KR 20157007971A KR 101711312 B1 KR101711312 B1 KR 101711312B1
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- signal
- patch
- frequency band
- data
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 287
- 238000000034 method Methods 0.000 title claims description 61
- 238000004590 computer program Methods 0.000 title claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 10
- 230000010076 replication Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000002596 correlated effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000005311 autocorrelation function Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910001369 Brass Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000010951 brass Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
제 1 주파수 대역에서 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터 및 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터를 기초로 오디오 신호를 재생하기 위한 장치는, 제 1 데이터를 기초로 오디오 신호의 제 1 부분을 재생하도록 구성된 제 1 재생기를 포함한다. 제 2 주파수 대역에서 패치 신호를 제공하도록 제공기가 구성되며, 여기서 패치 신호는 오디오 신호의 제 1 부분에 대해 적어도 부분적으로 비상관되거나, 적어도 부분적으로는, 제 2 주파수 대역으로 시프트된, 오디오 신호의 제 1 부분의 역상관된 버전이다. 제 2 재생기는 제 2 데이터 및 패치 신호를 기초로 제 2 주파수 대역에서 오디오 신호의 제 2 부분을 재생하도록 구성된다. 결합기는 오디오 신호의 제 2 부분이 제 2 재생기에 의해 재생되기 전에 오디오 신호의 재생되는 제 1 부분과 패치 신호를 결합하도록 또는 오디오 신호의 재생되는 제 1 부분과 오디오 신호의 재생되는 제 2 부분을 결합하도록 구성된다.
Description
본 발명은 오디오 신호를 재생하기 위한 장치, 방법 및 컴퓨터 프로그램에 관한 것으로, 특히 이용 가능한 데이터 레이트가 감소되는 상황들에서 오디오 신호를 재생하기 위한 장치, 방법 및 컴퓨터 프로그램에 관한 것이다. 또한, 본 발명은 코딩된 오디오 신호를 생성하기 위한 장치, 방법 및 컴퓨터 프로그램 그리고 대응하는 코딩된 오디오 신호에 관한 것이다.
이러한 데이터 레이트 감소된 신호들의 효율적인 저장 및 송신을 위한 오디오 신호들의 인지적으로 적응되는 인코딩이 많은 분야들에서 용인되어 왔다. 인코딩 알고리즘들은 특히 MPEG-1/2, 계층 3 "MP3", MPEG-2/4 고급 오디오 코딩(AAC: Advanced Audio Coding) 또는 MPEG-H 통합 음성 및 오디오 코딩(USAC: Unified Speech and Audio Coding)으로서 알려져 있다. 최저 비트 레이트들을 달성할 때 특히, 기초가 되는 코딩 기술들은 오디오 품질의 저하로 이어진다. 장애는 흔히, 전송될 오디오 신호 대역폭의 인코더 측 제한에 의해 주로 발생된다.
이러한 상황에서, 인코더 측에서 오디오 신호가 대역 제한을 받게 하고, 고품질 오디오 인코더에 의해 오디오 신호의 하위 대역만을 인코딩하는 것이 공지된 최신 기술이다. 그러나 상위 대역은 예를 들어, 상위 대역의 스펙트럼 포락선을 전달하는 한 세트의 파라미터들에 의해 단지 매우 조악하게만 특성화된다. 디코더 측에서, 이후에 상위 대역은 디코딩된 하위 대역 신호를 다른 빈 상위 대역에 패치하고 그 다음의 파라미터 제어 조정들을 수행함으로써 합성된다.
대역 제한된 오디오 신호들의 대역폭 확장을 위한 표준 방법들은 대역 제한으로 인한 정보 누락의 근사치를 계산하기 위해 고주파 범위(HF)로의 저주파 신호 부분들(LF)의 복제 기능을 사용한다. 이론상으로, 이러한 복제 기능은 단일 측대역(SSB: single sideband) 변조에 의해 시간 도메인에서 계산되는 스펙트럼 시프트와 기술적으로 동등하지만, 계산상으로는 훨씬 덜 복잡하다. 스펙트럼 대역 복제(SBR: Spectral Band Replication)와 같은 이러한 방법들은 2002년 5월, 뮌헨, 112회 AES 컨벤션에서 M. Dietz, L. Liljeryd, K. Kjoerling 및 0. Kunz의 "Spectral Band Replication, a novel approach in audio coding"; 2002년 5월, 뮌헨, 112회 AES 컨벤션에서 S. Meltzer, R. Boehm 및 F. Henn의 "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)"; 2002년 5월, 뮌헨, 112회 AES 컨벤션에서 T. Ziegler, A. Ehret, P. Ekstrand 및 M. Lutzky의 "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm"; 국제 표준 ISO/IEC 14496-3:2001/FPDAM l, "Bandwidth Extension" ISO/IEC, 2002년, 또는 Vasu Iyengar 등의 미국 특허 제5,455,888호의 "Speech bandwidth extension method and apparatus"에서 기술된다.
이러한 방법들에서는, 고조파 전치가 수행되는 것이 아니라, 하위 대역의 연속적인 대역 통과 신호들이 상위 대역의 연속적인 필터 뱅크 채널들에 삽입된다. 이것에 의해, 오디오 신호의 상위 대역의 개략적 근사화가 달성된다. 신호의 이러한 개략적 근사화는 이후에 추가 단계에서, 원본 신호로부터 얻어진 제어 정보를 이용한 후처리에 의해 원본으로 근사화된다. 여기서, 예를 들어 스케일 팩터들은 MPEG-4 표준에도 또한 기술된 바와 같이, 정현파 신호 부분들에 의한 보완, 조성(tonality)을 적응시키기 위한 잡음 플로어의 역필터링 및 추가, 그리고 스펙트럼 포락선을 적응시키기 위한 역할을 한다.
상위 대역의 합성시 불필요한 청각적 러프니스(roughness)가 신호에 삽입될 수도 있다는 점이, Nagel, F.; Disch, S. A Harmonic Bandwidth Extension Method for Audio Codecs, IEEE Int. Conf. on Acoustics, Speech and Signal Processing (ICASSP), 2009년; Nagel, F.; Disch, S.; Rettelbach, N. A Phase Vocoder Driven Bandwidth Extension Method with Novel Transient Handling for Audio Codecs, 2009년 126회 AES 컨벤션; Zhong, H.; Villemoes, L.; Ekstrand, P. 등의 QMF Based Harmonic Spectral Band Replication, 2011년 131회 오디오 엔지니어링 학회 컨벤션; Villemoes, L.; Ekstrand, P.; Hedelin, P. Methods for enhanced harmonic transposition, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, (WASPAA), 2011년에 기술된 고조파 대역폭 확장 기술들로부터 알려져 있다. 상기 러프니스의 (많은 원인들 중) 한 가지 원인은 하위 대역과 제 1 패치 사이의 또는 연속한 패치들 사이의 전이 영역들에서의 불협화음 영향들 및/또는 패치의 스펙트럼 오정렬이다. 고조파 대역폭 확장 기술들은 계산 복잡도를 희생하더라도, 이러한 두 가지 양상들에 대해 개선하도록 설계된다.
필터 뱅크 도메인에서, 특히 고조파 대역폭 확장에서 필터 뱅크 계산들 및 패치는 사실 고도의 계산 노력이 될 수 있다. WO 98/57436에서, 계산 복잡도를 중간 정도로 유지하면서 스펙트럼 오정렬을 줄이기 위해 서로 다른 스펙트럼 패치들 사이에 소위 보호 대역들을 삽입함으로써 그리고 변형된 복제 패치를 수행함으로써 불협화음 영향들을 어떤 제한적인 정도까지 피할 수 있는 고급 패치 기술이 설명된다.
이와는 별개로, 2002년 5월 독일 뮌헨의 112회 AES 컨벤션에서 E. Larsen, R.M. Aarts 및 M. Danessis의 "Efficient high-frequency bandwidth extension of music and speech"에 기술된 소위 "블라인드 대역폭 확장"과 같은 추가 방법들이 존재하는데, 여기서는 원래의 HF 범위에 대한 어떠한 정보도 사용되지 않는다. 추가로, K. Kaeyhkoe의 A Robust Wideband Enhancement for Narrowband Speech Signal; 헬싱키 기술 대학교, 음향 및 오디오 신호 처리 연구소의 2001년 연구 보고에 기술된 소위 "인위적인 대역폭 확장" 방법이 또한 존재한다.
J. Maekinen 등: AMR-WB+: 3세대 모바일 오디오 서비스 브로드캐스트를 위한 새로운 오디오 코딩 표준, IEEE, ICASSP '05에서, 대역폭 확장을 위한 방법이 기술되는데, 여기서는 SBR 기술에 따른 연속적인 대역 통과 신호들의 상향 복제(up-copying)에 의한 대역폭 확장의 복제 동작이 미러링으로, 예를 들어 업샘플링으로 대체된다.
대역폭 확장을 위한 추가 기술들이 다음 문헌들에 기술되어 있다. R.M. Aarts, E. Larsen 및 O. Ouweltjes의 "A unified approach to low- and high frequency bandwidth extension" 2003년 10월, 미국 뉴욕, 115회 AES 컨벤션; E. Larsen 및 R.M. Aarts의 "Audio Bandwidth Extension ― Application to psychoacoustics, Signal Processing and Loudspeaker Design" 2004년 John Wiley & Sons, Ltd.; E. Larsen, R.M. Aarts 및 M. Danessis의 "Efficient high-frequency bandwidth extension of music and speech" 2002년 5월, 뮌헨, 112회 AES 컨벤션; J. Makhoul의 "Spectral Analysis of Speech by Linear Prediction" 1973년 6월, 오디오 및 전기 음향학에 대한 IEEE Transactions, AU-21(3); 미국 특허 출원 08/951,029호; 미국 특허 제6,895,375호.
고조파 대역폭 확장에 관한 공지된 방법들은 고도의 복잡도를 보여준다. 다른 한편으로, 복잡도 감소 대역폭 확장 방법들은 품질 손실들을 보여준다. 특히, 낮은 비트 레이트에서 그리고 LF 범위의 낮은 대역폭과 결합하여, 불쾌하게 인지되는 음색 및 러프니스와 같은 아티팩트들이 발생할 수 있다. 이에 대한 이유는 주로, 근사화된 HF 부분이 스펙트럼의 LF 부분의 하나 또는 그보다 많은 직접 복제 또는 미러 동작들을 기초로 한다는 사실 때문이다.
개선된 방식으로 오디오 신호를 재생하기 위한 장치 및 방법을 제공하는 것이 본 발명의 과제이다. 더욱이, 개선된 방식으로 재생될 수 있는 코딩된 오디오 신호를 생성하기 위한 장치 및 방법을 제공하는 것이 본 발명의 과제이다. 대응하는 컴퓨터 프로그램 및 대응하는 코딩된 오디오 신호를 제공하는 것이 본 발명의 추가 과제이다.
이러한 과제는 제 1 항에 따른 오디오 신호를 재생하기 위한 장치, 제 13 항에 따른 오디오 신호를 재생하기 위한 방법, 제 12 항에 따른 코딩된 오디오 신호를 생성하기 위한 장치, 제 13 항에 따른 코딩된 오디오 신호를 생성하기 위한 방법, 제 14 항에 따른 컴퓨터 프로그램 및 제 15 항에 따른 코딩된 오디오 신호에 의해 달성된다.
본 발명의 실시예들은, 제 1 주파수 대역에서 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터를 기초로 상기 오디오 신호를 재생하기 위한 장치를 제공하며, 상기 장치는,
상기 제 1 데이터를 기초로 상기 오디오 신호의 제 1 부분을 재생하도록 구성된 제 1 재생기;
상기 제 2 주파수 대역에서 패치 신호를 제공하도록 구성된 제공기 ― 상기 패치 신호는 상기 오디오 신호의 제 1 부분에 대해 비상관(uncorrelate)되거나, 상기 제 2 주파수 대역으로 시프트된, 상기 오디오 신호의 제 1 부분의 역상관(decorrelate)된 버전임 ―;
상기 제 2 데이터 및 상기 패치 신호를 기초로 상기 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분을 재생하도록 구성된 제 2 재생기; 및
상기 오디오 신호의 제 2 부분이 상기 제 2 재생기에 의해 재생되기 전에 상기 오디오 신호의 재생되는 제 1 부분과 상기 패치 신호를 결합하기 위한 또는 상기 오디오 신호의 재생되는 제 1 부분과 상기 오디오 신호의 재생되는 제 2 부분을 결합하기 위한 결합기를 포함한다.
본 발명의 실시예들은, 제 1 주파수 대역에서 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터를 기초로 상기 오디오 신호를 재생하기 위한 방법을 제공하며, 상기 방법은,
상기 제 1 데이터를 기초로 상기 제 1 주파수 대역에서 상기 오디오 신호를 재생하는 단계;
상기 제 2 주파수 대역에서 패치 신호를 제공하는 단계 ― 상기 패치 신호는 상기 오디오 신호의 제 1 부분에 대해 비상관되거나, 상기 제 2 주파수 대역으로 시프트된, 상기 오디오 신호의 제 1 부분의 역상관된 버전임 ―;
상기 제 2 데이터 및 상기 패치 신호를 기초로 상기 제 2 주파수 대역에서 상기 오디오 신호를 재생하는 단계; 및
상기 오디오 신호의 제 2 부분이 재생되기 전에 상기 오디오 신호의 재생되는 제 1 부분과 상기 패치 신호를 결합하거나 상기 오디오 신호의 재생되는 제 1 부분과 상기 오디오 신호의 재생되는 제 2 부분을 결합하는 단계를 포함한다.
본 발명의 실시예들은 역상관된 부대역 오디오 신호들을 사용하여 대역폭 확장을 제공하는 오디오 신호의 재생에 관련된다. 이미 존재하는 방법들에 반해, 상관된(복제되거나 미러링된) 부대역 오디오 신호들보다는 역상관된 부대역 오디오 신호들을 대역폭 확장에 사용함으로써, 대역폭 확장들에 대해 현재 일반적인 신호 왜곡들 및 아티팩트들의 대부분이 회피될 수 있다. 이는, 오디오 신호의 제 1 부분(LF 부분)에 대해 비상관되거나 역상관된, 오디오 신호의 고주파 부분의 재생에 대한 기초를 형성하는 오디오 신호를 제공함으로써 달성된다. 본 발명의 실시예들은 오디오 신호의 제 2 신호 부분을 재생할 때 저주파 부분과 고주파 부분 사이의 상관이 유지될 필요가 없다는 인식을 기초로 한다. 그보다, 발명자들은 역상관되거나 완전히 비상관된 패치 신호를 사용함으로써, 불쾌하게 인지되는 음색 및 러프니스와 같은 아티팩트들이 회피될 수 있다고 인식하였다.
본 발명의 실시예들은 코딩된 오디오 신호― 상기 코딩된 오디오 신호는 제 1 주파수 대역에서 상기 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터를 포함함 ―를 생성하기 위한 장치를 제공하며, 상기 장치는,
상기 코딩된 오디오 신호로부터 상기 오디오 신호를 재생할 때 상기 오디오 신호의 제 2 부분이 재생되는지를 기초로 상기 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보를 상기 코딩된 오디오 신호에 더하도록 구성된 역상관 정보 가산기를 포함한다.
본 발명의 실시예들은 코딩된 오디오 신호― 상기 코딩된 오디오 신호는 제 1 주파수 대역에서 상기 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터를 포함함 ―를 생성하기 위한 방법을 제공하며, 상기 방법은,
상기 코딩된 오디오 신호로부터 상기 오디오 신호를 재생할 때 상기 오디오 신호의 제 2 부분이 재생되는지를 기초로 상기 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보를 상기 코딩된 오디오 신호에 더하는 단계를 포함한다.
본 발명의 실시예들은 코딩된 오디오 신호를 제공하며, 이는,
제 1 주파수 대역에서 상기 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터;
상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터; 및
상기 코딩된 오디오 신호로부터 상기 오디오 신호를 재생할 때 상기 오디오 신호의 제 2 부분이 재생되는지를 기초로 상기 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보를 포함한다.
이와 같이, 본 발명의 실시예들은 코딩된 오디오 신호를 적절한 역상관 정도를 사용하여 적절한 방식으로 디코딩할 수 있게 하는 방식으로, 코딩된 오디오 신호를 생성할 수 있게 한다. 적절한 역상관 정도는 오디오 신호의 제 1 부분 및/또는 제 2 부분의 특성들을 기초로 인코더 측에서 결정될 수 있다.
다음에, 첨부 도면들을 참조로 본 발명의 실시예들이 더 상세히 설명된다.
도 1a는 오디오 신호를 재생하기 위한 장치의 한 실시예의 블록도를 보여준다.
도 1b는 오디오 신호를 재생하기 위한 장치의 다른 실시예의 블록도를 보여준다.
도 2는 오디오 신호를 재생하기 위한 장치의 추가 실시예의 블록도를 보여준다.
도 3은 코딩된 오디오 신호를 생성하기 위한 장치의 한 실시예의 블록도를 보여준다.
도 4a는 본 발명의 실시예들과 관련하여 인코더 측의 개략적인 예시를 보여준다.
도 4b는 본 발명의 실시예들과 관련하여 디코더 측의 개략적인 예시를 보여준다.
도 5a와 도 5b는 본 발명의 실시예들의 이점들을 나타내는 도면들을 보여준다.
도 6은 본 발명이 시작되는, 오디오 신호를 재생하기 위한 장치의 블록도를 보여준다.
도 7a 내지 도 7d는 도 6에 도시된 장치의 동작의 설명에 유용한 신호도들을 보여준다.
도 1b는 오디오 신호를 재생하기 위한 장치의 다른 실시예의 블록도를 보여준다.
도 2는 오디오 신호를 재생하기 위한 장치의 추가 실시예의 블록도를 보여준다.
도 3은 코딩된 오디오 신호를 생성하기 위한 장치의 한 실시예의 블록도를 보여준다.
도 4a는 본 발명의 실시예들과 관련하여 인코더 측의 개략적인 예시를 보여준다.
도 4b는 본 발명의 실시예들과 관련하여 디코더 측의 개략적인 예시를 보여준다.
도 5a와 도 5b는 본 발명의 실시예들의 이점들을 나타내는 도면들을 보여준다.
도 6은 본 발명이 시작되는, 오디오 신호를 재생하기 위한 장치의 블록도를 보여준다.
도 7a 내지 도 7d는 도 6에 도시된 장치의 동작의 설명에 유용한 신호도들을 보여준다.
본 발명의 실시예들을 상세히 설명하기 전에, 본 발명의 기초가 되는 이론적 사상들을 짧게 논의할 가치가 있다고 여겨진다.
앞서 설명한 바와 같이, 예를 들어 SBR(SBR = 스펙트럼 대역 복제)과 같은 복제 동작들(또는 미러 동작들)을 기반으로 한 대역폭 확장들은 LF 스펙트럼의 상당 부분들을 HF 범위로 직접 복제한다.
도 6과 도 7을 참조로 SBR 장치의 일례가 설명된다. 오디오 신호(2)의 포락선이 도 7a에 도시된다. 오디오 신호(2)는 저주파 부분(또는 저주파 대역)(4) 및 고주파 부분(또는 고주파 대역)(6)을 포함한다. 일반적으로, 오디오 신호들의 인지적 코딩에서는, 저주파 부분(4)은 PCM 인코더(PCM = 펄스 코드 변조(pulse code modulation))와 같은 고품질 오디오 인코더에 의해 코딩되는 한편, 상위 대역은 사이드 정보에 의해 단지 매우 조악하게만 특성화된다. 코딩된 저주파 부분을 나타내는 데이터 및 사이드 정보를 나타내는 데이터는 대응하는 코어 코덱을 사용하여 전송된다. 도 6은 코어 코덱으로부터의 기저대역 신호(8)를 보여주며, 이는 도 7b에 도시된 저주파 부분(4)을 나타낸다. 이 신호(8)는 단일 측대역 변조/복제 유닛에 인가되며, 여기서 신호(8)는 고주파 부분(6)의 주파수 범위로 시프트된다. 이러한 시프트된 신호는 도 7c에서 신호(10)로서 도시된다. 시프트된 신호(10) 및 신호(8)는 패치 유닛(12)에 인가되며, 여기서 두 신호들 모두가 결합되어(더해져) 도 7c에 도시된 스펙트럼을 얻는다. 신호 부분(8)은 p개의 서로 다른 더 상위 주파수 범위들로 시프트될 수 있으며, 여기서 p ≥ 1이다. 이와 같이 패치 유닛(12)에서 하나 또는 그보다 많은(p개의) 시프트된 신호들과 신호(8)의 결합이 일어날 수 있다.
패치 유닛(12)의 출력 신호는 후처리 유닛(14)에 인가되며, 후처리 유닛(14)은 또한 고주파 부분(6)의 오디오 신호를 나타내는 사이드 정보(16)를 수신한다. 따라서 오디오 신호(6)의 고주파 부분(10')은 사이드 정보(16) 및 저주파 부분(4)의 오디오 신호를 기초로 재생된다. 결과적인 오디오 신호가 도 7d에 도시된다. 후처리 유닛(14)은 저주파 부분(4)과 고주파 부분(6)의 주파수 범위들을 커버하는 전대역 출력을 출력한다.
이에 따라, 예를 들어 SBR과 같은 복제 동작들(또는 미러 동작들)을 기반으로 하는 대역폭 확장들은 저주파 스펙트럼의 상당 부분들을 고주파 범위로 직접 복제한다. 이는 오디오 신호의 시간 도메인 표현의 단일 측대역 변조를 이용함으로써 또는 오디오 신호의 스펙트럼 표현으로의 직접 복제 프로세스(복제)에 의해 달성될 수 있다. 이러한 처리 단계는 대개 "패치"라 한다.
일반적으로, 서로 다른 고주파 대역들로 복제되는 복수의 패치들이 존재할 수 있다. 각각의 주파수 대역들은 겹치거나 겹치지 않을 수 있다. 따라서 대응하는 HF 패치들 각각은 이러한 패치가 추출된 저주파 범위에 대해 완전히 상관된다. 발명자들은 이로써, LF 대역과 각각의 HF 패치의 스펙트럼 위치 간의 스펙트럼 거리에 의존하는 주파수에 두 신호들 모두를 겹쳐 놓음으로써 시간 포락선 변조들이 발생할 수 있다고 인식하였다.
시스템 이론적 관점에서, 이러한 현상은 샘플 주파수로서 Fs를 갖는 n개의 샘플들의 지연을 포함하는 유한 임펄스 응답(FIR: finite impulse response) 빗형 필터의 동작에 대해 이중으로 여겨질 것이다. 이 필터는 빗 너비(크기 주파수 응답의 2개의 최대치들 사이의 스펙트럼 거리)가 1/n*Fs인 크기 주파수 응답을 갖는다. 이로써, 시스템 이론적 이중성은 다음의 직접적 대응들을 갖는다:
시간 지연 <-> 주파수 변환
크기 주파수 응답 <-> 시간 포락선.
발명자들은 이로부터 발생한 시간 변조들이 방해가 되는 식으로 들리고 파형 크기의 자기 상관 함수에서 주기적으로 반복되는 사이드 최대치들의 형태로 가시화될 수 있다고 인식하였다. 복제 SBR에 대한 잡음 신호 포락선의 자기 상관 시퀀스에서 이러한 주기적으로 반복되는 사이드 최대치들이 도 5a에 도시된다. 도 5a는 백색 잡음의 크기 포락선의 자기 상관 함수를 보여주며, 여기서는 대역폭이 서로 간에 그리고 LF 대역과 완전히 상관되는 3개의 직접 복제 패치들로 확장된다.
LF 및 HF 신호가 동일한 진폭을 보여주는 경우에만, 최대 변조 깊이가 달성된다. 따라서 실제로는, 일반적으로 HF 범위가 LF 범위보다 현저하게 더 조용하기(덜 시끄럽기) 때문에, 변조 효과는 종종 약간 더 낮다. 발음되는 배음 구조를 갖는 준정적(quasi-stationary) 신호들 또는 잡음 같은 신호들이 변조 아티팩트들에 대해 특히 중대한 것으로 여겨질 것이다.
서로 간에 완전히 상관되는 여러 패치들(도 6에서는 p)이 존재하는 경우, 앞서 언급한 이중성도 물론 유효하다. 대응하는 FIR 필터의 크기 주파수 응답에 대해 이중인 크기 포락선의 시간 변조가 나타난다.
따라서 본 발명의 실시예들에 따르면, 패치 또는 패치들은 서로로부터 그리고 LF 대역으로부터 역상관된다. 본 발명의 실시예들에서는, 각각 저주파 신호 컴포넌트들로부터 도출되는 신호를, 그 신호가 더 상위 주파수 범위(들)에 삽입되기 전에, 그리고 경우에 따라서는 전처리되기 전에 역상관하는 하나 또는 그보다 많은 역상관기들이 사용된다.
본 발명의 실시예들은 상호 역상관된 패치들을 사용함으로써 복제 동작 또는 미러 동작으로 인해 발생하는 설명한 문제들을 피한다. 본 발명의 실시예들에서, 각각의 HF 패치들은 LF 대역으로부터 역상관기들을 사용하여, 예를 들어 전대역 필터들 또는 다른 공지된 역상관 방법들에 의해, 또는 본래 역상관된 방식으로 즉시 패치들을 합성하여 생성하도록 개별적인 방식으로 역상관된다.
본 발명의 실시예들에서, 역상관 정도는 디코더 측에서 고정적으로 결정되거나 조정될 수 있고, 또는 역상관 정도가 파라미터로서 인코더에서 디코더로 전송될 수 있다. 더욱이, 전체 패치가 역상관될 수도 있고, 또는 패치의 특정 부분들만 역상관될 수도 있다. 역상관될 패치의 부분들은 코딩된 오디오 신호에 부가되는 대응하는 정보의 일부로서, 또한 파라미터로서 인코더에서 디코더로 전송될 수도 있다.
본 발명의 접근 방식은 대역폭 확장에 대한 종래의 접근 방식들과 비교할 때 유리한데, 이는 교란 또는 기생 포락선 변조들에 의한 왜곡들 및 음색(sound coloration)들이 LF 대역의 단일 측대역 변조/복제를 기반으로 하는 현재 방법들에 존재할 때, 이들이 본질적으로 본 발명의 접근 방식으로 회피되기 때문이다. 이는 LF 신호 부분의 역상관된 버전들인 또는 LF 신호 부분에 대해 완전히 비상관되는 HF 패치들을 사용함으로써 달성된다.
이제 본 발명의 실시예들이 구현될 수 있는 시나리오가 도 4a 및 도 4b를 참조로 설명된다.
인코더 측은 도 4a에 도시되고, 디코더 측은 도 4b에 도시된다. 입력(700)에서 저역 통과/고역 통과 결합에 오디오 신호가 공급된다. 한편으로, 저역 통과/고역 통과 결합은 도 7a의 703에 예시된 오디오 신호의 저역 통과 필터링된 버전을 생성하기 위한 저역 통과(LP: lowpass)를 포함한다. 이러한 저역 통과 필터링된 오디오 신호는 오디오 인코더(704)로 인코딩된다. 오디오 인코더는 예를 들어, MPEG-2/4 표준에 기술된 MP3 인코더(MPEG-1/2 계층 3) 또는 AAC 인코더이다. 대역 제한된 오디오 신호(703)의 투명한 또는 유리하게 인지적으로 투명한 표현을 제공하는 대안적인 오디오 인코더들이 각각 완전히 인코딩되거나 인지적으로 인코딩되고 인지적으로 투명하게 인코딩된 오디오 신호(705)를 생성하도록 인코더(704)에 사용될 수 있다. 오디오 신호의 상위 대역이 "HP"로 명시된 필터(702)의 고역 통과 부분에 의해 출력(706)에서 출력된다. HF 부분으로 또한 명시된 오디오 신호의 고역 통과 부분, 즉 상위 대역 또는 HF 대역이 (오디오 신호의 고주파 부분을 나타내는 사이드 정보를 나타내는) 서로 다른 파라미터들을 계산하도록 구현된 파라미터 계산기(707)에 공급된다. 이러한 파라미터들은 예를 들어, 상대적으로 개략적인 레졸루션의, 예를 들어 각각의 주파수 그룹에 대해 인지적으로 적응되는 스케일(임계 대역들)로, 예를 들어 각각의 바크(Bark) 대역에 대해 바크 스케일로의 스케일 팩터의 표현에 의한 상위 대역(706)의 스펙트럼 포락선이다. 파라미터 계산기(707)에 의해 계산될 수 있는 추가 파라미터는 상위 대역에서의 잡음 플로어이며, 그 대역별 에너지는 이 대역에서의 포락선의 에너지에 관련될 수 있다. 파라미터 계산기(707)에 의해 계산될 수 있는 추가 파라미터들은 스펙트럼 에너지가 대역에 어떻게 분배되는지, 즉 대역 내의 스펙트럼 에너지가 상대적으로 균등하게 분배되는지 여부― 균등하게 분배되면 이 대역에 비-음색 신호가 존재함 ―, 또는 이 대역의 에너지가 대역 내 특정 위치에 상대적으로 강하게 집중되는지 여부― 강하게 집중되면 오히려 음색 신호가 이 대역에 대해 존재함 ―를 나타내는, 상위 대역의 각각의 부분 대역에 대한 조성 측정치를 포함한다. 상위 대역에서 상대적으로 강하게 돌출하는 피크들을 이들의 높이 및 이들의 주파수에 대해 명시적으로 인코딩하는데에 추가 파라미터들이 있는데, 이는 상위 대역에서 두드러진 정현파 부분들의 이러한 명시적 인코딩이 없는 재구성에서의 대역폭 확장 개념은 이를 매우 기본적으로만 복원하거나, 또는 전혀 복원하지 않을 것이기 때문이다.
어떤 경우든, 파라미터 계산기(707)는 비슷한 엔트로피 감소 단계들이 가해질 수 있는 상위 대역에 대한 파라미터들(708)만 생성하도록 구현되는데, 이러한 단계들은 또한 예를 들어, 차등 인코딩, 예측 또는 허프만 인코딩 등과 같은 양자화된 스펙트럼 값들에 대한 오디오 인코더(704)에서 수행될 수도 있기 때문이다. 다음에, 일반적으로, 예를 들어 MPEG4 표준으로 정규화되는 특정 포맷에 따른 비트스트림이 될 출력 측 데이터스트림(710)을 제공하도록 구현되는 데이터스트림 포맷화기(709)에 파라미터 표현(708) 및 오디오 신호(705)가 공급된다.
본 발명에 적합할 수 있는 디코더 측이 도 7b에 도시된다. 파라미터 부분(708)과 오디오 신호 부분(705)을 분리하도록 구현된 데이터스트림 해석기(711)에 데이터스트림(710)이 입력된다. 파라미터 부분(708)은 파라미터 디코더(712)에 의해 디코딩되어 디코딩된 파라미터들(713)을 얻는다. 이와 병렬로, 오디오 신호 부분(705)이 오디오 디코더(714)에 의해 디코딩되어, 예를 들어 도 6의 8에 예시되었던 오디오 신호(777)를 얻는다.
구현에 따라, 오디오 신호(777)는 제 1 출력(715)을 통해 출력될 수 있다. 출력(715)에서, 다음에 작은 대역폭 그리고 그에 따라 낮은 품질 또한 갖는 오디오 신호가 얻어질 수 있다. 그러나 품질 개선을 위해, 다음에 도 1a, 도 1b 및 도 2를 참조로 설명되는 바와 같은 본 발명의 접근 방식을 이용해 대역폭 확장(720)이 수행되어, 각각 확장된 또는 높은 대역폭, 그리고 고품질로 출력 측에서 오디오 신호(112)를 얻을 수 있다.
오디오 신호를 재생하고 이로써 그 대역폭을 확장하기 위한 본 발명의 장치의 일 실시예가 도 1a에 도시된다. 이 장치는 제 1 재생기(100), 제공기(102), 결합기(104) 및 제 2 재생기(106)를 포함한다. 선택적으로, 전이 검출기(108)가 제공될 수도 있다. 제 1 재생기(100)가 제 1 주파수 대역에서 오디오 데이터의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터(120)를 그 입력에서 수신한다. 예를 들어, 제 1 데이터(120)는 도 4b에 도시된 오디오 신호 부분(705)에 대응할 수 있다. 제 1 재생기(100)는 제 1 데이터(120)를 기초로 제 1 주파수 대역에서 오디오 신호를 재생한다. 예를 들어, 제 1 재생기(100)는 도 4b에 도시된 오디오 디코더(714)에 의해 형성될 수 있다. 제 1 재생기(110)는 도 4b에 도시된 오디오 신호(777)에 대응할 수 있는 제 1 주파수 대역에서 오디오 신호를 출력한다. 오디오 신호(777)는 제공기(102)에 인가되며, 제공기(102)는 제 2 주파수 대역에서 패치 신호(122)를 제공한다. 패치 신호(122)는 오디오 신호(777)의 제 1 부분에 대해 적어도 부분적으로 비상관되거나, 적어도 부분적으로는, 제 2 주파수 대역으로 시프트된, 오디오 신호의 제 1 부분의 역상관된 버전이다. 결합기(104)에서 오디오 신호(777)와 패치 신호(122)가 결합되는데, 예컨대 더해진다. 결합된 신호(124)가 출력되어 제 2 재생기(106)에 인가된다. 제 2 재생기(106)가 결합된 신호(124) 및 제 2 주파수 대역에서 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터(126)를 수신한다. 예를 들어, 제 2 데이터(126)는 도 4b에 대해 앞서 설명한 디코딩된 파라미터들(713)에 대응할 수 있다. 제 2 재생기(106)는 (결합된 신호(124) 내의) 패치 신호를 기초로 그리고 제 2 데이터(126)를 기초로 제 2 주파수 대역에서 오디오 신호를 재생한다.
본 발명의 실시예들에서, 제 1 주파수 대역은 도 7a에 도시된 오디오 신호의 제 1 부분과 연관된 주파수 범위에 대응할 수 있고, 제 2 주파수 대역은 도 7a에 도시된 오디오 신호의 제 2 부분과 연관된 주파수 범위에 대응할 수 있다.
도 1a에 도시된 실시예에 따르면, 제 2 재생기(106)는 높은 대역폭으로, 재생되는 오디오 신호(128)를 출력한다.
도 1b에 도시된 대안적인 실시예에서, 제공기(102)의 출력은 제 2 재생기(106)에 연결되고, 제 2 재생기(106)의 출력은 결합기(104)에 연결된다. 따라서 도 1b에 도시된 실시예에 따르면, 제공기(102)에 의해 제공되는 패치 신호를 오디오 신호의 제 1 부분(777)과 결합하기 전에 제 2 주파수 대역의 오디오 신호(130)가 패치 신호로부터 재생된다. 또한, 제 2 재생기는 제 2 데이터(126) 및 패치 신호(122)를 기초로 제 2 주파수 대역의 오디오 신호(130)를 재생한다. 도 1b에 도시된 실시예에 따르면, 결합기(104)는 재생되는 오디오 신호(128)를 출력한다.
본 발명의 실시예들에서, 제공기는 시프트 유닛 및 역상관기를 포함하며, 이들은 제 2 주파수 대역으로 시프트된 오디오 신호의 제 1 부분의 역상관된 버전으로서 패치 신호를 생성하도록 구성된다. 본 발명의 실시예들에서, 제공기는 오디오 신호의 제 1 부분에 대해 비상관된 합성 패치 신호를 제공하도록 구성된다. 본 발명의 실시예들에서, 제공기는 복수의 더 상위 주파수 대역들에 대한 복수의 패치 신호들을 제공하도록 구성된다. 이러한 실시예들에서, 제 2 재생기 및 제 2 결합기는 복수의 제 2 신호 부분들을 재생하도록 그리고 복수의 신호 부분들을 재생되는 오디오 신호로 결합하도록 적응된다.
역상관된 부대역 오디오 신호들을 사용하는 대역폭 확장을 이용하여 오디오 신호를 재생하기 위한 장치의 실시예가 도 2에 도시된다. 이 장치는 코어 코덱으로부터 기저대역 신호를 수신하는데, 이는 도 4b에 도시된 신호(777)일 수 있다. 신호(777)는 시프트 유닛(200)에 인가된다. 시프트 유닛(200)은 신호(777)를 저주파 범위에서 고주파 범위로, 예컨대 도 7a의 저주파 부분(4)과 연관된 주파수 범위에서 도 7a의 고주파 부분(6)과 연관된 주파수 범위로 시프트하도록 구성된다.
시프트 유닛(200)은 주파수 도메인에서 신호 부분(777)을 고주파 범위로 단순히 복제하도록 구성될 수 있다. 대안으로, 시프트 유닛(200)은 오디오 신호의 제 1 부분을 제 1 주파수 대역에서 제 2 주파수 대역으로 시프트하기 위해 시간 도메인에서 단일 측대역 변조를 수행하도록 구성된 단일 측대역 변조 유닛으로서 구현될 수 있다.
시프트된 오디오 신호의 제 1 부분은 역상관 유닛(202a)에 인가된다. 시프트된 역상관된 오디오 신호의 제 1 부분은 역상관 유닛(202a)에 의해 패치 신호(204)로서 출력된다. 패치 신호(204)는 패치 유닛(206)에 인가되며, 여기서 패치 신호(204)는 오디오 신호의 제 1 부분(777)과 결합된다. 예를 들어, 패치 유닛(206)에서 패치 신호와 오디오 신호의 제 1 부분이 연결되거나 더해진다. 결합된 신호는 패치 유닛(206)으로부터 출력되어 후처리 유닛(210)에 인가된다.
후처리 유닛(210)은 제 2 데이터(212)를 수신하며, 제 2 데이터(212) 및 (결합된 신호(208)에 포함된) 패치 신호(204)를 기초로 제 2 주파수 대역에서 오디오 신호의 제 2 부분을 재생하도록 구성된 제 2 재생기를 나타낸다. 또한, 제 2 데이터(212)는 사이드 정보를 나타내며, 도 4b에 대해 앞서 설명한 디코딩된 파라미터들(713)에 대응할 수 있다. 후처리 유닛(210)의 전대역 출력(214)은 재생되는 오디오 신호를 나타낸다.
도 2에 도시된 실시예에서, 시프트 유닛(200) 및 역상관 유닛(202a)은 패치 신호(204)를 제공하도록 구성된 제공기를 나타낸다.
본 발명의 실시예들에서, 시프트 유닛(200)은 오디오 신호의 제 1 부분(777)을 복수의 p개의 서로 다른 주파수 대역들로 시프트하도록 구성될 수 있다. p개의 패치 신호들을 제공하기 위해 각각의 시프트된 버전에 대해 역상관 유닛(202a-202p)이 제공될 수 있다. (p개의 패치들과 같이) 하나보다 많은 패치가 사용되는 경우, p개의 패치들은 서로 간에 그리고 LF 대역과 비상관되어야 한다. 다음에, 각각의 주파수 대역과 연관된 시프트된 버전들이 패치 유닛(206) 내에서 결합된다. 오디오 신호의 복수의 더 상위 주파수 부분들이 후처리 유닛(210)에서 제공되도록 더 상위 주파수 대역들 각각에 대한 사이드 정보를 나타내는 제 2 데이터가 후처리 유닛(210)에 제공될 수 있다.
본 발명의 실시예들에서, 제 1 주파수 대역과 제 2 주파수 대역(그리고 선택적으로 추가 주파수 대역들)은 겹칠 수도 있고 또는 주파수 방향으로 겹치지 않을 수도 있다.
이에 따라, 본 발명의 실시예들에서, 제공기는 제 1 주파수 대역의 오디오 신호의 제 1 부분을 제 2 주파수 대역으로 또는 복수의 서로 다른 제 2 주파수 대역들로 시프트하도록 구성된 시프터 유닛, 및 오디오 신호의 제 1 부분으로부터 오디오 신호의 제 1 부분의 시프트된 버전을 역상관하기 위한 역상관기를 포함한다. 본 발명의 실시예들에서, 역상관기는 예를 들어, 공간적 오디오 코딩 역상관으로부터 알려지는 것과 동일한 특성들을 가질 수 있다. 본 발명의 실시예들에서, 역상관기는 스펙트럼 대역 복제를 이용하는 종래의 대역폭 확장들에 대해 일반적인 신호 왜곡들 및 아티팩트들을 피하기 위해 충분한 역상관을 제공할 수 있다. 역상관기는 오디오 신호의 제 1 부분의 스펙트럼 포락선의 유지를 제공할 수 있고 그리고/또는 오디오 신호의 제 1 부분의 시간 포락선, 즉 과도 특성(transient)들의 유지를 제공할 수 있다. 따라서 적절한 역상관기를 설계하는 것은 일반적으로, 과도 특성 유지와 역상관 간에 이루어질 트레이드오프를 수반할 수도 있다.
본 발명의 실시예들에서, 역상관기는 시간 도메인 또는 부대역 시간 도메인에서 IIR(IIR= 무한 임펄스 응답(infinite impulse response)) 필터로서, 예를 들어, 그룹 지연 편차들을 통해 역상관이 달성되는 전대역 필터로서 구현될 수 있다. 본 발명의 실시예들에서, 역상관기는 복소(오버샘플링된) 변환/필터 뱅크 표현(DFT, QMF 표현)(DFT = 이산 푸리에 변환(discrete Fourier Transform); QMF = 직교 미러 필터(quadrature mirror filter))으로의 스펙트럼 계수들의 위상 랜덤화를 제공하도록 구성될 수 있다. 본 발명의 실시예들에서, 역상관기는 필터 뱅크 표현으로의 주파수 의존 시간 지연의 적용을 제공하도록 구성될 수 있다.
본 발명의 실시예들은 과도 특성들을 유지하기 위해 역상관 정도를 변화시키는 신호 적응형 역상관기를 포함할 수 있다. 준정적 신호들에 대해 높은 역상관이 제공될 수 있고, 과도 특성 신호들에 대해 낮은 역상관이 제공될 수 있다. 이에 따라, 본 발명의 실시예들에서, 패치 신호를 제공하기 위한 제공기는 서로 다른 역상관 정도들 사이에서 스위칭 가능할 수 있다.
실시예들에서, 패치 신호를 제공하기 위한 제공기는 제 1 신호 부분이 오디오 신호의 제 1 부분과 오디오 신호의 제 2 부분 사이의 강한 상관에 대한 표시자를 포함하는지 여부에 따라 서로 다른 역상관 정도들 사이에서 스위칭 가능할 수 있다. 이러한 표시자에 대한 실시예들은 오디오 신호의 제 1 부분에서의 과도 특성, 오디오 신호의 제 1 부분에서의 펄스 열들로 구성된 유성음 및/또는 오디오 신호의 제 1 부분에서의 금관 악기들의 사운드이다. 다음에, 표시자가 오디오 신호의 제 1 부분에서의 과도 특성인 실시예들이 설명된다.
본 발명의 실시예들에서, 장치는 오디오 신호의 제 1 부분이 과도 특성을 포함하는지 여부를 검출하도록 구성된 검출기를 포함할 수 있다. 이러한 검출기(108)는 도 1a와 도 1에 개략적으로 도시된다. 검출기(108)의 출력 신호에 따라, 제공기(102)는 준정적 신호들에 대해, 즉 오디오 신호의 제 1 부분이 과도 특성을 갖지 않는 경우에 높은 역상관을 그리고 오디오 신호의 제 1 부분이 과도 특성 신호들을 갖는다면 낮은 역상관을 갖는 패치 신호를 제공하도록 구성될 수 있다.
본 발명의 대안적인 실시예들에서, 장치는 준정적 신호들에 대해 활성화되고 과도 특성 신호 부분들에 대해 비활성화되는 신호 적응형 역상관기를 포함할 수 있다. 즉, 제공기는 제 1 신호 부분이 과도 특성 신호 부분들을 포함하는 경우에는 시프트된 제 1 신호 부분을 이 부분의 역상관 없이 출력하도록 그리고 제 1 신호 부분이 과도 특성들 또는 과도 특성 신호 부분들을 포함하지 않는 경우에는 역상관된 패치 신호만을 출력하도록 구성될 수 있다. 이러한 실시예들에서, 제 2 재생기는 오디오 신호의 제 1 부분이 과도 특성을 포함하지 않는다면 제 2 데이터 및 패치 신호를 기초로 제 2 주파수 대역에서 오디오 신호를 재생하도록 구성되고, 상기 오디오 신호의 제 1 부분이 과도 특성을 포함한다면 제 2 데이터 및 제 2 주파수 대역으로 시프트되었고 역상관되지 않은, 오디오 신호의 제 1 부분의 버전을 기초로 제 2 주파수 대역에서 오디오 신호를 재생하도록 구성된다.
과도 특성 또는 과도 특성 부분들은 오디오 신호가 전체적으로 상당히 변화한다는, 즉 예를 들면, 오디오 신호의 에너지가 하나의 시간 부분에서 다음 시간 부분까지 50%보다 많이 변화한다는, 즉 증가 또는 감소한다는 사실에 있다고 여겨질 수 있다. 그러나 50% 임계치는 단지 일례일 뿐이며, 이는 더 작은 또는 더 큰 값들일 수도 있다. 대안으로, 과도 특성 검출을 위해, 예를 들어 보컬에서 치찰음으로의 전이에서 에너지 분배의 변화가 또한 고려될 수도 있다.
본 발명의 실시예들에서, 제공기는 오디오 신호의 제 1 부분에 대해 비상관된 합성 패치 신호를 제공하도록 구성될 수 있다. 즉, 파라미터의 후처리가 미세 입자(높은 비트 레이트 코덱 시나리오)라면 또는 신호의 HF 대역이 어떻게든 잡음과 비슷하다면, (합성 잡음과 같은) 비상관된 합성 패치 신호에 의한 패치는 이미 충분할 수도 있다.
본 발명의 실시예들에서, 그럼에도 (SBR과 같은) 대역폭 확장 내에서의 LF 대역과 HF 대역의 상관은 (예를 들어, 낮은 비트 레이트 코덱 시나리오로 인해) 너무 개략적인 시간 그리드의 파라미터 후처리, 과도 특성들의 정확한 재생, 그리고 풍부한 배음 구조를 갖는 톤들의 유지를 강화하는데 도움이 된다(대개, 조성은 역상관에 의한 영향을 받지 않고, 따라서 조성의 유지는 역상관기의 설계에서 문제를 제기하지 않는다).
예를 들어, 공간적 오디오 코딩 역상관으로부터 알려진 역상관기들이 관련되는 한, 예를 들어 WO 2007/118583 A1에 대한 참조가 이루어진다.
본 발명의 실시예들에서, 제공기(102)는 인코더에서 디코더로 전송되는 파라미터를 기초로 HF 패치들의 역상관을 조정하는 적응형 역상관기를 포함할 수 있다. 이러한 실시예들에서, 장치는 제 1 데이터, 제 2 데이터, 그리고 코딩된 오디오 신호로부터 오디오 신호를 재생할 때 제 2 부분이 재생되는지를 기초로 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보를 포함하는 제 3 데이터를 기초로 오디오 신호를 재생하도록 구성된다. 이러한 제 3 데이터는 예컨대, 본 출원의 도 3에 도시된 역상관 정보 가산기(300)에 의해 인코더 측에서, 코딩된 오디오 데이터에 더해질 수 있다. 도 3에 도시된 장치는 역상관 정보 가산기를 제외하고 도 4a에 도시된 장치에 대응한다.
역상관 정보 가산기(300)는 저역 통과 필터(702)의 출력을 수신하며, 저역 통과 필터(702)의 출력 신호로부터의 특성들을 검출할 수 있다. 예를 들어, 역상관 정보 가산기는 저역 통과 필터(702)의 출력 신호에서 과도 특성들을 검출할 수 있다. 저역 통과 필터(702)의 출력의 특성들에 따라, 역상관 정보 가산기는 코딩된 오디오 신호로부터 오디오 신호를 재생할 때 제 2 부분이 재생되는지를 기초로 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보를 코딩된 오디오 신호(710)에 더한다. 예를 들어, 역상관 정보는 오디오 신호의 저주파 부분에 과도 특성 부분들이 존재하는 경우, 낮은 역상관을 수행하거나 또는 어떠한 역상관도 전혀 수행하지 않도록 디코더 측의 제공기에 명령할 수 있다.
본 발명의 실시예들에서, 역상관 정보 가산기는 또한 오디오 신호의 고주파 부분(706)을 수신할 수도 있고, 그로부터 특성들을 도출하도록 구성될 수 있다. 예를 들어, 역상관 정보 가산기가 HF 대역이 잡음과 같다고 검출하는 경우에, 역상관 정보 가산기는 합성 잡음 신호를 기초로 패치 신호를 제공하도록 디코더 측의 제공기에 알릴 수 있다.
이러한 실시예들에서, 데이터스트림(710)으로 표현된 코딩된 오디오 신호(320)는 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터(321), 제 2 주파수 대역에서 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터(322), 및 코딩된 오디오 신호로부터 오디오 신호를 재생할 때 제 2 부분이 재생되는지를 기초로 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보(323)를 포함한다.
이에 따라, 본 발명의 실시예들은 오디오 신호를 재생하기 위한, 즉 오디오 신호 대역폭의 디코더 측 확장을 위한 개선된 접근 방식을 제공한다. 다른 실시예들에서, 본 발명은 코딩된 오디오 신호를 생성하기 위한 장치를 제공한다. 또 다른 실시예들에서, 본 발명은 이러한 코딩된 오디오 신호들에 관련된다.
본 발명의 접근 방식에 의해 달성되는 유리한 효과는 (도 5a에 도시된) 복제 SBR에 대한 잡음 신호 포락선의 자기 상관 시퀀스와 본 출원의 도 5b에 도시된 바와 같은 역상관된 패치들의 잡음 신호 포락선의 자기 상관 시퀀스의 비교에 의해 가시화될 수 있다. 도 5b는 백색 잡음의 크기 포락선의 자기 상관 함수이며, 여기서는 대역폭이 서로 간에 그리고 LF 대역과 비상관된 3개의 패치들로 확장된다. 도 5b는 도 5a에 도시된 불필요한 사이드 최대치들의 소멸을 명백히 보여준다.
본 출원은 전대역폭이 이용 가능하지 않은 모든 오디오 애플리케이션들에 적용 가능하거나 적합하다. 본 발명의 접근 방식은 예를 들어, 디지털 라디오, 인터넷 스트리밍 및 오디오 통신 애플리케이션들에서와 같은 오디오 콘텐츠의 배포 또는 브로드캐스트에서 사용될 수 있다. 본 발명의 실시예들은 역상관된 부대역 오디오 신호들을 이용한 대역폭 확장과 관련된다.
일부 양상들이 장치와 관련하여 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 나타낸다는 점이 명백하며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 비슷하게, 방법 단계와 관련하여 설명된 양상들은 또한 대응하는 블록이나 항목 또는 대응하는 장치의 특징의 설명을 나타낸다.
특정 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 구현은 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독 가능한 제어 신호들이 저장된 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 수행될 수 있다.
본 발명에 따른 일부 실시예들은 본 명세서에서 설명된 방법들 중 하나가 수행되도록, 프로그래밍 가능한 컴퓨터 시스템과 협력 가능한 전자적으로 판독 가능한 제어 신호들을 갖는 데이터 반송파를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 가진 컴퓨터 프로그램 물건으로서 구현될 수 있으며, 이 프로그램 코드는 컴퓨터 상에서 컴퓨터 프로그램 물건이 실행될 때 방법들 중 하나를 수행하도록 동작 가능하다. 프로그램 코드는 예를 들어, 유형의 기계 판독 가능 반송파 상에 저장될 수 있다.
다른 실시예들은 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하며, 이는 기계 판독 가능 반송파 또는 비-일시적 저장 매체 상에 저장된다.
즉, 본 발명의 방법의 한 실시예는 이에 따라, 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때, 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서 본 발명의 방법들의 추가 실시예는 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 기록된 데이터 반송파(또는 디지털 저장 매체나 컴퓨터 판독 가능 매체)이다.
따라서 본 발명의 방법의 추가 실시예는 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 시퀀스 또는 데이터스트림이다. 신호들의 시퀀스 또는 데이터스트림은 예를 들어, 데이터 통신 접속을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시예는 본 명세서에서 설명된 방법들 중 하나를 수행하도록 구성 또는 적응된 처리 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 로직 디바이스를 포함한다.
추가 실시예는 본 명세서에서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
일부 실시예들에서, 프로그래밍 가능한 로직 디바이스(예를 들어, 필드 프로그래밍 가능한 게이트 어레이)가 본 명세서에서 설명된 방법들의 기능들 중 일부 또는 전부를 수행하는데 사용될 수 있다. 일부 실시예들에서는, 필드 프로그래밍 가능한 게이트 어레이가 본 명세서에서 설명된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수도 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 바람직하게 수행된다.
위에서 설명한 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 본 명세서에서 설명된 어레인지먼트들 및 세부사항들의 수정들 및 변형들은 해당 기술분야에서 통상의 지식을 가진 자들에게 명백할 것이라고 이해된다. 따라서 본 명세서의 실시예들의 묘사 및 설명에 의해 제시된 특정 세부사항들에 의해서가 아니라 바로 이어지는 특허청구범위에 의해서만 제한되는 것이 의도된다.
Claims (15)
- 제 1 주파수 대역에서 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터(120; 321; 705) 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터(126; 322; 708)를 기초로 상기 오디오 신호를 재생(reproducing)하기 위한 장치로서,
상기 제 1 데이터(120; 321; 705)를 기초로 상기 오디오 신호의 제 1 부분(777)을 재생하도록 구성된 제 1 재생기(100);
상기 제 2 주파수 대역에서 패치 신호(122; 204)를 제공하도록 구성된 제공기(102; 200, 202a) ― 상기 패치 신호(122; 204)는 상기 오디오 신호의 제 1 부분(777)에 대해 적어도 부분적으로 비상관(uncorrelate)된 신호이거나, 또는 상기 패치 신호(122; 204)는 적어도 부분적으로 상기 오디오 신호의 제 1 부분(777)의 역상관(decorrelate)된 버전으로서 상기 제 2 주파수 대역으로 시프트된 신호임 ―;
상기 제 2 데이터(126; 322; 708) 및 상기 패치 신호(122; 204)를 기초로 상기 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분을 재생하도록 구성되고 후-처리기(post-processor)를 나타내는 제 2 재생기(106) ― 상기 오디오 신호의 제 2 부분의 스펙트럼 포락선(spectral envelope), 상기 오디오 신호의 제 2 부분의 잡음 플로어, 상기 오디오 신호의 제 2 부분의 각각의 부분 대역에 대한 조성 측정치(tonality measure), 및 상기 오디오 신호의 제 2 부분의 두드러진 정현파 부분들의 명시적 코딩은 상기 제 2 데이터에 의해 표현되는 사이드 정보를 나타냄 ―; 및
상기 오디오 신호의 제 2 부분이 상기 제 2 재생기에 의해 재생되기 전에 상기 오디오 신호의 재생되는 제 1 부분(777)과 상기 패치 신호(122; 204)를 결합하기 위한 또는 상기 오디오 신호의 재생되는 제 1 부분(777)과 상기 오디오 신호의 재생되는 제 2 부분을 결합하기 위한 결합기(104)를 포함하는,
오디오 신호를 재생하기 위한 장치. - 제 1 항에 있어서,
상기 제 2 재생기(106)는, 상기 오디오 신호의 제 1 부분과 상기 오디오 신호의 제 2 부분 사이의 상관에 대한 표시자를 상기 오디오 신호의 제 1 부분(777)이 포함하지 않는 경우에 상기 제 2 데이터(126; 322; 708) 및 상기 패치 신호(122; 204)를 기초로 상기 제 2 주파수 대역에서 상기 오디오 신호를 재생하도록 구성되고,
상기 제 2 재생기(106)는, 상기 오디오 신호의 제 1 부분과 상기 오디오 신호의 제 2 부분 사이의 상관에 대한 표시자를 상기 오디오 신호의 제 1 부분(777)이 포함하는 경우에 상기 제 2 데이터(126; 322; 708) 및 상기 제 2 주파수 대역으로 시프트되었고 역상관되지 않은, 상기 오디오 신호의 제 1 부분의 버전을 기초로 상기 제 2 주파수 대역에서 상기 오디오 신호를 재생하도록 구성되는,
오디오 신호를 재생하기 위한 장치. - 제 1 항에 있어서,
상기 제공기(102)는, 상기 오디오 신호의 제 1 부분에 대해 비상관된 합성 패치 신호를 제공하도록 구성되는,
오디오 신호를 재생하기 위한 장치. - 제 3 항에 있어서,
상기 합성 패치 신호는 잡음 신호인,
오디오 신호를 재생하기 위한 장치. - 제 1 항에 있어서,
상기 제공기(102)는, 상기 제 2 주파수 대역으로 시프트된, 상기 오디오 신호의 제 1 부분(777)의 역상관된 버전으로서 상기 패치 신호(122; 204)를 생성하도록 구성된 시프트 유닛(200) 및 역상관기(202a … 202p)를 포함하는,
오디오 신호를 재생하기 위한 장치. - 제 5 항에 있어서,
상기 역상관기(202a … 202p)는, 상기 오디오 신호의 제 1 부분(777)의 스펙트럼 포락선 및 상기 오디오 신호의 제 1 부분(777)의 시간 포락선 중 적어도 하나를 유지하도록 구성되는,
오디오 신호를 재생하기 위한 장치. - 제 5 항에 있어서,
상기 역상관기(202a … 202p)는,
상기 오디오 신호의 제 1 부분에서 그룹 지연 편차들을 발생시키도록 구성된 전대역 필터;
상기 오디오 신호의 제 1 부분의 스펙트럼 계수들의 위상 랜덤화를 발생시키도록 구성된 위상 랜덤화기; 및
상기 오디오 신호의 제 1 부분의 하위 부분들에 주파수 의존성 시간 지연(frequency-dependent time delay)을 적용하도록 구성된 적용기
중 하나를 포함하는,
오디오 신호를 재생하기 위한 장치. - 제 5 항에 있어서,
상기 역상관기(202a … 202p)는, 상기 오디오 신호의 제 1 부분과 상기 오디오 신호의 제 2 부분 사이의 상관에 대한 표시자를 상기 오디오 신호의 제 1 부분(777)이 포함하지 않는 경우에는 더 높은 역상관을 적용하고, 상기 오디오 신호의 제 1 부분과 상기 오디오 신호의 제 2 부분 사이의 상관에 대한 표시자를 상기 오디오 신호의 제 1 부분(777)이 포함하는 경우에는 더 낮은 역상관을 적용하거나 역상관을 적용하지 않게 역상관 정도를 변화시키도록 구성된 신호 적응형 역상관기를 포함하는,
오디오 신호를 재생하기 위한 장치. - 제 2 항에 있어서,
상기 오디오 신호의 제 1 부분과 상기 오디오 신호의 제 2 부분 사이의 상관에 대한 표시자를 상기 오디오 신호의 제 1 신호 부분(777)이 포함하는지 여부를 검출하도록 구성된 검출기(108)를 포함하는,
오디오 신호를 재생하기 위한 장치. - 제 1 항에 있어서,
상기 제공기(200, 202a … 202p)는, 제 3 주파수 대역에서 제 2 패치 신호를 제공하도록 구성되고,
상기 제 2 패치 신호는 상기 오디오 신호의 제 1 부분에 대해 비상관된 신호이거나, 상기 제 2 패치 신호는 상기 오디오 신호의 제 1 부분의 역상관된 버전으로서 상기 제 3 주파수 대역으로 시프트된 신호이고,
상기 제 2 패치 신호는 상기 패치 신호에 대해 비상관되거나 역상관되고,
상기 장치는 제 3 재생기를 포함하고, 제 3 재생기는 상기 제 3 주파수 대역에서 상기 오디오 신호의 제 3 부분에 대한 사이드 정보를 나타내는 제 3 데이터 및 상기 제 2 패치 신호를 기초로 상기 오디오 신호의 제 3 부분을 재생하도록 구성되며,
상기 제 3 주파수 대역은 상기 제 2 주파수 대역보다 더 높은 주파수들을 포함하는,
오디오 신호를 재생하기 위한 장치. - 제 1 주파수 대역에서 오디오 신호의 제 1 부분의 코딩된 버전을 나타내는 제 1 데이터(120; 321; 705) 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분에 대한 사이드 정보를 나타내는 제 2 데이터(126; 322; 708)를 기초로 상기 오디오 신호를 재생하기 위한 방법으로서,
상기 제 1 데이터(120; 321; 705)를 기초로 상기 제 1 주파수 대역에서 상기 오디오 신호를 재생하는 단계;
상기 제 2 주파수 대역에서 패치 신호(122; 204)를 제공하는 단계 ― 상기 패치 신호(122; 204)는 상기 오디오 신호의 제 1 부분(777)에 대해 적어도 부분적으로 비상관된 신호이거나, 또는 상기 패치 신호(122; 204)는 적어도 부분적으로 상기 오디오 신호의 제 1 부분(777)의 역상관된 버전으로서 상기 제 2 주파수 대역으로 시프트된 신호임 ―;
상기 제 2 데이터(126; 322; 708) 및 상기 패치 신호(122; 204)를 기초로 상기 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분을 후-처리기를 이용해 재생하는 단계 ― 상기 오디오 신호의 제 2 부분의 스펙트럼 포락선(spectral envelope), 상기 오디오 신호의 제 2 부분의 잡음 플로어, 상기 오디오 신호의 제 2 부분의 각각의 부분 대역에 대한 조성 측정치(tonality measure), 및 상기 오디오 신호의 제 2 부분의 두드러진 정현파 부분들의 명시적 코딩은 상기 제 2 데이터에 의해 표현되는 사이드 정보를 나타냄 ―; 및
상기 오디오 신호의 제 2 부분이 재생되기 전에 상기 오디오 신호의 재생되는 제 1 부분(777)과 상기 패치 신호(122; 204)를 결합하거나 상기 오디오 신호의 재생되는 제 1 부분(777)과 상기 오디오 신호의 재생되는 제 2 부분을 결합하는 단계를 포함하는,
오디오 신호를 재생하기 위한 방법. - 코딩된 오디오 신호(320)― 상기 코딩된 오디오 신호(320)는 제 1 주파수 대역에서 상기 오디오 신호의 제 1 부분(703)의 코딩된 버전을 나타내는 제 1 데이터(321) 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분(706)에 대한 사이드 정보를 나타내는 제 2 데이터(322)를 포함함 ―를 생성하기 위한 장치로서,
상기 코딩된 오디오 신호로부터 상기 오디오 신호를 재생할 때 상기 오디오 신호의 제 2 부분이 후-처리기를 이용하여 재생되는지를 기초로 상기 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보(323)와 상기 제 1 데이터(321) 및 상기 제 2 데이터(322)를 상기 코딩된 오디오 신호(320)에 더하도록 구성된 역상관 정보 가산기(300)를 포함하는 ― 상기 오디오 신호의 제 2 부분의 스펙트럼 포락선(spectral envelope), 상기 오디오 신호의 제 2 부분의 잡음 플로어, 상기 오디오 신호의 제 2 부분의 각각의 부분 대역에 대한 조성 측정치(tonality measure), 및 상기 오디오 신호의 제 2 부분의 두드러진 정현파 부분들의 명시적 코딩은 상기 제 2 데이터에 의해 표현되는 사이드 정보를 나타냄 ―,
코딩된 오디오 신호(320). - 코딩된 오디오 신호(320)― 상기 코딩된 오디오 신호(320)는 제 1 주파수 대역에서 상기 오디오 신호의 제 1 부분(703)의 코딩된 버전을 나타내는 제 1 데이터(321) 및 상기 제 1 주파수 대역보다 더 높은 주파수들을 포함하는 제 2 주파수 대역에서 상기 오디오 신호의 제 2 부분(706)에 대한 사이드 정보를 나타내는 제 2 데이터(322)를 포함함 ―를 생성하기 위한 방법으로서,
상기 코딩된 오디오 신호(320)로부터 상기 오디오 신호를 재생할 때 상기 오디오 신호의 제 2 부분이 후-처리기를 이용하여 재생되는지를 기초로 상기 오디오 신호의 제 1 부분과 패치 신호 사이에 사용될 역상관 정도에 관한 정보(323)와 상기 제 1 데이터(321) 및 상기 제 2 데이터(322)를 상기 코딩된 오디오 신호(320)에 더하는 단계를 포함하는 ― 상기 오디오 신호의 제 2 부분의 스펙트럼 포락선(spectral envelope), 상기 오디오 신호의 제 2 부분의 잡음 플로어, 상기 오디오 신호의 제 2 부분의 각각의 부분 대역에 대한 조성 측정치(tonality measure), 및 상기 오디오 신호의 제 2 부분의 두드러진 정현파 부분들의 명시적 코딩은 상기 제 2 데이터에 의해 표현되는 사이드 정보를 나타냄 ―,
코딩된 오디오 신호(320)를 생성하기 위한 방법. - 컴퓨터 상에서 컴퓨터 프로그램이 실행될 때 제 11 항 또는 제 13 항에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는,
컴퓨터로 판독가능한 기록 매체. - 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261693575P | 2012-08-27 | 2012-08-27 | |
| US61/693,575 | 2012-08-27 | ||
| EP12187265.9 | 2012-10-04 | ||
| EP12187265.9A EP2704142B1 (en) | 2012-08-27 | 2012-10-04 | Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal |
| PCT/EP2013/067730 WO2014033131A1 (en) | 2012-08-27 | 2013-08-27 | Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150047607A KR20150047607A (ko) | 2015-05-04 |
| KR101711312B1 true KR101711312B1 (ko) | 2017-02-28 |
Family
ID=47010331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157007971A KR101711312B1 (ko) | 2012-08-27 | 2013-08-27 | 오디오 신호를 재생하기 위한 장치 및 방법, 코딩된 오디오 신호를 생성하기 위한 장치 및 방법, 컴퓨터 프로그램 및 코딩된 오디오 신호 |
Country Status (15)
| Country | Link |
|---|---|
| US (1) | US9305564B2 (ko) |
| EP (2) | EP2704142B1 (ko) |
| JP (1) | JP6229957B2 (ko) |
| KR (1) | KR101711312B1 (ko) |
| CN (1) | CN104603872B (ko) |
| AR (1) | AR092228A1 (ko) |
| BR (1) | BR112015004556B1 (ko) |
| CA (1) | CA2882775C (ko) |
| ES (2) | ES2549953T3 (ko) |
| MX (1) | MX347592B (ko) |
| PL (1) | PL2888737T3 (ko) |
| PT (1) | PT2888737T (ko) |
| RU (1) | RU2607262C2 (ko) |
| TW (1) | TWI523004B (ko) |
| WO (1) | WO2014033131A1 (ko) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI618050B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
| US9830917B2 (en) * | 2013-02-14 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Methods for audio signal transient detection and decorrelation control |
| TWI618051B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 |
| WO2015017223A1 (en) * | 2013-07-29 | 2015-02-05 | Dolby Laboratories Licensing Corporation | System and method for reducing temporal artifacts for transient signals in a decorrelator circuit |
| US9831843B1 (en) | 2013-09-05 | 2017-11-28 | Cirrus Logic, Inc. | Opportunistic playback state changes for audio devices |
| US9774342B1 (en) | 2014-03-05 | 2017-09-26 | Cirrus Logic, Inc. | Multi-path analog front end and analog-to-digital converter for a signal processing system |
| US10284217B1 (en) | 2014-03-05 | 2019-05-07 | Cirrus Logic, Inc. | Multi-path analog front end and analog-to-digital converter for a signal processing system |
| US10785568B2 (en) | 2014-06-26 | 2020-09-22 | Cirrus Logic, Inc. | Reducing audio artifacts in a system for enhancing dynamic range of audio signal path |
| EP2980792A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an enhanced signal using independent noise-filling |
| EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
| US9596537B2 (en) | 2014-09-11 | 2017-03-14 | Cirrus Logic, Inc. | Systems and methods for reduction of audio artifacts in an audio system with dynamic range enhancement |
| CN104195726B (zh) * | 2014-09-23 | 2016-04-13 | 宜兴市华恒高性能纤维织造有限公司 | 一种自动化2.5d立体编织装置 |
| US9503027B2 (en) | 2014-10-27 | 2016-11-22 | Cirrus Logic, Inc. | Systems and methods for dynamic range enhancement using an open-loop modulator in parallel with a closed-loop modulator |
| CA2991913C (en) * | 2015-06-11 | 2020-06-02 | Interactive Intelligence Group, Inc. | System and method for outlier identification to remove poor alignments in speech synthesis |
| US9959856B2 (en) | 2015-06-15 | 2018-05-01 | Cirrus Logic, Inc. | Systems and methods for reducing artifacts and improving performance of a multi-path analog-to-digital converter |
| US9955254B2 (en) | 2015-11-25 | 2018-04-24 | Cirrus Logic, Inc. | Systems and methods for preventing distortion due to supply-based modulation index changes in an audio playback system |
| US9543975B1 (en) | 2015-12-29 | 2017-01-10 | Cirrus Logic, Inc. | Multi-path analog front end and analog-to-digital converter for a signal processing system with low-pass filter between paths |
| US9880802B2 (en) | 2016-01-21 | 2018-01-30 | Cirrus Logic, Inc. | Systems and methods for reducing audio artifacts from switching between paths of a multi-path signal processing system |
| US9998826B2 (en) | 2016-06-28 | 2018-06-12 | Cirrus Logic, Inc. | Optimization of performance and power in audio system |
| US10545561B2 (en) | 2016-08-10 | 2020-01-28 | Cirrus Logic, Inc. | Multi-path digitation based on input signal fidelity and output requirements |
| US10263630B2 (en) | 2016-08-11 | 2019-04-16 | Cirrus Logic, Inc. | Multi-path analog front end with adaptive path |
| US9813814B1 (en) | 2016-08-23 | 2017-11-07 | Cirrus Logic, Inc. | Enhancing dynamic range based on spectral content of signal |
| US9780800B1 (en) | 2016-09-19 | 2017-10-03 | Cirrus Logic, Inc. | Matching paths in a multiple path analog-to-digital converter |
| US9929703B1 (en) | 2016-09-27 | 2018-03-27 | Cirrus Logic, Inc. | Amplifier with configurable final output stage |
| US9967665B2 (en) * | 2016-10-05 | 2018-05-08 | Cirrus Logic, Inc. | Adaptation of dynamic range enhancement based on noise floor of signal |
| EP3382703A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and methods for processing an audio signal |
| US10321230B2 (en) | 2017-04-07 | 2019-06-11 | Cirrus Logic, Inc. | Switching in an audio system with multiple playback paths |
| US10008992B1 (en) | 2017-04-14 | 2018-06-26 | Cirrus Logic, Inc. | Switching in amplifier with configurable final output stage |
| US9917557B1 (en) | 2017-04-17 | 2018-03-13 | Cirrus Logic, Inc. | Calibration for amplifier with configurable final output stage |
| EP3435376B1 (en) * | 2017-07-28 | 2020-01-22 | Fujitsu Limited | Audio encoding apparatus and audio encoding method |
| US11158297B2 (en) * | 2020-01-13 | 2021-10-26 | International Business Machines Corporation | Timbre creation system |
| GB202203733D0 (en) * | 2022-03-17 | 2022-05-04 | Samsung Electronics Co Ltd | Patched multi-condition training for robust speech recognition |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060140412A1 (en) | 2004-11-02 | 2006-06-29 | Lars Villemoes | Multi parametrisation based multi-channel reconstruction |
| US20070038439A1 (en) | 2003-04-17 | 2007-02-15 | Koninklijke Philips Electronics N.V. Groenewoudseweg 1 | Audio signal generation |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5757973A (en) * | 1991-01-11 | 1998-05-26 | Sony Corporation | Compression of image data seperated into frequency component data in a two dimensional spatial frequency domain |
| US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| GB9512284D0 (en) * | 1995-06-16 | 1995-08-16 | Nokia Mobile Phones Ltd | Speech Synthesiser |
| JPH10124088A (ja) | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| EP1944759B1 (en) * | 2000-08-09 | 2010-10-20 | Sony Corporation | Voice data processing device and processing method |
| US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| ES2237706T3 (es) * | 2001-11-29 | 2005-08-01 | Coding Technologies Ab | Reconstruccion de componentes de alta frecuencia. |
| JP4227772B2 (ja) * | 2002-07-19 | 2009-02-18 | 日本電気株式会社 | オーディオ復号装置と復号方法およびプログラム |
| ATE355590T1 (de) * | 2003-04-17 | 2006-03-15 | Koninkl Philips Electronics Nv | Audiosignalsynthese |
| JP4821131B2 (ja) * | 2005-02-22 | 2011-11-24 | 沖電気工業株式会社 | 音声帯域拡張装置 |
| US7953605B2 (en) * | 2005-10-07 | 2011-05-31 | Deepen Sinha | Method and apparatus for audio encoding and decoding using wideband psychoacoustic modeling and bandwidth extension |
| WO2007118583A1 (en) | 2006-04-13 | 2007-10-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decorrelator |
| US8015368B2 (en) * | 2007-04-20 | 2011-09-06 | Siport, Inc. | Processor extensions for accelerating spectral band replication |
| CN102089816B (zh) * | 2008-07-11 | 2013-01-30 | 弗朗霍夫应用科学研究促进协会 | 音频信号合成器及音频信号编码器 |
| EP2144229A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
| MY154452A (en) * | 2008-07-11 | 2015-06-15 | Fraunhofer Ges Forschung | An apparatus and a method for decoding an encoded audio signal |
| WO2010003544A1 (en) * | 2008-07-11 | 2010-01-14 | Fraunhofer-Gesellschaft Zur Förderung Der Angewandtern Forschung E.V. | An apparatus and a method for generating bandwidth extension output data |
| KR101182258B1 (ko) * | 2008-07-11 | 2012-09-14 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 스펙트럼 기울기 제어 프레이밍을 이용한 대역폭 확장 데이터를 계산하는 장치 및 방법 |
| BR122017003818B1 (pt) * | 2008-07-11 | 2024-03-05 | Fraunhofer-Gesellschaft zur Föerderung der Angewandten Forschung E.V. | Instrumento e método para geração de sinal estendido de largura de banda |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| JP4932917B2 (ja) * | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
| JP5812998B2 (ja) * | 2009-11-19 | 2015-11-17 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置 |
| JP5651980B2 (ja) * | 2010-03-31 | 2015-01-14 | ソニー株式会社 | 復号装置、復号方法、およびプログラム |
| SG185606A1 (en) * | 2010-05-25 | 2012-12-28 | Nokia Corp | A bandwidth extender |
| KR101697550B1 (ko) * | 2010-09-16 | 2017-02-02 | 삼성전자주식회사 | 멀티채널 오디오 대역폭 확장 장치 및 방법 |
| CN103548077B (zh) * | 2011-05-19 | 2016-02-10 | 杜比实验室特许公司 | 参数化音频编译码方案的取证检测 |
-
2012
- 2012-10-04 EP EP12187265.9A patent/EP2704142B1/en active Active
- 2012-10-04 ES ES12187265.9T patent/ES2549953T3/es active Active
-
2013
- 2013-08-26 TW TW102130443A patent/TWI523004B/zh active
- 2013-08-26 AR ARP130103011A patent/AR092228A1/es active IP Right Grant
- 2013-08-27 KR KR1020157007971A patent/KR101711312B1/ko active IP Right Grant
- 2013-08-27 CN CN201380045118.XA patent/CN104603872B/zh active Active
- 2013-08-27 ES ES13756417.5T patent/ES2593072T3/es active Active
- 2013-08-27 EP EP13756417.5A patent/EP2888737B1/en active Active
- 2013-08-27 WO PCT/EP2013/067730 patent/WO2014033131A1/en active Application Filing
- 2013-08-27 MX MX2015002509A patent/MX347592B/es active IP Right Grant
- 2013-08-27 PL PL13756417.5T patent/PL2888737T3/pl unknown
- 2013-08-27 BR BR112015004556-1A patent/BR112015004556B1/pt active IP Right Grant
- 2013-08-27 PT PT137564175T patent/PT2888737T/pt unknown
- 2013-08-27 RU RU2015110702A patent/RU2607262C2/ru active
- 2013-08-27 CA CA2882775A patent/CA2882775C/en active Active
- 2013-08-27 JP JP2015528988A patent/JP6229957B2/ja active Active
-
2015
- 2015-02-27 US US14/634,118 patent/US9305564B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070038439A1 (en) | 2003-04-17 | 2007-02-15 | Koninklijke Philips Electronics N.V. Groenewoudseweg 1 | Audio signal generation |
| US20060140412A1 (en) | 2004-11-02 | 2006-06-29 | Lars Villemoes | Multi parametrisation based multi-channel reconstruction |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6229957B2 (ja) | 2017-11-15 |
| PL2888737T3 (pl) | 2016-12-30 |
| MX2015002509A (es) | 2015-06-10 |
| BR112015004556A2 (pt) | 2017-07-04 |
| RU2607262C2 (ru) | 2017-01-10 |
| CA2882775A1 (en) | 2014-03-06 |
| EP2888737A1 (en) | 2015-07-01 |
| EP2704142A1 (en) | 2014-03-05 |
| EP2888737B1 (en) | 2016-06-22 |
| US20150170663A1 (en) | 2015-06-18 |
| EP2704142B1 (en) | 2015-09-02 |
| US9305564B2 (en) | 2016-04-05 |
| MX347592B (es) | 2017-05-03 |
| CN104603872B (zh) | 2017-08-11 |
| CA2882775C (en) | 2017-08-29 |
| BR112015004556B1 (pt) | 2021-10-13 |
| CN104603872A (zh) | 2015-05-06 |
| RU2015110702A (ru) | 2016-10-20 |
| AR092228A1 (es) | 2015-04-08 |
| PT2888737T (pt) | 2016-10-04 |
| TWI523004B (zh) | 2016-02-21 |
| TW201419269A (zh) | 2014-05-16 |
| JP2015526769A (ja) | 2015-09-10 |
| ES2549953T3 (es) | 2015-11-03 |
| WO2014033131A1 (en) | 2014-03-06 |
| KR20150047607A (ko) | 2015-05-04 |
| ES2593072T3 (es) | 2016-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101711312B1 (ko) | 오디오 신호를 재생하기 위한 장치 및 방법, 코딩된 오디오 신호를 생성하기 위한 장치 및 방법, 컴퓨터 프로그램 및 코딩된 오디오 신호 | |
| JP6568566B2 (ja) | 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム | |
| US20180350387A1 (en) | Audio signal synthesizer and audio signal encoder | |
| KR101424944B1 (ko) | 오디오 인코더 및 대역폭 확장 디코더 | |
| WO2014115225A1 (ja) | 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200130 Year of fee payment: 4 |