KR101712477B1 - 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 장치 및 방법 - Google Patents
대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR101712477B1 KR101712477B1 KR1020157009438A KR20157009438A KR101712477B1 KR 101712477 B1 KR101712477 B1 KR 101712477B1 KR 1020157009438 A KR1020157009438 A KR 1020157009438A KR 20157009438 A KR20157009438 A KR 20157009438A KR 101712477 B1 KR101712477 B1 KR 101712477B1
- Authority
- KR
- South Korea
- Prior art keywords
- bandwidth
- signal
- block
- patch
- bandwidth extension
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims description 71
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 144
- 230000003595 spectral effect Effects 0.000 claims abstract description 21
- 230000010076 replication Effects 0.000 claims abstract description 18
- 230000002123 temporal effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 56
- 230000001052 transient effect Effects 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000013461 design Methods 0.000 description 26
- 238000001228 spectrum Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000000819 phase cycle Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 2
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 2
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 2
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
- G10L19/025—Detection of transients or attacks for time/frequency resolution switching
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
- G10L19/0208—Subband vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Amplifiers (AREA)
Abstract
대역폭 제한 오디오 신호(105)로부터 대역폭 확장 신호(135)를 발생시키기 위한 장치(100)에 있어서, 상기 대역폭 제한 오디오 신호(105)는 복수의 연속 대역폭 제한 시간 블록들(511)을 포함하고, 각 대역폭 제한 시간 블록은 코어 주파수 대역을 포함하는 적어도 하나의 관련 스펙트럼 대역 복제 파라미터(121)를 가지며, 상기 대역폭 확장 신호(135)는 복수의 연속 대역폭 확장 시간 블록들(513)을 포함하고, 상기 장치(100)는 패치 발생기(110), 신호 조작기(120) 및 결합기(130)를 포함한다. 상기 패치 발생기는 상기 대역폭 오디오 신호(105)의 대역폭 제한 시간 블록을 이용하여 높은 주파수를 포함하는 패치 신호(115)를 발생시키기도록 구성된다. 상기 패치 발생기(110)는 상기 패치 신호(115)를 얻기 위해 고조파 패칭 알고리즘(515)을 수행하도록 구성된다. 상기 패치 발생기(110)는 상기 대역폭 제한 오디오 신호(105)의 복수의 연속 대역폭 제한 시간 블록들(511)의 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 복수의 연속 대역폭 확장 시간 블록들(513)의 현재 대역폭 확장 시간 블록(m')에 대해 상기 고조파 패칭 알고리즘(515)을 수행하도록 구성된다. 신호 조작기(120)는 상기 높은 주파수 대역을 포함하는 조작된 패치 신호(125)를 얻기 위해 현재 대역폭 제한 시간 블록(m)과 관련된 스펙트럼 대역 복제 파라미터(121)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 발생되는 상기 패치 신호(115) 또는 패칭 전 신호(105)를 조작하도록 구성된다. 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)은 상기 대역폭 제한 오디오 신호(105)의 상기 복수의 연속 대역폭 제한 시간 블록들(511)에서 현재 대역폭 제한 시간 블록(m)을 시간적으로 선행한다. 결합기(130)는 상기 대역폭 확장 신호(135)를 얻기 위해 높은 주파수를 포함하는 상기 조작된 패치 신호(125) 및 상기 코어 주파수를 포함하는 상기 대역폭 제한 오디오 신호(105)를 결합하도록 구성된다.
Description
본 발명은 오디오 신호 처리에 관련되며, 특히, 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키는 장치 및 방법에 관련된다.
오디오 신호들의 저장 또는 전송은 종종 엄격한 비트레이트 제한의 대상이다. 과거에, 코더들은 아주 낮은 비트레이트들만이 이용가능할 때 전송된 오디오 대역폭을 상당히 감소시키도록 강제되었다. 현재 오디오 코덱들은 요즘에 M. Dietz, L. Liljeryd, K. Kjorling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S. Meltzer, R. Bohm and F. Henn,"SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, May 2002; T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002. Speech bandwidth extension method and apparatus, Vasu Iyengar et al; E. Larsen, R. M. Aarts, and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May2002; R.M.Aarts, E.Larsen, and O.Ouweltjes. A unified approach to low-and high frequency band width extension. In AES 115th Convention, NewYork, USA, October2003; K.Kyhk. A Robust Wide band Enhancement for Narrow band Speech Signal. Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing,2001; E.Larsen and R.M.A arts. Audio Band width Extension-Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley&Sons, Ltd,2004; E.Larsen, R.M.A arts, and M.Danessis. Efficient high-frequency band width extension of music and speech. In AES112th Convention, Munich, Germany, May 2002; J.Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973; United States Patent Application 08/951,029, Ohmori,et al., Audio bandwidth extending system and method; and United States Patent 6895375, Malah, D&Cox,R.V.: System for bandwidth extension of Narrow-band speech 에 설명된대로 대역폭 확장 (BWE) 방법을 이용하여 광대역 신호들을 코딩하는 것이 가능하다. 이러한 알고리즘들은 파라미터 구동 후처리의 응용 및 HF 스펙트럼 영역("패칭)으로의 전이 수단에 의해 디코딩된 신호의 낮은-주파수 부분(LF)로부터 발생되는 높은-주파수(HF)의 파라미터적 표현에 의존한다. LF 부분은 어떠한 오디오 또는 스피치 코더와도 함께 코딩된다. 예를 들어, 대역폭 확장 방법들은 M. Dietz, L. Liljeryd, K. Kjorling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, May 2002; T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; and International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002.에서 설명되었다. 스피치 대역폭 확장 방법 및 장치, Vasu Iyengar et al.,는 다중 HF 패치들을 발생시키기 위해, "Copy-up" 방법으로 종종 명명되는, 단일 부대역 변조(SSB)에 의존한다.
최근에 M. Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.", Robel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html; Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323-332; United States Patent 6549884, Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting, for the generation of the different patches,에서 설명된 것처럼, 위상 보코더의 뱅크(bank)를 이용하는, 새로운 알고리즘은, Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009 에서 설명되는 것처럼 제안되었다. 이러한 방법은 SSB 대역폭 확장의 대상이 되는 신호들에서 종종 관찰되는 오디오적인 거칠음을 피하기 위해 개발되었다. 비록 많은 음색 신호들에 유용할지라도, "고조파 대역폭 확장(harmonic bandwidth extension)" (HBE)라고 불리는 이 방법은 Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, "A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs," 126th AES Convention, Munich, Germany, May 2009, 에서 언급된 것처럼 오디오 신호에 포함된 과도 상태의 품질 저하에 취약하며, 이는 기준 위상 보코더 알고리즘에서 보존되어야 하는 부-대역들에 대한 수직 일관성이 보장되지 않기 때문이며, 게다가 위상들의 재-계산이 변형의 시간 블록들 또는 대안적으로 필터뱅크 상에서 수행되어야 하기 때문이다. 그래서, 과도상태들을 포함하는 신호 부분들에 대한 특별한 처리가 요구되기 시작했다. 추가적으로, HBE 알고리즘에 적용되는 위상 보코더들 기반 오버랩 가산(오버랩 애드, overlap add)는 통신 목적을 위해 설계된 어플리케이션들에서의 이용에 적합하기에는 너무 높은 추가적인 지연을 야기시킨다.
위에서 요약된 것처럼, 현존하는 대역폭 확장 설계들은 SSB 기반 패칭이 되도록, 시간에서 주어진 신호 블록상에 하나의 패칭 방법을 적용할 수 있고, 이는 M. Dietz, L. Liljeryd, K. Kjoling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, May 2002; T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention, Munich, May 2002; and International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002. Speech bandwidth extension method and apparatus, Vasu Iyengar et al., or HBE vocoder based patching explained in Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," in ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009. 에서 설명되고, M. Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.", Robel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html; Laroche L., Dolson M.: "Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323-32; United States Patent 6549884, Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting 에서 설명된 위상 보코더 테크닉에 기반한다.
대안적으로, HBE 및 SSB 기반 패칭의 조합은 US 가출원 61/312,127에서 설명되는 것처럼 이용될 수 있다. 추가적으로, modern audio coders as described in Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jeremie; Bessette, Bruno; Geiger, Ralf; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard: Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates, ICASSP 2009, April 19-24, 2009, Taipei, Taiwan; Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralf; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jeremie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederik; Neuendorf, Max; Rettelbach, Nikolaus; Robilliard, Julien; Salami, Redwan; Schuller, Gerald: A Novel Scheme for Low Bitrate Unified Speech and Audio Coding, 126th AES Convention, May 7, 2009, Munich, 에서 설명되는 것처럼, 현재 오디오 코더들은 세계적으로 대안적인 패칭 설계들 사이에서 시간 블록 기반 패칭 방법을 스위칭하는 가능성을 제공한다.
종래의 SSB 카피-업 패칭(copy-up patching)은 오디오 신호에 원치 않은 거칠음(roughness)을 도입하는 불이익을 갖는다. 그러나, 그것은 계산적으로 간단하고 과도(transients) 시간 포락선을 보존한다. HBE 패칭을 이용하는 오디오 코덱들에서, 불이익은 과도 재생 품질(transient reproduction quality)이 종종 차선적(suboptimal)이라는 점이다.
게다가, 계산적 복잡성은 계산적으로 아주 단순한 SSB 카피-업 방법을 넘어 상당히 증가할 수 있다. 추가적으로, HBE 패칭은 계산 시나리오들에서 어플리케이션에 대한 수용가능한 범위를 넘는 추가적인 알고리즘적인 지연을 도입한다.
최신 프로세싱의 추가적인 불이익은 하나의 시간 블록 내에서 HBE 및 SSB 기반 패칭의 계산이 HBE에 의해 야기되는 추가적인 지연을 제거하지 않는다는 것이다.
본 발명의 목적은 그러한 불이익을 피하는 향상된 지각적 품질을 허용하는 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키는 개념을 제공하는 것이다.
이 목적은 제15항에 따른 청구항 1 및 방법에 따른 장치에 의해 달성된다. 본 발명의 실시예에 따라, 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키는 장치는 패치 발생기, 신호 조작기 및 결합기를 포함한다. 대역폭 제한 오디오 신호(bandwidth limited audio signal)는 복수의 연속 대역폭 제한 시간 블록들(bandwidth limited time blocks)을 포함하며, 각 대역폭 제한 시간 블록은 코어 주파수 대역을 포함하는 적어도 하나의 연관 스펙트럼 대역 복제 파라미터(associated spectral band replication parameter)를 갖는다. 대역폭 확장 신호는 복수의 연속 대역폭 확장 시간 블록들을 포함한다. 패치 발생기는 대역폭 제한 오디오 신호의 대역폭 제한 시간 블록을 이용하는 고주파수를 포함하는 패치 신호를 발생시키도록 구성된다. 패치 발생기는 패치 신호를 얻기 위해 고조파 패칭 알고리즘(harmonic patching algorithm)을 수행하도록 구성된다. 패치 발생기는 대역폭 제한 오디오 신호의 복수의 연속 대역폭 제한 시간 블록들의 시간적으로 선행하는 대역폭 제한 시간 블록을 이용하여 복수의 연속 대역폭 확장 시간 블록들의 현재 대역폭 확장 시간 블록에 대한 고조파 패칭 알고리즘을 수행하도록 구성된다. 신호 조작기는 고주파수 대역을 포함하는 조작된 패칭 신호를 얻기 위해 현재 대역폭 제한 시간 블록과 연관된 스펙트럼 대역 복제 파라미터를 이용하여 시간적으로 선행하는 대역폭 제한 시간 블록을 이용하여 발생된 패치 신호 또는 패칭 전 신호를 조작하도록 구성된다. 시간적으로 선행하는 대역폭 제한 시간 블록은 상기 대역폭 제한 오디오 신호의 복수의 연속 대역폭 제한 시간 블록들에서 현재 대역폭 제한 시간 블록을 시간적으로 선행한다. 결합기는 대역폭 확장 신호를 얻기 위해 고주파수 대역을 포함하는 조작된 패칭 신호 및 코어 주파수를 포함하는 대역폭 제한 오디오 신호를 결합하도록 구성된다.
근본적인 기본 아이디어는 고주파수 대역을 포함하는 패치 신호가 대역폭 제한 오디오 신호의 대역폭 제한 시간 블록을 이용하는 경우 방금-언급된 향상된 지각적 품질이 달성될 수 있다는 것이고, 고조파 패칭 알고리즘은 패치 신호를 얻기 위해 수행되며, 고조파 패칭 알고리즘은 대역폭 제한 오디오 신호의 복수의 연속 대역폭 제한 시간 블록들의 시간적으로 선행하는 대역폭 제한 시간 블록을 이용하여 복수의 연속 대역폭 확장 시간 블록들의 현재 대역폭 확장 시간 블록에 대해 수행된다는 것이고, 만약 패칭 전 신호 또는 패치 신호가 고주파수 대역을 포함하는 조작된 패치 신호를 얻기 위해 현재 대역폭 제한 시간 블록과 연관된 스펙트럼 대역 복제 파라미터를 이용하여 조작된다면, 시간적으로 선행하는 대역폭 제한 시간 블록은 대역폭 제한 오디오 신호의 복수의 연속 대역폭 제한 시간 블록들에서 현재 대역폭 제한 시간 블록을 시간적으로 선행한다는 것이다. 이러한 방식으로, 대역폭 확장 신호에서 HBE 알고리즘에 의해 야기되는 추가적인 지연의 부정적인 영향을 피하는 것이 가능하다.
실시예에 따라, 패치 발생기는 적어도 두개의 대역폭 제한 시간 블록들 사이의 오버랩 가산 처리(오버랩 가산 프로세싱, overlap add processing)을 이용하여 고조파 패칭 알고리즘을 수행하도록 구성된다. 오버랩 가산 프로세싱을 이용하는 것에 의해 추가적인 지연은 고조파 패칭 알고리즘에 도입된다.
실시예에 따라, 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키는 방법에 있어서, 대역폭 제한 오디오 신호는 복수의 연속 대역폭 제한 시간 블록들을 포함하며, 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 방법은, 상기 대역폭 제한 오디오 신호는 복수의 연속 대역폭 제한 시간 블록들을 포함하고, 적어도 하나의 관련된 스펙트럼 대역 복제 파라미터를 갖는 각 대역폭 제한 시간 블록은 코어 주파수를 포함하며 대역폭 확장 신호는 복수의 연속 대역폭 확장 시간 블록들을 포함하며, 패치 신호를 얻기 위해 고조파 패칭 알고리즘을 수행하는, 고주파수 대역을 포함하는 패치 신호를 발생시키는 단계, 고주파수 대역을 포함하는 조작된 패치 신호를 얻기 위해 패치 신호 또는 패칭(patching) 전의 신호를 조작하는 단계 및 대역폭 확장 신호를 얻기 위해 고주파수 대역을 포함하는 조작된 패치 신호 및 코어 주파수 대역을 포함하는 대역폭 제한 오디오 신호를 결합하는 단계를 포함한다. 상기 발생시키는 단계는 상기 대역폭 제한 오디오 신호의 대역폭 제한 시간 블록을 이용하여 고주파수 대역을 포함하는 패치 신호를 발생시키는 단계를 포함한다. 상기 수행하는 단계는 대역폭 제한 오디오 신호의 복수의 연속 대역폭 제한 시간 블록들의 시간적으로 선행하는 대역폭 제한 시간 블록을 이용하여 복수의 연속 대역폭 확장 시간 블록들의 현재 대역폭 확장 시간 블록에 대한 고조파 패칭 알고리즘을 수행하는 단계를 포함한다. 조작하는 단계는 고주파수 대역을 포함하는 조작된 패치 신호를 얻기 위해 현재 대역폭 제한 시간 블록과 연관된 스펙트럼 대역 복제 파라미터를 이용하여 패치 신호 또는 패칭 전 신호를 조작하는 것을 포함한다. 여기서, 시간적으로 선행하는 대역폭 제한 시간 블록은 대역폭 제한 오디오 신호의 복수의 연속 대역폭 제한 시간 블록들에서 현재 대역폭 제한 시간 블록을 시간적으로 선행한다.
게다가, 본 발명의 실시예들은 과도 단계들(transients)에 영향을 미치지 않고 오디오 신호들의 정상(stationary) 부분들의 지각적 품질을 향상시키는 개념에 관련된다. 양쪽 요구들을 충족시키기 위해, 고조파 패칭 및 카피-업 패칭으로 구성되는 믹스된 패칭 설계들에 적용하는 설계가 도입될 수 있다.
발명에 따른 몇몇 실시예들은 SSB와 비교하여 추가적인 알고리즘 지연을 도입하는 종래의 HBE 보다 더 나은 지각적 품질을 제공한다. 이는 고조파 신호들에 대해 고주파수 컨텐츠들을 발생시키기 위해 과거로부터의 프레임들을 이용하여 신호의 정상성(stationarity)를 이용하는 것에 의해 이 발명에서 보상될 수 있다.
다음에서, 본 발명의 실시예들은 다음에서 동반된 도면들을 참고하여 설명될 것이다.
도 1은 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 장치의 실시예의 블록 다이어그램을 도시한다;
도 2는 필터뱅크 영역에서 고조파 패칭 알고리즘을 수행하기 위한 패치 발생기의 실시예의 블록 다이어그램을 도시한다;
도 3은 도 2에 따른 패치 발생기의 실시예의 비-선형 처리 블록의 예시적 실시의 블록 다이어그램을 도시한다;
도 4는 필터뱅크 영역에서 카피-업 패칭 알고리즘을 수행하기 위한 패치 발생기의 실시예의 블록 다이어그램을 도시한다;
도 5a는 카피-업 패칭 알고리즘 및 고조파 패칭 알고리즘을 이용하여 예시적 대역폭 확장 설계의 개략적 도시를 보여준다;
도 5b는 도 5a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다;
도 6a는 카피-업 패칭 알고리즘 및 고조파 패칭 알고리즘을 이용하여 예시적 대역폭 확장 설계의 추가 개략적 도시를 보여준다;
도 6b는 도 6a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다.
도 7a는 카피-업 패칭 알고리즘만을 이용하여 예시적 대역폭 확장 설계의 개략적 도시를 보여준다.
도 7b는 도 7a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다;
도 8a는 고조파 패칭 알고리즘만을 이용하여 예시적 대역폭 확장 설계의 개략적 도시를 보여준다;
도 8b는 도 8a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다;
도 9는 도 1에 따른 장치의 실시예의 패치 발생기의 실시예의 블록 다이어그램을 보여준다;
도 10은 도 1에 따른 장치의 실시예의 패치 발생기의 추가 실시예의 블록 다이어그램을 보여준다;
도 11은 예시적 패칭 설계의 개략적 도시를 보여준다;
도 12는 상이한 대역폭 확장 시간 블록들 사이의 위상 연속/크로스-페이드 작업(continuation/cross-fade operation)의 예시적 실시예를 보여준다; 그리고
도 13은 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키는 장치의 추가 실시예의 블록 다이어그램을 보여준다.
도 1은 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 장치의 실시예의 블록 다이어그램을 도시한다;
도 2는 필터뱅크 영역에서 고조파 패칭 알고리즘을 수행하기 위한 패치 발생기의 실시예의 블록 다이어그램을 도시한다;
도 3은 도 2에 따른 패치 발생기의 실시예의 비-선형 처리 블록의 예시적 실시의 블록 다이어그램을 도시한다;
도 4는 필터뱅크 영역에서 카피-업 패칭 알고리즘을 수행하기 위한 패치 발생기의 실시예의 블록 다이어그램을 도시한다;
도 5a는 카피-업 패칭 알고리즘 및 고조파 패칭 알고리즘을 이용하여 예시적 대역폭 확장 설계의 개략적 도시를 보여준다;
도 5b는 도 5a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다;
도 6a는 카피-업 패칭 알고리즘 및 고조파 패칭 알고리즘을 이용하여 예시적 대역폭 확장 설계의 추가 개략적 도시를 보여준다;
도 6b는 도 6a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다.
도 7a는 카피-업 패칭 알고리즘만을 이용하여 예시적 대역폭 확장 설계의 개략적 도시를 보여준다.
도 7b는 도 7a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다;
도 8a는 고조파 패칭 알고리즘만을 이용하여 예시적 대역폭 확장 설계의 개략적 도시를 보여준다;
도 8b는 도 8a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼을 보여준다;
도 9는 도 1에 따른 장치의 실시예의 패치 발생기의 실시예의 블록 다이어그램을 보여준다;
도 10은 도 1에 따른 장치의 실시예의 패치 발생기의 추가 실시예의 블록 다이어그램을 보여준다;
도 11은 예시적 패칭 설계의 개략적 도시를 보여준다;
도 12는 상이한 대역폭 확장 시간 블록들 사이의 위상 연속/크로스-페이드 작업(continuation/cross-fade operation)의 예시적 실시예를 보여준다; 그리고
도 13은 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키는 장치의 추가 실시예의 블록 다이어그램을 보여준다.
도 1은 대역폭 제한 오디오 신호(105)로부터 대역폭 확장 신호(135)를 발생시키기 위한 장치(100)의 실시예의 블록 다이어그램을 보여준다. 여기서, 대역폭 제한 오디오 신호(105)는 복수의 연속 대역폭 제한 시간 블록들을 포함하며, 각 대역폭 제한 시간 블록은 코어 주파수 대역을 포함하는 적어도 하나의 연관 스펙트럼 대역 복제 파라미터(121)을 갖는다. 게다가, 대역폭 확장 신호(135)는 복수의 연속 대역폭 확장 시간 블록들을 포함한다. 도 1에서 보여지는 것처럼, 장치(100)는 패치 발생기(110), 신호 조작기(120) 및 결합기(130)을 포함한다. 패치 발생기(110)는 대역폭 제한 오디오 신호(105)의 대역폭 제한 시간 블록을 이용하여 고주파수를 포함하는 패치 신호(115)를 발생시키도록 구성된다. 도 1의 실시예에서, 패치 발생기(110)는 패치 신호(115)를 얻기 위해 고조파 패칭 알고리즘을 수행하도록 구성된다. 예를 들어, 패치 발생기(110)는 상기 대역폭 제한 오디오 신호(105)의 복수의 연속 대역폭 제한 시간 블록들(511)의 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)을 이용하여 복수의 연속 대역폭 확장 시간 블록들(513)의 현재 대역폭 확장 시간 블록(m')에 대해 상기 고조파 패칭 알고리즘(515)을 수행하도록 구성된다. 도 1에서 예시적으로 설명되는 것처럼, 신호 조작기(120)는 고주파수 대역을 포함하는 조작된 패치 신호(125)를 얻기 위해 현재 대역폭 제한 시간 블록(m)과 연관된 스펙트럼 대역 복제(SBR) 파라미터(121)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 발생되는 상기 패치 신호(115) 또는 패칭 전 신호(105)를 조작하도록 구성된다. 도 1의 실시예에서, 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)은 상기 대역폭 제한 오디오 신호(105)의 상기 복수의 연속 대역폭 제한 시간 블록들(511)에서 현재 대역폭 제한 시간 블록(m)을 시간적으로 선행한다. 결합기(130)는 대역폭 확장 신호(135)를 얻기 위해 높은 주파수를 포함하는 상기 조작된 패치 신호(125) 및 상기 코어 주파수를 포함하는 상기 대역폭 제한 오디오 신호(105)를 결합하도록 구성된다.
도 1의 실시예를 참조하면, 지수 m 은 대역폭 제한 오디오 신호(105)의 복수의 연속 대역폭 제한 시간 블록들의 개별 대역폭 제한 시간 블록에 대응할 수 있고, 반면 지수 m' 은 패치 발생기(110)으로부터 얻어지는 복수의 연속 대역폭 확장 시간 블록들의 개별 대역폭 확장 시간 블록에 대응할 수 있다.
예를 들어, 도 1의 실시예에서 보여지는 패치 발생기(110)는 MPEG audio standard ISO/IEC FDIS 23003-3, 2011의 섹션 7.5.3 및 7.5.4에서 설명되는 것처럼 DFT 기반 고조파 교환기(트랜스포져, transposer) 또는 QMF 기반 고조파 교환기를 이용할 수 있다.
실시예들에서, 신호 조작기(120)는 포락선 조정 또는 조작된 패치 신호(125)를 얻기 위해 SBR 파라미터(121)에 의존하여 패치 신호(115)의 포락선(envelope)을 조정하기 위한 포락선 조정기(envelope adjuster)를 포함할 수 있다.
도 2는 필터뱅크 영역에서 고조파 패칭 알고리즘을 수행하기 위한 도 1에 따른 장치(100)의 실시예의 패치 발생기(110)의 실시예의 블록 다이어그램을 보여준다. 도 2를 참조하면, 장치(100)는 QMF 분석 필터뱅크(210), 패치 발생기(110) 및 QMF 합성 필터뱅크(220)의 실시예를 포함할 수 있다.
예를 들어, QMF 분석 필터뱅크(210)는 디코딩된 저주파수 신호(205)를 복수의 주파수 부대역 신호들(215)로 변환하도록 구성된다. 도 2의 복수의 주파수 부대역 신호들(215)은 도 1에서 보여지는 대역폭 제한 오디오 신호(105)의 코어 주파수 대역을 표현할 수 있다.
도 2의 실시예에서, 패치 발생기(110)는 QMF 합성 필터뱅크(220)에 대한 복수의 패치된 주파수 부대역 신호들(217)을 출력하고 QMF 분석 필터뱅크(210)에 의해 제공되는 복수의 주파수 부대역 신호들(215) 상에서 작동하도록 구성된다. 도 2에서 보여지는 복수의 패치된 주파수 부대역 신호들(217)은 도 1에서 보여지는 패치 신호(115)를 표현할 수 있다.
QMF 합성 필터뱅크(220)는, 예를 들어, 복수의 패치된 주파수 부대역 신호들(217)을 대역폭 확장 신호(135)로 변환하도록 구성된다.
도 2의 실시예를 참조하면, QMF 합성 필터뱅크(220)에 의해 수신되는 패치된 주파수 부대역 신호들(217)은 증가적으로 더 높은 주파수에 의해 특징지어지는 상이한 패치된 주파수 부대역 신호들을 나타내는 "1", "2", "3", ..., 에 의해 나타내어진다. 도 2에서 예시적으로 설명되는 것처럼, 패치 발생기(110)는 패치된 주파수 부대역 신호들의 제1그룹(219-1), 패치된 주파수 부대역 신호들의 제2그룹(219-2) 및 복수의 주파수 부대역 신호들(215)로부터 패치된 주파수 부대역 신호들의 제3그룹(219-3)을 얻도록 구성된다. 예를 들어, 패치 발생기(110)는 QMF 분석 필터뱅크(210)로부터 QMF 합성 필터뱅크(220)에 패치된 주파수 부대역 신호들의 제1그룹(219-1)을 직접 입력하도록 구성된다. 그것은 도 2에서 예시적으로 설명되는 것처럼 패치 발생기(110)는 복수의 비-선형 처리 블록들(250)을 포함한다.
복수의 비-선형 처리 블록들(250)은 비-선형 처리 블록들의 제1그룹 및 비-선형 처리 블록들의 제2그룹을 포함할 수 있다. 예를 들어, 패치 발생기(110)의 비-선형 처리 블록들(non-linear processing blocks)의 제1그룹은 패치된 주파수 부대역 신호들의 제2그룹(219-2)을 얻기 위해 비-선형 처리를 수행하도록 구성된다. 게다가, 패치 발생기(110)의 비-선형 처리 블록들의 제2그룹(254)은 패치된 주파수 부대역 신호들의 제3그룹(219-3)을 얻기 위해 비-선형 처리를 수행하도록 구성될 수도 있다. 도 2의 실시예에서, 비-선형 처리 블록의 제1그룹(252)은 제1비-선형 처리 블록(253-1) 및 제2비-선형 처리 블록(253-2)를 포함하며, 반면 비-선형 처리 블록들의 제2그룹(254)은 제1비-선형 처리 블록(255-1) 및 제2비-선형 처리 블록(255-2)을 포함한다.
예를 들어, 비-선형 처리 블록들의 제1그룹(252)의 제1비-선형 처리 블록(253-1) 및 제2비-선형 처리 블록(253-2)은 제1고주파수 부대역 신호(261) 및 제2고주파수 부대역 신호(263)이 대응 비-선형 처리된 출력 신호들(271-1, 271-2) 각각을 얻기 위해 두개의 대역폭 확장 인수(σ)에 의해 곱해지는 상태에서 비-선형 처리를 수행하도록 구성된다. 게다가, 비-선형 처리 블록들의 제2그룹(254)의 제1비-선형 처리 블록(255-1) 및 제2비-선형 처리 블록(255-2)은 제1고주파수 부대역 신호(261) 및 제2고주파수 부대역 신호(263)가 대응 비-선형 처리된 출력 신호들(273-1, 273-2) 각각을 얻기 위해 두개의 대역폭 확장 인수(σ)에 의해 곱해지는 상태에서 비-선형 처리를 수행하도록 구성된다.
제1비-선형 처리 블록(253-1) 및 제2비-선형 처리 블록(253-2)에 의해 출력되는 비-선형 처리된 출력 신호들(271-1, 271-2)은, 각각, 신호 조작기(120)의 대응 신호 조작 블록들(122-1, 122-2)에 의해 조작될 수 있다. 도 2에서 예시적으로 설명되는 것처럼, 신호 조작기(120)는 도 1의 스펙트럼 대역 복제 파라미터를 이용하여 비-선형 처리된 출력 신호들(271-1, 271-2)를 조작하도록 구성된다. 도2에서 예시적으로 보여지는 것처럼 신호 조작기(120)의 출력에서, 패치된 주파수 부대역 신호들의 제2그룹(219-2)가 얻어질 것이다. 특히, 패치된 주파수 부대역 신호들의 제2그룹(219-2)은 코어 주파수 대역으로부터 발생되는 제1타겟 주파수 대역(또는 제1고차 패치)에 대응할 수 있고, 여기서 제1고차 패치(first higher patch)는 두개의 대역폭 확장 인수(σ)에 기반한다.
게다가, 제1비-선형 처리 블록(255-1) 및 제2비-선형 처리 블록(255-2)에 의해 출력되는 비-선형 처리된 출력 신호들(273-1, 273-2)은 QMF 합성 필터뱅크(220)에 의해 수신되는 패치된 주파수 부대역 신호들의 제3그룹(219-3)을 구성할 수 있다. 특히, 패치된 주파수 부대역 신호들의 제3그룹(219-3)은 코어 주파수 대역으로부터 발생되는 제2타겟 주파수 대역(또는 제2고차 패치)에 대응할 수 있고, 여기서 제2타겟 주파수 대역은 세개의 대역폭 확장 인수(σ)에 기반한다.
도 2의 실시예를 참조하면, 고차 패치(예를 들어, 비-선혀 처리된 출력 신호(271-1))에 대한 비-선형 처리된 출력 신호 및 상이한 고차 패치(예를 들어, 비-선형 처리된 출력 신호(273-1))에 대한 비-선형 처리된 출력 신호는 도 2에서 점선(211)으로 표시된것처럼, 함께 더해지거나 또는 결합될 수 있다.
특정적으로, 도 2에서 보여지는 패치 발생기(110)를 제공하는 것에 의해, 코어 주파수 대역에 대응하는 패치된 주파수 부대역 신호들의 제1그룹(219-1), 제1고차 패치에 대응하는 패치된 주파수 부대역 신호들의 제2그룹(219-2) 및 제2고차 패치에 대응하는 패치된 주파수 부대역 신호들의 제3그룹(219-3)을 이용하여 대역폭 확장 신호(135)를 발생시키는 것이 가능하다.
도 3은 도 2에 따라 패치 발생기(110)의 실시예의 비-선형 처리 블록(300)의 예시적 실시의 블록 다이어그램을 보여준다. 도 2에서 보여지는 비-선형 처리 블록(300)은 도 2에서 보여지는 비-선형 처리 블록들(250) 중 하나에 대응할 수 있다. 도 3의 예시적 실시예에서, 비-선형 처리 블록(300)은 윈도잉(windowing) 블록(309), 위상 곱셈 블록(phase multiplication block, 310), 데시메이터(decimator, 320) 및 시간 스트레칭 유닛(time stretching unit, 330)(예를 들어, 오버랩 가산 (OLA) 스테이지)을 포함한다. 예를 들어, 위상 곱셈 블록(310)은 위상 곱셈 주파수 부대역 신호(phase multiplied frequency subband signal, 315)를 얻기 위해 대역폭 확장 인수(σ)에 의해 주파수 부대역 신호(305)의 위상을 곱하도록 구성된다. 게다가, 데시메이터(decimator, 320)는 데시메이트된 주파수 부대역 신호(325)를 얻기 위해 위상 곱셈 주파수 부대역 신호(315)를 데시메이팅하도록 구성될 수 있다. 게다가, 시간 스트레칭 유닛(330)은 시간상 임시적으로 확장하는 시간 스트레치된 출력 신호(335)를 얻기 위해 데시메이트된 주파수 부대역 신호(325)를 시간 스트레칭하도록 구성될 수 있다. 바람직하게는, 블록(330)은 시간-스트레칭 작업을 얻기 위해 블록(309)에서 윈도잉하는데 이용되는 것보다 더 큰 홉사이즈(hopsize)와 함께 오버랩 가산 처리를 수행한다. 도 3에서 보여지는 위상 곱셈 블록(310)에 입력되는 주파수 부대역 신호(305)는 도 2에서 보여지는 패치 발생기(110)에 입력되는 주파수 부대역 신호들(215) 중 하나에 대응할 수 있고, 반면 도 3에서 보여지는 시간 스트레칭 유닛(330)에 의해 제공되는 시간 스트레칭된 출력 신호(335)는 도 2에서 보여지는 패치 발생기(110)의 비-선형 처리 블록들(250) 중 하나에 의해 비-선형 처리된 출력 신호에 대응할 수 있다. 특정적으로, 시간 스트레칭된 출력 신호(335)는, 대역폭 확장 신호(135)가 얻어지도록, 신호 조작을 이용하여 조작될 수 있다.
도 3의 예시적 실시예에서, 위상 곱셈 블록(310)은 대역폭 확장 인수(σ)를 이용하여 주파수 부대역 신호(305)에서 작동하도록 실행될 수 있다. 예를 들어, 대역폭 확장 인수 σ=2 및 σ=3은 도 2를 참조하여 설명되는 것처럼, 각각 대역폭 확장 신호(135)에 대한 제1고차 패치 및 제2고차 패치를 제공하는데 이용될 수 있다. 게다가, 도3에서 보여지는 비-선형 처리 블록(300)의 데시메이터(320)는 대역폭 확장 인수(σ)에 의존하여 위상 곱셈 주파수 부대역 신호(315)의 샘플 레이트를 변환하기 위한 샘플 레이트 변환기(sample rate converter)에 의해 실행될 수 있다. 만약, 예를 들어, 대역폭 확장 인수 σ=2 가 데시메이터(320)에 의해 이용된다면, 위상 곱셈 주파수 부대역 신호(315)의 모든 두번째 샘플(제2샘플)은 동일한 것으로부터 제거될 것이다. 이는 데시메이터(320)에 의해 출력되는 데시메이트된 신호(325)가 실질적으로는 확장된 대역폭을 갖는 그리고 위상 곱셈 주파수 부대역 신호(315)의 시간 지속의 절반(half)에 의해 특징지어지는 경우를 이끈다.
게다가, 시간 스트레칭 유닛(330)은 시간 스트레칭 유닛(330)에 의해 출력되는 시간 스트레치된 출력 신호(335)가 위상 곱셈 블록(310)에 입력되는 주파수 부대역 신호(305)의 원래 시작 지속을 다시 가지도록, (예를 들어, OLA 스테이지에 의해 오버랩 가산 처리를 이용하여) 두개의 시간 스트레칭 인수에 의해 데시메이트된 주파수 부대역 신호(325)의 시간 스트레칭을 수행하도록 구성될 수 있다.
도 3의 예시적 실시예에서, 데시메이터(320) 및 시간 스트레칭 유닛(330)은 신호 처리 방향에 관해 역 순서로 배치될 수도 있다. 이는 이중 화살표(311)에 의해 도 3에서 표시된다. 시간 스트레칭 유닛(330)이 데시메이터(320) 이전에 제공되는 경우에, 위상 곱셈 주파수 부대역 신호(315)는 시간 스트레치된 신호를 얻기 위해 시간적으로 첫번째로 스트레치될 것이고, 부대역 확장 신호에 대해 데시메이트된 출력 신호를 제공하도록 데시메이트될 것이다. 예를 들어,l 위상 곱셈 주파수 부대역 신호(315)가 두개의 시간 스트레칭 인수에 의해 시간적으로 먼저 스트레치되는(stretched) 경우, 시간 스트레치된 신호는 위상 곱셈 주파수 부대역 신호(315)의 시간 지속을 두배로 하는 것에 의해 특징지어질 것이다. 예를 들어, 두개의 대응 데시메이션 인수에 의한 다음 데시메이션은 데시메이트된 출력 신호가 확장 대역폭을 갖는 그리고 위상 곱셈 블록(310)에 입력되는 주파수 부대역 신호(305)의 원래 시간 지속을 다시 가지는 경우를 이끈다.
도 3을 참조하면, 여기서 지적되는 어떠한 경우에서, 오버랩 가산 처리를 이용하여 시간 스트레칭 유닛(330)에 의해 수행되는 시간 스트레칭 작업은 패치 발생기(110) 내에서처럼 고조파 패칭 알고리즘의 추가 지연을 도출한다. 고조파 패칭 알고리즘 내의 시간 스트레칭 작업 때문인 추가 지연의 이 효과는 도 3에서 화살표(350)에 의해 표시된다. 그러나, 본 발명의 실시예들은 이 추가적인 지연이 도 1을 참조하여 설명되는 것처럼, 현재 대역폭 확장 시간 블록(m')을 얻기 위해 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)에 고조파 패칭 알고리즘을 적용하는 것에 의해 효과적으로 보상될 수 있다는 이점을 제공한다.
도 3의 실시예에서, 패치 발생기(110)는 적어도 두개의 대역폭 제한 시간 블록들 사이의 오버랩 가산 처리를 이용하여 고조파 패칭 알고리즘을 수행하도록 구성될 수 있다.
도 4는 카피-업 패칭 알고리즘을 필터뱅크 영역에서 수행하기 위한 패치 발생기(110)의 실시예의 블록 다이어그램을 보여준다. 도 4에서 보여지는 패치 발생기(110)는 도 1에서 보여지는 장치(100)에서 실행될 수 있다. 이는 도 1의 장치에서, 패치 발생기(110)는, 도 2를 참조하여 설명되는 고조파 패칭 알고리즘과 외에도, 도 4를 참조하여 설명되는 카피-업 패칭 알고리즘을 수행하도록 구성될 수 있다는 것을 의미한다.
도 4의 실시예를 참조하면, 장치(100)은 QMF 분석 필터 뱅크(410), "패칭(patching)"에 의한 처리 체인(processing chain)에서 표시되는 패치 발생기(110), "신호 조작기" 및 QMF 합성 필터뱅크(420)에 의해 처리 체인에서 표시되는 신호 조작기(120)를 포함할 수 있다. 예를 들어, QMF 분석 필터뱅크(410)는 디코딩된 저주파수 신호(205)를 복수의 주파수 부대역 신호들(415)로 변화하도록 구성된다. 게다가, 신호 조작기(120) 및 패치 발생기(110)의 협력에 의해, 복수의 패치된 주파수 부대역 신호들(417)은 QMF 합성 필터뱅크(420)에 대해 제공될 수 있다. QMF 합성 필터뱅크(420)은, 차례로, 복수의 패치된 주파수 부대역 신호들(417)을 대역폭 확장 신호(135)에 변환하도록 구성될 수 있다.
도 4에서, QMF 합성 필터뱅크(420)에 의해 수신되는 패치된 주파수 부대역 신호들(417)은 예시적으로 "1", "2", "3", ..., "6" 으로 표시되며 증가하는 고차 주파수들을 갖는 상이한 패치된 주파수 부대역 신호들을 표현할 수 있다.
도 4의 실시예를 참조하면, 패치 발생기(110)는 QMF 합성 필터뱅크(420)에 QMF 분석 필터뱅크(410)으로부터 패치된 주파수 부대역 신호들의 제1그룹(419-1)에 대한 복수의 주파수 부대역 신호들(415)를 직접 포워딩하도록 구성된다. 타겟 대역은 LF 영역의 제1대역이 될 필요는 없다는 것이 주목된다. 소스 영역은 일반적인 경우에서 훨씬 더 높은 대역 숫자로 시작한다. 이는 특히 도 4의 아이템 1 및 4에 적용된다.
게다가, 패치 발생기(110)는 QMF 분석 필터뱅크(410)에 의해 제공되는 주파수 부대역 신호들(415)를 분기하도록(branching off) 그리고 그것들을 QMF 합성 필터뱅크(420)에 의해 수신되는 패치된 주파수 부대역 신호들의 제2그룹(419-2)으로 포워딩하도록 구성될 수 있다. 그것은 또한 예시적으로 도 4에서 설명되며 신호 조작기(120)는 복수의 신호 조작 블록들(122-1, 122-2, 122-3)을 포함하고 스펙트럼 대역 복제 파라미터(121)에 의존하여 작동한다. 예를 들어, 신호 조작 블록들(122-1, 122-2, 122-3)은 QMF 합성 필터뱅크(420)에 의해 수신되는 패치된 주파수 부대역 신호들의 제2그룹(419-2)을 얻기 위해 QMF 분석 필터뱅크(410)로부터 제공되는 복수의 주파수 부대역 신호들(415)로부터 분기되는 패치된 주파수 부대역 신호들을 조작하도록 구성된다. 도 4의 실시예에서, 패치 발생기(110)로부터 얻어지는 패치된 주파수 부대역 신호들의 제1그룹(419-1)은 디코딩된 저주파수 신호(205) 또는 대역폭 확장 신호(135)의 코어 주파수 대역에 대응할 수 있고, 반면 패치 발생기(110)로부터 얻어지는 패치된 주파수 부대역 신호들의 제2그룹(419-2)은 대역폭 확장 신호(135)의 제1고차 타겟 주파수 대역(또는 제1고차 패치)에 대응할 수 있다. 제1고차 타겟 주파수 대역에 대해 실행되는 것과 유사한 방식으로, 제2고차 타겟 주파수 대역(또는 제2고차 패치)은 도 4의 실시예에서 보여지는 신호 조작기(120) 및 패치 발생기(110)의 협력에 의해 발생될 수 있다.
예를 들어, 도 4의 실시예에서 보여지는 필터뱅크 영역에서의 패치 발생기(110)와 함께 수행되는 카피-업 패칭 알고리즘은 단일 부대역 변조(SSB)를 이용하는 것처럼 비-고조파 패칭 알고리즘을 표현할 수 있다.
도 4의 실시예를 참조하면, QMF 분석 필터뱅크(410)는 32 주파수 부대역 신호들(415)를 제공하도록 구성되는 32-대역 분석 필터뱅크일 수 있다. 게다가, QMF 합성 필터뱅크(420)는, 예를 들어, 64 패치된 주파수 부대역 신호들(417)을 수신하도록 구성되는 64-대역 합성 필터뱅크일 수 있다.
특정적으로, 도 4에서 보여지는 패치 발생기(110)의 실시예는 MPEG-4 오디오 기준에서 정의되는 것처럼 고-효율 어드밴스드 오디오 코딩 (HE-AAC)를 실현하도록 기본적으로 이용될 수 있다.
도 5a는 카피-업 패칭 알고리즘(525) 및 고조파 패칭 알고리즘(515)을 이용하여 예시적인 대역폭 확장 설계의 개략적 도시(illustration, 510)를 보여준다. 도 5a의 개략적 도시(510)에서, 수직축(세로좌표)은 주파수(504)를 나타내고, 반면 수평축(가로좌표)는 시간(502)를 나타낸다. 도 5a에서 복수의 연속 대역폭 제한 시간 블록들(511)이 예시적으로 설명된다. 연속 대역폭 제한 시간 블록들(511)은 도 5a에서 예시적으로 “프레임(frame) n”, “프레임(frame) n + 1”, “프레임(frame) n + 2” 및“프레임(frame) n + 3”으로 표시된다. 연속 대역폭 제한 시간 블록들(511)의 주파수 컨텐츠는 기본적으로 코어 주파수 대역 또는 LF(코어) (505)를 나타낸다. 추가로, 도 5a는 복수의 연속 대역폭 확장 시간 블록들(513)을 예시적으로 설명한다. 대역폭 확장 시간 블록(513)의 주파수 컨텐츠는 기본적으로 제1고차 타겟 주파수 대역(패치 I 507) 또는 제2고차 타겟 주파수 대역(패치 II 509)에 대응한다. 패치 I 507에 대응하는 연속 대역폭 확장 시간 블록들(513)은 예시적으로 도 5a에서 “f(프레임(frame) n - 1)”, “f(frame n)”, “f(frame n + 1)” 및 “f(frame n + 2)”으로 표시된다. 게다가, 패치 II 509에 대응하는 연속 대역폭 확장 시간 블록들은 도 5a에서 예시적으로“f(frame n - 1)”, “g(f(frame n))”, “g(f(frame n + 1))” and “g(f(frame n + 2))”으로 표시된다. 여기서 기능적 의존도 f(...)는 고조파 패칭 알고리즘의 응용(어플리케이션)을 표시할 수 있고 반면 기능적 의존도 g(…)는 카피-업 패칭 알고리즘의 응용을 나타낼 수 있다. 도 5a의 개략적 도시(510)에서 LF(코어) 505는 대역폭 제한 오디오 신호(105) 내에 포함될 수 있고 패치 I 507 및 패치 II 509는 도 1의 장치(100)에서 보여지는 것처럼 대역폭 확장 신호(135) 내에 포함될 수 있다. 신호(135) 또한 LF(코어)를 포함하며, 이는 도면에서 그것이 결합기의 출력으로 나타내어지기 때문이다. 각 대역폭 제한 시간 블록은 적어도 하나의 관련 스펙트럼 대역 복제 파라미터를 갖는다는 것이 이미 도 1을 참조하여 설명되었다. 도 5b는 도 5a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼(550)을 보여준다. 도 5b에서, 수직축(세로좌표)는 진폭(553)에 대응하며, 반면 수평축(가로좌표)는 스펙트럼(550)의 주파수(551)에 대응한다. 스펙트럼(550)이 코어 주파수 대역 또는 LF(코어) (505), 제1고차 타겟 주파수 대역 또는 패치 I 507 및 제2고차 타겟 주파수 대역 또는 패치 II 509를 포함한다는 것이 도 5b에서 예시적으로 설명된다. 게다가, 크로스오버(교차, crossover) 주파수 (fx), 두배(twice) 교차 주파수(2·fx) 및 세배(three times) 교차 주파수(3·fx)는 스펙트럼(550)의 주파수 축에서 예시적으로 설명된다.
도 1, 5a 및 5b를 참조한 실시예에서, 패치 발생기(110)는 두개의 대역폭 확장 인수(σ1)를 이용하여 시간적으로 선행하는 대역폭 제한 시간 블록 (m-1)에 고조파 패칭 알고리즘(515)를 적용하도록 구성될 수 있다. 게다가, 패치 발생기(110)는 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)의 코어 주파수 대역(505)으로부터 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)을 발생시키도록 구성될 수 있다. 게다가, 패치 발생기(110)는 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)의 코어 주파수 대역(505)으로부터 발생되는 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)을 현재 대역폭 확장 시간 블록(m')의 제2타겟 주파수 대역(509)에 카피 업(copying up)하기 위해 카피-업 패칭 알고리즘(525)을 적용하도록 구성될 수 있다. 도 5a에서, 고조파 패칭 알고리즘(515)은 경사진(inclined) 화살표에 의해 표시되며, 반면 카피-업 패칭 알고리즘(525)은 비-경사(non-inclined) 화살표에 의해 표시된다.
도 5b의 스펙트럼(550)에서 예시적으로 설명되는 것처럼, 코어 주파수 대역(505)은 교차 주파수(fx) 범위에 걸친 주파수들을 포함할 수 있다. 게다가, 예시적 대역폭 확장 인수 (σ=2)를 이용하여 고조파 패칭 알고리즘(515)을 적용하는 것에 의해, 교차 주파수(fx)에서 두배(twice) 교차 주파수(2·fx)에 이르는 범위의 주파수들을 포함하는 제1타겟 주파수 대역(507)이 얻어질 것이다. 게다가, 카피-업 패칭 알고리즘(525)를 적용하는 것에 의해, 두배(twice) 교차 주파수(2·fx)에서 세배 교차 주파수(3·fx)의 범위에 이르는 주파수들을 포함하는 제2타겟 주파수 대역(509)이 얻어질 것이다.
도 6a는 고조파 패칭 알고리즘(515) 및 카피-업 패칭 알고리즘(625)를 이용하여 예시적 대역폭 확장 설계의 추가 개략적 도시를 보여준다. 도 6b는 도 6a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼(650)을 보여준다. 도 6a의 개략적 도시(610)에서의 요소들(elements) 504, 502, 511, 513, 505, 507, 509 및 515 및 도 6b에서의 예시적 스펙트럼(650)에서의 요소들 553, 551, 505, 507, 509 및 515는 도 5b의 예시적 스펙트럼(550) 및 도 5a의 개략적 도시(510)에서의 동일 도면부호들을 갖는 요소들과 대응할 수 있다. 그래서, 이러한 요소들의 반복되는 설명은 생략된다.
도 1, 6a 및 6b를 참조하면, 패치 발생기(110)는 두개의 대역폭 확장 인수(σ1)를 이용하여 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)에 고조파 패칭 알고리즘(515)를 적용하도록 구성될 수 있다. 게다가, 패치 발생기(110)는 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)의 코어 주파수 대역(505)로부터 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)을 발생시키도록 구성될 수 있다. 게다가, 패치 발생기(110)는 현재 대역폭 제한 시간 블록(m)의 코어 주파수 대역(505)을 현재 대역폭 확장 시간 블록(m')의 제2타겟 주파수 대역(509)에 카피 업하기 위한 카피-업 패칭 알고리즘(625)을 적용하도록 구성될 수 있다.
도 6b의 스펙트럼(650)에서 예시적으로 묘사된 것처럼, 코어 주파수 대역(505)은 교차 주파수(fx)까지의 범위에 걸친 주파수들을 포함할 수 있고, 예시적 대역폭 확장 인수 σ1 = 2 를 이용하여 고조파 패칭 알고리즘(515)을 적용하는 것으로부터 얻어지는 제1타겟 주파수 대역(507)은 교차 주파수(fx)로부터 두배 교차 주파수 (2·fx)에 걸친 주파수를 포함할 수 있고, 반면 카피-업 패칭 알고리즘(625)을 적용하는 것으로부터 얻어지는 제2타겟 주파수 대역(509)은 두배 교차 주파수 (2·fx)로부터 세배 교차 주파수(3·fx)까지의 범위에 걸친 주파수들을 포함할 수 있다.
도 7a 는 카피-업 패칭 알고리즘(715; 625)만을 이용하는 예시적인 대역폭 확장 설계의 개략적 도시(710)를 보여준다. 도 7b는 도 7a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼(750)을 보여준다. 도 7a의 개략적 도시(710)에서의 요소들 504, 502, 511, 513, 505, 507, 509 및 도 7b의 예시적 스펙트럼(750)에서의 요소들 553, 551, 505, 507, 509 은 각각, 도 5a의 개략적 도시(510) 및 도 5b의 예시적 스펙트럼(550)에서의 동일 도면부호들을 갖는 요소들에 대응할 수 있다. 그래서, 이러한 요소들의 반복된 설명은 생략된다.
도 1, 7a 및 7b를 참조하면, 패치 발생기(110)는 현재 대역폭 제한 시간 블록(m)의 코어 주파수 대역(505)을 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)에 카피 업(copying up)하기 위한 카피-업 패칭 알고리즘(715)를 적용하도록 구성될 수 있다. 게다가, 패치 발생기(110)는 현재 대역폭 확장 시간 블록(m')의 제2타겟 주파수 대역(509)에 현재 대역폭 제한 시간 블록(m)의 코어 주파수 대역(50)를 카피 업 하기 위한 카피-업 패칭 알고리즘(625)를 적용하도록 구성될 수 있다. 유사한 방식으로, 그러한 카피-업 패칭 알고리즘들은 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)에 적용될 수도 있다(예를 들어, 도 7a 참조).
도 7b의 스펙트럼(750)에서 예시적으로 설명되는 것처럼, 코어 주파수 대역(505)은 교차 주파수(fx) 범위에 걸친 주파수들을 포함할 수 있다. 고조파 패칭 알고리즘(715)을 적용하는 것에 의해 얻어지는 제1타겟 주파수 대역(507)은 교차 주파수(fx)에서 두배(twice) 교차 주파수(2·fx)에 이르는 범위의 주파수들을 포함할 수 있고, 반면 카피-업 패칭 알고리즘(625)를 적용하는 것에 의해 얻어지는 제2타겟 주파수 대역(509)은, 두배(twice) 교차 주파수(2·fx)에서 세배 교차 주파수(3·fx)의 범위에 이르는 주파수들을 포함할 수 있다.
도 8a는 고조파 패칭 알고리즘(515; 825) 만을 이용하여 예시적 대역폭 확장 설계의 추가 개략적 도시(810)를 보여준다. 도 8b는 도 8a의 대역폭 확장 설계로부터 얻어지는 예시적 스펙트럼(850)을 보여준다. 도 8a의 개략적 도시(810)에서의 요소들 504, 502, 511, 513, 505, 507 및 509 그리고 도 8b의 예시적 스펙트럼(850)에서의 요소들 553, 551, 505, 507 및 509는 도 5a의 개략적 도시 및 도 5b의 예시적 스펙트럼(550)에서 보여지는 동일 도면부호들을 갖는 요소들에 대응할 수 있다. 그래서, 이러한 요소들의 반복적인 설명은 생략된다.
도 1, 8a 및 8b를 참조하면, 패치 발생기(110)는 두개의 대역폭 확장 인수(σ1)를 이용하여 시간적으로 선행하는 대역폭 제한 시간 블록 (m-1)에 고조파 패칭 알고리즘(815)를 적용하도록 구성될 수 있다. 게다가, 패치 발생기(110)는 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)의 코어 주파수로부터 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)을 발생시키도록 구성될 수 있다. 게다가, 패치 발생기(110)는 세개의 대역폭 확장 인수(σ2)를 이용하여 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)에 고조파 패칭 알고리즘(515)를 적용하도록 구성될 수 있다. 게다가, 패치 발생기(110)는 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)의 코어 주파수 대역(505)로부터 현재 대역폭 확장 시간 블록(m')의 제2타겟 주파수 대역(509)을 발생시키도록 구성될 수 있다.
도 8b의 스펙트럼(850)에서 예시적으로 설명되는 것처럼, 코어 주파수 대역(505)은 교차 주파수(fx) 범위에 걸친 주파수들을 포함할 수 있다. 예시적 대역폭 확장 인수 σ1 = 2 를 이용하여 고조파 패칭 알고리즘(515)을 적용하는 것에 의해 얻어지는 제1타겟 주파수 대역(507)은 교차 주파수(fx)에서 두배(twice) 교차 주파수(2·fx)에 이르는 범위의 주파수들을 포함할 수 있고, 반면 예시적 대역폭 확장 인수 σ2 = 3 을 이용하여 고조파 패칭 알고리즘(825)를 적용하는 것에 의해 얻어지는 제2타겟 주파수 대역(509)은, 두배(twice) 교차 주파수(2·fx)에서 세배 교차 주파수(3·fx)의 범위에 이르는 주파수들을 포함할 수 있다.
도 9는 도 1에 따라 장치(100)의 실시예의 패치 발생기(110)의 실시예의 블록 다이어그램을 보여준다. 도 9에서 보여지는 것처럼, 장치(100)는 패칭 알고리즘 정보(911)을 제공하기 위한 제공자(910)을 더 포함할 수 있다. 도 9의 실시예에서, 패치 발생기(110)는, 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)을 이용하는 고조파 패칭 알고리즘(515) 외에, 대응하는 선행(preceding) 또는 후행(succedding) 블록들에 대한 시간적으로 후행하는 대역폭 제한 시간 블록(m+1) 또는 시간적으로 선행하는 대역폭 제한 시간 블록(m-1)을 이용하는 카피-업 패칭 알고리즘(925)을 수행하도록 구성될 수 있다. 특히, 시간적으로 후행하는 대역폭 제한 시간 블록(m+1)은 시간적으로 현재 대역폭 제한 시간 블록(m)을 후행한다. 도 9의 실시예에서, 패치 발생기(110)는 패칭 알고리즘 정보(911)에 응답하여 고조파 패칭 알고리즘(515)로부터 발생되는 현재 대역폭 확장 시간 블록(m')에 대해 패치 신호(115)를 이용하도록 더 구성될 수 있다.
특히, 도 9에서 보여진 패치 발생기(110)의 실시예를 제공하는 것에 의해, 대역폭 확장 신호(135)에 대한 상이한 연속 대역폭 확장 시간 블록들을 블록 단위로 이용하는 것이 가능하다. 여기서, 상이한 연속 대역폭 확장 시간 블록들의 블록 단위 이용은 기본적으로 패칭 알고리즘 정보(911)에 대응한다.
실시예들에서, 제공자(910)는 대역폭 제한 오디오 신호(105) 내에서 인코딩되는 부가 정보(111)를 이용하여 패칭 알고리즘 정보(911)를 제공하도록 구성될 수 있다. 예를 들어, 대역폭 제한 오디오 신호(105)는 인코딩된 오디오 신호(비트스트림)에 의해 표현될 수 있다. 제공자(910)에 의해 수신되는 부가 정보(111)는, 예를 들어, 비트스트림 파서(bitstream parser)를 이용하여 비트스트림으로부터 추출될 수 있다.
대안적으로, 제공자(910)는 대역폭 제한 오디오 신호(105)의 신호 분석에 의존하여 패칭 알고리즘 정보(911)를 제공하도록 구성될 수 있다. 예를 들어, 장치(100)는 대역폭 제한 오디오 신호(105)의 신호 분석에 의존하여 제공자(910)에 대한 분석 결과 신호(913)을 얻도록 구성되는 신호 분석기(912)를 더 포함할 수 있다.
예를 들어, 제공자(910)는 대역폭 제한 오디오 신호(105)의 각 대역폭 제한 시간 블록으로부터 과도 플래그(transient flag, 915)를 결정하도록 구성될 수 있다. 이러한 경우에, 신호 분석기(912)는 제공자(910)에 포함될 수 있다. 도 9의 실시예를 참조하면, 패치 발생기(110)는 대역폭 제한 오디오 신호(105)의 정상성(stationarity)이 과도 플래그(915)에 의해 표시될 때 고조파 패칭 알고리즘(515)로부터 발생되는 현재 대역폭 확장 시간 블록(m')에 대해 패치(패치된, patched) 신호(115)를 이용하도록 구성된다. 게다가, 패치 발생기(110)는, 대역폭 제한 오디오 신호(105)의 비-정상성(non-stationarity)이 과도 플래그(915)에 의해 표시될 때, 카피-업 패칭 알고리즘(925)으로부터 발생되는 패치 신호(115)를 이용하도록 구성될 수 있다.
예를 들어, 대역폭 제한 오디오 신호(105)의 정상성 (또는 대역폭 제한 오디오 신호의 과도 이벤트의 부재)는 "0"으로 표시되는 과도 플래그(915)에 대응할 수 있고 반면 대역폭 제한 오디오 신호(105)의 비-정상성(또는 대역폭 제한 오디오 신호에서 과도 이벤트의 존재)는 "1"로 표시되는 과도 플래그(915)에 대응할 수 있다.
도 10은 도 1에 따른 장치(100)의 실시예의 패치 발생기(110)의 추가 실시예의 블록 다이어그램을 보여준다. 도 10의 실시예에 따라, 패치 발생기(110)는 현재 대역폭 확장 시간 블록(m') 및 시간적으로 선행하는 대역폭 제한 시간 블록(m-1) 사이의 제1시간 지연(1010)을 포함하는 고조파 패칭 알고리즘(515)를 수행하도록 구성된다. 게다가, 패치 발생기(110)는 현재 대역폭 제한 시간 블록(m)을 이용하여 카피-업 패칭 알고리즘(925)를 수행하도록 구성될 수 있다. 특히, 카피-업 패칭 알고리즘(925)는 제2시간 지연(second time delay, 1020)을 포함한다. 도 10의 실시예를 참조하면, 고조파 패칭 알고리즘(515)의 제1시간 지연(1010)은 카피-업 패칭 알고리즘(925)의 제2시간 지연(1020)보다 크다.
예를 들어, 도 10에서 보여지는 패치 발생기(110)는 제1시간 지연(1010)을 포함하는 고조파 패칭 알고리즘(515)를 수행하기 위한 위상 보코더를 포함할 수 있다. 상기 위상 보코더는, 특히, 적어도 두개의 대역폭 제한 시간 블록들 사이에러 오버랩 가산 처리(overlap add processing)를 이용하도록 구성될 수 있다.
도 11은 예시적 패칭 설계(1100)의 개략적 도시를 보여준다. 도 11의 패칭 설계는, 예를 들어, 도 1의 장치(100)에서 보여지는 패치 발생기(110)과 함께 구현된다. 도 11에서, 대역폭 제한 오디오 신호(105)의 예시적 그래프(1101)가 보여진다. 그래프(1101)에서 예시적으로 도시되는 것처럼, 대역폭 제한 오디오 신호(105)는 도 5a의 개략적 도시(510)에서 보여지는 것처럼 코어 주파수 대역을 포함하는 복수의 연속 대역폭 제한 시간 블록들(511)을 포함한다. 게다가, 대역폭 제한 오디오 신호(105)의 수직축(세로좌표)는 진폭(1110)에 대응하고, 반면 그래프(1101)의 수평축(가로좌표)은 시간(1120)에 대응한다.
도 11에서, 연속 대역폭 제한 시간 블록들(511)은 대응 프레임 숫자(1102) ("0", "1", "2", ...)에 의해 각각 표시된다. 게다가, 연속 대역폭 제한 시간 블록들(511)은, 도 9에서 보여지는 제공자(190)에 의해서처럼, 대역폭 제한 오디오 신호(105)의 각 대역폭 제한 시간 블록으로부터 결정될 수 있는, (예를 들어, "1" 또는 "0"에 의해 표시되는) 대응 과도 플래그(915)에 의해, 각각, 표시될 수 있다. 대역폭 제한 오디오 신호(105)가 과도 영역(1107)에서 과도 이벤트(1105)를 포함할 수 잇다는 것이 도 11에서도 예시적으로 묘사된다. 이 예시적 과도 이벤트(1105)는, 예를 들어, 과도 감지기(transient detector)에 의해 감지된다.
도 11의 개략적 도시(1100)를 참조하면, 패치 발생기(110)는 대역폭 제한 오디오 신호(105)의 각 대역폭 제한 시간 블록에 고조파 패칭 알고리즘(515)을 연속적으로(지속적으로) 적용하도록 구성될 수 있다. 이것은 "HBE는 언제나 백그라운드에서 구동중"이라고 표시되는 화살표(1130)에 의해 도 11에서 예시적으로 묘사된다.
또다른 실시예에 따라, 위에서 언급된 과도 감지기는 대역폭 제한 오디오 신호(105)에서 과도 이벤트(1105)를 감지하도록 구성된다. 예를 들어, 패치 발생기(110)는 과도 이벤트(1105)가 대역폭 제한 오디오 신호(105)에서 감지될 때 카피-업 패칭 알고리즘(1025)을 수행하도록 구성된다. 게다가, 패치 발생기(110)는 과도 이벤트(1105)가 대역폭 제한 오디오 신호(105)에서 감지될 때 적어도 두개의 대역폭 제한 시간 블록들 사이의 오버랩 가산 처리를 이용하여 고조파 패칭 알고리즘(515)를 수행하지 않도록 구성될 수 있다. 이는 기본적으로 또다른 상황에 대응하며, 대역폭 제한 오디오 신호(105)의 과도 영역(1107)에서, 카피-업 패칭 알고리즘(1025)이 수행되며, 반면 고조파 패칭 알고리즘은 백그라운드에서 구동되지 않는다.
게다가, 도 11은 대역폭 확장 신호(135)의 복수의 연속 대역폭 확장 시간 블록들에 대한 개별 패칭 알고리즘을 수행한 패칭 결과(1111)를 개략적으로 도시한다. 이러한 패칭 결과(1111)는 도 11에서 "패칭(소스 프레임, source frame)"에 의해 표시된다. 특히 패칭 결과(1111)는 프레임 숫자(1102, 즉 소스 프레임)와 함께 대응 대역폭 제한 시간 블록에 적용되는 개별 패칭 알고리즘(즉, "HBE"에 의해 표시되는 고조파 패칭 알고리즘 또는 "카피-업"에 의해 표시되는 카피-업 패칭 알고리즘)으로부터 발생되는 패치된 신호(패치 신호)를 표시한다. 도 12의 컨텍스트에서 설명될 것처럼, 패칭 결과(1111)에 대응하는 상이한 대역폭 확장 시간 블록들은 대역폭 확장 신호(135)의 지각적 품질을 증가시키도록 더 처리될 수 있다.
도 12는 도 11에서 도시되는 것처럼 상이한 패칭 알고리즘으로부터 얻어지는 상이한 대역폭 확장 시간 블록들(1202, 1204) 사이의 위상 지속/크로스-페이드 작업(1210)의 예시적 실행을 보여준다. 도 11 및 도 12를 참조하면, 패치 발생기(110)는 고조파 패칭 알고리즘(515) 및 카피-업 패칭 알고리즘(1025)를 수행하도록 구성될 수 있다. 특히, (도 11에서 도시되는 고조파 패칭 알고리즘(515)에서 얻어지는) 도 12에서 보여지는 블록(1202)은 현재 대역폭 확장 시간 블록(m')에 대응할 수 있고, 반면 (도 11에서 도시되는 카피-업 패칭 알고리즘(1025)으로부터 얻어지는) 도 12에서 보여지는 블록(1204)은 시간적으로 선행하는 대역폭 확장 시간 블록(m'-1)에 대응할 수 있다. 여기서, 시간적으로 선행하는 대역폭 확장 시간 블록(m'-1)은 현재 대역폭 확장 시간 블록(m')을 시간적으로 선행하며, 시간적으로 후행하는 대역폭 확장 시간 블록(m'+1)은 현재 대역폭 확장 시간 블록(m')을 시간적으로 후행한다.
도 12에 따라, 패치 발생기(110)는 카피-업 패칭 알고리즘(1025)로부터 발생되는 시간적으로 선행하는 대역폭 확장 시간 블록(m'-1) 또는 시간적으로 후행하는 대역폭 확장 시간 블록(m'+1) (1204) 및 고조파 패칭 알고리즘(515)로부터 발생되는 현재 대역폭 확장 시간 블록(m') 사이의 위상 연속(위상 지속, phase continuation, 1210)을 수행하도록 구성될 수 있다. 위상 연속(1210)의 결과에 따라, 위상 연속 신호(1215)가 얻어질 것이다. 도 12에서, 위상 연속 후에 얻어지는 예시적 신호(1212)가 설명된다. 예를 들어, 현재 대역폭 확장 시간 블록(m')(1202) 및 시간적으로 선행하는 대역폭 확장 시간 블록(m'-1) 또는 시간적으로 후행하는 대역폭 확장 시간 블록(m'+1)(1204)이 동일한 것(same)의 경계 영역(1213)에서 매끄러운 연속적인 위상 전이(phase transition)를 포함하도록 위상 연속(1210)이 수행된다. 예를 들어, 블록(1204)의 예시적 사인곡선적 신호가 경계 영역(1213)에서 그 끝단에서 이전 블록(1202)의 예시적 사인곡선적 신호에 따라 그 시작 지점에서의 동일 위상을 포함하도록 위상 연속(1210)이 수행된다. 위상 연속(1210)을 수행하는 것에 의해, 위상 연속 신호(1215)에서 위상 불연속 또는 단계를 피하는 것이 가능하다.
게다가, 패치 발생기(110)는 크로스-페이드 신호(cross-faded signal, 1215)를 얻기 위해 카피-업 패칭 알고리즘(1025)로부터 발생되는 시간적으로 선행하는 대역폭 확장 시간 블록(m'-1) 또는 시간적으로 후행하는 대역폭 확장 시간 블록(m'+1) 및 고조파 패칭 알고리즘(515)로부터 발생하는 현재 대역폭 확장 시간 블록(m')(1202) 사이의 크로스-페이드 작업(1210)을 수행하도록 구성될 수 있다. 크로스-페이드 작업(1210)의 결과에 따라, 현재 대역폭 확장 시간 블록(m')(1202) 및 시간적으로 선행하는 대역폭 확장 시간 블록(m'-1) 또는 시간적으로 후행하는 대역폭 확장 시간 블록(m'+1)은 동일한 것의 전이 영역(1217)에서 적어도 부분적으로 오버랩(중첩)할 것이다. 도 12에서, 크로스-페이드 작업으로부터 얻어지는 예시적 신호(1214)가 묘사된다. 예를 들어, 크로스-페이드 작업(1210)은 연속 블록들(1202, 1204) 각각의 시작 영역이 0에서 1 범위의 예시적 가중 인수에 의해 가중되도록 수행되며, 연속 블록들(1202, 1204) 각각의 끝 영역(end region)은 1에서 0 범위의 예시적 가중 인수에 의해 가중되며 두개의 연속 블록들(1202, 1204)은 동일한 것의 전이 영역(1217)에서 시간적으로 오버랩(중첩)된다. 이러한 전이 영역(1217)에서의 크로스-페이드 영역은, 예를 들어, 50%의 연속 블록들(1202, 1204)의 중첩에 대응할 수 있다. 크로스-페이드 작업(1210)을 수행하는 것에 의해, 블록 경계들에서 클릭킹 아티팩트들(clicking artefacts)을 피하는 것이 가능하고 그래서 지각적 품질의 저하를 피하는 것이 가능하다.
도 11의 개략적 도시(1100)에서, 도 12를 참조하여 설명되는 위상 연속/크로스-페이드 작업(1210)은 "크로스페이드 및 위상-정렬 영역"에 의해 표시되는 화살표(1132)에 의해 예시적으로 표시된다. 특히, 화살표(1132)는 비-전이 영역으로부터 대역폭 제한 오디오 신호(105)에서 과도 영역(1107)으로의 전이에 대응하는 고조파 패칭 알고리즘(515)으로부터 발생되는 패치 신호로부터 카피-업 패칭 알고리즘(1025)으로부터 발생되는 패치 신호로의 전이가 발생할 때 (또는 그 반대일 때) 위상 연속/크로스-페이드 작업(1210)이 바람직하게 수행된다는 것을 나타낸다. 이러한 방식으로, 블록 경계들에서 클릭킹 아티팩트들(clicking artefacts) 또는 위상 불연속으로 인한 대역폭 확장 신호(135)에 대한 지각 품질의 저하를 피할 수 있다.
카피-업 패칭 알고리즘의 동일 타입으로부터 얻어지는 대역폭 확장 시간 블록들 사이의 전이 동안, 카피-업 패칭 알고리즘은 위상 연속/크로스-페이드 작업(1210) 없이 연속적으로 수행되는 것이 도 11에서도 개략적으로 묘사된다. 이는 "(크로스페이드 없는) 카피-업"에 의해 표시되는 화살표(1134)에 의해 도 11에서 예시적으로 묘사된다. 이는 크로스-페이드 작업이 대역폭 제한 오디오 신호(105)의 과도 영역(1107)에 대응하는 대역폭 확장 시간 블록들에 대해 수행되지 않는 경우에 기본적으로 대응한다.
게다가, "크로스페이드 및 위상 정렬을 갖는 카피-업"에 의해 표시되는 화살표(1136)가 도 11에서 예시적으로 묘사된다. 이러한 화살표(1136)는 과도 영역(1107)에 대응하는 대역폭 확장 시간 블록들에 대해, (화살표(1134)에 의해 표시되는 것처럼) 위상 변화/크로스-페이드 작업(1210)이 수행되지 않는다는 것을 나타내며, 반면 카피-업 패칭 알고리즘으로부터 발생되는 패치된 신호(패치 신호) 및 고조파 패칭 알고리즘으로부터 발생되는 패치된 신호(패치 신호) 사이의 전이 영역에서 (즉, 상이한 타입의 패칭 알고리즘을 이용할 때), (화살표(1132)에 의해 표시되는 것처럼) 위상 연속/크로스-페이드 작업(1210)이 수행된다.
도 13은 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 장치(100)의 추가 실시예의 블록 다이어그램을 보여준다. 도 13의 실시예에 따라, 대역폭 확장 신호는 시간 영역 출력(time domain output, 135)에 의해 표현될 수 있고, 반면 대역폭 제한 오디오 신호는 도 2 및 4를 참조하여 설명되는 것처럼 복수의 주파수 부대역 신호들(215, 415)에 의해 표현될 수 있다. 도 13의 실시예에서, 장치(100)는 코어 디코더(1310), 도 2 및 4의 QMF 분석 필터뱅크(210, 410), 패치 발생기(110), 도 2 및 4의 QMF 합성 필터뱅크(220, 420) 및 포락선 조정 유닛(1320)을 포함한다. 게다가, 도 13에서 보여지는 패치 발생기(110)는 도 12를 참조하여 설명되는 것처럼 위상 연속/크로스-페이드 작업을 수해하기 위한 결합기 및 카피-업 패칭 알고리즘(525)를 수행하기 위한 제2패칭 유닛, 고조파 패칭 알고리즘(515)을 수행하기 위한 제1패칭 유닛을 포함한다.
특히, 코어 디코더(1310)는 대역폭 제한 오디오 신호를 나타내는 비트스트림(1305)으로부터 디코딩된 저주파수 신호(205)를 제공하도록 구성될 수 있다. QMF 분석 필터뱅크(210, 410)는 디코딩된 저주파수 신호(205)를 복수의 주파수 부대역 신호들(215, 415)로 변환하도록 구성될 수 있다. "HBE 패칭 (프레임 n-1)"에 의해 표시되는 제1패칭 유닛은 (여기서는 프레임 n - 1 에 의해 표시되는) 시간적으로 선행하는 대역폭 제한 시간 블록을 이용하여 제1패치 신호(1307)을 얻기 위해 복수의 주파수 부대역 신호들(215, 415) 상에서 작동하도록 구성될 수 있다. 게다가, 패치 발생기(110)의 제2패칭 유닛은 (여기서 프레임 n에 의해 표시되는) 현재 대역폭 제한 시간 블록을 이용하여 제2패치 신호(1309)를 얻기 위해 복수의 주파수 부대역 신호들(215, 415)에서 작동하도록 구성될 수 있다. 게다가, "위상 연속 및 크로스페이드를 갖는 결합기"에 의해 표시되는 패치 발생기(110)의 결합기는 패치 신호(115)를 나타내는 위상 연속/크로스-페이드 신호(1215)를 얻기 위한 위상 연속/크로스-페이드 작업(1210)을 이용하여 제1패치 신호(1307) 및 제2패치 신호(1309)를 결합하도록 구성될 수 있다. 여기서, 도 13에서 보여지는 패치 발생기(110)는 도 9에서 설명되는 것처럼 패칭 알고리즘 정보(911)에 대응하는 스위칭 정보(예를 들어, 과도 플래그)를 수신하도록 구성될 수 있다는 것이 주목된다. 예를 들어, 패치 발생기(110)는 과도 플래그가 대역폭 제한 오디오 신호의 정상성을 나타낼 때 제1패칭 유닛에 의한 고조파 패칭 알고리즘(515)를 수행하도록 그리고 과도 플래그가 대역폭 제한 오디오 신호의 비-정상성을 표시할 때 카피-업 패칭 알고리즘(525)을 수행하도록 구성된다. 포락선 조정 유닛(1320)은 포락선 조정 신호(1325)를 얻기 위해 SBR 파라미터(121)에 의존하여 패치 발생기(110)에 의해 제공되는 위상 연속/크로스-페이드 신호(1215)의 포락선을 조정하도록 구성될 수 있다. 게다가, QMF 합성 필터뱅크(220, 420)는 대역폭 확장 신호를 나타내는 시간 영역 출력(135)을 얻기 위해 QMF 분석 필터뱅크(210, 410)에 의해 제공되는 복수의 주파수 부대역 신호들(215, 415) 및 포락선 조정 유닛(1320)에 의해 제공되는 포락선 조정 신호(1325)를 결합하도록 구성될 수 있다.
비록 본 발명이 블록들이 실제 또는 논리 하드웨어 구성요소를 나타내는 곳에서 블록 다이어그램의 문맥으로 설명되었지만, 본 발명은 또한 컴퓨터-실행 방법에 의해 실행될 수도 있다. 후자의 경우, 블록들은 이러한 단계들이 대응하는 논리적 또는 물리적 하드웨어 블록들에 의해 수행되는 기능들을 나타내는 대응하는 방법 단계들을 나타낸다.
설명된 실시예들은 단지 본 발명의 원리를 나타내기 위한 것이다. 여기서 설명된 세부적인 배치의 조정 및 변형은 해당 분야의 통상의 기술자에게 명백할 것이라는 점이 이해되어야 한다. 그래서, 본 발명은 첨부된 특허 청구항에 의해서만 발명의 범위가 제한되는 것이며 여기의 실시예의 설명 및 묘사 방식에 의해 제시된 특정 세부사항들에 의해 제한되는 것은 아니다.
비록 몇몇 관점들이 장치의 관점에서 설명되었지만, 이러한 관점들은 또한 대응하는 방법의 묘사도 나타낸다는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 관점들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명 또한 나타낸다.
방법 발명의 몇몇 또는 전체는, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전기 회로같은, 하드웨어 장치에 의해 (또는 그것을 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중 몇몇 또는 그 이상은 그러한 장치에 의해 실행될 수 있다.
특정한 실행의 요구들에 의존하여, 이 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행들은 전자적으로 읽을 수 있는 컨트롤 신호들을 그곳에 저장하고 있는 디지털 저장매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리,를 이용하여 수행될 수 있고 그것은, 각 방법이 수행되는, 프로그래밍 가능한 컴퓨터 시스템과 연동한다(또는 연동할 수 있다).
본 발명에 따른 몇몇 실시 예들은 전자적 판독 가능한 컨트롤 신호들을 갖는 비-일시적 데이터 캐리어를 포함하며, 그것은 여기서 설명된 방법 중 하나가 수행되는 프로그래밍 가능한 컴퓨터 시스템과 연동 가능하다.
일반적으로 본 발명의 실시 예들은 프로그램 코드로 컴퓨터 프로그램 결과물에서 실행될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 결과물이 컴퓨터에서 수행될 때 상기 방법 중 하나를 수행하도록 작동되는 것이다. 프로그램 코드는 예시적으로 기계 판독가능 캐리어에 저장될 수도 있다.
다른 실시 예들은 여기에 설명되고, 기계 판독가능 캐리어에 저장된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다른 말로, 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터에서 운영될 때 여기서 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법의 추가 실시 예는, 거기에 저장된, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어이다.(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체). 데이터 캐리어, 디지털 저장 매체 또는 레코딩 매체는 일반적으로 유형 및/또는 무형이다.
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 순서 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 순서는, 예를 들어 인터넷 같은 데이터 통신 연결을 통해 전송되기 위해 예시적으로 구성될 수 있다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되기 위하여 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.
발명에 따른 추가 실시예는 여기서 설명된 방법 중 하나를 리시버에 수행하기 위한 컴퓨터 프로그램을 리시버에 전송하도록 구성된 장치 또는 시스템을 포함한다. 리시버는, 예를 들어, 컴퓨터, 모바일 장치, 메모리 장치 또는 유사품일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 리시버에 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그램가능한 논리 장치(예를 들어, 필드 프로그래밍가능 게이트 어레이)는 여기서 설명된 방버들의 기능 중 몇몇 또는 전체를 수행하도록 이용될 수 있다.
몇몇 실시 예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시 예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.
상기 설명된 실시 예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시 예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.
본 발명의 실시예들은 오디오 신호들의 저 지연 고조파 대역폭 확장 설계를 위한 개념을 제공한다.
요약하면, 본 발명에 따른 실시예들은 SSB 기반 패칭 및 HBE 기반 패칭의 결합으로 구성되는 혼합 패칭 설계를 이용하며, 여기서 위상 보코더 기반 HBE의 알고리즘 지연은 보상되지 않으며, 즉 HBE 패칭은 코어 코딩된 LF 부분과 비교하여 지연된다. 발명에 따른 몇몇 실시예들은 시간 블록 기반의 혼합 패칭 방법의 응용을 제공한다. 몇몇 실시예들에 따라, SSB 기반 패칭은 과도 영역들에서 적용되어야 하고, 여기서 부대역들을 넘는 수직 코히어런스(verical coherence)를 확보하는 것이 중요하며, HBE 기반 패칭은 정상 부분들(stationary parts)에 대해 이용되어야 하고, 여기서 신호의 고조파 구조를 유지하는 것이 중요하다. 발명의 실시예들은 신호의 음색 영역들의 정상성 특성 때문에 유리한 점을 제공하며 HBE 기반 패칭의 지연은 대역폭 확장 신호에 부정적인 영향을 주지 않으며, 이는 양쪽 패칭 알고리즘들 사이의 스위칭이 신뢰할만한 신호 의존 분류 수단에 의해 제어되기 때문이다. 예를 들어, 주어진 시간 블록의 패칭 알고리즘은 비트스트림을 통해 전송될 수 있다. HF 스펙트럼의 상이한 영역들의 전체 커버리지에 대해, BWE(대역폭 확장)은, 예를 들어, 몇몇 패치들을 포함한다. SSB 카피-업 작업에 대해, 저주파수 정보가 이용될 수 있다. HBE에서, 고차 패치들은 다중 위상 보코더들에 의해 발생되거나, 또는 고차 스펙트럼 영역을 점유하는 고차 패치들(patches of higher order)은 계산적으로 효율적인 SSB 카피-업 패칭에 의해 발생될 수 있고 고조파 구조의 보존을 위해 중간 스펙트럼 영역을 커버하는 저차 패치들(lower order patches)은 바람직하게는 HBE 패칭에 의해 요구된다. 패칭 방법들의 개별 믹스는 시간에 따라 정적일 수 있거나, 또는 바람직하게는, 비트스트림에서 시그널링될 수 있다.
두개의 패치들에 대해 예시된 새로운 패칭의 몇몇 알고리즘들은 도 7a 및 8a에서 도시된다. SSB 및 HBE는, 그러나, 도 5a (또는 도 6a)를 참조하여 설명되는 것처럼 결합될 수 있다. HBE의 응용(어플리케이션)은 f(프레임 x)로 표시된다. HBE 처리가 다른 오버랩-및-가산-방법처럼 신호들의 정상성의 이점을 취하는 다른 대역폭 확장 기술들에 의해 교환될 수 있다는 것은 주목할만하다.
발명의 실시예들은 정규 HBE 패칭과 비교하여 낮은 알고리즘 지연 및 정상(stationary) 신호 부분의 향상된 지각적 품질을 제공한다.
발전된 처리는 대역폭 확장 설계에 의존하는 오디오 코덱을 향상시키는데 유용하다. 이러한 처리는 주어진 비트레이트에서 최적의 지각적 품질이 아주 중요할 때, 그리고 동시에 낮은 전체 시스템 지연이 요구될 때 특히 유용하다.
가장 중요한 응용들은 아주 작은 시간 지연을 요구하는 계산적 시나리오들에 대해 이용되는 오디오 디코더들이다.
Claims (16)
- 대역폭 제한 오디오 신호(105)로부터 대역폭 확장 신호(135)를 발생시키기 위한 장치(100)에 있어서, 상기 대역폭 제한 오디오 신호(105)는 복수의 연속 대역폭 제한 시간 블록들(511)을 포함하고, 각 대역폭 제한 시간 블록은 코어 주파수 대역을 포함하는 적어도 하나의 관련 스펙트럼 대역 복제 파라미터(121)를 가지며, 상기 대역폭 확장 신호(135)는 복수의 연속 대역폭 확장 시간 블록들(513)을 포함하고,
상기 장치(100)는:
상기 대역폭 제한 오디오 신호(105)의 대역폭 제한 시간 블록을 이용하여 높은 주파수 대역을 포함하는 패치 신호(115)를 발생시키기 위한 패치 발생기(110);
상기 높은 주파수 대역을 포함하는 조작된 패치 신호(125)를 얻기 위해 현재 대역폭 제한 시간 블록(m)과 관련된 스펙트럼 대역 복제 파라미터(121)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 발생되는 상기 패치 신호(115) 또는 패칭 전 신호(105)를 조작하기 위한 신호 조작기(120); 및
상기 대역폭 확장 신호(135)를 얻기 위해 높은 주파수를 포함하는 상기 조작된 패치 신호(125) 및 상기 코어 주파수를 포함하는 상기 대역폭 제한 오디오 신호(105)를 결합하기 위한 결합기(130);를 포함하며,
상기 패치 발생기(110)는 상기 패치 신호(115)를 얻기 위해 고조파 패칭 알고리즘(515)을 수행하며,
상기 패치 발생기(110)는 상기 대역폭 제한 오디오 신호(105)의 복수의 연속 대역폭 제한 시간 블록들(511)의 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 복수의 연속 대역폭 확장 시간 블록들(513)의 현재 대역폭 확장 시간 블록(m')에 대해 상기 고조파 패칭 알고리즘(515)을 수행하며,
상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)은 상기 대역폭 제한 오디오 신호(105)의 상기 복수의 연속 대역폭 제한 시간 블록들(511)의 현재 대역폭 제한 시간 블록(m)을 시간적으로 선행하는,
대역폭 제한 오디오 신호(105)로부터 대역폭 확장 신호(135)를 발생시키기 위한 장치(100). - 제1항에 있어서,
상기 패치 발생기(110)는 적어도 두개의 대역폭 제한 시간 블록들 사이에서 오버랩 추가 처리를 이용하여 상기 고조파 패칭 알고리즘(515)을 수행하는, 장치(100). - 제1항에 있어서,
상기 패치 발생기(110)는 두개의 대역폭 확장 인수(σ1)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)에 상기 고조파 패칭 알고리즘(515)을 적용하며,
상기 패치 발생기(110)는 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)의 상기 코어 주파수 대역(505)으로부터 상기 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)을 발생시키며, 그리고
상기 패치 발생기(110)는 상기 현재 대역폭 확장 시간 블록(m')의 제2타겟 주파수 대역(509)에 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)의 코어 주파수 대역(505)으로부터 발생되는 상기 현재 대역폭 확장 시간 블록(m')의 상기 제1타겟 주파수 대역(507)을 복제하기 위한 카피-업 패칭 알고리즘(525)를 적용하는, 장치(100). - 제1항에 있어서,
상기 패치 발생기(110)는 두개의 대역폭 확장 인수(σ1)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)에 상기 고조파 패칭 알고리즘(515)를 적용하며,
상기 패치 발생기(110)는 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)의 상기 코어 주파수 대역(505)으로부터 상기 현재 대역폭 확장 시간 블록(m')의 제1타겟 주파수 대역(507)을 발생시키며,
상기 패치 발생기(110)는 세개의 대역폭 확장 인수(σ2)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)에 상기 고조파 패칭 알고리즘(825)를 적용하며,
상기 패치 발생기(110)는 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)의 상기 코어 주파수 대역(50)으로부터 상기 현재 대역폭 확장 시간 블록(m')의 제2타겟 주파수 대역(509)을 발생시키는, 장치(100) - 제1항에 있어서,
상기 패치 발생기(110)는 상기 대역폭 제한 오디오 신호(105)의 각 대역폭 제한 시간 블록에 상기 고조파 패칭 알고리즘(515)을 연속적으로 적용하는, 장치(100). - 제1항에 있어서,
패칭 알고리즘 정보(911)를 제공하기 위한 제공자(910);를 더 포함하며,
상기 패치 발생기(110)는 시간적으로 후행하는 대역폭 제한 시간 블록(m + 1)을 이용하여 시간적으로 후행하는 대역폭 확장 시간 블록에 대해 또는 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 시간적으로 선행하는 대역폭 확장 시간 블록에 대해 카피-업 패칭 알고리즘(925)을 수행하며,
상기 시간적으로 후행하는 대역폭 제한 시간 블록(m + 1)은 상기 현재 대역폭 제한 시간 블록(m)을 시간적으로 후행하며,
상기 패치 발생기(110)는 상기 패칭 알고리즘 정보(911)에 응답하여 상기 고조파 패칭 알고리즘(515)으로부터 발생되는 상기 현재 대역폭 확장 시간 블록(m')에 대해 상기 패치 신호(115)를 이용하는, 장치(100). - 제6항에 있어서,
상기 제공자(910)는 상기 대역폭 제한 오디오 신호(105) 내에 인코딩되는 부가 정보(111)를 이용하여 상기 패칭 알고리즘 정보(911)를 제공하는, 장치(100). - 제6항에 있어서,
상기 제공자(910)는 상기 대역폭 제한 오디오 신호(105)의 신호 분석에 의존하여 상기 패칭 알고리즘 정보(911)를 제공하는, 장치(100). - 제7항에 있어서,
상기 제공자(910)는 상기 대역폭 제한 오디오 신호(105)의 각 대역폭 제한 시간 블록에 대해 과도 플래그(915)를 결정하며,
상기 발생기(110)는 상기 대역폭 제한 오디오 신호(105)의 정상성(stationarity)이 상기 과도 플래그(915)에 의해 표시될 때 상기 고조파 패칭 알고리즘(515)으로부터 발생되는 상기 현재 대역폭 확장 시간 블록(m')에 대해 상기 패치 신호(115)를 이용하며, 그리고
상기 발생기(110)는 상기 대역폭 제한 오디오 신호(105)의 비-정상성(non-stationarity)이 상기 과도 플래그(915)에 의해 표시될 때 상기 카피-업 패칭 알고리즘(925)으로부터 발생되는 상기 패치 신호(115)를 이용하는, 장치(100). - 제1항에 있어서,
상기 패치 발생기(110)는 상기 현재 대역폭 확장 시간 블록(m') 및 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1) 사이에 제1시간 지연(1010)을 포함하는 상기 고조파 패칭 알고리즘(515)을 수행하며,
상기 패치 발생기(110)는 상기 현재 대역폭 제한 시간 블록(m)을 이용하여 카피-업 패칭 알고리즘(925)을 수행하며, 상기 카피-업 패칭 알고리즘(925)은 제2시간 지연(1020)을 포함하고,
상기 고조파 패칭 알고리즘(515)의 제1시간 지연(1010)은 상기 카피-업 패칭 알고리즘(925)의 제2시간 지연(1020)보다 더 큰 것을 특징으로 하는, 장치(100). - 제10항에 있어서,
상기 패치 발생기(110)는 상기 제1시간 지연(1010)을 포함하는 상기 고조파 패칭 알고리즘(515)를 수행하기 위한 위상 보코더(phase vocoder)를 포함하며, 그리고 상기 위상 보코더는 적어도 두개의 대역폭 제한 시간 블록들 사이에서 오버랩 가산 처리를 이용하는, 장치(100). - 제1항에 있어서,
상기 대역폭 제한 오디오 신호(105)에서 과도 이벤트(1105)를 감지하기 위한 과도 감지기;를 더 포함하며,
상기 패치 발생기(110)는 상기 과도 이벤트(1105)가 상기 대역폭 제한 오디오 신호(105)에서 감지될 때 카피-업 패칭 알고리즘(1025)을 수행하며, 그리고 상기 패치 발생기는 상기 과도 이벤트(1105)가 상기 대역폭 제한 오디오 신호(105)에서 감지될 때, 적어도 두개의 대역폭 제한 시간 블록들 사이에서 오버랩 가산 처리를 이용하여 상기 고조파 패칭 알고리즘(515)을 수행하지 않는, 장치(100). - 제1항에 있어서,
상기 패치 발생기(110)는 카피-업 패칭 알고리즘(1025)을 수행하며, 그리고
상기 패치 발생기(110)는 상기 고조파 패칭 알고리즘(515)으로부터 발생되는 상기 현재 대역폭 확장 시간 블록(m') 및 상기 카피-업 패칭 알고리즘(1025)으로부터 발생되는 시간적으로 후행하는 대역폭 확장 시간 블록(m' + 1) 또는 시간적으로 선행하는 대역폭 확장 시간 블록(m' - 1) 사이의 위상 연속(1210)을 수행하며, 상기 시간적으로 선행하는 대역폭 확장 시간 블록(m' - 1)은 상기 현재 대역폭 확장 시간 블록(m')을 시간적으로 선행하며 상기 시간적으로 후행하는 대역폭 확장 시간 블록(m' + 1)은 상기 현재 대역폭 확장 시간 블록(m')을 시간적으로 후행하는, 장치(100). - 제1항에 있어서,
상기 패치 발생기(110)는 카피-업 패칭 알고리즘(1025)을 수행하며,
상기 패치 발생기(110)는 상기 고조파 패칭 알고리즘(515)으로부터 발생되는 상기 현재 대역폭 확장 시간 블록(m') 및 상기 카피-업 패칭 알고리즘(1025)으로부터 발생되는 시간적으로 후행하는 대역폭 확장 시간 블록(m' + 1) 또는 시간적으로 선행하는 대역폭 확장 시간 블록(m' - 1) 사이의 크로스-페이드 작업(1210)을 수행하며, 상기 시간적으로 선행하는 대역폭 확장 시간 블록(m' - 1)은 상기 현재 대역폭 확장 시간 블록(m')을 시간적으로 선행하며 상기 시간적으로 후행하는 대역폭 확장 시간 블록(m' + 1)은 상기 현재 대역폭 확장 시간 블록(m')을 시간적으로 후행하며,
상기 현재 대역폭 확장 시간 블록(m') 및 상기 시간적으로 선행하는 대역폭 확장 시간 블록(m' - 1) 또는 시간적으로 후행하는 대역폭 확장 시간 블록(m' + 1)은 동일한 전이 영역(transition region, 1217)에서 적어도 부분적으로 중첩하는, 장치(100). - 대역폭 제한 오디오 신호(105)로부터 대역폭 확장 신호(135)를 발생시키기 위한 방법(100)에 있어서, 상기 대역폭 제한 오디오 신호(105)는 복수의 연속 대역폭 제한 시간 블록들(511)을 포함하고, 적어도 하나의 관련된 스펙트럼 대역 복제 파라미터를 갖는 각 대역폭 제한 시간 블록은 코어 주파수를 포함하며 대역폭 확장 신호(135)는 복수의 연속 대역폭 확장 시간 블록들(513)을 포함하며, 상기 방법(100)은;
상기 대역폭 제한 오디오 신호(105)의 대역폭 제한 시간 블록을 이용하여 높은 주파수 대역을 포함하는 패치 신호(115)를 발생시키는 단계(110);
상기 패치 신호(115)를 얻기 위해 고조파 패칭 알고리즘을 수행하는 단계(110);
상기 대역폭 제한 오디오 신호(105)의 복수의 연속 대역폭 제한 시간 블록들(511)의 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 복수의 연속 대역폭 확장 시간 블록들(513)의 현재 대역폭 확장 시간 블록(m')에 대한 고조파 패칭 알고리즘을 수행하는 단계(110);
높은 주파수 대역을 포함하는 조작된 패치 신호(125)를 얻기 위해 현재 대역폭 제한 시간 블록(m)과 관련된 스펙트럼 대역 복제 파라미터(121)를 이용하여 상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)을 이용하여 발생되는 상기 패치 신호(115) 또는 패칭 전 신호(105)를 조작하는 단계(120);
상기 대역폭 확장 신호(135)를 얻기 위해 높은 주파수를 포함하는 상기 조작된 패치 신호(125) 및 상기 코어 주파수를 포함하는 상기 대역폭 제한 오디오 신호(105)를 결합하는 단계(130);를 포함하며,
상기 시간적으로 선행하는 대역폭 제한 시간 블록(m - 1)은 상기 대역폭 제한 오디오 신호(105)의 복수의 연속 대역폭 제한 시간 블록들(511)에서 상기 현재 대역폭 제한 시간 블록(m)을 시간적으로 선행하는,
대역폭 제한 오디오 신호(105)로부터 대역폭 확장 신호(135)를 발생시키기 위한 방법(100). - 컴퓨터 프로그램이 컴퓨터 상에서 수행될 때, 제15항에 따른 방법(100)을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP12184706.5 | 2012-09-17 | ||
| EP12184706.5A EP2709106A1 (en) | 2012-09-17 | 2012-09-17 | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
| PCT/EP2013/068808 WO2014041020A1 (en) | 2012-09-17 | 2013-09-11 | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150066537A KR20150066537A (ko) | 2015-06-16 |
| KR101712477B1 true KR101712477B1 (ko) | 2017-03-06 |
Family
ID=47002644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157009438A KR101712477B1 (ko) | 2012-09-17 | 2013-09-11 | 대역폭 제한 오디오 신호로부터 대역폭 확장 신호를 발생시키기 위한 장치 및 방법 |
Country Status (20)
| Country | Link |
|---|---|
| US (2) | US9997162B2 (ko) |
| EP (2) | EP2709106A1 (ko) |
| JP (1) | JP6130507B2 (ko) |
| KR (1) | KR101712477B1 (ko) |
| CN (1) | CN104813395B (ko) |
| AR (1) | AR092599A1 (ko) |
| AU (1) | AU2013314401B2 (ko) |
| BR (1) | BR112015005893B1 (ko) |
| CA (1) | CA2884420C (ko) |
| ES (1) | ES2611347T3 (ko) |
| HK (1) | HK1212089A1 (ko) |
| MX (1) | MX348503B (ko) |
| MY (1) | MY169402A (ko) |
| PL (1) | PL2896042T3 (ko) |
| PT (1) | PT2896042T (ko) |
| RU (1) | RU2611974C2 (ko) |
| SG (1) | SG11201502075XA (ko) |
| TW (1) | TWI546800B (ko) |
| WO (1) | WO2014041020A1 (ko) |
| ZA (1) | ZA201502559B (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2709106A1 (en) * | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
| EP2980792A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an enhanced signal using independent noise-filling |
| US10847170B2 (en) * | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
| JP6611042B2 (ja) * | 2015-12-02 | 2019-11-27 | パナソニックＩｐマネジメント株式会社 | 音声信号復号装置及び音声信号復号方法 |
| EP3382704A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal |
| TWI809289B (zh) | 2018-01-26 | 2023-07-21 | 瑞典商都比國際公司 | 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040107090A1 (en) | 2002-11-29 | 2004-06-03 | Samsung Electronics Co., Ltd. | Audio decoding method and apparatus for reconstructing high frequency components with less computation |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5455888A (en) | 1992-12-04 | 1995-10-03 | Northern Telecom Limited | Speech bandwidth extension method and apparatus |
| US5796842A (en) * | 1996-06-07 | 1998-08-18 | That Corporation | BTSC encoder |
| US5940429A (en) * | 1997-02-25 | 1999-08-17 | Solana Technology Development Corporation | Cross-term compensation power adjustment of embedded auxiliary data in a primary data signal |
| SE512719C2 (sv) | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| US6549884B1 (en) | 1999-09-21 | 2003-04-15 | Creative Technology Ltd. | Phase-vocoder pitch-shifting |
| ATE319162T1 (de) * | 2001-01-19 | 2006-03-15 | Koninkl Philips Electronics Nv | Breitband-signalübertragungssystem |
| US6895375B2 (en) | 2001-10-04 | 2005-05-17 | At&T Corp. | System for bandwidth extension of Narrow-band speech |
| ES2791001T3 (es) * | 2004-11-02 | 2020-10-30 | Koninklijke Philips Nv | Codificación y decodificación de señales de audio mediante el uso de bancos de filtros de valor complejo |
| ES2619277T3 (es) * | 2007-08-27 | 2017-06-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Detector de transitorio y método para soportar la codificación de una señal de audio |
| KR100970446B1 (ko) * | 2007-11-21 | 2010-07-16 | 한국전자통신연구원 | 주파수 확장을 위한 가변 잡음레벨 결정 장치 및 그 방법 |
| DE102008015702B4 (de) * | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
| EP2250641B1 (en) * | 2008-03-04 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for mixing a plurality of input data streams |
| CN102150201B (zh) * | 2008-07-11 | 2013-04-17 | 弗劳恩霍夫应用研究促进协会 | 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码 |
| CN102089817B (zh) * | 2008-07-11 | 2013-01-09 | 弗劳恩霍夫应用研究促进协会 | 用于计算频谱包络数目的装置与方法 |
| CA2699316C (en) * | 2008-07-11 | 2014-03-18 | Max Neuendorf | Apparatus and method for calculating bandwidth extension data using a spectral tilt controlled framing |
| CA2729474C (en) * | 2008-07-11 | 2015-09-01 | Frederik Nagel | Apparatus and method for generating a bandwidth extended signal |
| CA2989886C (en) * | 2008-12-15 | 2020-05-05 | Frederik Nagel | Audio encoder and bandwidth extension decoder |
| EP2234103B1 (en) * | 2009-03-26 | 2011-09-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Device and method for manipulating an audio signal |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| EP2273493B1 (en) * | 2009-06-29 | 2012-12-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bandwidth extension encoding and decoding |
| US8498874B2 (en) * | 2009-09-11 | 2013-07-30 | Sling Media Pvt Ltd | Audio signal encoding employing interchannel and temporal redundancy reduction |
| RU2547220C2 (ru) * | 2009-10-21 | 2015-04-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и способ для генерирования высокочастотного аудиосигнала с применением адаптивной избыточной дискретизации |
| US8898057B2 (en) | 2009-10-23 | 2014-11-25 | Panasonic Intellectual Property Corporation Of America | Encoding apparatus, decoding apparatus and methods thereof |
| JP5854520B2 (ja) * | 2010-03-09 | 2016-02-09 | フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | オーディオ信号用の位相ボコーダに基づく帯域幅拡張方法における改善された振幅応答及び時間的整列のための装置及び方法 |
| BR122021014305B1 (pt) * | 2010-03-09 | 2022-07-05 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para processar um sinal de áudio utilizando alinhamento de borda de patch |
| SG178320A1 (en) * | 2010-06-09 | 2012-03-29 | Panasonic Corp | Bandwidth extension method, bandwidth extension apparatus, program, integrated circuit and audio decoding apparatus |
| EP2709106A1 (en) * | 2012-09-17 | 2014-03-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal |
-
2012
- 2012-09-17 EP EP12184706.5A patent/EP2709106A1/en not_active Withdrawn
-
2013
- 2013-09-11 WO PCT/EP2013/068808 patent/WO2014041020A1/en active Application Filing
- 2013-09-11 BR BR112015005893-0A patent/BR112015005893B1/pt active IP Right Grant
- 2013-09-11 PT PT137595393T patent/PT2896042T/pt unknown
- 2013-09-11 AU AU2013314401A patent/AU2013314401B2/en active Active
- 2013-09-11 SG SG11201502075XA patent/SG11201502075XA/en unknown
- 2013-09-11 MX MX2015003282A patent/MX348503B/es active IP Right Grant
- 2013-09-11 EP EP13759539.3A patent/EP2896042B1/en active Active
- 2013-09-11 ES ES13759539.3T patent/ES2611347T3/es active Active
- 2013-09-11 RU RU2015113983A patent/RU2611974C2/ru active
- 2013-09-11 JP JP2015531548A patent/JP6130507B2/ja active Active
- 2013-09-11 CN CN201380058323.XA patent/CN104813395B/zh active Active
- 2013-09-11 PL PL13759539T patent/PL2896042T3/pl unknown
- 2013-09-11 MY MYPI2015000654A patent/MY169402A/en unknown
- 2013-09-11 KR KR1020157009438A patent/KR101712477B1/ko active IP Right Grant
- 2013-09-11 CA CA2884420A patent/CA2884420C/en active Active
- 2013-09-17 AR ARP130103330A patent/AR092599A1/es active IP Right Grant
- 2013-09-17 TW TW102133676A patent/TWI546800B/zh active
-
2015
- 2015-03-17 US US14/659,911 patent/US9997162B2/en active Active
- 2015-04-16 ZA ZA2015/02559A patent/ZA201502559B/en unknown
- 2015-12-28 HK HK15112734.9A patent/HK1212089A1/zh unknown
-
2018
- 2018-05-14 US US15/978,342 patent/US10580415B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040107090A1 (en) | 2002-11-29 | 2004-06-03 | Samsung Electronics Co., Ltd. | Audio decoding method and apparatus for reconstructing high frequency components with less computation |
Non-Patent Citations (3)
| Title |
|---|
| Hsu, Han-Wen, et al. "Audio patch method in MPEG-4 HE AAC decoder." Audio Engineering Society Convention 117. Audio Engineering Society, 2004. |
| ISO/IEC JTC1/SC29/WG11, "FDIS 23003-3:2011(E), Information technology ─ MPEG audio technologies ─ Part 3: Unified speech and audio coding," 2011.09.20 |
| Nagel, Frederik, and Sascha Disch. "A harmonic bandwidth extension method for audio codecs." Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE International Conference on. IEEE, 2009. |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1212089A1 (zh) | 2016-06-03 |
| US9997162B2 (en) | 2018-06-12 |
| RU2015113983A (ru) | 2016-11-10 |
| US20150187360A1 (en) | 2015-07-02 |
| PL2896042T3 (pl) | 2017-05-31 |
| KR20150066537A (ko) | 2015-06-16 |
| ES2611347T3 (es) | 2017-05-08 |
| US20180261229A1 (en) | 2018-09-13 |
| AR092599A1 (es) | 2015-04-29 |
| JP6130507B2 (ja) | 2017-05-17 |
| EP2896042A1 (en) | 2015-07-22 |
| RU2611974C2 (ru) | 2017-03-01 |
| TW201423731A (zh) | 2014-06-16 |
| US10580415B2 (en) | 2020-03-03 |
| CA2884420C (en) | 2017-10-17 |
| BR112015005893B1 (pt) | 2021-06-15 |
| ZA201502559B (en) | 2016-04-28 |
| CN104813395A (zh) | 2015-07-29 |
| MX2015003282A (es) | 2015-07-06 |
| SG11201502075XA (en) | 2015-05-28 |
| MY169402A (en) | 2019-03-27 |
| WO2014041020A1 (en) | 2014-03-20 |
| TWI546800B (zh) | 2016-08-21 |
| BR112015005893A2 (pt) | 2017-08-22 |
| AU2013314401B2 (en) | 2016-04-28 |
| EP2896042B1 (en) | 2016-10-19 |
| MX348503B (es) | 2017-06-14 |
| CN104813395B (zh) | 2017-11-24 |
| PT2896042T (pt) | 2016-12-30 |
| EP2709106A1 (en) | 2014-03-19 |
| JP2015534112A (ja) | 2015-11-26 |
| CA2884420A1 (en) | 2014-03-20 |
| AU2013314401A1 (en) | 2015-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8837750B2 (en) | Device and method for manipulating an audio signal | |
| US10580415B2 (en) | Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal | |
| KR101207120B1 (ko) | 고조파 대역폭-확장과 비-고조파 대역폭-확장의 조합을 이용한 입력신호 표현에 기초한 대역폭-확장된 신호표현 생성장치, 방법 및 컴퓨터 프로그램 | |
| CA2766573C (en) | Bandwidth extension encoder, bandwidth extension decoder and phase vocoder | |
| AU2014201331B2 (en) | Bandwidth extension encoder, bandwidth extension decoder and phase vocoder | |
| AU2014208306B9 (en) | Device and method for manipulating an audio signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20200130 Year of fee payment: 4 |