KR101854298B1 - 낮은 계산 자원들로 인코딩된 오디오 신호를 디코딩하기 위한 장치 및 방법 - Google Patents
낮은 계산 자원들로 인코딩된 오디오 신호를 디코딩하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR101854298B1 KR101854298B1 KR1020167015028A KR20167015028A KR101854298B1 KR 101854298 B1 KR101854298 B1 KR 101854298B1 KR 1020167015028 A KR1020167015028 A KR 1020167015028A KR 20167015028 A KR20167015028 A KR 20167015028A KR 101854298 B1 KR101854298 B1 KR 101854298B1
- Authority
- KR
- South Korea
- Prior art keywords
- bandwidth extension
- harmonic
- audio signal
- extension mode
- harmonic bandwidth
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims description 47
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000001228 spectrum Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000010076 replication Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하기 위한 장치는: 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호를 수신하기 위한 입력 인터페이스(100); 제 2 비-고조파 대역폭 확장 모드를 사용하여 오디오 신호(101)를 디코딩하기 위한 프로세서(102); 및 대역폭 확장 제어 데이터가 인코딩된 신호를 위하여 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 제 2 비-고조파 대역폭 확장 모드를 사용하여 오디오 신호를 디코딩하도록 프로세서(102)를 제어하기 위한 컨트롤러(104);를 포함한다.
Description
본 발명은 오디오 처리 및 특히 감소된 계산 자원들을 사용하여 인코딩된 오디오 신호를 디코딩하기 위한 개념에 관한 것이다.
"통합 음성 및 오디오 코딩(USAC, 이하 USAC로 표기) 표준 [1]은 고조파 트랜스포저(harmonic transposer)를 사용하여, 고조파 대역폭 확장 툴(tool), 고조파 대역폭 확장(HBE, 이하 HBE로 표기)을 표준화하며, 이는 각각 [1] 및 [2]에서 표준화된, 스펙트럼 대역 복제(SBR, 이하 SBR로 표기) 시스템의 확장이다.
SBR은 주어진 부가 정보와 함께 주어진 저주파수 부분을 사용함으로써 대역폭 제한된 오디오 신호들의 고주파수 콘텐츠를 합성한다. 스펙트럼 대역 복제 툴은 [2]에서 설명되고, 향상된 스펙트럼 대역 복제, eSBR은 [1]에서 설명된다. 위상 보코더(phase vocoder)들을 사용하는 고조파 대역폭 확장(HBE)은 eSBR의 일부분이고 그것이 규칙적인 스펙트럼 대역 복제 처리에서 수행되기 때문에, 흔히 카피-업 패칭(copy-up patching)의 대상이 되는 신호들 내에서 관찰되는 청각 거칠기(auditory roughness)를 방지하기 위하여 개발되어왔다. HBE의 주요 범위는 주어진 오디오 신호의 합성된 고주파수 영역 내의 고조파 구조들을 보존하고 eSBR을 적용하는 것이다.
반면에 인코더는 HBE 툴의 사용을 선택할 수 있고, [1]에 적합한 디코더는 HBE 관련 데이터의 디코딩 및 적용을 제공하여야만 한다.
청취 테스트들[3]은 HBE의 사용이 [1]에 따라 디코딩된 비트스트림들의 지각적 오디오 품질을 향상시킬 것이라는 사실을 나타내었다.
HBE 툴은 고급 신호 처리 루틴(routine)들에 의해 레거시(legacy) 스펙트럼 대역 복제 시스템의 간단한 카피-업 패칭을 대체한다. 이는 필터 상태들 및 지연 라인들을 위한 상당한 양의 처리 전력 및 메모리를 요구한다. 이와 반대로, 카피-업 패칭의 복잡도는 무시해도 될 정도이다.
HBE와 함께 관찰되는 복잡도 증가는 개인용 컴퓨터 장치들에 대한 문제점이 아니다. 그러나, 디코더 칩들을 디자인하는 칩 제조사들은 계산적 작업부하 및 메모리 소비에 관한 엄격하고 낮은 복잡도 제약을 요구한다. 그렇지 않으면, 청각 거칠음을 방지하기 위하여 HBE 처리가 바람직하다.
USAC-비트스트림들은 {1]에서 설명되는 것과 같이 디코딩된다. 이는 필연적으로 [1]의 7.5.3에서 설명되는 것과 같은, HBE 디코더 툴의 구현을 나타낸다. 툴은 eSBR 처리를 포함하는 모든 코덱 작동 지점 내에 시그널링될 수 있다. [1]의 프로파일 및 적합성 표준을 충족시키는 디코더 장치들을 위하여 이는 전반적인 계산적 작업부하 및 메모리 소비의 최악의 경우가 상당히 증가하는 것을 의미한다.
계산 복잡도의 실제적 증가는 구현 및 플랫폼 의존적이다. 오디오 채널 당 메모리 소비의 증가는 현재 메모리 최적화된 구현에서, 실제 HBE 처리를 위하여 적어도 15 kWord이다.
덜 복잡하고 그럼에도 불구하고 존재하는 인코딩된 오디오 신호들의 처리에 적합한 인코딩된 오디오 신호를 디코딩하기 위한 향상된 개념을 제공하는 것이 본 발명의 목적이다.
본 발명의 목적은 청구항 1에 따른 인코딩된 오디오 신호의 디코딩을 위한 장치, 청구항 13에 따른 인코딩된 오디오 신호의 디코딩 방법 또는 청구항 14에 따른 컴퓨터 프로그램에 의해 달성된다.
본 발명은 감소된 메모리 자원들을 요구하는 오디오 디코딩 개념이 고조파 대역폭 확장 모드를 사용하여 디코딩되는 부분들로 구성되고 부가적으로 비-고조파 대역폭 확장 모드를 사용하여 디코딩되는 부분들을 포함하는 오디오 신호가 전체 신호에 걸쳐, 비-고조파 대역폭 확장 모드로만 디코딩될 때, 달성된다는 발견을 기초로 한다. 바꾸어 말하면, 신호가 고조파 대역폭 확장 모드를 사용하여 디코딩되도록 시그널링되는 부분들 또는 프레임들을 포함할 때라도, 이러한 부분들 또는 프레임들은 그럼에도 불구하고 비-고조파 대역폭 확장 모드를 사용하여 디코딩된다. 이를 위하여, 비-대역폭 확장 모드를 사용하여 오디오 신호를 디코딩하기 위한 프로세서가 제공되고 부가적으로 장치 내에 컨트롤러가 구현되거나 또는 심지어 인코딩된 오디오 신호 내에 포함된 대역폭 확장 제어 데이터가 오디오 신호를 위한 제 1(즉, 고조파) 대역폭 확장 모드를 나타날 때에도 제 2 비-고조파 확장 모드를 사용하여 오디오 신호를 디코딩하기 위한 프로세서를 제어하도록 디코딩하기 위한 방법 단계 내에 제어 단계가 구현된다. 따라서, 프로세서는 단지 계산적으로 매우 효율적인 비-고조파 대역폭 확장 모드에 대처하도록 메모리 및 처리 전력과 같은 상응하는 하드웨어 자원들과 함께 구현되어야만 한다. 다른 한편으로, 오디오 디코더는 그럼에도 불구하고 수용 가능한 품질을 갖는 고조파 대역폭 확장 모드를 요구하는 인코딩된 오디오 신호를 수용하고 디코딩하기 위한 위치 내에 존재한다. 달리 설명하면, 낮은 계산 자원 요구 적용들을 위하여, 컨트롤러는 이러한 신호의 적어도 일부분이 고조파 대역폭 확장 모드를 사용하여 디코딩되더라도, 인코딩된 오디오 신호 자체가 포함된 대역폭 확장 제어 데이터에 기인하여, 비-고조파 대역폭 확장 모드로 전체 오디오 신호를 디코딩하기 위하여 프로세서를 제어하도록 구성된다. 따라서, 두 대역폭 확장 모드 모두를 요구하는 인코딩된 오디오 신호들에 대한 완전한 하위 호환성(backward compatibility)이 유지되는 동안에, 한편으로는 계산 자원들 및 다른 한편으로는 오디오 품질 사이의 뛰어난 절충이 획득된다. 본 발명은 계산 복잡도 및 특히 USAC 디코더의 메모리 요구를 낮춘다는 사실 때문에 바람직하다. 게다가, 바람직한 실시 예들에서, 미리 결정되거나 또는 표준화된 비-고조파 대역폭 확장 모드는 심지어 비-고조파 대역폭 확장 모드의 오디오 품질을 향상시키기 위하여 가능한 한 기본적으로 비-고조파 대역폭 확장 모드에 반드시 필요하지 않은 대역폭 확장 모드 데이터를 재사용하기 위하여 비트스트림 내에 전송되는 고조파 대역폭 확장 모드 데이터를 사용하여 변형된다. 따라서, USAC 표준 [1]에서 설명되는 것과 같이 일반적으로 위상-보코더 처리를 기초로 하는 고조파 대역폭 확장 모드를 생략함으로써 야기되는 지각적 품질의 장애를 완화하기 위하여, 본 발명의 바람직한 실시 예에서 대안의 디코딩 전략이 제공된다.
일 실시 예에서, 프로세서는 제 2 비-고조파 대역폭 확장 모드를 사용하여 인코딩된 오디오 신호를 디코딩하기에 충분한 메모리 및 처리 자원들을 가지며, 인코딩된 오디오 신호가 인코딩된 스테레오 또는 다채널 오디오 신호일 때, 메모리 또는 처리 자원들은 제 1 고조파 대역폭 확장 모드를 사용하여 인코딩된 오디오 신호를 디코딩하기에 충분하지 않다. 이와 대조적으로 프로세서는 인코딩된 오디오 신호가 인코딩된 모노 신호일 때, 제 2 비-고조파 대역폭 확장 모드를 사용하고 제 1 고조파 대역폭 확장 모드를 사용하여 인코딩된 오디오 신호를 디코딩하기에 충분한 메모리 및 처리 자원들을 갖는데, 그 이유는 모노 디코딩을 위한 자원들이 스테레오 또는 다채널 디코딩을 위한 자원들과 비교하여 감소되기 때문이다.. 따라서, 이용 가능한 자원들은 비트-스트림 구성, 즉 툴들의 조합, 샘플링 레이트 등에 의존한다. 예를 들면, 자원들은 고조파 대역폭 확장을 모노 비트-스트림을 디코딩하기에 충분하나 프로세서는 고조파 대역폭 확장을 확장하여 스테레오 비트-스트림을 디코딩하는데 자원들이 부족하다는 사실이 가능할 수 있다.
그 뒤에, 바람직한 실시 예들이 첨부된 도면들의 맥락에서 설명된다.
도 1a는 제한된 자원 프로세서를 사용하여 인코딩된 오디오 신호를 디코딩하기 위한 장치의 일 실시 예를 도시한다.
도 1b는 두 대역폭 확장 모드 모두를 위한 인코딩된 오디오 신호의 일례를 도시한다.
도 1c는 USAC 표준 디코더 및 신규 디코더를 나타내는 테이블을 도시한다.
도 2는 도 1a의 컨트롤러를 구현하는 일 실시 예의 플로우차트를 도시한다.
도 3a는 공통 대역폭 확장 페이로드 데이터 및 부가적인 고조파 대역폭 확장 데이터를 갖는 인코딩된 오디오 신호의 또 다른 구조를 도시한다.
도 3b는 표준 비-고조파 대역폭 확장 모드를 변형하기 위한 컨트롤러의 구현을 도시한다.
도 3c는 컨트롤러의 또 다른 구현을 도시한다.
도 4는 향상된 비-고조파 대역폭 확장 모드의 구현을 도시한다.
도 5는 프로세서의 바람직한 구현을 도시한다.
도 6은 단일 채널 요소를 위한 디코딩 과정의 구문을 도시한다.
도 7a 및 7b는 채널-쌍 요소를 위한 디코딩 과정의 구문을 도시한다.
도 8a는 향상된 비-고조파 대역폭 확장 모드의 또 다른 구현을 도시한다.
도 8b는 도 8a에 표시된 데이터의 요약을 도시한다.
도 8c는 컨트롤러에 의해 실행되는 것과 같은 비-고조파 대역폭 확장 모드의 또 다른 구현을 도시한다.
도 8d는 패칭 버퍼 및 패칭 버퍼의 콘텐츠의 시프팅을 도시한다.
도 9는 비-고조파 대역폭 확장 모드의 바람직한 변형의 설명을 나타낸다.
도 1a는 제한된 자원 프로세서를 사용하여 인코딩된 오디오 신호를 디코딩하기 위한 장치의 일 실시 예를 도시한다.
도 1b는 두 대역폭 확장 모드 모두를 위한 인코딩된 오디오 신호의 일례를 도시한다.
도 1c는 USAC 표준 디코더 및 신규 디코더를 나타내는 테이블을 도시한다.
도 2는 도 1a의 컨트롤러를 구현하는 일 실시 예의 플로우차트를 도시한다.
도 3a는 공통 대역폭 확장 페이로드 데이터 및 부가적인 고조파 대역폭 확장 데이터를 갖는 인코딩된 오디오 신호의 또 다른 구조를 도시한다.
도 3b는 표준 비-고조파 대역폭 확장 모드를 변형하기 위한 컨트롤러의 구현을 도시한다.
도 3c는 컨트롤러의 또 다른 구현을 도시한다.
도 4는 향상된 비-고조파 대역폭 확장 모드의 구현을 도시한다.
도 5는 프로세서의 바람직한 구현을 도시한다.
도 6은 단일 채널 요소를 위한 디코딩 과정의 구문을 도시한다.
도 7a 및 7b는 채널-쌍 요소를 위한 디코딩 과정의 구문을 도시한다.
도 8a는 향상된 비-고조파 대역폭 확장 모드의 또 다른 구현을 도시한다.
도 8b는 도 8a에 표시된 데이터의 요약을 도시한다.
도 8c는 컨트롤러에 의해 실행되는 것과 같은 비-고조파 대역폭 확장 모드의 또 다른 구현을 도시한다.
도 8d는 패칭 버퍼 및 패칭 버퍼의 콘텐츠의 시프팅을 도시한다.
도 9는 비-고조파 대역폭 확장 모드의 바람직한 변형의 설명을 나타낸다.
도 1a는 인코딩된 오디오 신호를 디코딩하기 위한 장치의 일 실시 예를 도시한다. 인코딩된 오디오 신호는 제 1 고조파 대역폭 확장 모드 또는 제 2 비-고조파 대역폭 확장 모드를 나타내는 대역폭 확장 제어 데이터를 포함한다. 인코딩된 오디오 신호는 라인(101) 상에서 입력 인터페이스(100) 내로 입력된다. 입력 인터페이스는 라인(108)을 통하여 제한된 자원 프로세서(limited resources processor, 102)에 연결된다. 게다가, 적어도 선택적으로 라인(106)을 통하여 입력 인터페이스(100)에 연결되고 부가적으로 라인(110)을 통하여 프로세서(102)에 연결되는 컨트롤러(104)가 제공된다. 입력 인터페이스(100)는 인코딩된 오디오 신호의 프레임과 같은 인코딩된 부분을 위하여 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호를 수신하도록 구성된다. 프로세서(102)는 도 1a의 라인(100)에 가깝게 표시된 것과 같이 제 2 비-고조파 대역폭 확장 모드만을 사용하여 오디오 신호를 디코딩하도록 구성된다. 이는 컨트롤러에 의해 확인된다. 컨트롤러(104)는 대역폭 확장 제어 데이터가 인코딩된 오디오 신호를 위하여 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 제 2 비-고조파 대역폭 확장 모드를 사용하여 오디오 신호를 디코딩하기 위하여 프로세서(102)를 제어하도록 구성된다.
도 1b는 데이터 스트림 또는 비트스트림 내의 인코딩된 오디오 신호의 바람직한 구현을 도시한다. 인코딩된 오디오 신호는 전체 오디오 아이템을 위한 헤더(header, 114)를 포함하고, 전체 오디오 아이템은 프레임 1(116), 프레임 2(118) 및 프레임 3(120)과 같은 순차적인 프레임들로 편성된다. 각각의 프레임은 부가적으로 프레임 1을 위한 헤더 1(116a)과 같은, 관련 헤더 및 프레임 1을 위한 페이로드 데이터(116b)를 갖는다. 게다가, 제 2 프레임(118)은 다시 헤더(118a) 및 페이로드 데이터(118b)를 갖는다. 유사하게, 제 3 프레임(120)은 다시 헤더(120a) 및 페이로드 데이터(120b)를 갖는다. USAC 표준에서, 헤더(114)는 플래그 "harmonicSBR"을 갖는다. 만일 이러한 플래그 harmonicSBR가 제로(zero, 0)이면, 전체 오디오 아이템은 본 콘텍스트에서는 다시 ISO/IEC 1449-3:2009 오디오 부분인, 고효율 고급 오디오 코딩 표준(HE-AAC)를 언급하는, USAC 표준에서 정의된 것과 같이 비-고조파 대역폭 확장 모드를 사용하여 디코딩된다. 만일 harmonicSBR 플래그가 1의 값을 가지면, 고조파 대역폭 확장 모드가 가능해지나, 그때 각각의 프레임을 위하여, 제로 또는 1일 수 있는, 개별 플래그 sbrPatchingMode에 의해 시그널링될 수 있다. 이러한 콘텍스트에서, 상이한 두 개의 플래그의 값을 나타내는 도 1c가 참조된다. 따라서, 플래그 harmonicSBR이 1이고 플래그 sbrPatchingMode가 제로이면, USAC 표준 디코더는 고조파 대역폭 확장 모드를 실행한다. 그러나, 도 1c의 130에 표시된, 이러한 경우에서, 도 1a의 컨트롤러(102)는 그럼에도 불구하고 비-고조파 대역폭 확장 모드를 실행하기 위하여 프로세서(102)를 제어하도록 작동된다.
도 2는 본 발명의 과정의 바람직한 구현을 도시한다. 단계 200에서, 입력 인터페이스(100) 또는 디코딩을 위한 장치 내의 어떠한 다른 엔티티(entity)는 인코딩된 오디오 신호로부터 대역폭 확장 제어 데이터를 판독하고, 이러한 대역폭 확장 제어 데이터는 프레임 당 하나의 표시 또는, 만일 제공되면, USAC 표준과 관련하여 도 1b의 콘텍스트에서 설명된 것과 같이 아이템 당 부가적인 표시일 수 있다. 단계 202에서, 프로세서(102)는 대역폭 확장 제어 데이터를 수신하고 도 1a의 프로세서(102) 내에 구현되는 특정 제어 레지스터(control register) 내에 대역폭 확장 제어 데이터를 저장한다. 그리고 나서, 단계 204에서, 컨트롤러(104)는 이러한 프로세서 제어 레지스터를 액세스하고, 206에 표시된 것과 같이, 비-고조파 대역폭 확장을 나타내는 값으로 제어 레지스터를 중첩기록한다(overwrite). 이는 바람직하게는 도 6의 600에서 단일 채널 요소를 위하여, 또는 도 7a에서의 단계 700 및 각각 도 7b에서의 702, 704에 표시된 sbr_channel_pair_element를 위하여 USAC 구문 내에 도시된다. 특히, 도 2의 블록(206)에 도시된 것과 같은 "중첩기록"은 라인들(600, 700, 702, 704)을 USAC 구문 내로 삽입함으로써 구현될 수 있다. 특히, 도 6의 나머지는 ISO/IEC DIS 23003-3의 테이블 41과 상응하고, 도 7a, 7b는 ISO/IEC DIS 23003-3의 테이블 42와 상응한다. 이러한 국제 표준은 여기서 전체가 참조로써 통합된다. 표준에서, 도 6 및 도 7a, 7b에서의 모든 파라미터/값의 상세한 정의가 주어진다.
특히, 600, 700, 702, 704에 표시된 고레벨 구문 내의 부가적인 라인은 602에서 비트스트림으로부터 판독되는 것과 같은 값 sbrPatchingMode와 관계없이, sbrPatchingMode 플래그가 그럼에도 불구하고 1로 설정, 즉 디코더 내의 또 다른 과정에 비-고조파 확장 모드가 실행되는 것을 시그널링한다는 것을 나타낸다. 중요하게는, 구문 라인(600)은 604에 표시된 sbrOversamplingFlag, sbrPitchInBinsFlag 및 sbrPitchInBins로 구성되는 특정 고조파 대역폭 확장 데이터 내의 디코더-측 판독 다음에 위치된다. 따라서, 도 6에 도시된 것과 같이, 그리고 도 7a와 유사하게, 인코딩된 오디오 신호는 대역폭 확장 모드들 모두, 즉 비-고조파 대역폭 확장 모드 및 고조파 대역폭 확장 모드를 위한 공통 대역폭 확장 페이로드 데이터(606), 및 부가적으로 604에 도시된 고조파 대역폭 확장 모드에 특이적인 데이터를 포함한다. 변수 "IpHBE"는 본 발명의 과정, 즉 비-고조파 대역폭 확장 모드이나, "고조파 대역폭 확장"과 관련하여 뒤에 설명될 부가적인 변형을 갖는 "저 전력 고조파 대역폭 확장" 모드를 나타낸다.
바람직하게는, 도 1a에 표시된 것과 같이, 프로세서(102)는 제한된 자원 프로세서이다. 특히, 제한된 자원 프로세서(102)는 제 2 비-고조파 대역폭 확장 모드를 사용하여 오디오 신호를 디코딩하기에 충분한 처리 자원들 및 메모리 자원들을 갖는다. 그러나, 특히 메모리 또는 처리 자원들은 제 1 고조파 대역폭 확장 모드를 사용하여 인코딩된 오디오 신호를 디코딩하기에 충분하지 않다. 도 3a에 표시된 것과 같이, 프레임은 헤더(300), 공통 대역폭 확장 페이로드 데이터(302), 피치, 고조파 그리드 상의 정보와 같은 부가적 고조파 대역폭 확장 데이터(304), 및 부가적으로, 인코딩된 코어 데이터(306)를 포함한다. 그러나, 데이터 아이템들의 순서는 도 4s와 다를 수 있다. 다른 바람직한 실시 예에서, 그때, sbrPatchingMode 플래그/비트를 갖는 헤더(300)가 오고 부가적 HBE 데이터(304) 및 마지막으로 공통 대역폭 확장 데이터(302)가 뒤따른다.
부가적 고조파 대역폭 확장 데이터는 USAC 예에서, 도 6의 콘텍스트에서 설명되는 것과 같이, 아이템(604), 7 비트로 구성되는 sbrPitchInBins 정보이다. 특히, USAC 표준에 나타낸 것과 같이, 데이터 sbrPitchInBins는 SBR 고조파 트랜스포저 내의 외적 항들의 추가를 제어한다. sbrPitchInBins는 0 및 127 사이의 범위의 정수 값이고 코어 코더의 샘플링 주파수 상에 작용하는 1536-이산 푸리에 변환(DFT)을 위한 주파수 빈들 내의 측정된 거리를 표현한다. 특히, sbrPitchInBins 정보를 사용하여, 피치 또는 고조파 그리드가 결정될 수 있다는 사실이 발견되었다. 이는 도 8b의 공식 (1)에 도시된다. 고조파 그리드를 계산하기 위하여, sbrPitchInBins 및 sbrRatio의 값들이 계산되며 SBR 비율은 위의 도 8b에 표시될 수 있다.
자연적으로, 고조파 그리드, 피치 또는 고조파 그리드를 정의하는 기본 음조(tone)의 다른 표시들은 비트스트림 내에 포함된다. 이러한 데이터는 제 1 고조파 대역폭 확장 모드를 제어하도록 사용되고, 본 발명의 일 구현에서, 어떠한 변형 없이 비-고조파 대역폭 확장 모드가 실행되도록 폐기될 수 있다. 그러나 다른 실시 예들에서, 간단한 비-고조파 대역폭 확장 모드는 도 3b 및 다른 도면들에 도시된 것과 같이 고조파 대역폭 확장 모드를 위한 제어 데이터를 사용하여 변형된다. 바꾸어 말하면, 인코딩된 오디오 신호는 제 1 고조파 대역폭 확장과 제 2 비-고조파 대역폭 확장을 위한 공통 대역폭 확장 페이로드 데이터(302) 및 제 1 고조파 대역폭 확장 모드를 위한 부가적 페이로드 데이터(304)를 포함한다. 이러한 콘텍스트에서, 도 1에 도시된 컨트롤러(104)는 어떠한 변형 없는 제 2 비-고조파 대역폭 확장 모드에서의 연산과 비교하여 프로세서에 의해 실행되는 패칭 연산을 변형하도록 프로세서(102)를 제어하기 위하여 부가적 페이로드 데이터를 사용하도록 구성된다. 이를 위하여, 프로세서(102)가 도 3b에 도시된 것과 같이 패칭 버퍼를 포함하는 것이 바람직하며, 버퍼의 특정 구현이 바람직하게는 도 8d와 관련하여 설명된다.
또 다른 실시 예에서, 제 1 고조파 대역폭 확장 모드를 위한 부가적 페이로드 데이터(304)는 인코딩된 오디오 신호의 고조파 특성에 대한 정보를 포함하고, 이러한 고조파 특성은 sbrPitchInBins 데이터, 다른 고조파 그리드 데이터, 기존 음조 데이터 혹은 인코딩된 오디오 신호의 상응하는 부분의 고조파 그리드 또는 기본 음조 또는 피치가 유도될 수 있는, 어떠한 다른 데이터일 수 있다. 컨트롤러(104)는 패치 신호의 고조파 특성이 패칭 버퍼의 변형 없이 패칭된 신호보다 고조파 특성에 더 근접하도록 하기 위하여 인코딩된 오디오 신호를 디코딩하는데 있어서 패칭 연산을 실행하기 위하여 프로세서(102)에 의해 사용되는 패칭 버퍼의 패칭 버퍼 콘텐츠를 변형하도록 구성된다.
이를 위하여, 900에서 고조파 그리드(k·f0) 상의 스펙트럼 라인들 및 1부터 N으로 확장되는 고조파 라인들을 갖는 원래 스펙트럼을 도시한 도 9가 참조된다. 게다가, 기본 음조(f0)는 본 실시 예에서, 고조파 그리드가 모든 3의 배수를 포함하도록 3과 동일하다. 게다가, 아이템(902)은 패칭 이전에 디코딩된 코어 스펙트럼을 나타낸다. 특히, 크로스오버(crossover) 주파수(x0)가 16에 표시되고 패치 소스는 주파수 라인(4)부터 주파수 라인(10)으로 확장하도록 표시된다. 패치 소스 시작 및/또는 중단 주파수는 바람직하게는 일반적으로 도 3a의 공통 대역폭 확장 페이로드 데이터(302) 내의 데이터로서 인코딩된 오디오 신호 내에 시그널링된다. 아이템(904)은 아이템(902)과 동일한 상황을 나타내나, 906에서 부가적으로 계산되는 고조파 그리드(k·f0)를 갖는다. 게다가, 패치 목적지(patch destination, 908)가 표시된다. 이러한 패치 목적지는 바람직하게는 부가적으로 도 3a의 공통 대역폭 확장 페이로드 데이터(302) 내에 포함된다. 따라서, 패치 소스는 903에 표시된 것과 같이 소스 범위의 낮은 주파수를 나타내고 패치 목적지는 패치 목적지의 낮은 경계를 나타낸다. 만일 일반적으로 비-고조파 패칭이 910에 표시된 것과 같이 적용될 수 있으면, 패칭된 데이터 및 계산된 고조파 그리드(906)의 음조 라인들 또는 고조파 라인들 사이에 미스매치(mismatch)가 존재할 수 있다. 따라서 레거시 SBR 패칭 또는 간단한 USAC 또는 고효율 고급 오디오 코딩 비-고조파 패칭 모드는 거짓(false) 고조파 그리드를 갖는 패치를 삽입한다. 이러한 문제점을 다루기 위하여, 이러한 간단한 비-고조파 패치의 변형이 프로세서에 의해 실행된다. 변형하기 위한 한 가지 방법은 패칭 버퍼의 콘텐츠를 회전시키거나 또는 달리 설명하면, 고조파 라인들의 주파수 내의 거리를 변경하지 않고, 패칭 대역 내의 고조파 라인들을 이동시키는 것이다. 패치의 고조파 그리드를 패칭 이전에 디코딩된 스펙트럼의 계산된 고조파 그리드에 일치시키기 위한 다른 방법들은 통상의 지식을 가진 자들에 대하여 자명하디. 본 발명의 이러한 바람직한 실시 예에서, 공통 대역폭 확장 페이로드 데이터와 함께 인코딩된 오디오 신호 내에 포함된 부가적 고조파 확장 데이터는 간단하게 폐기되지 않고, 일반적으로 비트스트림 내에 시그널링되는 비-고조파 대역폭 확장 모드를 변형함으로써 오디오 품질을 훨씬 향상시키도록 재사용된다. 그럼에도 불구하고, 변형된 비-고조파 대역폭 확장 모드가 여전히 인접한 주파수 빈들의 세트의 인접한 주파수 빈들 내로의 카피-업 연산에 의존하는 비-고조파 대역폭 확장이라는 사실에 기인하여, 이러한 과정은 간단한 비-고조파 대역폭 확장 모드의 실행과 비교하여 부가적인 양의 메모리 자원들을 야기하지 않고 912에서 도 9에 표시한 것과 같은 고조파 그리드들의 일치에 기인하여 재구성된 신호의 오디오 품질을 상당히 향상시킨다.
도 3c는 도 3b의 컨트롤러에 의해 실행되는 바람직한 구현을 도시한다. 단계 310에서, 컨트롤러(104)는 부가적 고조파 대역폭 확장 데이터로부터 고조파 그리드를 계산하며 이를 위하여, 어떠한 계산이 실행될 수 있으나, USAC의 콘텍스트에서 도 8b의 공식 (1)이 실행된다. 게다가, 단계 312에서, 패칭 소스 대역 및 패칭 표적 대역이 계산되며, 즉 이는 기본적으로 공통 대역폭 확장 데이터로부터 패치 소스 데이터(903) 및 패치 목적지 데이터(908)의 판독을 포함할 수 있다. 그러나, 다른 실시 예들에서, 이러한 데이터는 미리 정의될 수 있고 따라서 디코더에 이미 알려질 수 있으며 반드시 전송될 필요는 없다.
단계 314에서, 패칭 소스 대역은 주파수 경계들 내에 변형되는데, 즉 패치 소스의 패치 경계들은 전송된 데이터와 비교하여 변경되지 않는다. 이는 패칭 이전에, 즉 902에 표시된 패칭 이전에 패치 데이터가 코어 또는 디코딩된 스펙트럼과 관련될 때 혹은 패치 콘텐츠가 이미 높은 주파수 범위 내로, 즉 패칭 이후에 회전이 실행되는 910 및 912에서 도 9에 도시된 것과 같이, 전치되었을 때 수행될 수 있으며, 패칭은 화살표(914)에 의해 부호화된다.
이러한 패칭(914) 또는 "카피-업(copy-up)"은 6 주파수 증대, 및 표적 범위 내의, 즉 910 또는 912에서 동일한 6 주파수 증대를 포함하는 패치 소소의 광범위함을 비교함으로써 도 9에서 알 수 있는 비-고조파 패칭이다.
변형은 고조파 그리드와 상응하는 패칭 소스 대역 내의 주파수 부분이 패칭 이후에, 고조파 그리드와 상응하는 표적 주파수 부분 내에 위치되는 방식으로 실행된다.
바람직하게는, 도 8d에 도시된 것과 같이, 세 가지 상이한 상태(828, 830, 832)에 표시된 패칭 버퍼가 프로세서(102) 내에 제공된다. 프로세서는 도 4의 300에 표시된 것과 같이 패칭 버퍼를 로딩하도록 구성된다. 그리고 나서, 컨트롤러는 부가적 대역폭 확장 데이터 및 공통 대역폭 확장 데이터를 사용하여 버퍼 시프트(buffer shift) 값을 계산하도록(402) 구성된다. 그리고 나서, 단계 404에서, 계산된 버퍼 시프트 값에 의해 버퍼 콘텐츠가 시프트된다. 아이템(830)은 시프트 값이 "-2"가 되도록 계산된 때를 나타내고, 아이템(832)은 단계 404에서 2의 시프트 값이 계산된 버퍼 상태를 나타내며 +2에 의한 시프트가 단계 404에서 실행되었다. 그리고 나서, 도 4의 406에 도시된 것과 같이, 시프트된 패칭 버퍼 콘텐츠를 사용하여 패칭이 실행되며 패치는 그럼에도 불구하고 비-고조파 방법으로 실행된다. 그리고 나서, 단계 408에서, 패치 결과는 공통 대역폭 확장 데이터를 사용하여 변형된다. 그러한 부가적으로 사용되는 공통 확장 대역폭 데이터는 고효율 고급 오디오 코딩으로부터 또는 USAC로부터 알려진 것과 같이, 스펙트럼 엔벨로프 데이터, 특정 고조파 라인들 상의 데이터, 역 필터링 데이터 등일 수 있다.
이를 위하여, 도 1a의 프로세서(102)의 더 상세한 구현을 도시한 도 5가 참조된다. 프로세서는 일반적으로 코어 디코더(500), 패칭 버퍼를 갖는 패처(patcher, 502), 패치 변형기(504) 및 결합기(506)를 포함한다. 코어 디코더는 도 9의 902에 도시된 것과 같이 패칭 이전에 디코딩된 스펙트럼을 획득하기 위하여 인코딩된 오디오 신호를 디코딩하도록 구성된다. 그리고 나서, 패칭 버퍼를 갖는 패처(502)는 도 9의 연산(914)을 실행한다. 패처(502)는 도 9의 콘텍스트에서 설명되는 것과 같이 패칭 이전 또는 이후에 패칭 버퍼의 변형을 실행한다. 패치 변형기(504)는 도 4의 408에서 설명된 것과 같은 패치 결과를 변형하기 위하여 최종적으로 부가적 대역폭 확장 데이터를 사용한다. 그리고 나서, 최종적으로 도 1a의 라인(112)에서의 출력과 같은 대역폭 인코딩된 오디오 신호를 획득하기 위하여, 예를 들면 합성 필터뱅크 형태의 주파수 도메인 결합기일 수 있는, 결합기(506)가 패치 변형기(504)의 출력 및 코어 디코더(500)의 출력, 즉 저대역 신호를 결합한다.
도 1b에서 이미 설명된 것과 같이, 대역폭 확장 제어 데이터는 도 1b에 도시된 harmonicSBR과 같은, 오디오 아이템을 위한 제 1 제어 데이터 엔티티를 포함할 수 있고, 이러한 오디오 아이템은 복수의 오디오 프레임(116, 118, 120)을 포함한다. 제 1 제어 데이터 엔티티는 제 1 고조파 대역폭 확장 모드가 복수의 프레임을 위하여 활성인지 또는 아닌지를 나타낸다. 게다가, 바람직하게는 개별 프레임들을 위한 각각의 헤더들(116a, 118a, 120a) 내에 제공되는 USAC 표준 내의 SBR 패칭 모드와 상응하는, 제 2 제어 데이터 엔티티가 제공된다.
도 1a의 입력 인터페이스(100)는 오디오 아이템을 위한 제 1 제어 데이터 및 복수의 프레임의 각각의 프레임을 위한 제 2 제어 데이터 엔티티를 판독하도록 구성되고, 도 1a의 컨트롤러는 제 1 제어 데이터 엔티티의 값과 관계없이 그리고 제 2 제어 데이터 엔티티의 값과 관계없이 제 2 비-고조파 대역폭 확장 모드를 사용하여 오디오 신호를 디코딩하기 위하여 프로세서(102)를 제어하도록 구성된다.
본 발명의 일 실시 예에서, 그리고 도 6 및 도 7a, 7b의 구문 변화들에 의해 도시된 것과 같이, USAC 디코더는 상대적으로 높은 복잡도의 고조파 대역폭 확장 계산을 생략하도록 강요된다. 따라서, 만일 600 및 700, 702, 704에 표시된 IpHBE 플래그가 비-제로 값으로 설정되면, 대역폭 확장 또는 "저전력 HBE"가 관련된다. IpHBE 플래그는 이용 가능한 하드웨어 자원들에 의존하여, 개별적으로 디코더에 의해 설정될 수 있다. 제로 값은 디코더가 완전하게 표준 순응을, 즉, 도 1b의 제 1 및 제 2 제어 데이터에 의해 명령되는 것과 같이 작용할 것이라는 것을 의미한다. 그러나, 만일 값이 1이면, 비-고조파 대역폭 확장 모드는 고조파 대역폭 확장 모드가 시그널링되더라도 프로세서에 의해 실행될 것이다.
따라서, 본 발명은 새로운 디코딩 과정과 함께 낮은 계산 복잡도 및 낮은 메모리 소비 요구 프로세서를 제공한다. [1]에 정의되는 것과 같이 eSBR의 비트스트림 구문은 HBE [1] 및 레거시 SBR 디코딩 [2] 모두를 위한 공통 베이스(common base)를 공유한다. 그러나 HBE의 경우에, 부가적인 정보가 비트스트림 내로 인코딩된다. 본 발명의 바람직한 실시 예에서의 "낮은 복잡도 HBE" 디코더는 [1]에 따른 USAC 인코딩된 데이터를 디코딩하고 모든 HBE 특이 정보를 폐기한다. 나머지 eSBR 데이터는 그리고 나서 레거시 SBR [2] 알고리즘에 제공되고 이에 의해 해석되는데, 즉 데이터는 고조파 전치(harmonic transposition) 대신에 카피-업 패칭 [2]을 적용하도록 사용된다. eSBR 디코딩 역학의 변형은 도 6 및 7a, 7b에 도시된, 구문 변화들과 관련된다. 게다가, 바람직한 실시 예에서, 비트스트림에 의해 운반되는 sbrPitchInBins 정보와 같은 특정 HBE 정보가 재사용된다.
레거시 USAC 인코딩된 비트스트림 데이터로 sbrPitchInBins 값은 USAC프레임 내에 전송될 수 있다. 이러한 값은 현재 USAC 프레임의 고조파 구조를 기술하는 정보를 전송하도록 인코더에 의해 결정된 주파수 값을 반영한다. 표준 HBE 기능을 사용하지 않고 이러한 값을 이용하기 위하여, 아래의 본 발명의 방법이 단계적으로 실행되어야만 한다:
1. 비트스트림으로부터 sbrPitchInBins을 추출
USAC 비트스트림 [1]으로부터 비트스트림 요소 sbrPitchInBins를 어떻게 추출하는지의 정보를 위하여 각각 테이블 44 및 45 참조.
2. 공식 (1)에 따라 고조파 그리드를 계산
3. 고조파 그리드에 대한 소스 패치 시작 서브-대역 및 목적지 패치 시작 서브-대역 모두의 거리를 계산.
도 8a의 플로우차트는 고조파 그리드에 대한 시작 및 중단 패치의 거리를 어떻게 계산하는지에 대한 본 발명의 알고리즘의 상세한 설명을 제공한다.
harmonicGrid (hg) (1)에 따른 고조파 그리드
source_ band 도 9의 직각 대칭 필터(QMF, 이하 QMF로 표기) 패치 소스 대역(903)
dest _ band 도 9의 QMF 패치 목적지 대역(908)
p_mod_ x source_band mod hg
k_mod_ x dest_band mod hg
mod 모듈로(modulo) 연산
NINT 가장 가까운 정수로 반올림
sbrRatio SBR 비율, 즉 1/2, 3/8 또는 1/4
pitchInBins 비트스트림 내에 전송된 피치 정보
그 뒤에, 도 8a가 더 상세히 설명된다. 바람직하게는, 이러한 제어, 즉 전체 계산은 도 1a의 컨트롤러에서 실행된다. 단계 800에서, 고조파 그리드는 도 8b에 도시된 것과 같이 공식 (1)에 따라 계산된다. 그리고 나서, 고조파 그리드(hg)가 2보다 작은지가 결정된다. 만일 이러한 경우가 아니면, 제어는 단계 810으로 진행한다. 그러나, 고조파 그리드가 2보다 작은 것으로 결정될 때, 단계 804는 소스 대역 값이 짝수인지를 결정한다. 만일 이러한 경우이면, 고조파 그리드는 2로 결정되나 만일 이러한 경우가 아니면, 고주파 그리드는 3과 동일한 것으로 결정된다. 그리고 나서, 단계 810에서, 모듈로 계산들이 실행된다. 단계 812에서, 모듈로 계산 모두가 상이한지가 결정된다. 만일 결과들이 동일하면, 과정은 종료되고, 만일 결과들이 상이하면, 두 모듈로-계산 결과 사이의 차이로서 블록 814 내에 표시된 것과 같이 시프트 값이 계산된다. 그리고 나서, 또한 단계 814에 도시된 것과 같이, 랩어라운드(wraparound)를 갖는 버퍼 시프트가 실행된다. 시프트를 적용할 때 위상 관계들이 바람직하게 고려된다는 것에 주목할 가치가 있다. 제어는 단계 816에서 종료된다.
요약하면, 도 8c에 도시된 것과 같이, 전체 과정은 820에 표시된 것과 같이 비트스트림으로부터 sbrPitchInBins를 추출하는 단계를 포함한다. 그리고 나서, 컨트롤러는 822에 표시된 것과 같이 고조파 그리드를 계산한다. 그리고 나서, 단계 824에서, 바람직한 실시 예에서, 단계 810과 상응하는, 고조파 그리드에 대한 소스 시작 서브-대역의 거리 및 목적지 시작 서브-대역의 거리 모두가 계산된다. 마지막으로, 블록 826에 표시된 것과 같이, QMF 버퍼 시프트, 즉 고효율 고급 오디오 코딩 비-고조파 대역폭 확장의 QMF 도메인 내의 랩어라운드 시프트가 실행된다.
QMF 버퍼 시프트에서, 신호의 고조파 구조는 비-고조파 확장 과정이 실행되었더라도 전송된 sbrPitchInBins 정보에 따라 제구성된다.
인코딩 및 디코딩을 위한 장치의 맥락에서 일부 양상들이 설명되었으나, 이러한 양상들은 또한 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 하나 또는 그 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 플로피 디스크, 하드 디스크 드라이브(HDD), DVD, 블루-레이, CD, RON, PROM, EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독 가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(혹은 데이터 저장 매체, 또는 컴퓨터 판독가능 매체와 같은, 비-전이형 저장 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형(tangible) 및/또는 비-전이형이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 선택적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
위에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
참고문헌
[1] ISO/IEC 23003-3:2012: "Unified speech and audio coding"
[2] ISO/IEC 14496-3:2009: "Audio"
[3] ISO/IEC JTCI/SC29/WG11 MPEG2011/N12232: "USAC Verification Test Report"
100 : 입력 인터페이스
101 : 인코딩된 오디오 신호
102 : 프로세서
104 : 컨트롤러
106, 108, 110 : 라인
114 : 헤더
116 : 프레임 1
116a : 헤더
116b : 페이로드 데이터
118 : 프레임 2
118a : 헤더
118b : 페이로드 데이터
120 : 프레임 3
120a : 헤더
120b : 페이로드 데이터
300 : 헤더
302 : 공통 대역폭 확장 페이로드 데이터
304 : 부가적 고조파 대역폭 확장 데이터
306 : 인코딩된 코어 데이터
500 : 코어 디코더
502 : 패처
504 : 패치 변형기
506 : 결합기
604 : 아이템
830, 832 : 아이템
902, 904 : 아이템
903 : 패치 소스 데이터
906 : 고조파 그리드
908 : 패치 목적지 데이터
101 : 인코딩된 오디오 신호
102 : 프로세서
104 : 컨트롤러
106, 108, 110 : 라인
114 : 헤더
116 : 프레임 1
116a : 헤더
116b : 페이로드 데이터
118 : 프레임 2
118a : 헤더
118b : 페이로드 데이터
120 : 프레임 3
120a : 헤더
120b : 페이로드 데이터
300 : 헤더
302 : 공통 대역폭 확장 페이로드 데이터
304 : 부가적 고조파 대역폭 확장 데이터
306 : 인코딩된 코어 데이터
500 : 코어 디코더
502 : 패처
504 : 패치 변형기
506 : 결합기
604 : 아이템
830, 832 : 아이템
902, 904 : 아이템
903 : 패치 소스 데이터
906 : 고조파 그리드
908 : 패치 목적지 데이터
Claims (16)
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하기 위한 장치에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하기 위한 입력 인터페이스(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하기 위한 프로세서(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호를 디코딩하도록 상기 프로세서(102)를 제어하기 위한 컨트롤러(104);를 포함하며,
상기 입력 인터페이스(100)는 상기 인코딩된 오디오 신호가 상기 제 1 고조파 대역폭 확장 모드 또는 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 디코딩되는지를 결정하도록 상기 대역폭 확장 제어 데이터를 판독하고 상기 대역폭 확장 제어 데이터를 프로세서 제어 레지스터 내에 저장하도록 구성되고,
상기 컨트롤러(104)는 상기 입력 인터페이스(100)가 상기 제 1 고조파 대역폭 확장 모드를 나타내는 값을 저장하였을 때, 상기 프로세서 제어 레지스터를 액세스하고, 상기 제 2 비-고조파 대역폭 확장 모드를 표시하는 값에 의해 상기 프로세서 제어 레지스터 내의 값을 중첩기록하도록 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1항에 있어서, 상기 프로세서(102)는 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 인코딩된 오디오 신호를 디코딩하기에 충분한 메모리 및 처리 자원들을 가지며, 상기 메모리 또는 처리 자원들은 상기 제 1 고조파 대역폭 확장 모드를 사용하여 상기 인코딩된 오디오 신호를 디코딩하기에 충분하지 않은, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하기 위한 장치에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하기 위한 입력 인터페이스(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하기 위한 프로세서(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호를 디코딩하도록 상기 프로세서(102)를 제어하기 위한 컨트롤러(104);를 포함하며,
상기 인코딩된 오디오 신호는 상기 제 1 고조파 대역폭 확장 모드와 상기 제 2 비-고조파 대역폭 확장 모드를 위한 공통 대역폭 확장 페이로드 데이터(302) 및 상기 제 1 고조파 대역폭 확장 모드만을 위한 부가적 페이로드 데이터(304)를 포함하고,
상기 컨트롤러(104)는 상기 제 2 비-고조파 대역폭 확장 모드에서의 패칭 연산과 비교하여 상기 프로세서에 의해 실행되는 패칭 연산을 변형하도록 상기 프로세서(102)를 제어하기 위하여 상기 부가적 페이로드 데이터(304)를 사용하도록 구성되며, 상기 변형된 패칭 연산은 비-고조파 패칭 연산인, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 3항에 있어서, 상기 부가적 페이로드 데이터(304)는 상기 인코딩된 오디오 신호의 고조파 특성에 대한 정보를 포함하고,
상기 컨트롤러(104)는 패칭된 신호의 고조파 특성이 패칭 버퍼 콘텐츠의 변형 없이 패칭된 신호의 고조파 특성보다 상기 고조파 특성에 더 가깝도록 하기 위하여 상기 인코딩된 오디오 신호를 디코딩하는데 있어서 패칭 연산을 실행하기 위하여 상기 프로세서(102)에 의해 사용되는 패칭 버퍼의 패칭 버퍼 콘텐츠(828, 830, 832)를 변형하도록 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 3항에 있어서,
상기 컨트롤러(104)는:
상기 부가적 페이로드 데이터로부터 피치 주파수를 나타내는 고조파 그리드를 계산하도록(310);
주파수 경계들을 갖는 패칭 소스 대역 및 주파수 경계들을 갖는 패칭 표적 대역을 위한 패칭 소스 정보 및 패칭 표적 정보를 결정하도록(312); 그리고
상기 고조파 그리드와 일치하는 상기 패칭 소스 대역 내의 상기 주파수 부분이, 패칭(914) 이후에, 상기 고조파 그리드와 일치하는 표적 주파수 부분(912) 내에 위치되도록 하기 위하여, 패칭(914) 연산 이전 또는 이후에 상기 주파수 경계들 내의 상기 패칭 소스 대역 내의 상기 데이터를 변형하도록(314); 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 3항에 있어서,
상기 프로세서(102)는 패칭 버퍼를 포함하고,
상기 프로세서는 상기 공통 대역폭 확장 페이로드 데이터를 사용하여 상기 패칭 버퍼를 로딩하도록(400) 구성되며,
상기 컨트롤러는 패치 소스 대역 정보(903) 및 패치 목적지 대역 정보(908)를 사용하여 상기 인코딩된 오디오 신호의 고조파 그리드를 나타내는 상기 부가적 페이로드 데이터를 사용하여 버퍼 시프트 값을 계산하도록(402) 구성되며,
상기 컨트롤러는 시프트된 버퍼 콘텐츠를 얻기 위해 상기 버퍼 시프트 값에 의해 패칭 버퍼의 버퍼 콘텐츠에 대한 버퍼 시프트 연산을 야기하도록 구성되며,
상기 프로세서(102)는 시프트된 버퍼 콘텐츠를 사용하여 패칭된 데이터를 발생시키도록(406, 408) 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 6항에 있어서, 상기 컨트롤러는 랩어라운드로 상기 버퍼 시프트 연산을 야기하도록(404) 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하기 위한 장치에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하기 위한 입력 인터페이스(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하기 위한 프로세서(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호를 디코딩하도록 상기 프로세서(102)를 제어하기 위한 컨트롤러(104);를 포함하며,
상기 프로세서는:
코어 인코딩된 오디오 신호(902)를 디코딩하기 위한 코어 디코더(500);
상기 비-고조파 대역폭 확장 모드에 따라 상기 인코딩된 오디오 신호로부터 대역폭 확장 데이터를 사용하여 상기 코어 인코딩된 오디오 신호의 소스 주파수 영역을 표적 주파수 영역에 패칭하기 위한 패처(502); 및
상기 인코딩된 오디오 신호로부터 대역폭 확장 데이터를 사용하여 상기 표적 주파수 영역 내의 패칭된 신호를 변형하기 위한 패치 변형기(504);를 포함하는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하기 위한 장치에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하기 위한 입력 인터페이스(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하기 위한 프로세서(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호를 디코딩하도록 상기 프로세서(102)를 제어하기 위한 컨트롤러(104);를 포함하며,
상기 대역폭 확장 제어 데이터는 복수의 오디오 프레임을 포함하는 오디오 아이템을 위한 제 1 제어 데이터 엔티티(114)를 포함하고, 상기 제 1 제어 데이터 엔티티는 상기 복수의 프레임을 위하여 상기 제 1 고조파 대역폭 확장 모드가 활성인지 아닌지를 나타내고. 상기 인코딩된 오디오 신호의 각각의 프레임을 위한 제 2 제어 데이터 엔티티(116a, 118a, 120a)는 상기 제 1 고조파 대역폭 확장 모드가 상기 인코딩된 오디오 신호의 각각의 개별 프레임을 위하여 활성인지 아닌지를 나타내며,
상기 입력 인터페이스(100)는 상기 오디오 아이템을 위한 상기 제 1 제어 데이터 엔티티 및 상기 복수의 프레임의 각각의 프레임을 위한 제 2 제어 데이터 엔티티를 판독하도록 구성되며,
상기 컨트롤러(104)는 제 1 제어 데이터 엔티티의 값과 관계없이 그리고 제 2 제어 데이터 엔티티의 값과 관계없이 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호를 디코딩하기 위하여 상기 프로세서(102)를 제어하도록 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1항에 있어서,
상기 인코딩된 오디오 신호는 USAC 표준에서 정의된 것과 같은 비트스트림이고,
상기 프로세서(102)는 상기 USAC 표준에서 정의된 것과 같이 상기 제 2 비-고조파 대역폭 확장 모드를 실행하도록 구성되며,
상기 입력 인터페이스는 상기 USAC 표준에 따라 상기 인코딩된 오디오 신호를 포함하는 상기 비트스트림을 파싱하도록 구성되는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1항에 있어서, 상기 프로세서(102)는 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 인코딩된 오디오 신호를 디코딩하기에 충분한 메모리 및 처리 자원들을 가지며, 상기 메모리 또는 처리 자원들은 상기 인코딩된 오디오 신호가 인코딩된 스테레오 또는 다채널 오디오 신호일 때, 상기 제 1 고조파 대역폭 확장 모드를 사용하여 상기 인코딩된 오디오 신호를 디코딩하기에 충분하지 않으며,
상기 프로세서(102)는, 상기 인코딩된 오디오 신호가 인코딩된 모노 신호일 때, 상기 제 2 비-고조파 대역폭 확장 모드 및 상기 제 1 고조파 대역폭 확장 모드를 사용하여 상기 인코딩된 오디오 신호를 디코딩하기에 충분한 메모리 및 처리 자원들을 갖는, 인코딩된 오디오 신호를 디코딩하기 위한 장치.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하는 방법에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하는 단계(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하는 단계(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 디코딩에 상기 제 2 비-고조파 대역폭 확장 모드가 사용되도록 상기 오디오 신호를 디코딩하는 것을 제어하는 단계(104);를 포함하며,
상기 수신하는 단계는, 상기 인코딩된 오디오 신호가 상기 제 1 고조파 대역폭 확장 모드 또는 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 디코딩되는지를 결정하도록 상기 대역폭 확장 제어 데이터를 판독하고 상기 대역폭 확장 제어 데이터를 프로세서 제어 레지스터 내에 저장하는 것을 포함하며,
상기 제어하는 단계는, 상기 수신하는 단계가 상기 제 1 고조파 대역폭 확장 모드를 나타내는 값을 저장하였을 때, 상기 프로세서 제어 레지스터를 액세스하고, 상기 제 2 비-고조파 대역폭 확장 모드를 표시하는 값에 의해 상기 프로세서 제어 레지스터 내의 값을 중첩기록하는 것을 포함하는, 인코딩된 오디오 신호를 디코딩하는 방법.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하는 방법에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하는 단계(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하는 단계(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 디코딩에 상기 제 2 비-고조파 대역폭 확장 모드가 사용되도록 상기 오디오 신호를 디코딩하는 것을 제어하는 단계(104);를 포함하며,
상기 인코딩된 오디오 신호는 상기 제 1 고조파 대역폭 확장 모드와 상기 제 2 비-고조파 대역폭 확장 모드를 위한 공통 대역폭 확장 페이로드 데이터(302) 및 상기 제 1 고조파 대역폭 확장 모드만을 위한 부가적 페이로드 데이터(304)를 포함하고,
상기 제어하는 단계(104)는 상기 제 2 비-고조파 대역폭 확장 모드에서의 패칭 연산과 비교하여 상기 디코딩에 의해 실행되는 패칭 연산을 변형하도록 상기 디코딩(102)을 제어하기 위하여 상기 부가적 페이로드 데이터(304)를 사용하는 것을 포함하며, 상기 변형된 패칭 연산은 비-고조파 패칭 연산인, 인코딩된 오디오 신호를 디코딩하는 방법.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하는 방법에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하는 단계(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하는 단계(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 디코딩에 상기 제 2 비-고조파 대역폭 확장 모드가 사용되도록 상기 오디오 신호를 디코딩하는 것을 제어하는 단계(104);를 포함하며,
상기 디코딩하는 단계는:
코어 인코딩된 오디오 신호(902)를 코어 디코딩하는 단계;
상기 비-고조파 대역폭 확장 모드에 따라 상기 인코딩된 오디오 신호로부터 대역폭 확장 데이터를 사용하여 상기 코어 인코딩된 오디오 신호의 소스 주파수 영역을 표적 주파수 영역에 패칭하는 단계; 및
상기 인코딩된 오디오 신호로부터 대역폭 확장 데이터를 사용하여 상기 표적 주파수 영역 내의 패칭된 신호를 변형하는 단계;를 포함하는, 인코딩된 오디오 신호를 디코딩하는 방법.
- 제 1 고조파 대역폭 확장 모드인지 또는 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 대역폭 확장 제어 데이터를 포함하는 인코딩된 오디오 신호(101)를 디코딩하는 방법에 있어서,
상기 제 1 고조파 대역폭 확장 모드인지 또는 상기 제 2 비-고조파 대역폭 확장 모드인지를 나타내는 상기 대역폭 확장 제어 데이터를 포함하는 상기 인코딩된 오디오 신호를 수신하는 단계(100);
상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호(101)를 디코딩하는 단계(102); 및
상기 대역폭 확장 제어 데이터가 상기 인코딩된 신호에 대해 상기 제 1 고조파 대역폭 확장 모드를 나타낼 때에도, 디코딩에 상기 제 2 비-고조파 대역폭 확장 모드가 사용되도록 상기 오디오 신호를 디코딩하는 것을 제어하는 단계(104);를 포함하며,
상기 대역폭 확장 제어 데이터는 복수의 오디오 프레임을 포함하는 오디오 아이템을 위한 제 1 제어 데이터 엔티티(114)를 포함하고, 상기 제 1 제어 데이터 엔티티는 상기 복수의 프레임을 위하여 상기 제 1 고조파 대역폭 확장 모드가 활성인지 아닌지를 나타내고. 상기 인코딩된 오디오 신호의 각각의 프레임을 위한 제 2 제어 데이터 엔티티(116a, 118a, 120a)는 상기 제 1 고조파 대역폭 확장 모드가 상기 인코딩된 오디오 신호의 각각의 개별 프레임을 위하여 활성인지 아닌지를 나타내며,
상기 수신하는 단계는 상기 오디오 아이템을 위한 상기 제 1 제어 데이터 엔티티 및 상기 복수의 프레임의 각각의 프레임을 위한 제 2 제어 데이터 엔티티를 판독하는 것을 포함하며,
상기 제어하는 단계는 제 1 제어 데이터 엔티티의 값과 관계없이 그리고 제 2 제어 데이터 엔티티의 값과 관계없이 상기 제 2 비-고조파 대역폭 확장 모드를 사용하여 상기 오디오 신호를 디코딩하기 위하여 상기 디코딩하는 단계를 제어하는 것을 포함하는, 인코딩된 오디오 신호를 디코딩하는 방법.
- 컴퓨터 상에서 구동할 때, 제 12항 내지 제15항 중 어느 한 항에 따른 인코딩된 오디오 신호의 디코딩 방법을 실행하기 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13196305.0 | 2013-12-09 | ||
| EP13196305.0A EP2881943A1 (en) | 2013-12-09 | 2013-12-09 | Apparatus and method for decoding an encoded audio signal with low computational resources |
| PCT/EP2014/076000 WO2015086351A1 (en) | 2013-12-09 | 2014-11-28 | Apparatus and method for decoding an encoded audio signal with low computational resources |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160079878A KR20160079878A (ko) | 2016-07-06 |
| KR101854298B1 true KR101854298B1 (ko) | 2018-05-03 |
Family
ID=49725065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167015028A KR101854298B1 (ko) | 2013-12-09 | 2014-11-28 | 낮은 계산 자원들로 인코딩된 오디오 신호를 디코딩하기 위한 장치 및 방법 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US9799345B2 (ko) |
| EP (2) | EP2881943A1 (ko) |
| JP (1) | JP6286554B2 (ko) |
| KR (1) | KR101854298B1 (ko) |
| CN (1) | CN105981101B (ko) |
| BR (1) | BR112016012689B1 (ko) |
| CA (1) | CA2931958C (ko) |
| ES (1) | ES2650941T3 (ko) |
| MX (1) | MX353703B (ko) |
| RU (1) | RU2644135C2 (ko) |
| WO (1) | WO2015086351A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI758146B (zh) | 2015-03-13 | 2022-03-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| TW202341126A (zh) * | 2017-03-23 | 2023-10-16 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合 |
| TWI702594B (zh) * | 2018-01-26 | 2020-08-21 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建技術之回溯相容整合 |
| CA3152262A1 (en) | 2018-04-25 | 2019-10-31 | Dolby International Ab | Integration of high frequency reconstruction techniques with reduced post-processing delay |
| IL303445B1 (en) * | 2018-04-25 | 2024-02-01 | Dolby Int Ab | Combining high-frequency audio reconstruction techniques |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120010880A1 (en) * | 2009-04-02 | 2012-01-12 | Frederik Nagel | Apparatus, method and computer program for generating a representation of a bandwidth-extended signal on the basis of an input signal representation using a combination of a harmonic bandwidth-extension and a non-harmonic bandwidth-extension |
| US20120158409A1 (en) | 2009-06-29 | 2012-06-21 | Frederik Nagel | Bandwidth Extension Encoder, Bandwidth Extension Decoder and Phase Vocoder |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE9700772D0 (sv) * | 1997-03-03 | 1997-03-03 | Ericsson Telefon Ab L M | A high resolution post processing method for a speech decoder |
| US6850884B2 (en) * | 2000-09-15 | 2005-02-01 | Mindspeed Technologies, Inc. | Selection of coding parameters based on spectral content of a speech signal |
| ATE371926T1 (de) * | 2004-05-17 | 2007-09-15 | Nokia Corp | Audiocodierung mit verschiedenen codierungsmodellen |
| US8880410B2 (en) * | 2008-07-11 | 2014-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating a bandwidth extended signal |
| EP2169670B1 (en) * | 2008-09-25 | 2016-07-20 | LG Electronics Inc. | An apparatus for processing an audio signal and method thereof |
| KR101826331B1 (ko) * | 2010-09-15 | 2018-03-22 | 삼성전자주식회사 | 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법 |
| CN102208188B (zh) * | 2011-07-13 | 2013-04-17 | 华为技术有限公司 | 音频信号编解码方法和设备 |
-
2013
- 2013-12-09 EP EP13196305.0A patent/EP2881943A1/en not_active Withdrawn
-
2014
- 2014-11-28 BR BR112016012689-0A patent/BR112016012689B1/pt active IP Right Grant
- 2014-11-28 ES ES14808907.1T patent/ES2650941T3/es active Active
- 2014-11-28 WO PCT/EP2014/076000 patent/WO2015086351A1/en active Application Filing
- 2014-11-28 RU RU2016127582A patent/RU2644135C2/ru active
- 2014-11-28 CA CA2931958A patent/CA2931958C/en active Active
- 2014-11-28 KR KR1020167015028A patent/KR101854298B1/ko active IP Right Grant
- 2014-11-28 MX MX2016007430A patent/MX353703B/es active IP Right Grant
- 2014-11-28 CN CN201480066827.0A patent/CN105981101B/zh active Active
- 2014-11-28 EP EP14808907.1A patent/EP3080803B1/en active Active
- 2014-11-28 JP JP2016536886A patent/JP6286554B2/ja active Active
-
2016
- 2016-06-08 US US15/177,265 patent/US9799345B2/en active Active
-
2017
- 2017-06-13 US US15/621,938 patent/US10332536B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120010880A1 (en) * | 2009-04-02 | 2012-01-12 | Frederik Nagel | Apparatus, method and computer program for generating a representation of a bandwidth-extended signal on the basis of an input signal representation using a combination of a harmonic bandwidth-extension and a non-harmonic bandwidth-extension |
| US20120158409A1 (en) | 2009-06-29 | 2012-06-21 | Frederik Nagel | Bandwidth Extension Encoder, Bandwidth Extension Decoder and Phase Vocoder |
Non-Patent Citations (1)
| Title |
|---|
| ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.* |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2650941T3 (es) | 2018-01-23 |
| CN105981101B (zh) | 2020-04-10 |
| US20160284359A1 (en) | 2016-09-29 |
| US9799345B2 (en) | 2017-10-24 |
| EP3080803B1 (en) | 2017-10-04 |
| US10332536B2 (en) | 2019-06-25 |
| US20170278522A1 (en) | 2017-09-28 |
| CA2931958C (en) | 2018-10-02 |
| MX353703B (es) | 2018-01-24 |
| RU2644135C2 (ru) | 2018-02-07 |
| EP3080803A1 (en) | 2016-10-19 |
| MX2016007430A (es) | 2016-08-19 |
| CA2931958A1 (en) | 2015-06-18 |
| JP2016539377A (ja) | 2016-12-15 |
| JP6286554B2 (ja) | 2018-02-28 |
| WO2015086351A1 (en) | 2015-06-18 |
| BR112016012689B1 (pt) | 2021-02-09 |
| CN105981101A (zh) | 2016-09-28 |
| EP2881943A1 (en) | 2015-06-10 |
| KR20160079878A (ko) | 2016-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10332536B2 (en) | Apparatus and method for decoding an encoded audio signal with low computational resources | |
| US11961528B2 (en) | Backward-compatible integration of high frequency reconstruction techniques for audio signals | |
| US11763830B2 (en) | Backward-compatible integration of harmonic transposer for high frequency reconstruction of audio signals | |
| TWI820123B (zh) | 具有減少後處理延遲之高頻重建技術之整合 | |
| TW202410027A (zh) | 具有減少後處理延遲之高頻重建技術之整合 | |
| OA19675A (en) | Backward-compatible integration of harmonic transposer for high frequency reconstruction of audio signals. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |