KR102560473B1 - 후처리 지연을 저감시킨 고주파 재구성 기술의 통합 - Google Patents

후처리 지연을 저감시킨 고주파 재구성 기술의 통합 Download PDF

Info

Publication number
KR102560473B1
KR102560473B1 KR1020227042164A KR20227042164A KR102560473B1 KR 102560473 B1 KR102560473 B1 KR 102560473B1 KR 1020227042164 A KR1020227042164 A KR 1020227042164A KR 20227042164 A KR20227042164 A KR 20227042164A KR 102560473 B1 KR102560473 B1 KR 102560473B1
Authority
KR
South Korea
Prior art keywords
audio
bitstream
metadata
sbr
data
Prior art date
Application number
KR1020227042164A
Other languages
English (en)
Other versions
KR20220166372A (ko
Inventor
크리스토퍼 조엘링
라스 빌모스
헤이코 펀하이젠
퍼 엑스트랜드
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Priority to KR1020237025281A priority Critical patent/KR102649124B1/ko
Publication of KR20220166372A publication Critical patent/KR20220166372A/ko
Application granted granted Critical
Publication of KR102560473B1 publication Critical patent/KR102560473B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Abstract

인코딩된 오디오 비트스트림을 디코딩하기 위한 방법이 개시된다. 방법은 인코딩된 오디오 비트스트림을 수신하는 것 및 디코딩된 저대역 오디오 신호를 생성하기 위해 오디오 데이터를 디코딩하는 것을 포함한다. 방법은 고주파 재구성 메타데이터를 추출하는 것 및 필터링된 저대역 오디오 신호를 생성하기 위해 분석 필터뱅크로 디코딩된 저대역 오디오 신호를 필터링하는 것을 더 포함한다. 방법은 또한, 오디오 데이터에 대해 스펙트럼 변환 또는 고조파 전위가 수행되어야 하는지 여부를 나타내는 플래그를 추출하는 것 및 플래그에 따라 필터링된 저대역 오디오 신호 및 고주파 재구성 메타데이터를 사용하여 오디오 신호의 고대역 부분을 재생성하는 것을 포함한다. 고주파 재생성은 오디오 채널마다 3010개 샘플의 지연으로 후처리 동작으로서 수행된다.

Description

후처리 지연을 저감시킨 고주파 재구성 기술의 통합{INTEGRATION OF HIGH FREQUENCY RECONSTRUCTION TECHNIQUES WITH REDUCED POST-PROCESSING DELAY}
관련 출원에 대한 상호 참조
본원은 2018년 4월 25일에 출원된 미국 가특허출원 제62/662,296호에 대한 우선권의 이익을 주장하며, 이는 그 전체가 본원에 참조로 포함된다.
기술분야
실시예는 오디오 신호 처리에 관한 것이며, 더 구체적으로는, 오디오 데이터에 대해 기본 형태의 고주파 재구성("HFR") 또는 향상된 형태의 HFR 중 어느 것이 수행될 것인지를 특정하는 제어 데이터를 갖는 오디오 비트스트림의 인코딩, 디코딩 또는 트랜스코딩에 관한 것이다.
일반적인 오디오 비트스트림은 오디오 콘텐츠의 하나 이상의 채널을 표시하는 오디오 데이터(예를 들어, 인코딩된 오디오 데이터)와 오디오 데이터 또는 오디오 콘텐츠의 적어도 하나의 특징을 표시하는 메타데이터 양자를 포함한다. 인코딩된 오디오 비트스트림을 생성하는 하나의 잘 알려진 포맷은 MPEG-4 고급 오디오 코딩(AAC) 포맷이며, MPEG 표준 ISO/IEC 14496-3:2009에 기술되어 있다. MPEG-4 표준에서, AAC는 "고급 오디오 코딩"을 나타내며 HE-AAC는 "고효율 고급 오디오 코딩"을 나타낸다.
MPEG-4 AAC 표준은 여러 오디오 프로파일을 정의하며, 이는 컴플레인트 인코더 또는 디코더에 존재하는 객체 및 코딩 도구를 결정한다. 이들 오디오 프로파일 중 3개는 (1) AAC 프로파일, (2) HE-AAC 프로파일 및 (3) HE-AAC v2 프로파일이다. AAC 프로파일은 AAC 저복잡도 (또는 "AAC-LC") 객체 유형을 포함한다. AAC-LC 객체는, 약간의 조정으로, MPEG-2 AAC 저복잡도 프로파일에 대응하며, 스펙트럼 대역 복제("SBR") 객체 유형이나 파라메트릭 스테레오("PS") 객체 유형을 포함하지 않는다. HE-AAC 프로파일은 AAC 프로파일의 수퍼세트(superset)이며 추가로 SBR 객체 유형을 포함한다. HE-AAC v2 프로파일은 HE-AAC 프로파일의 수퍼세트이며 추가로 PS 객체 유형을 포함한다.
SBR 객체 유형은 스펙트럼 대역 복제 도구를 포함하며, 이는 지각 오디오 코덱의 압축 효율을 현저히 개선하는 중요한 고주파 재구성("HFR") 코딩 도구이다. SBR은 수신기 측(예를 들어, 디코더 내)의 오디오 신호의 고주파 성분을 재구성한다. 따라서, 인코더는 저주파 성분만을 인코딩하고 전송하면 되므로, 낮은 데이터 속도에서 훨씬 더 높은 오디오 품질을 허용한다. SBR은 인코더에서 얻은 제어 데이터와 사용 가능한 대역폭 제한 신호에서, 데이터 속도를 줄이기 위해 이전에 잘린(truncated), 고조파 시퀀스의 복제를 기반으로 한다. 톤과 노이즈와 같은 성분 사이의 비율은 적응형 역필터링과 선택적인 노이즈 및 사인파 추가에 의해 유지된다. MPEG-4 AAC 표준에서, SBR 도구는 스펙트럼 패칭(또한 선형 변환 또는 스펙트럼 변환으로 지칭됨)을 수행하며, 여기에서 다수의 연속 QMF(Quadrature Mirror Filter) 부대역이 오디오 신호의 전송된 저대역 부분으로부터, 디코더에서 생성될 오디오 신호의 고대역 부분으로 복사(또는 "패칭")된다.
스펙트럼 패칭 또는 선형 변환은 상대적으로 크로스오버 주파수가 낮은 음악 콘텐츠와 같은 특정 오디오 유형에 적합하지 않을 수 있다. 따라서, 스펙트럼 대역 복제를 개선하기 위한 기술이 필요하다.
인코딩된 오디오 비트스트림을 디코딩하는 방법에 관한 제1 종류의 실시예가 개시된다. 방법은 인코딩된 오디오 비트스트림을 수신하는 것 및 오디오 데이터를 디코딩하여 디코딩된 저대역 오디오 신호를 생성하는 것을 포함한다. 방법은 고주파 재구성 메타데이터를 추출하는 것 및 디코딩된 저대역 오디오 신호를 분석 필터뱅크로 필터링하여 필터링된 저대역 오디오 신호를 생성하는 것을 더 포함한다. 방법은 오디오 데이터에 대한 스펙트럼 변환(spectral translation) 또는 고조파 전위(harmonic transposition)의 수행 여부를 표시하는 플래그를 추출하는 것 및 플래그에 따라 필터링된 저대역 오디오 신호 및 고주파 재구성 메타데이터를 이용하여 오디오 신호의 고대역 부분을 재생성하는 것을 더 포함한다. 마지막으로, 방법은 필터링된 저대역 오디오 신호와 재생성된 고대역 부분을 결합하여 광대역 오디오 신호를 형성하는 것을 포함한다.
제2 종류의 실시예는 인코딩된 오디오 비트스트림을 디코딩하는 오디오 디코더에 관한 것이다. 디코더는 인코딩된 오디오 비트스트림 - 인코딩된 오디오 비트스트림은 오디오 신호의 저대역 부분을 나타내는 오디오 데이터를 포함함 - 을 수신하는 입력 인터페이스 및 오디오 데이터를 디코딩하여 디코딩된 저대역 오디오 신호를 생성하는 코어 오디오 디코더를 포함한다. 디코더는 또한 인코딩된 오디오 비트스트림으로부터 고주파 재구성 메타데이터 - 고주파 재구성 메타데이터는 연속적인 수의 부대역을 오디오 신호의 저대역 부분으로부터 오디오 신호의 고대역 부분으로 선형 변환하는 고주파 재구성 프로세스에 대한 작동 매개변수를 포함함 - 를 추출하는 역다중화기 및 디코딩된 저대역 오디오 신호를 필터링하여 필터링된 저대역 오디오 신호를 생성하는 분석 필터뱅크를 포함한다. 디코더는 인코딩된 오디오 비트스트림으로부터 오디오 데이터에 대한 선형 변환 또는 고조파 전위의 수행 여부를 표시하는 플래그를 추출하는 역다중화기 및 플래그에 따라 고주파 재구성 메타데이터 및 필터링된 저대역 오디오 신호를 이용하여 오디오 신호의 고대역 부분을 재생성하는 고주파 재생성기를 더 포함한다. 마지막으로, 디코더는 필터링된 저대역 오디오 신호를 재생성된 고대역 부분과 결합하여 광대역 오디오 신호를 형성하는 합성 필터뱅크를 포함한다.
다른 종류의 실시예는 향상된 스펙트럼 대역 복제(eSBR) 처리 수행 여부를 식별하는 메타데이터를 포함하는 오디오 비트스트림의 인코딩 및 트랜스코딩에 관한 것이다.
도 1은 발명의 방법 실시예를 수행하도록 구성될 수 있는 시스템 실시예의 블록도이다.
도 2는 발명의 오디오 처리 유닛의 실시예인 인코더의 블록도이다.
도 3은 발명의 오디오 처리 유닛의 실시예인 디코더 및 이에 결합된 후처리기를 선택적으로 또한 포함하는 시스템의 블록도이다.
도 4는 발명의 오디오 처리 유닛의 실시예인 디코더의 블록도이다.
도 5는 발명의 오디오 처리 유닛의 다른 실시예인 디코더의 블록도이다.
도 6은 발명의 오디오 처리 유닛의 다른 실시예의 블록도이다.
도 7은 분할되는 세그먼트를 포함하는 MPEG-4 AAC 비트스트림 블록의 도면이다.
표기법 및 명명법
청구범위를 포함하여, 본 개시에 걸쳐, 신호 또는 데이터에 "대해(on)" 작동을 수행한다(예를 들어, 신호 또는 데이터에 필터링, 스케일링, 변환, 또는 이득을 적용한다)는 표현은 신호 또는 데이터에 대해 직접 또는 신호 또는 데이터의 처리된 버전에 대해(예를 들어, 작동의 수행 이전에 예비 필터링 또는 전처리를 거친 신호 버전에 대해) 작동을 수행하는 것을 나타내는 넓은 의미로 사용된다.
청구범위를 포함하여, 본 개시에 걸쳐, "오디오 처리 유닛" 또는 "오디오 처리기"의 표현은 오디오 데이터를 처리하도록 구성되는 시스템, 디바이스 또는 장치를 나타내는 넓은 의미로 사용된다. 오디오 처리 유닛의 예는, 인코더, 트랜스코더, 디코더, 코덱, 전처리 시스템, 후처리 시스템 및 비트스트림 처리 시스템(때때로 비트스트림 처리 도구로 지칭됨)을 포함하지만, 이에 제한되지 않는다. 휴대전화, TV, 랩톱 및 태블릿 컴퓨터와 같은 거의 모든 가전 제품이 오디오 처리 유닛 또는 오디오 처리기를 포함한다.
청구범위를 포함하여, 본 개시에 걸쳐, "결합하다(couples)" 또는 "결합된(coupled)"의 용어는 직접 또는 간접 연결을 의미하는 넓은 의미로 사용된다. 따라서, 제1 디바이스가 제2 디바이스로 결합되면, 그 연결은 직접 연결을 통한 것 또는, 다른 디바이스 및 연결을 경유하는 간접 연결을 통한 것일 수 있다. 또한, 다른 구성요소 내로 또는 다른 구성요소와 통합되는 구성요소는 또한 서로 결합된다.
발명의 실시예의 상세한 설명
MPEG-4 AAC 표준은 인코딩된 MPEG-4 AAC 비트스트림이 비트스트림의 오디오 콘텐츠를 디코딩하기 위하여 디코더에 의해 (적용되어야 한다면) 적용될 고주파 재구성("HFR") 처리의 각 유형을 표시하거나, 및/또는 이러한 HFR 처리를 제어하는, 및/또는 비트스트림의 오디오 콘텐츠를 디코딩하기 위하여 이용될 적어도 하나의 HFR 도구의 적어도 하나의 특성 또는 매개변수를 표시하는 메타데이터를 포함한다는 것을 고려한다. 본원에서, 스펙트럼 대역 복제("SBR")와 함께 사용하기 위하여 MPEG-4 AAC 표준에서 기술되거나 언급된 이 유형의 메타데이터를 나타내기 위하여 "SBR 메타데이터"라는 표현을 사용한다. 당업자가 이해하는 바와 같이, SBR은 HFR의 일 형태이다.
SBR은 바람직하게는 이중 속도(dual-rate) 시스템으로 사용되어, SBR이 원본 샘플링 속도로 작동하는 한편, 기본 코덱(underlying codec)은 원본 샘플링 속도의 절반으로 작동한다. SBR 인코더는 더 높은 샘플링 속도에서이기는 하지만 기본 코어 코덱과 병렬로 작동한다. SBR은 디코더에서 주로 후처리임에도 불구하고, 디코더에서 가장 정확한 고주파 재구성을 보장하기 위하여 중요한 매개변수가 인코더에서 추출된다. 인코더는 현재 입력 신호 세그먼트 특성에 적합한 시간 및 주파수 범위/분해능에 대한 SBR 범위의 스펙트럼 엔벨로프를 추정한다. 스펙트럼 엔벨로프는 복소수 QMF 분석 및 후속 에너지 계산에 의해 추정된다. 주어진 입력 세그먼트에 가장 적합한 시간 주파수 분해능을 보장하기 위하여, 스펙트럼 엔벨로프의 시간 및 주파수 분해능을 높은 자유도로 선택할 수 있다. 디코더의 고대역이 고대역에 비해 과도 상태가 훨씬 덜 두드러지는 저대역에 기반하기 때문에, 엔벨로프 추정은 주로 고주파 영역(예를 들어, 하이햇(high-hat))에 위치한 원본의 과도 상태가 엔벨로프 조정 이전에 SBR에서 생성된 고대역에서 약간의 범위 내에서 존재할 것이라는 점을 고려하여야 한다. 이 양상은 다른 오디오 코딩 알고리즘에서 사용되는 일반적인 스펙트럼 엔벨로프 추정과 비교하여, 스펙트럼 엔벨로프 데이터의 시간 주파수 분해능에 대한 상이한 요구사항을 부과한다.
스펙트럼 엔벨로프 외에도, 상이한 시간 및 주파수 도메인에 대한 입력 신호의 스펙트럼 특성을 나타내는 몇몇 추가 매개변수가 추출된다. 인코더는 원본 신호뿐만 아니라 디코더의 SBR 유닛이 특정 제어 매개변수 세트를 고려하여 고대역을 생성하는 방법에 대한 정보에 접근할 수 있기 때문에, 저대역이 강한 고조파 계열을 구성하고 재생성될 고대역은 주로 랜덤 신호 성분을 구성하는 상황뿐만 아니라, 고대역 영역의 기반이 되는 저대역에 대응하는 성분 없이 원본 고대역에 강한 음색 성분이 존재하는 상황을 시스템이 처리할 수 있다. 또한 SBR 인코더는 기본 코어 코덱과 밀접한 관계를 유지하며 작동하여 주어진 시간에 SBR이 커버해야 하는 주파수 범위를 평가한다. SBR 데이터는, 스테레오 신호의 경우, 제어 데이터의 채널 의존성뿐만 아니라 엔트로피 코딩을 이용함으로써 전송 전에 효율적으로 코딩된다.
제어 매개변수 추출 알고리즘은 일반적으로 주어진 비트율과 주어진 샘플링 속도로 기본 코덱에 신중하게 조정되어야 한다. 이는 비트율이 낮을수록 일반적으로 높은 비트율에 비해 더 큰 SBR 범위를 의미하며, 상이한 샘플링 속도는 SBR 프레임의 상이한 시간 분해능에 대응하기 때문이다.
SBR 디코더는 일반적으로 여러 다른 부분을 포함한다. 이는 비트스트림 디코딩 모듈, 고주파 재구성(HFR) 모듈, 추가 고주파 성분 모듈 및 엔벨로프 조정기 모듈을 포함한다. 시스템은 복소수 값 QMF 필터뱅크(고품질 SBR의 경우) 또는 실수 값 QMF 필터뱅크(저전력 SBR의 경우)를 기반으로 한다. 발명의 실시예는 고품질 SBR 및 저전력 SBR 모두에 적용될 수 있다. 비트스트림 추출 모듈에서, 제어 데이터가 비트스트림으로부터 판독되고 디코딩된다. 비트스트림으로부터 엔벨로프 데이터를 판독하기 전에, 현재 프레임에 대한 시간 주파수 그리드가 얻어진다. 기본 코어 디코더는 현재 프레임의 오디오 신호를 디코딩하여 (낮은 샘플링 속도에서이지만) 시간 도메인 오디오 샘플을 생성한다. 오디오 데이터의 결과 프레임은 HFR 모듈에 의한 고주파 재구성에 사용된다. 그런 다음 디코딩된 저대역 신호는 QMF 필터뱅크를 사용하여 분석된다. 이어서 고주파 재구성 및 엔벨로프 조정이 QMF 필터뱅크의 부대역 샘플에 대해 수행된다. 주어진 제어 매개변수에 기반하여, 고주파는 유연한 방식으로 저대역으로부터 재구성된다. 또한, 재구성된 고대역은 주어진 시간/주파수 도메인의 적절한 스펙트럼 특성을 보장하기 위하여 제어 데이터에 따라 부대역 채널 기반으로 적응적으로 필터링된다.
MPEG-4 AAC 비트스트림의 최상위 수준은 일련의 데이터 블록 ("raw_data_block" 요소)이며, 그 각각은 오디오 데이터(일반적으로 1024 또는 960 샘플의 시간 주기 동안) 및 관련된 정보 및/또는 다른 데이터를 포함하는 데이터 세그먼트(본원에서는 "블록"이라고 지칭함)이다. 본원에서, "블록"이라는 용어는 하나의 (그러나 하나를 넘지 않는) "raw_data_block" 요소를 결정하거나 표시하는 오디오 데이터 (및 대응하는 메타데이터 및 선택적으로 또한 다른 관련된 데이터)를 포함하는 MPEG-4 AAC 비트스트림의 세그먼트를 나타내기 위해 사용된다.
MPEG-4 AAC 비트스트림의 각 블록은 다수의 구문(syntactic) 요소(그 각각은 비트스트림에서 데이터 세그먼트로 구체화됨)를 포함할 수 있다. MPEG-4 AAC 표준에는 7가지 유형의 이러한 구문 요소가 정의되어 있다. 각 구문 요소는 "id_syn_ele" 데이터 요소의 상이한 값에 의해 식별된다. 구문 요소의 예는 "single_channel_element()", "channel_pair_element()" 및 "fill_element()"를 포함한다. 단일 채널 요소는 단일 오디오 채널의 오디오 데이터(모노포닉 오디오 신호)를 포함하는 컨테이너이다. 채널 쌍 요소는 두 개의 오디오 채널의 오디오 데이터(즉, 스테레오 오디오 신호)를 포함한다.
필 요소(fill element)는 식별자(예를 들어, 위에서 언급된 "id_syn_ele" 요소의 값)와 그 뒤의 "필 데이터(fill data)"로 지칭되는 데이터를 포함하는 정보의 컨테이너이다. 필 요소는 역사적으로 일정한 속도의 채널을 통해 전송될 비트스트림의 순간 비트율을 조정하는 데 사용되었다. 각 블록에 적절한 양의 필 데이터를 추가함으로써, 일정한 데이터 속도를 달성할 수 있다.
발명의 실시예에 따르면, 필 데이터는 비트스트림 내에서 전송될 수 있는 데이터 유형(예를 들어, 메타데이터)을 확장하는 하나 이상의 확장 페이로드(extension payloads)를 포함할 수 있다. 새로운 데이터 유형을 포함하는 필 데이터를 갖는 비트스트림을 수신하는 디코더는 비트스트림을 수신하는 디바이스(예를 들어, 디코더)에 의해 선택적으로 사용되어 디바이스의 기능성을 확장할 수 있다. 따라서, 당업자에게 이해되는 바와 같이, 필 요소는 특별한 유형의 데이터 구조이며 오디오 데이터를 전송하기 위하여 일반적으로 사용되는 데이터 구조(예를 들어, 채널 데이터를 포함하는 오디오 페이로드)와는 상이하다.
발명의 일부 실시예에서, 필 요소를 식별하기 위해 사용되는 식별자는 0x6 값을 갖는 3 비트의 최상위 비트가 먼저 전송되는 무부호 정수("unsigned integer transmitted most significant bit first, uimsbf") 로 구성될 수 있다. 하나의 블록에서, 동일한 유형의 구문 요소의 여러 인스턴스(예를 들어, 여러 개의 필 요소)가 발생할 수 있다.
오디오 비트스트림 인코딩의 다른 표준은 MPEG 통합 음성 및 오디오 코딩(USAC) 표준(ISO/IEC 23003-3:2012)이다. MPEG USAC 표준은 스펙트럼 대역 복제 처리(MPEG-4 AAC 표준에 기술된 바와 같은 SBR 처리를 포함하며, 또한 다른 향상된 형태의 스펙트럼 대역 복제 처리를 포함함)를 사용하는 오디오 콘텐츠의 인코딩과 디코딩을 기술한다. 이 처리는 MPEG-4 AAC 표준에 기술된 SBR 도구 세트의 확장되고 향상된 버전의 스펙트럼 대역 복제 도구(때때로 본원에서 "향상된 SBR 도구" 또는 "eSBR 도구"로 지칭됨)를 적용한다. 따라서, (USAC 표준에 정의된 바와 같은) eSBR은 (MPEG-4 AAC 표준에 정의된 바와 같은) SBR의 개량이다.
본원에서, "향상된 SBR 처리" (또는 "eSBR 처리")의 표현은 MPEG-4 AAC 표준에 기술되거나 언급되지 않은 적어도 하나의 eSBR 도구(예를 들어, MPEG USAC 표준에 기술되거나 언급된 적어도 하나의 eSBR 도구)를 사용하는 스펙트럼 대역 복제를 나타내기 위하여 사용한다. 이러한 eSBR 도구의 예는 고조파 전위 및 QMF-패칭 추가 전처리 또는 "사전 평탄화(pre-flattening)"이다.
정수 차수 T의 고조파 전위기는 신호 지속시간을 유지하면서 주파수 ω를 갖는 사인파를 주파수 Tω를 갖는 사인파로 맵핑한다. 3개의 차수, T = 2, 3, 4는 일반적으로 가장 작은 전위 차수를 사용하여 원하는 출력 주파수 범위의 각 부분을 생성하기 위해 순차적으로 사용된다. 4차 전위 범위 이상의 출력이 필요한 경우, 이는 주파수 시프트에 의해 생성될 수 있다. 가능한 경우, 계산 복잡도를 최소화하기 위하여 처리를 위해 거의 임계적으로 샘플링된 베이스밴드 시간 도메인이 생성된다.
고조파 전위기는 QMF 또는 DFT 기반일 수 있다. QMF 기반 고조파 전위기를 사용할 때, 코어 코더(core coder) 시간 도메인 신호의 대역폭 확장은 수정된 위상 보코더 구조를 사용하여 QMF 영역에서 전체적으로 수행되며, 모든 QMF 서브밴드에 대해 데시메이션(decimation) 및 시간 스트레칭을 수행한다. 여러 전위 인자(factor)(예를 들어, T = 2, 3, 4)를 사용하는 전위는 공통 QMF 분석/합성 변환 단계에서 수행된다. QMF 기반 고조파 전위기는 신호 적응 주파수 도메인 오버샘플링을 사용하지 않으므로, 비트스트림에서 대응하는 플래그(sbrOversamplingFlag [ch])는 무시될 수 있다.
DFT 기반 고조파 전위기를 사용할 때, 바람직하게는 복잡도를 줄이기 위하여 보간에 의해 인자 3 및 4 전위기(3차 및 4차 전위기)가 인자 2 전위기(2차 전위기) 내로 통합된다. (coreCoderFrameLength 코어 코더 샘플에 대응하는) 각 프레임에 대해, 전위기의 공칭 "풀 사이즈" 변환 크기는 비트스트림에서 신호 적응 주파수 도메인 오버샘플링 플래그(sbrOversamplingFlag [ch])에 의해 먼저 결정된다.
고대역 생성을 위해 선형 전위가 사용될 것임을 표시하는 sbrPatchingMode==1일 때, 후속의 엔벨로프 조정기로 입력될 고주파 신호의 스펙트럼 엔벨로프의 형상에서 비연속성을 피하기 위하여 추가 단계가 도입될 수 있다. 이는 후속의 엔벨로프 조정 단계의 작동을 개선하여, 더 안정적인 것으로 인식되는 고대역 신호를 가져온다. 추가 전처리의 작동은 고주파 재구성에 사용되는 저대역 신호의 대략적인 스펙트럼 엔벨로프가 큰 수준 변화를 나타내는 신호 유형에 유리하다. 그러나, 비트스트림 요소의 값은 임의의 종류의 신호 의존 분류를 적용함으로써 인코더에서 결정될 수 있다. 추가 전처리는 바람직하게는 1 비트 비트스트림 요소, bs_sbr_preprocessing을 통해 활성화된다. bs_sbr_preprocessing이 1로 설정되면, 추가 처리가 사용 가능하게 된다. bs_sbr_preprocessing이 0으로 설정되면, 추가 전처리가 사용 불가능하게 된다. 바람직한 추가 처리는 고주파 발생기에 의해 사용되는 전단이득(preGain) 곡선을 이용하여 각 패칭에 대해 저대역 XLow를 스케일링한다. 예를 들어, 전단이득 곡선은 다음 식에 따라 계산될 수 있다:
여기에서 k0는 마스터 주파수 대역 테이블 내의 제1 QMF 서브밴드이고 lowEnvSlope는 polyfit()와 같은 (최소 제곱의 의미로) 가장 적합한 다항식의 계수를 계산하는 함수를 사용하여 계산된다. 예를 들어,
이 이용될 수 있으며(3차 다항식 사용) 여기에서
이고, 여기에서 x_lowband(k)=[0...k0-1]이고, numTimeSlot은 프레임 내에 존재하는 SBR 엔벨로프 시간 슬롯의 수이며, RATE는 타임슬롯 당 QMF 서브밴드 샘플의 수(예를 들어, 2)를 표시하는 상수이고, φk는 (공분산법으로 얻을 수 있는) 선형 예측 필터 계수이며, 여기에서
이다.
MPEG USAC 표준에 따라 생성되는 비트스트림(본원에서 때로는 "USAC 비트스트림"으로 지칭됨)은 인코딩된 오디오 콘텐츠를 포함하고 일반적으로 USAC 비트스트림의 오디오 콘텐츠를 디코딩하기 위하여 디코더가 적용할 스펙트럼 대역 복제 처리의 각 유형을 표시하는 메타데이터 및/또는 이러한 스펙트럼 대역 복제 처리를 제어하는 및/또는 적어도 하나의 SBR 도구의 적어도 하나의 특성 또는 매개변수 및/또는 USAC 비트스트림의 오디오 콘텐츠를 디코딩하기 위하여 이용되는 eSBR 도구를 표시하는 메타데이터를 포함한다.
본원에서, "향상된 SBR 메타데이터" (또는 "eSBR 메타데이터")라는 표현은 인코딩된 오디오 비트스트림(예를 들어, USAC 비트스트림)의 오디오 콘텐츠를 디코딩하기 위하여 디코더가 적용할 스펙트럼 대역 복제 처리의 각 유형을 표시하는 및/또는 이러한 스펙트럼 대역 복제 처리를 제어하는 및/또는 MPEG-4 AAC 표준에는 기술되거나 언급되지 않지만, 이러한 오디오 콘텐츠를 디코딩하기 위하여 이용되는 적어도 하나의 SBR 도구 및/또는 eSBR 도구의 적어도 하나의 특성 또는 매개변수를 표시하는 메타데이터를 나타내기 위하여 사용한다. eSBR 메타데이터의 예는 MPEG USAC 표준에서 기술되거나 언급되지만 MPEG-4 AAC 표준에서는 그렇지 않은 (스펙트럼 대역 복제 처리를 표시하거나 제어하기 위한) 메타데이터이다. 따라서, 본원에서 eSBR 메타데이터는 SBR 메타데이터가 아닌 메타데이터를 나타내며, 본원에서 SBR 메타데이터는 eSBR 메타데이터가 아닌 메타데이터를 나타낸다.
USAC 비트스트림은 SBR 메타데이터와 eSBR 메타데이터 모두를 포함할 수 있다. 더 구체적으로, USAC 비트스트림은 디코더에 의한 eSBR 처리 수행을 제어하는 eSBR 메타데이터와 디코더에 의한 SBR 처리 수행을 제어하는 SBR 메타데이터를 포함할 수 있다. 본 발명의 전형적인 실시예에 따르면, eSBR 메타데이터에(예를 들어, eSBR-특정 구성 데이터)가 MPEG-4 AAC 비트스트림에(예를 들어, SBR 페이로드의 끝에서 sbr_extension() 컨테이너에) (본 발명에 따라) 포함된다.
eSBR 도구 세트(적어도 하나의 eSBR 도구를 포함함)를 이용하여 인코딩된 비트스트림을 디코딩하는 동안, 디코더에 의한 eSBR 처리의 수행은 인코딩 동안 절단된 고조파 시퀀스의 복제에 기반하여 오디오 신호의 고주파 대역을 재생성한다. 이러한 eSBR 처리는 일반적으로 생성된 고주파 대역의 스펙트럼 엔벨로프를 조정하고 역필터링을 적용하고, 원본 오디오 신호의 스펙트럼 특성을 재생성하기 위해 노이즈 및 사인파 성분을 추가한다.
본 발명의 전형적인 실시예에 따르면, eSBR 메타데이터가 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)의 하나 이상의 메타데이터 세그먼트에 포함되며(예를 들어, eSBR 메타데이터인 소수의 제어 비트가 포함됨) 여기에는 또한 다른 세그먼트(오디오 데이터 세그먼트)에서 인코딩된 오디오 데이터도 포함된다. 일반적으로, 비트스트림의 각 블록의 적어도 하나의 이러한 메타데이터 세그먼트가 필 요소(필 요소의 시작을 표시하는 식별자를 포함함)이며(또는 이를 포함하며), eSBR 메타데이터는 식별자 다음에 필 요소에 포함된다.
도 1은 예시적인 오디오 처리 체인 (오디오 데이터 처리 시스템)의 블록도이며, 여기에서 시스템의 하나 이상의 요소는 본 발명의 실시예에 따라 구성될 수 있다. 시스템은 도시된 바와 같이 함께 결합된 다음의 요소들을 포함한다: 인코더(1), 전달 서브시스템(2), 디코더(3) 및 후처리 유닛(4). 도시된 시스템의 변형에서, 하나 이상의 요소가 생략되거나 추가적인 오디오 데이터 처리 유닛이 포함된다.
일부 구현에서, 인코더(1)(선택적으로 전처리 유닛을 포함함)는 입력으로 오디오 콘텐츠를 포함하는 PCM (시간 도메인) 샘플을 수용하고 오디오 콘텐츠를 표시하는 (MPEG-4 AAC 표준 호환 포맷을 갖는) 인코딩된 오디오 비트스트림을 출력하도록 구성된다. 오디오 콘텐츠를 표시하는 비트스트림의 데이터는 본원에서 때때로 “오디오 데이터” 또는 “인코딩된 오디오 데이터”로 지칭된다. 인코더가 본 발명의 전형적인 실시예에 따라 구성되면, 인코더로부터의 오디오 비트스트림 출력은 오디오 데이터와 함께 eSBR 메타데이터(또한 일반적으로 다른 메타데이터)를 포함한다.
인코더(1)로부터 출력된 하나 이상의 인코딩된 오디오 비트스트림은 인코딩된 오디오 전달 서브시스템(2)으로 어서트(assert)될 수 있다. 서브시스템(2)은 인코더(1)로부터 출력된 각 인코딩된 비트스트림을 저장 및/또는 전달하도록 구성된다. 인코더(1)로부터 출력된 인코딩된 오디오 비트스트림은 서브시스템(2)에 의해 저장되거나(예를 들어, DVD 또는 블루레이 디스크의 형태로), 서브시스템(2)에 의해 전송되거나(통신 링크 또는 네트워크를 통해 구현될 수 있음), 또는 서브시스템(2)에 의해 저장되고 전송된다.
디코더(3)는 서브시스템(2)을 통해 수신한 (인코더(1)에 의해 생성된) 인코딩된 MPEG-4 AAC 오디오 비트스트림을 디코딩하도록 구성된다. 일부 실시예에서, 디코더(3)는 비트스트림의 각 블록으로부터 eSBR 메타데이터를 추출하고, 비트스트림을 디코딩하여(추출된 eSBR 메타데이터를 사용하여 eSBR 처리를 수행함에 의하여 포함) 디코딩된 오디오 데이터(예를 들어, 디코딩된 PCM 오디오 샘플의 스트림)을 생성하도록 구성된다. 일부 실시예에서, 디코더(3)는 비트스트림으로부터 SBR 메타데이터를 추출하고 (그러나 비트스트림에 포함된 eSBR 메타데이터를 무시하고), 비트스트림을 디코딩하여(추출된 SBR 메타데이터를 사용하여 SBR 처리를 수행함에 의하여 포함) 디코딩된 오디오 데이터(예를 들어, 디코딩된 PCM 오디오 샘플의 스트림)을 생성하도록 구성된다. 일반적으로, 디코더(3)는 서브시스템(2)으로부터 수신한 인코딩된 오디오 비트스트림의 세그먼트를 (예를 들어, 비일시적인 방식으로) 저장하는 버퍼를 포함한다.
도 1의 후처리 유닛(4)은 디코더(3)로부터 디코딩된 오디오 데이터의 스트림(예를 들어, 디코딩된 PCM 오디오 샘플)을 수용하고, 그에 대해 후처리를 수행하도록 구성된다. 후처리 유닛은 또한 하나 이상의 스피커에 의한 재생을 위하여 후처리된 오디오 콘텐츠(또는 디코더(3)로부터 수신한 디코딩된 오디오)를 제공하도록 구성될 수 있다.
도 2는 발명의 오디오 처리 유닛의 실시예인 인코더(100)의 블록도이다. 인코더(100)의 임의의 성분 또는 요소는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합 내의 하나 이상의 프로세스 및/또는 하나 이상의 회로(예를 들어, ASIC, FPGA 또는 다른 집적 회로)로 구현될 수 있다. 인코더(100)는 도시된 바와 같이 연결된 인코더(105), 스터퍼(stuffer)/포맷터(formatter) 단계(107), 메타데이터 생성 단계(106) 및 버퍼 메모리(109)를 포함한다. 일반적으로 또한, 인코더(100)는 다른 처리 요소(미도시)를 포함한다. 인코더(100)는 입력 오디오 비트스트림을 인코딩된 출력 MPEG-4 AAC 비트스트림으로 변환하도록 구성된다.
메타데이터 생성기(106)는 메타데이터(eSBR 메타데이터 및 SBR 메타데이터 포함)를 생성(및/또는 단계(107)를 통과)하여 단계(107)에 의해 인코더(100)로부터 출력될 인코딩된 비트스트림에 포함시키도록 결합 및 구성된다.
인코더(105)는 입력 오디오 데이터를 인코딩(예를 들어, 압축 수행에 의해)하고, 결과적인 인코딩된 오디오를 단계(107)에 어서트하여 단계(107)로부터 출력될 인코딩된 비트스트림에 포함시키도록 결합되고 구성된다.
단계(107)는 인코더(105)로부터의 인코딩된 오디오와 생성기(106)로부터의 메타데이터(eSBR 메타데이터 및 SBR 메타데이터 포함)를 다중화하여 단계(107)로부터 출력될 인코딩된 비트스트림을 생성하도록 구성되며, 바람직하게는 인코딩된 비트스트림이 본 발명의 실시예 중 하나에 의해 특정된 포맷을 갖는다.
버퍼 메모리(109)는 단계(107)로부터 출력된 인코딩된 오디오 비트스트림의 적어도 하나의 블록을 (예를 들어, 비일시적인 방식으로) 저장하도록 구성되고, 그런 다음 인코딩된 오디오 비트스트림의 블록 시퀀스는 인코더(100)로부터의 출력으로서 버퍼 메모리(109)로부터 전달 시스템으로 어서트된다.
도 3은 발명의 오디오 처리 유닛의 실시예인 디코더(200) 및 선택적으로 이에 결합된 후처리기(300)를 포함하는 시스템의 블록도이다. 디코더(200)의 임의의 성분 또는 요소 및 후처리기(300)는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합 내의 하나 이상의 프로세스 및/또는 하나 이상의 회로(예를 들어, ASIC, FPGA 또는 다른 집적 회로)로 구현될 수 있다. 디코더(200)는 도시된 바와 같이 연결된 버퍼 메모리(201), 비트스트림 페이로드 디포맷터(deformatter)(파서(parser))(205), 오디오 디코딩 서브시스템(202)(때때로 “코어” 디코딩 단계 또는 “코어” 디코딩 서브시스템으로 지칭됨), eSBR 처리 단계(203) 및 제어 비트 생성 단계(204)를 포함한다. 일반적으로 또한, 디코더(200)는 다른 처리 요소(미도시)를 포함한다.
버퍼 메모리(버퍼)(201)는 디코더(200)에 의해 수신된 인코딩된 MPEG-4 AAC 오디오 비트스트림의 적어도 하나의 블록을 (예를 들어, 비일시적인 방식으로) 저장한다. 디코더(200)의 작동에서, 비트스트림 블록 시퀀스가 버퍼(201)로부터 디포맷터(205)로 어서트된다.
도 3 실시예의 변형(또는 기술될 도 4 실시예)에서, 디코더가 아닌 APU (예를 들어, 도 6의 APU(500))가 도 3 또는 도 4의 버퍼(201)에 의해 수신된 것과 동일 유형(즉, eSBR 메타데이터를 포함하는 인코딩된 오디오 비트스트림)의 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 오디오 비트스트림)의 적어도 하나의 블록을 (예를 들어, 비일시적인 방식으로) 저장하는 버퍼 메모리(예를 들어, 버퍼(201)와 동일한 버퍼 메모리)를 포함한다.
다시 도 3을 참조하면, 디포맷터(205)는 비트스트림의 각 블록을 역다중화하여 이로부터 SBR 메타데이터(양자화된 엔벨로프 데이터 포함) 및 eSBR 메타데이터(및 또한 다른 메타데이터)를 추출하고, 적어도 SBR 메타데이터 및 eSBR 메타데이터를 eSBR 처리 단계(203)로 어서트하고, 일반적으로 또한 다른 추출된 메타데이터를 디코딩 서브시스템(202)(및 선택적으로 또한 제어 비트 생성기(204))로 어서트하도록 결합되고 구성된다. 디포맷터(205)는 또한 비트스트림의 각 블록으로부터 오디오 데이터를 추출하고, 추출된 오디오 데이터를 디코딩 서브시스템(디코딩 단계)(202)로 어서트하도록 결합되고 구성된다.
도 3의 시스템은 또한 선택적으로 후처리기(300)를 포함한다. 후처리기(300)는 버퍼 메모리(버퍼)(301) 및 버퍼(301)에 결합된 적어도 하나의 처리 요소를 포함하는 다른 처리 요소(미도시)를 포함한다. 버퍼(301)는 디코더(200)로부터 후처리기(300)에 의해 수신된 디코딩된 오디오 데이터의 적어도 하나의 블록(또는 프레임)을 (예를 들어, 비일시적 방식으로) 저장한다. 후처리기(300)의 처리 요소는 디코딩 서브시스템(202) (및/또는 디포맷터(205))으로부터 출력된 메타데이터 및/또는 디코더(200)의 단계(204)로부터 출력된 제어 비트를 사용하여, 버퍼(301)로부터 출력된 디코딩된 오디오 출력의 블록(또는 프레임) 시퀀스를 수신하고 적응적으로 처리하도록 결합되고 구성된다.
디코더(200)의 오디오 디코딩 서브시스템(202)은 파서(205)에 의해 추출된 오디오 데이터를 디코딩(이러한 디코딩은 "코어" 디코딩 작동으로 지칭될 수 있음)하여 디코딩된 오디오 데이터를 생성하고, 디코딩된 오디오 데이터를 eSBR 처리 단계(203)로 어서트하도록 구성된다. 디코딩은 주파수 도메인에서 수행되며 일반적으로 역양자화 및 스펙트럼 처리를 포함한다. 일반적으로, 서브시스템(202) 내의 처리의 최종 단계는 서브시스템의 출력이 시간 도메인, 디코딩된 오디오 데이터가 되도록 디코딩된 주파수 도메인 오디오 데이터에 주파수 도메인-시간 도메인 변환을 적용한다. 단계(203)는 eSBR 메타데이터에 의해 표시되는 SBR 도구 및 eSBR 도구 및 (파서 (205)에 의해 추출된) eSBR을 디코딩된 오디오 데이터에 적용하여(즉, SBR 및 eSBR 메타데이터를 사용하여 디코딩 서브시스템 (202)의 출력에 대해 SBR 및 eSBR 처리를 수행하여) 디코더 (200)로부터 (예를 들어, 후처리기(300)로) 출력되는 완전히 디코딩된 오디오 데이터를 생성하도록 구성된다. 일반적으로, 디코더(200)는 디포맷터(205)로부터 출력된 디포맷팅된 오디오 데이터 및 메타데이터를 저장하는 메모리(서브시스템(202) 및 단계(203)에 의해 접근 가능)를 포함하고, 단계(203)는 SBR 및 eSBR 처리 동안 필요하면 오디오 데이터 및 메타데이터(SBR 메타데이터 및 eSBR 메타데이터 포함)에 접근하도록 구성된다. 단계(203)의 SBR 처리 및 eSBR 처리는 코어 디코딩 서브시스템(202)의 출력에 대한 후처리로 간주될 수 있다. 선택적으로, 디코더(200)는 또한 단계(203)의 출력에 대해 업믹싱을 수행하여 디코더(200)로부터의 출력인 완전히 디코딩된, 업믹싱된 오디오를 생성하도록 결합되고 구성되는 (디포맷터(205)에 의해 추출된 PS 메타데이터 및/또는 서브시스템(204)에서 생성된 제어 비트를 사용하여, MPEG-4 AAC 표준에 정의된 파라메트릭 스테레오("PS") 도구를 적용할 수 있는) 최종 업믹싱 서브시스템을 포함한다. 대안적으로, 후처리기(300)는 디코더(200)의 출력에 대해 (예를 들어, 디포맷터(205)에 의해 추출된 PS 메타데이터 및/또는 서브시스템(204)에서 생성된 제어 비트를 사용하여) 업믹싱을 수행하도록 구성된다.
디포맷터(205)에 의해 추출된 메타데이터에 응답하여, 제어 비트 생성기(204)는 제어 데이터를 생성할 수 있으며, 제어 데이터는 디코더(200) 내(예를 들어, 최종 업믹싱 서브시스템 내)에서 사용되거나 및/또는 디코더(200)의 출력으로서 (예를 들어, 후처리에서 사용하기 위하여 후처리기(300)로) 어서트될 수 있다. 입력 비트스트림으로부터 추출된 메타데이터에 응답하여 (및 선택적으로 또한 제어 데이터에 응답하여), 단계(204)는 eSBR 처리 단계(203)로부터 출력된 디코딩된 오디오 데이터가 특정 유형의 후처리를 거쳐야 한다는 것을 표시하는 제어 비트를 생성(및 후처리기(300)로 어서트)할 수 있다. 일부 구현에서, 디코더(200)는 디포맷터(205)에 의해 입력 비트스트림으로부터 추출된 메타데이터를 후처리기(300)로 어서트하도록 구성되고, 후처리기(300)는 메타데이터를 사용하여 디코더(200)로부터 출력된 디코딩된 오디오 데이터에 대해 후처리를 수행하도록 구성된다.
도 4는 발명의 오디오 처리 유닛의 다른 실시예인 오디오 처리 유닛 ("APU") (210)의 블록도이다. APU(210)는 eSBR 처리를 수행하도록 구성되지 않은 레가시 디코더이다. APU(210)의 임의의 성분 또는 요소는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합 내의 하나 이상의 프로세스 및/또는 하나 이상의 회로(예를 들어, ASIC, FPGA 또는 다른 집적 회로)로 구현될 수 있다. APU(210)는 도시된 바와 같이 연결된 버퍼 메모리(201), 비트스트림 페이로드 디포맷터(파서)(215), 오디오 디코딩 서브시스템(202)(때때로 “코어” 디코딩 단계 또는 “코어” 디코딩 서브시스템으로 지칭됨) 및 SBR 처리 단계(213)를 포함한다. 일반적으로 또한, APU(210)는 다른 처리 요소(미도시)를 포함한다. APU(210)는, 예를 들어, 오디오 인코더, 디코더 또는 트랜스코더를 나타낼 수 있다.
APU(210)의 요소(201 및 202)는 (도 3의) 디코더(200)의 동일한 부호의 요소와 동일하며 그에 대한 상기 설명은 되풀이되지 않는다. APU(210)의 작동에서, APU(210)에 의해 수신된 인코딩된 오디오 비트스트림 (MPEG-4 AAC 비트스트림)의 블록 시퀀스가 버퍼(201)로부터 디포맷터(215)로 어서트된다.
디포맷터(215)는 비트스트림의 각 블록을 역다중화하여 이로부터 SBR 메타데이터(양자화된 엔벨로프 데이터 포함) 및 일반적으로 또한 다른 메타데이터를 추출하지만, 본 발명의 임의의 실시예에 따라 비트스트림에 포함될 수 있는 eSBR 메타데이터를 무시하도록 결합되고 구성된다. 디포맷터(215)는 적어도 SBR 메타데이터를 SBR 처리 단계(213)로 어서트하도록 구성된다. 디포맷터(215)는 또한 비트스트림의 각 블록으로부터 오디오 데이터를 추출하고, 추출된 오디오 데이터를 디코딩 서브시스템(디코딩 단계)(202)으로 어서트하도록 결합되고 구성된다.
디코더(200)의 오디오 디코딩 서브시스템(202)은 디포맷터(215)에 의해 추출된 오디오 데이터를 디코딩(이러한 디코딩은 "코어" 디코딩 작동으로 지칭될 수 있음)하여 디코딩된 오디오 데이터를 생성하고, 디코딩된 오디오 데이터를 SBR 처리 단계(213)로 어서트하도록 구성된다. 디코딩은 주파수 도메인에서 수행된다. 일반적으로, 서브시스템(202) 내의 처리의 최종 단계는 서브시스템의 출력이 시간 도메인, 디코딩된 오디오 데이터가 되도록 디코딩된 주파수 도메인 오디오 데이터에 주파수 도메인-시간 도메인 변환을 적용한다. 단계(213)는 (디포맷터(215)에 의해 추출된) SBR 메타데이터에 의해 표시되는 SBR 도구(그러나 eSBR 도구는 아님)를 디코딩된 오디오 데이터에 적용하여(즉, SBR 메타데이터를 사용하여 디코딩 서브시스템 (202)의 출력에 대해 SBR 처리를 수행하여) APU(210)로부터 (예를 들어, 후처리기(300)로) 출력되는 완전히 디코딩된 오디오 데이터를 생성하도록 구성된다. 일반적으로, APU(210)는 디포맷터(215)로부터 출력된 디포맷팅된 오디오 데이터 및 메타데이터를 저장하는 메모리(서브시스템(202) 및 단계(213)에 의해 접근 가능)를 포함하고, 단계(213)는 SBR 처리 동안 필요하면 오디오 데이터 및 메타데이터(SBR 메타데이터 포함)에 접근하도록 구성된다. 단계(213)의 SBR 처리는 코어 디코딩 서브시스템(202)의 출력에 대한 후처리로 간주될 수 있다. 선택적으로, APU(210)는 또한 단계(213)의 출력에 대해 업믹싱을 수행하여 APU(210) 로부터의 출력인 완전히 디코딩된, 업믹싱된 오디오를 생성하도록 결합되고 구성되는 (디포맷터(215)에 의해 추출된 PS 메타데이터를 사용하여, MPEG-4 AAC 표준에 정의된 파라메트릭 스테레오 ("PS") 도구를 적용할 수 있는) 최종 업믹싱 서브시스템을 포함한다. 대안적으로, 후처리기가 APU(210)의 출력에 대해 (예를 들어, 디포맷터(205)에 의해 추출된 PS 메타데이터 및/또는 APU(210) 에서 생성된 제어 비트를 사용하여) 업믹싱을 수행하도록 구성된다.
인코더(100), 디코더(200) 및 APU(210)의 다양한 구현이 발명의 방법의 상이한 실시예를 수행하도록 구성된다.
일부 실시예에 따르면, 인코딩된 오디오 비트스트림 (예를 들어, MPEG-4 AAC 비트스트림) 내에 eSBR 메타데이터가 포함되어(예를 들어, eSBR 메타데이터인 작은 수의 제어 비트가 포함되어), (eSBR 메타데이터를 파싱하거나, eSBR 메타데이터와 관련된 임의의 eSBR 도구를 사용하도록 구성되지 않은) 레가시 디코더가 eSBR 메타데이터를 무시할 수 있지만 그럼에도 불구하고 eSBR 메타데이터 또는 eSBR 메타데이터와 관련된 임의의 eSBR 도구를 사용하지 않고 일반적으로 디코딩된 오디오 품질에 별다른 불이익이 없이 가능한 정도까지 비트스트림을 디코딩한다. 그러나, 비트스트림을 파싱하여 eSBR 메타데이터를 식별하고 eSBR 메타데이터에 응답하여 적어도 하나의 eSBR 도구를 사용하도록 구성되는 eSBR 디코더는 적어도 하나의 그러한 eSBR 도구의 이익을 누릴 수 있을 것이다. 따라서, 발명의 실시예는 하위 호환 방식으로 향상된 스펙트럼 대역 복제 (eSBR) 제어 데이터 또는 메타데이터를 효율적으로 전송하는 수단을 제공한다.
일반적으로, 비트스트림 내의 eSBR 메타데이터는 (MPEG USAC 표준에 기술되어 있으며, 비트스트림의 생성 동안 인코더에 의해 적용되거나 적용되지 않을 수 있는) 하나 이상의 다음 eSBR 도구(예를 들어, 이의 하나 이상의 특성 또는 매개변수)를 표시한다:
ㆍ고조파 전위; 및
ㆍQMF-패칭 추가 전처리(사전 평탄화)
예를 들어, 비트스트림에 포함된 eSBR 메타데이터는(MPEG USAC 표준 및 본 개시에 기술된) 매개변수 sbrPatchingMode[ch], sbrOversamplingFlag[ch], sbrPitchInBins[ch], sbrPitchInBins[ch] 및 bs_sbr_preprocessing의 값을 표시할 수 있다.
본원에서, X가 어떤 매개변수인, 표기 X[ch]는 매개변수가 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 채널("ch")에 관련된 것임을 나타낸다. 간단하게 표현하기 위해, 때로는 표현 [ch]를 생략하고, 관련 매개변수가 오디오 콘텐츠의 채널과 관련이 있다고 가정한다.
본원에서, X가 어떤 매개변수인, 표기 X[ch][env] 는 매개변수가 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 채널("ch")의 SBR 엔벨로프("env")에 관련된 것임을 나타낸다. 간단하게 표현하기 위해, 때로는 표현 [env]와 [ch]를 생략하고, 관련 매개변수가 오디오 콘텐츠의 채널의 SBR 엔벨로프와 관련이 있다고 가정한다.
인코딩된 비트스트림의 디코딩 동안, (비트스트림에 의해 표시되는 오디오 콘텐츠의 각 채널 "ch"에 대한) 디코딩의 eSBR 처리 단계 동안 고조파 전위의 수행은 다음의 eSBR 메타데이터 매개변수에 의해 제어된다: sbrPatchingMode[ch]: sbrOversamplingFlag[ch]; sbrPitchInBinsFlag[ch]; 및 sbrPitchInBins[ch].
"sbrPatchingMode[ch]" 값은 eSBR에서 사용되는 전위기 유형을 표시한다: sbrPatchingMode[ch] = 1은 (고품질 SBR 또는 저전력 SBR에서 사용되는 바와 같은) MPEG-4 AAC 표준의 섹션 4.6.18에 기술된 바와 같은 선형 전위 패칭을 표시한다. sbrPatchingMode[ch] = 0은 MPEG USAC 표준의 섹션 7.5.3 또는 7.5.4에 기술된 바와 같은 고조파 SBR 패칭을 표시한다.
"sbrOversamplingFlag[ch]" 값은 MPEG USAC 표준의 섹션 7.5.3에 기술된 바와 같은 DFT 기반 고조파 SBR 패칭과 결합하여 신호 적응 주파수 도메인 오버샘플링의 사용을 표시한다. 이 플래그는 전위기에서 사용되는 DFT의 크기를 제어한다: 1은 MPEG USAC 표준의 섹션 7.5.3.1에 기술된 바와 같은 신호 적응 주파수 도메인 오버샘플링이 사용 가능함을 표시하며; 0은 MPEG USAC 표준의 섹션 7.5.3.1에 기술된 바와 같은 신호 적응 주파수 도메인 오버샘플링이 사용 불가능함을 표시한다.
"sbrPitchInBinsFlag[ch]" 값은 sbrPitchInBins[ch] 매개변수의 해석을 제어한다: 1은 sbrPitchInBins[ch] 내의 값이 유효하며 0보다 크다는 것을 표시하며; 0은 sbrPitchInBins[ch] 의 값이 0으로 설정된 것을 표시한다.
"sbrPitchInBins[ch]" 값은 SBR 고조파 전위기 내에서 외적항의 추가를 제어한다. sbrPitchinBins[ch] 값은 [0,127] 범위의 정수 값이며 코어 코더의 샘플링 주파수 상에서 동작하는 1536-라인 DFT에 대한 주파수 빈(bin)에서 측정된 거리를 나타낸다.
MPEG-4 AAC 비트스트림이 채널이 결합되지 않은 (단일 SBR 채널이 아닌) SBR 채널 쌍임을 표시하는 경우, 비트스트림은 위 구문의 두 가지 예(고조파 또는 비고조파 전위에 대한)를 표시하며, sbr_channel_pair_element()의 각 채널에 대해 하나씩이다.
eSBR 도구의 고조파 전위는 일반적으로 상대적으로 낮은 크로스오버 주파수에서 디코딩된 음악 신호의 품질을 개선한다. 비고조파 전위(즉, 레가시 스펙트럼 패칭)는 일반적으로 음성 신호를 개선한다. 그러므로, 특정한 오디오 콘텐츠의 인코딩에 바람직한 전위기 유형의 결정에 있어서 시작점은 음성/음악 검출에 따라 음성 콘텐츠에 대해서는 스펙트럼 패칭이 음악 콘텐츠에 대해서는 고조파 전위가 채용되는 전위 방법을 선택하는 것이다.
eSBR 처리 동안 사전 평탄화의 수행은 "bs_sbr_preprocessing"로 알려진 1비트 eSBR 메타데이터 매개변수의 값에 의해 제어되며, 이 단일 비트의 값에 따라 사전 평탄화가 수행되거나 수행되지 않는 방식이다. MPEG-4 AAC 표준의 섹션 4.6.18.6.3에 기술된 바와 같은 SBR QMF-패칭 알고리즘이 사용될 때, 사전 평탄화 단계는 후속 엔벨로프 조정기(엔벨로프 조정기는 eSBR 처리의 다른 단계를 수행한다) 로 입력되는 고주파 신호의 스펙트럼 엔벨로프의 형태에서 비연속성을 피하기 위해 ("bs_sbr_preprocessing" 매개변수에 의해 표시될 때) 수행될 수 있다. 사전 평탄화는 일반적으로 후속 엔벨로프 조정 단계의 작동을 개선하여, 더 안정적인 것으로 인식되는 고대역 신호를 가져온다.
MPEG-4 AAC 비트스트림 내에 상기한 eSBR 도구(고조파 전위 및 사전 평탄화)를 표시하는eSBR 메타데이터를 포함하는 것에 대한 전체 비트율 요구사항은 초당 수백비트 정도로 예상되는데 이는 발명의 일부 실시예에 따라 eSBR 처리를 수행하기 위해 필요한 차별적인 제어 데이터만이 전송되기 때문이다. 이 정보가 (추후 설명될 바와 같이) 하위 호환 방식으로 포함되기 때문에 레가시 디코더는 이를 무시할 수 있다. 그러므로, 다음을 포함하여, 여러 가지 이유로 eSBR 메타데이터의 포함과 관련된 비트율에 대한 해로운 영향은 무시할 수 있다.
ㆍeSBR 처리를 수행하는 데 필요한 차별적인 제어 데이터만이 전송(SBR 제어 데이터의 동시방송(simulcast)이 아님)되기 때문에 (eSBR 메타데이터의 포함으로 인한) 비트율 불이익은 전체 비트율의 아주 작은 부분이다.
ㆍSBR 관련 제어 정보의 조정은 일반적으로 전위의 세부 사항에 의존하지 않는다. 제어 데이터가 전위기의 작동에 의존하는 경우의 예는 본 출원의 후반에서 논의된다.
따라서, 발명의 실시예는 하위 호환 방식으로 향상된 스펙트럼 대역 복제(eSBR) 제어 데이터 또는 메타데이터를 효율적으로 전송하는 수단을 제공한다. 이러한 eSBR 제어 데이터의 효율적인 전송은 발명의 양상을 이용하는 디코더, 인코더 및 트랜스코더에서 메모리 요구사항을 줄이면서도, 비트율에 실질적인 악영향이 없다. 또한, 발명의 실시예에 따라 eSBR을 수행하는 것과 연관된 복잡도 및 처리 요구사항이 또한 줄어드는데, 이는 데이터가 한번만 처리되고 동시방송되지 않기 때문이며, 이는 eSBR이 하위 호환 방식으로 MPEG-4 AAC 코덱에 통합되는 대신 MPEG-4 AAC에서 완전히 별개의 객체 유형으로 취급되는 경우에 해당된다.
다음으로, 도 7을 참조하여, 본 발명의 일부 실시예에 따라 eSBR 메타데이터가 포함되는 MPEG-4 AAC 비트스트림의 블록("raw_data_block")의 요소를 설명한다. 도 7은 MPEG-4 AAC 비트스트림의 블록("raw_data_block")의 도면으로서, 그 일부 세그먼트를 나타낸다.
MPEG-4 AAC 비트스트림의 블록은 오디오 프로그램에 대한 오디오 데이터를 포함하는 적어도 하나의 "single_channel_element()" (예를 들어, 도 7에 나타난 단일 채널 요소) 및/또는 적어도 하나의 "channel_pair_element()" (존재할 수는 있지만 도 7에 구체적으로 도시되지 않음)를 포함할 수 있다. 블록은 또한 프로그램에 관련된 데이터 (예를 들어, 메타데이터)를 포함하는 다수의 "fill_elements" (예를 들어, 도 7의 필 요소(1) 및/또는 필 요소(2))를 포함할 수 있다. 각 "single_channel_element()"는 단일 채널 요소의 시작을 표시하는 식별자(예를 들어, 도 7의 "ID1")를 포함하며, 다채널 오디오 프로그램의 상이한 채널을 표시하는 오디오 데이터를 포함할 수 있다. 각 "channel_pair_element()"는 채널 쌍 요소의 시작을 표시하는 식별자(도 7에서 미도시)를 포함하며, 프로그램의 두 채널을 표시하는 오디오 데이터를 포함할 수 있다.
MPEG-4 AAC 비트스트림의 fill_element(본원에서 필 요소로 지칭됨)는 필 요소의 시작을 표시하는 식별자(도 7의 "ID2") 및 식별자 뒤의 필 데이터를 포함한다. 식별자 ID2는 0x6 값을 갖는 3비트의 최상위 비트가 먼저 전송되는 무부호 정수("uimsbf")로 구성될 수 있다. 필 데이터는 extension_payload() 요소(본원에서 때때로 확장 페이로드로 지칭됨)를 포함할 수 있으며 그 구문이 MPEG-4 AAC 표준의 표 4.57에 나타나 있다. 여러 유형의 확장 페이로드가 존재하며, 4비트의 최상위 비트가 먼저 전송되는 무부호 정수("uimsbf")인 "extension_type" 매개변수를 통해 식별된다.
필 데이터(예를 들어, 그 확장 페이로드)는 SBR 객체를 표시하는 필 데이터의 세그먼트를 표시하는 헤더 또는 식별자(예를 들어, 도 7의 "header1")를 포함할 수 있다(즉, 헤더는 MPEG-4 AAC 표준에서 sbr_extension_data ()로 지칭되는 "SBR 객체" 유형을 초기 설정한다). 예를 들어, 스펙트럼 대역 복제(SBR) 확장 페이로드는 헤더 내의 extension_type 필드에 대해 '1101' 또는 '1110' 값으로 식별되며, 식별자 '1101'은 SBR 데이터를 갖는 확장 페이로드를 식별하고 '1110'은 SBR 데이터의 정확성을 검증하기 위한 순환 중복 검사(CRC)를 갖는 SBR 데이터를 갖는 확장 페이로드를 식별한다.
헤더(예를 들어, extension_type 필드)가 SBR 객체 유형을 초기 설정할 때, SBR 메타데이터(본원에서 때때로 "스펙트럼 대역 복제 데이터"로 지칭되며 MPEG-4 AAC 표준에서 as sbr_data()로 지칭됨)가 헤더 뒤에 오며, 적어도 하나의 스펙트럼 대역 복제 확장 요소(예를 들어, 도 7의 필 요소(1)의 "SBR 확장 요소")가 SBR 메타데이터 뒤에 올 수 있다. 이러한 스펙트럼 대역 복제 확장 요소(비트스트림의 세그먼트)가 MPEG-4 AAC 표준의"sbr_extension()" 컨테이너로 지칭된다. 스펙트럼 대역 복제 확장 요소는 선택적으로 헤더(예를 들어, 도 7의 필 요소(1)의 "SBR 확장 요소")를 포함한다.
MPEG-4 AAC 표준은 스펙트럼 대역 복제 확장 요소가 프로그램의 오디오 데이터에 대해 PS(파라메트릭 스테레오) 데이터를 포함할 수 있다는 점을 고려한다. MPEG-4 AAC 표준은 필 요소(예를 들어, 그 확장 페이로드)의 헤더가 (도 7의 "header1"이 하는 것처럼) SBR 객체 유형을 초기 설정하고 필 요소의 스펙트럼 대역 복제 확장 요소가 PS 데이터를 포함할 때, 필 요소(예를 들어, 그 확장 페이로드)가 스펙트럼 대역 복제 데이터를 포함하며, 그 값(즉, bs_extension_id = 2)이 필 요소의 스펙트럼 대역 복제 확장 요소가 PS 데이터를 포함한다는 것을 표시한다는 점을 고려한다.
본 발명의 일부 실시예에 따르면, eSBR 메타데이터(예를 들어, 블록의 오디오 콘텐츠에 대해 향상된 스펙트럼 대역 복제(eSBR) 처리 수행 여부를 표시하는 플래그)가 필 요소의 스펙트럼 대역 복제 확장 요소에 포함된다. 예를 들어, 이러한 플래그가 도 7의 필 요소(1)에 표시되며, 플래그는 필 요소(1)의 "SBR 확장 요소"의 헤더(필 요소(1)의 "SBR 확장 헤더") 다음에 나타난다. 선택적으로, 이러한 플래그 및 추가 eSBR 메타데이터가 스펙트럼 대역 복제 확장 요소 내에 스펙트럼 대역 복제 확장 요소의 헤더 뒤(예를 들어, 도 7 필 요소(1) SBR 확장 요소 내, SBR 확장 헤더 뒤)에 포함된다. 본 발명의 일부 실시예에 따르면, eSBR 메타데이터를 포함하는 필 요소는 또한 "bs_extension_id" 매개변수를 포함하며, 그 값(예를 들어, bs_extension_id = 3)은 필 요소 내에 eSBR 메타데이터가 포함되고 관련 블록의 오디오 콘텐츠에 대해 eSBR 처리가 수행될 것임을 표시한다.
본 발명의 일부 실시예에 따르면, eSBR 메타데이터는 필 요소의 스펙트럼 대역 복제 확장 요소(SBR 확장 요소)가 아니라 MPEG-4 AAC 비트스트림의 필 요소(예를 들어, 도 7의 필 요소(2))에 포함된다. 이는 SBR 데이터 또는 CRC를 갖는 SBR 데이터를 갖는 extension_payload()를 포함하는 필 요소는 다른 확장 유형의 확장 페이로드를 포함하지 않기 때문이다. 그러므로, eSBR 메타데이터가 그 자체의 확장 페이로드에 저장되는 실시예에서, eSBR 메타데이터를 저장하기 위해 별도의 필 요소가 사용된다. 이러한 필 요소는 필 요소의 시작을 표시하는 식별자(예를 들어, 도 7의 "ID2") 및 식별자 뒤의 필 데이터를 포함한다. 필 데이터는 extension_payload() 요소(본원에서 때때로 확장 페이로드로 지칭됨)를 포함할 수 있으며 그 구문이 MPEG-4 AAC 표준의 표 4.57에 나타나 있다. 필 데이터(예를 들어, 그 확장 페이로드)는 헤더(예를 들어, 도 7의 필 요소(2)의 "header2")를 포함하며 이는 eSBR 객체를 표시하고(즉 헤더는 향상된 스펙트럼 대역 복제 (eSBR) 객체 유형을 초기 설정한다), 필 데이터(예를 들어, 그 확장 페이로드)는 헤더 뒤에 eSBR 메타데이터를 포함한다. 예를 들어, 도 7의 필 요소(2)는 이러한 헤더("header2")를 포함하며 또한, 헤더 뒤에, eSBR 메타데이터(즉 블록의 오디오 콘텐츠에 대해 향상된 스펙트럼 대역 복제 (eSBR) 처리 수행 여부를 표시하는 필 요소(2) 내의 "플래그")를 포함한다. 선택적으로, 추가 eSBR 메타데이터가 또한 도 7의 필 요소(2)의 필 데이터 내에, header2 뒤에 포함된다. 본 단락에서 기재된 실시예에서, 헤더(예를 들어, 도 7의 header2)는 MPEG-4 AAC 표준의 표 4.57에 특정된 통상적인 값 중 하나가 아닌 식별 값을 가지며, 대신 (필 데이터가 eSBR 메타데이터를 포함하는 것을 헤더의 extension_type 필드가 표시하기 위하여) eSBR 확장 페이로드를 표시한다.
제1 종류의 실시예에서, 발명은 오디오 처리 유닛(예를 들어, 디코더)로서, 이는:
인코딩된 오디오 비트스트림의 적어도 하나의 블록(예를 들어, MPEG-4 AAC 비트스트림의 적어도 하나의 블록)을 저장하도록 구성되는 메모리(예를 들어, 도 3 또는 도 4의 버퍼(201));
메모리에 결합되며 비트스트림의 상기 블록의 적어도 일 부분을 역다중화하도록 구성되는 비트스트림 페이로드 디포맷터(예를 들어, 도 3의 요소(205) 또는 도 4의 요소(215)); 및
비트스트림의 상기 블록의 오디오 콘텐츠의 적어도 일 부분을 디코딩하도록 결합되고 구성되는 디코딩 서브시스템(예를 들어, 도 3의 요소(202 및 203) 또는 도 4의 요소(202 및 213))을 포함하며, 블록은:
필 요소의 시작을 표시하는 식별자(예를 들어, MPEG-4 AAC 표준의 표 4.85의, 0x6 값을 갖는"id_syn_ele" 식별자) 및 식별자 뒤의 필 데이터를 포함하는 필 요소를 포함하고, 필 데이터는:
(예를 들어, 블록 내에 포함된 스펙트럼 대역 복제 데이터 및 eSBR 메타데이터를 사용하여) 블록의 오디오 콘텐츠에 대해 향상된 스펙트럼 대역 복제 (eSBR) 처리 수행 여부를 식별하는 적어도 하나의 플래그를 포함한다.
플래그는 eSBR 메타데이터이며, 플래그의 예는 sbrPatchingMode 플래그이다. 플래그의 다른 예는 harmonicSBR 플래그이다. 이들 플래그는 모두 블록의 오디오 콘텐츠에 대해 스펙트럼 대역 복제의 기본 형태 또는 스펙트럼 복제의 향상된 형태의 수행 여부를 표시한다. 스펙트럼 복제의 기본 형태는 스펙트럼 패칭이고, 스펙트럼 대역 복제의 향상된 형태는 고조파 전위이다.
일부 실시예에서, 필 데이터는 또한 추가 eSBR 메타데이터(즉 플래그가 아닌 eSBR 메타데이터)를 포함한다.
메모리는 인코딩된 오디오 비트스트림의 적어도 하나의 블록을 (예를 들어, 비일시적 방식으로) 저장하는 버퍼 메모리(예를 들어, 도 4의 버퍼(201)의 구현)일 수 있다.
(이들 eSBR 도구를 표시하는) eSBR 메타데이터를 포함하는 MPEG-4 AAC 비트스트림의 디코딩 동안 eSBR 디코더에 의한 (eSBR 고조파 전위 및 사전 평탄화를 사용하는) eSBR 처리 수행의 복잡도는 (표시된 매개변수를 갖는 일반적인 디코딩에 대해) 다음과 같을 것으로 추정된다:
ㆍ고조파 전위(16 kbps, 14400/28800 Hz)
o DFT 기반: 3.68 WMOPS(초당 가중 백만 작업(weighted million operations per second));
o QMF 기반: 0.98 WMOPS;
ㆍQMF-패칭 전처리(사전 평탄화): 0.1WMOPS.
과도 상태에 대하여 DFT 기반 전위가 일반적으로 QMF 기반 전위보다 성능이 나은 것으로 알려져 있다.
본 발명의 일부 실시예에 따르면, eSBR 메타데이터를 포함하는 (인코딩된 오디오 비트스트림의) 필 요소는 또한 그 값(예를 들어, bs_extension_id = 3)이 eSBR 메타데이터가 필 요소에 포함되며 그 eSBR 처리가 관련된 블록의 오디오 콘텐츠에 대해 수행될 것이라고 신호를 주는 매개변수(예를 들어, "bs_extension_id" 매개변수) 및/또는 또는 그 값(예를 들어, bs_extension_id = 2)이 필 요소의 sbr_extension() 컨테이너가 PS 데이터를 포함한다고 신호를 주는 매개변수(예를 들어, 동일한 "bs_extension_id" 매개변수)를 포함한다. 예를 들어, 아래의 표 1에 표시된 바와 같이, bs_extension_id = 2 의 값을 갖는 그러한 매개변수는 필 요소의 sbr_extension() 컨테이너가 PS 데이터를 포함한다고 신호를 줄 수 있으며, bs_extension_id = 3 의 값을 갖는 그러한 매개변수는 필 요소의 sbr_extension() 컨테이너가 eSBR 메타데이터를 포함한다고 신호를 줄 수 있다.
발명의 일부 실시예에 따르면, eSBR 메타데이터 및/또는 PS 데이터를 포함하는 각 스펙트럼 대역 복제 확장 요소의 구문은 아래의 표 2에 표시된 바와 같다(여기에서 "sbr_extension()"은 스펙트럼 대역 복제 확장 요소인 컨테이너를 나타내고, "bs_extension_id"는 위의 표 1에 기술된 바와 같으며, "ps_data"는 PS 데이터를 나타내고, "esbr_data"는 eSBR 메타데이터를 나타낸다):
예시적인 실시예에서, 위의 표 2에서 참조되는 esbr_data()는 다음의 메타데이터 매개변수의 값을 표시한다: 1. 1 비트 메타데이터 매개변수, "bs_sbr_preprocessing"; 및
2. 디코딩될 인코딩된 비트스트림의 오디오 콘텐츠의 각 채널("ch")에 대하여, 상술한 "sbrPatchingMode[ch]"; "sbrOversamplingFlag[ch]"; "sbrPitchInBinsFlag[ch]"; 및 "sbrPitchInBins[ch]"의 각 매개변수.
예를 들어, 일부 실시예에서, esbr_data()는 이들 메타데이터 매개변수를 표시하기 위하여 표 3에 표시된 구문을 가질 수 있다:
위의 구문은 레가시(legacy) 디코더의 확장으로서, 고조파 전위와 같은, 향상된 형태의 스펙트럼 대역 복제의 효율적인 구현을 가능하게 한다. 특히, 표 3의 eSBR 데이터는 비트스트림에서 이미 지원되지 않거나 비트스트림에서 이미 지원되는 매개변수로부터 직접 도출될 수 없는 향상된 형태의 스펙트럼 대역 복제를 수행하는 데 필요한 매개변수만을 포함한다. 향상된 형태의 스펙트럼 대역 복제를 수행하기 위해 필요한 다른 모든 매개변수 및 처리 데이터는 비트스트림에서 이미 정의된 위치의 기존 매개변수로부터 추출된다.
예를 들어, MPEG-4 HE-AAC 또는 HE-AAC v2 호환 디코더는 고조파 전위와 같은 향상된 형태의 스펙트럼 대역 복제를 포함하도록 확장될 수 있다. 이러한 향상된 형태의 스펙트럼 대역 복제는 디코더에 의해 이미 지원되는 기본 형태의 스펙트럼 대역 복제에 추가된다. MPEG-4 HE-AAC 또는 HE-AAC v2 호환 디코더와 관련하여, 이 기본 형태의 스펙트럼 대역 복제는 MPEG-4 AAC 표준의 섹션4.6.18 에 정의된 QMF 스펙트럼 패칭 SBR 도구이다.
향상된 형태의 스펙트럼 대역 복제를 수행할 때, 확장된 HE-AAC 디코더는 비트스트림의 SBR 확장 페이로드 내에 이미 포함되어 있는 비트스트림 매개변수 중 많은 것을 재사용할 수 있다. 재사용될 수 있는 구체적인 매개변수는, 예를 들어, 마스터 주파수 대역 테이블을 결정하는 다양한 매개변수를 포함한다. 이들 매개변수는 bs_start_freq (마스터 주파수 테이블 매개변수의 시작을 결정하는 매개변수), bs_stop_freq (마스터 주파수 테이블의 종료를 결정하는 매개변수), bs_freq_scale (옥타브 당 주파수 대역의 수를 결정하는 매개변수) 및 bs_alter_scale (주파수 대역의 스케일을 변경하는 매개변수)를 포함한다. 재사용될 수 있는 매개변수는 또한 잡음 대역 테이블을 결정하는 매개변수(bs_noise_bands) 및 리미터 대역 테이블 매개변수 (bs_limiter_bands)를 포함한다. 따라서, 다양한 실시예에서, USAC 표준에서 지정된 동등한 매개변수의 적어도 일부가 비트스트림으로부터 생략될 수 있고, 이에 따라 비트스트림의 오버헤드를 제어할 수 있다. 일반적으로, AAC 표준에서 지정된 매개변수가 USAC 표준에서 지정된 동등한 매개변수를 갖는 경우, USAC 표준에서 지정된 동등한 매개변수는 AAC 표준에서 지정된 매개변수와 동일한 명칭, 예를 들어, 엔벨로프 스케일팩터 EOrigMapped를 갖는다. 그러나, USAC 표준에서 지정된 동등한 매개변수는 일반적으로 AAC 표준에서 정의된 SBR 처리에 대한 것이 아니라 USAC 표준에서 정의된 향상된 SBR 처리에 대하여 "조정(tune)"된 상이한 값을 갖는다.
고조파 주파수 구조와 강한 톤 특성, 특히 낮은 비트율에서 오디오 콘텐츠의 주관적 품질을 개선하기 위하여 향상된 SBR의 활성화가 권장된다. 이들 도구를 제어하는 대응하는 비트스트림 요소(즉, esbr_data ())의 값은 신호 의존 분류 메커니즘을 적용함으로써 인코더에서 결정될 수 있다. 일반적으로 고조파 패칭 방법의 사용(sbrPatchingMode == 1)은 매우 낮은 비트율로 음악 신호를 코딩하는 데 바람직하며, 여기에서 코어 코덱은 오디오 대역폭이 상당히 제한될 수 있다. 이들 신호가 뚜렷한 고조파 구조를 포함하는 경우 특히 그러하다. 반대로, 정규 SBR 패칭 방법의 사용은 음성의 시간적 구조를 더 잘 보존하기 때문에 음성 및 혼합 신호에 바람직하다.
고조파 전위기의 성능을 개선하기 위하여, 후속 엔벨로프 조정기로 들어가는 신호의 스펙트럼 불연속이 발생하는 것을 피하기 위해 노력하는 전처리 단계가 활성화될 수 있다(bs_sbr_preprocessing == 1). 이 도구의 작동은 고주파 재구성에 사용되는 저대역 신호의 대략적인 스펙트럼 엔벨로프가 큰 수준 변화를 나타내는 신호 유형에 유리하다.
고조파 SBR 패칭의 과도 상태 응답을 개선하기 위하여, 신호 적응 주파수 도메인 오버샘플링이 적용될 수 있다(sbrOversamplingFlag == 1). 신호 적응 주파수 도메인 오버샘플링은 전위기의 계산 복잡도를 증가시키지만, 과도 상태를 포함하는 프레임에 대해서 이점을 제공하므로, 이 도구의 사용은 비트스트림 요소에 의해 제어되며, 프레임 및 독립적인 SBR 채널마다 한 번 전송된다.
제안된 향상된 SBR 모드에서 작동하는 디코더는 일반적으로 레가시와 향상된 SBR 패칭 사이에서 전환할 수 있어야 한다. 따라서, 디코더 셋업에 따라, 하나의 코어 오디오 프레임의 지속 시간만큼의 길이일 수 있는 지연이 도입될 수 있다. 일반적으로 레가시 및 향상된 SBR 패칭 양자에 대한 지연은 유사하다.
다수의 매개변수에 추가하여, 발명의 실시예에 따라 향상된 형태의 스펙트럼 대역 복제를 수행할 때 다른 데이터 요소가 또한 확장된 HE-AAC 디코더에 의해 재사용될 수 있다. 예를 들어, 엔벨로프 데이터 및 잡음 플로어 데이터는 또한 bs_data_env (엔벨로프 스케일팩터) 및 bs_noise_env (잡음 플로어 스케일팩터) 데이터로부터 추출될 수 있으며, 향상된 형태의 스펙트럼 대역 복제 동안 사용될 수 있다.
본질적으로, 이들 실시예는 SBR 확장 페이로드에서 레가시 HE-AAC 또는 HE-AAC v2 디코더에 의해 이미 지원되는 구성 매개변수 및 엔벨로프 데이터를 이용하여 가능한 한 적은 추가 전송 데이터를 요구하는 향상된 형태의 스펙트럼 대역 복제를 가능하게 한다. 메타데이터는 원래 기본 형태의 HFR(예를 들어, SBR의 스펙트럼 변환 작동)에 대해 조정되었지만, 실시예들에 따르면, 향상된 형태의 HFR(예를 들어, eSBR의 고조파 전위)에 사용된다. 앞서 논의한 바와 같이, 메타데이터는 일반적으로 기본 형태의 HFR(예를 들어, 선형 스펙트럼 변환)와 함께 사용되도록 조정되고 의도된 작동 매개변수(예를 들어, 엔벨로프 스케일 팩터, 잡음 플로어 스케일 팩터, 시간/주파수 그리드 매개변수, 사인파 추가 정보, 가변 크로스오버 주파수/대역, 역필터링 모드, 엔벨로프 분해능, 스무딩 모드, 주파수 보간 모드)를 나타낸다. 그러나, 향상된 형태의 HFR(예를 들어, 고조파 전위)에 특정한 추가적인 메타데이터 매개변수와 결합된 이 메타데이터는 향상된 형태의 HFR을 사용하여 오디오 데이터를 효율적이고 효과적으로 처리하기 위해 사용될 수 있다.
따라서, 향상된 형태의 스펙트럼 대역 복제를 지원하는 확장된 디코더는 이미 정의된 비트스트림 요소(예를 들어, SBR 확장 페이로드 내의 요소들)에 의지하고 향상된 형태의 스펙트럼 대역 복제를 지원하기 위해 필요한 매개변수들만을 (필 요소 확장 페이로드 내에서) 추가함으로써 매우 효율적인 방식으로 생성될 수 있다. 확장 컨테이너와 같이 예약된 데이터 필드에 새롭게 추가된 매개변수를 배치하는 것과 결합된 이러한 데이터 감소 기능은 비트스트림이 향상된 형태의 스펙트럼 대역 복제를 지원하지 않는 레가시 디코더와 하위 호환되도록 보장함으로써 향상된 형태의 스펙트럼 대역 복제를 지원하는 디코더를 생성하는 데 따른 장벽을 실질적으로 감소시킨다.
표 3에서, 오른쪽 열의 숫자는 왼쪽 열의 대응하는 매개변수의 비트 수를 표시한다.
일부 실시예에서, MPEG-4 AAC에서 정의된 SBR 객체 유형이 SBR 확장 요소 (bs_extension_id== EXTENSION_ID_ESBR)에 의해 신호로 알려진 바와 같이 향상된 SBR (eSBR) 도구의 양상 및 SBR 도구를 포함하도록 업데이트된다. 디코더가 이 SBR 확장 요소를 검출 및 지원하면, 디코더는 향상된 SBR 도구의 신호로 알려진 양상을 이용한다. 이러한 방식으로 업데이트된 SBR 객체 유형을 SBR 인핸스먼트(enhancements)라 부른다.
일부 실시예에서, 발명은 오디오 데이터를 인코딩하여 인코딩된 비트스트림의 적어도 하나의 블록의 적어도 하나의 세그먼트에 eSBR 메타데이터를 블록의 적어도 하나의 다른 세그먼트에 오디오 데이터를 포함하는 인코딩된 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)을 생성하는 단계를 포함하는 방법이다. 전형적인 실시예에서, 방법은 인코딩된 비트스트림의 각 블록 내의 eSBR 메타데이터로 오디오 데이터를 다중화하는 단계를 포함한다. eSBR 디코더 내의 인코딩된 비트스트림의 전형적인 디코딩에서, 디코더는 비트스트림으로부터 eSBR 메타데이터를 추출하고 (eSBR 메타데이터 및 오디오 데이터를 파싱 및 역다중화함에 의하여 포함됨) eSBR 메타데이터를 사용하여 오디오 데이터를 처리하여 디코딩된 오디오 데이터의 스트림을 생성한다.
발명의 다른 양상은 eSBR 메타데이터를 포함하지 않는 인코딩된 오디오 비트스트림(예를 들어, MPEG-4 AAC 비트스트림)의 디코딩 동안 (예를 들어, 고조파 전위 또는 사전 평탄화로 알려진 적어도 하나의 eSBR 도구를 사용하여) eSBR 처리를 수행하도록 구성되는 eSBR 디코더이다. 이러한 디코더의 예가 도 5를 참조하여 설명될 것이다.
도 5의 eSBR 디코더(400)는 도시된 바와 같이 연결된 버퍼 메모리(201)(도 3 및 도 4의 메모리(201)와 동일), 비트스트림 페이로드 디포맷터(215)(도 4의 디포맷터(215)와 동일), 오디오 디코딩 서브시스템(202)(때때로 "코어" 디코딩 단계 또는 "코어" 디코딩 서브시스템으로 지칭되며, 도 3의 코어 디코딩 서브시스템(202)과 동일), eSBR 제어 데이터 생성 서브시스템(401) 및 eSBR 처리 단계(203)(도 3의 단계(203)와 동일)를 포함한다. 일반적으로 또한, 디코더(400)는 다른 처리 요소(미도시)를 포함한다.
디코더(400)의 작동 중에, 디코더(400)에 의해 수신된 인코딩된 오디오 비트스트림 (MPEG-4 AAC 비트스트림)의 블록 시퀀스가 버퍼(201)로부터 디포맷터(215)로 어서트된다.
디포맷터(215)는 비트스트림의 각 블록을 역다중화하여 이로부터 SBR 메타데이터(양자화된 엔벨로프 데이터 포함) 및 일반적으로 또한 다른 메타데이터를 추출하도록 결합되고 구성된다. 디포맷터(215)는 적어도 SBR 메타데이터를 eSBR 처리 단계(203)로 어서트하도록 구성된다. 디포맷터(215)는 또한 비트스트림의 각 블록으로부터 오디오 데이터를 추출하고, 추출된 오디오 데이터를 디코딩 서브시스템(디코딩 단계)(202)로 어서트하도록 결합되고 구성된다.
디코더(400)의 오디오 디코딩 서브시스템(202)은 디포맷터(215)에 의해 추출된 오디오 데이터를 디코딩(이러한 디코딩은 "코어" 디코딩 작동으로 지칭될 수 있다)하여 디코딩된 오디오 데이터를 생성하고, 디코딩된 오디오 데이터를 eSBR 처리 단계(203)로 어서트하도록 구성된다. 디코딩은 주파수 도메인에서 수행된다. 일반적으로 서브시스템(202) 내에서의 처리의 최종 단계는 서브시스템의 출력이 시간 도메인, 디코딩된 오디오 데이터가 되도록 디코딩된 주파수 도메인 오디오 데이터에 주파수 도메인-시간 도메인 변환을 적용한다. 단계(203)는 (디포맷터(215)에 의해 추출된) SBR 메타데이터 및 서브시스템(401) 내에서 생성된 eSBR 메타데이터에 의해 표시되는 SBR 도구(및 eSBR 도구)를 디코딩된 오디오 데이터에 적용하여 (즉, SBR 및 eSBR 메타데이터를 사용하여 디코딩 서브시스템(202)의 출력에 대해 SBR 및 eSBR 처리를 수행하여) 디코더(400)로부터의 출력인 완전히 디코딩된 오디오 데이터를 생성한다. 일반적으로, 디코더(400)는 디포맷터(215) (및 선택적으로 또한 서브시스템(401)로부터 출력된 디포맷팅된 오디오 데이터 및 메타데이터를 저장하는 (서브시스템(202) 및 단계(203)에 의해 접근될 수 있는) 메모리를 포함하며, 단계(203)는 SBR 및 eSBR 처리 동안 필요하면 오디오 데이터 및 메타데이터에 접근하도록 구성된다. 단계(203)에서 SBR 처리는 코어 디코딩 서브시스템(202)의 출력에 대한 후처리로 간주될 수 있다. 선택적으로, 디코더(400)는 또한 단계(203)의 출력에 대해 업믹싱을 수행하여 APU(210)로부터의 출력인 완전히 디코딩된, 업믹싱된 오디오를 생성하도록 결합되고 구성되는 (디포맷터(215)에 의해 추출된 PS 메타데이터를 사용하여, MPEG-4 AAC 표준에 정의된 파라메트릭 스테레오 ("PS") 도구를 적용할 수 있는) 최종 업믹싱 서브시스템을 포함한다.
파라메트릭 스테레오는 스테레오 신호의 왼쪽 및 오른쪽 채널의 선형 다운믹스 및 스테레오 이미지를 기술하는 공간 매개변수 세트를 사용하여 스테레오 신호를 표현하는 코딩 도구이다. 파라메트릭 스테레오는 일반적으로 3 가지 유형의 공간 매개변수를 사용한다: (1) 채널 사이의 세기 차이를 기술하는 IID (inter-channel intensity difference); (2) 채널 사이의 위상차를 기술하는 IPD(inter-channel phase difference); 및 (3) 채널 사이의 일관성 (또는 유사성)을 기술하는 ICC(inter-channel coherence). 일관성은 시간 또는 위상의 함수로서 상호 상관의 최대값으로 측정될 수 있다. 이들 3 개의 매개변수는 일반적으로 스테레오 이미지의 고품질 재구성을 가능하게 한다. 그러나 IPD 매개변수는 스테레오 입력 신호의 채널 사이의 상대 위상차만을 지정하고 왼쪽 및 오른쪽 채널에 대한 이러한 위상차의 분포는 표시하지 않는다. 따라서, 전체 위상 오프셋 또는 전체 위상차(OPD: overall phase difference)를 기술하는 제4 유형의 매개변수가 추가로 사용될 수 있다. 스테레오 재구성 프로세스에서, 수신된 다운믹스 신호 (s[n])와 수신된 다운믹스의 역상관된 버전(d[n])의 모두의 연속적인 윈도우 세그먼트는 공간 매개변수와 함께 처리되어 아래의 식에 따라 왼쪽(lk(n)) 및 오른쪽(rk(n)) 재구성된 신호를 생성한다:
여기에서 H11, H12, H21 및 H22 는 스테레오 매개변수에 의해 정의된다. 신호 lk(n) 및 rk(n)는 주파수-시간 변환에 의하여 최종적으로 시간 도메인으로 다시 변환된다.
도 5의 제어 데이터 생성 서브시스템(401)은 디코딩될 인코딩된 오디오 비트스트림의 적어도 하나의 속성을 검출하고, 검출 단계의 적어도 하나의 결과에 응답하여 (발명의 다른 실시예에 따라 인코딩된 오디오 비트스트림 내에 포함될 임의의 유형의 eSBR 메타데이터이거나 이를 포함할 수 있는) eSBR 제어 데이터를 생성하도록 결합되고 구성된다. eSBR 제어 데이터는 단계(203)로 어서트되어 비트스트림의 특정 속성(또는 속성의 조합)을 검출함에 따라 개별 eSBR 도구 또는 eSBR 도구의 조합의 적용을 트리거링하거나, 및/또는 이러한 eSBR 도구의 적용을 제어한다. 예를 들어, 고조파 전위를 사용하여 eSBR 처리의 수행을 제어하기 위하여, 제어 데이터 생성 서브시스템(401)의 일부 실시예는: 비트스트림이 음악을 표시하는지 아닌지를 검출하는 것에 응답하여 sbrPatchingMode [ch] 매개변수를 설정하고 (및 설정된 매개변수를 단계(203)로 어서트하는) 음악 검출기 (예를 들어, 종래의 음악 검출기의 단순화된 버전); 비트스트림에 의해 표시된 오디오 콘텐츠에서 과도 상태의 존재 또는 부재를 검출하는 것에 응답하여 sbrOversamplingFlag [ch] 매개변수를 설정하고 (및 설정된 매개변수를 단계(203)로 어서트하는) 과도 상태 검출기; 및/또는 비트스트림에 의해 표시된 오디오 콘텐츠의 피치를 검출하는 것에 응답하여 sbrPitchInBinsFlag [ch] 및 sbrPitchInBins [ch] 매개변수를 설정하고 (및 설정된 매개변수를 단계(203)로 어서트하는) 피치 검출기를 포함한다. 발명의 다른 양상은 이 단락 및 이전 단락에서 설명된 발명의 디코더의 임의의 실시예에 의해 수행되는 오디오 비트스트림 디코딩 방법이다.
발명의 양상은 발명의 APU, 시스템 또는 디바이스의 임의의 실시예가 수행하도록 구성되는(예를 들어, 프로그래밍되는) 유형의 인코딩 또는 디코딩 방법을 포함한다. 발명의 다른 양상은 발명의 방법의 임의의 실시예를 수행하도록 구성되는(예를 들어, 프로그래밍되는) 시스템 또는 디바이스, 및 발명의 방법 또는 그 단계의 임의의 실시예를 구현하는 코드를 (예를 들어, 비일시적인 방법으로) 저장하는 컴퓨터 판독 가능 매체(예를 들어, 디스크)를 포함한다. 예를 들어, 발명의 시스템은 소프트웨어 또는 펌웨어로 프로그래밍되거나 및/또는 데이터에 대해, 발명의 방법 또는 그 단계를 포함하여, 다양한 작동을 수행하도록 다른 방식으로 구성된, 프로그램 가능한 범용 프로세서, 디지털 신호 프로세서 또는 마이크로프로세서이거나 이를 포함한다. 이러한 범용 프로세서는 입력 디바이스, 메모리 및 어서트된 데이터에 응답하여 발명의 방법(또는 그 단계)의 실시예를 수행하도록 프로그래밍(및/또는 다른 방식으로 구성)되는 처리 회로를 포함하는 컴퓨터 시스템이거나 이를 포함할 수 있다.
본 발명의 실시예는 하드웨어, 펌웨어, 또는 소프트웨어, 또는 양자의 조합(예를 들어, 프로그램 가능한 로직 어레이로서)으로 구현될 수 있다. 달리 특정되지 않는 한, 발명의 일부로 포함되는 알고리즘 또는 프로세스는 본질적으로 특정 컴퓨터 또는 다른 장치와 관련이 없다. 특히 다양한 범용 머신이 본원의 교시에 따라 작성된 프로그램과 함께 사용될 수 있으며, 또는 필요한 방법 단계를 수행하기 위하여 더 특수화된 장치 (예를 들어, 집적 회로)를 구성하는 것이 더 편리할 수 있다. 따라서, 발명은 각각이 적어도 하나의 프로세서, 적어도 하나의 데이터 저장 시스템(휘발성 및 비휘발성 메모리 및/또는 저장 요소 포함), 적어도 하나의 입력 장치 또는 포트 및 적어도 하나의 출력 장치 또는 포트를 포함하는 하나 이상의 프로그램 가능한 컴퓨터 시스템(예를 들어, 도 1의 임의의 요소의 구현, 또는 도 2의 인코더(100)(또는 그 요소), 도 3의 디코더(200)(또는 그 요소), 또는 도 4의 디코더(210)(또는 그 요소), 또는 도 5의 디코더(400)(또는 그 요소))에서 실행되는 하나 이상의 컴퓨터 프로그램으로 구현될 수 있다. 프로그램 코드는 본원에 기술된 기능을 수행하고 출력 정보를 생성하기 위하여 입력 데이터에 적용된다. 출력 정보는 공지된 방식으로 하나 이상의 출력 디바이스에 적용된다.
각각의 이러한 프로그램은 컴퓨터 시스템과 통신하기 위해 임의의 원하는 컴퓨터 언어(기계, 어셈블리, 또는 고수준의 절차적, 논리적 또는 객체 지향 프로그래밍 언어를 포함)로 구현될 수 있다. 어떤 경우에도, 언어는 컴파일되거나 번역된(interpreted) 언어일 수 있다.
예를 들어, 컴퓨터 소프트웨어 명령 시퀀스에 의해 구현될 때, 발명의 다양한 기능 및 단계는 적절한 디지털 신호 처리 하드웨어에서 실행되는 멀티스레드 소프트웨어 명령 시퀀스에 의해 구현될 수 있으며, 이 경우에 실시예의 다양한 디바이스, 단계 및 기능 소프트웨어 명령의 일부에 대응할 수 있다.
각각의 이러한 컴퓨터 프로그램은 바람직하게는 저장 매체 또는 디바이스가 본원에 기술된 절차를 수행하기 위하여 컴퓨터 시스템에 의해 판독될 때 컴퓨터를 구성 및 작동하기 위하여, 범용 또는 특수 목적의 프로그램 가능 컴퓨터에 의해 판독 가능한 저장 매체 또는 디바이스(예를 들어, 솔리드 스테이트 메모리 또는 매체, 또는 자기 또는 광학 매체)에 저장되거나 다운로드된다. 발명의 시스템은 또한 컴퓨터 프로그램으로 구성(즉, 저장)되는 컴퓨터 판독 가능 저장 매체로서 구현될 수 있으며, 저장 매체는 컴퓨터 시스템이 본원에 기술된 기능을 수행하기 위하여 특정한 사전 정의된 방식으로 동작하게 한다.
발명의 많은 실시예들이 설명되었다. 그럼에도 불구하고, 발명의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다. 상기 교시에 비추어 본 발명의 수많은 수정 및 변형이 가능하다. 예를 들어, 효율적인 구현을 용이하게 하기 위하여, 복소수 QMF 분석 및 합성 필터뱅크와 함께 위상 시프트가 사용될 수 있다. 분석 필터뱅크는 코어 디코더에 의해 생성된 시간 도메인 저대역 신호를 복수의 부대역(예를 들어, QMF 부대역)으로 필터링하는 역할을 한다. 합성 필터뱅크는 (수신된 sbrPatchingMode 매개변수에 의해 표시되는 바와 같이) 선택된 HFR 기술에 의해 재생성된 고대역을 디코딩된 저대역과 결합하여 광대역 출력 오디오 신호를 생성하는 역할을 한다. 그러나, 특정 샘플링 속도 모드, 예를 들어, 정상 듀얼 레이트 작동 또는 다운 샘플링된 SBR 모드에서 작동하는 주어진 필터뱅크 구현은 비트스트림에 의존하는 위상 시프트를 가져서는 안 된다. SBR에 사용되는 QMF 뱅크는 코사인 변조 필터뱅크 이론의 복소수 지수 확장이다. 복소수 지수 변조로 코사인 변조 필터뱅크를 확장할 때 에일리어스(alias) 제거 제약 조건이 더 이상 필요 없어지는 것을 알 수 있다. 따라서 SBR QMF 뱅크의 경우, 분석 필터 hk(n) 및 합성 필터 fk(n) 양자는 다음과 같이 정의될 수 있다.
여기에서 p0(n)은 실수 값 대칭 또는 비대칭 프로토타입 필터(일반적으로 저역 통과 프로토타입 필터)이며, M은 채널 수를 나타내고 N은 프로토타입 필터의 차수이다. 분석 필터뱅크에 사용되는 채널의 수는 합성 필터뱅크에 사용되는 채널의 수와 다를 수 있다. 예를 들어, 분석 필터뱅크는 32개의 채널을 가질 수 있고 합성 필터뱅크는 64개의 채널을 가질 수 있다. 다운샘플링 모드에서 합성 필터뱅크를 작동시킬 때, 합성 필터뱅크는 32개의 채널만을 가질 수 있다. 필터뱅크로부터의 부대역 샘플이 복소수 값을 가지기 때문에, 추가로 가능한 채널-의존적 위상 시프트 단계가 분석 필터뱅크에 추가될 수 있다. 이러한 추가 위상 시프트는 합성 필터뱅크 이전에 보상되어야 한다. 위상 시프트 항은 원칙적으로 QMF 분석/합성 체인의 작동을 방해하지 않으면서 임의의 값을 가질 수 있지만, 적합성 검증을 위해 특정 값으로 제한될 수도 있다. SBR 신호는 위상 요소 선택에 영향을 받는 반면 코어 디코더에서 나오는 저역 통과 신호는 영향을 받지 않는다. 출력 신호의 오디오 품질은 영향을 받지 않는다.
프로토타입 필터 (p0(n))의 계수는 아래의 표 4에 도시된 바와 같이 640의 길이(L)로 정의될 수 있다.
프로토타입 필터 p0(n)은 또한 라운딩(rounding), 서브샘플링, 보간 및 데시메이션과 같은 하나 이상의 수학적 연산에 의해 표 4로부터 도출될 수 있다.
SBR 관련 제어 정보의 조정은 일반적으로 (이전에 논의한 바와 같이) 전위의 세부 사항에 의존하지 않지만, 일부 실시예에서, 제어 데이터의 특정 요소는 eSBR 확장 컨테이너(bs_extension_id == EXTENSION_ID_ESBR)에서 동시방송되어 재생성된 신호의 품질을 개선할 수 있다.. 동시방송된 일부 요소는 잡음 플로어 데이터(예를 들어, 잡음 플로어 스케일 팩터 및 각 잡음 플로어에 대한 델타 코딩의 주파수 또는 시간 방향에서 방향을 표시하는 매개변수), 역필터링 데이터(예를 들어, 역필터링 없음, 낮은 수준 역필터링, 중간 수준 역필터링 및 강한 수준 역필터링으로부터 선택된 역필터링 모드를 표시하는 매개변수) 및 누락된 고조파 데이터(예를 들어, 재생성된 고대역의 특정 주파수 대역에 사인파가 추가되어야 하는지 표시하는 매개변수)를 포함할 수 있다. 이러한 모든 요소는 인코더에서 수행되는 디코더 전위기의 합성 에뮬레이션에 의존하므로 선택된 전위기에 대해 적절히 조정하면 재생성된 신호의 품질을 향상시킬 수 있다.
구체적으로, 일부 실시예에서, 누락된 고조파 및 역필터링 제어 데이터는 (표 3의 다른 비트스트림 매개변수와 함께) eSBR 확장 컨테이너에서 전송되고 eSBR의 고조파 전위기에 대해 조정된다. eSBR의 고조파 전위기를 위해 이 두 종류의 메타데이터를 전송하는 데 필요한 추가 비트율은 비교적 낮다. 따라서, eSBR 확장 컨테이너에서 조정된 누락 고조파 및/또는 역필터링 제어 데이터를 전송하면 비트율에 최소한의 영향을 미치면서 전위기에서 생성되는 오디오 품질이 향상된다. 레가시 디코더와의 하위 호환성을 보장하기 위하여, SBR의 스펙트럼 변환 작동을 위해 조정된 매개변수는 암시적 또는 명시적 시그널링을 사용하여 SBR 제어 데이터의 일부로서 비트스트림 내에서 전송될 수도 있다.
본원에 설명된 SBR 인핸스먼트를 갖는 디코더의 복잡도는 구현의 전체적인 계산 복잡도를 현저히 증가시키지 않도록 제한되어야 한다. 바람직하게는, SBR 객체 유형에 대한 PCU(MOP)는 eSBR 도구를 사용할 때 4.5 이하이고, SBR 객체 유형에 대한 RCU는 eSBR 도구를 사용할 때 3 이하이다. 대략적인 처리 능력은 MOPS의 정수로 지정된 PCU(Processor Complexity Units)로 주어진다. 대략적인 RAM 사용량은 kWords(1000 단어)의 정수로 지정된 RCU(RAM Complexity Units)로 주어진다. RCU 넘버는 상이한 객체 및/또는 채널 사이에 공유될 수 있는 작업 버퍼를 포함하지 않는다. 또한, PCU는 샘플링 주파수에 비례한다. PCU 값은 채널마다 MOPS(Million Operations per Second)로, RCU 값은 채널마다 kWords로 주어진다.
상이한 디코더 구성에 의해 디코딩될 수 있는, HE-AAC 코딩된 오디오와 같은 압축된 데이터의 경우 특별한 주의가 요구된다. 이 경우, 디코딩은 향상된 방식(AAC+SBR)뿐만 아니라 하위 호환 방식으로(AAC만) 수행될 수 있다. 압축된 데이터가 하위 호환 및 향상된 디코딩의 양자 모두를 허용하며, 디코더가, 당해 디코더가 일부 추가 지연을 삽입하는 후처리기 (예를 들어, HE-AAC의 SBR 후처리기)를 사용하는 향상된 방식으로 작동하는 경우, n의 대응하는 값에 의해 설명된 바와 같이, 컴포지션 유닛(composition unit)을 표시할 때 하위 호환 모드와 관련하여 발생하는 이 추가 시간 지연이 고려되어야 한다. 컴포지션 타임 스탬프가 올바르게 처리(따라서 오디오가 다른 미디어와 동기화된 상태로 유지)됨을 보장하기 위해, 본원에서 설명되는 바와 같이 디코더 작동 모드가 SBR 인핸스먼트(eSBR 포함)를 포함할 경우, 출력 샘플 레이트에서 (오디오 채널마다의) 샘플의 수로 주어지는 후처리에 의해 도입된 추가 지연은 3010이다. 따라서, 오디오 컴포지션 유닛에 대해, 본원에서 설명된 바와 같이 디코더 작동 모드가 SBR 인핸스먼트를 포함할 경우, 컴포지션 시간은 컴포지션 유닛 내의 3011번째 오디오 샘플에 적용된다.
특히 낮은 비트 레이트에서 고조파 주파수 구조 및 강한 톤 특성을 가진 오디오 콘텐츠에 대해 주관적인 품질을 향상시키려면, SBR 인핸스먼트를 활성화해야 한다. 이들 도구를 제어하는 대응하는 비트스트림 요소(즉, esbr_data())의 값은 신호 의존 분류 메커니즘을 적용함으로써 인코더에서 결정될 수 있다.
일반적으로, 고조파 패칭 방법(sbrPatchingMode == 0)을 사용하는 것은 매우 낮은 비트 레이트로 음악 신호를 코딩하는 데 바람직하며, 코어 코덱은 오디오 대역폭에서 상당히 제한될 수 있다. 이러한 신호가 뚜렷한 고조파 구조를 포함하는 경우 특히 그러하다. 반대로, 음성 및 혼합 신호에 대해서는, 음성에서의 시간 구조의 양호한 보존을 제공하기 때문에, 정규 SBR 패치 방법을 사용하는 것이 선호된다.
MPEG-4 SBR 전위기의 성능을 개선하기 위해, 후속 엔벨로프 조정기로 들어가는 신호의 스펙트럼 불연속의 도입을 회피하는 전처리 단계가 활성화될 수 있다(bs_sbr_preprocessing == 1). 이 도구의 작동은 고주파 재구성에 사용되는 저대역 신호의 대략적인 스펙트럼 엔벨로프가 큰 수준 변화를 나타내는 신호 유형에 유용하다.
고조파 SBR 패칭(sbrPatchingMode == 0)의 과도 상태 응답을 개선하기 위해, 신호 적응 주파수 도메인 오버샘플링이 적용될 수 있다(sbrOversamplingFlag == 1). 신호 적응 주파수 도메인 오버샘플링은 전위기의 계산 복잡도를 증가시키지만, 과도 상태를 포함하는 프레임에 대해서만 이점을 제공하므로, 이 도구의 사용이 프레임마다 및 독립적인 SBR 채널마다 한 번 전송되는 비트스트림 요소에 의해 제어된다.
SBR 인핸스먼트(즉, eSBR 도구의 고조파 전위기를 사용 가능하게 함)를 갖는 HE-AACv2에 대한 일반적인 비트 레이트 설정 권장 사항은 44.1kHz 또는 48kHz의 샘플링 레이트에서 스테레오 오디오 콘텐츠에 대해 20-32kbps에 대응한다. SBR 인핸스먼트의 상대적인 주관적 품질 이득은 낮은 비트 레이트 경계를 향해 증가하고 적절하게 구성된 인코더는 이 범위를 더욱 낮은 비트 레이트로 확장하도록 허용한다. 위에 제공된 비트 레이트는 권장 사항일 뿐이며 특정 서비스 요구 사항에 맞게 적응될 수 있다.
제안되어진 향상된 SBR 모드에서 작동하는 디코더는 일반적으로 레거시 및 향상된 SBR 패칭 사이에서 스위칭할(switch) 수 있어야 한다. 따라서 디코더 설정에 따라 하나의 코어 오디오 프레임의 지속 시간만큼 길 수 있는 지연이 도입될 수 있다. 일반적으로 레거시 및 향상된 SBR 패칭에 대한 지연은 유사할 것이다.
첨부된 청구범위의 범위 내에서, 본 발명은 본원에서 구체적으로 기술된 것과 다르게 실시될 수 있음을 이해하여야 한다. 다음의 청구범위에 포함 된 임의의 참조 번호는 단지 예시를 위한 것이며 어떠한 방식으로도 청구범위를 해석하거나 제한하기 위해 사용되어서는 안 된다.
본 발명의 다양한 양상은 다음의 열거된 예시적 실시예(Enumerated Example Embodiments, EEEs)로부터 이해될 수 있다.
EEE 1. 오디오 신호의 고주파 재구성을 수행하기 위한 방법에 있어서, 상기 방법은:
인코딩된 오디오 비트스트림을 수신하는 것 - 상기 인코딩된 오디오 비트스트림은 상기 오디오 신호의 저대역 부분을 나타내는 오디오 데이터 및 고주파 재구성 메타데이터를 포함함 - ;
디코딩된 저대역 오디오 신호를 생성하기 위해 상기 오디오 데이터를 디코딩하는 것;
상기 인코딩된 오디오 비트스트림으로부터 상기 고주파 재구성 메타데이터를 추출하는 것 - 상기 고주파 재구성 메타데이터는 고주파 재구성 프로세스에 대한 작동 매개변수를 포함하고, 상기 작동 매개변수는 상기 인코딩된 오디오 비트스트림의 하위 호환 확장 컨테이너에 위치하는 패칭 모드 매개변수를 포함하며, 상기 패칭 모드 매개변수의 제1 값은 스펙트럼 변환을 표시하고 상기 패칭 모드 매개변수의 제2 값은 위상 보코더(phase-vocoder) 주파수 확산에 의한 고조파 전위를 표시함 - ;
필터링된 저대역 오디오 신호를 생성하기 위해 상기 디코딩된 저대역 오디오 신호를 필터링하는 것;
상기 필터링된 저대역 오디오 신호 및 상기 고주파 재구성 메타데이터를 사용하여 상기 오디오 신호의 고대역 부분을 재생성하는 것 - 상기 패칭 모드 매개변수가 상기 제1 값이면 상기 재생성은 스펙트럼 변환을 포함하고 상기 패칭 모드 매개변수가 상기 제2 값이면 상기 재생성은 위상 보코더 주파수 확산에 의한 고조파 전위를 포함함 - ; 및
광대역 오디오 신호를 형성하기 위해 상기 필터링된 저대역 오디오 신호를 상기 재생성된 고대역 부분과 결합하는 것을 포함하고,
상기 필터링하는 것, 재생성하는 것 및 결합하는 것은 오디오 채널마다 3010개 샘플 이하의 지연으로 후처리(post-processing) 동작으로서 수행되고, 상기 스펙트럼 변환은 적응형 역필터링에 의해 톤(tonal)과 노이즈 같은 성분 사이의 비율을 유지하는 것을 포함하는 방법.
EEE 2. EEE 1에 있어서,
상기 인코딩된 오디오 비트스트림은 필(fill) 요소의 시작을 표시하는 식별자 및 상기 식별자 다음의 필 데이터를 갖는 상기 필 요소를 더 포함하며, 상기 필 데이터는 상기 하위 호환 확장 컨테이너를 포함하는 방법.
EEE 3. EEE 2에 있어서,
상기 식별자는 최상위 비트가 먼저 전송되고 0x6의 값을 갖는 3 비트의 무부호 정수인 방법.
EEE 4. EEE 2 또는 EEE 3에 있어서,
상기 필 데이터는 확장 페이로드를 포함하고, 상기 확장 페이로드는 스펙트럼 대역 복제 확장 데이터를 포함하며, 상기 확장 페이로드는 최상위 비트가 먼저 전송되고 '1101' 또는 '1110'의 값을 갖는 4 비트의 무부호 정수에 의해 식별되며, 선택적으로,
상기 스펙트럼 대역 복제 확장 데이터는:
선택적인 스펙트럼 대역 복제 헤더,
상기 헤더 뒤의 스펙트럼 대역 복제 데이터, 및
상기 스펙트럼 대역 복제 데이터 뒤의 스펙트럼 대역 복제 확장 요소를 포함하고, 상기 스펙트럼 대역 복제 확장 요소 내에 플래그가 포함되는 방법.
EEE 5. EEE 1 내지 EEE 4 중 어느 하나에 있어서,
상기 고주파 재구성 메타데이터는 엔벨로프 스케일 팩터, 잡음 플로어 스케일 팩터, 시간/주파수 그리드 정보 또는 크로스오버 주파수를 표시하는 매개변수를 포함하는 방법.
EEE 6. EEE 1 내지 EEE 5 중 어느 하나에 있어서,
상기 하위 호환 확장 컨테이너는 상기 패칭 모드 매개변수가 상기 제1 값과 같을 때 상기 고대역 부분의 스펙트럼 엔벨로프 형태의 불연속을 피하기 위한 추가 전처리 사용 여부를 표시하는 플래그를 더 포함하며, 상기 플래그의 제1 값은 상기 추가 전처리를 사용 가능하게 하고 상기 플래그의 제2 값은 상기 추가 전처리를 사용 불가능하게 하는 방법.
EEE 7. EEE 6에 있어서,
상기 추가 전처리는 선형 예측 필터 계수를 사용하여 전단 이득(pre-gain) 곡선을 계산하는 것을 포함하는 방법.
EEE 8. EEE 1 내지 EEE 5 중 어느 하나에 있어서,
상기 하위 호환 확장 컨테이너는 상기 패칭 모드 매개변수가 상기 제2 값과 같을 때 신호 적응 주파수 도메인 오버샘플링이 적용될지를 표시하는 플래그를 더 포함하고, 상기 플래그의 제1 값은 상기 신호 적응 주파수 도메인 오버샘플링을 사용 가능하게 하고 상기 플래그의 제2 값은 상기 신호 적응 주파수 도메인 오버샘플링을 사용 불가능하게 하는 방법.
EEE 9. EEE 8에 있어서,
상기 신호 적응 주파수 도메인 오버샘플링은 과도 상태를 포함하는 프레임에 대해서만 적용되는 방법.
EEE 10. 전술한 EEE 중 어느 하나에 있어서,
위상 보코더 주파수 확산에 의한 상기 고조파 전위는 3kWords의 메모리 및 450만의 초당 연산 이하의 추정된 복잡도로 수행되는 방법.
EEE 11. 프로세서에 의해 실행될 때 EEE 1 내지 EEE 10 중 어느 하나의 방법을 수행하는 명령어를 포함하는, 비일시적 컴퓨터 판독 가능 매체.
EEE 12. 컴퓨팅 디바이스 또는 시스템에 의해 실행될 때 상기 컴퓨팅 디바이스 또는 시스템이 EEE 1 내지 EEE 10 중 어느 하나의 방법을 실행하도록 하는 명령어를 갖는 컴퓨터 프로그램 제품.
EEE 13. 오디오 신호의 고주파 재구성을 수행하기 위한 오디오 처리 유닛에 있어서, 상기 오디오 처리 유닛은:
인코딩된 오디오 비트스트림을 수신하는 입력 인터페이스 - 상기 인코딩된 오디오 비트스트림은 고주파 재구성 메타데이터 및 상기 오디오 신호의 저대역 부분을 나타내는 오디오 데이터를 포함함 - ;
디코딩된 저대역 오디오 신호를 생성하기 위해 상기 오디오 데이터를 디코딩하는 코어 오디오 디코더;
상기 인코딩된 오디오 비트스트림으로부터 상기 고주파 재구성 메타데이터를 추출하는 디포맷터(deformatter) - 상기 고주파 재구성 메타데이터는 고주파 재구성 프로세스에 대한 작동 매개변수를 포함하고, 상기 작동 매개변수는 상기 인코딩된 오디오 비트스트림의 하위 호환 확장 컨테이너에 위치하는 패칭 모드 매개변수를 포함하며, 상기 패칭 모드 매개변수의 제1 값은 스펙트럼 변환을 표시하고 상기 패칭 모드 매개변수의 제2 값은 위상 보코더 주파수 확산에 의한 고조파 전위를 표시함 - ;
필터링된 저대역 오디오 신호를 생성하기 위해 상기 디코딩된 저대역 오디오 신호를 필터링하는 분석 필터뱅크;
상기 필터링된 저대역 오디오 신호 및 상기 고주파 재구성 메타데이터를 사용하여 상기 오디오 신호의 고대역 부분을 재구성하는 고주파 재생성기 - 상기 패칭 모드 매개변수가 상기 제1 값이면 상기 재구성은 스펙트럼 변환을 포함하고 상기 패칭 모드 매개변수가 상기 제2 값이면 상기 재구성은 위상 보코더 주파수 확산에 의한 고조파 전위를 포함함 - ; 및
광대역 오디오 신호를 형성하기 위해 상기 필터링된 저대역 오디오 신호를 상기 재생성된 고대역 부분과 결합하는 합성 필터뱅크를 포함하고,
상기 분석 필터뱅크, 고주파 재생성기 및 합성 필터뱅크는 오디오 채널마다 3010개 샘플 이하의 지연으로 후처리기에서 수행되며, 상기 스펙트럼 변환은 적응형 역필터링에 의해 톤과 노이즈 같은 성분 사이의 비율을 유지하는 것을 포함하는 오디오 처리 유닛.
EEE 14. EEE 13에 있어서,
위상 보코더 주파수 확산에 의한 상기 고조파 전위는 3kWords의 메모리 및 450만의 초당 연산 이하의 추정된 복잡도로 수행되는 오디오 처리 유닛.

Claims (2)

  1. 오디오 신호의 고주파 재구성을 수행하기 위한 방법에 있어서, 상기 방법은:
    인코딩된 오디오 비트스트림을 수신하는 것 - 상기 인코딩된 오디오 비트스트림은 상기 오디오 신호의 저대역 부분에 해당하는 오디오 데이터 및 고주파 재구성 메타데이터를 포함하고, 상기 인코딩된 오디오 비트스트림은 필(fill) 요소의 시작을 나타내는 식별자 및 상기 식별자 다음의 필 데이터를 갖는 상기 필 요소를 더 포함함 - ;
    디코딩된 저대역 오디오 신호를 생성하기 위해 상기 오디오 데이터를 디코딩하는 것;
    상기 인코딩된 오디오 비트스트림으로부터 상기 고주파 재구성 메타데이터를 추출하는 것 - 상기 고주파 재구성 메타데이터는 고주파 재구성 프로세스에 대한 작동 매개변수를 포함하고, 상기 작동 매개변수는 상기 인코딩된 오디오 비트스트림의 하위 호환 확장 컨테이너에 위치하는 패칭 모드 매개변수를 포함하며, 상기 필 데이터는 상기 하위 호환 확장 컨테이너를 포함하고, 상기 패칭 모드 매개변수의 제1 값은 스펙트럼 변환을 나타내고 상기 패칭 모드 매개변수의 제2 값은 위상 보코더(phase-vocoder) 주파수 확산에 의한 고조파 전위를 나타냄 - ;
    필터링된 저대역 오디오 신호를 생성하기 위해 상기 디코딩된 저대역 오디오 신호를 필터링하는 것; 및
    상기 필터링된 저대역 오디오 신호 및 상기 고주파 재구성 메타데이터를 사용하여 상기 오디오 신호의 고대역 부분을 재생성하는 것 - 상기 패칭 모드 매개변수가 상기 제1 값이면 상기 재생성은 스펙트럼 변환을 포함하고 상기 패칭 모드 매개변수가 상기 제2 값이면 상기 재생성은 위상 보코더 주파수 확산에 의한 고조파 전위를 포함함 - 을 포함하고,
    상기 필터링하는 것 및 재생성하는 것은 오디오 채널마다 3010개 샘플의 지연으로 후처리(post-processing) 동작으로서 수행되고, 상기 스펙트럼 변환은 적응형 역필터링에 의해 톤(tonal)과 노이즈 같은 성분 사이의 비율을 유지하는 것을 포함하는, 방법.
  2. 오디오 신호의 고주파 재구성을 수행하기 위한 오디오 처리 유닛에 있어서, 상기 오디오 처리 유닛은:
    인코딩된 오디오 비트스트림을 수신하는 입력 인터페이스 - 상기 인코딩된 오디오 비트스트림은 상기 오디오 신호의 저대역 부분에 해당하는 오디오 데이터 및 고주파 재구성 메타데이터를 포함하고, 상기 인코딩된 오디오 비트스트림은 필 요소의 시작을 나타내는 식별자 및 상기 식별자 다음의 필 데이터를 갖는 상기 필 요소를 더 포함함 - ;
    디코딩된 저대역 오디오 신호를 생성하기 위해 상기 오디오 데이터를 디코딩하는 코어 오디오 디코더;
    상기 인코딩된 오디오 비트스트림으로부터 상기 고주파 재구성 메타데이터를 추출하는 디포맷터(deformatter) - 상기 고주파 재구성 메타데이터는 고주파 재구성 프로세스에 대한 작동 매개변수를 포함하고, 상기 작동 매개변수는 상기 인코딩된 오디오 비트스트림의 하위 호환 확장 컨테이너에 위치하는 패칭 모드 매개변수를 포함하며, 상기 필 데이터는 상기 하위 호환 확장 컨테이너를 포함하고, 상기 패칭 모드 매개변수의 제1 값은 스펙트럼 변환을 나타내고 상기 패칭 모드 매개변수의 제2 값은 위상 보코더 주파수 확산에 의한 고조파 전위를 나타냄 - ;
    필터링된 저대역 오디오 신호를 생성하기 위해 상기 디코딩된 저대역 오디오 신호를 필터링하는 분석 필터뱅크; 및
    상기 필터링된 저대역 오디오 신호 및 상기 고주파 재구성 메타데이터를 사용하여 상기 오디오 신호의 고대역 부분을 재구성하는 고주파 재생성기 - 상기 패칭 모드 매개변수가 상기 제1 값이면 상기 재구성은 스펙트럼 변환을 포함하고 상기 패칭 모드 매개변수가 상기 제2 값이면 상기 재구성은 위상 보코더 주파수 확산에 의한 고조파 전위를 포함함 - 를 포함하고,
    상기 분석 필터뱅크 및 고주파 재생성기는 오디오 채널마다 3010개 샘플의 지연으로 후처리기에서 수행되며, 상기 스펙트럼 변환은 적응형 역필터링에 의해 톤과 노이즈 같은 성분 사이의 비율을 유지하는 것을 포함하는, 오디오 처리 유닛.
KR1020227042164A 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합 KR102560473B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237025281A KR102649124B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862662296P 2018-04-25 2018-04-25
US62/662,296 2018-04-25
PCT/US2019/029144 WO2019210068A1 (en) 2018-04-25 2019-04-25 Integration of high frequency reconstruction techniques with reduced post-processing delay
KR1020217031784A KR102474146B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217031784A Division KR102474146B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237025281A Division KR102649124B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합

Publications (2)

Publication Number Publication Date
KR20220166372A KR20220166372A (ko) 2022-12-16
KR102560473B1 true KR102560473B1 (ko) 2023-07-27

Family

ID=68294559

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020237025281A KR102649124B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020207033980A KR102310937B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020247008612A KR20240042120A (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020217031784A KR102474146B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020227042164A KR102560473B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020237025281A KR102649124B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020207033980A KR102310937B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020247008612A KR20240042120A (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR1020217031784A KR102474146B1 (ko) 2018-04-25 2019-04-25 후처리 지연을 저감시킨 고주파 재구성 기술의 통합

Country Status (17)

Country Link
US (6) US11562759B2 (ko)
EP (1) EP3662469A4 (ko)
JP (3) JP6908795B2 (ko)
KR (5) KR102649124B1 (ko)
CN (6) CN114242089A (ko)
AR (3) AR114840A1 (ko)
AU (3) AU2019257701A1 (ko)
BR (1) BR112020021809A2 (ko)
CA (2) CA3152262A1 (ko)
CL (1) CL2020002746A1 (ko)
MA (1) MA50760A (ko)
MX (1) MX2020011212A (ko)
RU (2) RU2021130811A (ko)
SG (1) SG11202010367YA (ko)
TW (1) TWI820123B (ko)
WO (1) WO2019210068A1 (ko)
ZA (2) ZA202006517B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
JP7257041B2 (ja) 2019-10-28 2023-04-13 国立大学法人東北大学 推定装置、推定方法、及び、材料の製造方法
CN113113032A (zh) * 2020-01-10 2021-07-13 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113192523A (zh) * 2020-01-13 2021-07-30 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN114550732B (zh) * 2022-04-15 2022-07-08 腾讯科技（深圳）有限公司 一种高频音频信号的编解码方法和相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016146492A1 (en) 2015-03-13 2016-09-22 Dolby International Ab Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
JP3870193B2 (ja) * 2001-11-29 2007-01-17 コーディング テクノロジーズ アクチボラゲット 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US6792057B2 (en) 2002-08-29 2004-09-14 Bae Systems Information And Electronic Systems Integration Inc Partial band reconstruction of frequency channelized filters
JP4937746B2 (ja) * 2004-07-20 2012-05-23 パナソニック株式会社 音声符号化装置および音声符号化方法
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US20100250260A1 (en) * 2007-11-06 2010-09-30 Lasse Laaksonen Encoder
CN101458930B (zh) 2007-12-12 2011-09-14 华为技术有限公司 带宽扩展中激励信号的生成及信号重建方法和装置
DE102008015702B4 (de) 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
ES2739667T3 (es) 2008-03-10 2020-02-03 Fraunhofer Ges Forschung Dispositivo y método para manipular una señal de audio que tiene un evento transitorio
BRPI0910792B1 (pt) * 2008-07-11 2020-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. "sintetizador de sinal de áudio e codificador de sinal de áudio"
JP5203077B2 (ja) * 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
TWI597938B (zh) * 2009-02-18 2017-09-01 杜比國際公司 低延遲調變濾波器組
BRPI1009467B1 (pt) 2009-03-17 2020-08-18 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
TWI591625B (zh) * 2009-05-27 2017-07-11 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
PL2273493T3 (pl) * 2009-06-29 2013-07-31 Fraunhofer Ges Forschung Kodowanie i dekodowanie z rozszerzaniem szerokości pasma
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
EP4250290A1 (en) 2010-01-19 2023-09-27 Dolby International AB Improved subband block based harmonic transposition
JP5854520B2 (ja) 2010-03-09 2016-02-09 フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． オーディオ信号用の位相ボコーダに基づく帯域幅拡張方法における改善された振幅応答及び時間的整列のための装置及び方法
JP5588025B2 (ja) * 2010-03-09 2014-09-10 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． パッチ境界整合を用いてオーディオ信号を処理するための装置および方法
PL2596497T3 (pl) 2010-07-19 2014-10-31 Dolby Int Ab Przetwarzanie sygnałów audio podczas rekonstrukcji wysokiej częstotliwości
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US8996976B2 (en) 2011-09-06 2015-03-31 Microsoft Technology Licensing, Llc Hyperlink destination visibility
EP2777042B1 (en) 2011-11-11 2019-08-14 Dolby International AB Upsampling using oversampled sbr
WO2013088173A1 (en) * 2011-12-14 2013-06-20 Wolfson Microelectronics Plc Data transfer
EP2631906A1 (en) 2012-02-27 2013-08-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Phase coherence control for harmonic signals in perceptual audio codecs
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
GR1008810B (el) 2015-03-19 2016-07-07 Νικολαος Ευστρατιου Καβουνης Φυσικος αφρωδης οινος με βιολογικο κροκο κοζανης
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
EP3382700A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
TWI809289B (zh) 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016146492A1 (en) 2015-03-13 2016-09-22 Dolby International Ab Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element
US20180025737A1 (en) * 2015-03-13 2018-01-25 Dolby International Ab Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISO/IEC DIS 23003-3, Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11, N11863. 2011.02.09.*
Manfred Lutzky, et al. A guideline to audio codec delay. Audio Engineering Society Convention 116. 2004.05.01.*

Also Published As

Publication number Publication date
AR126605A2 (es) 2023-10-25
AU2019257701A1 (en) 2020-12-03
CL2020002746A1 (es) 2021-01-29
CN112204659B (zh) 2021-12-17
CN112204659A (zh) 2021-01-08
AR114840A1 (es) 2020-10-21
AU2023203912A1 (en) 2023-07-13
ZA202204656B (en) 2023-11-29
RU2758199C1 (ru) 2021-10-26
US11823694B2 (en) 2023-11-21
AR126606A2 (es) 2023-10-25
CN114242087A (zh) 2022-03-25
KR102649124B1 (ko) 2024-03-20
CN114242089A (zh) 2022-03-25
US11830509B2 (en) 2023-11-28
CA3098295A1 (en) 2019-10-31
AU2021277708B2 (en) 2023-03-30
US11823696B2 (en) 2023-11-21
US20230206934A1 (en) 2023-06-29
KR102474146B1 (ko) 2022-12-06
CA3152262A1 (en) 2019-10-31
US11908486B2 (en) 2024-02-20
KR102310937B1 (ko) 2021-10-12
US11562759B2 (en) 2023-01-24
TWI820123B (zh) 2023-11-01
CN114242090A (zh) 2022-03-25
JP7242767B2 (ja) 2023-03-20
KR20210125108A (ko) 2021-10-15
MX2020011212A (es) 2020-11-09
US20210151062A1 (en) 2021-05-20
KR20200137026A (ko) 2020-12-08
ZA202006517B (en) 2023-10-25
KR20240042120A (ko) 2024-04-01
EP3662469A1 (en) 2020-06-10
KR20220166372A (ko) 2022-12-16
BR112020021809A2 (pt) 2021-02-23
US20230206932A1 (en) 2023-06-29
RU2021130811A (ru) 2022-03-01
US20230162748A1 (en) 2023-05-25
MA50760A (fr) 2020-06-10
KR20230116088A (ko) 2023-08-03
JP2021515276A (ja) 2021-06-17
US20230206933A1 (en) 2023-06-29
SG11202010367YA (en) 2020-11-27
EP3662469A4 (en) 2020-08-19
US20230206935A1 (en) 2023-06-29
AU2021277708A1 (en) 2021-12-23
CA3098295C (en) 2022-04-26
JP2021157202A (ja) 2021-10-07
WO2019210068A1 (en) 2019-10-31
JP2023060264A (ja) 2023-04-27
CN114242086A (zh) 2022-03-25
US11823695B2 (en) 2023-11-21
CN114242088A (zh) 2022-03-25
TW202006706A (zh) 2020-02-01
JP6908795B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
KR102560473B1 (ko) 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
KR102514418B1 (ko) 오디오 신호에 대한 고주파 재구성 기술의 하위 호환 통합
KR102275129B1 (ko) 오디오 신호의 고주파 재구성을 위한 하모닉 트랜스포저의 하위호환형 통합
US20240087590A1 (en) Integration of high frequency audio reconstruction techniques
EP4120261B1 (en) Backward-compatible integration of high frequency reconstruction techniques for audio signals

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant