KR20220117332A - 오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스 - Google Patents

오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스 Download PDF

Info

Publication number
KR20220117332A
KR20220117332A KR1020227025669A KR20227025669A KR20220117332A KR 20220117332 A KR20220117332 A KR 20220117332A KR 1020227025669 A KR1020227025669 A KR 1020227025669A KR 20227025669 A KR20227025669 A KR 20227025669A KR 20220117332 A KR20220117332 A KR 20220117332A
Authority
KR
South Korea
Prior art keywords
signal
current frame
frequency band
enhancement layer
high frequency
Prior art date
Application number
KR1020227025669A
Other languages
English (en)
Inventor
빈 왕
빙윤 샤
저 왕
쟝통 저우
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20220117332A publication Critical patent/KR20220117332A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Abstract

오디오 인코딩 방법 및 디바이스, 그리고 오디오 디코딩 방법 및 디바이스가 제공된다. 오디오 인코딩 방법은, 오디오 신호의 현재 프레임을 획득하는 단계(201) - 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 고주파 대역 신호 및 저주파 대역 신호에 기반하여 현재 프레임의 호환 계층 인코딩 파라미터를 획득하는 단계(202); 고주파 대역 신호에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계(203); 및 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하는 단계(204)를 포함한다. 이 방법은 신규 인코딩/디코딩 디바이스와 기존 인코딩/디코딩 디바이스 간의 호환성을 구현할 수 있으며, 오디오 신호 인코딩/디코딩 효율성을 향상시킬 수 있다.

Description

오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스
본 출원은 2020년 1월 10일에 중국 특허청에 출원되고 명칭이 "오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스"인 중국 특허 출원 번호 제202010028452.6호에 대한 우선권을 주장하는 바이며, 이러한 문헌의 내용은 원용에 의해 전체적으로 본 명세서에 포함된다.
본 출원은 오디오 신호 인코딩 및 디코딩 기술 분야에 관한 것으로, 특히 오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스에 관한 것이다.
오디오 서비스에 대한 사용자 요건이 점점 높아짐에 따라 오디오 인코딩/디코딩 디바이스는 지속적으로 업데이트되어야 한다. 신규 오디오 서비스에 대한 사용자 요건이 충족될 때, 기존(old) 오디오 인코딩/디코딩 디바이스가 여전히 오디오 서비스를 제공할 수 있도록 기존 오디오 인코딩/디코딩 디바이스가 완전히 호환가능한 것을 보장할 필요가 있다. 이 경우의 핵심 단계는 신규 오디오 인코딩/디코딩 디바이스가 기존 오디오 인코딩/디코딩 디바이스와 호환될 수 있다는 것이다.
신규 인코딩/디코딩 디바이스가 기존 오디오 인코딩/디코딩 디바이스와 호환 가능하도록 하기 위해, 현재, 트랜스코딩 모듈이 기존 오디오 인코딩/디코딩 디바이스에 배치되어야 한다. 기존 오디오 인코딩/디코딩 디바이스와 신규 오디오 인코딩/디코딩 디바이스 간의 연동은 트랜스코딩 모듈을 사용하여 구현될 수 있다. 그러나, 기존 오디오 인코딩/디코딩 디바이스에 트랜스코딩 모듈을 추가하는 것은 기존 오디오 인코딩/디코딩 디바이스를 재구성하는 비용을 증가시키고, 인코딩/디코딩 디바이스의 디바이스 복잡도 및 에너지 소비를 증가시키며, 오디오 신호 인코딩/디코딩 효율을 감소시킨다.
본 출원의 실시예는 신규 인코딩/디코딩 디바이스와 기존 인코딩/디코딩 디바이스 사이의 호환성을 구현하고 오디오 신호 인코딩/디코딩 효율을 개선하기 위해, 오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스를 제공한다.
전술한 문제를 해결하기 위해, 본 출원의 실시예는 다음과 같은 기술적 솔루션을 제공한다.
제1 측면에 따르면, 본 출원의 실시예는 오디오 인코딩 방법을 제공한다. 상기 오디오 인코딩 방법은, 오디오 신호의 현재 프레임을 획득하는 단계 - 상기 현재 프레임은 고주파 대역 신호(high frequency band signal) 및 저주파 대역 신호(low frequency band signal)를 포함함 -; 상기 고주파 대역 신호 및 상기 저주파 대역 신호에 기반하여 상기 현재 프레임의 호환 계층(compatible layer) 인코딩 파라미터를 획득하는 단계; 상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층(enhancement layer) 인코딩 파라미터를 획득하는 단계; 및 상기 호환 계층 인코딩 파라미터 및 상기 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하는 단계를 포함한다. 본 출원의 이 실시예에서, 오디오 신호를 인코딩하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있지만, 오디오 신호를 인코딩하기 위한 고주파 도메인 범위(high frequency domain range)만이 향상 계층에 포함된다. 호환 계층은 기존 오디오 인코딩 디바이스를 사용하여 구현될 수 있고, 향상 계층과 호환 계층은 신규 오디오 인코딩 디바이스를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서, 신규 오디오 인코딩 디바이스는 기존 오디오 인코딩 디바이스와 호환된다. 오디오 인코딩 디바이스의 디바이스 유형에 따라, 호환 계층에서만 인코딩이 수행될 수도 있고, 호환 계층과 향상 계층 모두에서 인코딩이 수행될 수도 있다. 본 출원의 이 실시예에서, 기존 오디오 인코딩 디바이스에 신규 트랜스코딩 모듈을 추가할 필요가 없다. 따라서, 오디오 인코딩 디바이스의 업그레이드 비용이 감소되고 오디오 신호 인코딩 효율이 향상될 수 있다.
가능한 구현에서, 상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계는, 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하는 단계; 및 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 상기 현재 프레임의 고주파 대역 신호를 인코딩하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계를 포함한다. 이 솔루션에서, 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하며, 신호 유형 정보는 분류를 통해 획득된 신호 유형에 기반한 복수 유형의 신호 분류 결과를 포함할 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 현재 프레임의 고주파 대역 신호를 인코딩하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득한다. 예를 들어, 오디오 신호는 N개의 미리 설정된 신호 유형으로 분류될 수 있고, N개의 인코딩 모드가 향상 계층에서 설정될 수 있다. 각각의 미리 설정된 신호 유형에 대해 하나의 대응하는 향상 계층 인코딩 모드가 실행될 수 있다. 따라서, 대응하는 향상 계층 인코딩 모드는 서로 다른 신호 유형에 사용된다. 이것은 오디오 신호 인코딩 효율성을 향상시킨다.
가능한 구현에서, 상기 미리 설정된 신호 유형은 고조파 신호(harmonic signal) 유형, 토널 신호(tonal signal) 유형, 백색 잡음 유사 신호(white noise-like signal) 유형, 과도 신호(transient signal) 유형 또는 마찰 신호(fricative signal) 유형 중 적어도 하나를 포함한다. 이 솔루션에서, 현재 프레임의 고주파 대역 신호는 복수의 미리 설정된 신호 유형을 가질 수 있다. 예를 들어, 현재 프레임의 고주파 대역 신호의 신호 유형이 고조파 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 고조파 신호이면, 향상 계층 인코딩 모드 1이 향상 계층에서 고조파 신호를 인코딩하는 데 사용될 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 토널 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 토널 컴포넌트를 포함하면, 향상 계층 인코딩 모드 2가 향상 계층에서 토널 신호를 인코딩하는 데 사용될 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 백색 잡음 유사 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 백색 잡음 유사 신호를 포함하면, 향상 계층 인코딩 모드 3이 향상 계층에서 백색 잡음 유사 신호를 인코딩하는 데 사용될 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 과도 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 과도 신호를 포함하면, 향상 계층 인코딩 모드 4가 향상 계층에서 과도 신호를 인코딩하는 데 사용될 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 마찰 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 마찰 신호를 포함하면, 향상 계층 인코딩 모드 5가 향상 계층에서 마찰 신호를 인코딩하는 데 사용될 수 있다. 본 출원의 이 실시예에서, 각각의 미리 설정된 신호 유형에 대해 하나의 대응하는 향상 계층 인코딩 모드가 실행될 수 있다. 따라서, 대응하는 향상 계층 인코딩 모드는 서로 다른 신호 유형에 사용된다. 이것은 오디오 신호 인코딩 효율성을 향상시킨다.
가능한 구현에서, 상기 현재 프레임의 향상 계층 인코딩 파라미터는 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다. 이 솔루션에서, 현재 프레임의 고주파 대역 신호가 향상 계층에서 인코딩된 후에 생성된 향상 계층 인코딩 파라미터가 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다. 따라서, 비트스트림 다중화 동안, 생성된 인코딩된 비트스트림은 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 운반할 수 있으므로, 디코딩 컴포넌트는 상이한 미리 설정된 신호 유형 정보에 기반하여 향상 계층에서 디코딩을 수행하기 위해 신호 유형 정보를 사용할 수도 있다. 따라서, 향상 계층 신호는 최종 출력 신호의 성능을 향상시키기 위해, 호환 계층에서 처리된 스펙트럼의 일부를 처리하는 데 사용될 수 있다.
가능한 구현에서, 상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계는, 호환 계층 인코딩 주파수 대역 정보를 획득하는 단계; 상기 호환 계층 인코딩 주파수 대역 정보에 기반하여, 상기 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호(to-be-encoded frequency band signal)를 결정하는 단계; 및 상기 인코딩 대상 주파수 대역 신호를 인코딩하여 상기 향상 계층 인코딩 파라미터를 획득하는 단계를 포함한다. 이 솔루션에서, 호환 계층 인코딩 주파수 대역 정보는 호환 계층에서 인코딩된 오디오 신호의 주파수 대역 정보를 지시하며, 즉, 호환 계층에서 호환 계층 인코딩이 수행되는 특정 주파수 대역들 또는 특정 주파수 대역이 호환 계층 인코딩 주파수 대역 정보에 기반하여 결정될 수 있다. 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호는 호환 계층 인코딩 주파수 대역 정보에 기반하여 결정된다. 향상 계층에서 인코딩되어야 하는 고주파 대역 신호는 호환 계층 인코딩 주파수 대역 정보에 기반하여 결정될 수 있다. 마지막으로, 향상 계층에서 인코딩되어야 하는 인코딩 대상 주파수 대역 신호를 인코딩하여 향상 계층 인코딩 파라미터를 획득한다. 본 출원의 이 실시예에서, 호환 계층에서 출력되는 호환 계층 인코딩 주파수 대역 정보가 인코더 측의 향상 계층에서 인코딩을 안내하는 데 사용될 수 있으므로, 향상 계층에서의 인코딩 및 호환 계층에서의 인코딩은 상호보완적일 수 있다. 이것은 향상 계층에서 오디오 신호 인코딩 효율성을 향상시킨다.
제2 측면에 따르면, 본 출원의 실시예는 오디오 디코딩 방법을 제공한다. 상기 오디오 디코딩 방법은, 인코딩된 비트스트림을 획득하는 단계; 상기 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계; 상기 호환 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 호환 계층 신호를 획득하는 단계 - 상기 호환 계층 신호는 상기 현재 프레임의 제1 고주파 대역 신호 및 상기 현재 프레임의 제1 저주파 대역 신호를 포함함 -; 상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하는 단계; 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계; 및 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하는 단계를 포함한다. 본 출원의 이 실시예에서, 오디오 신호를 디코딩하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있지만, 오디오 신호를 디코딩하기 위한 고주파 도메인 범위만이 향상 계층에 포함된다. 호환 계층은 기존 오디오 디코딩 디바이스를 사용하여 구현될 수 있고, 향상 계층과 호환 계층은 신규 오디오 디코딩 디바이스를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서, 신규 오디오 디코딩 디바이스는 기존 오디오 디코딩 디바이스와 호환 가능하다. 오디오 디코딩 디바이스의 디바이스 유형에 따라 호환 계층에서만 디코딩을 수행하거나, 호환 계층과 향상 계층 모두에서 디코딩을 수행할 수 있다. 본 출원의 이 실시예에서, 신규 트랜스코딩 모듈이 기존 오디오 디코딩 디바이스에 추가될 필요가 없다. 따라서, 오디오 디코딩 디바이스의 업그레이드 비용이 감소되고 오디오 신호 디코딩 효율이 향상될 수 있다.
가능한 구현에서, 상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하는 단계는, 상기 현재 프레임의 향상 계층 인코딩 파라미터에 기반하여 신호 유형 정보를 획득하는 단계; 및 상기 신호 유형 정보가 지시하는 미리 설정된 신호 유형에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 디코딩하여, 상기 현재 프레임의 향상 계층 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 인코딩된 비트스트림은 오디오 신호의 신호 유형 정보를 운반할 수 있고, 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행한 후, 디코딩 컴포넌트는 현재 프레임의 향상 계층 인코딩 파라미터의 신호 유형 정보를 획득할 수 있다. 현재 프레임의 향상 계층 인코딩 파라미터를 신호 유형 정보가 지시하는 미리 설정된 신호 유형에 기반하여 디코딩하여, 현재 프레임의 향상 계층 신호를 획득한다. 예를 들어, 오디오 신호는 N개의 미리 설정된 신호 유형으로 분류될 수 있고, N개의 디코딩 모드는 향상 계층에서 설정될 수 있다. 각각의 미리 설정된 신호 유형에 대해 하나의 대응하는 향상 계층 디코딩 모드가 실행될 수 있다. 따라서, 대응하는 향상 계층 디코딩 모드는 서로 다른 신호 유형에 사용된다. 이것은 오디오 신호 디코딩 효율을 향상시킨다. 본 출원의 이 실시예에서, 디코딩 컴포넌트는 신호 유형 정보에 기반하여 처리를 위한 적절한 향상 계층 디코딩을 선택한다. 따라서, 향상 계층 신호는 최종 출력 신호의 성능을 향상시키기 위해, 호환 계층에서 처리된 스펙트럼의 일부를 처리하는 데 사용될 수 있다.
가능한 구현에서, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계; 및 상기 호환 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 호환 계층 고주파 대역 조정 파라미터는 호환 계층에서 향상 계층 인코딩 파라미터 또는 향상 계층 신호 및 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 호환 계층 고주파 대역 조정 파라미터(이하의 실시예에서 줄여서 조정 파라미터로 지칭될 수 있음)는 호환 계층 신호의 고주파 부분을 조정하기 위해 사용되는 조정 파라미터이다. 예를 들어, 호환 계층 고주파 대역 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호는 모두 고주파 대역 오디오 신호이다. 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 계산될 수 있고, 현재 프레임의 제1 고주파 대역 신호를 조정 파라미터를 사용하여 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득한다. 조정 파라미터를 사용하여 제1 고주파 대역 신호를 조정하면 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계는, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 대응하는 앤벌로프(envelope) 정보를 획득하고, 상기 현재 프레임의 제1 고주파 대역 신호의 앤벌로프 정보를 획득하는 단계; 및 상기 향상 계층 인코딩 파라미터 또는 상기 향상 계층 신호에 대응하는 앤벌로프 정보 및 상기 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여, 상기 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계를 포함한다. 이 솔루션에서, 호환 계층 출력 정보는 호환 계층에서 파싱(parsing)을 통해 직접 획득될 수 있으며, 출력 정보와 향상 계층 신호는 호환 계층 신호의 고주파 대역 스펙트럼 조정 파라미터를 획득하기 위한 공동 계산에 사용되고, 호환 계층 신호의 고주파 대역 신호가 조정 파라미터를 사용하여 조정되고 향상 계층 출력 신호와 결합되어(combined) 최종 출력 신호를 획득한다. 조정 파라미터는 복수의 구현에서 계산될 수 있다. 조정 파라미터는 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여 계산될 수 있다. 향상 계층 인코딩 파라미터에 대응하는 앤벌로프 정보는, 고주파 대역 신호의 앤벌로프 정보이면서 또한 향상 계층 인코딩 파라미터에 기반하여 계산된 앤벌로프 정보일 수 있으며, 또는 향상 계층 신호에 대응하는 앤벌로프 정보는 향상 계층 신호의 진폭일 수 있으며, 그리고 제1 고주파 대역 신호의 앤벌로프 정보는 호환 계층 신호에서 고주파 대역 신호의 진폭일 수 있다. 호환 계층 고주파 대역 조정 파라미터는 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여 계산될 수 있다.
가능한 구현에서, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 상기 현재 프레임의 향상 계층 신호로부터 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하는 단계; 및 상기 현재 프레임의 상기 제1 고주파 대역 신호와 상기 향상 계층 고주파 대역 스펙트럼 신호를 결합하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 고주파 대역 스펙트럼 선택 규칙이 미리 설정될 수 있다. 고주파 대역 스펙트럼 선택 규칙은 향상 계층 신호로부터 고주파 대역 스펙트럼 신호를 선택하는 것을 지시하는 데 사용될 수 있다. 예를 들어, 고주파 대역 스펙트럼 선택 규칙은 하나 이상의 선택된 주파수 대역을 지정하거나 또는 고주파 대역 스펙트럼 선택 규칙은 향상 계층 신호로부터 선택되어야 하는 주파수 대역을 지시한다. 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호는 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 현재 프레임의 향상 계층 신호로부터 선택된다. 향상 계층 고주파 대역 스펙트럼 신호는 향상 계층 신호로부터 선택된 고주파 대역 스펙트럼 신호이다. 향상 계층 고주파 대역 스펙트럼 신호를 현재 프레임의 제1 고주파 대역 신호와 결합하여 현재 프레임의 제2 고주파 대역 신호를 획득한다. 본 출원의 이 실시예에서, 고주파 대역 스펙트럼 선택 규칙이 설정되므로, 일부 고주파 대역 신호가 향상 계층 신호로부터 선택되고 호환 계층에서 제1 고주파 대역 신호와 결합되어, 호환 계층의 제2 고주파 대역 신호를 생성한다. 따라서, 본 출원의 이 실시예에서는 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 상기 현재 프레임의 향상 계층 신호로부터 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하는 단계는, 상기 현재 프레임의 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하는 단계; 및 상기 현재 프레임의 향상 계층 신호에 있으면서 또한 상기 호환 계층 대역폭 확장 신호에 대응하는 신호를, 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호로 결정하는 단계를 포함한다. 이 솔루션에서, 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호와 호환 계층 대역폭 확장 신호가 결정될 수 있다. 호환 계층 디코딩된 신호는 디코딩 컴포넌트가 호환 계층의 호환 계층 인코딩 파라미터를 디코딩하는 것에 의해 획득된 신호이고, 호환 계층 대역폭 확장 신호는 호환 계층의 대역폭 확장을 통해 디코딩 컴포넌트에 의해 획득된 신호이다. 예를 들어, 저주파 대역 신호를 고주파 대역으로 확장하여 호환 계층 대역폭 확장 신호를 획득한다. 본 출원의 이 실시예에서, 디코딩 컴포넌트는 호환 계층 대역폭 확장 신호에 기반하여 현재 프레임의 향상 계층 신호로부터 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택할 수 있다. 다시 말해서, 향상 계층 신호에 있으면서 또한 호환 계층에서 호환 계층 디코딩된 신호에 대응하는 신호는 선택되지 않는다. 이와 같이, 향상 계층 고주파 대역 스펙트럼 신호는 향상 계층 신호로부터 선택된 스펙트럼 신호이며, 향상 계층 고주파 대역 스펙트럼 신호를 사용하여 호환 계층 신호를 조정하고, 조정된 신호를 향상 계층 출력과 결합한 후, 최종 출력 신호를 획득한다. 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 적응 구현은 직접 대체(direct replacement)일 수 있다. 디코딩 컴포넌트는 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체할 수 있다. 다시 말해서, 호환 계층의 제1 저주파 대역 신호는 변경되지 않고 유지되고, 호환 계층의 제1 고주파 대역 신호는 현재 프레임의 향상 계층 신호로 대체될 수 있으며, 현재 프레임의 향상 계층 신호는 적응된 제2 고주파 대역 신호로 사용된다. 따라서, 본 출원의 이 실시예에서는 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하는 단계; 상기 향상 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 향상 계층 신호를 적응시켜 적응된 향상 계층 신호를 획득하는 단계; 및 상기 현재 프레임의 제1 고주파 대역 신호를 상기 적응된 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 향상 계층 고주파 대역 조정 파라미터는 호환 계층에서 향상 계층 신호 및 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 향상 계층 고주파 대역 조정 파라미터(이하의 실시예에서 줄여서 조정 파라미터로 지칭될 수 있음)는 향상 계층 신호를 조정하기 위해 사용되는 조정 파라미터이다. 향상 계층 고주파 대역 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호는 모두 고주파 대역 오디오 신호이다. 조정 파라미터는 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호를 사용하여 계산될 수 있으며, 현재 프레임의 향상 계층 신호를 조정 파라미터를 사용하여 적응시켜 적응된 향상 계층 신호를 획득할 수 있다. 현재 프레임의 향상 계층 신호는 조정 파라미터를 사용하여 적응되고, 현재 프레임의 제1 고주파 대역 신호는 적응된 향상 계층 신호로 대체된다. 이러한 방식으로, 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하는 단계; 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 대체 후에 생성된 제1 고주파 대역 신호를 획득하는 단계; 및 상기 향상 계층 고주파 대역 조정 파라미터를 사용하여, 대체 후에 생성된 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 향상 계층 고주파 대역 조정 파라미터는 호환 계층에서 향상 계층 신호 및 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 향상 계층 고주파 대역 조정 파라미터(이하의 실시예에서 줄여서 조정 파라미터로 지칭될 수 있음)는 향상 계층 신호를 조정하기 위해 사용되는 조정 파라미터이다. 향상 계층 고주파 대역 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호는 모두 고주파 대역 오디오 신호이다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호를 사용하여 조정 파라미터를 계산할 수 있으며, 대체 후 생성된 제1 고주파 대역 신호를 획득한 후, 대체 후 생성된 제1 고주파 대역 신호를 조정 파라미터를 사용하여 조정하여, 현재 프레임의 제2 고주파 대역 신호를 획득한다. 조정 파라미터를 사용하여 대체 후 생성된 제1 고주파 대역 신호를 조정하면 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 상기 현재 프레임의 향상 계층 신호와 상기 현재 프레임의 제1 고주파 대역 신호에 대해 스펙트럼 컴포넌트 비교 선택을 수행하여, 상기 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호를 선택하는 단계; 및 상기 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 상기 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를 상기 제1 향상 계층 서브 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 향상 계층 신호에 대응하는 스펙트럼 컴포넌트는 호환 계층 신호에서 제1 고주파 대역 신호에 대응하는 스펙트럼 컴포넌트와 비교될 수 있다. 스펙트럼 컴포넌트 비교가 완료된 후, 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호가 선택된다. 마지막으로, 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를, 선택된 제1 향상 계층 서브 신호로 대체하여 현재 프레임의 제2 고주파 대역 신호를 획득한다. 예를 들어, 디코딩 컴포넌트는 전술한 스펙트럼 컴포넌트 비교 선택을 수행한다. 비교 결과에 따르면, 향상 계층 신호의 일부 스펙트럼 컴포넌트는 호환 계층 신호의 대응하는 스펙트럼 컴포넌트를 대체하여 최종 출력 신호의 스펙트럼 컴포넌트를 획득하는 데 사용된다. 또한, 향상 계층 신호의 다른 스펙트럼 컴포넌트는 폐기되고, 최종 출력 신호의 모든 스펙트럼 컴포넌트는, 호환 계층 신호에서의 대체 후 획득된 스펙트럼 컴포넌트와 호환 계층 신호의 다른 스펙트럼 컴포넌트를 결합하여 획득된다.
가능한 구현에서, 상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하는 단계는, 상기 향상 계층 인코딩 파라미터 및 상기 호환 계층 인코딩 파라미터에 기반하여, 상기 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 결정하는 단계; 및 상기 향상 계층 인코딩 파라미터에서의 디코딩 대상 향상 계층 고주파 신호를 디코딩하여, 상기 현재 프레임의 향상 계층 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터가 획득될 수 있다. 디코딩 컴포넌트는, 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터에 기반하여, 향상 계층 인코딩 파라미터 내에서 향상 계층에서 디코딩되어야 하는 고주파 신호(즉, 디코딩 대상 향상 계층 고주파 신호)를 결정하고, 그런 다음 향상 계층에서 디코딩되어야 하는 고주파 신호를 디코딩한다. 향상 계층 인코딩 파라미터에 있으면서 또한 디코딩 대상 신호로 결정되지 않은 고주파 신호는 폐기될 수 있다. 따라서, 디코딩 대상 향상 계층 고주파 신호만 디코딩하면 되고, 향상 계층 인코딩 파라미터의 전부를 디코딩할 필요는 없다. 이것은 향상 계층에서 오디오 신호 디코딩 효율성을 향상시킨다.
가능한 구현에서, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는, 상기 현재 프레임의 호환 계층 신호에서 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하는 단계; 및 상기 현재 프레임의 상기 향상 계층 신호와 상기 호환 계층 대역폭 확장 신호를 결합하여 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다. 이 솔루션에서, 호환 계층 신호에 포함된 호환 계층 디코딩된 신호와 호환 계층 대역폭 확장 신호가 결정될 수 있다. 호환 계층 디코딩된 신호는 디코딩 컴포넌트가 호환 계층에서 호환 계층 인코딩 파라미터를 디코딩하는 것에 의해 획득된 신호이고, 호환 계층 대역폭 확장 신호는 호환 계층 대역폭 확장을 통해 디코딩 컴포넌트에 의해 획득된 신호이다. 예를 들어, 저주파 대역 신호를 고주파 대역으로 확장하여 호환 계층 대역폭 확장 신호를 획득한다. 본 출원의 이 실시예에서, 디코딩 컴포넌트는 현재 프레임의 향상 계층 신호와 호환 계층 대역폭 확장 신호를 결합할 수 있다. 달리 말하면, 제1 고주파 대역 신호의 호환 계층 디코딩된 신호는 향상 계층 신호와 결합되지 않고, 디코딩 컴포넌트는 현재 프레임의 향상 계층 신호와 호환 계층 대역폭 확장 신호만을 결합한다. 현재 프레임의 제2 고주파 대역 신호가 획득되고, 제2 고주파 대역 신호, 향상 계층 신호 및 제1 저주파 대역 신호가 결합된 후 최종 출력 신호가 획득된다. 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
가능한 구현에서, 상기 호환 계층 신호의 스펙트럼 범위는 [0, FL]이고, 상기 호환 계층 디코딩된 신호의 스펙트럼 범위는 [0, FT]이며, 상기 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 신호는 [FT, FL]이고, 상기 향상 계층 신호의 스펙트럼 범위는 [FX, FY]이며, 상기 오디오 출력 신호의 스펙트럼 범위는 [0, FY]이고; 그리고 FL=FY, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정되며; 또는 FL=FY, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정되고; 또는 FX<FT, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정되고; 또는 FX<FT, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득하는 방식으로 결정된다. 이 솔루션에서, 이 실시예에서, 디코딩 컴포넌트는 인코딩 및 디코딩을 통해 호환 계층 신호의 어떤 스펙트럼이 획득되고 그리고 대역폭 확장을 통해 호환 계층 신호의 어떤 스펙트럼이 획득되는 지를 학습할 수 있다. 최종 출력 신호는 호환 계층 신호의 인코딩 및 디코딩 부분의 스펙트럼을 포함하고, 대역폭 확장 부분의 스펙트럼은 향상 계층 신호와 호환 계층 신호의 대응하는 스펙트럼 컴포넌트를 결합하여 획득될 수 있다.
가능한 구현에서, 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하는 단계 이후에, 상기 오디오 디코딩 방법은, 상기 현재 프레임의 오디오 출력 신호를 후처리하는(post-processing) 단계를 더 포함한다. 이 솔루션에서, 현재 프레임의 오디오 출력 신호를 획득한 후, 오디오 출력 신호를 추가로 후처리하므로, 후처리 이득을 획득할 수 있다.
가능한 구현에서, 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하는 단계 이전에, 상기 오디오 디코딩 방법은, 상기 호환 계층 신호에 기반하여 후처리 파라미터(post-processing parameter)를 획득하는 단계; 및 상기 후처리 파라미터를 사용하여 상기 향상 계층 신호를 후처리하여, 후처리된 향상 계층 신호를 획득하는 단계를 더 포함한다. 이 솔루션에서, 현재 프레임의 오디오 출력 신호를 획득하기 전에, 호환 계층 신호에 기반하여 후처리 파라미터를 더 획득할 수 있다. 후처리 파라미터는 후처리에 필요한 파라미터이다. 상이한 유형의 후처리에 기반하여 대응하는 후처리 파라미터를 획득해야 한다. 향상 계층 신호는 후처리 파라미터를 사용하여 후처리되며, 후처리가 완료된 후, 후처리된 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호를 결합하여 오디오 출력 신호를 획득할 수 있다. 본 출원의 이 실시예에서, 향상 계층 신호가 후처리될 수 있으므로, 후처리 이득이 달성될 수 있다.
제3 측면에 따르면, 본 출원의 실시예는 오디오 인코딩 디바이스를 더 제공한다. 상기 오디오 인코딩 디바이스는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는: 메모리에 커플링되고(coupled), 상기 메모리에서 명령어를 읽고 실행하여 제1 측면의 가능한 구현들 중 어느 하나에 따른 방법을 구현하도록 구성된다.
가능한 구현에서, 상기 오디오 인코딩 디바이스는 상기 메모리를 더 포함한다.
제4 측면에 따르면, 본 출원의 실시예는 오디오 디코딩 디바이스를 더 제공한다. 상기 오디오 디코딩 디바이스는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 메모리에 커플링되고, 상기 메모리에서 명령어를 읽고 실행하여 제2 측면의 가능한 구현들 중 어느 하나에 따른 방법을 구현하도록 구성된다.
가능한 구현에서, 상기 오디오 디코딩 디바이스는 상기 메모리를 더 포함한다.
제5 측면에 따르면, 본 출원의 실시예는 오디오 인코딩 디바이스를 더 제공한다. 오디오 인코딩 디바이스는 호환 계층 인코더, 향상 계층 인코더 및 비트스트림 다중화기를 포함한다. 상기 호환 계층 인코더는 오디오 신호의 현재 프레임을 획득하고 - 상기 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 그리고 상기 고주파 대역 신호 및 상기 저주파 대역 신호에 기반하여 상기 현재 프레임의 호환 계층 인코딩 파라미터를 획득하도록 구성된다. 상기 향상 계층 인코더는 상기 오디오 신호의 현재 프레임을 획득하고 - 상기 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 그리고 상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다. 상기 비트스트림 다중화기는 상기 호환 계층 인코딩 파라미터 및 상기 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 향상 계층 인코더는 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하고; 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 상기 현재 프레임의 고주파 대역 신호를 인코딩하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 미리 설정된 신호 유형은 고조파 신호 유형, 토널 신호 유형, 백색 잡음 유사 신호 유형, 과도 신호 유형, 또는 마찰 신호 유형 중 적어도 하나를 포함한다.
본 출원의 일부 실시예에서, 상기 현재 프레임의 향상 계층 인코딩 파라미터는 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다.
본 출원의 일부 실시예에서, 상기 향상 계층 인코더는 호환 계층 인코딩 주파수 대역 정보를 획득하고; 상기 호환 계층 인코딩 주파수 대역 정보에 기반하여 상기 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호를 결정하며; 그리고 상기 인코딩 대상 주파수 대역 신호를 인코딩하여 상기 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
본 출원의 제5 측면에서, 오디오 인코딩 디바이스의 컴포넌트는 추가로, 제1 측면 및 가능한 구현에서 설명된 단계를 수행할 수 있다. 자세한 내용은 제1 측면의 전술한 설명과 가능한 구현을 참조한다.
제6 측면에 따르면, 본 출원의 실시예는 오디오 디코딩 디바이스를 더 제공한다. 오디오 디코딩 디바이스는 비트스트림 역다중화기, 호환 계층 디코더, 향상 계층 디코더, 적응 프로세서(adaptation processor) 및 결합기(combiner)를 포함한다. 상기 비트스트림 역다중화기는 인코딩된 비트스트림을 획득하고; 상기 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다. 상기 호환 계층 디코더는, 상기 호환 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 호환 계층 신호를 획득하도록 - 상기 호환 계층 신호는 상기 현재 프레임의 제1 고주파 대역 신호 및 상기 현재 프레임의 제1 저주파 대역 신호를 포함함 - 구성된다. 상기 향상 계층 디코더는, 상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성된다. 상기 적응 프로세서는, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다. 상기 결합기는, 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 향상 계층 디코더는 상기 현재 프레임의 향상 계층 인코딩 파라미터에 기반하여 신호 유형 정보를 획득하고; 상기 신호 유형 정보에 의해 지시된 미리 설정된 신호 유형에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 디코딩하여 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하고; 상기 호환 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 대응하는 앤벌로프 정보를 획득하고, 상기 현재 프레임의 제1 고주파 대역 신호의 앤벌로프 정보를 획득하며; 상기 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 상기 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여, 상기 호환 계층 고주파 대역 조정 파라미터를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 상기 현재 프레임의 향상 계층 신호로부터 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하고; 상기 향상 계층 고주파 대역 스펙트럼 신호와 상기 현재 프레임의 제1 고주파 대역 신호를 결합하여 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호와 호환 계층 대역폭 확장 신호를 획득하고; 그리고 상기 현재 프레임의 향상 계층 신호에 있으면서 또한 상기 호환 계층 대역폭 확장 신호에 대응하는 신호를 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호로서 결정하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하고; 상기 향상 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 향상 계층 신호를 적응시켜 적응된 향상 계층 신호를 획득하며; 그리고 상기 현재 프레임의 제1 고주파 대역 신호를 상기 적응된 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하고; 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 대체 후에 생성된 제1 고주파 대역 신호를 획득하며; 그리고 상기 향상 계층 고주파 대역 조정 파라미터를 사용하여, 대체 후에 생성된 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 향상 계층 신호와 상기 현재 프레임의 제1 고주파 대역 신호에 대해 스펙트럼 컴포넌트 비교 선택을 수행하여, 상기 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호를 선택하고; 그리고 상기 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 상기 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를 상기 제1 향상 계층 서브 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 향상 계층 디코더는 상기 향상 계층 인코딩 파라미터 및 상기 호환 계층 인코딩 파라미터에 기반하여, 상기 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 결정하고; 그리고 상기 향상 계층 인코딩 파라미터에서의 디코딩 대상 향상 계층 고주파 신호를 디코딩하여, 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 상기 현재 프레임의 호환 계층 신호에서 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하고; 그리고 상기 현재 프레임의 상기 향상 계층 신호와 상기 호환 계층 대역폭 확장 신호를 결합하여 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 호환 계층 신호의 스펙트럼 범위는 [0, FL]이고, 상기 호환 계층 디코딩된 신호의 스펙트럼 범위는 [0, FT]이며, 상기 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 신호는 [FT, FL]이고, 상기 향상 계층 신호의 스펙트럼 범위는 [FX, FY]이며, 상기 오디오 출력 신호의 스펙트럼 범위는 [0, FY]이다.
FL=FY, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FL=FY, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득하는 방식으로 결정된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 추가로, 상기 결합기가 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득한 이후에, 상기 현재 프레임의 오디오 출력 신호를 후처리하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 프로세서는 추가로, 상기 결합기가 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하기 전에, 상기 호환 계층 신호에 기반하여 후처리 파라미터를 획득하고; 그리고 상기 후처리 파라미터를 사용하여 상기 향상 계층 신호를 후처리하여, 후처리된 향상 계층 신호를 획득하도록 구성된다.
본 출원의 제6 측면에서, 오디오 디코딩 디바이스의 컴포넌트는 제2 측면 및 가능한 구현에서 설명된 단계를 더 수행할 수 있다. 자세한 내용은 제2 측면의 전술한 설명과 가능한 구현을 참조한다.
제7 측면에 따르면, 본 출원의 실시예는 오디오 인코딩 디바이스를 더 제공한다. 상기 오디오 인코딩 디바이스는: 오디오 신호의 현재 프레임을 획득하도록 - 상기 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 - 구성된 획득 모듈; 상기 고주파 대역 신호 및 상기 저주파 대역 신호에 기반하여 상기 현재 프레임의 호환 계층 인코딩 파라미터를 획득하도록 구성된 호환 계층 인코딩 모듈; 상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된 향상 계층 인코딩 모듈; 및 상기 호환 계층 인코딩 파라미터 및 상기 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하도록 구성된 다중화 모듈을 포함한다.
본 출원의 일부 실시예에서, 상기 향상 계층 인코딩 모듈은 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하고; 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 상기 현재 프레임의 고주파 대역 신호를 인코딩하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 미리 설정된 신호 유형은 고조파 신호 유형, 토널 신호 유형, 백색 잡음 유사 신호 유형, 과도 신호 유형, 또는 마찰 신호 유형 중 적어도 하나를 포함한다.
본 출원의 일부 실시예에서, 상기 현재 프레임의 향상 계층 인코딩 파라미터는 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다.
본 출원의 일부 실시예에서, 상기 향상 계층 인코딩 모듈은 호환 계층 인코딩 주파수 대역 정보를 획득하고; 상기 호환 계층 인코딩 주파수 대역 정보에 기반하여 상기 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호를 결정하며; 그리고 상기 인코딩 대상 주파수 대역 신호를 인코딩하여 상기 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
제8 측면에 따르면, 본 출원의 실시예는 오디오 디코딩 디바이스를 더 제공한다. 상기 오디오 디코딩 디바이스는: 인코딩된 비트스트림을 획득하도록 구성된 획득 모듈; 상기 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된 역다중화 모듈; 상기 호환 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 호환 계층 신호를 획득하도록 - 상기 호환 계층 신호는 상기 현재 프레임의 제1 고주파 대역 신호 및 상기 현재 프레임의 제1 저주파 대역 신호를 포함함 - 구성된 호환 계층 디코딩 모듈; 상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성된 향상 계층 디코딩 모듈; 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된 적응 모듈; 및 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하도록 구성된 결합 모듈을 포함한다.
본 출원의 일부 실시예에서, 상기 향상 계층 디코딩 모듈은 상기 현재 프레임의 향상 계층 인코딩 파라미터에 기반하여 신호 유형 정보를 획득하고; 상기 신호 유형 정보에 의해 지시된 미리 설정된 신호 유형에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 디코딩하여 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하고; 상기 호환 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 대응하는 앤벌로프 정보를 획득하고, 상기 현재 프레임의 제1 고주파 대역 신호의 앤벌로프 정보를 획득하며; 상기 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 상기 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여, 상기 호환 계층 고주파 대역 조정 파라미터를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 상기 현재 프레임의 향상 계층 신호로부터 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하고; 상기 향상 계층 고주파 대역 스펙트럼 신호와 상기 현재 프레임의 제1 고주파 대역 신호를 결합하여 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호와 호환 계층 대역폭 확장 신호를 획득하고; 그리고 상기 현재 프레임의 향상 계층 신호에 있으면서 또한 상기 호환 계층 대역폭 확장 신호에 대응하는 신호를 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호로서 결정하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하고; 상기 향상 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 향상 계층 신호를 적응시켜 적응된 향상 계층 신호를 획득하며; 그리고 상기 현재 프레임의 제1 고주파 대역 신호를 상기 적응된 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하고; 상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 대체 후에 생성된 제1 고주파 대역 신호를 획득하며; 그리고 상기 향상 계층 고주파 대역 조정 파라미터를 사용하여, 대체 후에 생성된 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 향상 계층 신호와 상기 현재 프레임의 제1 고주파 대역 신호에 대해 스펙트럼 컴포넌트 비교 선택을 수행하여, 상기 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호를 선택하고; 그리고 상기 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 상기 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를 상기 제1 향상 계층 서브 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 향상 계층 디코딩 모듈은 상기 향상 계층 인코딩 파라미터 및 상기 호환 계층 인코딩 파라미터에 기반하여, 상기 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 결정하고; 그리고 상기 향상 계층 인코딩 파라미터에서의 디코딩 대상 향상 계층 고주파 신호를 디코딩하여, 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 적응 모듈은 상기 현재 프레임의 호환 계층 신호에서 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하고; 그리고 상기 현재 프레임의 상기 향상 계층 신호와 상기 호환 계층 대역폭 확장 신호를 결합하여 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 상기 호환 계층 신호의 스펙트럼 범위는 [0, FL]이고, 상기 호환 계층 디코딩된 신호의 스펙트럼 범위는 [0, FT]이며, 상기 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 신호는 [FT, FL]이고, 상기 향상 계층 신호의 스펙트럼 범위는 [FX, FY]이며, 상기 오디오 출력 신호의 스펙트럼 범위는 [0, FY]이다.
FL=FY, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FL=FY, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득하는 방식으로 결정된다.
본 출원의 일부 실시예에서, 상기 오디오 디코딩 디바이스(1000)는 상기 결합 모듈이 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득한 이후에, 상기 현재 프레임의 오디오 출력 신호를 후처리하도록 구성된 후처리 모듈을 더 포함할 수 있다.
본 출원의 일부 실시예에서, 상기 오디오 디코딩 디바이스는 상기 결합 모듈이 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하기 전에, 상기 호환 계층 신호에 기반하여 후처리 파라미터를 획득하고; 그리고 상기 후처리 파라미터를 사용하여 상기 향상 계층 신호를 후처리하여, 후처리된 향상 계층 신호를 획득하도록 구성된 후처리 모듈을 더 포함할 수 있다.
제9 측면에 따르면, 본 출원의 실시예는 컴퓨터가 판독 가능한 저장 매체를 제공한다. 상기 컴퓨터 판독 가능한 저장 매체는 명령어를 저장하고, 상기 명령어가 컴퓨터 상에서 실행될 때, 상기 컴퓨터는 제1 측면 또는 제2 측면에 따른 방법을 수행하도록 인에이블된다.
제10 측면에 따르면, 본 출원의 실시예는 명령어를 포함하는 컴퓨터 프로그램 제품을 제공한다. 상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 상기 컴퓨터는 제1 측면 또는 제2 측면에 따른 방법을 수행하도록 인에이블된다.
제11 측면에 따르면, 본 출원의 실시예는 통신 장치를 제공한다. 상기 통신 장치는 오디오 인코딩/디코딩 디바이스 또는 칩과 같은 엔티티를 포함할 수 있다. 상기 통신 장치는 프로세서를 포함하고, 선택적으로 메모리를 더 포함한다. 상기 메모리는 명령어를 저장하도록 구성된다. 상기 프로세서는 상기 통신 장치가 제1 측면 또는 제2 측면 중 어느 하나에 따른 방법을 수행하도록 상기 메모리에서 명령어를 실행하도록 구성된다.
제12 측면에 따르면, 본 출원은 칩 시스템을 제공한다. 상기 칩 시스템은 예를 들어, 전술한 방법에서 데이터 및/또는 정보를 송신하거나 처리하는 것과 같은, 전술한 측면의 기능을 구현함에 있어서 오디오 인코딩/디코딩 디바이스를 지원하도록 구성된 프로세서를 포함한다. 가능한 설계에서, 상기 칩 시스템은 메모리를 더 포함한다. 상기 메모리는 오디오 인코딩/디코딩 디바이스에 필요한 프로그램 명령어 및 데이터를 저장하도록 구성된다. 상기 칩 시스템은 칩을 포함할 수 있거나, 칩 및 다른 개별 컴포넌트를 포함할 수 있다.
도 1은 본 출원의 실시예에 따른 오디오 인코딩 및 디코딩 시스템의 구조의 개략도이다.
도 2는 본 출원의 실시예에 따른 오디오 인코딩 방법의 개략적인 흐름도이다.
도 3은 본 출원의 실시예에 따른 오디오 디코딩 방법의 개략적인 흐름도이다.
도 4는 본 출원의 실시예에 따른 이동 단말의 개략도이다.
도 5는 본 출원의 실시예에 따른 네트워크 엘리먼트의 개략도이다.
도 6은 본 출원의 실시예에 따른 오디오 인코딩 방법의 개략적인 흐름도이다.
도 7a는 본 출원의 실시예에 따른 원본 신호의 스펙트럼의 개략도이다.
도 7b는 본 출원의 실시예에 따른 호환 계층 인코딩된 신호의 스펙트럼의 개략도이다.
도 7c는 본 출원의 실시예에 따른 향상 계층 인코딩된 신호의 스펙트럼의 개략도이다.
도 7d는 본 출원의 실시예에 따른 오디오 출력 신호의 스펙트럼의 개략도이다.
도 8은 본 출원의 실시예에 따라 향상 계층 인코딩 파라미터와 호환 계층 인코딩 파라미터가 결합된 후에 획득된 출력 스펙트럼의 개략도이다.
도 9는 본 출원의 실시예에 따른 오디오 인코딩 디바이스의 구성 구조의 개략도이다.
도 10은 본 출원의 실시예에 따른 오디오 디코딩 디바이스의 구성 구조의 개략도이다.
도 11은 본 출원의 실시예에 따른 다른 오디오 인코딩 디바이스의 구성 구조의 개략도이다.
도 12는 본 출원의 실시예에 따른 다른 오디오 디코딩 디바이스의 구성 구조의 개략도이다.
도 13은 본 출원의 실시예에 따른 다른 오디오 인코딩 디바이스의 구성 구조의 개략도이다.
도 14는 본 출원의 실시예에 따른 다른 오디오 디코딩 디바이스의 구성 구조의 개략도이다.
본 출원의 실시예는 신규 인코딩/디코딩 디바이스와 기존 인코딩/디코딩 디바이스 사이의 호환성을 구현하고 오디오 신호 인코딩/디코딩 효율을 개선하기 위해, 오디오 인코딩 방법 및 디바이스, 오디오 디코딩 방법 및 디바이스를 제공한다.
다음은 첨부된 도면을 참조하여 본 출원의 실시예를 설명한다.
본 출원의 명세서, 특허청구범위 및 첨부된 도면에서 "제1", "제2" 등의 용어는 유사한 객체를 구별하기 위한 것으로, 반드시 특정한 순서나 시퀀스를 지시하는 것은 아니다. 이러한 방식으로 사용된 용어는 적절한 상황에서 상호 교환될 수 있으며, 이는 본 출원의 실시예에서 동일한 속성을 갖는 객체가 설명될 때 사용되는 구별 방식일 뿐이라는 점을 이해해야 한다. 또한, 용어 "포함하다", "갖다" 및 이들의 다른 변형은 비배타적 포함을 포함하도록 의도되므로, 일련의 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 디바이스가 이러한 유닛에 제한되지 않으며, 그러나 명시적으로 나열되지 않았거나 그러한 프로세스, 방법, 제품 또는 디바이스에 고유하지 않은 다른 유닛을 포함할 수 있다.
본 출원의 실시예에서 오디오 신호는 오디오 인코딩 디바이스의 입력 신호이고, 오디오 신호는 복수의 프레임을 포함할 수 있다. 예를 들어, 현재 프레임은 오디오 신호의 특정 프레임일 수 있다. 본 출원의 실시예에서, 오디오 신호의 현재 프레임의 인코딩/디코딩은 설명을 위한 예로서 사용된다. 오디오 신호에서 현재 프레임의 이전 프레임(previous frame) 또는 다음 프레임(next frame)은 오디오 신호의 현재 프레임을 인코딩/디코딩하는 방식에 대응하여 인코딩/디코딩될 수 있다. 오디오 신호에서 현재 프레임의 이전 프레임 또는 다음 프레임을 인코딩/디코딩하는 프로세스는 하나씩 설명하지 않는다. 또한, 본 출원의 실시예에서 오디오 신호는 모노(mono) 오디오 신호일 수 있거나 스테레오(stereo) 신호일 수 있다. 스테레오 신호는 원래의 스테레오 신호일 수도 있고, 다중 채널 신호에 포함된 2개의 신호(좌측 채널 신호와 우측 채널 신호)를 포함하는 스테레오 신호일 수도 있고, 다중 채널 신호에 포함된 적어도 3개의 신호로부터 생성된 2개의 신호를 포함하는 스테레오 신호일 수도 있다. 이것은 본 출원의 실시예들에서 제한되지 않는다.
도 1은 본 출원의 예시적인 실시예에 따른 오디오 인코딩 및 디코딩 시스템의 구조의 개략도이다. 오디오 인코딩 및 디코딩 시스템은 인코딩 컴포넌트(110) 및 디코딩 컴포넌트(120)를 포함한다.
본 출원의 이 실시예에서, 오디오 인코딩 및 디코딩 시스템은 호환 계층 및 향상 계층을 포함할 수 있다. 예를 들어, 오디오 인코딩 및 디코딩 시스템에서, 인코딩 컴포넌트 및 디코딩 컴포넌트는 호환 계층에 배치될 수 있고, 인코딩 컴포넌트 및 디코딩 컴포넌트는 향상 계층에 배치될 수 있다. 호환 계층과 향상 계층은 오디오 신호를 처리하기 위한 스펙트럼 범위에 따라 분류되는 2개의 계층이다. 구체적으로, 오디오 신호를 처리하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있고, 오디오 신호를 처리하기 위한 고주파 도메인 범위만 향상 계층에 포함될 수 있다. 호환 계층은 기존 인코딩/디코딩 컴포넌트를 사용하여 구현될 수 있고, 향상 계층 및 호환 계층은 신규 인코딩/디코딩 컴포넌트를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서 제공되는 오디오 인코딩 및 디코딩 시스템에서, 신규 인코딩/디코딩 컴포넌트는 기존 인코딩/디코딩 컴포넌트와 호환 가능하다. 인코딩/디코딩 컴포넌트의 디바이스 유형에 따라, 인코딩/디코딩은 호환 계층에서만 수행되거나, 호환 계층과 향상 계층 모두에서 수행될 수 있다. 이것은 여기에서 제한되지 않는다.
예를 들어, 본 출원의 이 실시예에서 신규 인코딩/디코딩 컴포넌트는 기존 인코딩/디코딩 컴포넌트와 완전히 역호환가능(backward-compatible)해야 하며, 즉, 오디오 인코딩/디코딩 호환 계층 신호는 입력 신호의 모든 스펙트럼 컴포넌트를 포함한다. 본 출원의 이 실시예에서 제공되는 오디오 인코딩 및 디코딩 시스템은 하나의 호환 계층과 하나의 향상 계층을 포함한다. 호환 계층은 오디오 인코딩 및 디코딩 기능을 완벽하게 구현할 수 있으며, 생성된 비트스트림은 기존 인코딩 및 디코딩 시스템과 완전히 호환된다. 호환 계층의 입력은 오디오 인코딩 및 디코딩 시스템에 입력되는 원본 오디오 신호이다. 호환 계층은 입력 신호의 모든 스펙트럼 컴포넌트를 인코딩/디코딩한다. 향상 계층은 입력 오디오 신호의 일부 스펙트럼(예를 들어, 고조파 도메인 범위)을 인코딩/디코딩할 수 있다. 디코더 측은 향상 계층에 관한 정보에 기반하여, 호환 계층에 의해 출력된 디코딩된 출력 신호를 최종 디코딩된 신호로 사용할지 또는 향상 계층의 디코딩된 출력 신호와 호환 계층의 디코딩된 출력을 먼저 결합하고, 그런 다음 결합된 신호를 최종 디코딩된 출력 신호로 사용할지를 판정한다.
인코딩 컴포넌트(110)는 주파수 도메인 또는 시간 도메인에서 현재 프레임(오디오 신호)을 인코딩하도록 구성된다. 선택적으로, 인코딩 컴포넌트(110)는 소프트웨어에 의해 구현될 수 있거나, 하드웨어에 의해 구현될 수 있거나, 소프트웨어와 하드웨어의 결합 형태로 구현될 수 있다. 이것은 본 출원의 실시예들에서 제한되지 않는다.
인코딩 컴포넌트(110)가 주파수 도메인 또는 시간 도메인에서 현재 프레임을 인코딩할 때, 가능한 구현에서, 도 2에 도시된 단계들이 포함될 수 있다.
201. 오디오 신호의 현재 프레임을 획득하고, 현재 프레임은 고주파 대역 신호와 저주파 대역 신호를 포함한다.
현재 프레임은 오디오 신호의 임의의 프레임일 수 있으며, 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함할 수 있다. 고주파 대역 신호와 저주파 대역 신호로의 구분은 주파수 대역 임계값에 따라 결정될 수 있다. 주파수 대역 임계값보다 높은 주파수 대역을 갖는 신호는 고주파 대역 신호이고, 주파수 대역 임계값보다 낮은 주파수 대역을 갖는 신호는 저주파 대역 신호이다. 주파수 대역 임계값은 송신 대역폭, 및 인코딩 컴포넌트(110) 및 디코딩 컴포넌트(120)의 데이터 처리 능력에 기반하여 결정될 수 있다. 이것은 여기에서 제한되지 않는다.
202. 고주파 대역 신호 및 저주파 대역 신호에 기반하여 현재 프레임의 호환 계층 인코딩 파라미터를 획득한다.
본 출원의 이 실시예에서, 고주파 대역 신호 및 저주파 대역 신호는 호환 계층에서 인코딩될 수 있다. 현재 프레임의 고주파 대역 신호와 저주파 대역 신호의 인코딩을 예로 들어 현재 프레임의 호환 계층 인코딩 파라미터를 획득할 수 있다. 호환 계층 인코딩 파라미터는 호환 계층에서 오디오 신호의 모든 주파수 대역 신호를 인코딩한 인코딩 파라미터이다.
203. 고주파 대역 신호에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득한다.
본 출원의 이 실시예에서, 고주파 대역 신호는 향상 계층에서 인코딩될 수 있다. 현재 프레임의 고주파 대역 신호의 인코딩이 예로 사용되며, 현재 프레임의 향상 계층 인코딩 파라미터가 획득될 수 있다. 향상 계층 인코딩 파라미터는 향상 계층에서 오디오 신호의 고주파 대역 신호를 인코딩하는 것에 의해 획득된 인코딩 파라미터이다.
본 출원의 일부 실시예에서, 고주파 대역 신호에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계(203)는:
현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하는 단계; 및
현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 현재 프레임의 고주파 대역 신호를 인코딩하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계를 포함한다.
신호 분류기(classifier)가 인코딩 컴포넌트(110)에 배치될 수 있고, 신호 분류기는 인코딩 컴포넌트(110)로 입력되는 오디오 신호들을 분류할 수 있다. 먼저, 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득한다. 신호 유형 정보는 분류를 통해 획득된 신호 유형에 기반한 복수 유형의 신호 분류 결과를 포함할 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 현재 프레임의 고주파 대역 신호를 인코딩하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득한다. 예를 들어, 오디오 신호는 N개의 미리 설정된 신호 유형으로 분류될 수 있으며, N개의 인코딩 모드는 향상 계층에서 설정될 수 있다. 각각의 미리 설정된 신호 유형에 대해 하나의 대응하는 향상 계층 인코딩 모드가 실행될 수 있다. 따라서, 대응하는 향상 계층 인코딩 모드는 서로 다른 신호 유형에 사용된다. 이것은 오디오 신호 인코딩 효율성을 향상시킨다.
예를 들어, 본 출원의 이 실시예에서, 신호 분류기는 인코딩 컴포넌트에 배치되고, 신호 분류기는 특정 유형의 오디오 신호를 검출하도록 구성될 수 있다. 이러한 유형의 신호가 검출될 때, 고주파 대역 신호가 향상 계층에서 인코딩된다. 이러한 유형의 신호가 검출되지 않을 때, 인코딩이 수행되지 않는다. 향상 계층에서 인코딩한 후, 신호 분류 결과는 단계(204)에서 비트스트림 다중화에 사용된다. 또한, 특정 유형의 오디오 신호가 검출되면, 단계(204)에서 고주파 대역 신호 인코딩 파라미터가 또한 비트스트림 다중화에 사용되며; 또는 특정 유형의 오디오 신호가 검출되지 않으면 비트스트림 다중화가 수행되지 않는다. 본 출원의 이 실시예에서, 인코딩 컴포넌트는 신호 분류 결과를 사용하여 처리를 위한 적절한 향상 계층 인코딩을 선택하므로, 디코더 측도 신호 분류 결과를 사용하여 서로 다른 미리 설정된 신호 유형에 기반하여 향상 계층에서 디코딩을 수행할 수 있다. 따라서, 향상 계층 신호는 최종 출력 신호의 성능을 향상시키기 위해, 호환 계층에서 처리된 스펙트럼의 일부를 처리하는 데 사용될 수 있다.
본 출원의 일부 실시예에서, 미리 설정된 신호 유형은 고조파 신호 유형, 토널 신호 유형, 백색 잡음 유사 신호 유형, 과도 신호 유형, 또는 마찰 신호 유형 중 적어도 하나를 포함한다.
현재 프레임의 고주파 대역 신호는 미리 설정된 복수의 신호 유형을 가질 수 있다. 예를 들어, 현재 프레임의 고주파 대역 신호의 신호 유형이 고조파 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 고조파 신호이면, 향상 계층 인코딩 모드 1을 사용하여 향상 계층에서 고조파 신호를 인코딩할 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 토널 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 토널 컴포넌트를 포함하면, 향상 계층 인코딩 모드 2를 사용하여 향상 계층에서 토널 신호를 인코딩할 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 백색 잡음 유사 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 백색 잡음 유사 신호를 포함하면, 향상 계층 인코딩 모드 3을 사용하여 향상 계층에서 백색 잡음 유사 신호를 인코딩할 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 과도 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 과도 신호를 포함하면, 향상 계층 인코딩 모드 4를 사용하여 향상 계층에서 과도 신호를 인코딩할 수 있다. 현재 프레임의 고주파 대역 신호의 신호 유형이 마찰 신호 유형이면, 즉 현재 프레임의 고주파 대역 신호가 마찰 신호를 포함하면, 향상 계층 인코딩 모드 5를 사용하여 향상 계층에서 마찰 신호를 인코딩할 수 있다. 본 출원의 이 실시예에서, 각각의 미리 설정된 신호 유형에 대해 하나의 대응하는 향상 계층 인코딩 모드가 실행될 수 있다. 따라서, 대응하는 향상 계층 인코딩 모드는 서로 다른 신호 유형에 사용된다. 이것은 오디오 신호 인코딩 효율성을 향상시킨다.
본 출원의 이 실시예에서, 현재 프레임의 고주파 대역 신호가 전술한 미리 설정된 신호 유형이 아니면, 고주파 대역 신호는 여기에서 향상 계층에서 인코딩되지 않을 수 있음을 이해할 수 있다.
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 인코딩 파라미터는 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다.
인코딩 컴포넌트(110)는 미리 설정된 신호 종류에 기반하여 오디오 신호에 대한 현재 프레임의 고주파 대역 신호를 식별할 수 있고, 인코딩 컴포넌트(110)는 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 생성할 수 있다. 현재 프레임의 고주파 대역 신호가 향상 계층에서 인코딩된 후 생성되는 향상 계층 인코딩 파라미터는, 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다. 따라서, 비트스트림 다중화 동안, 생성된 인코딩된 비트스트림은 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 운반할 수 있으므로, 디코딩 컴포넌트는 신호 유형 정보를 사용하여 상이한 미리 설정된 신호 유형 정보에 기반하여 향상 계층에서 디코딩을 수행할 수도 있다. 따라서, 향상 계층 신호는 최종 출력 신호의 성능을 향상시키기 위해, 호환 계층에서 처리된 스펙트럼의 일부를 처리하는 데 사용될 수 있다.
본 출원의 일부 실시예에서, 고주파 대역 신호에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계(203)는:
호환 계층 인코딩 주파수 대역 정보를 획득하는 단계;
호환 계층 인코딩 주파수 대역 정보에 기반하여 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호를 결정하는 단계; 및
인코딩 대상 주파수 대역 신호를 인코딩하여 향상 계층 인코딩 파라미터를 획득하는 단계를 포함한다.
인코딩 컴포넌트(110)는 호환 계층 인코딩 주파수 대역 정보를 더 획득할 수 있다. 호환 계층 인코딩 주파수 대역 정보는 호환 계층에서 인코딩된 오디오 신호의 주파수 대역 정보를 지시하며, 즉, 호환 계층에서 호환 계층 인코딩이 수행되는 특정 주파수 대역들 또는 특정 주파수 대역은 호환 계층 인코딩 주파수 대역 정보에 기반하여 결정할 수 있다. 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호는 호환 계층 인코딩 주파수 대역 정보에 기반하여 결정된다. 향상 계층에서 인코딩되어야 하는 고주파 대역 신호는 호환 계층 인코딩 주파수 대역 정보에 기반하여 결정될 수 있다. 마지막으로, 향상 계층에서 인코딩되어야 하는 인코딩 대상 주파수 대역 신호를 인코딩하여 향상 계층 인코딩 파라미터를 획득한다. 본 출원의 이 실시예에서, 호환 계층에서 출력되는 호환 계층 인코딩 주파수 대역 정보가 인코더 측의 향상 계층에서 인코딩을 안내하는 데 사용될 수 있으므로, 향상 계층에서의 인코딩 및 호환 계층에서의 인코딩은 상호보완적일 수 있다. 이것은 향상 계층에서 오디오 신호 인코딩 효율성을 향상시킨다.
예를 들어, 향상 계층에서는 향상 계층 신호 분류 정보 및 호환 계층 인코딩 주파수 대역 정보에 기반하여, 향상 계층 인코딩이 수행될 특정 고주파 대역 스펙트럼 컴포넌트가 결정된다. 예를 들어, 신호 분류 정보는 향상 계층 인코딩이 현재 프레임의 4개의 주파수 도메인 서브 대역에 대해 수행되어야 함을 지시한다. 그러나, 호환 계층에 의해 출력되는 인코딩 주파수 대역 정보는 4개의 주파수 도메인 서브 대역 중 하나가 호환 계층 인코딩을 통해 인코딩될 것임을 지시한다. 따라서, 향상 계층에서 나머지 3개의 주파수 도메인 서브 대역에 대해 향상 계층 인코딩이 수행될 수 있고, 호환 계층에서 인코딩된 하나의 주파수 도메인 서브 대역에 대해 향상 계층 주파수 도메인 인코딩이 수행되지 않는다. 이것은 향상 계층에서 인코딩되어야 하는 주파수 도메인 서브 대역의 수량을 감소시키고, 향상 계층에서 오디오 신호 인코딩 효율을 향상시킨다.
204. 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여, 인코딩된 비트스트림을 획득한다.
본 출원의 이 실시예에서, 호환 계층 인코딩 및 향상 계층 인코딩이 완료된 후, 비트스트림 다중화를 수행할 수 있으므로, 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터가 하나의 인코딩된 비트스트림으로 다중화될 수 있으며, 즉, 인코딩된 비트스트림은 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터를 포함할 수 있다.
205. 인코딩된 비트스트림을 디코딩 컴포넌트로 송신한다.
본 출원의 이 실시예에서, 인코딩을 완료한 후, 인코딩 컴포넌트(110)는 인코딩된 비트스트림을 생성할 수 있고, 인코딩 컴포넌트(110)는 인코딩된 비트스트림을 디코딩 컴포넌트(120)로 송신할 수 있으므로, 디코딩 컴포넌트(120)가 인코딩된 비트스트림을 수신할 수 있고, 그런 다음 디코딩 컴포넌트(120)는 인코딩된 비트스트림으로부터 오디오 출력 신호를 획득한다.
도 2에 도시된 인코딩 방법은 예시일 뿐 제한이 없으며, 도 2의 단계들의 실행 시퀀스는 본 출원의 이 실시예에서 제한되지 않음을 유의해야 한다. 도 2에 도시된 인코딩 방법은 다르게는 더 많거나 더 적은 단계를 포함할 수 있다. 이것은 본 출원의 이 실시예에서 제한되지 않는다.
전술한 실시예의 본 출원의 인코딩 방법의 예시적인 설명으로부터, 오디오 신호의 현재 프레임이 획득되고, - 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 현재 프레임의 호환 계층 인코딩 파라미터는 고주파 대역 신호 및 저주파 대역 신호에 기반하여 획득되며; 현재 프레임의 향상 계층 인코딩 파라미터는 고주파 대역 신호에 기반하여 획득되고; 비트스트림 다중화가 인코딩된 비트스트림을 획득하기 위해 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터에 대해 수행되는 것을 알 수 있다. 본 출원의 이 실시예에서, 오디오 신호를 인코딩하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있지만, 오디오 신호를 인코딩하기 위한 고주파 도메인 범위만이 향상 계층에 포함된다. 호환 계층은 기존 오디오 인코딩 디바이스를 사용하여 구현될 수 있고, 향상 계층과 호환 계층은 신규 오디오 인코딩 디바이스를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서, 신규 오디오 인코딩 디바이스는 기존 오디오 인코딩 디바이스와 호환된다. 오디오 인코딩 디바이스의 디바이스 유형에 따라, 호환 계층에서만 인코딩이 수행될 수도 있고, 호환 계층과 향상 계층 모두에서 인코딩이 수행될 수도 있다. 본 출원의 이 실시예에서, 기존 오디오 인코딩 디바이스에 신규 트랜스코딩 모듈을 추가할 필요가 없다. 따라서, 오디오 인코딩 디바이스의 업그레이드 비용이 감소되고 오디오 신호 인코딩 효율이 향상될 수 있다.
선택적으로, 인코딩 컴포넌트(110)와 디코딩 컴포넌트(120)는 유선 또는 무선 방식으로 연결될 수 있고, 디코딩 컴포넌트(120)는 디코딩 컴포넌트(120)와 인코딩 컴포넌트(110) 사이의 연결을 통해 인코딩 컴포넌트(110)에 의해 생성된 인코딩된 비트스트림을 획득할 수 있다. 다르게는, 인코딩 컴포넌트(110)는 생성된 인코딩된 비트스트림을 메모리에 저장할 수 있고, 디코딩 컴포넌트(120)는 메모리에서 인코딩된 비트스트림을 판독한다.
선택적으로, 디코딩 컴포넌트(120)는 소프트웨어에 의해 구현될 수 있거나, 하드웨어에 의해 구현될 수 있거나, 소프트웨어와 하드웨어의 결합의 형태로 구현될 수 있다. 이것은 본 출원의 실시예들에서 제한되지 않는다.
디코딩 컴포넌트(120)가 주파수 도메인 또는 시간 도메인에서 현재 프레임(오디오 신호)을 디코딩할 때, 가능한 구현에서, 도 3에 도시된 단계들이 포함될 수 있다.
301. 인코딩된 비트스트림을 획득한다.
인코딩된 비트스트림은 인코딩 컴포넌트(110)에 의해 디코딩 컴포넌트(120)로 송신된다. 인코딩된 비트스트림은 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터를 포함할 수 있다.
302. 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터와 현재 프레임의 향상 계층 인코딩 파라미터를 획득한다.
본 출원의 이 실시예에서, 인코딩된 비트스트림을 획득한 후, 디코딩 컴포넌트(120)는 인코딩된 비트스트림에서 오디오 신호의 현재 프레임에 대해 비트스트림 역다중화를 수행하여 현재 프레임의 호환 계층 인코딩 파라미터 및 현재 프레임의 향상 계층 인코딩 파라미터를 획득한다.
303. 호환 계층 인코딩 파라미터에 기반하여 현재 프레임의 호환 계층 신호를 획득하고, 여기서 호환 계층 신호는 현재 프레임의 제1 고주파 대역 신호 및 현재 프레임의 제1 저주파 대역 신호를 포함한다.
본 출원의 이 실시예에서, 호환 계층 인코딩 파라미터는 현재 프레임의 호환 계층 신호를 획득하기 위해 호환 계층에서 디코딩될 수 있다. 전술한 호환 계층에 대한 설명을 참조하면, 호환 계층에서 오디오 신호의 모든 주파수 도메인 범위에서 디코딩이 수행된다. 따라서, 획득된 호환 계층 신호는 현재 프레임의 제1 고주파 대역 신호와 현재 프레임의 제1 저주파 대역 신호를 포함하며, 즉, 제1 고주파 대역 신호와 제1 저주파 대역 신호는 호환 계층에서 디코딩을 통해 획득된다.
304. 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 향상 계층 신호를 획득한다.
본 출원의 이 실시예에서, 향상 계층 인코딩 파라미터는 현재 프레임의 향상 계층 신호를 획득하기 위해 향상 계층에서 디코딩될 수 있다. 향상 계층에 대한 전술한 설명을 참조하면, 오디오 신호의 고주파 범위는 향상 계층에서 디코딩된다. 따라서, 획득된 향상 계층 신호는 현재 프레임의 고주파 대역 신호를 포함하며, 즉, 고주파 대역 신호는 향상 계층에서 디코딩을 통해 획득된다.
디코딩 컴포넌트(120)가 기존 디코딩 컴포넌트이면, 오디오 신호의 모든 주파수 도메인 신호는 단계(303)만을 수행함으로써 획득될 수 있다는 점에 유의해야 한다. 디코딩 컴포넌트(120)가 신규 디코딩 컴포넌트이면, 단계(303) 및 단계(304)를 수행하여 호환 계층 신호 및 향상 계층 신호를 별도로 획득할 필요가 있다.
본 출원의 일부 실시예에서, 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 향상 계층 신호를 획득하는 단계는:
현재 프레임의 향상 계층 인코딩 파라미터에 기반하여 신호 유형 정보를 획득하는 단계; 및
신호 유형 정보가 지시하는 미리 설정된 신호 유형에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 디코딩하여, 현재 프레임의 향상 계층 신호를 획득하는 단계를 포함한다.
인코딩된 비트스트림은 오디오 신호의 신호 유형 정보를 운반할 수 있고, 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행한 후, 디코딩 컴포넌트는 현재 프레임의 향상 계층 인코딩 파라미터의 신호 유형 정보를 획득할 수 있다. 현재 프레임의 향상 계층 인코딩 파라미터를 신호 유형 정보가 지시하는 미리 설정된 신호 유형에 기반하여 디코딩하여 현재 프레임의 향상 계층 신호를 획득한다. 예를 들어, 오디오 신호는 N개의 미리 설정된 신호 유형으로 분류될 수 있고, N개의 디코딩 모드는 향상 계층에서 설정될 수 있다. 각각의 미리 설정된 신호 유형에 대해 하나의 대응하는 향상 계층 디코딩 모드가 실행될 수 있다. 따라서, 대응하는 향상 계층 디코딩 모드는 서로 다른 신호 유형에 사용된다. 이것은 오디오 신호 디코딩 효율을 향상시킨다. 본 출원의 이 실시예에서, 디코딩 컴포넌트는 신호 유형 정보에 기반하여 처리를 위한 적절한 향상 계층 디코딩을 선택한다. 따라서, 향상 계층 신호는 최종 출력 신호의 성능을 향상시키기 위해, 호환 계층에서 처리된 스펙트럼의 일부를 처리하는 데 사용될 수 있다.
본 출원의 일부 실시예에서, 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 향상 계층 신호를 획득하는 단계(304)는:
향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터에 기반하여 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 결정하는 단계; 및
향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 디코딩하여, 현재 프레임의 향상 계층 신호를 획득하는 단계를 포함한다.
디코딩 컴포넌트는 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터를 획득할 수 있다. 디코딩 컴포넌트는 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터에 기반하여, 향상 계층 인코딩 파라미터에서 향상 계층에서 디코딩되어야 하는 고주파 신호(즉, 디코딩 대상 향상 계층 고주파 신호)를 결정하고, 그런 다음 향상 계층에서 디코딩되어야 하는 고주파 신호를 디코딩한다. 향상 계층 인코딩 파라미터에 있으면서 또한 디코딩 대상 신호로 결정되지 않은 고주파 신호는 폐기될 수 있다. 따라서, 디코딩 대상 향상 계층 고주파 신호만이 디코딩될 필요가 있고, 모든 향상 계층 인코딩 파라미터가 디코딩될 필요는 없다. 이것은 향상 계층에서 오디오 신호 디코딩 효율성을 향상시킨다.
본 출원의 이 실시예에서, 향상 계층 디코딩이 향상 계층에서 수행될 특정 주파수 대역들 또는 특정 주파수 대역은 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터에 기반하여 결정될 수 있다. 본 출원의 이 실시예에서, 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터는 디코더 측에서 향상 계층에서의 디코딩을 안내하는 데 사용될 수 있으므로, 향상 계층에서의 디코딩과 호환 계층에서의 디코딩이 상호보완적일 수 있다. 이것은 향상 계층에서 오디오 신호 디코딩 효율성을 향상시킨다.
예를 들어, 향상 계층에서, 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호는, 향상 계층 인코딩 파라미터와 호환 계층 인코딩 파라미터에 기반하여 결정되며, 즉 향상 계층 디코딩이 수행되어야 하는 특정 고주파 대역 스펙트럼 컴포넌트가 결정될 수 있다. 전술한 향상 계층 인코딩 프로세스의 예시적인 설명을 참조하면, 신호 분류 정보는 향상 계층 인코딩이 현재 프레임의 4개의 주파수 도메인 서브 대역에 대해 수행될 필요가 있음을 지시한다는 것을 알 수 있다. 그러나, 호환 계층에 의해 출력되는 인코딩 주파수 대역 정보는 4개의 주파수 도메인 서브 대역 중 하나가 호환 계층 인코딩을 통해 인코딩될 것임을 지시한다. 따라서, 향상 계층에서 나머지 3개의 주파수 도메인 서브 대역에 대해 향상 계층 인코딩이 수행될 수 있고, 호환 계층에서 인코딩된 하나의 주파수 도메인 서브 대역에 대해 향상 계층 주파수 도메인 인코딩이 수행되지 않는다. 디코더 측 처리 프로세스는 다음과 같다: 3개의 주파수 도메인 서브 대역 신호가 향상 계층 디코딩을 통해 출력되고, 호환 계층 디코딩을 통해 출력되는 신호의 3개의 대응하는 주파수 도메인 서브 대역 신호와 향상 계층 신호의 3개의 주파수 도메인 서브 대역 신호가 최종 출력 신호의 3개의 주파수 도메인 서브 대역 스펙트럼 컴포넌트로 결합되며, 3개의 주파수 도메인 서브 대역 스펙트럼 컴포넌트를 다른 모든 서브 대역 신호와 함께 사용하여, 최종 출력 신호를 획득한다. 본 출원의 이 실시예에서, 향상 계층에서 디코딩되어야 하는 주파수 도메인 서브 대역의 수량이 감소될 수 있고, 향상 계층에서 오디오 신호 디코딩 효율이 향상될 수 있다.
305. 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여, 현재 프레임의 제1 고주파 대역 신호를 적응시켜 현재 프레임의 제2 고주파 대역 신호를 획득한다.
본 출원의 이 실시예에서, 호환 계층에서 제1 고주파 대역 신호는 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 적응될 수 있다. 따라서, 호환 계층에서 제1 고주파 대역 신호가 적응되고, 호환 계층에서 현재 프레임의 제2 고주파 대역 신호가 획득된다. 본 출원의 이 실시예에서, 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터는, 최종 오디오 출력 신호의 성능을 향상시키기 위해, 호환 계층에서 제1 고주파 대역 신호를 적응시키는 데 사용될 수 있다.
본 출원의 이 실시예에서, 현재 프레임의 제1 고주파 대역 신호는 현재 프레임의 향상 계층 신호에 기반하여 적응될 수 있다. 적응은 호환 계층 디코딩을 통해 출력되는 고주파 대역 신호의 성능을 향상시키기 위해 호환 계층에서 제1 고주파 대역 신호를 조정하는 것을 의미한다. 본 출원의 이 실시예에는 복수의 적응 방식이 있다. 다음은 예제를 사용하여 적응을 자세히 설명한다.
적응 방식 1:
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여, 현재 프레임의 제1 고주파 대역 신호를 적응시켜 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계(305)는:
현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계; 및
호환 계층 고주파 대역 조정 파라미터를 사용하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
디코딩 컴포넌트(120)는 호환 계층에서 향상 계층 인코딩 파라미터 또는 향상 계층 신호 및 제1 고주파 대역 신호에 기반하여 호환 계층 고주파 대역 조정 파라미터를 획득할 수도 있다. 호환 계층 고주파 대역 조정 파라미터(이하의 실시예에서 줄여서 조정 파라미터로 지칭될 수 있음)는 호환 계층 신호의 고주파 부분을 조정하기 위해 사용되는 조정 파라미터이다. 예를 들어, 호환 계층 고주파 대역 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호는 모두 고주파 대역 오디오 신호이다. 조정 파라미터는 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호에 기반하여 계산될 수 있고, 현재 프레임의 제1 고주파 대역 신호를 조정 파라미터를 사용하여 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득한다. 조정 파라미터를 사용하여 제1 고주파 대역 신호를 조정하면 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
예를 들어, 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있으며, 호환 계층 신호의 고주파 대역 스펙트럼 컴포넌트는 조정 파라미터를 사용하여 적응되고, 향상 계층 신호가 적응된 호환 계층 신호와 결합된 후에 최종 출력 신호가 획득될 수 있다.
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계는:
현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 대응하는 앤벌로프 정보를 획득하고, 현재 프레임의 제1 고주파 대역 신호의 앤벌로프 정보를 획득하는 단계; 및
향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계를 포함한다.
디코딩 컴포넌트는 호환 계층으로부터 파싱을 통해 호환 계층 출력 정보를 직접 획득할 수 있으며, 출력 정보와 향상 계층 신호는 호환 계층 신호의 고주파 대역 스펙트럼 조정 파라미터를 획득하기 위한 공동 계산에 사용되고, 고주파 대역 호환 계층 신호의 신호는 조정 파라미터를 사용하여 조정되고 향상 계층 출력 신호와 결합되어 최종 출력 신호를 획득한다. 조정 파라미터는 복수의 구현에서 계산될 수 있다. 조정 파라미터는 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여 계산될 수 있다. 향상 계층 인코딩 파라미터에 대응하는 앤벌로프 정보는 향상 계층 인코딩 파라미터에 기반하여 계산된 고주파 대역 신호의 앤벌로프 정보이거나, 향상 계층 신호에 대응하는 앤벌로프 정보가 향상 계층 신호의 진폭일 수 있으며, 제1 고주파 대역 신호의 앤벌로프 정보는 호환 계층 신호에서 고주파 대역 신호의 진폭일 수 있다. 호환 계층 고주파 대역 조정 파라미터는 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여 계산될 수 있다. 호환 계층 고주파 대역 조정 파라미터를 계산하는 방식은 여러 가지가 있을 수 있다.
예를 들어, 호환 계층에서 디코더가 출력하는 고주파 대역 신호의 앤벌로프 정보가 Envelope이고, 향상 계층에서 출력되는 토널 컴포넌트의 앤벌로프 정보가 EnvTonal이라면, 조정 파라미터 para = (Envelope - EnvTonal)/Envelope가 먼저 계산되고, 조정 파라미터 para를 호환 계층 신호의 고주파 대역 부분에 곱하여 조정된 호환 계층 신호를 획득하고, 향상 계층 신호 및 조정된 호환 계층 신호가 결합된 이후에 최종 출력 신호가 획득된다.
본 실시예에서, 호환 계층 고주파 대역 조정 파라미터가 호환 계층으로부터 직접 획득될 수 있기 때문에, 호환 계층 고주파 대역 조정 파라미터를 사용하여 호환 계층 신호를 조정하고 향상 계층 출력과 결합한 후 최종 출력 신호가 획득된다. 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
적응 방식 2:
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계(305)는:
미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 현재 프레임의 향상 계층 신호로부터 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하는 단계; 및
현재 프레임의 제1 고주파 대역 신호와 향상 계층 고주파 대역 스펙트럼 신호를 결합하여 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
고주파 대역 스펙트럼 선택 규칙은 디코딩 컴포넌트에 미리 설정될 수 있다. 고주파 대역 스펙트럼 선택 규칙은 향상 계층 신호로부터 고주파 대역 스펙트럼 신호를 선택하는 것을 지시하는 데 사용될 수 있다. 예를 들어, 고주파 대역 스펙트럼 선택 규칙은 하나 이상의 선택된 주파수 대역을 지정하거나, 또는 고주파 대역 스펙트럼 선택 규칙은 향상 계층 신호로부터 선택되어야 하는 주파수 대역을 지시한다. 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호는 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 현재 프레임의 향상 계층 신호로부터 선택된다. 향상 계층 고주파 대역 스펙트럼 신호는 향상 계층 신호에서의 선택된 고주파 대역 스펙트럼 신호이다. 향상 계층 고주파 대역 스펙트럼 신호를 현재 프레임의 제1 고주파 대역 신호와 결합하여 현재 프레임의 제2 고주파 대역 신호를 획득한다. 본 출원의 이 실시예에서, 고주파 대역 스펙트럼 선택 규칙이 설정되므로, 일부 고주파 대역 신호가 향상 계층 신호로부터 선택되고 호환 계층에서 제1 고주파 대역 신호와 결합되어, 호환 계층의 제2 고주파 대역 신호를 생성할 수 있다. 따라서, 본 출원의 이 실시예에서는 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
본 출원의 일부 실시예에서, 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 현재 프레임의 향상 계층 신호로부터 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하는 단계는:
현재 프레임의 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하는 단계; 및
현재 프레임의 향상 계층 신호에 있으면서 또한 호환 계층 대역폭 확장 신호에 대응하는 신호를, 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호로 결정하는 단계를 포함한다.
디코딩 컴포넌트는 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 결정할 수 있다. 호환 계층 디코딩된 신호는 디코딩 컴포넌트가 호환 계층에서 호환 계층 인코딩 파라미터를 디코딩하는 것에 의해 획득된 신호이고, 호환 계층 대역폭 확장 신호는 호환 계층의 대역폭 확장을 통해 디코딩 컴포넌트에 의해 획득된 신호이다. 예를 들어, 저주파 대역 신호를 고주파 대역으로 확장하여 호환 계층 대역폭 확장 신호를 획득한다. 본 출원의 이 실시예에서, 디코딩 컴포넌트는 호환 계층 대역폭 확장 신호에 기반하여, 현재 프레임의 향상 계층 신호로부터 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택할 수 있다. 다시 말해서, 향상 계층 신호에 있으면서 또한 호환 계층에서의 호환 계층 디코딩된 신호에 대응하는 신호는 선택되지 않는다. 이와 같이, 향상 계층 고주파 대역 스펙트럼 신호는 향상 계층 신호로부터 선택된 스펙트럼 신호이며, 향상 계층 고주파 대역 스펙트럼 신호를 사용하여 호환 계층 신호를 조정하고 조정된 신호를 향상 계층 출력과 결합한 후, 최종 출력 신호를 획득한다. 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
예를 들어, 본 출원의 이 실시예에서, 호환 계층 출력 신호를 분석하는 것에 의해 향상 계층 신호에 대해 선택이 수행된 후, 선택된 신호가 호환 계층 신호와 결합된 후에 최종 출력 신호가 획득된다. 선택 원리는 다음을 포함할 수 있다: 호환 계층 신호는 인코딩/디코딩 부분 및 대역폭 확장 부분을 포함한다. 향상 계층 신호는 최종 출력 신호의 고주파 대역 부분을 획득하기 위해 호환 계층 신호의 대역폭 확장 부분과 결합되어야 한다. 호환 계층 신호의 대응하는 스펙트럼 컴포넌트와 향상 계층 신호의 대응하는 스펙트럼 컴포넌트가 인코딩/디코딩을 통해 획득되면, 향상 계층 신호의 스펙트럼 컴포넌트의 그러한 부분이 최종 출력 신호의 고주파 대역 부분에 대해 선택되지 않는다. 그렇지 않으면, 향상 계층 신호에서 스펙트럼 컴포넌트의 그러한 부분을 호환 계층 신호에서 스펙트럼 컴포넌트의 그러한 부분과의 결합을 위해 선택하여, 최종 출력 신호에서 스펙트럼 컴포넌트의 그러한 부분을 획득한다.
적응 방식 2와 적응 방식 1의 차이점은 최종 출력 신호를 획득하기 위해 확장 계층 신호의 일부 컴포넌트를 호환 계층 신호와 결합하기 위해 선택해야 하고, 향상 계층 신호의 스펙트럼 컴포넌트의 일부는 폐기된다는 점이다. 예를 들어, 향상 계층 신호에는 주파수에 토널 컴포넌트가 있고, 호환 계층 신호에는 주파수 근처에 동일한 에너지를 갖는 토널 컴포넌트가 있다. 이 경우, 호환 계층 신호의 토널 컴포넌트는 인코딩/디코딩을 통해 직접 획득되는 것으로 결정될 수 있다. 따라서, 이 경우 향상 계층의 주파수에서 출력되는 토널 컴포넌트는 폐기되고, 호환 계층의 주파수에 있는 토널 컴포넌트는 최종 출력 신호의 주파수에서 스펙트럼 출력으로 직접 사용된다.
이 실시예에서, 향상 계층 신호의 스펙트럼 컴포넌트와 호환 계층 신호의 대응하는 스펙트럼 컴포넌트가 분석을 통해 비교된다는 것을 앞의 예시적인 설명으로부터 알 수 있다. 결론은 향상 계층 신호에서 스펙트럼 컴포넌트의 일부는 폐기되고, 스펙트럼 컴포넌트의 다른 부분은 최종 출력 신호로 호환 계층 신호와 결합된다는 것이다. 달리 말하면, 향상 계층 신호와 호환 계층 신호에 기반하여 더 나은 출력 신호를 획득할 수 있다.
본 출원의 일부 실시예에서, 향상 계층 신호는 주파수 도메인 신호일 수 있고, 호환 계층 신호는 시간 도메인 신호일 수 있다. 결합 절차에서, 호환 계층 신호가 먼저 주파수 도메인 신호로 변환될 수 있고, 향상 계층 신호의 주파수 도메인 계수와 호환 계층 신호의 주파수 도메인 계수에 대해 적응 및 결합이 수행된 후, 주파수 도메인 신호는 최종 출력 신호를 획득하기 위해 시간 도메인 신호로 변환된다.
적응 방식 3:
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계(305)는:
현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여, 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
적응 구현은 직접 대체일 수 있다. 디코딩 컴포넌트는 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체할 수 있다. 다시 말해서, 호환 계층의 제1 저주파 대역 신호는 변경되지 않고 유지되고, 호환 계층의 제1 고주파 대역 신호는 현재 프레임의 향상 계층 신호로 대체될 수 있으며, 현재 프레임의 향상 계층 신호는 적응된 제2 고주파 대역 신호로 사용될 수 있다. 따라서, 본 출원의 이 실시예에서는 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
다음은 예를 사용하여 적응 방식 3을 설명한다. 디코딩 컴포넌트가 호환 계층 신호의 스펙트럼 컴포넌트의 일부를 향상 계층 신호로 대체한 후 최종 출력 신호가 획득된다.
적응 방식 3과 적응 방식 1 또는 2의 차이점은, 적응 방식 3에서 호환 계층 신호의 스펙트럼 컴포넌트의 일부가 향상 계층 신호로 대체된다는 점이다. 예를 들어, 호환 계층 신호는 Ylc(n)이고 향상 계층 신호는 Yel(n)이다. 호환 계층 신호 Ylc(n)에서의 고주파 대역 스펙트럼 HF를 제거하고, Yel(n)로 표현되는 신호 HFe와 Ylc(n)에서의 저주파 대역 스펙트럼 LF를 최종 출력 신호 Y(n))로 결합한다.
예를 들어, 호환 계층 신호는 시간 도메인 신호 Ylc(t)이고, 향상 계층 신호는 시간 도메인 신호 Yel(t)이다. 이 경우, 먼저 시간 도메인 신호 Ylc(t)에 대해 저역 통과 필터링을 수행하고, 시간 도메인 신호 Ylc(t)를 시간 도메인 신호 Yel(t)에 중첩한 후 최종 출력 신호를 획득하며, 즉, 출력 신호 Y(t)는 다음 수식: Y(t) = LowFilter(Ylc(t)) + Yel(t)에 따라 획득된다. 예를 들어, 호환 계층 신호는 주파수 도메인 신호 Ylc(k)이고, 향상 계층 신호는 주파수 도메인 신호 Yel(k)이다. 호환 계층 주파수 도메인 계수 Ylc(k)를 향상 계층 주파수 도메인 계수 Yel(k)로 직접 대체한 후, 최종 스펙트럼 계수를 획득하고, 스펙트럼 계수를 최종 출력 신호로서 시간 도메인 신호로 변환하며, 즉, 출력 신호 Y(t)는 다음 수식에 따라 획득된다:
Y(k) = Ylc(k), k = 0, 1, 2, … 또는 M-V; 및
Y(k) = Yel(k-M+V-1), k = M-V+1, M-V+2, ..., 또는 M
마지막으로, Y(k)는 최종 출력 신호인 시간 도메인 신호 Y(t)로 변환된다.
호환 계층 신호에서 스펙트럼 컴포넌트의 일부를 향상 계층에서 출력되는 스펙트럼 컴포넌트로 대체함으로써, 호환 계층 신호보다 인코딩/디코딩 성능이 좋은 출력 신호를 획득할 수 있다. 예를 들어, 이 실시예의 호환 계층은 기전 코덱과 완전히 역호환 가능하다(backward-compatible). 이 실시예에서, 향상 계층은 신호 분류 정보에 기반하여 일부 유형의 신호를 인코딩/디코딩하고, 디코더 측이 신호 분류 정보에 기반하여, 호환 계층의 출력 신호에서 스펙트럼 컴포넌트의 일부를 향상 계층의 출력 신호에서의 스펙트럼 컴포넌트로 대체한 후에, 최종 출력 신호가 획득된다.
또한, 본 출원의 일부 실시예에서, 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는:
현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 향상 계층 고주파 대역 조정 파라미터를 획득하는 단계;
향상 계층 고주파 대역 조정 파라미터를 사용하여 현재 프레임의 향상 계층 신호를 적응시켜, 적응된 향상 계층 신호를 획득하는 단계; 및
현재 프레임의 제1 고주파 대역 신호를 적응된 향상 계층 신호로 대체하여, 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
디코딩 컴포넌트(120)는 호환 계층에서 향상 계층 신호 및 제1 고주파 대역 신호에 기반하여 향상 계층 고주파 대역 조정 파라미터를 획득할 수 있다. 향상 계층 고주파 대역 조정 파라미터(이하의 실시예에서 줄여서 조정 파라미터로 지칭될 수 있음)는 향상 계층 신호를 조정하기 위해 사용되는 조정 파라미터이다. 향상 계층 고주파 대역 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호는 모두 고주파 대역 오디오 신호이다. 조정 파라미터는 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호를 사용하여 계산될 수 있으며, 현재 프레임의 향상 계층 신호를 조정 파라미터를 사용하여 적응시켜 적응된 향상 계층 신호를 획득할 수 있다. 현재 프레임의 향상 계층 신호는 조정 파라미터를 사용하여 적응되고, 현재 프레임의 제1 고주파 대역 신호는 적응된 향상 계층 신호로 대체된다. 이러한 방식으로, 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
본 출원의 일부 다른 실시예에서, 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는:
현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 향상 계층 고주파 대역 조정 파라미터를 획득하는 단계;
현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여, 대체 후에 생성된 제1 고주파 대역 신호를 획득하는 단계; 및
향상 계층 고주파 대역 조정 파라미터를 사용하여, 대체 후에 생성된 제1 고주파 대역 신호를 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
디코딩 컴포넌트(120)는 향상 계층 신호 및 호환 계층에서의 제1 고주파 대역 신호에 기반하여 향상 계층 고주파 대역 조정 파라미터를 획득할 수 있다. 향상 계층 고주파 대역 조정 파라미터(이하의 실시예에서 줄여서 조정 파라미터로 지칭될 수 있음)는 향상 계층 신호를 조정하기 위해 사용되는 조정 파라미터이다. 향상 계층 고주파 대역 조정 파라미터는 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 획득될 수 있다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호는 모두 고주파 대역 오디오 신호이다. 현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호를 사용하여 조정 파라미터를 계산할 수 있으며, 대체 후 생성된 제1 고주파 대역 신호를 획득한 후, 대체후 생성된 제1 고주파 대역 신호를 조정 파라미터를 사용하여 조정하여, 현재 프레임의 제2 고주파 대역 신호를 획득한다. 조정 파라미터를 사용하여 조정하면 대체 후 생성된 제1 고주파 대역 신호가 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
예를 들어, 향상 계층 신호가 호환 계층 신호의 스펙트럼 컴포넌트의 일부를 대체하도록 적응된 후, 그리고 호환 계층에서 다른 스펙트럼 컴포넌트와 결합한 후, 최종 출력 신호가 획득된다. 다르게는, 호환 계층 신호의 스펙트럼 컴포넌트의 일부를 향상 계층 신호로 대체한 후 적응을 수행하고, 호환 계층에서 다른 스펙트럼 컴포넌트와 결합한 후 최종 출력 신호를 획득한다.
이 실시예에서, 향상 계층 신호의 스펙트럼 컴포넌트는 호환 계층에 대응하는 스펙트럼 컴포넌트가 대체되기 전 또는 후에 적응될 필요가 있다. 세부 사항은 다음과 같다.
호환 계층 신호가 시간 도메인 신호 Ylc(t)이고 향상 계층 신호가 시간 도메인 신호 Yel(t)이면, 먼저 시간 도메인 신호 Ylc(t)에 대해 저역 통과 필터링 및 적응이 수행되고 시간 도메인 신호 Ylc(t)가 시간 도메인 신호 Yel(t)에 중첩된 후, 최종 출력 신호가 획득되며, 즉, 출력 신호 Y(t)가 다음 수식에 따라 획득된다:
Y(t) = LowFilter(Ylc(t)) + Preprocessing(Yel(t))
구체적으로, 적응(Preprocessing)은 복수의 처리 알고리즘을 포함할 수 있다. 예를 들어, 향상 계층 신호 Yel(t)의 총 에너지가 EnerEL이고, 호환 계층 신호에 대응하는 고주파 대역 스펙트럼 컴포넌트 에너지가 EnerLC이며, 조정 파라미터는 다음 방식: para = sqrt(EnerLC/EnerEL)으로 계산되는 것으로 가정한다. 그런 다음, 조정 파라미터 para에 향상 계층 신호 Yel(t)를 곱하여 적응된 향상 계층 신호를 획득하고, 적응된 향상 계층 신호 및 저역 통과 처리 후 획득된 호환 계층 신호에 기반하여 최종 출력 신호를 획득할 수 있다.
다른 예를 들어, 호환 계층 신호는 주파수 도메인 신호 Ylc(k)이고, 호환 계층 신호에 대응하는 고주파 대역 스펙트럼 컴포넌트 에너지는 EnerLC이며, 향상 계층 신호는 주파수 도메인 신호 Yel(k)이고, 향상 계층 신호의 에너지는 EnerEL이며, 조정 파라미터는 para = sqrt(EnerLC/EnerEL) 방식으로 계산된다. 그런 다음, 조정 파라미터 para에 향상 계층 신호 Yel(k)을 곱한 후, 적응된 향상 계층 주파수 도메인 계수가 획득되고, 적응된 향상 계층 주파수 도메인 계수를 호환 계층 저주파 대역 주파수 도메인 계수와 결합하여 출력 신호의 주파수 도메인 계수를 획득한다. 구체적으로, 출력 신호 Y(t)는 다음 수식에 따라 획득된다:
para = sqrt(EnerLC/EnerEL);
Y(k) = Ylc(k), k = 0, 1, 2, ... 또는 M-V; 및
Y(k) = para * Yel(k-M+V-1), k = M-V+1, M-V+2, ... 또는 M
마지막으로, Y(k)에 대한 주파수-시간 변환이 수행되어 최종 출력 신호로 시간 도메인 신호 Y(t)를 획득한다.
이 실시예에서, 호환 계층 신호에 대응하는 스펙트럼 컴포넌트가 적응된 향상 계층 신호로 대체되는 방식으로, 최종 출력 신호의 인코딩/디코딩 성능이 향상된다.
본 출원의 일부 다른 실시예에서, 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는:
현재 프레임의 향상 계층 신호와 현재 프레임의 제1 고주파 대역 신호에 대해 스펙트럼 컴포넌트 비교 선택을 수행하여, 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호를 선택하는 단계; 및
현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를 제1 향상 계층 서브 신호로 대체하여, 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
디코딩 컴포넌트는 향상 계층 신호에 대응하는 스펙트럼 컴포넌트를, 호환 계층 신호에서 제1 고주파 대역 신호에 대응하는 스펙트럼 컴포넌트와 비교할 수 있다. 스펙트럼 컴포넌트 비교가 완료된 후, 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호가 선택된다. 마지막으로, 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를, 선택된 제1 향상 계층 서브 신호로 대체하여 현재 프레임의 제2 고주파 대역 신호를 획득한다. 예를 들어, 디코딩 컴포넌트는 전술한 스펙트럼 컴포넌트 비교 선택을 수행한다. 비교 결과에 따라, 향상 계층 신호의 일부 스펙트럼 컴포넌트를 호환 계층 신호의 대응하는 스펙트럼 컴포넌트를 대체하는데 사용하여 최종 출력 신호의 스펙트럼 컴포넌트를 획득한다. 또한, 향상 계층 신호의 다른 스펙트럼 컴포넌트는 폐기되고, 호환 계층 신호의 대체 후 획득된 스펙트럼 컴포넌트와 호환 계층 신호의 다른 스펙트럼 컴포넌트를 결합하여, 최종 출력 신호의 모든 스펙트럼 컴포넌트를 획득한다.
예를 들어, 향상 계층 신호와 호환 계층 신호가 결합되기 전에, 디코딩 컴포넌트는 먼저 스펙트럼 컴포넌트 비교 선택 작동을 수행한다. 비교 선택의 처리 프로세스는 다음과 같다: 향상 계층 신호가 스펙트럼 컴포넌트 Wk를 갖고, 호환 계층 신호가 Wk 근처에서 동일한 에너지를 갖는 스펙트럼 컴포넌트 Zk를 갖는다면, 스펙트럼 컴포넌트 Zk는 호환 계층 인코딩/디코딩을 통해 획득된 것으로 결정된다. Zk는 Wk보다 원본 신호의 대응하는 스펙트럼 컴포넌트에 더 가깝다. 따라서, Zk는 최종 출력 신호의 스펙트럼 컴포넌트로서 선택된다. 그러나, 향상 계층 신호의 Wk 근처에 호환 계층 신호에 대응하는 스펙트럼 컴포넌트가 없으면, Wk는 최종 출력 신호의 스펙트럼 컴포넌트를 획득하기 위한 적응의 기준(basis)으로 선택되고, 최종 출력의 모든 스펙트럼 컴포넌트 신호는 호환 계층 신호의 다른 스펙트럼 컴포넌트와 결합한 후 획득된다.
이 실시예에서, 디코딩 컴포넌트는 향상 계층 신호 및 호환 계층 신호에 기반하여, 최종 출력 신호의 것이면서 또한 향상 계층 신호에 대응하는 최적 스펙트럼 컴포넌트를 선택한다. 이 실시예에서, 호환 계층 신호의 고주파 대역이 고품질 인코딩/디코딩 스펙트럼 컴포넌트를 포함할 때, 호환 계층에 의해 출력되는 신규 스펙트럼 컴포넌트가 최종 출력 신호의 스펙트럼 컴포넌트로 선택된다. 전반적인 인코딩/디코딩 성능을 향상시키기 위해 향상 계층 인코딩/디코딩을 도입하는 원리에서, 호환 계층 신호가 고성능의 인코딩/디코딩 스펙트럼 컴포넌트를 포함하는 특수한 경우를 고려하고, 최종적으로 최적의 인코딩/디코딩 출력 신호를 획득한다.
적응 방식 4:
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계(305)는:
현재 프레임의 호환 계층 신호에서 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하는 단계; 및
현재 프레임의 호환 계층 대역폭 확장 신호와 향상 계층 신호를 결합하여 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계를 포함한다.
디코딩 컴포넌트는 호환 계층 신호에 포함된 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 결정할 수 있다. 호환 계층 디코딩된 신호는 디코딩 컴포넌트가 호환 계층의 호환 계층 인코딩 파라미터를 디코딩하는 것에 의해 획득된 신호이고, 호환 계층 대역폭 확장 신호는 호환 계층의 대역폭 확장을 통해 디코딩 컴포넌트에 의해 획득된 신호이다. 예를 들어, 저주파 대역 신호를 고주파 대역으로 확장하여 호환 계층 대역폭 확장 신호를 획득한다. 본 출원의 이 실시예에서, 디코딩 컴포넌트는 현재 프레임의 호환 계층 대역폭 확장 신호와 향상 계층 신호를 결합할 수 있다. 달리 말하면, 제1 고주파 대역 신호의 호환 계층 디코딩된 신호는 향상 계층 신호와 결합되지 않고, 디코딩 컴포넌트는 현재 프레임의 확장 계층 신호와 호환 계층 대역폭 확장 신호만을 결합한다. 현재 프레임의 제2 고주파 대역 신호가 획득되고, 제2 고주파 대역 신호와 향상 계층 신호와 제1 저주파 대역 신호가 결합된 후, 최종 출력 신호가 획득된다. 더 나은 호환 계층 고주파 대역 신호를 획득할 수 있으므로, 더 나은 오디오 출력 신호가 출력되고 오디오 출력 신호의 성능이 향상된다.
또한, 본 출원의 일부 실시예에서, 호환 계층 신호의 스펙트럼 범위는 [0, FL]이고, 호환 계층 디코딩된 신호의 스펙트럼 범위는 [0, FT]이고, 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 [FT, FL]이고, 향상 계층 신호의 스펙트럼 범위는 [FX, FY]이며, 오디오 출력 신호의 스펙트럼 범위는 [0, FY]이다.
FL=FY, FX≤FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FL=FY, FX>FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX≤FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX>FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
구체적으로, 호환 계층 신호는 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 포함할 수 있다. 디코딩 컴포넌트는 호환 계층 디코딩된 신호와 호환 계층 대역폭 확장 신호의 경계를 결정할 수 있으므로, 호환 계층 디코딩된 신호의 스펙트럼 범위가 [0, FT]이고, 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 [FT, FL]이다. 예를 들어, 이 실시예에서, 디코딩 컴포넌트는 인코딩 및 디코딩을 통해 호환 계층 신호의 어떤 스펙트럼이 획득되고 대역폭 확장을 통해 호환 계층 신호의 어떤 스펙트럼이 획득되는지를 학습할 수 있다. 최종 출력 신호는 호환 계층 신호의 인코딩 및 디코딩 부분의 스펙트럼을 포함하고, 대역폭 확장 부분의 스펙트럼은 향상 계층 신호와 호환 계층 신호에 대응하는 스펙트럼 컴포넌트들을 결합하여 획득될 수 있다.
예를 들어, 오디오 코덱의 원래의 입력 신호 샘플링 주파수는 FS이고, 스펙트럼 범위는 0~FS/2이며, 호환 계층 신호의 스펙트럼 범위는 0~FL이라고 가정하며, 여기서 0~FT 범위는 인코딩/디코딩을 통해 직접 획득되며, FT~FL 범위는 대역폭 확장을 통해 획득된다. 향상 계층 신호의 스펙트럼 범위는 FX~FY이고, 최종 출력 신호는 Y이다. 이 경우, 스펙트럼 범위의 경계값들의 값 관계에 기반하여 전술한 처리 방식을 획득할 수 있다. 예를 들어, FL=FY=FS/2이고 FX≤FT이며, 즉 향상 계층 신호의 최소 스펙트럼 범위 FX는 호환 계층 디코딩된 신호의 최대 스펙트럼 범위보다 작다. 이 경우, 오디오 출력 신호는 다음의 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다. 다른 예로서, FL=FY이고 FX>FT이며, 즉 향상 계층 신호의 최소 스펙트럼 범위 FX는 호환 계층 디코딩된 신호의 최대 스펙트럼 범위보다 크다. 이 경우, 오디오 출력 신호는 다음의 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다. 다른 예로, FX<FT이고 FX≤FT이며, 즉 향상 계층 신호의 최대 스펙트럼 범위 FY는 호환 계층 대역폭 확장 신호의 스펙트럼 범위보다 크고, 향상 계층 신호의 최소 스펙트럼 범위 FX는 호환 계층 디코딩된 신호의 최대 스펙트럼 범위보다 작다. 이 경우, 오디오 출력 신호는 다음의 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다. 다른 예로, FX<FT이고 FX>FT이며, 즉 향상 계층 신호의 최대 스펙트럼 범위 FY는 호환 계층 대역폭 확장 신호의 스펙트럼 범위보다 크고, 향상 계층 신호의 최소 스펙트럼 범위 FX는 호환 계층 디코딩된 신호의 최대 스펙트럼 범위보다 크다. 이 경우, 오디오 출력 신호는 다음의 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
이 실시예에서, 호환 계층은 기존 인코딩/디코딩 컴포넌트와 완전히 역호환 가능하다. 적응적 출력 결합 방식에서, 호환 계층 출력 신호, 인코딩/디코딩 스펙트럼 범위 및 향상 계층 신호에 기반한 계산을 통해 고성능 최종 출력 신호가 생성된다. 호환 계층이 기존 인코딩 컴포넌트와 완전히 역호환됨을 보장하는 것에 기반하여, 결합의 스펙트럼 범위의 상한은 향상 계층 인코딩/디코딩의 스펙트럼 범위의 상한, 즉 원본 신호의 컷-오프 주파수이고, 결합 스펙트럼 범위의 하한은 호환 계층 인코딩의 스펙트럼 범위의 상한 및 향상 계층 신호의 스펙트럼 범위의 하한에서 더 큰 값이다. 이렇게 하면 최종 출력 신호의 스펙트럼 범위가 입력 신호의 전체 스펙트럼 범위를 포함한다. 이 경우, 출력 신호는 호환 계층 신호와 향상 계층 신호의 장점을 모두 갖는다.
306. 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여, 현재 프레임의 오디오 출력 신호를 획득한다.
본 출원의 이 실시예에서, 단계(305)의 전술한 설명으로부터, 제1 고주파 대역 신호를 호환 계층에서 적응시켜 호환 계층에서 제2 고주파 대역 신호를 획득할 수 있다는 것을 배울 수 있다. 마지막으로, 호환 계층에서 디코딩을 통해 출력되는 제1 저주파 대역 신호, 향상 계층에서의 향상 계층 신호, 및 호환 계층에서의 제2 고주파 대역 신호를 결합하여 현재 프레임의 오디오 출력 신호를 획득한다. 현재 프레임의 오디오 출력 신호는 오디오 재생 컴포넌트의 오디오 재생에 사용될 수 있다.
도 3에 도시된 디코딩 방법이 예시일 뿐 제한이 없으며, 도 3의 단계들의 실행 시퀀스는 본 출원의 이 실시예에서 제한되지 않음을 유의한다. 도 3에 도시된 디코딩 방법은 다르게는 더 많거나 더 적은 단계를 포함할 수 있다. 이것은 본 출원의 이 실시예에서 제한되지 않는다.
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여 현재 프레임의 오디오 출력 신호를 획득하는 단계(306) 이후에, 본 출원의 이 실시예에서 제공되는 디코딩 방법은:
현재 프레임의 오디오 출력 신호를 후처리하는 단계를 더 포함한다.
현재 프레임의 오디오 출력 신호를 획득한 후, 디코딩 컴포넌트는 추가로 오디오 출력 신호를 후처리하므로, 후처리 이득이 달성될 수 있다.
본 출원의 일부 실시예에서, 후처리는 동적 범위 제어, 렌더링, 및 오디오 믹싱(mixing) 중 적어도 하나를 포함한다.
예를 들어, 디코딩 컴포넌트는 후처리기(post-processor)를 포함할 수 있다. 후처리기의 기능은 고주파 대역 신호를 후처리하는 것이다. 예를 들어, 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호가 결합된 후 오디오 출력 신호가 획득될 때, 오디오 출력 신호가 후처리된다. 후처리기의 기능은 동적 범위 제어(dynamic range control, DRC), 렌더링, 오디오 믹싱 등을 포함할 수 있다. 실제 적용 시나리오에서 사용되는 후처리 방식은 제한이 없다.
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여 현재 프레임의 오디오 출력 신호를 획득하는 단계(306) 이전에, 본 출원의 이 실시예에서 제공되는 디코딩 방법은:
호환 계층 신호에 기반하여 후처리 파라미터를 획득하는 단계; 및
후처리 파라미터를 사용하여 향상 계층 신호를 후처리하여, 후처리된 향상 계층 신호를 획득하는 단계를 더 포함한다.
현재 프레임의 오디오 출력 신호를 획득하기 전에, 디코딩 컴포넌트는 추가로, 호환 계층 신호에 기반하여 후처리 파라미터를 획득할 수 있다. 후처리 파라미터는 후처리에 필요한 파라미터이다. 상이한 유형의 후처리에 기반하여 대응하는 후처리 파라미터를 획득해야 한다. 향상 계층 신호는 후처리 파라미터를 사용하여 후처리되며, 후처리가 완료된 후, 후처리된 향상 계층 신호와 현재 프레임의 제2 고주파 대역 신호와 현재 프레임의 제1 저주파 대역 신호가 결합되어 오디오 출력 신호를 획득할 수 있다. 본 출원의 이 실시예에서, 향상 계층 신호는 후처리될 수 있으므로, 후처리 이득이 달성될 수 있다.
예를 들어, 향상 계층 신호는 최종 출력 신호를 획득하기 위해 후처리된 호환 계층 신호와 결합된다. 본 실시예와 전술한 실시예의 차이점은 호환 계층과 동일한 후처리가 향상 계층에 추가된다는 점이다. 호환 계층 신호가 결정된 후, 동적 범위 제어, 렌더링, 오디오 믹싱 등의 후처리를 수행하고, 그런 다음 결합을 수행한다. 예를 들어, 호환 계층에서 직접 디코딩한 후 생성된 신호를 획득할 수 있으면, 먼저 향상 계층 신호와 호환 계층 신호를 결합한 후 전술한 후처리를 수행한다. 다른 예로, 호환 계층에서 직접 디코딩 후 생성된 신호를 획득할 수 없으면, 먼저 향상 계층 신호에 대해 전술한 후처리를 수행한 다음, 후처리된 향상 계층 신호를 호환 계층 신호와 결합한다.
구체적으로, 향상 계층 신호를 후처리하는 방식은 여러 가지가 있다. 예를 들어, 후처리 파라미터는 호환 계층 신호로부터 직접 획득될 수 있고, 그런 다음 후처리 파라미터는 향상 계층 신호를 후처리하기 위해 사용된다. 또 다른 예로, 후처리를 통해, 결합 전후의 스펙트럼 컴포넌트가 서브 대역 측면에서 인트라 서브 대역 사이에 유사한 에너지 관계를 갖는 것을 보장하여, 결합을 통해 최종 오디오 출력 신호를 획득할 수 있음을 보장할 수 있다.
본 출원의 이 실시예에서, 호환 계층은 기존 인코딩/디코딩 컴포넌트와 완전히 호환되며, 결합된 신호는 호환 계층에서의 출력 동안 수행되는 후처리 작동을 포함하므로, 기존 인코딩/디코딩 컴포넌트가 오디오 신호의 전대역 범위에서 인코딩/디코딩을 구현할 수 있다.
전술한 실시예의 본 출원의 디코딩 방법의 예시적인 설명으로부터; 인코딩된 비트스트림이 획득되고; 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 현재 프레임의 향상 계층 인코딩 파라미터를 획득하고; 현재 프레임의 호환 계층 신호는 호환 계층 인코딩 파라미터에 기반하여 획득되며 - 호환 계층 신호는 현재 프레임의 제1 고주파 대역 신호 및 현재 프레임의 제1 저주파 대역 신호를 포함함 -; 현재 프레임의 향상 계층 신호는 향상 계층 인코딩 파라미터에 기반하여 획득되고; 현재 프레임의 제1 고주파 대역 신호는 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 적응되어, 현재 프레임의 제2 고주파 대역 신호를 획득하고; 그리고 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 현재 프레임의 제1 저주파 대역 신호에 기반하여 현재 프레임의 오디오 출력 신호가 획득되는 것을 알 수 있다. 본 출원의 이 실시예에서, 오디오 신호를 디코딩하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있지만, 오디오 신호를 디코딩하기 위한 고주파 도메인 범위만이 향상 계층에 포함된다. 호환 계층은 기존 오디오 디코딩 디바이스를 사용하여 구현될 수 있고, 향상 계층과 호환 계층은 신규 오디오 디코딩 디바이스를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서, 신규 오디오 디코딩 디바이스는 기존 오디오 디코딩 디바이스와 호환 가능하다. 오디오 디코딩 디바이스의 디바이스 유형에 따라, 호환 계층에서만 디코딩을 수행하거나, 호환 계층과 향상 계층 모두에서 디코딩을 수행할 수 있다. 본 출원의 이 실시예에서, 신규 트랜스코딩 모듈이 기존 오디오 디코딩 디바이스에 추가될 필요가 없다. 따라서, 오디오 디코딩 디바이스의 업그레이드 비용이 감소되고 오디오 신호 디코딩 효율이 향상될 수 있다.
선택적으로, 인코딩 컴포넌트(110) 및 디코딩 컴포넌트(120)는 동일한 디바이스에 배치될 수 있거나 상이한 디바이스에 배치될 수 있다. 디바이스는 휴대폰, 태블릿 컴퓨터, 노트북 휴대용 컴퓨터, 데스크톱 컴퓨터, 블루투스 스피커, 녹음 펜, 웨어러블 디바이스와 같이 오디오 신호 처리 기능을 갖는 단말일 수 있다. 다르게는, 디바이스는 코어 네트워크 또는 무선 네트워크에서 오디오 신호 처리 능력을 갖는 네트워크 엘리먼트일 수 있다. 이것은 이 실시예에서 제한되지 않는다.
예를 들어, 도 4에 도시된 바와 같이, 본 실시예에서 설명을 위해 다음 예가 사용된다. 인코딩 컴포넌트(110)는 이동 단말(130)에 배치되고, 디코딩 컴포넌트(120)는 이동 단말(140)에 배치된다. 이동 단말(130) 및 이동 단말(140)은 오디오 신호 처리 능력을 갖는 상호 독립적인 전자 디바이스이다. 예를 들어, 이동 단말(130) 및 이동 단말(140)은 휴대폰, 웨어러블 디바이스, 가상 현실(virtual reality, VR) 디바이스, 증강 현실(augmented reality, AR) 디바이스 등일 수 있다. 또한, 이동 단말(130)과 이동 단말(140)은 무선 또는 유선 네트워크를 사용하여 연결된다.
선택적으로, 이동 단말(130)은 수집(collection) 컴포넌트(131), 인코딩 컴포넌트(110), 및 채널 인코딩 컴포넌트(132)를 포함할 수 있다. 수집 컴포넌트(131)는 인코딩 컴포넌트(110)에 연결되고, 인코딩 컴포넌트(110)는 인코딩 컴포넌트(132)에 연결된다.
선택적으로, 이동 단말(140)은 오디오 재생 컴포넌트(141), 디코딩 컴포넌트(120), 및 채널 디코딩 컴포넌트(142)를 포함할 수 있다. 오디오 재생 컴포넌트(141)는 디코딩 컴포넌트(120)에 연결되고, 디코딩 컴포넌트(120)는 채널 디코딩 컴포넌트(142)에 연결된다.
이동 단말(130)은 수집 컴포넌트(131)를 사용하여 오디오 신호를 수집한 후, 인코딩 컴포넌트(110)를 사용하여 오디오 신호를 인코딩하여 인코딩된 비트스트림을 획득하고, 그런 다음 채널 인코딩 컴포넌트(132)를 사용하여 인코딩된 비트스트림을 인코딩하여 전송 신호(transmission signal)를 획득한다.
이동 단말(130)은 무선 또는 유선 네트워크를 통해 전송 신호를 이동 단말(140)로 송신한다.
전송 신호를 수신한 후, 이동 단말(140)은 채널 디코딩 컴포넌트(142)를 사용하여 전송 신호를 디코딩하여 인코딩된 비트스트림을 획득하고, 디코딩 컴포넌트(110)를 사용하여 인코딩된 비트스트림을 디코딩하여 오디오 신호를 획득하며, 오디오 재생 컴포넌트를 사용하여 오디오 신호를 재생한다. 이동 단말(130)은 다르게는 이동 단말(140)에 포함된 컴포넌트들을 포함할 수 있고, 이동 단말(140)은 이동 단말(130)에 포함된 컴포넌트들을 선택적으로 포함할 수 있음을 이해할 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 설명을 위해 다음 예가 사용된다. 인코딩 컴포넌트(110) 및 디코딩 컴포넌트(120)는 코어 네트워크 또는 무선 네트워크에서 오디오 신호 처리 능력을 갖는 하나의 네트워크 엘리먼트(150)에 배치된다.
선택적으로, 네트워크 엘리먼트(150)는 채널 디코딩 컴포넌트(151), 디코딩 컴포넌트(120), 인코딩 컴포넌트(110), 및 채널 인코딩 컴포넌트(152)를 포함한다. 채널 디코딩 컴포넌트(151)는 디코딩 컴포넌트(120)에 연결되고, 디코딩 컴포넌트(120)는 인코딩 컴포넌트(110)에 연결되며, 인코딩 컴포넌트(110)는 채널 인코딩 컴포넌트(152)에 연결된다.
다른 디바이스에 의해 송신된 전송 신호를 수신한 후, 채널 디코딩 컴포넌트(151)는 전송 신호를 디코딩하여 제1 인코딩된 비트스트림을 획득한다. 디코딩 컴포넌트(120)는 인코딩된 비트스트림을 디코딩하여 오디오 신호를 획득한다. 인코딩 컴포넌트(110)는 오디오 신호를 인코딩하여 제2 인코딩된 비트스트림을 획득한다. 채널 인코딩 컴포넌트(152)는 제2 인코딩된 비트스트림을 인코딩하여 전송 신호를 획득한다.
다른 디바이스는 오디오 신호 처리 능력을 갖는 이동 단말일 수 있거나, 또는 오디오 신호 처리 능력을 갖는 다른 네트워크 엘리먼트일 수 있다. 이것은 이 실시예에서 제한되지 않는다.
선택적으로, 네트워크 엘리먼트의 인코딩 컴포넌트(110) 및 디코딩 컴포넌트(120)는 이동 단말에 의해 송신된 인코딩된 비트스트림을 트랜스코딩할 수 있다.
선택적으로, 본 출원의 이 실시예에서, 인코딩 컴포넌트(110)가 설치된 디바이스는 오디오 인코딩 디바이스로 지칭될 수 있다. 실제 구현에서, 오디오 인코딩 디바이스는 오디오 디코딩 기능도 가질 수 있다. 이것은 본 출원의 이 실시예에서 제한되지 않는다.
선택적으로, 본 출원의 이 실시예에서, 디코딩 컴포넌트(120)가 설치된 디바이스는 오디오 디코딩 디바이스로 지칭될 수 있다. 실제 구현에서, 오디오 디코딩 디바이스는 오디오 인코딩 기능도 가질 수 있다. 이것은 본 출원에서 제한되지 않는다.
본 출원의 실시예에서 전술한 솔루션을 더 잘 이해하고 구현하기 위해 다음은 특정 설명을 위한 예로서 대응하는 애플리케이션 시나리오를 사용한다.
도 6은 본 출원의 실시예에 따른 오디오 인코딩 및 디코딩 절차의 개략도이다. 도 6에서 점선의 좌측은 인코더 측이고, 파선(dashed line)의 우측은 디코더 측이다. 입력 신호는 향상 계층과 호환 계층에서 별도로 인코딩되고, 향상 계층 신호와 호환 계층 신호가 결합된 후 코덱의 최종 출력이 획득된다.
도 7a는 본 출원의 실시예에 따른 원본 신호 스펙트럼의 개략도이다. 도 7a에 도시된 곡선은 모든 주파수 대역에 대한 원본 신호의 스펙트럼이다. 인코더 측에서, 호환 계층 신호가 먼저 입력 신호에 대해 호환 계층 인코딩을 수행하는 것에 의해 획득된다. 도 7b는 본 출원의 실시예에 따른 호환 계층 인코딩된 신호 스펙트럼의 개략도이다. 호환 계층 인코딩 신호 스펙트럼은 고주파 대역 신호와 저주파 대역 신호를 포함한다. 도 7b에서, 수직선의 좌측은 저주파 대역 신호이고, 수직선의 우측은 고주파 대역 신호이다. 인코더 측에서는 추가로, 입력 신호에 대해 신호 분류를 수행할 수 있다. 신호 분류 동안 신호 유형 파라미터가 생성되고, 향상 계층 신호를 획득하기 위해 신호 유형 파라미터에 기반하여 향상 계층 인코딩이 수행된다. 도 7c는 본 출원의 실시예에 따른 향상 계층 인코딩된 신호 스펙트럼의 개략도이다. 도 7c에 도시된 점선은 고주파 대역의 향상 계층 인코딩 신호의 스펙트럼이다. 비트스트림 다중화를 호환 계층 신호, 향상 계층 신호 및 신호 유형 파라미터에 대해 수행하여 인코딩된 비트스트림을 획득한다. 도 7d는 본 출원의 실시예에 따른 오디오 출력 신호 스펙트럼의 개략도이다. 비트스트림 다중화가 호환 계층 신호, 향상 계층 신호 및 신호 유형 파라미터에 대해 수행되며, 즉 도 7b에 도시된 호환 계층 인코딩된 신호 스펙트럼 및 도 7c에 도시된 향상 계층 인코딩된 신호 스펙트럼이 인코딩된 비트스트림을 생성하기 위해 결합될 수 있다.
예를 들어, 입력 신호가 먼저 호환 계층 인코더에 입력되고, 호환 계층 인코더에 의해 인코딩된 호환 계층 인코딩 파라미터는 비트스트림 다중화기에 입력된다. 입력 신호는 추가로 신호 분류기에 입력될 수 있고, 신호 유형 파라미터는 비트스트림 다중화기에 입력된다. 대응하는 향상 계층 모드 1 내지 N은 입력 신호의 일부 스펙트럼 컴포넌트를 인코딩하기 위해 신호 유형 파라미터에 기반하여 선택된다. 향상 계층 인코더에 의해 인코딩된 향상 계층 인코딩 파라미터는 비트스트림 다중화기에 입력되고, 비트스트림 다중화기에 의해 출력된 인코딩 비트스트림은 디코더 측으로 송신된다.
본 출원의 일부 실시예에서, 도 6에 도시된 바와 같이, 호환 계층 인코딩 주파수 대역 정보가 추가로 향상 계층 인코더로 송신될 수 있으므로, 향상 계층 인코더는 호환 계층 인코딩 주파수 대역 정보에 기반하여, 향상 계층에서 인코딩이 수행될 특정 주파수 대역을 결정할 수 있다. 자세한 내용은 전술한 실시예의 설명을 참조한다. 세부 사항은 여기에서 다시 설명되지 않는다.
디코더 측에서는 먼저 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하고, 신호 유형 파라미터를 사용하여 디코딩을 통해 신호 유형 파라미터를 획득하며, 향상 계층 디코딩을 통해 향상 계층 신호를 획득하고, 호환 계층 디코딩을 통해 호환 계층 신호를 획득하고, 신호 유형 파라미터 및 향상 계층 신호를 사용하여 호환 계층 신호를 적응시키고, 그런 다음 적응된 호환 계층 신호, 신호 유형 파라미터 및 향상 계층 신호를 결합하여 최종적으로 출력 신호를 획득한다.
예를 들어, 디코더 측은 비트스트림 역다중화기를 사용하여 호환 계층 인코딩 파라미터를 호환 계층 디코더에 입력하여 호환 계층 신호를 획득한다. 신호 유형 파라미터 디코더는 디코딩을 통해 신호 유형 파라미터를 획득하고, 향상 계층 모드 1 내지 N에 대한 디코더는 입력된 대응 비트스트림 및 신호 유형 파라미터에 기반하여 디코딩을 통해 향상 계층 신호를 획득한다. 어댑터는 향상 계층 신호를 사용하여 호환 계층 신호를 적응시킨다. 마지막으로, 적응된 호환 계층 신호, 향상 계층 신호 및 신호 유형 파라미터 정보를 결합기(combiner)에 입력하여, 결합기로부터 디코더의 최종 출력 신호를 획득한다.
본 출원의 이 실시예에서 호환 계층 코덱은 임의의 코덱일 수 있다. 예를 들어, 호환 계층 코덱은 MPEG-H 3D 오디오 코덱일 수 있다. 코덱은 시간 도메인 인코딩 및 디코딩 모드 그리고 변환 도메인 인코딩 및 디코딩 모드를 포함하며, 다중 채널 입력 신호의 인코딩 및 디코딩을 지원한다. 호환 계층 코덱의 인코딩 및 디코딩 프로세스는 구체적으로 설명되지 않는다.
본 출원의 일부 실시예에서, 도 6에 도시된 바와 같이, 호환 계층 신호가 추가로 향상 계층 디코더로 송신될 수 있으므로, 향상 계층 디코더는 호환 계층 신호에 기반하여, 향상 계층에서 디코딩이 수행될 특정 주파수 대역을 결정할 수 있다. 세부 사항에 대해서는 전술한 실시예의 설명을 참조한다. 세부 사항은 여기에서 다시 설명되지 않는다.
다음은 예를 사용하여 향상 계층 인코딩 및 디코딩 방식을 설명한다.
처리 방식은; 신호 분류기가 고주파 대역 신호를 고조파 신호, 독립적인 토널 컴포넌트를 포함하는 신호 및 다른 신호의 3가지 미리 설정된 신호 유형으로 분류하는 방식을 포함한다. 전술한 3가지 유형의 신호에 대해 서로 다른 처리 작동이 수행된다. 예를 들어, 고조파 신호의 경우, 인코더 측에서는 고조파 신호의 인코딩 기본 주파수(encoding fundamental frequency), 고조파 수량, 진폭 및 기본 에너지를 인코딩하여 향상 계층 인코딩 파라미터를 획득할 수 있다. 디코더 측에서는 기본 주파수, 고조파 수량, 진폭 및 기본 에너지에 기반한 대응하는 위치에서, 원본 신호와 동일한 에너지를 갖는 고조파 신호를 재구성한다. 다른 예를 들어, 독립적인 토널 컴포넌트를 포함하는 신호의 경우, 인코더 측에서는 사인 트랙 곡선(sine track curve)에 기반하여 토널 컴포넌트를 처리하고, 진폭, 위상 및 트랙 곡선의 시작점과 끝점이 인코딩된 후 향상 계층 인코딩 파라미터가 획득될 수 있다. 향상 계층 인코딩 파라미터가 디코더 측에 송신된다. 디코더 측에서는 디코딩을 통해 획득된 진폭, 위상 및 트랙 곡선의 시작점과 끝점에 기반하여, 토널 컴포넌트를 포함하는 신호를 재구성한다. 고조파 신호 및 독립된 토널 컴포넌트를 포함하는 신호 이외의 신호의 경우, 인코더 측에서 향상 계층 인코딩을 수행하지 않지만, 호환 계층 신호를 최종 출력 신호로 직접 사용한다.
또 다른 처리 방식은: 신호 분류기가 고주파 대역 신호를 고조파 신호, 독립적인 토널 컴포넌트를 포함하는 신호, 백색 잡음 유사 신호 및 다른 신호의 4가지 유형의 신호로 분류하는 방식을 포함한다. 고조파 신호, 독립된 토널 컴포넌트를 포함하는 신호 또는 기타 신호의 처리 방식은 이전 처리 방식과 동일한다. 백색 잡음 유사 신호의 경우, 인코더 측에서 백색 잡음을 원래의 고주파 대역 신호와의 계산을 위한 여기 신호(excitation signal)로 사용하여 향상 계층 앤벌로프 정보를 획득하고, 향상 계층 앤벌로프 정보는 향상 계층 인코딩 파라미터로서 디코더 측으로 전송된다. 디코더 측은 백색 잡음을 여기 신호로 사용하여 수신된 앤벌로프 정보에 기반하여 향상 계층 신호를 재구성한다.
무제한으로, 신호 분류기는 추가로, 고주파 대역 신호를 더 많은 유형의 신호로 분류하고, 분류를 통해 N개의 신호 유형을 생성할 수 있다. 이 경우, 향상 계층 인코더는 N개의 인코딩 모드를 가지며, 각 인코딩 모드는 하나의 유형의 신호를 처리하는데 사용된다. 예를 들어, 신호 분류기는 고주파 대역 신호를 고조파 신호, 독립적인 토널 컴포넌트를 포함하는 신호, 백색 잡음 유사 신호, 과도 신호, 마찰 신호 및 기타 신호의 6가지 유형의 신호로 분류한다. 고조파 신호, 독립된 토널 컴포넌트를 포함하는 신호, 백색 잡음 유사 신호 또는 기타 신호의 처리 방식은 이전 처리 방식과 동일하다. 과도 신호의 경우, 향상 계층이 시간 도메인 앤벌로프를 더 미세하게 인코딩하므로, 과도 신호에 포함된 서브 프레임의 시간 도메인 엔벨로프 간의 할당 차이(assignment difference)가 더 명확해진다. 마찰 신호의 경우, 향상 계층이 신호의 스펙트럼 앤벌로프에 대해 미세 인코딩을 수행하므로, 디코더 측에서 복원된 신호의 스펙트럼 앤벌로프가 원본 신호에 더 가깝다. 이것은 인코딩 성능을 향상시킨다.
도 8은 본 출원의 일 실시예에 따라 향상 계층 인코딩 파라미터와 호환 계층 인코딩 파라미터가 결합된 후에 획득된 출력 스펙트럼의 개략도이다. 예를 들어, Ylc(n)은 호환 계층 인코딩 파라미터를 나타내고, Ylc(n)은 고주파 신호 HF 및 저주파 신호 LF를 포함하며, Yel(n)은 향상 계층 인코딩 파라미터를 나타내고, Yel(n)은 고주파 신호 HFe를 포함하며, 향상 계층 인코딩 파라미터와 호환 계층 인코딩 파라미터가 결합된 후 획득되는 최종 출력 신호는 Y(n)이고, Y(n)은 고주파 신호 HFnew와 저주파 신호 LF를 포함한다. 고주파 신호 HFnew는 향상 계층 신호와 호환 계층 신호가 적응된 후 획득된 고주파 신호일 수 있다.
예를 들어, 고조파 신호에 대한 특정 처리 절차는 다음을 포함한다: 인코더의 입력 신호가 x(n)이며, 여기서 n = 0, 1, 2, 3....이다. x(n)의 샘플링 주파수는 Fs이고, 대역폭은 Fs/2이다. 신호 x(n)이 호환 계층에서 인코딩된 후 대역폭이 Fs/2인 Ylc(n)이 출력되며, 여기서 n = 0, 1, 2, 3...이다. 신호 x(n)은 신호 분류기에 의해 처리되고, 생성된 신호 분류 파라미터는 인코딩된 비트스트림에 배치된다. 신호 분류 파라미터가 현재 프레임이 고조파 신호를 포함함을 지시하면, 현재 프레임은 향상 계층에서 인코딩된다. 인코딩된 신호가 디코딩된 후, 주파수 대역이 HFe인 신호 Yel(n)이 출력되며, 여기서 n = 0, 1, 2, 3....이다.
전술한 Ylc(n)과 Yel(n)이 결합된 후, 출력 신호 Y(n)이 획득된다, 출력 신호 Y(n)의 신호 대역폭은 LF와 HFnew의 2개의 부분 주파수 대역을 포함한다. Y(n)의 인코딩/디코딩 성능은 Ylc(n)보다 우수하다.
다음은 향상 계층 신호와 호환 계층 신호를 결합하는 처리를 설명한다. 신호 Ylc(n)의 주파수 도메인 표현은 Ylc(k)이며, k = 0, 1, 2, 3, ... 또는 M이다. 신호 Yel(n)의 주파수 도메인 표현은 Yel(k)이며, k = 0, 1, 2, 3, ... 또는 V이다. 이 경우, 신호 Y(n)의 주파수 도메인 표현은 Y(k)이고, 여기서 k = 0, 1, 2, 3, … 또는 M이고;
Y(k) = Ylc(k)이고, k = 0, 1, 2, ... 또는 M-V이며; 그리고
Y(k) = Ylc(k) * H1(k-M+V-1) + Yel(k-M+V-1) * H2(k-M+V-1)이고, k = M-V+1, M-V+2, ..., 또는 M이다.
H1(.) 및 H2(.)는 각각 호환 계층 신호의 적응 함수 및 향상 계층 신호의 적응 함수이다.
고조파 신호의 디코딩이 예로 사용된다. 디코더 측에서는 기본 주파수, 고조파 수량 및 진폭에 기반하여 대응하는 고조파 컴포넌트 Yel(k)을 재구성한다. 향상 계층 기본 에너지가 EnerNF이고 호환 계층에서 출력되는 앤벌로프 에너지가 EnerENV이면, 앞의 두 가지 적응 함수는 다음: H1(k) = EnerNF/EnerENV, H2(k) = 1과 같다.
출력 신호 Y(k)는 다음과 같다:
Y(k) = Ylc(k)이고, k = 0, 1, 2, ... 또는 M-V이며; 그리고
Y(k) = Ylc(k) * EnerNF/EnerENV + Yel(k-M+V-1)이고, k = M-V+1, M-V+2, ... 또는 M이다.
마지막으로, Y(k)는 최종 출력 신호인 시간 도메인 신호 Y(t)로 변환된다.
본 출원의 실시예에서 제공된 전술한 오디오 인코딩 및 디코딩 절차에서, 하나의 오디오 인코딩 및 디코딩 시스템은 하나의 호환 계층과 하나의 향상 계층을 포함한다. 호환 계층은 오디오 인코딩 및 디코딩 기능을 완벽하게 구현할 수 있으며, 생성된 비트스트림은 기존 인코딩 및 디코딩 시스템과 완전히 호환된다. 이 실시예의 호환 계층은 기존 코덱과 완전히 역호환된다. 이 실시예에서, 향상 계층은 신호 분류 파라미터에 기반하여 미리 설정된 신호 유형의 신호를 인코딩/디코딩하고, 디코더 측이 신호 분류 파라미터에 기반하여 향상 계층 신호와 호환 계층 신호를 결합한 후에 최종 출력 신호가 획득된다. 향상 계층은 입력 오디오 신호의 일부 스펙트럼을 인코딩/디코딩할 수 있다. 디코더 측에서는 향상 계층에 대한 정보에 기반하여, 호환 계층에 의해 출력된 디코딩된 오디오 신호를 최종 디코딩된 출력 신호로 사용할지 또는 먼저 향상 계층의 디코딩된 출력과 호환 계층의 디코딩된 출력을 결합한 다음에, 결합된 신호를 최종 디코딩된 출력 신호로 사용할지를 판정한다. 호환 계층과 오디오 인코딩 및 디코딩 시스템은 동일한 입력 신호를 가지며, 호환 계층은 입력 신호의 모든 스펙트럼 컴포넌트를 인코딩/디코딩한다.
이 실시예에서, 신호 분류기는 향상 계층을 사용하여 미리 설정된 신호 유형의 신호에 대해 향상된 인코딩을 수행한다. 디코더의 전체 출력 신호는 향상 계층 신호와 호환 계층 신호를 결합하여 획득된다. 디코더의 전체 출력 신호의 인코딩/디코딩 성능은 호환 계층 인코딩/디코딩을 통해 직접 출력되는 신호의 인코딩/디코딩 성능보다 우수하다.
간략한 설명을 위해, 전술한 방법 실시예는 일련의 동작(action)으로 표현된다는 점에 유의해야 한다. 그러나, 당업자는 본 출원이 설명된 동작의 순서로 제한되지 않는다는 것을 인식해야 하는데, 그 이유는 본 출원에 따르면 일부 단계가 다른 순서로 또는 동시에 수행될 수 있기 때문이다. 또한, 본 명세서에 기술된 실시예들은 모두 예시적인 실시예들에 속하며, 관련된 동작들 및 모듈들이 본 출원에 의해 반드시 요구되는 것은 아니라는 것이 당업자에 의해 추가로 이해되어야 한다.
본 출원의 실시예에서 전술한 솔루션을 더 잘 구현하기 위해, 다음은 전술한 솔루션을 구현하기 위한 관련 장치를 추가로 제공한다.
도 0에 도시된 바와 같이, 본 출원의 일 실시예에서 제공되는 오디오 인코딩 디바이스(900)는 획득 모듈(901), 호환 계층 인코딩 모듈(902), 향상 계층 인코딩 모듈(903) 및 다중화 모듈(904)을 포함할 수 있다.
획득 모듈은 오디오 신호의 현재 프레임을 획득하도록 구성되며, 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함한다.
호환 계층 인코딩 모듈은 고주파 대역 신호 및 저주파 대역 신호에 기반하여 현재 프레임의 호환 계층 인코딩 파라미터를 획득하도록 구성된다.
향상 계층 인코딩 모듈은 고주파 대역 신호에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
다중화 모듈은 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하도록 구성된다.
본 출원의 일부 실시예에서, 향상 계층 인코딩 모듈은 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하고; 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 현재 프레임의 고주파 대역 신호를 인코딩하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 미리 설정된 신호 유형은 고조파 신호 유형, 토널 신호 유형, 백색 잡음 유사 신호 유형, 과도 신호 유형, 또는 마찰 신호 유형 중 적어도 하나를 포함한다.
본 출원의 일부 실시예에서, 현재 프레임의 향상 계층 인코딩 파라미터는 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함한다.
본 출원의 일부 실시예에서, 향상 계층 인코딩 모듈은: 호환 계층 인코딩 주파수 대역 정보를 획득하고; 호환 계층 인코딩 주파수 대역 정보에 기반하여 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호를 결정하며; 그리고 인코딩 대상 주파수 대역 신호를 인코딩하여 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
전술한 실시예의 본 출원의 인코딩 방법의 예시적인 설명으로부터, 오디오 신호의 현재 프레임이 획득되고 - 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 현재 프레임의 호환 계층 인코딩 파라미터는 고주파 대역 신호 및 저주파 대역 신호에 기반하여 획득되며; 현재 프레임의 향상 계층 인코딩 파라미터는 고주파 대역 신호에 기반하여 획득되고; 비트스트림 다중화는 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터에 대해 수행되어 인코딩된 비트스트림을 획득하는 것을 알 수 있다. 본 출원의 이 실시예에서, 오디오 신호를 인코딩하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있지만, 오디오 신호를 인코딩하기 위한 고주파 도메인 범위만이 향상 계층에 포함된다. 호환 계층은 기존 오디오 인코딩 디바이스를 사용하여 구현될 수 있고, 향상 계층과 호환 계층은 신규 오디오 인코딩 디바이스를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서, 신규 오디오 인코딩 디바이스는 기존 오디오 인코딩 디바이스와 호환된다. 오디오 인코딩 디바이스의 디바이스 유형에 따라, 호환 계층에서만 인코딩이 수행될 수도 있고, 호환 계층과 향상 계층 모두에서 인코딩이 수행될 수도 있다. 본 출원의 이 실시예에서, 기존 오디오 인코딩 디바이스에 신규 트랜스코딩 모듈을 추가할 필요가 없다. 따라서, 오디오 인코딩 디바이스의 업그레이드 비용이 감소되고 오디오 신호 인코딩 효율이 향상될 수 있다.
도 10에 도시된 바와 같이, 본 출원의 일 실시예에서 제공되는 오디오 디코딩 디바이스(1000)는 획득 모듈(1001), 역다중화 모듈(1002), 호환 계층 디코딩 모듈(1003), 향상 계층 디코딩 모듈(1004), 적응 모듈(1005) 및 결합 모듈(1006)을 포함할 수 있다.
획득 모듈은 인코딩된 비트스트림을 획득하도록 구성된다.
역다중화 모듈은 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
호환 계층 디코딩 모듈은 호환 계층 인코딩 파라미터에 기반하여 현재 프레임의 호환 계층 신호를 획득하도록 구성되며, 여기서 호환 계층 신호는 현재 프레임의 제1 고주파 대역 신호 및 현재 프레임의 제1 저주파 대역 신호를 포함한다.
향상 계층 디코딩 모듈은 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
적응 모듈은 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
결합 모듈은 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여, 현재 프레임의 오디오 출력 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 향상 계층 디코딩 모듈은 현재 프레임의 향상 계층 인코딩 파라미터에 기반하여 신호 유형 정보를 획득하고; 신호 유형 정보에 의해 지시된 미리 설정된 신호 유형에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 디코딩하여 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 호환 계층 고주파 대역 조정 파라미터를 획득하고; 호환 계층 고주파 대역 조정 파라미터를 사용하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 대응하는 앤벌로프 정보를 획득하고, 현재 프레임의 제1 고주파 대역 신호의 앤벌로프 정보를 획득하며; 향상 계층 인코딩 파라미터 또는 향상 계층 신호에 대응하는 앤벌로프 정보 및 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 현재 프레임의 향상 계층 신호로부터 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하고; 현재 프레임의 제1 고주파 대역 신호와 향상 계층 고주파 대역 스펙트럼 신호를 결합하여 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하고; 그리고 현재 프레임의 향상 계층 신호에 있으면서 또한 호환 계층 대역폭 확장 신호에 대응하는 신호를 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호로서 결정하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여, 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 향상 계층 고주파 대역 조정 파라미터를 획득하고; 향상 계층 고주파 대역 조정 파라미터를 사용하여 현재 프레임의 향상 계층 신호를 적응시켜 적응된 향상 계층 신호를 획득하며; 현재 프레임의 제1 고주파 대역 신호를 적응된 향상 계층 신호로 대체하여, 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터 및 현재 프레임의 제1 고주파 대역 신호에 기반하여 향상 계층 고주파 대역 조정 파라미터를 획득하고; 현재 프레임의 제1 고주파 대역 신호를 현재 프레임의 향상 계층 신호로 대체하여, 대체 후에 생성된 제1 고주파 대역 신호를 획득하며; 그리고 향상 계층 고주파 대역 조정 파라미터를 사용하여, 대체 후에 생성된 제1 고주파 대역 신호를 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 향상 계층 신호 및 현재 프레임의 제1 고주파 대역 신호에 대해 스펙트럼 컴포넌트 비교 선택을 수행하여 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호를 선택하고; 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를 제1 향상 계층 서브 신호로 대체하여 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 향상 계층 디코딩 모듈은, 향상 계층 인코딩 파라미터 및 호환 계층 인코딩 파라미터에 기반하여 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 결정하고; 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 디코딩하여 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 적응 모듈은 현재 프레임의 호환 계층 신호에서 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하고; 현재 프레임의 호환 계층 대역폭 확장 신호와 향상 계층 신호를 결합하여 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
본 출원의 일부 실시예에서, 호환 계층 신호의 스펙트럼 범위는 [0, FL]이고, 호환 계층 디코딩된 신호의 스펙트럼 범위는 [0, FT]이며, 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 [FT, FL]이고, 향상 계층 신호의 스펙트럼 범위는 [FX, FY]이며, 오디오 출력 신호의 스펙트럼 범위는 [0, FY]이다.
FL=FY, FX≤FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FL=FY, FX>FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX≤FT이고 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
다르게는, FX<FT, FX>FT 및 오디오 출력 신호는 다음 방식: 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 호환 계층 신호를 사용하여 획득되고, 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 호환 계층 신호와 향상 계층 신호를 사용하여 획득되는 방식으로 결정된다.
본 출원의 일부 실시예에서, 오디오 디코딩 디바이스(1000)는 결합 모듈이 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여 현재 프레임의 오디오 출력 신호를 획득한 후, 현재 프레임의 오디오 출력 신호를 후처리하도록 구성된 후처리 모듈을 더 포함할 수 있다.
본 출원의 일부 실시예에서, 오디오 디코딩 디바이스(1000)는 결합 모듈이 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여 현재 프레임의 오디오 출력 신호를 획득하기 전에, 호환 계층 신호에 기반하여 후처리된 파라미터를 획득하고, 후처리 파라미터를 사용하여 향상 계층 신호를 후처리하도록 구성된 후처리 모듈을 더 포함할 수 있다.
전술한 실시예의 본 출원의 디코딩 방법의 예시적인 설명으로부터, 인코딩된 비트스트림이 획득되고; 인코딩된 비트스트림에 대해 비트스트림 역다중화가 수행되어, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 현재 프레임의 향상 계층 인코딩 파라미터를 획득하고; 현재 프레임의 호환 계층 신호가 호환 계층 인코딩 파라미터에 기반하여 획득되며 - 호환 계층 신호는 현재 프레임의 제1 고주파 대역 신호 및 현재 프레임의 제1 저주파 대역 신호를 포함함 -; 현재 프레임의 향상 계층 신호는 향상 계층 인코딩 파라미터에 기반하여 획득되고; 현재 프레임의 제1 고주파 대역 신호는 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 적응되어, 현재 프레임의 제2 고주파 대역 신호를 획득하며; 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호 및 현재 프레임의 제1 저주파 대역 신호에 기반하여, 현재 프레임의 오디오 출력 신호가 획득되는 것을 알 수 있다. 본 출원의 이 실시예에서, 오디오 신호를 디코딩하기 위한 모든 주파수 도메인 범위는 호환 계층에 포함될 수 있지만, 오디오 신호를 디코딩하기 위한 고주파 도메인 범위만이 향상 계층에 포함된다. 호환 계층은 기존 오디오 디코딩 디바이스를 사용하여 구현될 수 있고, 향상 계층과 호환 계층은 신규 오디오 디코딩 디바이스를 사용하여 구현될 수 있다. 따라서, 본 출원의 이 실시예에서, 신규 오디오 디코딩 디바이스는 기존 오디오 디코딩 디바이스와 호환 가능하다. 오디오 디코딩 디바이스의 디바이스 유형에 따라, 호환 계층에서만 디코딩을 수행하거나, 호환 계층과 향상 계층 모두에서 디코딩을 수행할 수 있다. 본 출원의 이 실시예에서, 신규 트랜스코딩 모듈이 기존 오디오 디코딩 디바이스에 추가될 필요가 없다. 따라서, 오디오 디코딩 디바이스의 업그레이드 비용이 감소되고 오디오 신호 디코딩 효율이 향상될 수 있다.
도 11에 도시된 바와 같이, 본 출원의 실시예는 오디오 인코딩 디바이스를 더 제공하며, 오디오 인코딩 디바이스(1100)는 호환 계층 인코더(1101), 향상 계층 인코더(1102), 및 비트스트림 다중화기(1103)를 포함한다.
호환 계층 인코더는 오디오 신호의 현재 프레임을 획득하고 - 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 그리고 고주파 대역 신호 및 저주파 대역 신호에 기반하여 현재 프레임의 호환 계층 인코딩 파라미터를 획득하도록 구성된다.
향상 계층 인코더는 오디오 신호의 현재 프레임을 획득하고 - 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 그리고 고주파 대역 신호에 기반하여 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
비트스트림 다중화기는 호환 계층 인코딩 파라미터 및 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하도록 구성된다.
구체적으로, 오디오 인코딩 디바이스는 도 2에 도시된 전술한 오디오 인코딩 방법을 수행할 수 있다. 자세한 내용은 앞의 실시예에서 오디오 인코딩 방법의 예시적인 설명을 참조한다. 세부 사항은 여기에서 다시 설명되지 않는다.
도 12에 도시된 바와 같이, 본 출원의 실시예는 오디오 디코딩 디바이스를 더 제공하며, 오디오 디코딩 디바이스(1200)는 비트스트림 역다중화기(1201), 호환 계층 디코더(1202), 향상 계층 디코더(1203), 적응 프로세서(1204) 및 결합기(1205)를 포함한다.
비트스트림 역다중화기는 인코딩된 비트스트림을 획득하고; 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성된다.
호환 계층 디코더는 호환 계층 인코딩 파라미터에 기반하여 현재 프레임의 호환 계층 신호를 획득하도록 구성되며, 여기서 호환 계층 신호는 현재 프레임의 제1 고주파 대역 신호 및 현재 프레임의 제1 저주파 대역 신호를 포함한다.
향상 계층 디코더는 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 향상 계층 신호를 획득하도록 구성된다.
적응 프로세서는 현재 프레임의 향상 계층 신호 또는 향상 계층 인코딩 파라미터에 기반하여 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성된다.
결합기는 현재 프레임의 향상 계층 신호, 현재 프레임의 제2 고주파 대역 신호, 및 현재 프레임의 제1 저주파 대역 신호에 기반하여 현재 프레임의 오디오 출력 신호를 획득하도록 구성된다.
구체적으로, 오디오 디코딩 디바이스는 도 3에 도시된 전술한 오디오 디코딩 방법을 수행할 수 있다. 자세한 내용은 앞의 실시예에서 오디오 디코딩 방법의 예시적인 설명을 참조한다. 세부 사항은 여기에서 다시 설명되지 않는다.
장치의 모듈/유닛 및 그 실행 프로세스 간의 정보 교환과 같은 내용은 본 출원의 방법 실시예와 동일한 개념에 기반하고, 본 출원의 방법 실시예와 동일한 기술적 효과를 달성한다는 점에 유의해야 한다. 특정 내용에 대해서는 본 출원의 방법 실시예에서 전술한 설명을 참조한다. 세부 사항은 여기에서 다시 설명되지 않는다.
본 출원의 실시예는 컴퓨터 저장 매체를 더 제공한다. 컴퓨터 저장 매체는 프로그램을 저장한다. 프로그램은 방법 실시예에 기록된 단계의 일부 또는 전부를 수행하도록 실행된다.
다음은 본 출원의 실시예에서 제공되는 다른 오디오 인코딩 디바이스를 설명한다. 도 13에 도시된 바와 같이, 오디오 인코딩 디바이스(1300)는:
수신기(1301), 송신기(1302), 프로세서(1303), 및 메모리(1304)를 포함한다(오디오 인코딩 디바이스(1300)에 하나 이상의 프로세서(1303)가 있을 수 있고, 하나의 프로세서가 도 13의 예로서 사용됨). 본 출원의 일부 실시예에서, 수신기(1301), 송신기(1302), 프로세서(1303), 및 메모리(1304)는 버스를 통해 또는 다른 방식으로 연결될 수 있다. 도 13에서는 버스를 통한 연결을 예로 들어 설명한다.
메모리(1304)는 읽기 전용 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 프로세서(1303)에 명령어 및 데이터를 제공할 수 있다. 메모리(1304)의 일부는 비휘발성 랜덤 액세스 메모리(non-volatile random access memory, NVRAM)를 더 포함할 수 있다. 메모리(1304)는 운영 체제 및 작동 명령어, 실행 가능한 모듈 또는 데이터 구조, 이들의 서브세트, 또는 이들의 확장된 세트를 저장한다. 작동 명령어는 다양한 작동을 구현하기 위한 다양한 작동 명령어를 포함할 수 있다. 운영 체제는 다양한 기본 서비스를 구현하고 하드웨어 기반 태스크를 처리하기 위해, 다양한 시스템 프로그램을 포함할 수 있다.
프로세서(1303)는 오디오 인코딩 디바이스의 작동을 제어하고, 프로세서(1303)는 또한 중앙 처리 유닛(central processing unit, CPU)으로 지칭될 수 있다. 특정 애플리케이션에서, 오디오 인코딩 디바이스의 컴포넌트는 버스 시스템을 통해 함께 연결된다. 버스 시스템은 데이터 버스 외에 전원 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수 있다. 그러나 명확한 설명을 위해 도면에서 다양한 종류의 버스는 버스 시스템으로 표시된다.
본 출원의 앞선 실시예들에서 개시된 방법은 프로세서(1303)에 적용될 수 있거나, 프로세서(1303)에 의해 구현될 수 있다. 프로세서(1303)는 집적 회로 칩일 수 있고 신호 처리 능력을 갖는다. 구현 프로세스에서, 전술한 방법의 단계는 프로세서(1303)의 하드웨어 집적 논리 회로를 사용하거나 소프트웨어 형태의 명령어를 사용하여 구현될 수 있다. 프로세서(1303)는 범용 프로세서, 디지털 신호 프로세서(digital signal processing, DSP), 애플리케이션 특정 집적 회로(application-specific integrated circuit, ASIC), 필드 프로그램 가능 게이트 어레이(field-programmable gate array, FPGA) 또는 다른 프로그래밍 가능한 논리 디바이스, 개별 게이트 또는 트랜지스터 논리 디바이스, 또는 개별 하드웨어 컴포넌트일 수 있다. 프로세서는 본 출원의 실시예에 개시된 방법, 단계, 및 논리 블록도를 구현하거나 수행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 프로세서는 임의의 통상적인 프로세서 등일 수 있다. 본 출원의 실시예를 참조하여 개시된 방법의 단계는 하드웨어 디코딩 프로세서에 의해 직접 수행 및 완료될 수 있거나 또는 디코딩 프로세서에서 하드웨어 및 소프트웨어 모듈의 결합을 사용하여 수행 및 완료될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 읽기 전용 메모리, 프로그램 가능한 읽기 전용 메모리, 전기적으로 소거 가능한 프로그램 가능한 메모리, 또는 레지스터와 같은 당업계의 성숙한 저장 매체에 위치될 수 있다. 저장 매체는 메모리(1304)에 위치되며, 프로세서(1303)는 메모리(1304)의 정보를 읽고 프로세서의 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.
수신기(1301)는 입력된 디지털 또는 문자 정보를 수신하고, 오디오 인코딩 디바이스의 관련 설정 및 기능 제어와 관련된 신호 입력을 생성하도록 구성될 수 있다. 송신기(1302)는 디스플레이와 같은 디스플레이 디바이스를 포함할 수 있고, 송신기(1302)는 외부 인터페이스를 통해 디지털 또는 문자 정보를 출력하도록 구성될 수 있다.
본 출원의 이 실시예에서, 프로세서(1303)는 도 2에 도시된 오디오 인코딩 방법을 수행하도록 구성된다.
다음은 본 출원의 실시예에서 제공되는 다른 오디오 디코딩 디바이스를 설명한다. 도 14에 도시된 바와 같이, 오디오 디코딩 디바이스(1400)는:
수신기(1401), 송신기(1402), 프로세서(1403), 및 메모리(1404)를 포함한다(오디오 디코딩 디바이스(1400)에 하나 이상의 프로세서(1403)가 있을 수 있고, 하나의 프로세서가 도 14의 예로서 사용됨). 본 출원의 일부 실시예에서, 수신기(1401), 송신기(1402), 프로세서(1403), 및 메모리(1404)는 버스를 통해 또는 다른 방식으로 연결될 수 있으며, 버스를 통한 연결이 도 14의 예로서 사용된다.
메모리(1404)는 읽기 전용 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 프로세서(1403)에 명령어 및 데이터를 제공할 수 있다. 메모리(1404)의 일부는 NVRAM을 더 포함할 수 있다. 메모리(1404)는 운영 체제 및 작동 명령어, 실행 가능한 모듈 또는 데이터 구조, 이들의 서브세트, 또는 이들의 확장된 세트를 저장한다. 작동 명령어는 다양한 작동을 구현하기 위한 다양한 작동 명령어를 포함할 수 있다. 운영 체제는 다양한 기본 서비스를 구현하고 하드웨어 기반 태스크를 처리하기 위해, 다양한 시스템 프로그램을 포함할 수 있다.
프로세서(1403)는 오디오 디코딩 디바이스의 작동을 제어하고, 프로세서(1403)는 추가로 CPU로 지칭될 수 있다. 특정 애플리케이션에서, 오디오 디코딩 디바이스의 컴포넌트는 버스 시스템을 통해 함께 연결된다. 버스 시스템은 데이터 버스 외에 전원 버스, 제어 버스, 상태 신호 버스 등을 더 포함할 수 있다. 그러나, 명확한 설명을 위해 도면에서 다양한 종류의 버스는 버스 시스템으로 표시된다.
본 출원의 실시예들에 개시된 방법들은 프로세서(1403)에 적용될 수 있거나 프로세서(1403)에 의해 구현될 수 있다. 프로세서(1403)는 집적 회로 칩일 수 있고 신호 처리 능력을 갖는다. 구현 프로세스에서, 전술한 방법의 단계는 프로세서(1403)의 하드웨어 집적 논리 회로를 사용하거나 소프트웨어 형태의 명령어를 사용하여 구현될 수 있다. 전술한 프로세서(1403)는 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그래밍 가능한 논리 디바이스, 개별 게이트 또는 트랜지스터 로직 디바이스, 또는 개별 하드웨어 컴포넌트일 수 있다. 프로세서는 본 출원의 실시예에 개시된 방법, 단계, 및 논리 블록도를 구현하거나 수행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 프로세서는 임의의 통상적인 프로세서 등일 수 있다. 본 출원의 실시예를 참조하여 개시된 방법의 단계는 하드웨어 디코딩 프로세서에 의해 직접 수행 및 완료될 수 있거나, 또는 디코딩 프로세서에서 하드웨어 및 소프트웨어 모듈의 결합을 사용하여 수행 및 완료될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 읽기 전용 메모리, 프로그램 가능한 읽기 전용 메모리, 전기적으로 소거 가능한 프로그램 가능한 메모리, 또는 레지스터와 같은 당업계의 성숙한 저장 매체에 위치될 수 있다. 저장 매체는 메모리(1404)에 위치되고, 프로세서(1403)는 메모리(1404)의 정보를 읽고 프로세서(1403)의 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.
본 출원의 이 실시예에서, 프로세서(1403)는 도 3에 도시된 오디오 디코딩 방법을 수행하도록 구성된다.
다른 가능한 설계에서, 오디오 인코딩 디바이스 또는 오디오 디코딩 디바이스가 단말의 칩일 때, 칩은 처리 유닛 및 통신 유닛을 포함한다. 처리 유닛은, 예를 들어, 프로세서일 수 있고, 통신 유닛은 예를 들어, 입력/출력 인터페이스, 핀(pin) 또는 회로일 수 있다. 처리 유닛은 저장 유닛에 저장된 컴퓨터가 실행 가능한 명령어를 실행하여, 단말의 칩이 제1 측면의 가능한 구현들 중 어느 하나에 따른 방법을 수행하게 할 수 있다. 선택적으로, 저장 유닛은 칩의 저장 유닛, 예를 들어 레지스터 또는 캐시이다. 다르게는, 저장 유닛은 단말에 있으면서 또한 칩 외부에 위치되는 저장 유닛, 예를 들어 읽기 전용 메모리(read-only memory, ROM) 또는 정적 정보 및 명령어를 저장할 수 있는 다른 유형의 정적 저장 디바이스, 예를 들어 랜덤 액세스 메모리(random access memory, RAM)일 수 있다.
위에서 언급한 프로세서는 범용 중앙 처리 유닛, 마이크로프로세서, ASIC, 또는 제1 측면에 따른 방법의 프로그램 실행을 제어하도록 구성된 하나 이상의 집적 회로일 수 있다.
또한, 설명된 장치 실시예는 단지 예에 불과하다는 점에 유의해야 한다. 별도의 부분으로 설명된 유닛은 물리적으로 분리되거나 그렇지 않을 수 있으며, 유닛으로 디스플레이된 부분은 물리적인 유닛일 수도 있고 아닐 수도 있으며, 한 위치에 위치하거나 복수의 네트워크 유닛에 분산될 수 있다. 일부 또는 모든 모듈은 실시예의 솔루션의 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다. 또한, 본 출원에 제공된 장치 실시예의 첨부 도면에서, 모듈 간의 연결 관계는 모듈이 서로 통신 연결되어 있음을 나타내며, 이는 구체적으로 하나 이상의 통신 버스 또는 신호 케이블로 구현될 수 있다.
전술한 구현의 설명에 기반하여, 당업자는 본 출원이 필요한 범용 하드웨어 외에 소프트웨어에 의해 구현될 수 있거나, 애플리케이션 특정 집적 회로, 전용 CPU, 전용 메모리, 전용 컴포넌트 등을 포함하는 전용 하드웨어에 의해 구현될 수 있음을 명확히 이해할 수 있다. 일반적으로 컴퓨터 프로그램에 의해 수행될 수 있는 모든 기능은 대응하는 하드웨어를 사용하여 쉽게 구현될 수 있으며, 동일한 기능을 달성하기 위해 사용되는 특정 하드웨어 구조는 다양한 형태, 예를 들어 아날로그 회로, 디지털 회로 또는 전용 회로일 수 있다. 그러나. 본 출원에서는 대부분의 경우 소프트웨어 프로그램 구현이 더 나은 구현이다. 이러한 이해를 바탕으로, 본 출원의 기술적 솔루션은 본질적으로 또는 기존 기술에 기여하는 부분이 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 컴퓨터의 플로피 디스크, USB 플래시 드라이브, 이동식 하드 디스크, ROM, RAM, 자기 디스크 또는 컴팩트 디스크와 같은 판독 가능한 저장 매체에 저장되며, 컴퓨터 디바이스(개인용 컴퓨터, 서버, 네트워크 디바이스 등일 수 있음)에게 본 출원의 실시예에서 설명된 방법을 수행하도록 명령하기 위한 여러 명령어를 포함한다.
전술한 실시예의 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 결합을 사용하여 구현될 수 있다. 실시예를 구현하기 위해 소프트웨어가 사용될 때, 실시예의 전부 또는 일부는 컴퓨터 프로그램 제품의 형태로 구현될 수 있다.
컴퓨터 프로그램 제품에는 하나 이상의 컴퓨터 명령어가 포함된다. 컴퓨터 프로그램 명령어가 컴퓨터에 로딩되어 실행될 때, 본 출원의 실시예에 따른 절차 또는 기능의 전부 또는 일부가 생성된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그램 가능한 장치일 수 있다. 컴퓨터 명령어는 컴퓨터가 판독 가능한 저장 매체에 저장되거나, 컴퓨터가 판독 가능한 저장 매체에서 다른 컴퓨터가 판독 가능한 저장 매체로 전송될 수 있다. 예를 들어, 컴퓨터 명령어는 웹사이트, 컴퓨터, 서버 또는 데이터 센터에서 유선(예를 들어, 동축 케이블, 광섬유 또는 디지털 가입자 라인(digital subscriber line, DSL))으로 또는 무선(예를 들어, 적외선, 라디오 또는 마이크로파) 방식으로, 다른 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 컴퓨터가 판독 가능한 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체이거나, 하나 이상의 사용 가능한 매체를 통합한 서버 또는 데이터 센터와 같은 데이터 저장 디바이스일 수 있다. 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크 또는 자기 테이프), 광학 매체(예를 들어, DVD), 반도체 매체(예를 들어, 솔리드 스테이트 디스크(Solid State Disk) 디스크, SSD)) 등이 있다.

Claims (28)

  1. 오디오 인코딩 방법으로서,
    상기 오디오 인코딩 방법은,
    오디오 신호의 현재 프레임을 획득하는 단계 - 상기 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -;
    상기 고주파 대역 신호 및 상기 저주파 대역 신호에 기반하여 상기 현재 프레임의 호환 계층(compatible layer) 인코딩 파라미터를 획득하는 단계;
    상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층(enhancement layer) 인코딩 파라미터를 획득하는 단계; 및
    상기 호환 계층 인코딩 파라미터 및 상기 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하는 단계
    를 포함하는 오디오 인코딩 방법.
  2. 제1항에 있어서,
    상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계는,
    상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 획득하는 단계; 및
    상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보가 미리 설정된 신호 유형을 지시할 때, 상기 현재 프레임의 고주파 대역 신호를 인코딩하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계
    를 포함하는, 오디오 인코딩 방법.
  3. 제2항에 있어서,
    상기 미리 설정된 신호 유형은 고조파 신호(harmonic signal) 유형, 토널 신호(tonal signal) 유형, 백색 잡음 유사 신호(white noise-like signal) 유형, 과도 신호(transient signal) 유형 또는 마찰 신호(fricative signal) 유형 중 적어도 하나를 포함하는, 오디오 인코딩 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 현재 프레임의 향상 계층 인코딩 파라미터는 상기 현재 프레임의 고주파 대역 신호의 신호 유형 정보를 더 포함하는, 오디오 인코딩 방법.
  5. 제1항에 있어서,
    상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계는,
    호환 계층 인코딩 주파수 대역 정보를 획득하는 단계;
    상기 호환 계층 인코딩 주파수 대역 정보에 기반하여, 상기 현재 프레임의 고주파 대역 신호에서 인코딩 대상 주파수 대역 신호(to-be-encoded frequency band signal)를 결정하는 단계; 및
    상기 인코딩 대상 주파수 대역 신호를 인코딩하여 상기 향상 계층 인코딩 파라미터를 획득하는 단계
    를 포함하는, 오디오 인코딩 방법.
  6. 오디오 디코딩 방법으로서,
    상기 오디오 디코딩 방법은,
    인코딩된 비트스트림을 획득하는 단계;
    상기 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하는 단계;
    상기 호환 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 호환 계층 신호를 획득하는 단계 - 상기 호환 계층 신호는 상기 현재 프레임의 제1 고주파 대역 신호 및 상기 현재 프레임의 제1 저주파 대역 신호를 포함함 -;
    상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하는 단계;
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계; 및
    상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하는 단계
    를 포함하는 오디오 디코딩 방법.
  7. 제6항에 있어서,
    상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하는 단계는,
    상기 현재 프레임의 향상 계층 인코딩 파라미터에 기반하여 신호 유형 정보를 획득하는 단계; 및
    상기 신호 유형 정보가 지시하는 미리 설정된 신호 유형에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 디코딩하여, 상기 현재 프레임의 향상 계층 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계; 및
    상기 호환 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  9. 제8항에 있어서,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계는,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 대응하는 앤벌로프(envelope) 정보를 획득하고, 상기 현재 프레임의 제1 고주파 대역 신호의 앤벌로프 정보를 획득하는 단계; 및
    상기 향상 계층 인코딩 파라미터 또는 상기 향상 계층 신호에 대응하는 앤벌로프 정보 및 상기 제1 고주파 대역 신호의 앤벌로프 정보에 기반하여, 상기 호환 계층 고주파 대역 조정 파라미터를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  10. 제6항 또는 제7항에 있어서,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 상기 현재 프레임의 향상 계층 신호로부터 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하는 단계; 및
    상기 현재 프레임의 상기 제1 고주파 대역 신호와 상기 향상 계층 고주파 대역 스펙트럼 신호를 결합하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  11. 제10항에 있어서,
    상기 미리 설정된 고주파 대역 스펙트럼 선택 규칙에 따라 상기 현재 프레임의 향상 계층 신호로부터 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호를 선택하는 단계는,
    상기 현재 프레임의 제1 고주파 대역 신호에 포함된 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하는 단계; 및
    상기 현재 프레임의 향상 계층 신호에 있으면서 또한 상기 호환 계층 대역폭 확장 신호에 대응하는 신호를, 상기 현재 프레임의 향상 계층 고주파 대역 스펙트럼 신호로 결정하는 단계
    를 포함하는, 오디오 디코딩 방법.
  12. 제6항 또는 제7항에 있어서,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  13. 제12항에 있어서,
    상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하는 단계;
    상기 향상 계층 고주파 대역 조정 파라미터를 사용하여 상기 현재 프레임의 향상 계층 신호를 적응시켜 적응된 향상 계층 신호를 획득하는 단계; 및
    상기 현재 프레임의 제1 고주파 대역 신호를 상기 적응된 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  14. 제12항에 있어서,
    상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터 및 상기 현재 프레임의 제1 고주파 대역 신호에 기반하여, 상기 향상 계층 고주파 대역 조정 파라미터를 획득하는 단계;
    상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 대체 후에 생성된 제1 고주파 대역 신호를 획득하는 단계; 및
    상기 향상 계층 고주파 대역 조정 파라미터를 사용하여, 대체 후에 생성된 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  15. 제12항에 있어서,
    상기 현재 프레임의 제1 고주파 대역 신호를 상기 현재 프레임의 향상 계층 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    상기 현재 프레임의 향상 계층 신호와 상기 현재 프레임의 제1 고주파 대역 신호에 대해 스펙트럼 컴포넌트 비교 선택을 수행하여, 상기 현재 프레임의 향상 계층 신호로부터 제1 향상 계층 서브 신호를 선택하는 단계; 및
    상기 현재 프레임의 제1 고주파 대역 신호에 있으면서 또한 상기 제1 향상 계층 서브 신호와 동일한 스펙트럼을 갖는 신호를 상기 제1 향상 계층 서브 신호로 대체하여, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  16. 제6항에 있어서,
    상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하는 단계는,
    상기 향상 계층 인코딩 파라미터 및 상기 호환 계층 인코딩 파라미터에 기반하여, 상기 향상 계층 인코딩 파라미터에서 디코딩 대상 향상 계층 고주파 신호를 결정하는 단계; 및
    상기 향상 계층 인코딩 파라미터에서의 디코딩 대상 향상 계층 고주파 신호를 디코딩하여, 상기 현재 프레임의 향상 계층 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  17. 제6항 또는 제7항에 있어서,
    상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계는,
    상기 현재 프레임의 호환 계층 신호에서 호환 계층 디코딩된 신호 및 호환 계층 대역폭 확장 신호를 획득하는 단계; 및
    상기 현재 프레임의 상기 향상 계층 신호와 상기 호환 계층 대역폭 확장 신호를 결합하여 상기 현재 프레임의 제2 고주파 대역 신호를 획득하는 단계
    를 포함하는, 오디오 디코딩 방법.
  18. 제17항에 있어서,
    상기 호환 계층 신호의 스펙트럼 범위는 [0, FL]이고, 상기 호환 계층 디코딩된 신호의 스펙트럼 범위는 [0, FT]이며, 상기 호환 계층 대역폭 확장 신호의 스펙트럼 범위는 신호는 [FT, FL]이고, 상기 향상 계층 신호의 스펙트럼 범위는 [FX, FY]이며, 상기 오디오 출력 신호의 스펙트럼 범위는 [0, FY]이고; 그리고
    FL=FY, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정되며; 또는
    FL=FY, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정되고; 또는
    FX<FT, FX≤FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FT]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FT, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득되는 방식으로 결정되고; 또는
    FX<FT, FX>FT이고, 상기 오디오 출력 신호는 다음 방식: 상기 오디오 출력 신호에서 스펙트럼 범위가 [0, FX]인 신호는 상기 호환 계층 신호를 사용하여 획득되고, 상기 오디오 출력 신호에서 스펙트럼 범위가 [FX, FL]인 신호는 상기 호환 계층 신호와 상기 향상 계층 신호를 사용하여 획득하는 방식으로 결정되는, 오디오 디코딩 방법.
  19. 제6항 내지 제18항 중 어느 한 항에 있어서,
    상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하는 단계 이후에,
    상기 오디오 디코딩 방법은,
    상기 현재 프레임의 오디오 출력 신호를 후처리하는 단계
    를 더 포함하는 오디오 디코딩 방법.
  20. 제6항 내지 제18항 중 어느 한 항에 있어서,
    상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하는 단계 이전에,
    상기 오디오 디코딩 방법은,
    상기 호환 계층 신호에 기반하여 후처리 파라미터를 획득하는 단계; 및
    상기 후처리 파라미터를 사용하여 상기 향상 계층 신호를 후처리하여, 후처리된 향상 계층 신호를 획득하는 단계
    를 더 포함하는 오디오 디코딩 방법.
  21. 오디오 인코딩 디바이스로서,
    상기 오디오 인코딩 디바이스는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 메모리에 커플링되고, 상기 메모리에서 명령어를 읽고 실행하여, 제1항 내지 제5항 중 어느 한 항에 따른 방법을 구현하도록 구성되는, 오디오 인코딩 디바이스.
  22. 제21항에 있어서,
    상기 오디오 인코딩 디바이스는 상기 메모리를 더 포함하는 오디오 인코딩 디바이스.
  23. 오디오 디코딩 디바이스로서,
    상기 오디오 디코딩 디바이스는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 메모리에 커플링되고, 상기 메모리에서 명령어를 읽고 실행하여, 제6항 내지 제20항 중 어느 한 항에 따른 방법을 구현하도록 구성되는, 오디오 디코딩 디바이스.
  24. 제23항에 있어서,
    상기 오디오 디코딩 디바이스는 상기 메모리를 더 포함하는 오디오 디코딩 디바이스.
  25. 오디오 인코딩 디바이스로서,
    상기 오디오 인코딩 디바이스는 호환 계층 인코더, 향상 계층 인코더, 및 비트스트림 다중화기
    를 포함하고,
    상기 호환 계층 인코더는 오디오 신호의 현재 프레임을 획득하고 - 상기 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 그리고 상기 고주파 대역 신호 및 상기 저주파 대역 신호에 기반하여 상기 현재 프레임의 호환 계층 인코딩 파라미터를 획득하도록 구성되며,
    상기 향상 계층 인코더는 상기 오디오 신호의 현재 프레임을 획득하고 - 상기 현재 프레임은 고주파 대역 신호 및 저주파 대역 신호를 포함함 -; 그리고 상기 고주파 대역 신호에 기반하여 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성되고,
    상기 비트스트림 다중화기는 상기 호환 계층 인코딩 파라미터 및 상기 향상 계층 인코딩 파라미터에 대해 비트스트림 다중화를 수행하여 인코딩된 비트스트림을 획득하도록 구성되는, 오디오 인코딩 디바이스.
  26. 오디오 디코딩 디바이스로서,
    상기 오디오 디코딩 디바이스는 비트스트림 역다중화기, 호환 계층 디코더, 향상 계층 디코더, 적응 프로세서 및 결합기
    를 포함하고,
    상기 비트스트림 역다중화기는 인코딩된 비트스트림을 획득하고; 상기 인코딩된 비트스트림에 대해 비트스트림 역다중화를 수행하여, 오디오 신호의 현재 프레임의 호환 계층 인코딩 파라미터 및 상기 현재 프레임의 향상 계층 인코딩 파라미터를 획득하도록 구성되며,
    상기 호환 계층 디코더는, 상기 호환 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 호환 계층 신호를 획득하도록 - 상기 호환 계층 신호는 상기 현재 프레임의 제1 고주파 대역 신호 및 상기 현재 프레임의 제1 저주파 대역 신호를 포함함 - 구성되고,
    상기 향상 계층 디코더는, 상기 향상 계층 인코딩 파라미터에 기반하여 상기 현재 프레임의 향상 계층 신호를 획득하도록 구성되며,
    상기 적응 프로세서는, 상기 현재 프레임의 상기 향상 계층 신호 또는 상기 향상 계층 인코딩 파라미터에 기반하여, 상기 현재 프레임의 제1 고주파 대역 신호를 적응시켜, 상기 현재 프레임의 제2 고주파 대역 신호를 획득하도록 구성되고, 그리고
    상기 결합기는, 상기 현재 프레임의 향상 계층 신호, 상기 현재 프레임의 제2 고주파 대역 신호, 및 상기 현재 프레임의 제1 저주파 대역 신호에 기반하여, 상기 현재 프레임의 오디오 출력 신호를 획득하도록 구성되는, 오디오 디코딩 디바이스.
  27. 명령어를 포함하는, 컴퓨터가 판독 가능한 저장 매체로서,
    상기 명령어가 컴퓨터 상에서 실행될 때, 상기 컴퓨터는 제1항 내지 제5항 또는 제6항 내지 제20항 중 어느 한 항에 따른 방법을 수행하도록 인에이블되는, 컴퓨터가 판독 가능한 저장 매체.
  28. 명령어를 포함하는, 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 상기 컴퓨터는 제1항 내지 제5항 또는 제6항 내지 제20항 중 어느 한 항에 따른 방법을 수행하도록 인에이블되는, 컴퓨터 프로그램 제품.
KR1020227025669A 2020-01-10 2021-01-08 오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스 KR20220117332A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010028452.6 2020-01-10
CN202010028452.6A CN113113032A (zh) 2020-01-10 2020-01-10 一种音频编解码方法和音频编解码设备
PCT/CN2021/070831 WO2021139757A1 (zh) 2020-01-10 2021-01-08 一种音频编解码方法和音频编解码设备

Publications (1)

Publication Number Publication Date
KR20220117332A true KR20220117332A (ko) 2022-08-23

Family

ID=76708692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227025669A KR20220117332A (ko) 2020-01-10 2021-01-08 오디오 인코딩 방법 및 디바이스 그리고 오디오 디코딩 방법 및 디바이스

Country Status (6)

Country Link
US (1) US20220335962A1 (ko)
EP (1) EP4071756A4 (ko)
JP (1) JP7481457B2 (ko)
KR (1) KR20220117332A (ko)
CN (1) CN113113032A (ko)
WO (1) WO2021139757A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333862B (zh) * 2021-11-10 2024-05-03 腾讯科技（深圳）有限公司 音频编码方法、解码方法、装置、设备、存储介质及产品

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0878790A1 (en) * 1997-05-15 1998-11-18 Hewlett-Packard Company Voice coding system and method
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
KR100711989B1 (ko) * 2002-03-12 2007-05-02 노키아 코포레이션 효율적으로 개선된 스케일러블 오디오 부호화
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
BRPI0517780A2 (pt) * 2004-11-05 2011-04-19 Matsushita Electric Ind Co Ltd aparelho de decodificação escalável e aparelho de codificação escalável
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
WO2008062990A1 (en) * 2006-11-21 2008-05-29 Samsung Electronics Co., Ltd. Method, medium, and system scalably encoding/decoding audio/speech
CN101325059B (zh) * 2007-06-15 2011-12-21 华为技术有限公司 语音编解码收发方法及装置
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8532998B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Selective bandwidth extension for encoding/decoding audio/speech signal
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US8447617B2 (en) * 2009-12-21 2013-05-21 Mindspeed Technologies, Inc. Method and system for speech bandwidth extension
US8442837B2 (en) * 2009-12-31 2013-05-14 Motorola Mobility Llc Embedded speech and audio coding using a switchable model core
CN102737636B (zh) * 2011-04-13 2014-06-04 华为技术有限公司 一种音频编码方法及装置
JP6155274B2 (ja) 2011-11-11 2017-06-28 ドルビー・インターナショナル・アーベー 過剰サンプリングされたｓｂｒを使ったアップサンプリング
CN103165135B (zh) * 2013-03-04 2015-03-25 深圳广晟信源技术有限公司 一种数字音频粗分层编码方法和装置
CN103413553B (zh) * 2013-08-20 2016-03-09 腾讯科技（深圳）有限公司 音频编码方法、音频解码方法、编码端、解码端和系统
CN105280190B (zh) * 2015-09-16 2018-11-23 深圳广晟信源技术有限公司 带宽扩展编码和解码方法以及装置
CN105869653B (zh) * 2016-05-31 2019-07-12 华为技术有限公司 话音信号处理方法和相关装置和系统
TW202341126A (zh) * 2017-03-23 2023-10-16 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
TWI702594B (zh) * 2018-01-26 2020-08-21 瑞典商都比國際公司 用於音訊信號之高頻重建技術之回溯相容整合
KR102474146B1 (ko) * 2018-04-25 2022-12-06 돌비 인터네셔널 에이비 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
US11081116B2 (en) * 2018-07-03 2021-08-03 Qualcomm Incorporated Embedding enhanced audio transports in backward compatible audio bitstreams

Also Published As

Publication number Publication date
US20220335962A1 (en) 2022-10-20
WO2021139757A1 (zh) 2021-07-15
JP2023509548A (ja) 2023-03-08
JP7481457B2 (ja) 2024-05-10
EP4071756A1 (en) 2022-10-12
CN113113032A (zh) 2021-07-13
EP4071756A4 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
USRE48258E1 (en) Upsampling using oversampled SBR
RU2718421C1 (ru) Устройство аудиодекодирования, устройство аудиокодирования, способ аудиодекодирования, способ аудиокодирования, программа аудиодекодирования и программа аудиокодирования
WO2021143694A1 (zh) 一种音频编解码方法和音频编解码设备
US20220358941A1 (en) Audio encoding and decoding method and audio encoding and decoding device
WO2021208792A1 (zh) 音频信号编码方法、解码方法、编码设备以及解码设备
US11887610B2 (en) Audio encoding and decoding method and audio encoding and decoding device
US20230040515A1 (en) Audio signal coding method and apparatus
US20220335962A1 (en) Audio encoding method and device and audio decoding method and device
EP2610867A1 (en) Audio reproducing device and audio reproducing method
EP4152317A1 (en) Audio encoding method and audio encoding apparatus
JP7159351B2 (ja) ダウンミックスされた信号の計算方法及び装置
US20230105508A1 (en) Audio Coding Method and Apparatus
US10762910B2 (en) Hierarchical fine quantization for audio coding
WO2022012677A1 (zh) 音频编解码方法和相关装置及计算机可读存储介质
US20230154472A1 (en) Multi-channel audio signal encoding method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination