KR102632136B1 - 오디오 코더 윈도우 사이즈 및 시간-주파수 변환 - Google Patents

오디오 코더 윈도우 사이즈 및 시간-주파수 변환 Download PDF

Info

Publication number
KR102632136B1
KR102632136B1 KR1020197034969A KR20197034969A KR102632136B1 KR 102632136 B1 KR102632136 B1 KR 102632136B1 KR 1020197034969 A KR1020197034969 A KR 1020197034969A KR 20197034969 A KR20197034969 A KR 20197034969A KR 102632136 B1 KR102632136 B1 KR 102632136B1
Authority
KR
South Korea
Prior art keywords
frequency
time
frame
transform
delete delete
Prior art date
Application number
KR1020197034969A
Other languages
English (en)
Other versions
KR20200012866A (ko
Inventor
마이클 엠. 굿윈
안토니우스 칼커
알버트 차우
Original Assignee
디티에스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스, 인코포레이티드 filed Critical 디티에스, 인코포레이티드
Publication of KR20200012866A publication Critical patent/KR20200012866A/ko
Application granted granted Critical
Publication of KR102632136B1 publication Critical patent/KR102632136B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window

Abstract

오디오 신호를 인코딩하는 방법이 제공되며, 다수의 상이한 시간-주파수 변환들을 오디오 신호 프레임에 적용하는 단계; 다수의 시간-주파수 분해능들에 대한 다수의 주파수 대역들에 걸쳐 코딩 효율의 측정들을 컴퓨팅하는 단계; 코딩 효율의 컴퓨팅된 측정들에 적어도 부분적으로 기초하여, 다수의 주파수 대역들 각각에서 프레임을 표현하도록 시간-주파수 분해능들의 조합을 선택하는 단계; 윈도우 사이즈 및 대응하는 변환 사이즈를 결정하는 단계; 수정 변환을 결정하는 단계; 결정된 윈도우 사이즈를 사용하여 프레임을 윈도우잉하는 단계; 결정된 변환 사이즈를 사용하여 윈도우잉된 프레임을 변환하는 단계; 결정된 수정 변환을 사용하여 윈도우잉된 프레임의 변환의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 단계를 포함한다.

Description

오디오 코더 윈도우 사이즈 및 시간-주파수 변환
본 특허 출원은 2017년 4월 28일에 출원된 미국 가특허 출원 제62/491,911호에 대해 우선권의 이익을 주장하며, 상기 출원은 그 전체가 본원에 참조로 통합된다.
데이터 감소를 위한 오디오 신호들의 코딩은 대중적인 기술이다. 고품질의 낮은 비트레이트 코딩은 비용 효과적인 미디어 저장을 가능하게 하고 제한된 채널들(예를 들어, 인터넷 스트리밍)을 통한 배포를 용이하게 하기 위해 필수적이다. 압축되지 않은 오디오에 대한 용량 요건들은 많은 시나리오들에서 금지될 수 있기 때문에, 압축의 효율은 이러한 애플리케이션들에서 결정적이다.
몇몇 기존의 오디오 코딩 접근법들은 슬라이딩-윈도우 시간-주파수 변환들에 기초한다. 이러한 변환들은 시간-도메인 오디오 신호를 시간-주파수 표현으로 전환하는데, 이는 가청 아티팩트들의 도입을 제한하면서 데이터 감소를 달성하기 위해 음향심리학적 원리들을 레버리지하는데 적합하다. 특히, 수정된 이산 코사인 변환(MDCT)은 오디오 코더들에서 통상적으로 사용되는데, 이는, 슬라이딩-윈도우 MDCT가 오버샘플링 없이, 즉, 시간 도메인에서와 동일한 양의 데이터를 변환 도메인에서 유지하면서, 중첩하는 비-직사각형 윈도우들을 사용하여 완전한 재구성을 달성할 수 있기 때문이며; 이러한 속성은 오디오 코딩 애플리케이션들에 대해 본질적으로 우호적이다.
슬라이딩-윈도우 MDCT에 의해 유도되는 오디오 신호의 시간-주파수 표현은 오디오 코딩을 위한 효과적인 프레임워크를 제공하지만, 코딩될 신호의 특성들에서의 변화들 또는 변동들에 기초하여 표현의 시간-주파수 분해능이 적응될 수 있도록 코딩 성능이 프레임워크를 확장시키는 것이 유리하다. 예를 들어, 이러한 적응은 코딩 아티팩트들의 가청성을 제한하기 위해 사용될 수 있다. 몇몇 기존의 오디오 코더들은 신호 거동에 응답하여 슬라이딩-윈도우 MDCT에서 사용되는 윈도우를 변경함으로써 코딩될 신호에 적응된다. 톤 신호 콘텐츠의 경우, 높은 주파수 분해능을 제공하기 위해 긴 윈도우들이 사용될 수 있고; 과도(transient) 신호 콘텐츠의 경우, 높은 시간 분해능을 제공하기 위해 짧은 윈도우들이 사용될 수 있다. 이러한 접근법은 통상적으로 윈도우 스위칭으로 지칭된다.
윈도우 스위칭 접근법들은 통상적으로 짧은 윈도우들, 긴 윈도우들, 및 긴 윈도우들로부터 짧은 윈도우들로 또는 그 반대로 스위칭하기 위한 전환 윈도우들을 제공한다. 과도부 검출 프로세스에 기초하여 짧은 윈도우들로 스위칭하는 것이 일반적인 관행이다. 코딩될 오디오 신호의 부분에서 과도부가 검출되면, 오디오 신호의 그 부분은 짧은 윈도우들을 사용하여 프로세싱된다.
본 요약은, 아래의 상세한 설명에서 추가로 설명되는 개념의 단순화된 형태의 선택을 도입하기 위해 제공된다. 본 요약은, 청구된 청구물의 핵심적인 특징 또는 필수적인 특징을 식별하려는 의도가 아니며, 청구된 청구물의 범주를 제한하기 위해 사용되도록 의도되는 것도 아니다.
하나의 예시적인 양상에서, 오디오 신호를 인코딩하는 방법. 프레임의 다수의 변환들을 생성하기 위해 주파수 스펙트럼에 걸쳐 오디오 신호 프레임에 다수의 상이한 시간-주파수 변환들이 적용되고, 각각의 변환은 주파수 스펙트럼에 걸쳐 대응하는 시간-주파수 분해능을 포함한다. 코딩 효율의 측정들은, 다수의 변환들로부터 다수의 시간-주파수 분해능들에 대해, 주파수 스펙트럼 내의 다수의 주파수 대역들에 걸쳐 생성된다. 코딩 효율의 생성된 측정들에 적어도 부분적으로 기초하여, 주파수 스펙트럼 내의 다수의 주파수 대역들 각각에서 프레임을 표현하도록 시간-주파수 분해능들의 조합이 선택된다. 시간-주파수 분해능들의 선택된 조합에 적어도 부분적으로 기초하여, 프레임에 대한 윈도우 사이즈 및 대응하는 변환 사이즈가 결정된다. 시간-주파수 분해능들의 선택된 조합 및 결정된 윈도우 사이즈에 적어도 부분적으로 기초하여 주파수 대역들 중 적어도 하나에 대한 수정 변환이 결정된다. 윈도우잉된(windowed) 프레임을 생성하기 위해 결정된 윈도우 사이즈를 사용하여 프레임이 윈도우잉된다. 주파수 스펙트럼의 다수의 주파수 대역들 각각에서 시간-주파수 분해능을 포함하는 윈도우잉된 프레임의 변환을 생성하기 위해 결정된 변환 사이즈를 사용하여 윈도우잉된 프레임이 변환된다. 결정된 수정 변환에 적어도 부분적으로 기초하여 윈도우잉된 프레임의 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능이 수정된다.
다른 예시적인 양상에서, 코딩된 오디오 신호를 디코딩하는 방법이 제공된다. 코딩된 오디오 신호 프레임(frame), 수정 정보, 변환 사이즈 정보, 및 윈도우 사이즈 정보가 수신된다. 수신된 수정 정보에 적어도 부분적으로 기초하여 수신된 프레임의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능이 수정된다. 수신된 변환 사이즈 정보에 적어도 부분적으로 기초하여 수정된 프레임에 역변환이 적용된다. 수신된 윈도우 사이즈 정보에 적어도 부분적으로 기초한 윈도우 사이즈를 사용하여 역변환된 수정된 프레임이 윈도우잉된다.
대안적인 실시예들이 가능하며, 본 명세서에서 논의된 단계들 및 요소들은 특정 실시예에 따라 변경, 추가 또는 제거될 수 있음을 주목해야 한다. 이러한 대안적인 실시예들은, 본 개시의 범주로부터 벗어남이 없이, 사용될 수 있는 대안적인 단계들 및 대안적인 요소들, 및 행해질 수 있는 구조적 변화들을 포함한다.
이제, 유사한 참조 부호들이 전반에 걸쳐 대응하는 부분들을 표현하는 도면들을 참조한다.
도 1a는 데이터 프레임들로 세그먼트화된 오디오 신호 및 오디오 신호 프레임들과 시간-정렬되는 윈도우들의 시퀀스의 예를 표현하는 예시적인 도면이다.
도 1b는 윈도우에 의해 둘러싸인 오디오 신호의 세그먼트에 윈도우잉 동작을 증배적으로 적용함으로써 생성되는 예시적인 윈도우잉된 신호 세그먼트 예이다.
도 2는 오디오 신호 프레임 세그먼트화 및 프레임들과 정렬된 예시적인 윈도우들의 제1 시퀀스를 도시하는 예시적인 신호 세그먼트화 도면의 예이다.
도 3은 오디오 신호 프레임 세그먼트화 및 프레임들과 시간-정렬된 예시적인 윈도우들의 제2 시퀀스를 도시하는 신호 세그먼트화 도면의 예시적인 예이다.
도 4는 일부 실시예들에 따른 오디오 인코더의 특정 세부사항들을 도시하는 예시적인 블록도이다.
도 5a는 오디오 신호 프레임들의 시퀀스 및 연관된 긴 윈도우들의 대응하는 시퀀스를 표시하는 예시적인 신호 세그먼트화 도면을 도시하는 예시적인 도면이다.
도 5b는 도 5a의 오디오 신호 프레임들의 시퀀스와 연관된 시간-주파수 분해능을 표현하는 예시적인 시간-주파수 타일들을 도시하는 예시적인 도면이다.
도 6a는 오디오 신호 프레임들의 시퀀스 및 연관된 긴 윈도우들 및 짧은 윈도우들의 대응하는 시퀀스를 표시하는 예시적인 신호 세그먼트화 도면을 도시하는 예시적인 도면이다.
도 6b는 도 6a의 오디오 신호 프레임들의 시퀀스와 연관된 시간-주파수 분해능을 표현하는 예시적인 시간-주파수 타일들을 도시하는 예시적인 도면이다.
도 7a는 오디오 신호 프레임들 및 다양한 길이들을 갖는 대응하는 윈도우들을 표시하는 예시적인 신호 세그먼트화 도면을 도시하는 예시적인 도면이다.
도 7b는 도 7a의 오디오 신호 프레임들의 시퀀스와 연관된 시간-주파수 분해능을 표현하는 예시적인 시간-주파수 타일들을 도시하는 예시적인 도면이고, 시간-주파수 분해능은 프레임마다 변하지만 각각의 프레임 내에서 균일하다.
도 8a는 오디오 신호 프레임들 및 다양한 길이들을 갖는 대응하는 윈도우들을 표시하는 예시적인 신호 세그먼트화 도면을 도시하는 예시적인 도면이다.
도 8b는 도 8a의 오디오 신호 프레임들의 시퀀스와 연관된 예시적인 시간-주파수 타일들을 도시하는 예시적인 도면이고, 시간-주파수 분해능은 프레임마다 변하고 프레임들 일부 내에서 불균일하다.
도 9는 타일 프레임 시간-주파수 분해능 수정 프로세스의 2개의 예시적인 예들을 도시하는 예시적인 도면이다.
도 10a는 도 4의 인코더의 변환 블록의 특정 세부사항들을 도시하는 예시적인 블록도이다.
도 10b는 도 4의 인코더의 분석 및 제어 블록의 특정 세부사항들을 도시하는 예시적인 블록도이다.
도 10c는 도 10b의 시간-주파수 변환 블록들에 의한 시간-주파수 변환들 및 주파수 대역 그룹화 블록들에 의한 주파수 대역-기반 시간-주파수 변환 계수 그룹화들을 표현하는 예시적인 기능 블록도이다.
도 11a는 수신된 오디오 신호의 프레임들에 대한 시간-주파수 분해능들 및 윈도우 사이즈들을 결정하기 위해 도 10b의 분석 및 제어 블록의 구성을 표현하는 예시적인 제어 흐름도이다.
도 11b는 인코딩 프레임, 분석 프레임 및 중간 버퍼링된 프레임들을 포함하는 오디오 신호 데이터 프레임들의 시퀀스를 표현하는 예시적인 도면이다.
도 11ca 내지 도 11cd는 도 4의 인코더의 분석 블록 내의 파이프라인을 통해 흐르는 프레임들의 시퀀스를 표현하고 흐름에 기초하여 생성된 제어 정보의 인코더에 의한 사용을 예시하는 예시적인 기능 블록도들이다.
도 12는 다수의 주파수 대역들에 걸쳐 시간-주파수 분해능들을 최적화하기 위해 도 10b의 분석 및 제어 블록에 의해 사용되는 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다.
도 13a는 동적 트렐리스-기반 최적화 프로세스를 안내하기 위해 주파수 스펙트럼을 주파수 대역들로 파티셔닝하고 4개의 시간-주파수 분해능 옵션들을 제공하도록 구성되는, 도 10b의 분석 및 제어 블록에 의해 사용되는 트렐리스 구조를 표현하는 예시적인 도면이다.
도 13ba은 도 13a의 트렐리스 구조를 통한 단일 프레임에 대한 주파수에 걸쳐 예시적인 제1 최적의 전환 시퀀스를 표현하는 예시적인 도면이다.
도 13bb는 도 13ba의 주파수에 걸친 제1 전환 시퀀스에 대응하는 예시적인 제1 시간-주파수 타일 프레임이다.
도 13ca은 도 13a의 트렐리스 구조를 통한 단일 프레임에 대한 주파수에 걸쳐 예시적인 제2 최적의 전환 시퀀스를 표현하는 예시적인 도면이다.
도 13cb는 도 13ca의 주파수에 걸친 제2 전환 시퀀스에 대응하는 예시적인 제2 시간-주파수 타일 프레임이다.
도 14a는 동적 트렐리스-기반 최적화 프로세스를 안내하기 위해 신호를 프레임들로 파티셔닝하고 4개의 시간-주파수 분해능 옵션들을 제공하도록 구성되는, 도 10b의 분석 블록에 의해 사용되는 트렐리스 구조를 표현하는 예시적인 도면이다.
도 14b는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제1 전환 시퀀스를 갖는 예시적인 제1(최저) 주파수 대역에 대한 4개의 프레임들의 시퀀스에 대한 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다.
도 14c는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제2 전환 시퀀스를 갖는 예시적인 제2(다음으로 높은) 주파수 대역에 대한 4개의 프레임들의 시퀀스에 대한 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다.
도 14d는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제3 전환 시퀀스를 갖는 예시적인 제3(다음으로 높은) 주파수 대역에 대한 4개의 프레임들의 시퀀스에 대한 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다.
도 14e는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제4 전환 시퀀스를 갖는 예시적인 제4(최고 높은) 주파수 대역에 대한 4개의 프레임들의 시퀀스에 대한 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다.
도 15는 도 14b, 도 14c, 도 14d 및 도 14e에 도시된 동적 트렐리스-기반 최적화 프로세스 결과들에 대응하는 4개의 주파수 대역들에 대한 프레임들의 시퀀스를 표현하는 예시적인 도면이다.
도 16은 일부 실시예들에 따른 오디오 디코더의 예시적인 블록도이다.
도 17은 머신 판독가능 매체로부터의 명령어들을 판독하고 본원에 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예들에 따른 머신의 컴포넌트들을 예시하는 예시적인 블록도이다.
오디오 코덱 및 방법의 실시예들의 하기 설명에서, 첨부된 도면들이 참조된다. 예시의 방식으로 도시된 이러한 도면들은 오디오 코덱 시스템 및 방법의 실시예들이 어떻게 실시될 수 있는지에 대한 예들을 특정한다. 청구된 요지의 범주로부터 벗어남이 없이, 다른 실시예들이 활용될 수 있고, 구조적 변화들이 행해질 수 있음이 이해된다.
슬라이딩-윈도우 MDCT 코더
도 1a 및 도 1b는 도 4를 참조하여 아래에서 설명되는 인코더(400)의 윈도우잉 회로 블록의 동작을 나타내기 위한 예시적인 타이밍도들이다. 도 1a는 데이터 프레임들로 세그먼트화된 오디오 신호 및 오디오 신호 프레임들과 시간-정렬된 윈도우들의 시퀀스의 예를 표현하는 예시적인 도면이다. 도 1b는 윈도우(113)에 의해 둘러싸인 오디오 신호(101)의 세그먼트에 윈도우(113)를 증배적으로 적용하는 윈도우잉 동작에 의해 생성되는 윈도우잉된 신호 세그먼트(117)의 예시적인 예이다. 인코더(400)의 윈도우잉 블록(407)은 윈도우잉된 세그먼트를 생성하기 위해 오디오 신호 샘플들의 시퀀스에 윈도우 함수를 적용한다. 더 구체적으로, 윈도우잉 블록(407)은 윈도우와 연관된 오디오 신호 크기 스케일링 함수에 따라 시간 윈도우에 의해 둘러싸인 시간 스팬(span) 내에서 오디오 신호들의 시퀀스의 값들을 조정함으로써 윈도우잉된 세그먼트를 생성한다. 윈도우잉 블록은 상이한 시간 스팬들 및 상이한 스케일링 함수들을 갖는 상이한 윈도우들을 적용하도록 구성될 수 있다.
시간 라인(102)으로 표시된 오디오 신호(101)는 시변하는 물리적 음향 특징들의 표현일 수 있는 더 긴 오디오 신호 또는 스트림의 발췌를 표현할 수 있다. 인코더(400)의 프레이밍 블록(403)은 프레임 경계들(103-109)에 의해 표시된 바와 같은 프로세싱을 위해 오디오 신호를 프레임들(120-128)로 세그먼트화한다. 추가적인 프로세싱을 위한 윈도우잉된 신호 세그먼트들을 생성하기 위해 윈도우잉 블록(407)은 윈도우들의 시퀀스(111, 113 및 115)를 증배적으로 적용한다. 윈도우들은 프레임 경계들에 따라 오디오 신호와 시간-정렬된다. 예를 들어, 윈도우(113)는, 윈도우(113)가 프레임 경계들(105 및 107)을 갖는 프레임(124) 상에 센터링되도록 오디오 신호(101)와 시간-정렬된다.
오디오 신호(101)는 이산 시간 샘플들 x[t]의 시퀀스로서 표시될 수 있고, 여기서 t는 정수 시간 인덱스이다. 예를 들어, 111로 도시된 바와 같은 윈도우잉 블록 오디오 신호 값 스케일링 함수는 w[n]으로 도시될 수 있고, 여기서 n은 정수 시간 인덱스이다. 윈도우잉 블록 스케일링 함수는 일 실시예에서, 에 대해,
(1)
로서 정의될 수 있고, 여기서 N은 윈도우 시간 길이를 표현하는 정수 값이다. 다른 실시예에서, 윈도우는
(2)
로서 정의될 수 있다.
다른 실시예들은 당업자들에 의해 이해될 바와 같이, 윈도우잉 함수가 특정 조건들을 충족하면 다른 윈도우잉 스케일링 함수들을 수행할 수 있다. J. P. Princen, A. W. Johnson, A. B. Bradley의 시간 도메인 에일리어싱 제거에 기초한 필터 뱅크 설계들을 사용하는 서브대역/변환 코딩. IEEE Proc. Intl. Conference on Acoustics, Speech, and Signal Processing (ICASSP), page 2161-2164, 1987 참조.
윈도우잉된 세그먼트는
(3)
로 정의될 수 있고, 여기서 i는 윈도우잉된 세그먼트에 대한 인덱스를 표시하고, wi[n]은 세그먼트에 대해 사용되는 윈도우잉 함수를 표시하고, ti는 세그먼트에 대한 오디오 신호에서 시작 시간 인덱스를 표시한다. 일부 실시예들에서, 윈도우잉 스케일링 함수는 상이한 세그먼트들에 대해 상이할 수 있다. 즉, 신호(101)의 상이한 부분들에 대해, 예를 들어, 신호의 상이한 프레임들에 대해 또는 일부 경우들에서는 동일한 프레임의 상이한 부분들에 대해, 상이한 윈도우잉 시간 길이들 및 상이한 윈도우잉 스케일링 함수들이 사용될 수 있다.
도 2는 오디오 신호 프레임 세그먼트화 및 프레임들과 정렬된 예시적인 윈도우들의 제1 시퀀스를 도시하는 타이밍도의 예시적인 예이다. 프레임들(203, 205, 207, 209, 및 211)은 시간 라인(202) 상에 표시된다. 프레임(201)은 프레임 경계들(220 및 222)을 갖는다. 프레임(203)은 프레임 경계들(222 및 224)을 갖는다. 프레임(205)은 프레임 경계들(224 및 226)을 갖는다. 프레임(207)은 프레임 경계들(226 및 228)을 갖는다. 프레임(209)은 프레임 경계들(228 및 230)을 갖는다. 윈도우들(213, 215, 217 및 219)은 프레임들(203, 205, 207, 및 209)과 각각 시간-센터링되도록 정렬된다. 일부 실시예들에서, 전체 프레임에 걸쳐 있을 수 있고 하나 이상의 인접한 프레임들과 중첩할 수 있는 윈도우(213)와 같은 윈도우는 긴 윈도우로 지칭될 수 있다. 일부 실시예들에서, 긴 윈도우에 의해 걸쳐 있는 203과 같은 오디오 신호 데이터 프레임은 긴-윈도우 프레임으로 지칭될 수 있다. 일부 실시예들에서, 도 2에 도시된 것과 같은 윈도우 시퀀스는 긴-윈도우 시퀀스로 지칭될 수 있다.
도 3은 오디오 신호 프레임 세그먼트화 및 프레임들과 시간-정렬된 예시적인 윈도우들의 제2 시퀀스를 도시하는 타이밍도의 예시적인 예이다. 프레임들(301, 303, 305, 307, 309 및 311)은 시간 라인(302) 상에 표시된다. 프레임(301)은 프레임 경계들(320 및 322)을 갖는다. 프레임(303)은 프레임 경계들(322 및 324)을 갖는다. 프레임(305)은 프레임 경계들(324 및 326)을 갖는다. 프레임(307)은 프레임 경계들(326 및 328)을 갖는다. 프레임(309)은 프레임 경계들(328 및 330)을 갖는다. 윈도우 함수들(313, 315, 317 및 319)은 프레임들(303, 305, 307, 및 309)과 각각 시간-정렬된다. 프레임(303)과 시간-정렬되는 윈도우(313)는 긴 윈도우 함수의 예이다. 프레임(307)은 다수의 짧은 윈도우들(317)만큼 걸쳐 있다. 일부 실시예들에서, 다수의 짧은 윈도우들과 시간-정렬되는 프레임(307)과 같은 프레임은 짧은-윈도우 프레임으로 지칭될 수 있다. 짧은-윈도우 프레임에 각각 선행하고 후속하는 305 및 309와 같은 프레임들은 전환 프레임들로 지칭될 수 있고, 짧은 윈도우에 각각 선행하고 후속하는 315 및 319와 같은 윈도우들은 전환 윈도우들로 지칭될 수 있다.
슬라이딩-윈도우 변환에 기초하는 오디오 코더에서, 오디오 신호의 시간-주파수 거동에 기초하여 윈도우 및 변환 사이즈를 적응시키는 것이 유리할 수 있다. 본 명세서에서 사용되는 바와 같이, 특히 MDCT의 상황에서, 용어 '변환 사이즈'는, 변환이 허용하는 입력 데이터 요소들의 수를 지칭하며; MDCT 이외의 일부 변환들, 예를 들어 이산 푸리에 변환(DFT)의 경우, '변환 사이즈'는 그 대신, 변환이 컴퓨팅하는 출력 포인트들(계수들)의 수를 지칭할 수 있다. '변환 사이즈'의 개념은 관련 기술의 당업자들에 의해 이해될 것이다. 톤 신호들의 경우, 긴 윈도우들(및 마찬가지의 긴-윈도우 프레임들)의 사용은 코딩 효율을 개선할 수 있다. 과도 신호들의 경우, 짧은 윈도우들(및 마찬가지의 짧은-윈도우 프레임들)의 사용은 코딩 아티팩트들을 제한할 수 있다. 일부 신호들의 경우, 중간 윈도우 사이즈들은 코딩 이점들을 제공할 수 있다. 일부 신호들은, 코딩에 대한 가장 유리한 윈도우 선택이 시간에서 변할 수 있도록 신호 전반에 걸쳐 상이한 시간들에 톤, 과도 또는 또 다른 거동들을 디스플레이할 수 있다. 이러한 경우들에서, 윈도우-스위칭 방식이 사용될 수 있고, 상이한 거동들을 갖는 오디오 신호의 상이한 세그먼트들에 대해, 예를 들어, 상이한 오디오 신호 프레임들에 대해 상이한 사이즈들의 윈도우들이 적용되고, 전환 윈도우들은 하나의 윈도우 사이즈로부터 다른 윈도우 사이즈로 변하도록 적용된다. 오디오 코더에서, 오디오 신호 거동에 다른 특정 사이즈의 윈도우들의 선택은 코딩 성능을 개선할 수 있고; 코딩 성능은, 인코딩 오디오 신호들에서 특정 코딩 방식이 비교적 얼마나 효과적인지를 설명하기 위해 본 명세서에서 사용되는 '코딩 효율'로 지칭될 수 있다. 특정 오디오 코더, 말하자면 코더 A가 코더 B와 동일한 또는 더 적은 아티팩트들(예를 들어, 양자화 잡음 또는 왜곡)을 도입하면서, 상이한 오디오 코더, 즉, 코더 B보다 낮은 데이터 레이트에서 오디오 신호를 인코딩할 수 있으면, 코더 A는 코더 B보다 더 효율적인 것으로 지칭될 수 있다. 일부 경우들에서, '효율'은 표현에서 정보의 양, 즉, '조밀도'를 설명하기 위해 사용될 수 있다. 예를 들어, 신호 표현, 말하자면 표현 A가 신호 표현 B보다 적은 데이터를 갖지만 그 표현에서 동일하거나 더 적은 에러가 발생되는 신호를 표현할 수 있으면, 표현 A를 표현 B보다 더 '효율적인' 것으로 지칭할 수 있다.
도 4는 일부 실시예들에 따른 오디오 코더(400)의 특정 세부사항들을 도시하는 예시적인 블록도이다. 이산-시간 오디오 샘플들을 포함하는 오디오 신호(401)가 코더(400)에 입력된다. 오디오 신호는 예를 들어, 모노포닉(monophonic) 신호 또는 스테레오의 단일 채널 또는 다중채널 오디오 신호일 수 있다. 프레이밍 회로 블록(403)은 오디오 신호(401)를 소정 수의 샘플들을 포함하는 프레임들로 세그먼트화하고; 프레임 내의 샘플들의 수는 프레임 사이즈 또는 프레임 길이로 지칭될 수 있다. 프레이밍 블록(403)은 신호 프레임들을 분석 및 제어 회로 블록(405) 및 윈도우잉 회로 블록(407)에 제공한다. 분석 및 제어 블록은 한번에 하나 이상의 프레임들을 분석하고, 분석 결과들을 제공할 수 있고, 분석 결과들에 기초하여 제어 신호들을 윈도우잉 블록(407), 변환 회로 블록(409) 및 데이터 감소 및 포맷 회로 블록(411)에 제공할 수 있다.
분석 결과들에 기초하여 윈도우잉 블록(407)에 제공되는 제어 신호들은 윈도우잉 블록(407)에 의해 오디오 데이터의 프레임들의 시퀀스에 적용될 윈도우잉 동작들의 시퀀스를 표시할 수 있다. 윈도우잉 블록(407)은 스케일링 윈도우들의 시퀀스를 포함하는 윈도우잉 신호 파형을 생성한다. 분석 및 제어 블록(405)은 윈도우잉 블록(407)으로 하여금, 예를 들어, 상이한 오디오 프레임들에 대한 상이한 분석 결과들에 기초하여 상이한 스케일링 동작들 및 상이한 윈도우 시간 길이들을 상이한 오디오 프레임들에 적용하게 할 수 있다. 일부 오디오 프레임들은 긴 윈도우들에 따라 스케일링될 수 있다. 다른 것들은 짧은 윈도우들에 따라 스케일링될 수 있고, 또 다른 것들은 예를 들어, 전환 윈도우들에 따라 스케일링될 수 있다. 일부 실시예들에서, 제어 블록(405)은 오디오 프레임이 과도 신호 거동을 포함하는지 여부를 결정하기 위해 과도 검출기(415)를 포함할 수 있다. 예를 들어, 프레임이 과도 신호 거동을 포함한다는 결정에 응답하여, 분석 및 제어 블록(405)은 짧은 윈도우들로 구성된 윈도우잉 동작들의 시퀀스가 적용되어야 함을 표시하기 위한 제어 신호들을 윈도우잉 블록(407)에 제공할 수 있다.
윈도우잉 블록(407)은 윈도우잉된 오디오 세그먼트들을 생성하기 위해 오디오 프레임들에 윈도우잉 함수들을 적용하고, 윈도우잉된 오디오 세그먼트들을 변환 블록(409)에 제공한다. 개별적인 윈도우잉된 시간 세그먼트들은 이들이 생성된 프레임보다 시간 지속기간에서 더 짧을 수 있는데; 즉, 주어진 프레임은 예를 들어 도 3의 짧은 윈도우들(317)에 의해 예시된 바와 같이 다수의 윈도우들을 사용하여 윈도우잉될 수 있음을 인식할 것이다. 분석 및 제어 블록(405)에 의해 변환 블록(409)에 제공된 제어 신호들은 윈도우잉된 시간 세그먼트들에 사용되는 윈도우 사이즈들에 기초하여 윈도우잉된 오디오 세그먼트들을 프로세싱하는데 사용하기 위한 변환 블록(409)에 대한 변환 사이즈들을 표시할 수 있다. 일부 실시예들에서, 분석 및 제어 블록(405)에 의해 변환 블록(409)에 제공된 제어 신호는 분석 및 제어 블록(405)에 의해 윈도우잉 블록(407)에 제공된 제어 신호들에 의해 프레임들에 대해 표시된 윈도우 사이즈들에 매칭하는 것으로 결정되는 프레임들에 대한 변환 사이즈들을 표시할 수 있다. 당업자들에 의해 이해될 바와 같이, 변환 블록(409)의 출력, 및 분석 및 제어 블록(405)에 의해 제공되는 결과들은 수신된 입력 오디오 신호(401)를 표현하는 코딩된 데이터 비트스트림(413)을 생성하기 위해 데이터 감소 및 포맷 블록(411)에 의해 프로세싱될 수 있다. 일부 실시예들에서, 데이터 감소 및 포맷은 당업자들에 의해 이해될 바와 같이, 음향심리학적 모델 및 정보 코딩 원리들의 적용을 포함할 수 있다. 오디오 코더(400)는 아래에서 설명되는 바와 같이 데이터 비트스트림(413)을 저장 또는 송신을 위한 출력으로서 디코더(미도시)에 제공할 수 있다.
변환 블록(409)은 다음과 같이 수학적으로 정의될 수 있는 MDCT를 수행하도록 구성될 수 있고:
(4)
여기서 이고, 값들 xi[n]은 윈도우잉된 시간 샘플들, 즉, 윈도우잉된 오디오 세그먼트의 시간 샘플들이다. 값들 Xi[k]는 일반적으로 변환 계수들로서 또는 구체적으로는 수정된 이산 코사인 변환(MDCT) 계수들로서 지칭될 수 있다. 정의에 따르면, MDCT는 샘플들을 개의 변환 계수들로 N번 전환한다. 본 명세서의 목적들을 위해, 앞서 정의된 바와 같은 MDCT는 사이즈 N인 것으로 고려된다. 반대로, 아래에서 도 16을 참조하여 논의되는 디코더(1600)에 의해 수행될 수 있는 수정된 이산 코사인 역변환(IMDCT)은 다음과 같이 수학적으로 정의될 수 있고:
(5)
여기서 이다. 당업자들이 이해할 바와 같이, 스케일 팩터는 MDCT, IMDCT 또는 둘 모두와 연관될 수 있다. 일부 실시예들에서, 순방향 및 역방향 MDCT 각각은 팩터 에 의해 스케일링되어, 순방향 및 역방향 MDCT를 연속적으로 적용한 결과를 정규화한다. 다른 실시예들에서, 의 스케일 팩터는 순방향 MDCT 또는 역방향 MDCT 중 어느 하나에 적용될 수 있다. 또 다른 실시예들에서, 대안적 스케일링 접근법이 사용될 수 있다.
통상적인 실시예들에서, MDCT와 같은 변환 동작은 입력 신호(401)의 각각의 윈도우잉된 세그먼트에 대해 변환 블록(409)에 의해 수행된다. 변환 동작들의 이러한 시퀀스는 시간-도메인 신호(401)를, 각각의 윈도우잉된 세그먼트에 대응하는 MDCT 계수들을 포함하는 시간-주파수 표현으로 전환한다. 시간-주파수 표현의 시간 및 주파수 해상도는, 윈도우잉 블록(407)에 의해 적용된 윈도우 사이즈 및 윈도우잉된 세그먼트에 대해 변환 블록(409)에 의해 수행되는 연관된 변환의 사이즈에 의해 결정되는 윈도우잉된 세그먼트의 시간 길이에 의해 적어도 부분적으로 결정된다. 일부 실시예들에 따르면, MDCT의 사이즈는 입력 샘플들의 수로서 정의되고, 입력 샘플들의 수만큼 많은 변환 계수들의 절반이 생성된다. 다른 변환 기술들을 사용하는 대안적인 실시예에서, 입력 샘플 길이(사이즈) 및 대응하는 출력 계수 수(사이즈)는 더 유연한 관계를 가질 수 있다. 예를 들어, 사이즈-8 FFT는 길이-32 신호 샘플에 기초하여 생성될 수 있다.
일부 실시예들에서, 코더(400)는 상이한 프레임들에 대해 사용할 다수의 윈도우 사이즈들 사이에서 선택하도록 구성될 수 있다. 분석 및 제어 블록(405)은, 주로 톤 콘텐츠로 구성된 프레임들에 대해 긴 윈도우들이 사용되어야 하는 반면, 예를 들어, 과도 콘텐츠로 구성된 프레임들에 대해 짧은 윈도우들이 사용되어야 한다고 결정할 수 있다. 다른 실시예들에서, 코더(400)는 긴 윈도우들, 짧은 윈도우들 및 중간 사이즈의 윈도우들을 포함하는 더 다양한 윈도우 사이즈들을 지원하도록 구성될 수 있다. 분석 및 제어 블록(405)은 오디오 콘텐츠(예를 들어, 톤 콘텐츠, 과도 콘텐츠)의 특성들에 기초하여 각각의 프레임에 대한 적절한 윈도우 사이즈를 선택하도록 구성될 수 있다.
일부 실시예들에서, 변환 사이즈는 윈도우 길이에 대응한다. 예를 들어, 긴 시간-길이 윈도우에 대응하는 윈도우잉된 세그먼트의 경우, 결과적 시간-주파수 표현은 낮은 시간 분해능 그러나 높은 주파수 분해능을 갖는다. 예를 들어, 짧은 시간-길이 윈도우에 대응하는 윈도우잉된 세그먼트의 경우, 결과적 시간-주파수 표현은 긴-윈도우 세그먼트에 대응하는 시간-주파수 표현보다 비교적 더 높은 시간 분해능 그러나 더 낮은 주파수 분해능을 갖는다. 일부 경우들에서, 신호(401)의 프레임은 도 3의 예시적인 프레임(307)의 예시적인 짧은 윈도우들(317)에 의해 예시된 바와 같이 하나 초과의 윈도우잉된 세그먼트와 연관될 수 있고, 이는 프레임(307)의 대응하는 부분에 대해 윈도우잉된 세그먼트를 생성하기 위해 각각 사용되는 다수의 짧은 윈도우들과 연관된다.
오디오 신호 프레임들의 시간 시퀀스에 걸친 시간-주파수 분해능의 변형 예들
당업자들에 의해 이해될 바와 같이, 오디오 신호 프레임은 예를 들어, MDCT 컴포넌트들과 같은 신호 변환 컴포넌트들의 집성으로서 표현될 수 있다. 신호 변환 컴포넌트들의 이러한 집성은 시간-주파수 표현으로 지칭될 수 있다. 또한, 이러한 시간-주파수 표현의 컴포넌트들 각각은 시간-주파수 국부화의 특정 속성들을 가질 수 있다. 즉, 특정 컴포넌트는 특정 시간 스팬 및 특정 주파수 범위에 대응하는 오디오 신호 프레임의 특성들을 표현할 수 있다. 신호 변환 컴포넌트에 대한 상대적 시간 스팬은 컴포넌트의 시간 분해능으로 지칭될 수 있다. 신호 변환 컴포넌트에 대한 상대적 주파수 범위는 신호 변환 컴포넌트의 주파수 분해능으로 지칭될 수 있다. 상대적 시간 스팬 및 주파수 범위는 컴포넌트의 시간-주파수 분해능으로 함께 지칭될 수 있다. 당업자들에 의해 또한 이해될 바와 같이, 오디오 신호 프레임의 표현은 그 표현 내의 컴포넌트들에 대응하는 시간-주파수 분해능 특성들을 갖는 것으로 설명될 수 있다. 이는 오디오 신호 프레임의 시간-주파수 분해능으로 지칭될 수 있다. 당업자들에 의해 또한 이해될 바와 같이, 컴포넌트는 기본 벡터와 같이 변환의 기능부를 지칭한다. 계수는 신호의 시간-주파수 표현에서 그 컴포넌트의 가중치를 지칭한다. 변환의 컴포넌트들은 계수들이 대응하는 함수들이다. 컴포넌트들은 정적이다. 계수들은 각각의 컴포넌트 중 얼마나 많은 것이 신호에 존재하는지를 설명한다.
당업자들에 의해 이해될 바와 같이, 시간-주파수 변환은 시간-주파수 평면의 기울기로서 도식적으로 표현될 수 있다. 윈도우들의 시퀀스 및 연관된 변환들에 대응하는 시간-주파수 표현은 마찬가지로, 시간-주파수 평면의 기울기로서 도식적으로 표현될 수 있다. 본 명세서에서 사용되는 바와 같이, 오디오 신호의 시간-주파수 타일(이하 '타일')이라는 용어는, 오디오 신호의 특정한 국부화된 시간-주파수 영역, 즉, 특정 시간 및 주파수에 센터링되고 특정 시간 분해능 및 주파수 분해능을 갖는 시간-주파수 평면의 특정 영역을 도시하는 "박스"를 지칭하고, 여기서 시간 분해능은 시간 차원(통상적으로 수평 축)에서 타일의 폭에 의해 표시되고, 주파수 분해능은 주파수 차원(통상적으로 수직 축)에서 타일의 폭으로 표시된다. 오디오 신호의 타일은 신호 변환 컴포넌트, 예를 들어, MDCT 컴포넌트를 표현할 수 있다. 오디오 신호의 시간-주파수 표현의 타일은 오디오 신호의 주파수 대역과 연관될 수 있다. 오디오 신호의 시간-주파수 표현의 상이한 주파수 대역들은 유사하게 또는 상이하게 형상화된 타일들, 즉, 동일한 또는 상이한 시간-주파수 분해능들을 갖는 타일들을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이 시간-주파수 타일링(이하 '타일링')은 예를 들어, 오디오 신호의 시간-주파수 표현의 타일들의 조합을 지칭한다. 타일링은 오디오 신호의 주파수 대역과 연관될 수 있다. 오디오 신호의 상이한 주파수 대역들은 동일한 또는 상이한 타일링들, 즉, 시간-주파수 분해능들의 동일한 또는 상이한 조합들을 가질 수 있다. 오디오 신호의 타일링은 신호 변환 컴포넌트들의 조합, 예를 들어, MDCT 컴포넌트들의 조합에 대응할 수 있다.
따라서, 본 설명에서 설명되는 그래픽 도시들에서 각각의 타일은 신호 변환 컴포넌트 및 시간-주파수 표현의 그 영역에 대한 대응하는 시간 분해능 및 주파수 분해능을 표시한다. 오디오 신호의 시간-주파수 표현에서 각각의 컴포넌트는 대응하는 계수 값을 가질 수 있고; 유사하게, 오디오 신호의 시간-주파수 타일링의 각각의 타일은 대응하는 계수 값을 가질 수 있다. 프레임과 연관된 타일들의 집합은 프레임 내에서 신호의 시간-주파수 표현 내의 컴포넌트들에 대응하는 신호 변환 계수들의 집합을 포함하는 벡터로서 표현될 수 있다. 윈도우 시퀀스들 및 대응하는 시간-주파수 타일링의 예들은 도 5a 및 도 5b, 도 6a 및 도 6b, 및 도 7a 및 도 7b에 도시된다. 도 5a 및 도 5b는, 도시된 바와 같이 프레임 경계들(520-532)의 시퀀스에 의해 시간에서 분리된 오디오 신호 프레임들(502-512)의 시퀀스 및 연관된 긴 윈도우들(520-526)(도 5a)의 대응하는 시퀀스를 표시하고 오디오 신호 프레임들(504-510)(도 5b)의 시퀀스와 연관된 시간-주파수 분해능을 표현하는 대응하는 시간-주파수 타일 프레임들(530-536)을 도시하는 신호 세그먼트화 도면(500)을 도시하는 예시적인 도면들이다. 시간-주파수 타일 프레임(530)은 신호 프레임(504)에 대응하고; 시간-주파수 타일 프레임(532)은 신호 프레임(506)에 대응하고; 시간-주파수 타일 프레임(534)은 신호 프레임(508)에 대응하고; 시간-주파수 타일 프레임(536)은 신호 프레임(510)에 대응한다. 도 5a를 참조하면, 윈도우들(520-526) 각각은 긴 프레임을 표현한다. 각각의 윈도우는 하나 초과의 오디오 신호 프레임의 부분들을 둘러싸지만, 각각의 윈도우는 윈도우에 의해 완전히 둘러싸인 오디오 신호 프레임과 주로 연관된다. 구체적으로, 오디오 신호 프레임(504)은 윈도우(520)와 연관된다. 오디오 신호 프레임(506)은 윈도우(522)와 연관된다. 오디오 신호 프레임(508)은 윈도우(524)와 연관된다. 오디오 신호 프레임(510)은 윈도우(526)와 연관된다.
도 5b를 참조하면, 타일 프레임(530)은, 먼저 (예를 들어, 도 4의 블록(407)에서) 긴 윈도우(520)를 적용하고 그 다음 (예를 들어, 도 4의 블록(409)에서) 결과적 윈도우잉된 세그먼트에 MDCT를 적용하는 것에 대응하는 오디오 신호 프레임(504)의 시간-주파수 표현의 시간-주파수 분해능을 표현한다. 타일 프레임(530)의 직사각형 블록들(540) 각각은 시간-주파수 타일 또는 단순히 타일로 지칭될 수 있다. 타일 프레임(530)의 타일들(540) 각각은 오디오 신호 프레임(504)의 시간-주파수 표현에서, MDCT 컴포넌트와 같은 신호 변환 컴포넌트에 대응할 수 있다. 당업자들에 의해 이해될 바와 같이, 오디오 신호 프레임의 시간-주파수 표현에서 신호 변환의 각각의 컴포넌트는 대응하는 계수를 가질 수 있다. (표시된 주파수 축을 따른) 타일(540)의 수직 스팬은 타일의 주파수 분해능 또는 동등하게 타일의 대응하는 변환 컴포넌트의 주파수 분해능에 대응할 수 있다. (표시된 시간 축을 따른) 타일의 수평 스팬은 타일(540)의 시간 분해능 또는 동등하게 타일의 대응하는 변환 컴포넌트의 시간 분해능에 대응할 수 있다. 더 좁은 수직 스팬은 더 높은 주파수 분해능에 대응할 수 있는 반면, 더 좁은 시간 스팬은 더 높은 시간 분해능에 대응할 수 있다. 타일 프레임(530)의 도시는, 그래픽 도시를 실용적이 되게 하기 위해 도시된 타일들의 수를 감소시키기 위한 단순화들로, 오디오 신호 프레임(504)에 대응하는 시간-주파수 표현의 시간-주파수 분해능의 예시적인 표현일 수 있음이 당업자들에 의해 이해될 수 있다. 타일 프레임(530)의 예시는 16개의 타일들을 도시하는 반면, 오디오 코더의 통상적인 실시예는 오디오 신호 프레임의 시간-주파수 표현에서 수백개의 컴포넌트들을 통합할 수 있다.
타일 프레임(532)은 오디오 신호 프레임(506)의 시간-주파수 표현의 시간-주파수 분해능을 표현한다. 타일 프레임(534)은 오디오 신호 프레임(508)의 시간-주파수 표현의 시간-주파수 분해능을 표현한다. 타일 프레임(536)은 오디오 신호 프레임(510)의 시간-주파수 표현의 시간-주파수 분해능을 표현한다. 타일 프레임들 내의 타일 차원들은 시간-주파수 분해능을 표시한다. 앞서 설명된 바와 같이, (수직) 주파수 방향에서의 타일 폭은 주파수 분해능을 표시한다. (수직) 주파수 방향에서 타일이 더 좁을수록, 수직으로 정렬된 타일들의 수는 더 크고, 이는 더 높은 주파수 분해능을 표시한다. (수평) 시간 방향에서의 타일 폭은 시간 분해능을 표시한다. (수평) 시간 방향에서 타일이 더 좁을수록, 수평으로 정렬된 타일들의 수는 더 크고, 이는 더 높은 시간 분해능을 표시한다. 타일 프레임들(530-536) 각각은 (수직) 주파수 축을 따라 좁은 복수의 개별적인 타일들을 포함하고, 이는 높은 주파수 분해능을 표시한다. 타일 프레임들(530-536)의 개별적인 타일들은 (수평) 시간 축을 따라 넓고, 이는 낮은 시간 분해능을 표시한다. 타일 프레임들(530-536) 모두가 수직으로 좁고 수평으로 넓은 동일한 타일들을 가지면, 타일 프레임들(530-536)에 의해 표현되는 대응하는 오디오 신호 프레임들(504-510) 모두는 도시된 바와 같이 동일한 시간-주파수 분해능을 갖는다.
도 6a 및 도 6b는, 오디오 신호 프레임들(602-612)의 시퀀스 및 연관된 윈도우들(620-626)(도 6a)의 대응하는 시퀀스를 표시하고 오디오 신호 프레임들(604-610)(도 6b)의 시퀀스와 연관된 시간-주파수 분해능을 표현하는 시간-주파수 타일 프레임들(630-632)의 시퀀스를 도시하는 신호 세그먼트화 도면을 도시하는 예시적인 도면들이다. 도 6a를 참조하면, 윈도우(620)는 긴 윈도우를 표현하고; 대응하는 오디오 프레임(604)은 긴-윈도우 프레임으로 지칭될 수 있다. 윈도우(624)는 짧은 윈도우를 표현하고; 대응하는 오디오 프레임(608)은 짧은-윈도우 프레임으로 지칭될 수 있다. 윈도우들(622 및 626)은 전환 윈도우들이고; 대응하는 오디오 프레임들(606 및 610)은 전환-윈도우 프레임들 또는 전환 프레임들로 지칭될 수 있다. 전환 프레임(606)은 짧은-윈도우 프레임(608)에 선행한다. 전환 프레임(610)은 짧은-윈도우 프레임(618)에 후속한다.
도 6b를 참조하면, 타일 프레임들(630, 632 및 636)은 동일한 시간-주파수 분해능들을 갖고 오디오 신호 프레임들(604, 606 및 610)에 각각 대응한다. 타일 프레임들(630, 632 및 636) 내의 타일들(640, 642, 646)은 높은 주파수 분해능 및 낮은 시간 분해능을 표시한다. 타일 프레임(634)은 오디오 신호 프레임(624)에 대응한다. 타일 프레임(634) 내의 타일들(634)은, 긴-윈도우들(620) 및 전환 윈도우들(622, 626)(긴 윈도우(620)와 유사한 시간 스팬을 가질 수 있음)과 각각 연관된 오디오 신호 프레임들(604, 606, 610)에 대응하는 타일 프레임들(630, 632, 636) 내의 타일들(640, 642, 646)보다 더 높은 시간 분해능(시간 차원에서 더 좁음) 및 더 낮은 주파수 분해능(주파수 차원에서 더 넓음)을 표시한다. 이러한 예에서, 짧은-윈도우 프레임(608)은 8개의 윈도우잉된 세그먼트들을 포함하는 반면, 긴-윈도우 및 전환-윈도우 프레임들(604, 606, 610) 각각은 하나의 윈도우잉된 세그먼트를 포함한다. 타일 프레임(634)의 타일들(644)은 대응적으로, 타일 프레임들(630, 632, 636)의 타일들(640, 642, 646)과 비교되는 경우 주파수 차원에서 8배 더 넓고 시간 차원에서 1/8 폭이다.
도 7a 및 도 7b는, 오디오 신호 프레임들(704-710)의 시퀀스 및 연관된 윈도우들(720-726)(도 7a)의 대응하는 시퀀스를 표시하고 오디오 신호 프레임들(704-710)(도 7b)의 시퀀스와 연관된 시간-주파수 분해능들을 표현하는 대응하는 시간-주파수 타일 프레임들(730-736)을 도시하는 타이밍도를 도시하는 예시적인 도면들이다. 도 7a를 참조하면, 오디오 신호 프레임(704)은 하나의 윈도우(720)와 연관된다. 오디오 신호 프레임(706)은 2개의 윈도우들(722)과 연관된다. 오디오 신호 프레임(708)은 4개의 윈도우들(724)과 연관된다. 오디오 신호 프레임(710)은 8개의 윈도우들(726)과 연관된다. 따라서, 각각의 프레임과 연관된 윈도우들의 수는 2의 거듭제곱과 관련되는 것이 인식될 것이다.
도 7b를 참조하면, 주파수 분해능은 타일 프레임들(730-736)의 예시적인 시퀀스에 대해 점진적으로 감소한다. 프레임(730) 내의 타일들(740)은 최고 주파수 분해능을 갖고, 타일 프레임(736) 내의 타일들(746)은 최저 주파수 분해능을 갖는다. 반대로, 시간 분해능은 타일 프레임들(730-736)의 예시적인 시퀀스에 대해 점진적으로 증가한다. 프레임(730) 내의 타일들(740)은 최저 시간 분해능을 갖고, 타일 프레임(736) 내의 타일들(746)은 최고 시간 분해능을 갖는다.
일부 실시예들에서, 코더(400)는 2의 거듭제곱들과 관련되지 않은 다수의 윈도우 사이즈들을 사용하도록 구성될 수 있다. 일부 실시예들에서, 도 7a 및 도 7b의 예에서와 같이 2의 거듭제곱들과 관련된 윈도우 사이즈들을 사용하는 것이 바람직할 수 있다. 일부 실시예들에서, 2의 거듭제곱들과 관련된 윈도우 사이즈들을 사용하는 것은 효율적인 변환 구현을 용이하게 할 수 있다. 일부 실시예들에서, 2의 거듭제곱들과 관련된 윈도우 사이즈들을 사용하는 것은 상이한 윈도우 사이즈들과 연관된 프레임들에 대한 일정한 데이터 레이트 및/또는 일정한 비트스트림 포맷을 용이하게 할 수 있다.
도 5b, 도 6b 및 도 7b, 및 후속 도면들에 도시된 시간-주파수 타일 프레임들은 통상적인 실시예들에서 시간-주파수 표현들의 문자 그대로의 도시들이 아니라 예시적인 예들로서 의도된다. 일부 실시예들에서, 긴-윈도우 세그먼트는 1024개의 시간 샘플들로 구성될 수 있고, MDCT와 같은 연관된 변환은 512개의 계수들을 도출할 수 있다. 문자 그대로의 대응하는 도시를 제공하는 타일 프레임은 512개의 높은 주파수 분해능 타일들을 도시하며, 이는 도면에 대해 실시불가능할 것이다. 도 7a 및 도 7b에 예시된 바와 같이, 다수의 윈도우 사이즈들을 사용하도록 오디오 코더(400)를 구성하는 것은 오디오의 각각의 프레임에 대한 시간-주파수 분해능에 대한 다수의 가능성들을 제공한다. 일부 경우들에서, 신호 특성들에 따라, 시간-주파수 분해능이 개별적인 오디오 신호 프레임 내에서 변할 수 있도록 추가적인 유연성을 제공하는 것이 유리할 수 있다.
도 8a 및 도 8b는, 오디오 신호 프레임들(804-810)의 시퀀스 및 연관된 윈도우들(820-826)(도 8a)의 대응하는 시퀀스를 표시하고 오디오 신호 프레임들(804-810)(도 8b)의 시퀀스와 연관된 시간-주파수 분해능들을 표현하는 대응하는 시간-주파수 타일 프레임들(830-836)을 도시하는 타이밍도를 도시하는 예시적인 도면들이다. 도 8a의 윈도우 시퀀스(800)는 도 7a의 윈도우 시퀀스(700)와 동일하다. 그러나, 도 8b의 시간-주파수 타일링 시퀀스(801)는 도 7b의 시간-주파수 타일링 시퀀스(700)와 상이하다. 도 8a 및 도 8b의 프레임(804)에 대응하는 시간-주파수 타일 프레임(830)의 타일들(840)은 도 7a 및 도 7b의 프레임(704)에 대응하는 대응 타일 프레임(730)에서와 같은 균일한 높은 주파수 분해능 타일들로 구성된다. 유사하게, 도 8a 및 도 8b의 프레임(810)에 대응하는 시간-주파수 타일 프레임(836)의 타일들(846)은 도 7a 및 도 7b의 프레임(710)에 대응하는 대응 타일 프레임(736)에서와 같은 균일한 높은 시간 분해능 타일들로 구성된다. 그러나, 프레임(806)에 대응하는 타일 프레임(832)의 타일들(842-1, 842-2)의 경우, 타일링은 불균일하고; 그 영역의 저-주파수 부분은 (오디오 신호 프레임(804) 및 대응하는 타일 프레임(830)에 대한 것들과 같이) 높은 주파수 분해능을 갖는 타일들(842-1)로 구성되는 반면, 그 영역의 고-주파수 부분은 비교적 더 낮은 주파수 분해능 및 더 높은 시간 분해능 타일들(842-2)로 구성된다. 오디오 신호 프레임(808)에 대응하는 타일 프레임 영역(834)의 경우, 그 영역의 고-주파수 부분은 (오디오 신호 프레임(810) 및 대응하는 타일 프레임(836)에 대한 것들과 같이) 높은 시간 분해능을 갖는 타일들(844-2)로 구성되는 반면, 그 영역의 저-주파수 부분은 비교적 더 낮은 시간 분해능 및 더 높은 주파수 분해능
타일들(844-1)로 구성된다. 일부 실시예들에서, (도 8의 도시에서 오디오 신호 프레임들(806 및 808)에 대한 것과 같이) 일부 프레임들 내에서 불균일한 시간-주파수 분해능을 사용할 수 있는 오디오 코더(400)는 각각의 프레임에 대한 균일한 시간-주파수 분해능으로 제한된 코더보다 통상적인 코딩 성능 메트릭들에 따라 더 양호한 코딩 성능을 달성할 수 있다.
도 7a 및 도 7b에 도시된 바와 같이, 오디오 신호 코더(400)는 프레임마다 가변적이지만 각각의 타일 프레임 내에서 균일한 타일들을 갖는 타일 프레임들을 제공하기 위해, 대응하는 사이즈의 MDCT와 함께 가변-사이즈 윈도우잉 방식을 제공할 수 있다. 도 8a 및 도 8b에 대해 앞서 설명된 바와 같이, 오디오 신호 코더(400)는 오디오 신호 특성들에 따라 일부 타일 프레임들 내에서 불균일한 타일들을 갖는 타일 프레임들을 제공할 수 있다. 가변 윈도우 사이즈 및 대응하는 사이즈의 MDCT를 사용하는 실시예들에서, 불균일한 시간-주파수 타일링은 아래에서 설명될 소정의 방식에서 그 프레임에 대한 변환 계수 데이터를 프로세싱함으로써 오디오 프레임에 대응하는 시간-주파수 영역 내에서 실현될 수 있다. 당업자들에 의해 이해될 바와 같이, 불균일한 시간-주파수 타일링은 대안적으로, 예를 들어, 웨이블릿 패킷 필터 뱅크를 사용하여 실현될 수 있다.
오디오 신호 프레임의 시간-주파수 분해능의 수정
당업자들에 의해 이해될 바와 같이, 오디오 신호 표현의 시간-주파수 분해능은 신호의 시간-주파수 표현에 시간-주파수 변환을 적용함으로써 수정될 수 있다. 오디오 신호의 시간-주파수 분해능의 수정은 시간-주파수 타일들을 사용하여 시각화될 수 있다. 도 9는 시간-주파수 타일 프레임에 대한 시간-주파수 분해능 수정 프로세스의 2개의 예시적인 예들을 도시하는 예시적인 도면이다. 일부 실시예들에서, 시간-주파수 타일 프레임들 및 연관된 시간-주파수 변환들은 도 9에 도시된 예들보다 더 복잡할 수 있지만, 도 9의 상황에서 설명된 방법들이 여전히 적용가능할 수 있다.
프레임(901)은 더 높은 시간 분해능 및 더 낮은 주파수 분해능을 갖는 타일들(902)로 구성된 초기 시간-주파수 타일 프레임을 표현한다. 설명의 목적으로, 대응하는 신호 표현은 4개의 요소들로 구성된 벡터(미도시)로서 표현될 수 있다. 일 실시예에서, 시간-주파수 표현의 분해능은 더 낮은 시간 분해능 및 더 높은 주파수 분해능을 갖는 타일들(904)로 구성된 시간-주파수 타일 프레임(905)을 도출하기 위해 시간-주파수 변환 프로세스(903)에 의해 수정될 수 있다. 일부 실시예들에서, 이러한 변환은 초기 신호 벡터의 행렬 곱셈에 의해 실현될 수 있다. 초기 표현을 로 그리고 수정된 표현을 로 표시하면, 시간-주파수 변환 프로세스(903)는 일 실시예에서 다음과 같이 실현될 수 있고
(6)
여기서 행렬은, 당업자들에 의해 이해될 바와 같이, 행렬 변환들을 사용하여 구현될 수 있는 하르(Haar) 분석 필터 뱅크에 부분적으로 기초한다. 다른 실시예들에서, 행렬 변환들을 사용하여 구현될 수 있는 왈시-하다마드(Walsh-Hadamard) 분석 필터 뱅크와 같은 대안적인 시간-주파수 변환들이 사용될 수 있다. 일부 실시예들에서, 변환의 차원들 및 구조는 원하는 시간-주파수 분해능 수정에 따라 상이할 수 있다. 당업자들에 의해 이해될 바와 같이, 일부 실시예들에서, 대안적 변환들은 2-채널 하르 필터 뱅크 구조를 반복하는 것에 부분적으로 기초하여 구성될 수 있다.
다른 예에서, 초기 시간-주파수 타일 프레임(907)은 더 높은 주파수 분해능 및 더 낮은 시간 분해능을 갖는 타일들(906)로 구성된 간단한 시간-주파수 타일링을 표현한다. 설명의 목적으로, 대응하는 신호 표현은 4개의 요소들로 구성된 벡터(미도시)로서 표현될 수 있다. 일 실시예에서, 타일 프레임(907)의 분해능은 더 높은 시간 분해능 및 더 낮은 주파수 분해능을 갖는 타일들(910)로 구성된 수정된 시간-주파수 타일 프레임(911)을 도출하기 위해 시간-주파수 변환 프로세스(909)에 의해 수정될 수 있다. 앞서와 같이, 이러한 변환은 초기 신호 벡터의 행렬 곱셈에 의해 실현될 수 있다. 다시 초기 표현을 로 그리고 수정된 표현을 로 표시하면, 시간-주파수 변환(909)은 일 실시예에서 다음과 같이 실현될 수 있고
(7)
여기서 행렬은, 당업자들에 의해 이해될 바와 같이, 하르 분석 필터 뱅크에 부분적으로 기초한다. 다른 실시예들에서, 행렬 변환들을 사용하여 구현될 수 있는 왈시-하다마드 합성 필터 뱅크와 같은 대안적인 시간-주파수 변환들이 사용될 수 있다. 일부 실시예들에서, 시간-주파수 변환의 차원들 및 구조는 원하는 시간-주파수 분해능 수정에 따라 상이할 수 있다. 당업자들에 의해 이해될 바와 같이, 일부 실시예들에서, 대안적 시간-주파수 변환들은 2-채널 하르 필터 뱅크 구조를 반복하는 것에 부분적으로 기초하여 구성될 수 있다.
특정 변환 블록 세부사항들
도 10a는 도 4의 인코더(400)의 변환 블록(409)의 특정 세부사항들을 도시하는 예시적인 블록도이다. 일부 실시예들에서, 분석 및 제어 블록(405)은 각각의 오디오 신호 프레임에 대한 윈도우 길이를 적응시키도록 윈도우잉 블록(407)을 구성하고, 또한 윈도우 길이에 기초한 변환 사이즈를 갖는 MDCT와 같은 대응하는 변환을 윈도우잉 블록(407)에 의해 출력되는 각각의 윈도우잉된 오디오 세그먼트에 적용하도록 시간-주파수 변환 블록(1003)을 구성하기 위해 제어 신호들을 제공할 수 있다. 주파수 대역 그룹화 블록(1005)은 프레임에 대한 신호 변환 계수들을 그룹화한다. 분석 및 제어 블록(405)은 아래에서 더 완전히 설명되는 바와 같이 각각의 프레임 내의 신호 변환 계수들을 수정하도록 시간-주파수 변환 수정 블록(1007)을 구성한다.
더 상세하게는, 도 4의 인코더(400)의 변환 블록(409)은 도 10a의 블록도에 예시된 바와 같이 몇몇 블록들을 포함할 수 있다. 일부 실시예들에서, 각각의 프레임에 대해 윈도우잉 블록(407)은 하나 이상의 윈도우잉된 세그먼트들을 입력(1001)으로서 변환 블록(409)에 제공한다. 시간-주파수 변환 블록(1003)은 하나 이상의 윈도우잉된 세그먼트들을 표현하는 MDCT 계수들과 같은 신호 변환 계수들을 생성하기 위해 각각의 윈도우잉된 세그먼트에 MDCT와 같은 변환을 적용할 수 있고, 여기서 각각의 변환 계수는 당업자들에 의해 이해될 바와 같이 변환 컴포넌트에 대응한다. 아래에서 더 완전히 설명되는 바와 같이, 시간-주파수 변환 블록(1003)에 의해 윈도우잉된 세그먼트에 부과되는 시간-주파수 변환의 사이즈는 윈도우잉 블록(407)에 의해 제공되는 윈도우잉된 세그먼트(1001)의 사이즈에 의존한다. 주파수 대역 그룹화 블록(1005)은 MDCT 계수들과 같은 신호 변환 계수들을 주파수 대역들에 따른 그룹들로 배열할 수 있다. 일례로서, 0 내지 1 kHz 범위의 주파수들을 포함하는 제1 주파수 대역에 대응하는 MDCT 계수들은 주파수 대역으로 그룹화될 수 있다. 일부 실시예들에서, 그룹 배열은 벡터 형태일 수 있다. 예를 들어, 시간-주파수 변환 블록(1003)은 특정 주파수들(말하자면 0 내지 24 kHz)에 대응하는 MDCT 계수들의 벡터를 유도할 수 있다. 벡터 내의 인접한 계수들은 시간-주파수 표현에서 인접한 주파수 컴포넌트들에 대응할 수 있다. 주파수 대역 그룹화 블록(1005)은 예를 들어, 제1 주파수 대역 0 내지 1 kHz, 제2 주파수 대역 1 kHz 내지 2 kHz, 제3 주파수 대역 2 kHz 내지 4 kHz, 및 제4 주파수 대역 4 kHz 내지 6 kHz와 같은 하나 이상의 주파수 대역들을 확립할 수 있다. 다수의 윈도우들 및 다수의 대응하는 변환들을 포함하는 프레임들에 대한 주파수 대역 그룹화들에서, 벡터 내의 인접한 계수들은 인접한 시간들에서 유사한 주파수 컴포넌트들에 대응할 수 있는데, 즉, 프레임에 걸쳐 적용된 연속적인 MDCT들의 동일한 주파수 컴포넌트에 대응할 수 있다.
시간-주파수 변환 수정 블록(1007)은 일반적으로 도 9를 참조하여 앞서 설명된 방식으로 주파수 대역 그룹들에 대해 시간-주파수 변환들을 수행할 수 있다. 일부 실시예들에서, 시간-주파수 변환들은 행렬 연산들을 수반할 수 있다. 각각의 주파수 대역은, 분석 및 제어 블록(405)에 의해 유도되고 시간-주파수 변환 수정 블록(1007)에 공급될 수 있는 신호 변환 계수들의 각각의 주파수-대역 그룹에 대해 어떤 종류의 시간-주파수 변환을 수행할지를 표시하는 제어 정보(도 10a에는 미도시)에 따른 변환으로 프로세싱될 수 있다. 프로세싱된 주파수 대역 데이터는 변환 블록(409)의 출력(1009)에서 제공될 수 있다. 오디오 코더(400)의 상황에서는, 일부 실시예들에서, 윈도우 사이즈, MDCT 변환 사이즈, 주파수 대역 그룹화 및 시간-주파수 변환들과 관련된 정보가 디코더(1600)에 의한 사용을 위해 비트스트림(413)으로 인코딩될 수 있다.
일부 실시예들에서, 오디오 코더(400)는 인코더 프로세싱에 대한 적응형 시간-주파수 분해능을 결정하기 위한 제어 메커니즘으로 구성될 수 있다. 이러한 실시예들에서, 분석 및 제어 블록(405)은 윈도우잉 블록(407)에 대한 윈도우잉 기능들, 시간-주파수 변환 블록(1003)에 대한 변환 사이즈들 및 시간-주파수 변환 수정 블록(1007)에 대한 시간-주파수 변환들을 결정할 수 있다. 도 10b를 참조하여 설명되는 바와 같이, 분석 및 제어 블록(405)은 프레임에 대한 다수의 대안적인 가능한 시간-주파수 분해능들을 생성하고, 상이한 가능한 시간-주파수 분해능들의 코딩 효율들의 비교를 포함하는 분석에 기초하여 프레임에 적용될 시간-주파수 분해능을 선택한다.
분석 블록 세부사항들
도 10b는 도 4의 인코더(400)의 분석 및 제어 블록(405)의 특정 세부사항들을 도시하는 예시적인 블록도이다. 분석 및 제어 블록(405)은 입력으로서 분석 프레임(1021)을 수신하고, 아래에서 더 완전히 설명되는 제어 신호들(1160)을 제공한다. 일부 실시예들에서, 분석 프레임은 프레이밍 블록(403)에 의해 제공되는 가장 최근에 수신된 프레임일 수 있다. 분석 및 제어 블록(405)은 다수의 시간-주파수 변환 분석 블록들(1023, 1025, 1027, 1029) 및 다수의 주파수 대역 그룹화 블록들(1033, 1035, 1037, 1039)을 포함할 수 있다. 분석 및 제어 블록(405)은 또한 분석 블록(1043)을 포함할 수 있다.
분석 및 제어 블록(405)은 분석 프레임(1021)에 대해 상이한 시간-주파수 분해능들을 갖는 다수의 상이한 시간-주파수 변환들을 수행한다. 더 구체적으로, 제1, 제2, 제3 및 제4 시간-주파수 변환 분석 블록들(1023, 1025, 1027 및 1029)은 분석 프레임(1021)의 상이한 개별적인 제1, 제2, 제3 및 제4 시간-주파수 변환들을 수행한다. 도 10b의 예시적인 도면은 예로서 4개의 상이한 시간-주파수 변환 분석 블록들을 도시한다. 일부 실시예들에서, 다수의 시간-주파수 변환 분석 블록들 각각은 MDCT 계수들과 같은 신호 변환 계수들의 다수의 개별적인 세트들을 생성하기 위해, 분석 프레임(1021)에 개별적인 선택된 윈도우 사이즈를 갖는 슬라이딩-윈도우 변환을 적용한다. 도 10b에 도시된 예에서, 블록들(1023-1029) 각각은 상이한 윈도우 사이즈를 갖는 슬라이딩-윈도우 MDCT를 적용할 수 있다. 다른 실시예들에서, 상이한 윈도우 사이즈들을 갖는 슬라이딩-윈도우 MDCT들을 근사화하는 시간-주파수 분해능들을 갖는 대안적인 시간-주파수 변환들이 사용될 수 있다.
제1, 제2, 제3 및 제4 주파수 대역 그룹화 블록들(1033-1039)은 MDCT 계수들일 수 있는 시간-주파수 신호 변환 계수들(각각 블록들(1023-1029)에 의해 유도됨)을 주파수 대역들에 따른 그룹들로 배열할 수 있다. 주파수 대역 그룹화는 소정의 방식으로 체계화된 변환 계수들의 벡터 배열로서 표현될 수 있다. 예를 들어, 단일 윈도우에 대한 계수들을 그룹화할 때, 계수들은 주파수 순서로 배열될 수 있다. 하나 초과의 윈도우에 대한 계수들을 그룹화할 때(예를 들어, 각각의 윈도우에 대해 하나씩 컴퓨팅된 계수들과 같은 신호 변환 계수들의 하나 초과의 세트가 존재할 때), 변환 출력들의 다수의 세트들은 벡터 내에서 서로 인접한 유사한 주파수들을 갖는 벡터로 재배열되고 시간 순서로(이들이 대응하는 윈도우들의 시퀀스의 순서로) 배열될 수 있다. 도 10b는 4개의 상이한 시간-주파수 변환 블록들(1023-1029) 및 4개의 대응하는 주파수 대역 그룹화 블록들(1033-1039)을 도시하는 한편, 일부 실시예들은 예를 들어, 2개, 4개, 5개 또는 6개의 상이한 수의 변환 및 주파수 대역 그룹화 블록들을 사용할 수 있다.
상이한 시간-주파수 분해능들에 대응하는 시간-주파수 변환 계수들의 주파수-대역 그룹화들은 시간-주파수 분해능 분석 프로세스에 따라 구성된 분석 블록(1043)에 제공될 수 있다. 일부 실시예들에서, 분석 프로세스는 오직 단일 분석 프레임에 대응하는 계수들만을 분석할 수 있다. 일부 실시예들에서, 분석 프로세스는 현재 분석 프레임 뿐만 아니라 선행하는 프레임들의 프레임들에 대응하는 계수들을 분석할 수 있다. 일부 실시예들에서, 분석 프로세스는 다수의 프레임들에 걸친 계수들을 분석하기 위해, 아래에 설명된 바와 같이, 시간에 걸친 트렐리스 데이터 구조 및/또는 주파수에 걸친 트렐리스 데이터 구조를 이용할 수 있다. 분석 및 제어 블록(405)은 인코딩 프레임의 프로세싱을 위해 제어 정보를 제공할 수 있다. 일부 실시예들에서, 제어 정보는 인코더(400)의 윈도우잉 블록(407)에 대한 윈도우잉 기능들, 변환 블록(409)의 블록(1003)에 대한 변환 사이즈들(예를 들어, MDCT 사이즈들), 및 인코더(400)의 변환 블록(409)의 수정 블록(1007)에 대한 로컬 시간-주파수 변환들을 포함할 수 있다. 일부 실시예들에서, 제어 정보는 인코더 출력 비트스트림(413)에 포함하기 위해 블록(411)에 제공될 수 있다.
도 10c는 도 10b의 시간-주파수 변환 블록들(1023-1029)에 의한 시간-주파수 변환들 및 주파수 대역 그룹화 블록들(1033-1039)에 의한 주파수 대역-기반 시간-주파수 변환 계수 그룹화들을 표현하는 예시적인 기능 블록도이다. 제1 시간-주파수 변환 분석 블록(1023)은 신호 변환 계수들(예를 들어, MDCT 계수들)의 제1 세트{CT-F1}를 포함하는 제1 시간-주파수 변환 프레임(1050)을 생성하기 위해 관심있는 전체 주파수 스펙트럼(F)에 걸쳐 분석 프레임(1021)의 제1 시간-주파수 변환을 수행한다. 예를 들어, 제1 시간-주파수 변환은 예를 들어, 도 7의 프레임(730)의 타일들(740)의 시간-주파수 분해능에 대응할 수 있다. 제1 주파수 대역 그룹화 블록(1033)은, 신호 변환 계수들의 제1 세트의 제1 서브세트 {CT-F1}1이 제1 주파수 대역 FB1로 그룹화되고; 신호 변환 계수들의 제1 세트의 제2 서브세트 {CT-F1}2가 제2 주파수 대역 FB2로 그룹화되고; 신호 변환 계수들의 제1 세트의 제3 서브세트 {CT-F1}3이 제3 주파수 대역 FB3으로 그룹화되고; 신호 변환 계수들의 제1 세트의 제4 서브세트 {CT-F1}4가 제4 주파수 대역 FB4로 그룹화되도록 제1 시간-주파수 변환 프레임(1050)의 신호 변환 계수들의 제1 세트{CT-F1}를 다수의(예를 들어, 4개의) 주파수 대역들 FB1-FB4로 그룹화함으로써 제1 그룹화된 시간-주파수 변환 프레임(1060)을 생성한다.
유사하게, 제2 시간-주파수 변환 분석 블록(1025)은 신호 변환 계수들(예를 들어, MDCT 계수들)의 제2 세트{CT-F2}를 포함하는 제2 시간-주파수 변환 프레임(1052)을 생성하기 위해 관심있는 전체 주파수 스펙트럼(F)에 걸쳐 분석 프레임(1021)의 제2 시간-주파수 변환을 수행한다. 예를 들어, 제2 시간-주파수 변환은 예를 들어, 도 7b의 프레임(732)의 타일들(742)의 시간-주파수 분해능에 대응할 수 있다. 제2 주파수 대역 그룹화 블록(1033)은, 제2 시간-주파수 변환 프레임(1052)의 신호 변환 계수들의 제1 세트{CT-F2}를, 제1 주파수 대역 FB1로 그룹화된 신호 변환 계수들의 제2 세트의 제1 서브세트 {CT-F2}1; 제2 주파수 대역 FB2로 그룹화된 신호 변환 계수들의 제2 세트의 제2 서브세트 {CT-F2}2; 제3 주파수 대역 FB3으로 그룹화된 신호 변환 계수들의 제3 세트의 제3 서브세트 {CT-F2}3; 및 제4 주파수 대역 FB4로 그룹화된 신호 변환 계수들의 제2 세트의 제4 서브세트 {CT-F2}4로 그룹화함으로써 제2 그룹화된 시간-주파수 변환 프레임(1062)을 생성한다.
마찬가지로, 제3 시간-주파수 변환 분석 블록(1027)은 유사하게, 신호 변환 계수들의 제3 세트{CT-F3}를 포함하는 제3 시간-주파수 변환 프레임(1054)을 생성하기 위해 제4 시간-주파수 변환을 수행한다. 예를 들어, 제3 시간-주파수 변환은 예를 들어, 도 7의 프레임(734)의 타일들(744)의 시간-주파수 분해능에 대응할 수 있다. 제3 주파수 대역 그룹화 블록(1037)은 유사하게, 신호 변환 계수들의 제3 세트의 제1 내지 제4 서브세트들 {CT-F3}1, {CT-F3}2, {CT-F3}3, 및 {CT-F3}4를, 제1 내지 제4 주파수 대역들 FB1-FB4로 그룹화함으로써 제3 그룹화된 시간-주파수 변환 프레임(1064)을 생성한다.
마지막으로, 제4 시간-주파수 변환 분석 블록(1029)은 유사하게, 신호 변환 계수들의 제4 세트{CT-F4}를 포함하는 제4 시간-주파수 변환 프레임(1056)을 생성하기 위해 제4 시간-주파수 변환을 수행한다. 예를 들어, 제4 시간-주파수 변환은 예를 들어, 도 7의 프레임(736)의 타일들(746)의 시간-주파수 분해능에 대응할 수 있다. 제4 주파수 대역 그룹화 블록(1039)은 유사하게, 제4 시간-주파수 변환 프레임(1056)의 신호 변환 계수들의 제4 세트의 제1 내지 제4 서브세트들 {CT-F4}1, {CT-F4}2, {CT-F4}3, 및 {CT-F4}4를, 제1 내지 제4 주파수 대역들 FB1-FB4로 그룹화함으로써 제4 그룹화된 시간-주파수 변환 프레임(1066)을 생성한다.
따라서, 도 10c의 예시적인 실시예에서, 시간-주파수 변환 블록들(1023-1029) 및 주파수 대역 그룹화 블록들(1033-1039)은 상이한 시간-주파수 분해능에 대응하는 계수들의 각각의 세트와 분석 프레임(1021)에 대한 시간-주파수 신호 변환 계수들의 다수의 세트들을 생성하는 것이 인식될 것이다. 일부 실시예들에서, 제1 시간-주파수 변환 분석 블록(1023)은 다수의 세트들 중 최고 주파수 분해능 및 최저 시간 분해능을 갖는 신호 변환 계수들의 제1 세트{CT-F1}를 생성할 수 있다. 일부 실시예들에서, 제4 시간-주파수 변환 분석 블록(1029)은 다수의 세트들 중 최저 주파수 분해능 및 최고 시간 분해능을 갖는 신호 변환 계수들의 제4 세트{CT-F4}를 생성할 수 있다. 일부 실시예들에서, 제2 시간-주파수 변환 분석 블록(1025)은 제1 세트{CT-F1}보다 낮고 제3 세트 {CT-F3}보다 높은 주파수 분해능 및 제1 세트{CT-F1}보다 높고 제3 세트{CT-F3}보다 낮은 시간 분해능을 갖는 신호 변환 계수들의 제2 세트{CT-F2}를 생성할 수 있다. 일부 실시예들에서, 제3 시간-주파수 변환 분석 블록(1027)은 제2 세트{CT-F2}보다 낮고 제4 세트 {CT-F4}보다 높은 주파수 분해능 및 제2 세트{CT-F2}보다 높고 제4 세트{CT-F4}보다 낮은 시간 분해능을 갖는 신호 변환 계수들의 제3 세트{CT-F3}를 생성할 수 있다.
도 11a는 수신된 오디오 신호의 오디오 신호 프레임들에 대한 윈도우 사이즈들 및 시간-주파수 분해능들을 결정하기 위해 상이한 시간-주파수 분해능들을 갖는 시간-주파수 변환들을 생성 및 분석하는, 도 10b의 분석 및 제어 블록(405)의 구성을 표현하는 예시적인 제어 흐름도이다. 도 11b는 인코딩 프레임(1182), 분석 프레임(1021), 수신된 프레임(1186) 및 중간 프레임들(1188)을 포함하는 오디오 신호 프레임들(1180)의 시퀀스를 표현하는 예시적인 도면이다. 일부 실시예들에서, 도 4의 분석 및 제어 블록(405)은 도 11a의 흐름에 따른 오디오 프레임 프로세싱을 제어하도록 구성될 수 있다.
동작(1101)은 수신 프레임(1186)을 수신한다. 동작(1103)은 수신 프레임(1186)을 버퍼링한다. 프레이밍 블록(403)은, 인코딩 프레임(1182), 분석 프레임(1021), 수신 프레임(1186), 및 인코딩 프레임(1084)의 수신과 수신 프레임(1186)의 수신 사이의 시퀀스에서 수신된 임의의 중간 버퍼링된 프레임들(1188)을 포함하는 프레임들의 세트를 버퍼링할 수 있다. 도 11b의 예는 다수의 중간 프레임들(1188)을 도시하지만, 중간 버퍼링된 프레임들(1188)이 없거나 더 많은 중간 버퍼링된 프레임들(1188)이 존재할 수 있다. 코더(400)에 의한 프로세싱 동안, 오디오 신호 프레임은 수신된 프레임인 것으로부터, 분석 프레임인 것으로, 인코딩된 프레임인 것으로 전환될 수 있다. 즉, 수신된 프레임은 분석 및 인코딩을 위해 큐잉된다(queued). 일부 통상적인 실시예들(미도시)에서, 분석 프레임(1021)은 수신 프레임(1186)과 동일하고 일치한다. 일부 실시예들에서, 분석 프레임(1021)은 어떠한 중간적 버퍼링된 프레임들(1188) 없이 인코딩 프레임(1182)에 바로 후속할 수 있다. 또한, 일부 실시예들에서, 인코딩 프레임(1182), 분석 프레임(1021), 및 수신 프레임(1186) 모두는 동일한 프레임일 수 있다.
동작(1105)은 예를 들어, 앞서 설명된 바와 같이, 분석 프레임(1021)의 다수의 상이한 시간-주파수 변환들(상이한 시간-주파수 분해능들을 가짐)을 컴퓨팅하기 위해 다수의 시간-주파수 변환 분석 블록들(1023, 1025, 1027 및 1029)을 이용한다. 일부 실시예들에서, 1023, 1025, 1027, 또는 1029와 같은 시간-주파수 변환 블록의 동작은 분석 프레임(1021)에 걸쳐 윈도우들의 시퀀스 및 대응적 사이즈의 MDCT들을 적용하는 것을 포함할 수 있고, 여기서 윈도우들의 시퀀스 내의 윈도우들의 사이즈는 미리 결정된 세트의 윈도우 사이즈들로부터 선택될 수 있다. 시간-주파수 변환 블록들 각각은 미리 결정된 세트의 윈도우 사이즈들로부터 선택된 상이한 대응하는 윈도우 사이즈를 가질 수 있다. 윈도우 사이즈들의 미리 결정된 세트는 예를 들어, 짧은 윈도우들, 중간 윈도우들 및 긴 윈도우들에 대응할 수 있다. 다른 실시예들에서, 이러한 다양한 윈도우잉된 MDCT들에 대응하는 시간-주파수 분해능들을 갖는 변환 블록들(1023-1029)에서 대안적인 변환들이 컴퓨팅될 수 있다.
동작(1107)은 분석 프레임(1021)에 대한 변환 데이터 및 또한 잠재적으로 중간적 프레임들(1188) 및 인코딩 프레임(1182)과 같은 버퍼링된 프레임들의 변환 데이터를 분석하기 위해 하나 이상의 트렐리스 알고리즘들을 사용하도록 도 10b의 분석 블록(1043)을 구성할 수 있다. 동작(1107)의 분석은 분석 프레임(1021)에 대한 변환 데이터를 주파수 대역들로 그룹화하기 위해 시간-주파수 변환 분석 블록들(1023-1029) 및 주파수 대역 그룹화 블록들(1033-1039)을 이용할 수 있다. 일부 실시예들에서, 주파수에 걸친 트렐리스 알고리즘은 오직 단일 프레임, 즉, 분석 프레임(1021)의 변환 데이터에 대해 동작할 수 있다. 일부 실시예들에서, 시간에 걸친 알고리즘은, 분석 프레임(1021)의 변환 데이터 및 인코딩 프레임(1182)을 포함할 수 있고 또한 추가적인 하나 이상의 버퍼링된 프레임들(1088)을 포함할 수 있는 선행 버퍼링된 프레임들(1088)의 시퀀스에 대해 동작할 수 있다. 시간에 걸친 알고리즘의 일부 실시예들에서, 동작(1107)은 하나 이상의 주파수 대역들 각각에 대한 별개의 트렐리스 알고리즘들의 동작을 포함할 수 있다. 따라서 동작(1107)은 하나 이상의 트렐리스 알고리즘들의 동작을 포함할 수 있고; 동작(1107)은 또한 하나 이상의 트렐리스 구조 경로들을 통한 전환 시퀀스들에 대한 비용들의 계산을 포함할 수 있다. 동작(1109)은 트렐리스 경로 비용들에 기초하여 하나 이상의 트렐리스 알고리즘들 각각에 대한 최적의 전환 시퀀스를 결정할 수 있다. 동작(1109)은 하나 이상의 트렐리스 알고리즘들 각각에 대해 결정된 최적의 전환 시퀀스에 대응하는 시간-주파수 타일링을 추가로 결정할 수 있다. 동작(1111)은 트렐리스의 결정된 최적의 경로에 기초하여 인코딩 프레임(1182)에 대한 최적의 윈도우 사이즈를 결정할 수 있고; (주파수에 걸친 알고리즘의) 일부 실시예들에서, 분석 프레임(1021) 및 인코딩 프레임(1182)은 동일할 수 있고, 이는 트렐리스 알고리즘이 인코딩 프레임에 대해 직접 동작함을 의미한다.
동작(1113)은 윈도우 사이즈를 윈도우잉 블록(407) 및 비트스트림(413)에 통신한다. 동작(1115)은 윈도우 사이즈 선택 및 최적의 트렐리스 경로에 기초하여 최적의 로컬 변환들을 결정한다. 동작(1117)은 프레임(1182)을 인코딩하기 위해 변환 사이즈 및 최적의 로컬 변환들을 변환 블록(409) 및 비트스트림(413)에 통신한다.
따라서, 분석이 현재 수행되고 있는 프레임이 분석 프레임(1021)인 것을 이해할 것이다. 수신된 프레임(1186)은 분석 및 인코딩을 위해 큐잉된다. 인코딩 프레임은, 현재 분석 프레임 이전에 수신되었을 수 있는, 인코딩이 현재 수행되고 있는 프레임(1182)이다. 일부 실시예들에서, 하나 이상의 추가적인 중간 버퍼링된 프레임들(1188)이 존재할 수 있다.
동작(1105)에서, 시간-주파수 타일 프레임 변환 계수들의 하나 이상의 세트들이 컴퓨팅되고, 분석 프레임에 대한 도 10b의 제어 블록(405)의 블록들(1023-1029 및 1033, 1035, 1037, 1039)에 의해 주파수 대역들로 그룹화된다. 일부 실시예들에서, 시간-주파수 타일 프레임 변환 계수들은 MDCT 변환 계수들일 수 있다. 일부 실시예들에서, 대안적인 시간-주파수 변환들, 예를 들어, 하르 또는 왈시-하다마드 변환이 사용될 수 있다. 상이한 시간-주파수 분해능들에 대응하는 다수의 시간-주파수 타일 프레임 변환 계수들은 예를 들어, 블록들(1023-1029)에서 블록(405) 내의 프레임에 대해 평가될 수 있다.
결정된 최적의 변환은 제어 모듈(405)에 의해 블록들(407 및 409)을 포함하는 프로세싱 경로에 제공될 수 있다. 변환들, 예를 들어, 제어 블록(405)에 의해 결정된 왈시-하다마드 변환 또는 하르 변환은 인코딩 프레임을 프로세싱하기 위한 도 10a의 변환 블록(409)에 의해 수정 블록(1007)에 따라 사용될 수 있다. 따라서, 각각의 윈도우 사이즈에 대해, 분석 프레임에 걸쳐 있는 대응하는 윈도우 세그먼트들의 시간-주파수 변환 계수들의 다수의 상이한 세트들이 컴퓨팅될 수 있다. 일부 실시예들에서, 분석 프레임 경계들을 넘어 확장되는 윈도우들의 적용은 윈도우잉된 세그먼트들의 시간-주파수 변환 계수들을 컴퓨팅하기 위해 요구될 수 있다.
동작(1107)에서, 동작(1105)에서 생성된 시간-주파수 분해능 타일 프레임 데이터는, 일부 실시예들에서, 분석 프레임을 코딩하기 위한 각각의 가능한 시간-주파수 분해능의 효율을 결정하기 위한 트렐리스 알고리즘과 연관된 비용 함수들을 사용하여 분석된다. 일부 실시예들에서, 동작(1107)은 트렐리스 구조와 연관된 비용 함수들을 컴퓨팅하는 것에 대응한다. 트렐리스 구조를 통한 경로에 대해 컴퓨팅된 비용 함수는 경로의 코딩 유효성(즉, 코딩 비용, 예를 들어, 그 표현을 인코딩하기 위해 얼마나 많은 비트들이 필요할지를 캡슐화하는 메트릭)을 표시할 수 있다. 일부 실시예들에서, 분석은 이전 오디오 신호 프레임들로부터의 변환 데이터와 관련하여 수행될 수 있다. 동작(1109)에서, 인코딩 프레임에 대한 시간-주파수 타일 분해능들의 최적의 세트는 동작(1107)에서의 분석 결과에 기초하여 결정된다. 즉, 일부 실시예들에서, 동작(1109)에서, 트렐리스 구조를 통한 최적의 경로가 식별된다. 모든 경로 비용들이 평가되고 최적의 비용을 갖는 경로가 선택된다. 현재 인코딩 프레임의 최적의 시간-주파수 타일링은 트렐리스 분석에 의해 식별되는 최적의 경로에 기초하여 결정될 수 있다. 일부 실시예들에서, 신호 프레임에 대한 최적의 시간-주파수 타일링은, 분석 프로세스에서 고려되는 그 프레임의 임의의 다른 잠재적인 타일링에 대한 것보다 신호 프레임의 시간-주파수 표현에서 계수들의 더 높은 정도의 희소성을 특징으로 할 수 있다. 일부 실시예들에서, 신호 프레임에 대한 시간-주파수 타일링의 최적성은 프레임의 대응하는 시간-주파수 표현을 인코딩하는 비용에 부분적으로 기초할 수 있다. 일부 실시예들에서, 주어진 신호에 대한 최적의 타일링은 준최적의 타일링에 대해 개선된 코딩 효율을 도출할 수 있는데, 이는 신호가 더 낮은 데이터 레이트에서 그러나 준최적의 타일링과 동일한 에러 또는 아티팩트 레벨에서 최적의 타일링으로 인코딩될 수 있는 것 또는 신호가 더 낮은 에러 또는 아티팩트 레벨에서 그러나 준최적의 타일링과 동일한 데이터 레벨에서 최적의 타일링으로 인코딩될 수 있음을 의미한다. 당업자들은 인코더들의 상대적 성능이 레이트-왜곡 고려사항들을 사용하여 평가될 수 있음을 이해할 것이다.
일부 실시예들에서, 인코딩 프레임(1182)은 분석 프레임(1021)과 동일한 프레임일 수 있다. 다른 실시예들에서, 인코딩 프레임(1182)은 시간에서 분석 프레임(1021)에 선행할 수 있다. 일부 실시예들에서, 인코딩 프레임(1182)은 어떠한 중간적 버퍼링된 프레임들(1188) 없이 시간에서 분석 프레임(1021)에 바로 선행할 수 있다. 일부 실시예들에서, 분석 및 제어 블록(405)은 인코딩 프레임(1182)에 대한 결과들을 결정하기 위해 다수의 프레임들을 프로세싱할 수 있는데; 예를 들어, 분석은 프레임들 중 하나 이상을 프로세싱할 수 있고, 프레임들 일부는, 인코딩 프레임(1182), 인코딩 프레임(1182)과 분석 프레임(1021) 사이의 버퍼 프레임들(1088)(존재하는 경우) 및 분석 프레임(1021)과 같은 인코딩 프레임(1182)에 선행할 수 있다. 예를 들어, 인코딩 프레임(1182)이 시간에서 분석 프레임 이전에 있으면, 분석 및 제어 블록(405)은 인코딩 프레임에 대한 최종 판정들을 수행하기 위해 현재 분석되고 있는 분석 프레임(1021)을 프로세싱하기 위해 "장래의" 정보를 사용할 수 있다. 이러한 "예견" 능력은 인코딩 프레임에 대해 행해지는 판정들을 개선하는 것을 돕는다. 예를 들어, 분석 프레임(1021)으로부터 트렐리스 내비게이션이 통합할 수 있는 새로운 정보 때문에 인코딩 프레임(1182)에 대해 더 양호한 인코딩이 달성될 수 있다. 일반적으로, 예견 이점들은 아래에서 논의되는 도 14a 내지 도 14e에서 예시되는 것들과 같은 다수의 프레임들에 걸쳐 행해지는 인코딩 판정들에 적용된다. 일부 실시예들에서, 분석은 분석 프레임(1021)과 수신 프레임(1186) 사이의 버퍼 프레임들(1088)(존재하는 경우) 뿐만 아니라 수신 프레임을 프로세싱할 수 있다. 일부 실시예들에서, 인코딩 프레임의 수신 전에 수신된 프레임들을 프로세싱하는 능력은, 예를 들어, 분석 프레임이 인코딩 프레임 이후의 시간에 대응할 때, 예견으로 지칭될 수 있다.
동작(1111)에서, 분석 및 제어 블록(405)은 동작(1109)에서 프레임에 대해 결정된 최적의 시간-주파수 타일 프레임 변환에 적어도 부분적으로 기초하여 인코딩 프레임(1182)에 대한 최적의 윈도우 사이즈를 결정한다. 인코딩 프레임에 대한 최적의 경로(또는 경로들)은 인코딩 프레임(1182)에 대해 사용할 최상의 윈도우 사이즈를 표시할 수 있다. 윈도우 사이즈는 트렐리스 구조를 통한 최적의 경로의 경로 노드들에 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 윈도우 사이즈는 프레임에 대한 트렐리스를 통한 최적의 경로의 경로 노드들에 의해 표시되는 윈도우 사이즈들의 평균으로서 선택될 수 있다. 동작(1113)에서, 분석 및 제어 블록(405)은 결정된 최적의 윈도우 사이즈를 표시하기 위해, 하나 이상의 신호들을 윈도우잉 블록(407), 변환 블록(409) 및 데이터 감소 및 비트스트림 포맷 블록(411)에 전송한다. 데이터 감소 및 비트스트림 포맷 블록(411)은 예를 들어, 디코더(미도시)에 의한 사용을 위해 윈도우 사이즈를 비트스트림으로 인코딩한다. 동작(1115)에서, 인코딩 프레임에 대한 최적의 로컬 시간-주파수 변환들은 단계(1109)에서 결정된 프레임에 대한 최적의 시간-주파수 타일 프레임에 적어도 부분적으로 기초하여 결정된다. 최적의 로컬 시간-주파수 변환들은 또한 프레임에 대해 결정된 최적의 윈도우 사이즈에 부분적으로 기초하여 결정될 수 있다. 더 상세하게는, 일부 실시예들에 따르면, 예를 들어, 각각의 주파수 대역에서, (최적의 트렐리스 경로에 의해 표시되는) 대역에 대한 최적의 시간-주파수 분해능과 윈도우 선택에 의해 제공되는 분해능 사이의 차이가 결정된다. 그 차이는 그 프레임 내의 대역에 대한 로컬 시간-주파수 변환을 결정한다. 인코딩 프레임(1182)의 시간-주파수 변환을 수행하기 위해 단일 윈도우 사이즈가 통상적으로 선택되어야 하는 것을 인식할 것이다. 윈도우 사이즈는 트렐리스 분석에 기초하여 인코딩 프레임(1182) 내에서 상이한 주파수 대역들에 대해 결정된 상이한 시간-주파수 분해능들에 대한 최상의 전반적 매칭을 제공하도록 선택될 수 있다. 그러나, 선택된 윈도우는 하나 이상의 주파수 대역들에 대한 트렐리스 분석에 기초하여 결정된 시간-주파수 분해능들에 대한 최적의 매칭이 아닐 수 있다. 이러한 윈도우 매칭은 특정 주파수 대역들 내에서 정보의 비효율적인 코딩 또는 왜곡을 초래할 수 있다. 예를 들어, 도 9의 프로세스에 따른 로컬 변환들은 코딩 효율을 개선하고 그리고/또는 로컬 주파수 대역들 내에서 그 왜곡을 정정하는 것을 목적으로 할 수 있다.
동작(1117)에서, 시간-주파수 변환들의 최적의 세트는 변환 블록(409) 및 데이터 감소 및 비트스트림 포맷 블록(411)에 제공되고, 이는 디코더가 로컬 역변환들을 수행할 수 있도록 비트스트림(413)에서 시간-주파수 변환들의 세트를 인코딩한다.
일부 실시예들에서, 시간-주파수 변환들은 인접한 주파수 대역들에서의 변환들에 대해 차동적으로 인코딩될 수 있다. 일부 실시예들에서, 사용되는 실제 정보(주파수 대역 데이터에 적용되는 행렬)는 비트스트림에서 표시될 수 있다. 각각의 변환은 가능한 변환들의 세트로의 인덱스를 사용하여 표시될 수 있다. 그 다음, 인덱스들은 그 실제 값들에 기초하는 대신 차동적으로 인코딩될 수 있다. 일부 실시예들에서, 시간-주파수 변환들은 인접한 프레임들에서의 변환들에 대해 차동적으로 인코딩될 수 있다. 일부 실시예들에서, 데이터 감소 및 비트스트림 포맷 블록(411)은 각각의 프레임에 대해, 베이스 윈도우 사이즈, 프레임의 각각의 대역에 대한 시간-주파수 분해능들, 및 프레임에 대한 변환 계수들을, 예를 들어, 디코더(미도시)에 의한 사용을 위해 비트스트림으로 인코딩할 수 있다. 일부 실시예들에서, 베이스 윈도우 사이즈, 각각의 대역에 대한 시간-주파수 분해능들 및 변환 계수들 중 하나 이상은 차동적으로 인코딩될 수 있다.
도 11a를 참조하여 논의된 바와 같이, 일부 실시예들에서, 분석 및 제어 블록(405)은 각각의 프레임에 대한 윈도우 사이즈 및 시간-주파수 변환들의 로컬 세트를 유도한다. 블록(409)은 오디오 신호 프레임들에 대한 변환들을 수행한다. 다음으로, 동적 프로그래밍에 기초하여 프레임에 대한 최적의 윈도우 사이즈 및 시간-주파수 변환들의 최적의 세트들을 유도하기 위해 예시적인 실시예들이 설명되는 것이 개시된다. 일부 실시예들에서, 다수의 시간-주파수 분해능들의 모든 가능한 조합들은 결정된 기준 또는 비용 함수에 기초하여 최적의 조합을 결정하기 위해 모든 대역들 및 모든 프레임들에 대해 독립적으로 평가될 수 있다. 이는 무작위 대입 접근법으로 지칭될 수 있다. 당업자들에 의해 이해될 바와 같이, 가능한 조합들의 모든 세트는 동적 프로그래밍과 같은 알고리즘을 사용하여 무작위 대입 접근법에서보다 효율적으로 평가될 수 있고, 이는 다음에 더 상세히 설명된다.
도 11ca 내지 도 11cd는, 분석 블록(405) 내의 파이프라인(1150)을 통해 흐르는 프레임들의 시퀀스를 표현하고 도 4의 인코더(400)의 윈도우잉 블록(407), 변환 블록(409) 및 데이터 감소 및 비트스트림 포맷 블록(411)에 의해 흐름 동안 생성된 분석 결과들의 사용을 예시하는 예시적인 기능 블록도들이다. 도 10b의 분석 블록(1043)은 분석 프레임 저장 스테이지(1152), 제2 버퍼링된 프레임 저장 스테이지(1154), 제1 버퍼링된 프레임 저장 스테이지(1156) 및 인코딩 프레임 저장 스테이지(1158)를 포함하는 파이프라인 회로(1150)를 포함한다. 분석 프레임 저장 스테이지는, 예를 들어, 변환 블록들(1023-1029) 및 주파수 대역 그룹화 블록들(1033-1039)에 의해 분석 프레임(1021)에 대해 컴퓨팅된 주파수-대역 그룹화된 변환 결과들을 저장할 수 있다. 분석 프레임 저장 스테이지에서 저장된 분석 프레임 데이터는 새로운 프레임들이 수신되고 분석될 때 파이프라인(1150)의 저장 스테이지들을 통해 이동될 수 있다. 일부 실시예들에서, 인코딩 프레임 저장소(1158) 내의 인코딩 프레임의 코딩을 위한 최적의 시간-주파수 분해능은 파이프라인(1150) 내의 현재 프레임들의 주파수 대역들과 연관된 시간-주파수 분해능들의 최적의 조합에 기초하여 결정된다. 일부 실시예들에서, 최적의 조합은 아래에서 설명되는 트렐리스 프로세스를 사용하여 결정되고, 이는 파이프라인(1150) 내의 현재 프레임들의 주파수 대역들과 연관된 시간-주파수 분해능들 중 최적의 경로를 결정한다. 분석 및 제어 블록(405)의 분석 블록(1043)은 결정된 최적의 경로에 기초하여 현재 인코딩 프레임에 대한 코딩 정보(1160)를 결정한다. 코딩 정보(1160)는 인코딩 프레임을 윈도우잉하기 위한 윈도우 사이즈를 결정하기 위해 윈도우잉 블록(407)에 제공되는 제1 제어 정보 C407; 결정된 윈도우 사이즈에 매칭하는 변환 사이즈(예를 들어, MDCT)를 결정하기 위해 시간-주파수 변환 블록(1003)에 제공되는 제2 제어정보 C1003; 주파수 대역들에 대한 신호 변환 컴포넌트들(예를 들어, MDCT 계수들)의 그룹화를 결정하기 위해 주파수 대역 그룹화 블록(1005)에 제공되는 제3 제어 정보 C1005; 시간-주파수 분해능 수정 블록(1007)에 제공되는 제4 제어 정보 C1007; 및 데이터 감소 및 비트스트림 포맷 블록(411)에 제공되는 제5 제어 정보 C411을 포함한다. 인코더(400)는 현재 인코딩 프레임을 인코딩하기 위해 분석 및 제어 블록(405)에 의해 생성된 코딩 정보(1160)를 사용한다.
도 11ca을 참조하면, 제1 시간 간격에 현재 분석 프레임 F4에 대한 분석 데이터가 분석 프레임 저장 스테이지(1152)에 저장되고, 현재 제2 버퍼링된 프레임 F3에 대한 분석 데이터가 제2 버퍼링된 프레임 저장 스테이지(1154)에 저장되고, 현재 제1 버퍼링된 프레임 F2에 대한 분석 데이터가 제1 버퍼링된 프레임 저장 스테이지(1156)에 저장되고, 현재 인코딩된 프레임 F1에 대한 분석 데이터가 인코딩 프레임 저장 스테이지(1158)에 저장된다. 아래에서 상세히 설명되는 바와 같이, 일부 실시예들에서, 분석 블록(1043)은 현재 인코딩 프레임 F1의 다수의 주파수 대역들에 대한 시간-주파수 분해능들의 최적의 조합을 결정하기 위해 트렐리스 프로세스를 수행하도록 구성된다. 일부 실시예들에서, 분석 블록(1043)은 분석 파이프라인(1150)에서 현재 인코딩 프레임 F1에 대응하는 인코딩된 프레임 F1C의 생성에서 윈도우잉 블록(407)에 의한 사용을 위해 단일 윈도우 사이즈를 선택하도록 구성된다. 분석 블록은 선택된 윈도우 사이즈에 기초하여 제1, 제2 및 제3 제어 신호들 C407, C1003 및 C1005를 생성한다. 선택된 윈도우 사이즈는 현재 인코딩 프레임 F1 내에서 하나 이상의 주파수 대역들에 대해 결정된 최적의 시간-주파수 변환에 매칭하지 않을 수 있다. 따라서, 일부 실시예들에서, 분석 블록(1043)은, 분석 블록(1042)에 의해 결정된 최적의 시간-주파수 분해능들이 선택된 윈도우 사이즈에 매칭되지 않는 현재 인코딩 프레임 F1의 주파수 대역들 내의 시간-주파수 분해능들을 수정하기 위해 시간-주파수 변환 수정 블록(1007)에 의한 사용을 위해 제4 시간-주파수 수정 신호 C1007을 생성한다. 분석 블록(1043)은 현재 인코딩 프레임의 결정된 인코딩을 디코더(1600)에 통지하기 위해 데이터 감소 및 비트스트림 포맷 블록(411)에 의한 사용을 위한 제5 제어 신호 C411을 생성하고, 이는 프레임의 주파수 대역들에서 사용되는 시간-주파수 분해능들의 표시를 포함할 수 있다.
각각의 시간 간격 동안, 현재 인코딩 프레임에 대한 최적의 시간-주파수 분해능 및 인코딩 프레임의 대응하는 시간-주파수 표현을 디코딩하기 위해 디코더(1600)에 의한 사용을 위한 코딩 정보는 파이프라인 내에 현재 포함된 프레임들에 기초하여 생성된다. 더 상세하게는, 도 11ca 내지 도 11cd를 참조하면, 연속적인 시간 간격들에서, 새로운 현재 분석 프레임에 대한 분석 데이터가 파이프라인(1150) 내로 시프트되고, 이전 프레임들에 대한 분석 데이터가 (좌측으로) 시프트되어, 이전 인코딩 프레임에 대한 분석 데이터가 시프트 아웃된다. 도 11ca을 참조하면, 제1 시간 간격에서, F4가 현재 분석 프레임이고; F3이 현재 제2 버퍼링된 프레임이고, F2가 현재 제1 버퍼링된 프레임이고; F1이 현재 인코딩 프레임이다. 따라서, 제1 시간 간격에서, 프레임들 F4-F1에 대한 분석 데이터는, 현재 인코딩 프레임 F1 내의 상이한 주파수 대역들에 대한 시간-주파수 분해능들을 결정하고, 결정된 시간-주파수 분해능들에서 현재 인코딩 프레임 F1을 인코딩하기 위해 사용할 윈도우 사이즈 및 시간-주파수 변환 수정들을 결정하기 위해 사용된다. 현재 인코딩 프레임 F1에 대응하는 제어 신호들(1160)이 생성된다. 현재 인코딩된 프레임 F1C는 코딩 신호들을 사용하여 생성된다. 인코딩 프레임 버전 F1C는 송신 또는 저장을 위해 양자화(압축)될 수 있고, 대응하는 제5 제어 신호들 C411은 양자화된 인코딩 프레임 버전 F1C를 디코딩하기 위한 사용을 위해 제공될 수 있다.
도 11cb를 참조하면, F5가 현재 분석 프레임이고, F4가 현재 제2 버퍼링된 프레임이고, F3이 현재 제1 버퍼링된 프레임이고, F2가 현재 인코딩 프레임이고, 현재 인코딩 프레임 버전 F2C를 생성하기 위해 사용되는 제어 신호들(1160)이 생성된다. 도 11cc을 참조하면, F6이 현재 분석 프레임이고, F5가 현재 제2 버퍼링된 프레임이고, F4가 현재 제1 버퍼링된 프레임이고, F3이 현재 인코딩 프레임이고, 현재 인코딩 프레임 버전 F3C를 생성하기 위해 사용되는 제어 신호들(1160)이 생성된다. 도 11cd를 참조하면, F7이 현재 분석 프레임이고, F6이 현재 제2 버퍼링된 프레임이고, F5가 현재 제1 버퍼링된 프레임이고, F4가 현재 인코딩 프레임이고, 현재 인코딩 프레임 버전 F4C를 생성하기 위해 사용되는 제어 신호들(1160)이 생성된다.
인코더(400)는 현재 인코딩 프레임들의 대응하는 시퀀스(F1, F2, F3, F4)에 기초하여 인코딩 프레임 버전들의 시퀀스(F1C, F2C, F3C, F4C)를 생성할 수 있음을 인식할 것이다. 인코딩 프레임 버전들은 예를 들어, 프레임 사이즈 정보 및 시간-주파수 수정 정보에 적어도 부분적으로 기초하여 반전가능하다. 특히, 예를 들어, 파이프라인(1150)의 현재 인코딩 프레임 내에서 하나 이상의 주파수 대역들 내의 최적의 결정된 시간-주파수 분해능에 매칭하지 않는 인코딩 프레임을 생성하기 위한 윈도우가 선택될 수 있다. 분석 블록은 하나 이상의 미스매칭된 주파수 대역들에 대한 시간-주파수 분해능 수정 변환들을 결정할 수 있다. 수정 신호 정보 C1007은, 도 9를 참조하여 앞서 설명된 프로세스에 따라 적절한 수정 역변환들이 디코더에서 수행될 수 있도록 선택된 조정 변환을 통신하기 위해 사용될 수 있다.
다수의 주파수 대역들에 대한 최적의 시간-주파수 분해능들을 결정하기 위한 트렐리스 프로세싱
도 12는 트렐리스-기반 최적화 프로세스에 대한 분석 블록(1043)을 사용하여 결정될 수 있는 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다. 트렐리스 구조는 예시적인 노드들(1201 및 1205)과 같은 복수의 노드들을 포함하고 전환 경로(1203)와 같은 노드들 사이의 전환 경로들을 포함한다. 통상적인 경우들에서, 노드들은 예시적인 열들(1207, 1209, 1211, 및 1213)과 같은 열들에서 체계화될 수 있다. 도 12에는 오직 일부 전환 경로들이 도시되지만, 통상적인 경우들에, 전환들은 트렐리스에서 인접한 열들 내의 임의의 2개의 노드들 사이에서 발생할 수 있다. 트렐리스 구조는 예를 들어, 노드들과 연관된 비용들 및 노드들 사이의 전환 경로들과 연관된 비용들에 기초하여, 트렐리스 구조를 횡단하는 전환 경로들 및 노드들의 최적의 전환 시퀀스를 식별하기 위한 최적화 프로세스를 수행하기 위해 사용될 수 있다. 예를 들어, 도 12의 트렐리스를 통한 전환 시퀀스는 열(1207)로부터 하나의 노드, 열(1209)로부터 하나의 노드, 열(1211)로부터 하나의 노드 및 열(1213)로부터 하나의 노드 뿐만 아니라 인접한 열들의 개별적인 노드들 사이의 전환 경로들을 포함할 수 있다. 노드는 그와 연관된 상태를 가질 수 있고, 여기서 상태는 다수의 값들로 구성될 수 있다. 노드와 연관된 비용은 상태 비용으로 지칭될 수 있고, 노드들 사이의 전환 경로와 연관된 비용은 전환 비용으로 지칭될 수 있다. 최적의 전환 시퀀스(때때로 최적의 '상태 시퀀스' 또는 최적의 '경로 시퀀스'로 지칭됨)를 결정하기 위해, 무작위 대입 접근법이 사용될 수 있고, 여기서 모든 가능한 전환 시퀀스의 전체 비용은 독립적으로 평가되고, 그 다음, 가능한 경로들 전부의 전체 비용들을 비교함으로써 최적의 비용을 갖는 전환 시퀀스가 결정된다. 당업자들에 의해 이해될 바와 같이, 최적화는, 무작위 대입 접근법보다 더 적은 계산으로 최적의 비용을 갖는 전환 시퀀스를 결정할 수 있는 동적 프로그래밍을 사용하여 더 효율적으로 수행될 수 있다. 당업자들에 의해 이해될 바와 같이, 도 12의 트렐리스 구조는 예시적인 예이고, 일부 경우들에서, 트렐리스 도면은 도 12에 도시된 예시적인 트렐리스 구조보다 더 많거나 더 적은 열들을 포함할 수 있고, 일부 경우들에서 트렐리스 내의 열들은 도 12의 예시적인 트렐리스 구조 내의 열들보다 더 많거나 더 적은 노드들을 포함할 수 있다. 열 및 행이라는 용어들은 편의를 위해 사용되며, 예시적인 트렐리스 구조는 수직 배열이 열로서 또는 행으로서 라벨링될 수 있는 그리드 구조를 포함함을 인식할 것이다.
일부 실시예들에서, 분석 및 제어 블록(405)은 동적 트렐리스-기반 최적화 프로세스를 안내하기 위해 도 13a에서와 같이 구성된 트렐리스 구조를 사용하여 오디오 신호의 인코딩 프레임에 대한 최적의 윈도우 사이즈 및 최적의 시간-주파수 분해능 변환들의 세트를 결정할 수 있다. 트렐리스 구조의 열들은 주파수 스펙트럼이 파티셔닝되는 주파수 대역들에 대응할 수 있다. 일부 실시예들에서, 열(1309)은 최저 주파수 대역에 대응할 수 있고, 열들(1311, 1313, 및 1315)은 점진적으로 더 높은 주파수 대역들에 대응할 수 있다. 일부 실시예들에서, (예를 들어, 도 13a 내지 도 13bb의) 행(1307)은 최고 주파수 분해능에 대응할 수 있고 행들(1305, 1303 및 1301)은 점진적으로 더 낮은 주파수 분해능 및 점진적으로 더 높은 시간 분해능에 대응할 수 있다. 일부 실시예들에서, 트렐리스 구조의 행들(1301-1307)은 분석 및 제어 블록(405)에서 변환 블록들(1023-1029)에 의해 분석 프레임(1021)에 적용되는 상이한 크기들(및 대응하는 변환들)의 윈도우들과 관련될 수 있다.
도 13a는 동적 트렐리스-기반 최적화 프로세스를 안내하기 위해 스펙트럼을 4개의 주파수 대역들로 파티셔닝하고 각각의 주파수 대역 내에서 4개의 시간-주파수 분해능 옵션들을 제공하도록 구성되는 트렐리스 구조를 구현하도록 구성된 분석 블록(1043)을 표현하는 예시적인 도면이다. 당업자들은, 도 13a의 트렐리스 구조가 상이한 수의 주파수 대역들 또는 상이한 수의 분해능 옵션들을 사용하는 것으로 동적 트렐리스-기반 최적화 프로세스에 지시하도록 구성될 수 있음을 이해할 것이다.
일부 실시예들에서, 도 13a의 트렐리스 구조 내의 노드는 트렐리스 구조에서 노드의 위치의 열 및 행에 따라 주파수 대역 및 대역 내의 시간-주파수 분해능에 대응할 수 있다. 도 13a의 트렐리스 구조를 통합하는 일부 실시예들의 경우, 분석 프레임은 시간에서 인코딩 프레임에 바로 후속할 수 있다. 도 13a의 트렐리스 구조를 통합하는 일부 실시예들의 경우, 분석 프레임 및 인코딩 프레임은 동일한 프레임일 수 있다. 즉, 분석 블록(1043)은 길이 1의 파이프라인(1150)을 구현하도록 구성될 수 있다.
도 10c 및 도 13a를 참조하면, 트렐리스의 제1 최좌측 열(열(1309)) 내의 노드들(1301-1307)은 도 10c의 FB1 내의 계수들의 세트들 CT-F1}1, {CT-F2}1, {CT-F3}1 및 {CT-F4}1에 대응할 수 있다. 트렐리스의 제2 열(열(1311)) 내의 노드들은 도 10c의 FB2 내의 계수들의 세트들 CT-F1}2, {CT-F2}2, {CT-F3}2 및 {CT-F4}2에 대응할 수 있다. 트렐리스의 제3 열(열(1313)) 내의 노드들은 도 10c의 FB3 내의 계수들의 세트들 CT-F1}3, {CT-F2}3, {CT-F3}3 및 {CT-F4}3에 대응할 수 있다. 트렐리스의 제4 열(열(1315)) 내의 노드들은 도 10c의 FB4 내의 계수들의 세트들 CT-F1}4, {CT-F2}4, {CT-F3}4 및 {CT-F4}4에 대응할 수 있다. 일부 실시예들에서, 트렐리스(13A)의 각각의 열은 상이한 주파수 대역에 대응할 수 있다.
따라서, 일부 실시예들에서, 노드는, 노드의 주파수 대역 및 시간-주파수 분해능에 대응하는 변환 계수들을 포함하는 상태와 연관될 수 있다. 예를 들어, 일부 실시예들에서, 노드(1317)는 (열(1311)에 따른) 제2 주파수 대역 및 (행(1301)에 따른) 최저 주파수 분해능과 연관될 수 있다. 일부 실시예들에서, 계수들의 변환은 노드의 연관된 주파수 대역 및 분해능에 대응하는 MDCT 계수들에 대응할 수 있다. MDCT 계수들은 가능한 윈도우 사이즈들 및 대응하는 MDCT 변환 사이즈들의 세트 각각에 대한 각각의 분석 프레임에 대해 컴퓨팅될 수 있다. 일부 실시예들에서, MDCT 계수들은 도 9의 변환 프로세스에 따라 생성될 수 있고, MDCT 계수들은 소정의 윈도우 사이즈 및 MDCT 변환 사이즈에 대한 분석 프레임에 대해 컴퓨팅되고, 예를 들어, 로컬 하르 변환들을 통해 또는 로컬 왈시-하다마드 변환들을 통해 개별적인 주파수 대역들의 MDCT 계수들에 부과되는 상이한 시간-분해능 변환들에 기초하여 각각의 주파수 대역에 대해 변환 계수들의 상이한 세트들이 생성될 수 있다. 일부 실시예들에서, 변환 계수들은 연관된 주파수 대역 및 분해능에 대한 MDCT 계수들, 예를 들어, 왈시-하다마드 변환 계수들 또는 하르 변환 계수들의 근사치들에 대응할 수 있다. 일부 실시예들에서, 노드의 상태 비용은 부분적으로, 노드 상태의 변환 계수들을 인코딩하기 위해 요구되는 데이터와 관련된 메트릭을 포함할 수 있다. 일부 실시예들에서, 상태 비용은 노드 상태의 변환 계수들의 희소성의 측정치의 함수일 수 있다.
일부 실시예들에서, 변환 계수 희소성의 관점에서 노드 상태의 상태 노드는 부분적으로, 노드 상태의 변환 계수들의 1-놈(norm)의 함수일 수 있다. 일부 실시예들에서, 변환 계수 희소성의 관점에서 노드 상태의 상태 비용은 부분적으로, 상당한 절대 값, 예를 들어, 특정 임계치 초과의 절대 값을 갖는 변환 계수들의 수의 함수일 수 있다. 일부 실시예들에서, 변환 계수 희소성의 관점에서 노드 상태의 상태 노드는 부분적으로, 변환 계수들의 엔트로피의 함수일 수 있다. 일반적으로, 노드와 연관된 시간-주파수 분해능에 대응하는 변환 계수들이 더 희박할수록, 노드와 연관된 비용은 더 낮음을 인식할 것이다. 일부 실시예들에서, 노드들 사이의 전환 경로와 연관된 전환 경로 비용은 전환 경로에 의해 연결된 노드들과 연관된 시간-주파수 분해능들 사이의 변화를 인코딩하기 위한 데이터 비용의 측정치일 수 있다. 더 구체적으로, 일부 실시예들에서, 전환 경로 비용은 부분적으로, 전환 경로에 의해 연결된 노드들 사이의 시간-주파수 분해능 차이의 함수일 수 있다. 예를 들어, 전환 경로 비용은 부분적으로, 연결된 노드들의 상태들의 시간-주파수 분해능에 대응하는 정수 값들 사이의 차이를 인코딩하기 위해 요구되는 데이터의 함수일 수 있다. 당업자들은, 개시된 것과 상이한 비용 함수들을 사용하는 것으로 동적 트렐리스-기반 최적화 프로세스에 지시하도록 트렐리스 구조가 구성될 수 있음을 이해할 것이다.
도 13ba은 예시적인 오디오 신호 프레임에 대한 도 13a의 트렐리스 구조를 통해 주파수에 걸친 예시적인 제1 최적의 전환 시퀀스를 표현하는 예시적인 도면이다. 당업자들에 의해 이해될 바와 같이, 트렐리스 구조를 통한 전환 시퀀스는 대안적으로 트렐리스를 통한 경로로서 지칭될 수 있다. 도 13bb는 예시적인 오디오 신호 프레임에 대한 도 13ba의 주파수에 걸친 제1 전환 시퀀스에 대응하는 예시적인 제1 시간-주파수 타일 프레임이다. 예시적인 제1 최적의 전환 시퀀스는 트렐리스 구조 내의 노드들에서 'x' 마크들로 표시된다. 도 13a를 참조하여 앞서 설명된 실시예들에 따르면, 표시된 제1 최적의 전환 시퀀스는 최저 주파수 대역에 대한 최고 주파수 분해능, 제2 및 제3 주파수 대역들에 대한 더 낮은 주파수 분해능 및 제4 대역에 대한 최고 주파수 분해능에 대응할 수 있다. 도 13bb의 시간-주파수 타일 프레임은 최저 대역(1323)에 대한 최고 주파수 분해능 타일들(1353), 제2 및 제3 대역들(1325, 1327)에 대한 더 낮은 주파수 분해능 타일들(1355, 1357) 및 제4 대역(1329)에 대한 최고 주파수 분해능 타일들(1359)을 포함한다. 도 13bb의 시간-주파수 타일 프레임(1321)에서, 주파수 대역 파티션들은 더 굵은 수평 라인들에 의해 경계를 이룬다.
도 13ba 및 도 13ca의 예시적인 트렐리스 프로세싱에 대해, 트렐리스 내에서 시간에 걸쳐 어떠한 트렐리스 프로세싱도 없기 때문에, 과도한 예견이 불필요하거나 유리하지 않음을 인식할 것이다. 트렐리스 분석은, 일부 실시예들에서, 인코딩 프레임과 시간에서 동일한 프레임일 수 있는 분석 프레임 상에서 실행된다. 다른 실시예들에서, 분석 프레임은 인코딩 프레임 이후 시간에서 다음 프레임일 수 있다. 다른 실시예들에서, 분석 프레임과 인코딩 프레임 사이에 하나 이상의 버퍼링된 프레임들이 존재할 수 있다. 분석 프레임에 대한 트렐리스 분석은 변환 이전에 인코딩 프레임의 윈도우잉을 완료하는 방법을 표시할 수 있다. 일부 실시예들에서, 이것은, 인코딩 프레임을 변환하기 위한 준비 및 후속 프로세싱 사이클에 대한 준비에서 인코딩 프레임을 윈도우잉하는 것을 완료하기 위해 어떤 윈도우 형상을 사용할지를 표시할 수 있고, 여기서 현재 분석 프레임은 새로운 인코딩 프레임이 된다.
도 13ca은 다른 예시적인 오디오 신호 프레임에 대한 도 13a의 트렐리스 구조를 통해 주파수에 걸친 예시적인 제2 최적의 전환 시퀀스를 표현하는 예시적인 도면이다. 도 13cb는 도 13ca의 주파수에 걸친 제2 전환 시퀀스에 대응하는 예시적인 제2 시간-주파수 타일 프레임이다. 예시적인 제2 최적의 전환 시퀀스는 트렐리스 구조 내의 노드들에서 'x' 마크들로 표시된다. 도 13a를 참조하여 앞서 설명된 실시예들에 따르면, 표시된 제2 최적의 전환 시퀀스는 최저 주파수 대역에 대한 최고 주파수 분해능, 제2 대역에 대한 더 낮은 주파수 분해능, 제3 주파수 대역에 대한 점진적으로 더 낮은 주파수 분해능 및 제4 대역에 대한 점진적으로 더 높은 주파수 분해능에 대응할 수 있다. 도 13cb의 시간-주파수 타일 프레임은 최저 대역(1343)에 대한 최고 주파수 분해능 타일들(1363), 제2 및 제4 대역들(1345, 1349)에 대한 동일한 더 낮은 주파수 분해능 타일들(1365, 1369) 및 제3 대역(1347)에 대한 훨씬 더 낮은 주파수 분해능 타일들(1367)을 포함한다.
일부 실시예들에서, 분석 및 제어 블록(405)은, 트렐리스 구조를 통한 최적의 전환 시퀀스에 기초하여 오디오 신호 프레임에 대한 윈도우 사이즈 및 시간-주파수 변환 계수들을 결정하는 것으로 동적 트렐리스-기반 최적화 프로세스에 지시하기 위해 도 13a의 트렐리스 구조를 사용하도록 구성된다. 예를 들어, 윈도우 사이즈는 트렐리스 구조를 통해 결정된 최적의 전환 시퀀스에 대응하는 시간-주파수 분해능들의 평균에 부분적으로 기초하여 결정될 수 있다. 예를 들어, 도 13ca-c2에서, 오디오 데이터 프레임의 윈도우 사이즈는 대역들(1345 및 1349)의 시간-주파수 타일들에 대응하는 사이즈로 결정될 수 있다. 이는 예를 들어, 도 8의 프레임(806)에 대해 도시된 2개의 윈도우들 각각의 사이즈와 같은 긴 윈도우의 사이즈의 절반인 중간 사이즈 윈도우일 수 있다. 시간-주파수 변환 계수 수정들은 결정된 최적의 전환 시퀀스에 대응하는 시간-주파수 분해능들과 결정된 윈도우에 대응하는 시간-주파수 분해능 사이의 차이에 부분적으로 기초하여 결정될 수 있다. 제어 블록(405)은 최적의 시간-주파수 수정들을 결정하기 위해 최적의 전환 시퀀스에 대한 탐색의 일부로서 전환 시퀀스 열거(enumeration) 프로세스를 구현하도록 구성될 수 있다. 일부 실시예들에서, 열거는 경로 비용의 평가의 일부로서 사용될 수 있다. 다른 실시예들에서, 열거는 비용 함수의 일부가 아닌 경로의 정의로서 사용될 수 있다. 다른 것들보다 특정 경로 열거들을 인코딩하는 데 더 많은 비트들이 소요될 것이어서, 일부 경로들은 전환들로 인한 비용 페널티를 가질 수 있다. 예를 들어, 도 13ca에 도시된 제2 최적의 전환 시퀀스는 대역(1341)에 대해 +1, 대역(1345)에 대해 0, 대역(1347)에 대해 -1, 및 대역(1349)에 대해 0으로 열거될 수 있고, 여기서 예를 들어, +1은 주파수 분해능에서의 특정 증가(및 시간 분해능에서의 감소)를 표시할 수 있고, 0은 분해능에서 변화 없음을 표시할 수 있고, -1은 주파수 분해능에서의 특정 감소(및 시간 분해능에서의 증가)를 표시할 수 있다.
일부 실시예들에서, 분석 및 제어 블록(405)은 추가적인 열거들을 사용하도록 구성될 수 있는데; 예를 들어, +2는 +1에 의해 열거되는 것보다 큰 주파수 분해능에서의 특정 증가를 표시할 수 있다. 일부 실시예들에서, 시간-주파수 분해능 변화의 열거는 최적의 전환 시퀀스의 대응하는 전환 경로에 의해 걸쳐 있는 트렐리스에서 행들의 수에 대응할 수 있다. 일부 실시예들에서, 제어 블록(405)은 변환 수정 블록(1009)을 제어하기 위해 열거들을 사용하도록 구성될 수 있다. 일부 실시예들에서, 열거는 디코더(미도시)에 의한 사용을 위해 데이터 감소 및 비트스트림 포맷 블록(411)에 의해 비트스트림(413)으로 인코딩될 수 있다.
일부 실시예들에서, 분석 및 제어 블록(405)의 분석 블록(1043)은 하나 이상의 주파수 대역들 각각에 대한 동적 트렐리스-기반 최적화 프로세스를 안내하기 위해 도 14a에서와 같이 구성된 트렐리스 구조를 사용하여 오디오 신호에 대한 최적의 윈도우 사이즈 및 최적의 시간-주파수 분해능 수정 변환들의 세트를 결정하도록 구성될 수 있다. 트렐리스는 주어진 주파수 대역에 대해 동작하도록 구성될 수 있다. 일 실시예에서, 주파수 대역 그룹화 블록들(1033-1039)에서 그룹화된 각각의 주파수 대역에 대해 트렐리스-기반 최적화 프로세스가 수행된다. 트렐리스 구조의 열들은 오디오 신호 프레임들에 대응할 수 있다. 일 실시예에서, 열(1409)은 제1 프레임에 대응할 수 있고, 열들(1411, 1413, 및 1415)은 제2, 제3 및 제4 프레임들에 대응할 수 있다. 일 실시예에서, 행(1407)은 최고 주파수 분해능에 대응할 수 있고 행들(1405, 1403 및 1401)은 점진적으로 더 낮은 주파수 분해능 및 점진적으로 더 높은 시간 분해능에 대응할 수 있다. 도 14a의 트렐리스 구조는 4개의 프레임들에 걸쳐 동작하고 각각의 프레임에 대해 4개의 시간-주파수 분해능 옵션들을 제공하도록 구성되는 실시예를 예시한다. 당업자들은, 도 14a의 트렐리스 구조가 상이한 수의 프레임들 또는 상이한 수의 분해능 옵션들을 사용하는 것으로 동적 트렐리스-기반 최적화 프로세스에 지시하도록 구성될 수 있음을 이해할 것이다.
일부 실시예들에서, 제1 프레임은 인코딩 프레임일 수 있고, 제2 및 제3 프레임들은 버퍼링된 프레임들일 수 있고 제4 프레임은 분석 프레임일 수 있다. 도 10c 및 도 14b를 참조하면, 제4 열은 분석 프레임, 예를 들어, 주파수 대역 FB1의 일부분에 대응할 수 있고, 제4 열의 바닥 내지 상단 노드들은 도 10c의 FB1 내의 계수 세트들 {CT-F1}1, {CT-F2}1, {CT-F3}1 및 {CT-F4}1에 대응할 수 있다. 도 10c 및 도 14c를 참조하면, 제4 열은 분석 프레임, 예를 들어, 주파수 대역 FB2의 일부분에 대응할 수 있고, 제4 열의 바닥 내지 상단 노드들은 도 10c의 FB2 내의 계수 세트들 {CT-F1}2, {CT-F2}2, {CT-F3}2 및 {CT-F4}2에 대응할 수 있다. 도 10c 및 도 14d를 참조하면, 제4 열은 분석 프레임, 예를 들어, 주파수 대역 FB3의 일부분에 대응할 수 있고, 제4 열의 바닥 내지 상단 노드들은 도 10c의 FB3 내의 계수 세트들 {CT-F1}3, {CT-F2}3, {CT-F3}3 및 {CT-F4}3에 대응할 수 있다. 도 10c 및 도 14e를 참조하면, 제4 열은 분석 프레임, 예를 들어, 주파수 대역 FB4의 일부분에 대응할 수 있고, 제4 열의 바닥 내지 상단 노드들은 도 10c의 FB4 내의 계수 세트들 {CT-F1}4, {CT-F2}4, {CT-F3}4 및 {CT-F4}4에 대응할 수 있다.
일부 실시예들에서, 도 14a의 트렐리스 구조 내의 노드는 트렐리스 구조에서 노드의 위치의 열 및 행에 따라 프레임 및 시간-주파수 분해능에 대응할 수 있다. 일 실시예에서, 노드는, 노드의 프레임 및 시간-주파수 분해능에 대응하는 변환 계수들을 포함하는 상태와 연관될 수 있다. 예를 들어, 일 실시예에서, 노드(1417)는 (열(1411)에 따른) 제2 프레임 및 (행(1401)에 따른) 최저 주파수 분해능과 연관될 수 있다. 일 실시예에서, 계수들의 변환은 노드의 연관된 주파수 대역 및 분해능에 대응하는 MDCT 계수들에 대응할 수 있다. 일 실시예에서, 변환 계수들은 연관된 주파수 대역 및 분해능에 대한 MDCT 계수들, 예를 들어, 왈시-하다마드 또는 하르 계수들의 근사치들에 대응할 수 있다. 일 실시예에서, 노드의 상태 비용은 부분적으로, 노드 상태의 변환 계수들을 인코딩하기 위해 요구되는 데이터와 관련된 메트릭을 포함할 수 있다. 일부 실시예들에서, 상태 비용은 노드 상태의 변환 계수들의 희소성의 측정치의 함수일 수 있다.
일부 실시예들에서, 변환 계수 희소성의 관점에서 노드 상태의 상태 노드는 부분적으로, 노드 상태의 변환 계수들의 1-놈의 함수일 수 있다. 앞서 설명된 바와 같이, 일부 실시예들에서, 변환 계수 희소성의 관점에서 노드 상태의 상태 비용은 부분적으로, 상당한 절대 값, 예를 들어, 특정 임계치 초과의 절대 값을 갖는 변환 계수들의 수의 함수일 수 있다. 일부 실시예들에서, 변환 계수 희소성의 관점에서 노드 상태의 상태 노드는 부분적으로, 변환 계수들의 엔트로피의 함수일 수 있다. 일반적으로, 노드와 연관된 시간-주파수 분해능에 대응하는 변환 계수들이 더 희박할수록, 노드와 연관된 비용은 더 낮음을 인식할 것이다. 또한, 앞서 설명된 바와 같이, 일부 실시예들에서, 노드들 사이의 전환 경로와 연관된 전환 비용은 전환 경로에 의해 연결된 노드들과 연관된 시간-주파수 분해능들에서의 변화를 인코딩하기 위한 데이터 비용의 측정치일 수 있다. 더 구체적으로, 일부 실시예들에서, 전환 경로 비용은 부분적으로, 전환 경로에 의해 연결된 노드들 사이의 시간-주파수 분해능 차이의 함수일 수 있다. 예를 들어, 전환 경로 비용은 부분적으로, 연결된 노드들의 상태들의 시간-주파수 분해능에 대응하는 정수 값들 사이의 차이를 인코딩하기 위해 요구되는 데이터의 함수일 수 있다. 당업자들은, 개시된 것과 상이한 비용 함수들을 사용하는 것으로 동적 트렐리스-기반 최적화 프로세스에 지시하도록 트렐리스 구조가 구성될 수 있음을 이해할 것이다.
도 14b는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제1 전환 시퀀스를 갖는 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다. 도 14a와 관련하여 앞서 설명된 실시예들에 따르면, 표시된 전환 시퀀스는 제1 프레임에 대한 최고 주파수 분해능, 제2 프레임에 대한 최고 주파수 분해능, 제3 프레임에 대한 더 낮은 주파수 분해능, 및 제4 프레임에 대한 최저 주파수 분해능에 대응할 수 있다. 도 14b에 표시된 최적의 전환 시퀀스는 +2 열거를 표현하는 전환 경로(1421)를 포함하고, 이는 도 14a에 명시적으로 도시되지 않았지만, 단순화를 위해 다수의 다른 전환 연결들과 함께 도 14a로부터 생략된 유효한 전환 옵션으로 이해되었다. 예로서, 도 14b의 트렐리스 구조는 도 15의 시간-주파수 타일 프레임들(1501)에서 대역(1503)으로 도시된 최저 주파수 대역의 4개의 프레임들에 대응할 수 있다. 시간-주파수 타일 프레임들(1501)은 제1 프레임(1503-1)에 대해 최고 주파수 분해능, 제2 프레임(1503-2)에 대한 최고 주파수 분해능, 제3 프레임(1503-3)에 대한 더 낮은 주파수 분해능, 및 제4 프레임(1503-4)에 대한 최저 주파수 분해능을 갖는 최저 주파수 대역(1503)을 갖는 대응하는 타일링을 도시한다. 타일 프레임(1501)에서, 주파수 대역 파티션들은 더 굵은 수평 라인들에 의해 표시된다.
도 14c는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제2 전환 시퀀스를 갖는 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다. 도 14a와 관련하여 앞서 설명된 실시예들에 따르면, 표시된 전환 시퀀스는 제1 프레임에 대한 최고 주파수 분해능, 제2 프레임에 대한 더 낮은 주파수 분해능, 제3 프레임에 대한 더 낮은 주파수 분해능, 및 제4 프레임에 대한 더 낮은 주파수 분해능에 대응할 수 있다. 예로서, 도 14c의 트렐리스 도면은 도 15의 시간-주파수 타일 프레임들(1501)에서 대역(1505)으로 도시된 제2 주파수 대역의 4개의 프레임들에 대응할 수 있다. 시간-주파수 타일 프레임들(1501)은 제1 프레임(1505-1), 제2, 제3 및 제4 프레임들(1505-2, 5105-3, 1505-4)에 대한 최고 주파수 분해능을 갖는 제2 주파수 대역(1505)을 갖는 대응하는 타일링을 도시하고, 이들 각각은 동일한 더 낮은 주파수 분해능을 갖는다.
도 14d는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제3 전환 시퀀스를 갖는 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다. 도 14a와 관련하여 앞서 설명된 실시예들에 따르면, 표시된 전환 시퀀스는 제1 프레임에 대한 최고 주파수 분해능, 제2 프레임에 대한 더 낮은 주파수 분해능, 제3 프레임에 대한 점진적으로 더 낮은 주파수 분해능, 및 제4 프레임에 대한 최저 주파수 분해능에 대응할 수 있다. 예로서, 도 14d의 트렐리스 도면은 도 15의 시간-주파수 타일 프레임들(1501)에서 대역(1507)으로 도시된 제3 주파수 대역의 4개의 프레임들에 대응할 수 있다. 시간-주파수 타일 프레임들(1501)은 제1 프레임(1507-1)에 대해 최고 주파수 분해능, 제2 프레임(1507-2)에 대한 더 낮은 주파수 분해능, 제3 프레임(1507-3)에 대한 점진적으로 더 낮은 주파수 분해능, 및 제4 프레임(1507-4)에 대한 최저 주파수 분해능을 갖는 제3 주파수 대역(1507)을 갖는 대응하는 타일링을 도시한다.
도 14e는 트렐리스 구조의 노드들에서 'x' 마크들로 표시된 시간에 걸쳐 예시적인 최적의 제4 전환 시퀀스를 갖는 도 14a의 예시적인 트렐리스 구조를 표현하는 예시적인 도면이다. 도 14e에 표시된 최적의 전환 시퀀스는 +2 열거를 표현하는 전환(1451)을 포함하고, 이는 도 14a에 명시적으로 도시되지 않았지만, 단순화를 위해 다수의 다른 전환 연결들과 함께 도 14a로부터 생략된 유효한 전환 옵션으로 이해되었다. 예로서, 도 14e의 트렐리스 도면은 도 15의 시간-주파수 타일링에서 대역(1509)으로 도시된 최고 주파수 대역의 4개의 프레임들에 대응할 수 있다. 시간-주파수 타일 프레임들(1501)은 제1 및 제2 프레임들(1509-1, 1509-2)에 대한 높은 주파수 분해능 및 제3 및 제4 프레임들(1509-3, 1509-4)에 대한 최저 주파수 분해능을 갖는 최고 주파수 대역(1509)을 갖는 대응하는 타일링을 도시한다.
도 15는 도 14b, 도 14c, 도 14d 및 도 14e에 도시된 동적 트렐리스-기반 최적화 프로세스 결과들에 대응하는 시간-주파수 프레임들을 표현하는 예시적인 도면이다. 도 15는, 분석 프레임이 저장 스테이지(1152)에 포함되고, 제2 및 제1 버퍼링된 프레임들이 개별적인 저장 스테이지들(1154, 1156) 내에 포함되고, 인코딩 프레임이 저장 스테이지(1158) 내에 포함되는 도 11ca 내지 도 11cd의 파이프라인(1150)을 표현한다. 이러한 배열은 도 14b 내지 도 14e의 각각의 특정 주파수 대역에 대한 대응하는 시간에 걸친 트렐리스들(뿐만 아니라 도 14a의 시간에 걸친 트렐리스의 템플릿)과 매칭된다. 또한, 도 15에서, 낮은 주파수 대역(1503)에 대한 타일링은 도 14b에 도시된 동적 트렐리스-기반 최적화 결과에 대응한다. 중간 주파수 대역(1505)에 대한 타일링은 도 14c에 도시된 동적 트렐리스-기반 최적화 결과에 대응한다. 중간 주파수 대역(1507)에 대한 타일링은 도 14d에 도시된 동적 트렐리스-기반 최적화 결과에 대응한다. 높은 주파수 대역(1509)에 대한 타일링은 도 14e에 도시된 동적 트렐리스-기반 최적화 결과에 대응한다.
따라서, 예를 들어, 트렐리스 디코더를 사용하는 예견-기반 프로세싱의 경우, 최적의 경로는 현재 분석 프레임까지 컴퓨팅될 수 있다. 그 다음, 과거로부터(예를 들어, 3개 프레임 전) 그 최적의 경로 상의 노드들이 인코딩을 위해 사용될 수 있다. 예를 들어, 도 14a를 참조하면, 트렐리스 열(1409)은 '인코딩' 프레임에 대응할 수 있고; 트렐리스 열들(1411, 1413)은 제1 및 제2 '버퍼링된' 프레임들에 대응할 수 있고; 트렐리스 열(1415)은 '분석' 프레임에 대응할 수 있다. 프레임들은, 다음으로 수신된 프레임이 도달하는 다음 사이클에서, 이전에 제1 버퍼링된 프레임이었던 것이 다음으로 인코딩 프레임이 되고, 이전에 제2 버퍼링된 프레임이었던 것이 다음으로 제1 프레임이 되고, 이전에 수신된 프레임이었던 것이 다음으로 제2 버퍼링된 프레임이 되도록 파이프라인 내에 있는 것을 이해할 것이다. 따라서, 현재 수신된 프레임까지 최적의 경로를 컴퓨팅하고 그 다음 인코딩을 위해 과거(예를 들어, 3개 프레임 전)로부터 그 최적의 경로 상의 노드를 사용함으로써 "실행" 트렐리스에서 예전이 동작한다. 일반적으로, '인코딩 프레임'과 '분석 프레임' 사이에 더 많은 프레임들이 존재할수록(즉, 트렐리스가 시간에서 더 길수록), 인코딩 프레임에 대한 결과는 전반적으로 최적의 결과(이는, 장래의 프레임들의 *전부*가 트렐리스에 포함된 경우 획득된 결과를 의미함)일 가능성이 높다. 각각의 프레임에서 각각의 주파수 대역에 대한 최적의 시간-주파수 분해능을 결정하기 위한 동적 트렐리스-기반 최적화의 다수의 실시예들이 설명되었다. 전체적으로, 동적 트렐리스-기반 최적화의 결과들은 분석되고 있는 신호에 대한 최적의 시간-주파수 타일링을 제공한다. 도 13a에 따른 실시예들에서, 프레임에 대한 최적의 시간-주파수 타일링은 주파수 대역들에 걸쳐 동작하는 동적 프로그램으로 프레임을 분석함으로써 결정될 수 있다. 분석은 한번에 하나의 프레임씩 수행될 수 있고, 다른 프레임들로부터의 데이터를 통합하지 않을 수 있다. 도 14a에 따른 실시예들에서, 프레임에 대한 최적의 시간-주파수 타일링은 다수의 프레임들에 걸쳐 동작하는 동적 프로그램으로 각각의 주파수 대역을 분석함으로써 결정될 수 있다. 그 다음, 프레임에 대한 시간-주파수 타일링은 그 프레임에 대한 대역들에 걸친 결과들을 집성함으로써 결정될 수 있다. 이러한 실시예들에서 동적 프로그램은 다수의 프레임들에 걸쳐 있는 최적의 경로를 식별할 수 있는 한편, 경로의 단일 프레임에 대한 결과는 인코딩 프레임을 프로세싱하기 위해 사용될 수 있다.
도 13a 또는 도 14a에 따른 실시예들에서, 설명된 동적 프로그램들의 노드들은 특정 프레임에서 특정 주파수 대역에 대한 특정 시간-주파수 분해능에서 변환 계수들에 대응하는 상태들과 연관될 수 있다. 도 13a 또는 도 14a에 따른 실시예들에서, 프레임에 대한 최적의 윈도우 사이즈 및 로컬 시간-주파수 변환들은 최적의 타일링으로부터 결정된다. 일부 실시예들에서, 프레임에 대한 윈도우 사이즈는 프레임에서 주파수 대역들에 대해 결정된 최적의 시간-주파수 분해능들의 집성에 기초하여 결정될 수 있다. 집성은 주파수 대역들에 대해 결정된 시간-주파수 분해능들의 평균 또는 중간값을 적어도 부분적으로 포함할 수 있다. 일부 실시예들에서, 프레임에 대한 윈도우 사이즈는 다수의 프레임들에 걸친 최적의 시간-주파수 분해능들의 집성에 기초하여 결정될 수 있다. 일부 실시예들에서, 집성은 동적 프로그램 동작들에서 사용되는 비용 함수들에 의존할 수 있다.
미스매칭된 윈도우 사이즈의 선택으로 인한 프레임의 주파수 대역 내에서 신호 변환 시간-주파수 분해능의 수정의 예
도 15를 다시 참조하면, 파이프라인(1150)의 인코딩 저장 스테이지(1158) 내의 현재 코딩 프레임에 대한 분석 블록(1043)에 의해 결정되는 최적의 시간-주파수 타일링은 더 낮은 3개의 주파수 대역들(1503, 1505, 1507)에 대한 동일한 시간-주파수 분해능들로 이루어지고 최고 주파수 대역(1509)에 대한 시간-주파수 분해능을 포함한다. 일부 실시예들에서, 분석 블록(1043)은 인코딩 프레임의 3개의 더 낮은 주파수 대역들의 시간-주파수 분해능들에 매칭하는 윈도우 사이즈를 선택하도록 구성될 수 있는데, 이는, 이러한 윈도우 사이즈가 인코딩 프레임의 시간-주파수 분해능들에 최상의 전반적 매칭(즉, 이러한 예에서 4개의 주파수 대역들 중 3개에 대한 매칭들)을 제공할 수 있기 때문이다. 분석 블록(1043)은 파이프라인(1150) 내의 현재 인코딩 신호 프레임의 주파수-대역 그룹화된 시간-주파수 표현을 제공하기 위해, 윈도우잉 블록(407)으로 하여금 선택된 윈도우 사이즈를 사용하여 현재 인코딩 프레임을 윈도우잉하게 하고 변환 및 그룹화 블록들(1003, 1005)로 하여금 현재 인코딩 프레임을 변환하게 하고 선택된 윈도우 사이즈와 일치하는 결과적 변환 계수들을 그룹화하게 하는 값들을 갖는 제1, 제2 및 제3 제어 신호들(C407, C1003, C1005)을 제공한다. 이러한 예에서, 분석 블록(1043)은 또한 블록들(407, 1003, 1005)을 사용하여 생성된 인코딩 프레임 시간-주파수 표현의 최고 주파수 대역(1509)의 시간-주파수 변환 컴포넌트들을 조정하도록 시간-주파수 분해능 변환 수정 블록(1007)에 명령어하는 값을 갖는 제4 제어 신호(C1007)를 제공한다. 이러한 예에서, 선택된 윈도우 사이즈는 파이프라인(1150) 내의 현재 인코딩 프레임의 최고 주파수 대역(1509)에 대해 결정된 최적의 시간-주파수 분해능에 매칭되지 않음을 인식할 것이다. 분석 블록(1043)은, 분석 블록(1043)에 의해 현재 인코딩 프레임의 높은 주파수 대역에 대해 결정된 최적의 시간-주파수 분해능에 매칭하도록, 도 9의 프로세스에 따라 높은 주파수 대역의 시간-주파수 분해능을 수정하기 위해 시간-주파수 분해능 변환 수정 블록(1007)을 구성하는 값을 갖는 제4 제어 신호(C1007)를 제공함으로써 이러한 미스매칭을 처리한다.
디코더
도 16은 일부 실시예들에 따른 오디오 인코더(1600)의 예시적인 블록도이다. 비트스트림(1601)은 비트스트림 판독기(1603)에 의해 수신되고 파싱될 수 있다. 비트스트림 판독기는 오디오 데이터의 하나의 프레임을 포함하는 부분들에서 비트스트림을 연속적으로 프로세싱할 수 있다. 오디오 데이터의 하나의 프레임에 대응하는 변환 데이터는 시간-주파수 역변환 블록(1605)에 제공될 수 있다. 비트스트림으로부터의 제어 데이터는, 변환 데이터의 프레임에 대해 어느 시간-주파수 역변환들을 수행할지를 표시하기 위해, 비트스트림 판독기(1603)로부터 시간-주파수 역변환 블록(1605)으로 제공될 수 있다. 그 다음, 출력 블록(1605)은 비트스트림 판독기(1603)로부터 제어 정보를 수신할 수 있는 역 MDCT 블록(1607)에 의해 프로세싱된다. 제어 정보는 오디오 데이터의 프레임에 대한 MDCT 변환 사이즈를 포함할 수 있다. 블록(1607)은 제어 정보에 따라 하나 이상의 역 MDCT들을 수행할 수 있다. 블록(1607)의 출력은 블록(1607)에서 수행된 하나 이상의 역 MDCT들의 결과들에 대응하는 하나 이상의 시간-도메인 세그먼트들일 수 있다. 그 다음, 블록(1607)의 결과가 윈도우잉 블록(1609)에 의해 프로세싱되고, 블록(1609)은 하나 이상의 윈도우잉 시간-도메인 세그먼트들을 생성하기 위해 블록(1607)에 의해 출력되는 하나 이상의 시간-도메인 세그먼트들 각각에 윈도우를 적용할 수 있다. 블록(1609)에 의해 생성된 하나 이상의 윈도우잉된 세그먼트들은 출력 신호(1613)를 재구성하기 위해 중첩-추가 블록(1611)에 제공된다. 재구성은 오디오 데이터의 이전 프레임들로부터 생성된 윈도우잉된 세그먼트들을 통합할 수 있다.
예시적인 하드웨어 구현
도 17은 머신 판독가능 매체(예를 들어, 머신 판독가능 저장 매체)로부터의 명령어들(1716)을 판독하고 본원에 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있는, 일부 예시적인 실시예들에 따른 머신(1700)의 컴포넌트들을 예시하는 예시적인 블록도이다. 구체적으로, 도 17은 머신(1700)의 도식적 표현을 컴퓨터 시스템의 예시적인 형태로 도시하고, 컴퓨터 시스템 내에서 머신(1700)으로 하여금 본 명세서에 논의된 방법들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(1716)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 다른 실행가능 코드)이 실행될 수 있다. 예를 들어, 명령어들(1716)은 예를 들어, 도 4, 도 10a, 도 10b, 도 10c, 도 11ca 내지 도 11cd 및 도 16의 모듈들 또는 회로들 또는 컴포넌트들을 구현하도록 프로세서(1710)를 구성할 수 있다. 명령어들(1716)은 일반적인 비-프로그래밍된 머신(1700)을, 설명되고 예시된 기능들을 (예를 들어, 오디오 프로세서 회로로서) 설명된 방식으로 수행하도록 프로그래밍된 특정 머신으로 변환할 수 있다. 대안적인 실시예들에서, 머신(1700)은 독립형 디바이스로 동작하거나, 다른 머신에 커플링(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1700)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다.
머신(1700)은 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), 개인 휴대 정보 단말(PDA), 엔터테인먼트 미디어 시스템 또는 시스템 컴포넌트, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 기기), 다른 스마트 디바이스들, 웹 기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 헤드폰 드라이버, 또는 머신(1700)에 의해 취해질 액션들을 특정하는 명령어들(1716)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이에 제한되는 것은 아니다. 추가로, 오직 단일 머신(1700)만이 예시되지만, 용어 "머신"은 또한 본 명세서에 논의된 방법들 중 임의의 하나 이상을 수행하기 위해 명령어들(1716)을 개별적으로 또는 공동으로 실행하는 머신들(1700)의 집합체를 포함하도록 취해질 것이다.
머신(1700)은 오디오 프로세서 회로, 비일시적 메모리/저장소(1730) 및 I/O 컴포넌트들(1750)과 같은 프로세서들(1710)을 포함하거나 사용할 수 있고, 이들은 예를 들어, 버스(1702)를 통해 서로 통신하도록 구성될 수 있다. 예시적인 실시예에서, 프로세서들(1710)(예를 들어, 중앙 프로세싱 유닛(CPU), 감소된 명령어 세트 컴퓨팅(RISC) 프로세서, 복합 명령어 세트 컴퓨팅(CISC) 프로세서, 그래픽 프로세싱 유닛(GPU), 디지털 신호 프로세서(DSP), ASIC, 무선 주파수 집적 회로(RFIC), 다른 프로세서 또는 이들의 임의의 적절한 조합)은 예를 들어, 명령어들(1716)을 실행할 수 있는 프로세서(1712) 및 프로세서(1714)와 같은 회로를 포함할 수 있다. 용어 "프로세서"는 명령어들(1716)을 동시에 실행할 수 있는 둘 이상의 독립적 프로세서들(1712, 1714)(때때로 "코어들"로 지칭됨)을 포함할 수 있는 멀티-코어 프로세서(1712, 1714)를 포함하도록 의도된다. 도 11은 다수의 프로세서들(1710)을 도시하지만, 머신(1100)은 단일 코어를 갖는 단일 프로세서(1712, 1714), 다수의 코어들을 갖는 단일 프로세서(1712, 1714)(예를 들어, 멀티-코어 프로세서(1712, 1714)), 단일 코어를 갖는 다수의 프로세서들(1712, 1714), 다수의 코어들을 갖는 다수의 프로세서들(1712, 1714), 또는 이들 조합을 포함할 수 있고, 프로세서들 중 임의의 하나 이상은 프로세싱된 또는 가상화된 오디오 신호를 렌더링하기 위해 오디오 신호에 높이 필터를 적용하도록 구성된 회로를 포함할 수 있다.
메모리/저장소(1730)는 메모리(1732), 예를 들어, 메인 메모리 회로, 또는 다른 메모리 저장 회로, 및 저장 유닛(1136)을 포함할 수 있고, 둘 모두는 예를 들어, 버스(1702)를 통해 프로세서들(1710)에 대해 액세스가능하다. 저장 유닛(1736) 및 메모리(1732)는 본 명세서에 설명된 방법들 또는 기능들 중 임의의 하나 이상을 구현하는 명령어들(1716)을 저장한다. 명령어들(1716)은 또한 머신(1700)에 의한 이들의 실행 동안 완전히 또는 부분적으로, 메모리(1732) 내에, 저장 유닛(1736) 내에, 프로세서들(1710) 중 적어도 하나 내에 (예를 들어, 프로세서(1712, 1714)의 캐시 메모리 내에) 또는 이들의 임의의 적절한 조합에 상주할 수 있다. 따라서, 메모리(1732), 저장 유닛(1736) 및 프로세서들(1710)의 메모리는 머신-판독가능 매체들의 예들이다.
본 명세서에서 사용되는 바와 같이, "머신 판독가능 매체"는 명령어들(1716) 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 디바이스를 의미하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체들, 자기 매체들, 캐시 메모리, 다른 유형들의 저장소들(예를 들어, 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM)) 및/또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이에 제한되는 것은 아니다. 용어 "머신 판독가능 매체"는 명령어들(1716)을 저장할 수 있는 단일 매체 또는 다수의 매체들(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시들 및 서버들)을 포함하는 것으로 이해되어야 한다. 용어 "머신 판독가능 매체"는 또한 머신(예를 들어, 머신(1700))에 의한 실행을 위한 명령어들(예를 들어, 명령어들(1716))을 저장할 수 있는 임의의 매체 또는 다수의 매체들의 조합을 포함하는 것으로서 취해져서, 명령어들(1716)이 머신(1700)의 하나 이상의 프로세서들(예를 들어, 프로세서들(1710))에 의해 실행되는 경우 머신(1700)으로 하여금 본 명세서에 설명된 방법들 중 임의의 하나 이상을 수행하게 할 수 있다. 따라서, "머신 판독가능 매체"는 단일 저장 장치 또는 디바이스 뿐만 아니라 다수의 저장 장치 또는 디바이스들을 포함하는 "클라우드-기반" 저장 시스템들 또는 저장 네트워크들을 지칭한다. 용어 "머신 판독가능 매체"는 신호들 그 자체는 배제한다.
I/O 컴포넌트들(1750)은 입력을 수신하는 것, 출력을 제공하는 것, 출력을 생성하는 것, 정보를 송신하는 것, 정보를 교환하는 것, 측정들을 캡처하는 것 등을 위한 다양한 컴포넌트들을 포함할 수 있다. 특정 머신(1700)에 포함되는 특정 I/O 컴포넌트들(1750)은 머신(1100)의 유형에 의존할 것이다. 예를 들어, 모바일 폰들과 같은 휴대용 머신들은 터치 입력 디바이스 또는 다른 이러한 입력 메커니즘들을 포함할 것인 한편, 헤드리스 서버 머신은 이러한 터치 입력 디바이스를 포함하지 않을 것이다. I/O 컴포넌트들(1750)은 도 10에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있음을 인식할 것이다. I/O 컴포넌트들(1750)은 단지 하기 논의를 단순화하기 위해 기능에 의해 그룹화되고, 그룹화는 제한적이 아니다. 다양한 예시적인 실시예들에서, I/O 컴포넌트들(1750)은 출력 컴포넌트들(1752) 및 입력 컴포넌트들(1754)을 포함할 수 있다. 출력 컴포넌트들(1752)은 시각적 컴포넌트들(예를 들어, 플라즈마 디스플레이 패널(PDP)과 같은 디스플레이), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 음극선관(CRT), 음향 컴포넌트들(예를 들어, 라우드스피커들), 햅틱 컴포넌트들(예를 들어, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 컴포넌트들(1754)은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성되는 터치 스크린, 포토-광학 키보드 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함할 수 있다.
추가적인 예시적 실시예들에서, I/O 컴포넌트들(1750)은 광범위한 다른 컴포넌트들 중에서도, 생체인식 컴포넌트들(1756), 모션 컴포넌트들(1758), 환경 컴포넌트들(1760) 또는 위치 컴포넌트들(1762)을 포함할 수 있다. 예를 들어, 생체인식 컴포넌트들(1756)은 표현들(예를 들어, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체신호들(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하는 것, 개인을 식별하는 것(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별 또는 뇌전도 기반 식별) 등을 위한 컴포넌트들을 포함하여, 예를 들어 청취자-특정 또는 환경-특정 임펄스 응답 또는 예를 들어, HRTF의 포함, 사용 또는 선택에 영향을 미칠 수 있다. 일례에서, 생체인식 컴포넌트들(1156)은 환경에서 청취자의 검출된 위치에 대한 정보를 감지 또는 제공하도록 구성되는 하나 이상의 센서들을 포함할 수 있다. 모션 컴포넌트들(1758)은 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프) 등을 포함하여, 예를 들어, 청취자의 위치에서의 변화들을 추적하기 위해 사용될 수 있다. 환경 컴포넌트들(1760)은 예를 들어, 조명 센서 컴포넌트들(예를 들어, 광도계), 온도 센서 컴포넌트들(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계들), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예를 들어, 기압계), 음향 센서 컴포넌트들(예를 들어, 하나 이상의 주파수들 또는 주파수 대역들에 대한 반향 감쇠 시간들을 검출하는 하나 이상의 마이크로폰들), 근접 센서 또는 방 볼륨 감지 컴포넌트들(예를 들어, 인근 물체들을 검출하는 적외선 센서들), 가스 센서들(예를 들어, 안전을 위해 위험한 가스들의 농도들을 검출하거나 대기의 오염물들을 측정하는 가스 검출 센서들) 또는 주위의 물리적 환경에 대응하는 표시들, 측정들 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함할 수 있다. 위치 컴포넌트들(1762)은 위치 센서 컴포넌트들(예를 들어, 글로벌 측위 시스템(GPS) 수신기 컴포넌트), 고도 센서 컴포넌트들(예를 들어, 고도가 유도될 수 있는 공기 압력을 검출하는 고도계들 또는 기압계들), 배향 센서 컴포넌트들(예를 들어, 자력계들) 등을 포함할 수 있다.
통신은 광범위한 기술들을 사용하여 구현될 수 있다. I/O 컴포넌트들(1750)은 머신(1700)을 커플링(1782) 및 커플링(1772)을 통해 각각 네트워크(1780) 또는 디바이스들(1770)에 커플링하도록 동작가능한 통신 컴포넌트들(1764)을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1764)은 네트워크 인터페이스 컴포넌트 또는 네트워크(1780)와 인터페이싱하기 위한 다른 적절한 디바이스를 포함할 수 있다. 추가적인 예들에서, 통신 컴포넌트들(1764)은 유선 통신 컴포넌트들, 무선 통신 컴포넌트들, 셀룰러 통신 컴포넌트들, 근거리 통신(NFC) 컴포넌트들, Bluetooth® 컴포넌트들(예를 들어, Bluetooth® Low Energy), Wi-Fi® 컴포넌트들, 및 다른 양상들을 통해 통신을 제공하는 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스들(1770)은 다른 머신, 또는 광범위한 주변 디바이스들(예를 들어, USB를 통해 커플링된 주변 디바이스) 중 임의의 것일 수 있다.
또한, 통신 컴포넌트들(1764)는 식별자들을 검출할 수 있거나 또는 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1764)은 무선 주파수 식별(RFID) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, 1차원 바코드들, 예를 들어, 범용 제품 코드(UPC) 바코드, 다차원 바코드들, 예를 들어, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF49, 울트라 코드, UCC RSS-2D 바코드 또는 다른 광학 코드들) 또는 음향 검출 컴포넌트들(예를 들어, 태그된 오디오 신호들을 식별하는 마이크로폰들)을 포함할 수 있다. 또한, 통신 컴포넌트들(1064)를 통해, 예를 들어, 인터넷 프로토콜(IP) 지오로케이션을 통한 위치, Wi-Fi® 신호 삼각측량을 통한 위치, 특정 위치를 표시할 수 있는 NFC 비콘 신호를 검출하는 것을 통한 위치 등과 같은 다양한 정보가 유도될 수 있다. 이러한 식별자들은 기준 또는 로컬 임펄스 응답, 기준 또는 로컬 환경 특성 또는 청취자-특정 특성 중 하나 이상과 같은 정보를 결정하기 위해 사용될 수 있다.
다양한 예시적인 실시예들에서, 네트워크(1780)의 하나 이상의 부분들은 애드 혹 네트워크, 인트라넷, 익스트라넷, 가상 사설 네트워크(VPN), 로컬 영역 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 대도시 영역 네트워크(MAN), 인터넷, 인터넷의 일부분, 공중 교환 전화 네트워크(PSTN)의 일부분, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 다른 유형의 네트워크 또는 둘 이상의 이러한 네트워크들의 조합일 수 있다. 예를 들어, 네트워크(1780) 또는 네트워크(1080)의 일부분은 무선 또는 셀룰러 네트워크를 포함할 수 있고, 커플링(1082)은 코드 분할 다중 액세스(CDMA) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 커플링일 수 있다. 이러한 예에서, 커플링(1782)은 다양한 유형들의 데이터 전송 기술, 예를 들어, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G를 포함하는 3GPP(third Generation Partnership Project), 4G(fourth generation wireless) 네트워크들, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 조직들에 의해 정의된 다른 것들, 다른 장거리 프로토콜들 또는 다른 데이터 전송 기술 중 임의의 것을 구현할 수 있다. 일례에서, 이러한 무선 통신 프로토콜 또는 네트워크는 중앙집중형 프로세서 또는 머신으로부터 헤드폰 오디오 신호들을 청취자에 의해 사용되는 헤드폰 디바이스에 송신하도록 구성될 수 있다.
명령어들(1716)은 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트들(1064)에 포함된 네트워크 인터페이스 컴포넌트)를 통한 송신 매체를 사용하여 그리고 다수의 널리 공지된 전송 프로토콜들 중 임의의 전송 프로토콜(예를 들어, HTTP(hypertext transfer protocol))을 사용하여 네트워크(1780)를 통해 송신 또는 수신될 수 있다. 유사하게, 명령어들(1716)은 디바이스들(1770)에 대한 커플링(1772)(예를 들어, 피어-투-피어 커플링)을 통한 송신 매체를 사용하여 송신 또는 수신될 수 있다. 용어 "송신 매체"는 머신(1700)에 의한 실행을 위해 명령어들(1716)을 저장하고, 인코딩하거나 반송할 수 있는 임의의 무형의 매체를 포함하며, 이러한 소프트웨어의 통신을 용이하게 하기 위해 디지털 또는 아날로그 통신 신호들 또는 다른 무형의 매체들을 포함하도록 취해진다.
상기 설명은 당업자가 오디오 코더들에서 윈도우 사이즈들 및 시간-주파수 변환들을 결정하기 위한 시스템 및 방법을 생성 및 사용할 수 있게 하도록 제공된다. 실시예들에 대한 다양한 수정들은 당업자들에게 쉽게 명백할 것이며, 본 명세서에 정의된 일반 원리들은 본 발명의 범주를 벗어나지 않으면서 다른 실시예들 및 애플리케이션들에 적용될 수 있다. 선행하는 설명에서, 다수의 세부사항들은 설명의 목적으로 기술된다. 그러나, 이러한 특정 세부사항들의 사용 없이 본 발명이 실시될 수 있음을 당업자는 인식할 것이다. 다른 경우들에서, 불필요한 세부사항으로 본 발명의 설명을 모호하게 하지 않기 위해, 널리 공지된 프로세스들은 블록도 형태로 도시된다. 상이한 도면들에서 동일하거나 유사한 항목의 상이한 뷰들을 표현하기 위해 동일한 참조 부호들이 사용될 수 있다. 따라서, 본 발명에 따른 실시예들의 전술한 설명 및 도면들은 본 발명의 원리들에 대해 단지 예시적이다. 따라서, 첨부된 청구항들에서 정의되는 본 발명의 범주를 벗어나지 않으면서 실시예들에 대한 다양한 수정들이 당업자들에 의해 행해질 수 있음을 이해할 것이다.

Claims (59)

  1. 오디오 신호를 인코딩하는 방법으로서,
    오디오 신호 프레임(frame)을 수신하는 단계;
    상기 프레임의 다수의 변환들을 생성하기 위해 주파수 스펙트럼에 걸쳐 상기 프레임에 다수의 상이한 시간-주파수 변환들을 적용하는 단계 - 각각의 변환은 상기 주파수 스펙트럼에 걸쳐 대응하는 시간-주파수 분해능을 가짐 - ;
    상기 다수의 변환들에 대응하는 다수의 시간-주파수 분해능들에 대해, 상기 주파수 스펙트럼 내의 다수의 주파수 대역들에 대한 코딩 효율의 측정들을 컴퓨팅하는 단계;
    상기 코딩 효율의 컴퓨팅된 측정들에 적어도 부분적으로 기초하여, 상기 주파수 스펙트럼 내의 상기 다수의 주파수 대역들 각각에서 상기 프레임을 표현하도록 시간-주파수 분해능들의 조합을 선택하는 단계;
    상기 시간-주파수 분해능들의 선택된 조합에 적어도 부분적으로 기초하여, 상기 프레임에 대한 윈도우 사이즈 및 대응하는 변환 사이즈를 결정하는 단계;
    상기 시간-주파수 분해능들의 선택된 조합 및 상기 결정된 윈도우 사이즈에 적어도 부분적으로 기초하여 상기 주파수 대역들 중 적어도 하나에 대한 수정 변환을 결정하는 단계;
    윈도우잉(windowing)된 프레임을 생성하기 위해 상기 결정된 윈도우 사이즈를 사용하여 상기 프레임을 윈도우잉하는 단계;
    상기 주파수 스펙트럼의 다수의 주파수 대역들 각각에서 대응하는 시간-주파수 분해능을 갖는 상기 윈도우잉된 프레임의 변환을 생성하기 위해 상기 결정된 변환 사이즈를 사용하여 상기 윈도우잉된 프레임을 변환하는 단계; 및
    상기 결정된 수정 변환에 적어도 부분적으로 기초하여 상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 단계
    를 포함하고,
    상기 주파수 스펙트럼에 걸친 각각의 대응하는 시간-주파수 분해능은 상기 주파수 스펙트럼에 걸친 대응하는 계수들의 세트에 대응하고;
    상기 방법은, 각각의 대응하는 계수들의 세트를, 상기 주파수 스펙트럼 내에서 상기 다수의 주파수 대역들 각각에 대한 대응하는 계수들의 서브세트들로 그룹화하는 단계를 더 포함하고;
    상기 주파수 스펙트럼에 걸친 상기 다수의 주파수 대역들에 대한 코딩 효율의 측정들을 컴퓨팅하는 단계는, 상기 코딩 효율의 측정들을 컴퓨팅하기 위해 트렐리스(trellis) 구조를 사용하는 단계를 포함하고, 상기 트렐리스 구조의 노드는 상기 계수들의 서브세트들 중 하나에 대응하고, 상기 트렐리스 구조의 열(column)은 상기 다수의 주파수 대역들 중 하나에 대응하는 것인,
    오디오 신호를 인코딩하는 방법.
  2. 제1항에 있어서,
    상기 주파수 스펙트럼에 걸친 각각의 대응하는 시간-주파수 분해능은 상기 주파수 스펙트럼에 걸친 대응하는 계수들의 세트에 대응하고;
    상기 프레임을 표현하도록 선택된 상기 시간-주파수 분해능들의 조합은 상기 다수의 주파수 대역들 각각에 대해 각각의 대응하는 계수들의 세트의 서브세트를 포함하고;
    상기 코딩 효율의 컴퓨팅된 대응하는 측정들은 상기 대응하는 계수들의 서브세트들의 코딩 효율의 측정들을 제공하는 것인,
    오디오 신호를 인코딩하는 방법.
  3. 제2항에 있어서,
    코딩 효율의 측정들을 컴퓨팅하는 단계는, 데이터 레이트 및 에러 레이트의 조합에 기초하여 측정들을 컴퓨팅하는 단계를 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  4. 제2항에 있어서,
    코딩 효율의 측정들을 컴퓨팅하는 단계는, 상기 계수들의 희소성에 기초하여 측정들을 컴퓨팅하는 단계를 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  5. 제1항에 있어서,
    상기 주파수 대역들 중 적어도 하나에 대한 수정 변환을 결정하는 단계는, 상기 주파수 대역들 중 적어도 하나에서 상기 프레임을 표현하도록 선택된 시간-주파수 분해능과 상기 결정된 윈도우 사이즈에 대응하는 시간-주파수 분해능 사이의 차이에 적어도 부분적으로 기초하여 결정하는 단계를 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  6. 제1항에 있어서,
    상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 단계는, 상기 주파수 대역들 중 적어도 하나에서 상기 프레임을 표현하도록 선택된 시간-주파수 분해능에 매칭하도록, 상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 단계를 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  7. 제1항에 있어서,
    상기 주파수 대역들 중 적어도 하나에 대한 수정 변환을 결정하는 단계는, 상기 주파수 대역들 중 적어도 하나에서 상기 프레임을 표현하도록 선택된 시간-주파수 분해능과 상기 결정된 윈도우 사이즈에 대응하는 시간-주파수 분해능 사이의 차이에 적어도 부분적으로 기초하여 결정하는 단계를 포함하고;
    상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 단계는, 상기 주파수 대역들 중 적어도 하나에서 상기 프레임을 표현하도록 선택된 상기 시간-주파수 분해능에 매칭하도록, 상기 윈도우잉된 프레임의 상기 변환의 상기 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 단계를 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  8. 제1항에 있어서,
    상기 주파수 스펙트럼에 걸친 각각의 대응하는 시간-주파수 분해능은 상기 주파수 스펙트럼에 걸친 대응하는 계수들의 세트에 대응하고;
    각각의 대응하는 계수들의 세트를, 상기 주파수 스펙트럼 내에서 상기 다수의 주파수 대역들 각각에 대한 대응하는 계수들의 서브세트들로 그룹화하는 단계
    를 더 포함하고;
    상기 주파수 스펙트럼에 걸쳐 상기 다수의 주파수 대역들에 대한 코딩 효율의 측정들을 컴퓨팅하는 단계는, 계수들의 서브세트들의 다수의 개별적인 조합들에 대한 코딩 효율의 개별적인 측정들을 결정하는 단계를 포함하고, 계수들의 각각의 개별적인 조합은 각각의 주파수 대역에서 각각의 대응하는 계수들의 세트로부터의 계수들의 서브세트를 갖는 것인,
    오디오 신호를 인코딩하는 방법.
  9. 제8항에 있어서,
    상기 시간-주파수 분해능들의 조합을 선택하는 단계는, 계수들의 서브세트들의 다수의 개별적인 조합들에 대한 상기 결정된 코딩 효율의 개별적인 측정들을 비교하는 단계를 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  10. 삭제
  11. 제1항에 있어서,
    코딩 효율의 개별적인 측정들은 상기 트렐리스 구조의 상이한 열들 내의 노드들 사이에서 개별적인 전환 경로(transition path)들과 연관된 개별적인 전환 비용(transition cost)들을 포함하는 것인,
    오디오 신호를 인코딩하는 방법.
  12. 오디오 인코더로서,
    적어도 하나의 프로세서; 및
    명령어들을 저장한 하나 이상의 컴퓨터 판독가능 매체
    를 포함하고,
    상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행되는 경우 상기 오디오 인코더로 하여금 동작들을 수행하게 하고, 상기 동작들은,
    오디오 신호 프레임(frame)의 다수의 변환들을 생성하기 위해 주파수 스펙트럼에 걸쳐 상기 프레임에 다수의 상이한 시간-주파수 변환들을 적용하는 것 - 각각의 변환은 상기 주파수 스펙트럼에 걸쳐 대응하는 시간-주파수 분해능을 가짐 - ;
    상기 다수의 변환들에 대응하는 다수의 시간-주파수 분해능들에 대해, 상기 주파수 스펙트럼 내의 다수의 주파수 대역들에 대한 코딩 효율의 측정들을 컴퓨팅하는 것;
    상기 코딩 효율의 컴퓨팅된 측정들에 적어도 부분적으로 기초하여, 상기 주파수 스펙트럼 내의 상기 다수의 주파수 대역들 각각에서 상기 프레임을 표현하도록 시간-주파수 분해능들의 조합을 선택하는 것;
    상기 시간-주파수 분해능들의 선택된 조합에 적어도 부분적으로 기초하여, 상기 프레임에 대한 윈도우 사이즈 및 대응하는 변환 사이즈를 결정하는 것;
    상기 시간-주파수 분해능들의 선택된 조합 및 상기 결정된 윈도우 사이즈에 적어도 부분적으로 기초하여 상기 주파수 대역들 중 적어도 하나에 대한 수정 변환을 결정하는 것;
    윈도우잉된 프레임을 생성하기 위해 상기 결정된 윈도우 사이즈를 사용하여 상기 프레임을 윈도우잉하는 것;
    상기 주파수 스펙트럼의 다수의 주파수 대역들 각각에서 대응하는 시간-주파수 분해능을 갖는 상기 윈도우잉된 프레임의 변환을 생성하기 위해 상기 결정된 변환 사이즈를 사용하여 상기 윈도우잉된 프레임을 변환하는 것; 및
    상기 결정된 수정 변환에 적어도 부분적으로 기초하여 상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 것
    을 포함하고,
    상기 주파수 스펙트럼에 걸친 각각의 대응하는 시간-주파수 분해능은 상기 주파수 스펙트럼에 걸친 대응하는 계수들의 세트에 대응하고;
    상기 동작들은, 각각의 대응하는 계수들의 세트를, 상기 주파수 스펙트럼 내에서 상기 다수의 주파수 대역들 각각에 대한 대응하는 계수들의 서브세트들로 그룹화하는 것을 더 포함하고;
    상기 주파수 스펙트럼에 걸친 상기 다수의 주파수 대역들에 대한 코딩 효율의 측정들을 컴퓨팅하는 것은, 상기 코딩 효율의 측정들을 컴퓨팅하기 위해 트렐리스(trellis) 구조를 사용하는 것을 포함하고, 상기 트렐리스 구조의 노드는 상기 계수들의 서브세트들 중 하나에 대응하고, 상기 트렐리스 구조의 열(column)은 상기 다수의 주파수 대역들 중 하나에 대응하는 것인,
    오디오 인코더.
  13. 제12항에 있어서,
    상기 주파수 스펙트럼에 걸친 각각의 대응하는 시간-주파수 분해능은 상기 주파수 스펙트럼에 걸친 대응하는 계수들의 세트에 대응하고;
    상기 프레임을 표현하도록 선택된 상기 시간-주파수 분해능들의 조합은 상기 다수의 주파수 대역들 각각에 대해 각각의 대응하는 계수들의 세트의 서브세트를 포함하고;
    상기 코딩 효율의 컴퓨팅된 대응하는 측정들은 상기 대응하는 계수들의 서브세트들의 코딩 효율의 측정들을 제공하는 것인,
    오디오 인코더.
  14. 제12항에 있어서,
    상기 주파수 대역들 중 적어도 하나에 대한 수정 변환을 결정하는 것은, 상기 주파수 대역들 중 적어도 하나에서 상기 프레임을 표현하도록 선택된 시간-주파수 분해능과 상기 결정된 윈도우 사이즈에 대응하는 시간-주파수 분해능 사이의 차이에 적어도 부분적으로 기초하여 결정하는 것을 포함하는 것인,
    오디오 인코더.
  15. 제12항에 있어서,
    상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 것은, 상기 주파수 대역들 중 적어도 하나에서 상기 프레임을 표현하도록 선택된 시간-주파수 분해능에 매칭하도록, 상기 윈도우잉된 프레임의 상기 변환의 적어도 하나의 주파수 대역 내에서 시간-주파수 분해능을 수정하는 것을 포함하는 것인,
    오디오 인코더.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
KR1020197034969A 2017-04-28 2018-04-28 오디오 코더 윈도우 사이즈 및 시간-주파수 변환 KR102632136B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762491911P 2017-04-28 2017-04-28
US62/491,911 2017-04-28
PCT/US2018/030060 WO2018201112A1 (en) 2017-04-28 2018-04-28 Audio coder window sizes and time-frequency transformations

Publications (2)

Publication Number Publication Date
KR20200012866A KR20200012866A (ko) 2020-02-05
KR102632136B1 true KR102632136B1 (ko) 2024-01-31

Family

ID=63917399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034969A KR102632136B1 (ko) 2017-04-28 2018-04-28 오디오 코더 윈도우 사이즈 및 시간-주파수 변환

Country Status (5)

Country Link
US (2) US10818305B2 (ko)
EP (1) EP3616197A4 (ko)
KR (1) KR102632136B1 (ko)
CN (1) CN110870006B (ko)
WO (1) WO2018201112A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632136B1 (ko) 2017-04-28 2024-01-31 디티에스, 인코포레이티드 오디오 코더 윈도우 사이즈 및 시간-주파수 변환
US11132448B2 (en) * 2018-08-01 2021-09-28 Dell Products L.P. Encryption using wavelet transformation
EP3786948A1 (en) * 2019-08-28 2021-03-03 Fraunhofer Gesellschaft zur Förderung der Angewand Time-varying time-frequency tilings using non-uniform orthogonal filterbanks based on mdct analysis/synthesis and tdar
EP3809653B1 (en) * 2019-10-14 2022-09-14 Volkswagen AG Wireless communication device and corresponding apparatus, method and computer program
EP3809655B1 (en) * 2019-10-14 2023-10-04 Volkswagen AG Wireless communication device and corresponding apparatus, method and computer program
EP3809651B1 (en) * 2019-10-14 2022-09-14 Volkswagen AG Wireless communication device and corresponding apparatus, method and computer program
WO2021112813A1 (en) * 2019-12-02 2021-06-10 Google Llc Methods, systems, and media for seamless audio melding
US11227614B2 (en) * 2020-06-11 2022-01-18 Silicon Laboratories Inc. End node spectrogram compression for machine learning speech recognition
CN112328963A (zh) * 2020-09-29 2021-02-05 国创新能源汽车智慧能源装备创新中心(江苏)有限公司 信号的有效值计算方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016405A1 (en) * 2005-07-15 2007-01-18 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3175446B2 (ja) * 1993-11-29 2001-06-11 ソニー株式会社 情報圧縮方法及び装置、圧縮情報伸張方法及び装置、圧縮情報記録／伝送装置、圧縮情報再生装置、圧縮情報受信装置、並びに記録媒体
JP3528258B2 (ja) * 1994-08-23 2004-05-17 ソニー株式会社 符号化音声信号の復号化方法及び装置
US6029126A (en) * 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
US6363338B1 (en) * 1999-04-12 2002-03-26 Dolby Laboratories Licensing Corporation Quantization in perceptual audio coders with compensation for synthesis filter noise spreading
DE10041512B4 (de) * 2000-08-24 2005-05-04 Infineon Technologies Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7460993B2 (en) 2001-12-14 2008-12-02 Microsoft Corporation Adaptive window-size selection in transform coding
GB2388502A (en) * 2002-05-10 2003-11-12 Chris Dunn Compression of frequency domain audio signals
CN1839426A (zh) * 2003-09-17 2006-09-27 北京阜国数字技术有限公司 多分辨率矢量量化的音频编解码方法及装置
US7516064B2 (en) * 2004-02-19 2009-04-07 Dolby Laboratories Licensing Corporation Adaptive hybrid transform for signal analysis and synthesis
US7937271B2 (en) 2004-09-17 2011-05-03 Digital Rise Technology Co., Ltd. Audio decoding using variable-length codebook application ranges
US7630902B2 (en) 2004-09-17 2009-12-08 Digital Rise Technology Co., Ltd. Apparatus and methods for digital audio coding using codebook application ranges
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US7490036B2 (en) * 2005-10-20 2009-02-10 Motorola, Inc. Adaptive equalizer for a coded speech signal
US8473298B2 (en) * 2005-11-01 2013-06-25 Apple Inc. Pre-resampling to achieve continuously variable analysis time/frequency resolution
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
EP1903559A1 (en) 2006-09-20 2008-03-26 Deutsche Thomson-Brandt Gmbh Method and device for transcoding audio signals
US7826561B2 (en) * 2006-12-20 2010-11-02 Icom America, Incorporated Single sideband voice signal tuning method
EP2015293A1 (en) * 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
CA2698039C (en) * 2007-08-27 2016-05-17 Telefonaktiebolaget Lm Ericsson (Publ) Low-complexity spectral analysis/synthesis using selectable time resolution
CN101790756B (zh) 2007-08-27 2012-09-05 爱立信电话股份有限公司 瞬态检测器以及用于支持音频信号的编码的方法
EP2107556A1 (en) * 2008-04-04 2009-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transform coding using pitch correction
CA2871268C (en) * 2008-07-11 2015-11-03 Nikolaus Rettelbach Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
AR075199A1 (es) 2009-01-28 2011-03-16 Fraunhofer Ges Forschung Codificador de audio decodificador de audio informacion de audio codificada metodos para la codificacion y decodificacion de una senal de audio y programa de computadora
WO2011127832A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
US9008811B2 (en) * 2010-09-17 2015-04-14 Xiph.org Foundation Methods and systems for adaptive time-frequency resolution in digital data coding
WO2012110478A1 (en) * 2011-02-14 2012-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Information signal representation using lapped transform
MY159444A (en) * 2011-02-14 2017-01-13 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Encoding and decoding of pulse positions of tracks of an audio signal
WO2012122297A1 (en) * 2011-03-07 2012-09-13 Xiph. Org. Methods and systems for avoiding partial collapse in multi-block audio coding
EP2860729A4 (en) * 2012-06-04 2016-03-02 Samsung Electronics Co Ltd METHOD AND DEVICE FOR AUDIO CODING, METHOD AND DEVICE FOR AUDIO DECODING, AND MULTIMEDIA DEVICE EMPLOYING THEM
EP2717261A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
EP2717262A1 (en) 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for signal-dependent zoom-transform in spatial audio object coding
KR20140075466A (ko) 2012-12-11 2014-06-19 삼성전자주식회사 오디오 신호의 인코딩 및 디코딩 방법, 및 오디오 신호의 인코딩 및 디코딩 장치
AU2014211474B2 (en) * 2013-01-29 2017-04-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoders, audio decoders, systems, methods and computer programs using an increased temporal resolution in temporal proximity of onsets or offsets of fricatives or affricates
DK3271736T3 (da) * 2015-03-17 2019-12-09 Zynaptiq Gmbh Fremgangsmåder til at udstrække frekvenstransformeringer til at opløse egenskaber i det spatiotemporale domæne
KR102632136B1 (ko) 2017-04-28 2024-01-31 디티에스, 인코포레이티드 오디오 코더 윈도우 사이즈 및 시간-주파수 변환

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016405A1 (en) * 2005-07-15 2007-01-18 Microsoft Corporation Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Marina Bosi, et al. ISO/IEC MPEG-2 advanced audio coding. Journal of the Audio engineering society, 1997.*
O.A. Niamut, R. Heusdens. Richard. Flexible frequency decompositions for cosine-modulated filter banks. IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP), 2003.*

Also Published As

Publication number Publication date
EP3616197A4 (en) 2021-01-27
US11769515B2 (en) 2023-09-26
WO2018201112A1 (en) 2018-11-01
EP3616197A1 (en) 2020-03-04
US10818305B2 (en) 2020-10-27
KR20200012866A (ko) 2020-02-05
CN110870006B (zh) 2023-09-22
CN110870006A (zh) 2020-03-06
US20180315433A1 (en) 2018-11-01
US20210043218A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
KR102632136B1 (ko) 오디오 코더 윈도우 사이즈 및 시간-주파수 변환
KR102615903B1 (ko) 오디오 코더 윈도우 및 변환 구현들
JP6558745B2 (ja) 符号化／復号化方法および符号化／復号化デバイス
US11355132B2 (en) Spatial audio signal decoder
US11205435B2 (en) Spatial audio signal encoder
CN103109321A (zh) 估计音调滞后
JP2013522658A (ja) サンプリングレート依存型タイムワープコンター符号化を用いた、オーディオ信号復号器、オーディオ信号符号化器、方法、およびコンピュータプログラム
CN104937662B (zh) 用于线性预测译码中的自适应共振峰锐化的系统、方法、设备和计算机可读媒体
CN106233112A (zh) 信号编码方法和设备以及信号解码方法和设备
CN104064191A (zh) 混音方法及装置
CN102906812A (zh) 处理音频信号的方法和装置
JP5798257B2 (ja) 信号の複合符号化のための装置および方法
CN105074820B (zh) 用于确定内插因数组的系统和方法
KR20220027938A (ko) 하이브리드 공간 오디오 디코더
CN103109319A (zh) 确定音调循环能量及按比例缩放激励信号
KR102593235B1 (ko) 공간 오디오 파라미터의 양자화
EP3616074A1 (en) Bit rate control over groups of frames

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant