KR20230135665A - 공간 오디오 파라미터 인코딩 및 관련 디코딩 결정 - Google Patents

공간 오디오 파라미터 인코딩 및 관련 디코딩 결정 Download PDF

Info

Publication number
KR20230135665A
KR20230135665A KR1020237029264A KR20237029264A KR20230135665A KR 20230135665 A KR20230135665 A KR 20230135665A KR 1020237029264 A KR1020237029264 A KR 1020237029264A KR 20237029264 A KR20237029264 A KR 20237029264A KR 20230135665 A KR20230135665 A KR 20230135665A
Authority
KR
South Korea
Prior art keywords
value
bits
sub
band
encoding
Prior art date
Application number
KR1020237029264A
Other languages
English (en)
Inventor
아드리아나 바실라체
앤시 라모
라세 라크소넨
타파니 필라자쿠자
미코-빌 라이티넨
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20230135665A publication Critical patent/KR20230135665A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002—Dynamic bit allocation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

오디오 신호를 나타내는 파라미터에 대한 값을 획득하고 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하며, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하며, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 수단을 포함하는 장치가 제공된다.

Description

공간 오디오 파라미터 인코딩 및 관련 디코딩 결정
본 출원은 음장 관련 파라미터 인코딩을 위한 장치 및 방법에 관한 것이지만, 오디오 인코더 및 디코더를 위한 시간-주파수 영역 방향 관련 파라미터 인코딩에만 국한되는 것은 아니다.
파라미터의 공간 오디오 처리는 파라미터 세트를 사용하여 사운드의 공간 양상을 설명하는 오디오 신호 처리 분야이다. 예를 들어, 마이크 어레이에서 파라미터의 공간 오디오를 캡처하는 경우, 마이크 어레이 신호로부터 주파수 대역의 사운드 방향, 주파수 대역 내 캡처된 사운드의 방향성 부분과 비방향성 부분 사이의 비율과 같은 파라미터 세트를 추정하는 것이 전형적이고 효과적인 선택이다. 이들 파라미터는 마이크 어레이의 위치에서 캡처된 사운드의 지각적 공간 특성을 잘 설명하는 것으로 알려져 있다. 이들 파라미터는 입체 음향 헤드폰, 라우드스피커 또는 앰비소닉과 같은 다른 형식의 공간 사운드 합성에 활용될 수 있다.
따라서, 주파수 대역에서 방향과 직접-총(direct-to-total) 에너지 비율은 공간 오디오 캡처에 특히 효과적인 파라미터화이다.
주파수 대역의 방향 파라미터와 주파수 대역의 에너지 비율 파라미터(사운드의 방향성을 나타냄)로 구성된 파라미터 세트는 오디오 코덱의 공간 메타데이터(코히어런스, 확산 코히어런스, 방향의 수, 거리 등과 같은 다른 파라미터도 포함할 수 있음)로도 활용될 수 있다. 예를 들어, 이러한 파라미터는 마이크 어레이로 캡처된 오디오 신호로부터 추정될 수 있으며, 예컨대 공간 메타데이터와 함께 전달될 스테레오 신호를 마이크 어레이 신호로부터 생성할 수 있다. 스테레오 신호는 예를 들어 AAC 인코더로 인코딩될 수 있다. 디코더는 오디오 신호를 PCM 신호로 디코딩하고, (공간 메타데이터를 사용하여) 주파수 대역의 사운드를 처리하여 공간 출력,예컨대, 바이노럴 출력을 얻을 수 있다.
전술한 솔루션은 마이크 어레이(예컨대, 휴대폰, VR 카메라, 독립형 마이크 어레이)에서 캡처한 공간 사운드를 인코딩하는 데 특히 적합하다. 그러나, 이러한 인코더에는 마이크 어레이에서 캡처한 신호 이외의 다른 입력 유형, 예컨대, 라우드스피커 신호, 오디오 객체 신호 또는 앰비소닉 신호도 포함되는 것이 바람직할 수 있다.
공간 메타데이터 추출을 위한 1차 앰비소닉스(FOA) 입력 분석은 지향성 오디오 코딩(DirAC) 및 고조파 평면파 확장(Harpex) 관련 과학 문헌에 완전히 문서화되어 있다. 이는 FOA 신호(더 정확하게는 그 변형인 B-포맷 신호)를 직접 제공하는 마이크 어레이가 존재하기 때문이며, 따라서 이러한 입력을 분석하는 것이 이 분야의 연구 요점이다.
인코더의 또 다른 입력으로는 5.1 또는 7.1 채널 서라운드 입력과 같은 다채널 라우드스피커 입력도 있다.
그러나 메타데이터의 방향 성분과 관련하여 고려되는 각각의 시간/주파수 하위대역에 대해 결과 방향의 고도각, 방위각(및 에너지 비율과 같은 기타 파라미터)을 포함할 수 있다. 이러한 방향 성분의 양자화는 현재 연구 주제이다.
제1 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 값을 획득하고 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하며, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하며, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 수단을 포함하는 장치가 제공된다.
각 하위 대역에 대한 페널티 값을 결정하는 수단은, 하위 대역에 대해 적어도 하나의 에너지 비율 값에 기초하여 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하고, 하위 대역에 대해 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정 - 비트의 제2 할당은 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - 하며, 방향 값을 인코딩하기 위한 비트의 초기 할당과 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이를 결정하기 위한 것일 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 수단은, 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하고, 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하기 위한 것일 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 수단은, 각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하고, 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하기 위한 것일 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 수단은, 방향 값을 인코딩하기 위한 비트의 초기 할당과 방향 값을 인코딩하기 위한 비트의 초기 할당에 관하여 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이에 기초하여 하위 대역을 정렬하고, 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역을 선택하기 위한 것일 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 수단은 가장 낮은 페널티 값을 갖는 인코딩되지 않은 하위 대역을 선택하기 위한 것일 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 수단은, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하기 위한 것일 수 있다.
수단은 또한 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하기 위한 것일 수 있다.
수단은 또한 프레임의 적어도 하나의 에너지 비율 값을 인코딩하기 위한 것일 수 있다.
프레임의 적어도 하나의 에너지 비율 값을 인코딩하는 수단은, 적어도 하나의 에너지 비율 값의 가중 평균을 생성하고, 적어도 하나의 에너지 비율 값의 가중 평균을 인코딩하기 위한 것일 수 있다.
적어도 하나 에너지 비율 값의 가중 평균을 인코딩하는 수단은 또한 적어도 하나의 에너지 비율 값의 적어도 하나의 가중 평균을 스칼라 비균일 양자화하기 위한 것일 수 있다.
선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 수단은 또한, 양자화 그리드에 기초하여 선택된 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 데 필요한 제1 비트 수를 결정하고, 선택된 하위 대역에 대한 적어도 하나의 방향 값을 엔트로피 인코딩하는 데 필요한 제2 비트 수를 결정하며, 제1 비트 수 및 제2 비트 수 중에서 사용된 더 낮은 비트 수에 기초하여 양자화 그리드 인코딩 또는 엔트로피 인코딩을 선택하며, 양자화 그리드 인코딩 또는 엔트로피 인코딩의 선택을 식별하는 시그널링 비트를 생성하기 위한 것일 수 있다.
엔트로피 인코딩은 골롬 라이스 인코딩일 수 있다.
수단은 또한 인코딩된 적어도 하나의 방향 값을 저장 및/또는 전송하기 위한 것일 수 있다.
제2 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하고 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하며, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하며, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하는 수단을 포함하는 장치가 제공된다.
각 하위 대역에 대한 페널티 값을 결정하는 수단은, 하위 대역에 대해 적어도 하나의 에너지 비율 값에 기초하여 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하고, 하위 대역에 대해 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정 - 비트의 제2 할당은 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - 하며, 방향 값을 인코딩하기 위한 비트의 초기 할당과 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이를 결정하기 위한 것일 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 수단은, 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하고, 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하기 위한 것일 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 수단은, 각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하고, 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하기 위한 것일 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 수단은, 방향 값을 인코딩하기 위한 비트의 초기 할당과 방향 값을 인코딩하기 위한 비트의 초기 할당에 관하여 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이에 기초하여 하위 대역을 정렬하고, 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역을 선택하기 위한 것일 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 수단은 가장 낮은 페널티 값을 갖는 인코딩된 하위 대역을 선택하기 위한 것일 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 수단은, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하기 위한 것일 수 있다.
수단은 또한 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하기 위한 것일 수 있다.
수단은 또한 프레임의 적어도 하나의 에너지 비율 값을 디코딩하기 위한 것일 수 있다.
선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하는 수단은 또한, 시그널링 비트를 결정하고, 시그널링 비트에 기초하여 양자화 그리드 디코딩 또는 엔트로피 디코딩을 선택하기 위한 것일 수 있다.
엔트로피 디코딩은 골롬 라이스 디코딩일 수 있다.
제3 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 값을 획득하는 단계 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - 와, 각 하위 대역에 대한 페널티 값을 결정하는 단계와, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 단계와, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 단계와, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 단계를 포함한다.
각 하위 대역에 대한 페널티 값을 결정하는 단계는, 하위 대역에 대해 적어도 하나의 에너지 비율 값에 기초하여 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하는 단계, 하위 대역에 대해 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정하는 단계 - 비트의 제2 할당은 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - , 방향 값을 인코딩하기 위한 비트의 초기 할당과 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이를 결정하는 단계를 포함할 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 단계는, 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하는 단계와, 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하는 단계를 포함할 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 단계는, 각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하는 단계와, 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하는 단계를 포함할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 단계는, 방향 값을 인코딩하기 위한 비트의 초기 할당과 방향 값을 인코딩하기 위한 비트의 초기 할당에 관하여 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이에 기초하여 하위 대역을 정렬하는 단계와, 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역을 선택하는 단계를 포함할 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 단계는 가장 낮은 페널티 값을 갖는 인코딩되지 않은 하위 대역을 선택하는 단계를 포함할 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 단계는, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하는 단계를 포함할 수 있다.
방법은 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하는 단계를 더 포함할 수 있다.
방법은 프레임의 적어도 하나의 에너지 비율 값을 인코딩하는 단계를 더 포함할 수 있다.
프레임의 적어도 하나의 에너지 비율 값을 인코딩하는 단계는, 적어도 하나의 에너지 비율 값의 가중 평균을 생성하는 단계와, 적어도 하나의 에너지 비율 값의 가중 평균을 인코딩하는 단계를 포함할 수 있다.
적어도 하나 에너지 비율 값의 가중 평균을 인코딩하는 단계는 적어도 하나의 에너지 비율 값의 적어도 하나의 가중 평균을 스칼라 비균일 양자화하는 단계를 포함할 수 있다.
선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 단계는 양자화 그리드에 기초하여 선택된 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 데 필요한 제1 비트 수를 결정하는 단계와, 선택된 하위 대역에 대한 적어도 하나의 방향 값을 엔트로피 인코딩하는 데 필요한 제2 비트 수를 결정하는 단계와, 제1 비트 수 및 제2 비트 수 중에서 사용된 더 낮은 비트 수에 기초하여 양자화 그리드 인코딩 또는 엔트로피 인코딩을 선택하는 단계와, 양자화 그리드 인코딩 또는 엔트로피 인코딩의 선택을 식별하는 시그널링 비트를 생성하는 단계를 포함할 수 있다.
엔트로피 인코딩은 골롬 라이스 인코딩일 수 있다.
방법은 인코딩된 적어도 하나의 방향 값을 저장 및/또는 전송하는 단계를 더 포함할 수 있다.
제4 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하는 단계 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - 와, 각 하위 대역에 대한 페널티 값을 결정하는 단계와, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 단계와, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향성 값을 디코딩하는 단계와, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하는 단계를 포함하는 방법이 제공된다.
각 하위 대역에 대한 페널티 값을 결정하는 단계는, 하위 대역에 대해 적어도 하나의 에너지 비율 값에 기초하여 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하는 단계, 하위 대역에 대해 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정하는 단계 - 비트의 제2 할당은 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - , 방향 값을 인코딩하기 위한 비트의 초기 할당과 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이를 결정하는 단계를 포함할 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 단계는, 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하는 단계와, 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하는 단계를 포함할 수 있다.
각 하위 대역에 대한 페널티 값을 결정하는 단계는, 각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하는 단계와, 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하는 단계를 포함할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 단계는, 방향 값을 인코딩하기 위한 비트의 초기 할당과 방향 값을 인코딩하기 위한 비트의 초기 할당에 관하여 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이에 기초하여 하위 대역을 정렬하는 단계와, 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역을 선택하는 단계를 포함할 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하는 단계는 가장 낮은 페널티 값을 갖는 인코딩된 하위 대역을 선택하는 단계를 포함할 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 단계는, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하는 단계를 포함할 수 있다.
방법은 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하는 단계를 포함할 수 있다.
방법은 프레임의 적어도 하나의 에너지 비율 값을 디코딩하는 단계를 더 포함할 수 있다.
선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하는 단계는, 시그널링 비트를 결정하는 단계와, 시그널링 비트에 기초하여 양자화 그리드 디코딩 또는 엔트로피 디코딩을 선택하는 단계를 더 포함할 수 있다.
엔트로피 디코딩은 골롬 라이스 디코딩일 수 있다.
제5 양상에 따라 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도, 오디오 신호를 나타내는 파라미터에 대한 값을 획득하고 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하며, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하며, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하게 하도록 구성된다.
각 하위 대역에 대한 페널티 값을 결정하게 된 장치는, 하위 대역에 대해 적어도 하나의 에너지 비율 값에 기초하여 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하고, 하위 대역에 대해 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정 - 비트의 제2 할당은 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - 하며, 방향 값을 인코딩하기 위한 비트의 초기 할당과 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이를 결정하게 될 수 있다.
각 하위 대역에 대한 페널티 값을 결정하게 된 장치는, 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하고, 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하게 될 수 있다.
각 하위 대역에 대한 페널티 값을 결정하게 된 장치는, 각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하고, 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하게 될 수 있다.
페널티 값에 기초하여 하위 대역을 선택하게 된 장치는, 방향 값을 인코딩하기 위한 비트의 초기 할당과 방향 값을 인코딩하기 위한 비트의 초기 할당에 관하여 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이에 기초하여 하위 대역을 정렬하고, 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역을 선택하게 될 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하게 된 장치는 가장 낮은 페널티 값을 갖는 인코딩되지 않은 하위 대역을 선택하게 될 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하게 된 장치는, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하게 될 수 있다.
장치는 또한 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하게 될 수 있다.
장치는 또한 프레임의 적어도 하나의 에너지 비율 값을 인코딩하게 될 수 있다.
프레임의 적어도 하나의 에너지 비율 값을 인코딩하게 된 장치는, 적어도 하나의 에너지 비율 값의 가중 평균을 생성하고, 적어도 하나의 에너지 비율 값의 가중 평균을 인코딩하게 될 수 있다.
적어도 하나 에너지 비율 값의 가중 평균을 인코딩하게 된 장치는 또한 적어도 하나의 에너지 비율 값의 적어도 하나의 가중 평균을 스칼라 비균일 양자화하게 될 수 있다.
선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하게 된 장치는 또한, 양자화 그리드에 기초하여 선택된 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 데 필요한 제1 비트 수를 결정하고, 선택된 하위 대역에 대한 적어도 하나의 방향 값을 엔트로피 인코딩하는 데 필요한 제2 비트 수를 결정하며, 제1 비트 수 및 제2 비트 수 중에서 사용된 더 낮은 비트 수에 기초하여 양자화 그리드 인코딩 또는 엔트로피 인코딩을 선택하며, 양자화 그리드 인코딩 또는 엔트로피 인코딩의 선택을 식별하는 시그널링 비트를 생성하게 될 수 있다.
엔트로피 인코딩은 골롬 라이스 인코딩일 수 있다.
장치는 또한 인코딩된 적어도 하나의 방향 값을 저장 및/또는 전송하게 될 수 있다.
제6 양상에 따라 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도, 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하고 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하며, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하며, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하게 하도록 구성된다.
각 하위 대역에 대한 페널티 값을 결정하게 된 장치는, 하위 대역에 대해 적어도 하나의 에너지 비율 값에 기초하여 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하고, 하위 대역에 대해 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정 - 비트의 제2 할당은 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - 하며, 방향 값을 인코딩하기 위한 비트의 초기 할당과 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이를 결정하게 될 수 있다.
각 하위 대역에 대한 페널티 값을 결정하게 된 장치는, 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하고, 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하게 될 수 있다.
각 하위 대역에 대한 페널티 값을 결정하게 된 장치는, 각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하고, 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하게 될 수 있다.
페널티 값에 기초하여 하위 대역을 선택하게 된 장치는, 방향 값을 인코딩하기 위한 비트의 초기 할당과 방향 값을 인코딩하기 위한 비트의 초기 할당에 관하여 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 간의 차이에 기초하여 하위 대역을 정렬하고, 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역을 선택하게 될 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초할 수 있다.
페널티 값에 기초하여 하위 대역을 선택하게 된 장치는 수단은 가장 낮은 페널티 값을 갖는 인코딩된 하위 대역을 선택하게 될 수 있다.
선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하게 된 장치는, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하게 될 수 있다.
장치는 또한 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하게 될 수 있다.
장치는 또한 프레임의 적어도 하나의 에너지 비율 값을 디코딩하게 될 수 있다.
선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하게 된 장치는 또한, 시그널링 비트를 결정하고, 시그널링 비트에 기초하여 양자화 그리드 디코딩 또는 엔트로피 디코딩을 선택하게 될 수 있다.
엔트로피 디코딩은 골롬 라이스 디코딩일 수 있다.
제7 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 값을 획득하는 수단 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 수단, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 수단, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 수단, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 수단을 포함하는 장치가 제공된다.
제8 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하는 수단 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 수단, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 수단, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하는 수단, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하는 수단을 포함하는 장치가 제공된다.
제9 양상에 따라 장치로 하여금 적어도 다음을 수행하게 하는 명령어[또는 프로그램 명령어를 포함하는 컴퓨터 판독가능 매체]를 포함하는 컴퓨터 프로그램이 제공된다: 오디오 신호를 나타내는 파라미터에 대한 값을 획득하는 것 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 것, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 것, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 것, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것.
제10 양상에 따라 장치로 하여금 적어도 다음을 수행하게 하는 명령어[또는 프로그램 명령어를 포함하는 컴퓨터 판독가능 매체]를 포함하는 컴퓨터 프로그램이 제공된다: 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하는 것 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 것, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 것, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하는 것, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하는 것.
제11 양상에 따라 장치로 하여금 적어도 다음을 수행하게 하는 프로그램 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다: 오디오 신호를 나타내는 파라미터에 대한 값을 획득하는 것 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 것, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 것, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 것, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것.
제12 양상에 따라 장치로 하여금 적어도 다음을 수행하게 하는 프로그램 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다: 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하는 것 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 것, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 것, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하는 것, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하는 것.
제13 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 값을 획득하도록 구성된 획득 회로부 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하도록 구성된 결정 회로부, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하며, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하도록 구성된 회로부를 포함하는 장치가 제공된다.
제14 양상에 따라 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하도록 구성된 획득 회로부 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하도록 구성된 결정 회로부, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하고, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하며, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하도록 구성된 회로부를 포함하는 장치가 제공된다.
제15 양상에 따라 장치로 하여금 적어도 다음을 수행하게 하는 프로그램 명령어를 포함하는 컴퓨터 판독가능 매체가 제공된다: 오디오 신호를 나타내는 파라미터에 대한 값을 획득하는 것 - 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 것, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 것, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 인코딩하는 것, 선택된 하위 대역에 대해 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것.
제16 양상에 따라 장치로 하여금 적어도 다음을 수행하게 하는 프로그램 명령어를 포함하는 컴퓨터 판독가능 매체가 제공된다: 오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하는 것 - 인코딩된 값은 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - , 각 하위 대역에 대한 페널티 값을 결정하는 것, 하위 대역별로, 페널티 값에 기초하여 하위 대역을 선택하는 것, 선택된 하위 대역에 대해, 각 하위 대역에 대한 적어도 하나의 방향 값을 디코딩하는 것, 후속 하위 대역의 선택을 위해 적어도 하나의 방향 값의 인코딩된 값에 대해 할당된 비트 수를 결정하는 것.
전술한 바와 같은 방법의 동작을 수행하기 위한 수단을 포함하는 장치.
전술한 바와 같은 방법의 동작을 수행하도록 구성된 장치.
컴퓨터로 하여금 전술한 바와 같은 방법을 수행하게 하는 프로그램 명령어를 포함하는 컴퓨터 프로그램.
매체에 저장된 컴퓨터 프로그램 제품은 장치로 하여금 본 명세서에 설명된 방법을 수행하게 할 수 있다.
전자 디바이스는 본 명세서에 설명된 바와 같은 장치를 포함할 수 있다.
칩셋은 본 명세서에 설명된 바와 같은 장치를 포함할 수 있다.
본 출원의 실시예는 최신 기술과 관련된 문제를 해결하는 것을 목적으로 한다.
본 출원의 더 나은 이해를 위해, 이제 첨부된 도면을 예시적으로 참조할 것이다.
도 1은 일부 실시예를 구현하기에 적합한 장치의 시스템을 개략적으로 도시한다.
도 2는 일부 실시예에 따른 메타데이터 인코더를 개략적으로 도시한다.
도 3은 일부 실시예에 따른 도 2에 도시된 바와 같은 메타데이터 인코더의 동작의 흐름도를 도시한다.
도 4는 일부 실시예에 따른 메타데이터 디코더를 개략적으로 도시한다.
도 5는 일부 실시예에 따른 도 4에 도시된 바와 같은 메타데이터 디코더의 동작의 흐름도를 도시한다.
도 6은 도시된 장치를 구현하기에 적합한 예시적인 디바이스를 개략적으로 도시한다.
다음에는 메타데이터 파라미터가 유도되는 효과적인 공간 분석을 제공하기 위한 적합한 장치 및 가능한 메커니즘을 더 자세히 설명하다. 다음 논의에서 다채널 시스템은 다채널 마이크 구현과 관련하여 논의된다. 그러나 위에서 논의한 바와 같이 입력 포맷은 다채널 라우드스피커, 앰비소닉(FOA/HOA) 등과 같은 임의의 적합한 입력 포맷일 수 있다. 일부 실시예에서 채널 위치는 마이크의 위치에 기반하거나 가상의 위치 또는 방향인 것으로 이해된다. 또한 예시적인 시스템의 출력은 다채널 라우드스피커 배열이다. 그러나 출력은 라우드스피커 이외의 수단을 통해 사용자에게 렌더링될 수 있음을 이해해야 한다. 또한 다채널 라우드스피커 신호는 둘 이상의 재생 오디오 신호로 일반화될 수 있다.
메타데이터는 고려되는 각각의 시간/주파수 하위 대역에 대해 적어도 결과 방향의 고도각, 방위각 및 에너지 비율로 구성된다. 방향 파라미터 구성요소, 방위각 및 고도각은 오디오 데이터에서 추출된 다음 주어진 양자화 분해능으로 양자화된다. 결과 인덱스는 효율적인 전송을 위해 추가로 압축되어야 한다. 높은 비트레이트를 위해서는 메타데이터의 고품질 무손실 인코딩이 필요하다.
이하 논의되는 개념은 고정 비트레이트 코딩 방식과 압축될 데이터의 인코딩 비트를 상이한 세그먼트에 분배하는 가변 비트레이트 코딩을 결합하여 프레임당 전체 비트레이트가 고정되도록 구현하는 것이다. 시간 주파수 블록 내에서, 비트는 주파수 하위 대역 간에 전송될 수 있다. 또한 이 개념은 원래(예: 에너지 비율 기반) 방향 양자화 정확도와 감소된 방향 양자화 정확도를 사용하여 하위 대역별 양자화 분해능 페널티 값을 얻는 방식으로 하위 대역 인코딩 순서를 수정하도록 구성함으로써 확장된다. 그 다음에 이 페널티 값은 하위 대역의 처리 순서를 제어하는 데 사용된다.
도 1과 관련하여, 애플리케이션의 실시예를 구현하기 위한 예시적인 장치 및 시스템디 도시된다. 시스템(100)은 '분석' 부분(121) 및 '합성' 부분(131)으로 도시된다. '분석' 부분(121)은 다채널 신호를 수신하는 것부터 메타데이터 및 적절한 전송 오디오 신호의 인코딩까지의 부분이고, '합성' 부분(131)은 인코딩된 메타데이터 및 전송 오디오 신호의 디코딩부터 공간 오디오 신호(예를 들어, 다채널 라우드스피커 형태)의 프리젠테이션 및 렌더링까지의 부분이다.
시스템(100) 및 '분석' 부분(121)에 대한 입력은 다채널 신호(102)이다. 다음의 예에서 마이크 채널 신호 입력이 설명되지만, 임의의 적합한 입력(또는 합성 다채널) 포맷이 다른 실시예로 구현될 수 있다. 예를 들어, 일부 실시예에서 공간 분석기 및 공간 분석은 인코더 외부에서 구현될 수 있다. 예를 들어, 일부 실시예에서 오디오 신호와 관련된 공간 메타데이터는 인코더에 별도의 비트스트림으로 제공될 수 있다. 일부 실시예에서 공간 메타데이터는 공간(방향) 인덱스 값의 세트로서 제공될 수 있다.
다채널 신호는 전송 오디오 생성기(103) 및 분석 프로세서(105)로 전달된다.
일부 실시예에서 전송 오디오 생성기(103)는 다채널 신호를 수신하고 적합한 전송 오디오 신호 또는 신호들을 생성하도록 구성된다. 예를 들어, 전송 오디오 신호는 하나 이상의 입력 오디오 신호 채널의 선택일 수 있다. 일부 실시예에서, 전송 오디오 생성기(103)는 오디오 신호 채널을 결정된 수의 채널로 다운믹싱하고 이를 전송 오디오 신호(104)로 출력하도록 구성된다. 예를 들어, 전송 오디오 생성기(103)는 다채널 신호의 2 채널 오디오 신호 다운믹스를 생성하도록 구성될 수 있다. 결정된 채널 수는 임의의 적절한 채널 수일 수 있다. 일부 실시예에서 전송 오디오 생성기(103)는 선택적이며 다채널 신호는 처리된 전송 오디오 신호 버전과 동일한 방식으로 처리되지 않은 상태로 인코더(107)로 전달된다.
일부 실시예에서, 분석 프로세서(105)는 또한 다채널 신호를 수신하고 이 신호를 분석하여 다채널 신호와 연관되고 따라서 전송 오디오 신호(104)와 관련된 메타데이터(106)를 생성하도록 구성된다. 분석 프로세서(105)는 각각의 시간-주파수 분석 간격에 대해 방향 파라미터(108) 및 에너지 비율 파라미터(110)(및 몇몇 실시예에서 코히런스 파라미터 및 확산 파라미터)를 포함할 수 있는 메타데이터를 생성하도록 구성될 수 있다. 방향 및 에너지 비율은 일부 실시예에서 공간 오디오 파라미터로 간주될 수 있다. 즉, 공간 오디오 파라미터는 다채널 신호(또는 일반적으로 둘 이상의 재생 오디오 신호)에 의해 생성된 음장을 특성화하는 것을 목표로 하는 파라미터를 포함한다.
일부 실시예에서 생성된 파라미터는 주파수 대역마다 상이할 수 있다. 따라서, 예를 들어 대역 X에서는 모든 파라미터가 생성 및 전송되는 반면, 대역 Y에서는 파라미터 중 하나만 생성 및 전송되고, 더욱이 대역 Z에서는 어떠한 파라미터도 생성 또는 전송되지 않는다. 이것의 실질적인 예는 가장 높은 대역과 같은 일부 주파수 대역의 경우 일부 파라미터가 지각상의 이유(for perceptual reason)로 필요하지 않다는 것이다. 전송 오디오 신호(104) 및 메타데이터(106)는 인코더(107)로 전달될 수 있다.
인코더(107)는 전송 오디오 신호(104)를 수신하고 이들 오디오 신호의 적절한 인코딩을 생성하도록 구성된 오디오 인코더 코어(109)를 포함할 수 있다. 인코더(107)는 일부 실시예에서 컴퓨터(메모리 및 적어도 하나의 프로세서 상에 저장된 적절한 소프트웨어를 실행하는 것) 또는 대안적으로 예를 들어 FPGA 또는 ASIC를 이용하는 특정 디바이스일 수 있다. 인코딩은 임의의 적절한 방식을 사용하여 구현될 수 있다. 인코더(107)는 메타데이터를 수신하고 정보의 인코딩 또는 압축된 형태를 출력하도록 구성되는 메타데이터 인코더/양자화기(111)를 더 포함할 수 있다. 일부 실시예에서, 인코더(107)는 추가로 인터리빙하거나, 단일 데이터 스트림으로 다중화하거나, 도 1에 점선으로 도시된 전송 또는 저장 전에 인코딩된 전송 오디오 신호 내에 메타데이터를 임베딩할 수 있다. 다중화는 임의의 적합한 방식을 사용하여 구현될 수 있다.
디코더 측에서, 수신되거나 검색된 데이터(스트림)는 디코더/역다중화기(133)에 의해 수신될 수 있다. 디코더/역다중화기(133)는 인코딩된 스트림을 역다중화하고 오디오 인코딩된 스트림을 다운믹스 추출기(135)로 전달할 수 있으며, 이는 오디오 신호를 디코딩하여 전송 오디오 신호를 얻도록 구성된다. 유사하게, 디코더/역다중화기(133)는 인코딩된 메타데이터를 수신하고 메타데이터를 생성하도록 구성된 메타데이터 추출기(137)를 포함할 수 있다. 디코더/역다중화기(133)는 일부 실시예에서 컴퓨터(메모리 및 적어도 하나의 프로세서에 저장된 적합한 소프트웨어를 실행하는 것) 또는 이와 달리 예를 들어 FPGA 또는 ASIC를 이용하는 특정 디바이스일 수 있다.
디코딩된 메타데이터 및 전송 오디오 신호는 합성 프로세서(139)로 전달될 수 있다.
시스템(100) '합성' 부분(131)은 전송 오디오 신호 및 메타데이터를 수신하고 전송 오디오 신호 및 메타데이터에 기초하여 다채널 신호(110)의 형태로 합성된 공간 오디오를 임의의 적절한 포맷으로 재생성하도록 구성된 합성 프로세서(139)를 더 도시한다(이들은 다채널 라우드스피커 포맷일 수 있거나 또는 일부 실시예에서 사용 사례에 따라 바이노럴 또는 앰비소닉 신호와 같은 임의의 적절한 출력 포맷일 수 있음).
따라서, 요약하면 먼저 시스템(분석 부분)은 다채널 오디오 신호를 수신하도록 구성된다.
그런 다음 시스템(분석 부분)은 (예를 들어 오디오 신호 채널 중 일부를 선택하여) 전송 오디오 신호를 생성하도록 구성된다.
그런 다음 시스템은 전송 오디오 신호를 저장/전송하기 위해 인코딩하도록 구성된다.
또한 시스템은 (예컨대, 다채널 오디오 신호의 분석을 통해) 공간 파라미터 또는 공간 메타데이터를 생성하도록 구성된다.
그 다음에 획득된 공간 메타데이터는 저장/전송을 위해 인코딩될 수 있다.
그 후 시스템은 인코딩된 전송 오디오 신호 및 메타데이터를 저장/전송할 수 있다.
시스템은 인코딩된 전송 오디오 신호 및 메타데이터를 검색/수신할 수 있다.
그런 다음 시스템은 인코딩된 전송 신호 및 메타데이터 파라미터로부터 전송 오디오 신호 및 메타데이터를 추출하도록 구성되며, 예를 들어 인코딩된 전송 오디오 신호 및 메타데이터 파라미터를 역다중화하고 디코딩하도록 구성된다.
시스템(합성 부분)은 추출된 전송 오디오 신호와 메타데이터를 기반으로 출력 다채널 오디오 신호를 합성하도록 구성된다.
도 2와 관련하여 일부 실시예에 따른 예시적인 분석 프로세서(105) 및 메타데이터 인코더/양자화기(111)(도 1에 도시됨)가 더 상세히 설명된다.
일부 실시예에서 분석 프로세서(105)는 시간-주파수 영역 변환기(201)를 포함한다.
일부 실시예에서 시간-주파수 영역 변환기(201)는 다채널 신호(102)를 수신하고 입력 시간 영역 신호를 적절한 시간-주파수 신호로 변환하기 위해 적절한 시간을 STFT(Short Time Fourier Transform)와 같은 주파수 영역 변환에 적용하도록 구성된다. 이러한 시간-주파수 신호는 공간 분석기(203)로 전달될 수 있다.
따라서, 예를 들어, 시간-주파수 신호(202)는 si(b,n)에 의해 시간-주파수 영역 표현으로 표현될 수 있으며, b는 주파수 빈 인덱스이고 n은 시간-주파수 블록(프레임) 인덱스이며 i는 채널 인덱스이다. 다른 식으로, n은 원래 시간 영역 신호보다 샘플링 레이트가 낮은 시간 인덱스로 간주될 수 있다. 이들 주파수 빈은 하나 이상의 빈을 대역 인덱스의 하위 대역 k = 0,..., K-1으로 그룹화하는 하위 대역으로 그룹화될 수 있다. 각각의 하위 대역 k는 가장 낮은 빈 bk,low 및 가장 높은 빈 bk,high를 가지며, 하위 대역은 bk,low에서 bk,high까지의 모든 빈을 포함한다. 하위 대역의 폭은 임의의 적합한 분포를 근사화할 수 있다. 예를 들어 등가 직사각형 대역폭(ERB) 스케일 또는 Bark 스케일이 있다.
몇몇 실시예에서 분석 프로세서(105)는 공간 분석기(203)를 포함할 수 있다. 공간 분석기(203)는 시간-주파수 신호(202)를 수신하도록 구성될 수 있고 이들 신호에 기초하여 방향 파라미터(108)를 추정한다. '방향' 결정에 기초한 임의의 오디오에 기초하여 방향 파라미터가 결정될 수 있다.
예를 들어, 일부 실시예에서 공간 분석기(203)는 둘 이상의 신호 입력으로 음원의 방향을 추정하도록 구성된다.
공간 분석기(203)는 따라서 방위각 φ(k,n) 및 고도각 θ(k, N)으로 표시된 오디오 신호의 프레임 내의 각각의 주파수 대역 및 시각적 시간-주파수 블록에 적어도 하나의 방위각 및 고도각을 제공하도록 구성될 수 있다. 방향 파라미터(108)는 또한 방향 인덱스 생성기(205)로 전달될 수 있다.
공간 분석기(203)는 또한 에너지 비율 파라미터(110)를 결정하도록 구성될 수 있다. 에너지 비율은 방향으로부터 도착하는 것으로 간주될 수 있는 오디오 신호의 에너지의 결정으로 간주될 수 있다. 직접-총 에너지 비율 r(k,n)은 예를 들어 방향성 추정의 안정성 측정을 사용하거나 임의의 상관 측정 또는 비율 파라미터를 얻기 위한 임의의 다른 적절한 방법을 사용하여 추정될 수 있다. 에너지 비율은 에너지 비율 분석기(221) 및 에너지 비율 결합기(223)로 전달될 수 있다.
일부 실시예에서, 공간 분석기(203)는 (총) 에너지 값(250)을 결정하도록 구성된다. 이러한 실시예에서, 에너지 값(250)은 에너지 비율 인코더(223)로 전달될 수 있고, 에너지 비율(110)을 인코딩하는 데 사용되는 비트의 수를 결정하는 데 사용될 수 있다.
따라서 요약하면, 분석 프로세서는 시간 영역 다채널 또는 마이크 또는 앰비소닉 오디오 신호와 같은 다른 포맷을 수신하도록 구성된다.
이어서, 분석 프로세서는 시간 영역에서 주파수 영역 변환(예: STFT)을 적용하여 분석에 적합한 시간-주파수 영역 신호를 생성한 다음 방향 분석을 적용하여 방향 및 에너지 비율 파라미터를 결정할 수 있다.
그런 다음 결정된 파라미터를 출력하도록 분석 프로세서를 구성할 수 있다.
방향 및 비율은 여기서 각각의 시간 인덱스 n에 대해 표현되지만, 일부 실시예에서 파라미터는 여러 시간 인덱스에 걸쳐 결합될 수 있다. 주파수 축에 대해서도 동일하게 적용되는데, 표현된 바와 같이, 여러 주파수 빈 b의 방향은 여러 주파수 빈 b로 구성된 대역 k에서 하나의 방향 파라미터로 표현될 수 있다. 본 명세서에서 논의된 모든 공간 파라미터에도 동일하게 적용된다.
도 2에도 도시된 바와 같이, 일부 실시예에 따른 예시적인 메타데이터 인코더/양자화기(111)가 도시된다.
메타데이터 인코더/양자화기(111)는 에너지 비율 분석기(또는 양자화 분해능 결정기)(221)를 포함할 수 있다. 에너지 비율 분석기(221)는 에너지 비율을 수신하고, 분석으로부터 프레임 내의 모든 시간-주파수 블록에 대한 방향 파라미터에 대한 양자화 분해능(즉, 고도각 및 방위각 값에 대한 양자화 분해능)을 생성하도록 구성될 수 있다. 이 비트 할당은 예를 들어 bits_dir0[0:N-1][0:M-1]로 정의될 수 있다.
메타데이터 인코더/양자화기(111)는 방향 인덱스 생성기(205)를 포함할 수 있다. 방향 인덱스 생성기(205)는 방향 파라미터(예컨대, 방위각 φ(k,n) 및 고도각 θ(k,n)(108)) 및 양자화 비트 할당을 수신하고, 이로부터 양자화된 출력을 생성하도록 구성된다. 일부 실시예에서 양자화는 결정된 양자화 분해능에 의해 정의된 룩업 테이블에 의해 정의된 '표면' 구에 고리 모양으로 배열된 구형 그리드를 형성하는 구의 배열에 기초한다. 즉, 구형 그리드는 구를 더 작은 구로 덮고 작은 구의 중심을 거의 등거리 방향의 그리드를 정의하는 점으로 간주하는 아이디어를 사용한다. 따라서 작은 구는 임의의 적절한 인덱싱 알고리즘에 따라 인덱싱될 수 있는 중심점에 대한 원뿔각 또는 입체각을 정의한다. 여기서는 구형 양자화를 설명하지만, 임의의 적합한 양자화에는 선형 또는 비선형이 사용될 수 있다.
예를 들어, 일부 실시예에서 방향 파라미터(방위각 및 고도각)에 대한 비트는 테이블 bits_direction[]에 따라 할당되며, 에너지 비율이 인덱스 i를 갖는 경우, 방향에 대한 비트 수는 bits_direction[i]이다.
const short bits_direction[] = {
3, 5, 6, 8, 9, 10, 11, 11};
상이한 비트 분해능에 대한 방향 양자화기의 구조는 다음 변수에 의해 주어진다:
const short no_theta[] = /* from 1 to 11 bits */
{/*1, - 1 bit
1,*/ /* 2 bits */
1, /* 3 bits */
2, /* 4 bits */
4, /* 5 bits */
5, /* 6 bits */
6, /* 7 bits */
7, /* 8 bits */
10, /* 9 bits */
14, /* 10 bits */
19 /* 11 bits */
};
const short no_phi[][MAX_NO_THETA] = /* from 1 to 11 bits*/
{
{2},
{4},
{8},
{12,4}, /* no points at poles */
{12,7,2,1},
{14,13,9,2,1},
{22,21,17, 11,3,1},
{33,32,29,23,17,9,1},
{48,47,45,41,35,28,20,12,2,1},
{60,60,58,56,54,50,46,41,36,30,23,17,10,1},
{89,89,88,86,84,81,77,73,68,63,57,51,44,38,30,23,15,8,1}
};
'no_theta'는 적도를 포함한 방향 구의 '북반구'에 있는 고도각 값의 수에 해당한다. 'no_phi'는 각각의 양자화기의 각 고도각에서 방위각 값의 수에 해당한다.
예를 들어 5 비트의 경우 [0, 30, 60, 90]에 해당하는 4개의 고도각 값과 4-1=3개의 음의 고도각 값[-30, -60, -90]이 있다. 제1 고도각 값 0의 경우, 12개의 등거리 방위각 값이 있고, 고도각 값 30과 -30의 경우 7개의 등거리 방위각 값 등이 있다.
4 비트에 해당하는 구조를 제외한 모든 양자화 구조는 연속된 고도각 값들의 차를 90도로 나눈 값을 고도각 값의 수 'no_theta'로 나눈 값을 갖는다. 4 비트에 해당하는 구조에는 0도와 +45도 값을 갖는 고도각에 대한 점만 있다. 이 구조의 경우 적도 아래에는 점이 없다. 이것은 예시이며 다른 적절한 분포가 구현될 수 있다. 예를 들어, 일부 실시예에서는 적도 아래에도 점이 있는 4 비트 구형 그리드가 구현될 수 있다. 유사하게 3 비트 분포는 구에 분산되거나 적도에만 제한될 수 있다.
그런 다음, 시간 블록 그룹 내의 하위 대역에 대한 양자화 인덱스가 방향 인덱스 인코더(225)로 전달될 수 있다.
일부 실시예에서, 인코더는 에너지 비율 인코더(223)를 포함한다. 에너지 비율 인코더(223)는 결정된 에너지 비율(예를 들어, 직접-총 에너지 비율, 더 나아가 확산-총 에너지 비율 및 잔여-총 에너지 비율)을 수신하고 이를 인코딩/양자화하도록 구성될 수 있다.
예를 들어, 일부 실시예에서, 에너지 비율 인코더(223)는 각 하위 대역에 대해 3 비트를 사용하여 스칼라 비균일 양자화를 적용하도록 구성된다.
또한, 일부 실시예에서, 에너지 비율 인코더(223)는 하위 대역당 하나의 가중 평균값을 생성하도록 구성된다. 일부 실시예에서, 이 평균은 각 시간-주파수 블록의 총 에너지(250) 및 더 많은 에너지를 갖는 하위 대역에 기초하여 적용되는 가중치를 고려하여 계산된다.
그런 다음, 에너지 비율 인코더(223)는 메타데이터를 결합하고 결합된 인코딩된 메타데이터를 출력하도록 구성된 결합기(207)로 이를 전달할 수 있다.
일부 실시예에서, 인코더는 방향 인덱스 인코더(225)를 포함한다. 방향 인덱스 인코더(225)는 하위 대역별로 인덱스 값을 획득하고 인코딩하도록 구성될 수 있다.
따라서, 방향 인덱스 인코더(225)는 할당된 비트 수를 값 bits_dir1[0:N-1][0:M-1]으로 감소시키도록 구성되어 할당된 비트의 합이 에너지 비율을 인코딩한 후 남은 가용 비트 수와 동일할 수 있다.
처음에 할당된 비트 수의 감소, 즉, bits_dir0[0:N-1][0:M-1]에서 bits_dir1[0:N-1][0:M-1]로의 감소는 일부 실시예에서 다음에 의해 구현될 수 있다:
첫째, 감소될 비트와 시간-주파수 블록의 수 사이의 정수 분할에 의해 주어진 비트의 양으로 시간/주파수 블록 전체에 걸쳐 비트 수를 균일하게 감소시키고,
둘째, 여전히 빼야 할 비트는 하위 대역 0, 시간-주파수 블록 0에서 시작하여 시간-주파수 블록당 하나씩 빼낸다.
이는 예를 들어 다음 c 코드로 구현될 수 있다:
void
only_reduce_bits_direction(short bits_dir0[MASA_MAXIMUM_CODING_SUBBANDS][MASA_SUBFRAMES],
short max_bits, short reduce_bits, short coding_subbands, short no_subframes, IVAS_MASA_QDIRECTION * qdirection)
{
/* does not update the q_direction structure */
int j, k, bits = 0, red_times, rem, n = 0;
/* keep original allocation */
for (j = 0; j < coding_subbands; j++)
{
for (k = 0; k < no_subframes; k++)
{
qdirection->bits_sph_idx[j][k] = bits_dir0[j][k];
}
}
if (reduce_bits > 0)
{
red_times = reduce_bits / (coding_subbands*no_subframes);
/* number of complete reductions by 1 bit */
for (j = 0; j < coding_subbands; j++)
{
for (k = 0; k < no_subframes; k++)
{
bits_dir0[j][k] -= red_times;
if (bits_dir0[j][k] < 0)
{
reduce_bits += -bits_dir0[j][k];
bits_dir0[j][k] = 0;
}
}
}
rem = reduce_bits - coding_subbands*no_subframes*red_times;
for (j = 0; j < coding_subbands; j++)
{
for (k = 0; k < no_subframes; k++)
{
if ((n < rem) && (bits_dir0[j][k] > 0))
{
bits_dir0[j][k] -= 1;
n++;
}
}
}
}
return;
}
일부 실시예에서, 각 블록에 대해 0보다 큰 최소 비트 수가 부과될 수 있다.
일부 실시예에서, 상대 비트 페널티 파라미터가 결정될 수 있다.
각 시간 주파수 타일에 대한 상대 비트 페널티 파라미터는 일부 실시예에서 원래 비트 할당 bits_dir0[0:N-1][0:M-1]과 감소된 비트 할당 bits_dir1[0:N-1][0:M-1]의 차로서 계산된다.
이는 다음으로 구현될 수 있다.
평균 비트 페널티는 한 하위 대역의 서브프레임에 대한 평균 페널티 값으로 획득된다.
따라서 평균 비트 페널티는 다음과 같이 계산될 수 있다:
평균 비트 페널티를 결정한 후, 이 값을 사용하여 가장 낮은 페널티 값에서 가장 높은 페널티 값으로 서브밴드의 순서를 지정할 수 있다. 일부 실시예에서 평균 비트 페널티가 동일한 경우(또는 동점인 경우) 하위 대역의 정렬은 비트가 더 적은 하위 대역보다 먼저 감소 후 어떤 하위 대역에 더 많은 비트가 남아있는지에 기초할 수 있다.
따라서 예를 들어, 각 시간 주파수 타일에 대해 다음과 같은 초기 비트 할당이 있다고 가정하며(행은 하위 대역을 나타내고 열은 시간 샘플을 나타냄):
감소 후 비트 할당은 다음과 같다:
결과적으로 각 하위 대역에 대한 평균 상대 페널티는 다음과 같다:
Av_bit_penalty[0:N-1]=[0.28 0.20 0.18 0.21 0.20].
예를 들어 제1 하위 대역의 페널티는 다음과 같이 계산된다: (7-5)/7+(7-5)/7+(7-5)/7+(7-5)/7)/4 = 0.28, 이는 초기 비트 할당에 대한 초기 비트 할당과 감소된 비트 할당의 차의 평균에 해당하며, 평균은 하위 대역에 걸쳐 취해진다.
이 예에서 제2 및 제5 하위 대역의 평균 상대 페널티는 동일하지만, 제2 하위 대역의 비트 수는 8×4 =32이고 제5 하위 대역의 비트 수는 4×4 =16이므로 하위 대역이 인코딩되는 순서는 다음과 같다:
ORD = [5 2 1 4 3]
그런 다음, 방향 인덱스 인코더(225)는 하위 대역의 정렬에 기초하여 하위 대역별로 하위 대역의 비트 수의 추가 조정 또는 재분배(감소를 포함할 수 있음)를 구현하도록 구성될 수 있다. 따라서 하위 대역의 정렬에 따라 인코딩 시 다음 하위 대역에 비트를 분배할 확률을 높일 수 있다. 따라서, 비트 할당을 제공하는 하위 대역에 대해 비트가 감소(분해능 감소는 아님)하고 비트 할당을 수신하는 하위 대역에 대해 비트가 증가(및 해상도 증가)하는 인코딩 방법을 구성하는 것이 목적이다.
예를 들어, 일부 실시예에서, 방향 인덱스 인코더(225)는 현재 하위 대역에 대해 허용되는 비트의 수를 첫 번째 정렬된 하위 대역 ord[1]에서 끝에서 두 번째 하위 대역 ord[N-1]까지 계산하도록 구성될 수 있다. 즉, 다음을 결정한다.
bits_allowed= sum(bits_dir1[i][0:M-1]) i=1 내지 N-1
그런 다음 방향 인덱스 인코더는 적절한 엔트로피 코딩을 사용하여 방향 파라미터 인덱스를 인코딩하려 하고 현재 하위 대역에 필요한 비트 수(bits_ec)를 결정하도록 구성할 수 있다. 이 값이 결정된 감소된 할당 비트 수 bits_fixed=bits_allowed를 사용하는 적절한 고정 레이트 인코딩 메커니즘보다 작으면, 엔트로피 코딩이 선택된다. 그렇지 않으면 고정 레이트 인코딩 방법이 선택된다.
또한 1 비트는 선택된 방법을 나타내는 데 사용된다.
즉, 하위 대역 방향 인덱스를 인코딩하는 데 사용되는 비트 수는 nb = min(bits_fixed, bits_ec)+1이고, 그런 다음, 방향 인덱스 인코더는 가용 비트의 하위 대역 '풀'에서 비트가 남아 있는지 여부를 결정하도록 구성될 수 있다.
예를 들어 방향 인덱스 인코더(225)는 차이 값 diff = (allowed_bits- nb)을 결정하도록 구성될 수 있고,
diff > 0인 경우, 즉 할당에서 미사용 비트가 있으면 예를 들어 어레이 bits_dir1[i+1:N-1][0:M-1]로 정의된 분포를 업데이트함으로써 이러한 비트는 후속 하위 대역에 재분배될 수 있다.
diff =0 또는 <0이면 예를 들어 어레이 bits_dir1[i+1][0]로 정의된 분포를 업데이트함으로써 후속 하위 대역 할당으로부터 할당에서 1 비트를 뺀다.
마지막으로 정렬된 하위 대역을 제외한 모든 대역을 인코딩한 다음 마지막으로 정렬된 하위 대역 ord[N] 인덱스 값은 dir1[N-1][0:M-1] 비트로 정의된 비트 할당을 사용하여 고정 레이트 인코딩을 사용하여 인코딩된다.
그런 다음, 이들은 결합기(207)로 전달되며, 결합된 인코딩된 방향 및 에너지 값이 결합되어 출력될 수 있다.
도 3과 관련하여 도 2에 도시된 바와 같이 메타데이터 인코더/양자화기(111)의 동작이 도시된다.
초기 동작은 도 3에 단계 301에 의해 도시된 바와 같이 메타데이터(방위각 값, 고도각 값, 에너지 비율)를 획득하는 동작 중 하나이다.
각 하위 대역(i=1:N)에 대한 메타데이터를 획득한 후 초기 분포 또는 할당을 준비하고 도 3의 단계 303에 도시된 바와 같이 3 비트를 사용하여 해당 에너지 비율 값을 인코딩한 다음 현재 하위 대역의 모든 시간-주파수 블록에 대해 방위각 및 고도각에 대한 양자화 분해능을 설정한다. 양자화 분해능은 에너지 비율 값에 의해 주어진 사전정의된 비트 수 bits_dir0[0:N-1][0:M-1]을 허용함으로써 설정된다.
초기 할당을 생성한 후 도 3의 단계 305에 의해 도시된 대로 할당된 비트 수, bits_dir1[0:N-1][0:M-1](할당된 비트의 합 = 에너지 비율을 인코딩한 후 남은 가용 비트 수)을 줄인다.
그런 다음 이 방법은 평균 상대 비트 페널티를 결정하고, 도 3에 단계 307에 의해 도시된 대로 평균 상대 비트 페널티가 증가하는 순서대로 하위 대역을 정렬할 수 있다: ord[i]0 i=1:N.
(평균 상대 비트 페널티에 기초하여) 하위 대역을 정렬한 후 각 하위 대역에 대한 감소된 비트 할당은 첫 번째 정렬된 하위 대역 ord[1]에서 끝에서 두 번째 정렬된 하위 대역 ord[N-1](또는 마지막으로 정렬된 하위 대역에 할당된 0 비트가 있는 경우, "비트 통과" 절차는 끝에서 두 번째로 정렬된 하위 대역 Ord[1:N-2] 이전까지만 구현될 수 있음) 하위 대역(즉, 정렬된 각 하위 대역에 대해 ord[i=1:N-1])까지 정렬된 하위 대역 기준으로 구현된다: 현재 하위 대역에 허용되는 비트 bits_allowed= sum(bits_dir1[i][0:M-1])를 계산. 감소된 할당 비트 수로 방향 파라미터 인덱스를 인코딩하고(고정 레이트 인코딩 또는 엔트로피 인코딩 중 더 적은 비트를 사용하는 인코딩 사용) 인코딩 선택을 표시한다. 허용된 비트와 관련하여 가용 비트가 있는 경우: 차를 다음 하위 대역에 재분배하고(bits_dir1[i+1:N-1][0_M-1]을 업데이트하여) 그렇지 않으면 bits_dir1[i+1][0]에서 1비트를 뺀다. 이는 도 3의 단계 309에 도시된다.
그런 다음 도 3의 단계 311에 도시된 대로 고정 레이트 접근 방식을 사용하여 마지막으로 정렬된 하위 대역 ord[N]에 대해 방향 파라미터 인덱스를 bits_dir1[N-1][0:M-1] 비트로 인코딩한다.
도 4와 관련하여, 예시적인 디코더(133), 특히 예시적인 메타데이터 추출기(137)가 도시되어 있다.
일부 실시예에서, 인코딩된 데이터스트림(400)은 역다중화기(401)로 전달된다. 역다중화기(401)는 인코딩된 에너지 비율 및 인코딩된 방향 인덱스(402)를 추출하도록 구성되며, 일부 실시예에서 다른 메타데이터를 추출하고 오디오 신호를 전송할 수도 있다(도시되지 않음). 일부 실시예에서, 역다중화기(401)는 추출된 인코딩된 에너지 비율을 디코딩하도록 더 구성된다.
일부 실시예에서 에너지 비율(인코딩되거나 디코딩된 포맷일 수 있음)은 디코더로부터 출력되며, 에너지 비율 분석기(403)(양자화 분해능 결정기)로 전달될 수도 있다. 예를 들어, 도 2에 도시된 인코더가 원래 에너지 비율에 기초하여 초기 양자화 또는 비트 할당을 결정하도록 구성되면, 디코딩된 에너지 비율은 에너지 비율 분석기(403)로 전달된다.
일부 실시예에서, 디코더(133)(특히 메타데이터 추출기(137))는 에너지 비율 분석기(403)(양자화 분해능 결정기)를 포함한다. 에너지 비율 분석기(403)는 방향 정보에 대한 초기 비트 할당(404)을 생성하기 위해 메타데이터 인코더 에너지 비율 분석기(양자화 분해능 결정기) 내에서 수행된 것과 유사한 분석을 수행하도록 구성된다. 방향 정보에 대한 이 초기 비트 할당(404)은 방향 인덱스 디코더(405)로 전달된다.
인코더가 인코딩되거나 양자화된 에너지 비율 파라미터에 기초하여 초기 양자화/비트 할당을 결정하도록 구성되는 일부 실시예에서, 디코더/역다중화기는 방향 파라미터에 대한 초기 비트 할당을 결정하기 위해 추출된 인코딩된 에너지 비율 파라미터를 에너지 비율 분석기(403)로 전달하도록 구성된다.
방향 인덱스 디코더(405)는 역다중화기로부터 인코딩된 방향 인덱스(402)를 더 수신할 수 있다.
방향 인덱스 디코더(405)는 인코더 내에서 수행되는 것과 유사한 방식으로 방향 값에 대한 감소된 비트 할당을 결정하도록 구성될 수 있다.
그런 다음, 방향 인덱스 디코더(405)는 1 비트를 판독하여 모든 고도각 데이터가 0인지(즉, 방향 값이 2D인지)를 결정하도록 더 구성될 수 있다.
그런 다음 하위 대역은 평균 상대 비트 페널티의 증가 순서 ord[i], i=1:N대로 정렬된다.
방향 값이 3D인 경우 마지막으로 정렬된 하위 대역 ord[N] 할당의 카운트 값 nb_last가 결정된다.
값 nb_last가 0이면 디코딩될 마지막으로 정렬된 하위 대역은 N-1이고, 그렇지 않으면 디코딩될 마지막으로 정렬된 하위 대역은 N이다.
첫 번째 정렬된 하위 대역 ord[1]에서 마지막 하위 대역(이전 결정에 따라 ord[N] 또는 ord[N-1])까지 하위 대역별로 정렬된 하위 대역에 따라, 방향 인덱스 디코더(405)는 현재 하위 대역의 인코딩이 고정 레이트 또는 가변 레이트 코드를 사용하여 인코딩되었는지 여부를 결정하도록 구성된다.
인코더에서 고정 레이트 코드가 사용되었으면, 구형 인덱스(또는 다른 인덱스 분포)를 읽고 디코딩하여 고도각 및 방위각 값을 얻고 다음 하위 대역에 대한 비트 할당을 1씩 줄인다.
인코더에 가변 레이트 코드가 사용되었으면, 엔트로피 인코딩된 인덱스를 읽고 디코딩하여 고도각 및 방위각 값을 생성한다. 그런 다음 엔트로피 인코딩 정보에 사용된 비트 수를 세고 현재 정렬된 하위 대역에 허용되는 비트와 엔트로피 인코딩에 사용된 비트 간의 차이를 결정한다. 그 후 다음 정렬된 하위 대역(들)에 대해 차이 비트가 분배된다.
그런 다음 마지막으로 정렬된 하위 대역이 고정 레이트 코드에 기초하여 디코딩된다.
방향 값이 2D이면 정렬된 각 하위 대역에 대해 고정 레이트로 인코딩된 방위각 인덱스에 기초하여 인덱스가 디코딩된다.
도 5와 관련하여 예시직언 인코딩된 비트 스트림의 디코딩의 흐름도가 도시된다.
따라서 예를 들어, 제1 동작은 도 5의 단계 501에 의해 도시된 바와 같이 메타데이터(방위각 값, 고도각 값, 에너지 비율)를 획득하는 것이다.
그런 다음, 이 방법은 도 5의 단계 503에 의해 도시된 바와 같이 에너지 비율 값에 기초하여 방향 정보에 대한 초기 비트 할당을 추정할 수 있다.
그런 다음 도 5의 단계 505에 의해 도시된 바와 같이 가용 비트 할당이 감소 - bits_dir1[0:N-1][0:M-1]- 될 수 있다(할당된 비트의 합 = 방향 정보를 디코딩하는 데 사용할 수 있는 남은 가용 비트 수).
그런 다음 도 5의 단계 507에 도시된 바와 같이 모든 고도각 데이터가 0인지 아닌지(2D 데이터)를 결정하기 위해 비트를 읽는다.
그런 다음 도 5의 단계 509에 도시된 바와 같이 평균 상대 비트 페널티가 증가 순서 ord[i], i-1:N대로 정렬된다.
도 5의 단계 511에 도시된 바와 같이, 방향 데이터가 3D이면, 이 방법은 마지막으로 정렬된 하위 대역(ord[N])에 사용 가능한 비트 수 nb_last를 카운팅하도록 구성될 수 있다. 마지막으로 정렬된 하위 대역에 사용 가능한 비트 수가 0(또는 nb_last ==0)이면, 다음 루프에서 처리되는 마지막 하위 대역은 끝에서 두 번째로 정렬된 하위 대역이다. 즉, last_j = N-1이고 하위 대역의 인덱스는 ord[N-1]이다. 이와 달리 마지막으로 정렬된 하위 대역에 사용할 수 있는 비트 수가 1보다 많으면 다음 루프에서 처리되는 마지막 하위 대역이 실제로 마지막으로 정렬된 하위 대역(또는 Last_j = N)이다.
그런 다음 방법은 위의 하위 대역 제한이 적용되는 각 하위 대역에 대해(또는 j=ord[1]: ord[last_j-1]에서) 인코딩이 고정 레이트인지 가변 레이트인지 알기 위해 1 비트를 읽어오는 처리 루프를 구현하도록 구성할 수 있다. 인코딩에 사용된 방법이 시그널링 비트에 기반한 고정 레이트 인코딩인 경우 방향 정보에 대한 구형 인덱스를 읽고 디코딩하여 고도각 및 방위각 값을 얻고 다음 하위 대역의 비트에서 1 비트를 줄이도록 방법을 구성할 수 있다. 인코딩에 사용된 방법이 시그널링 비트에 기반한 엔트로피 인코딩인 경우, 이 방법은 고도각 및 방위각에 대한 엔트로피 인코딩 인덱스를 읽고 디코딩하도록 구성될 수 있다. 그런 다음 엔트로피 인코딩 정보에 사용된 비트 수를 카운팅하여 현재 하위 대역에 허용된 비트와 엔트로피 인코딩에 사용된 비트 간의 차이를 계산하고 다음 하위 대역에 차이 비트를 분배하도록 방법을 구성할 수 있다.
또한 방법은 나머지 정렬된 각 하위 대역에 대해(즉, j = ord[last_j:N]:ord[N]부터) 방향 데이터에 대해 고정 레이트 인코딩된 구형 인덱스를 읽고 디코딩하도록 구성될 수 있다.
방향 데이터가 2D인 경우 j=1:N부터의 각 하위 대역에 대해 고정 레이트 인코딩된 방위각 인덱스를 디코딩하도록 방법을 구성할 수 있다. 이는 도 5의 단계 513에 의해 도시된다.
일부 실시예에서 방위각 및 고도각 인덱스의 엔트로피 인코딩/디코딩은 골롬 라이스(Golomb Rice) 파라미터에 대한 두 개의 가능한 값을 갖는 골롬 라이스 인코딩 방법을 사용하여 구현될 수 있다. 일부 실시예에서, 엔트로피 코딩은 또한 임의의 적절한 엔트로피 코딩 기법(예를 들어, 허프만, 산술 코딩...)을 사용하여 구현될 수 있다.
일부 실시예에서, 고도각 인덱스를 인코딩/디코딩할 때 몇 가지 예외가 있을 수 있는데, 양자화에 사용되는 비트 수가 3보다 작거나 같은 경우, 방향 파라미터들 사이의 거리의 결정(또는 두 방향 파라미터들의 고도각이 유사하거나 결정된 임계치 내에 있는지 여부)에 기초하여 인코딩/디코딩 방법이 공동 또는 공통 고도각 인코딩(즉, 단일 고도각 값을 사용하여 하나 초과의 시간/하위 대역을 나타내는 것)을 구현하도록 구성될 수 있다.
또한, 공동 또는 공통 고도각 인코딩이 구현되는 경우, 일부 실시예에서 방위각 인덱스는 인덱스의 분포를 최적화하기 위해 할당될 수 있다. 예를 들어, 방위각 인덱스 7, 5, 3, 1, 0, 2, 4, 6 m는 값 -180, -135, -90, -45, 0, 45, 90, 135 에 대해 할당될 수 있다.
공동 또는 공통 고도각 인코딩이 구현되는 일부 실시예에서, 사용 컨텍스트가 결정될 수 있고, 방위각 인코딩 방법은 사용 컨텍스트 결정에 기초하여 결정되거나 선택될 수 있다.
일부 실시예에서, 공동 코딩은 엔트로피 코딩(EC)과 고정 레이트 코딩 중에서 선택하여 구현된다. 일부 실시예에서, 방법 및 장치는 하위 대역의 정렬 및 암시적으로 각 하위 대역의 인코딩 후에 다음 하위 대역의 결정이 이루어지도록 수정될 수 있다.
이는 다음과 같은 동작으로 구현될 수 있다:
1. 각 대역의 에너지 비율 양자화
2. 양자화된 에너지 비율에 기초하여 각 하위 대역의 TF 타일에 비트를 할당
3. 가용 비트 예산에 맞추기 위해 TF 타일의 비트 할당을 감소
4. 각 하위 대역에 대한 평균 상대 비트 페널티를 계산
5. 평균 상대 비트 페널티 값이 가장 낮은 하위 대역을 인코딩하고 다음 하위 대역 B에 주어질 수 있는 비트 수를 출력
6. B > 0이면
a. 나머지 하위 대역 중 가장 높은 페널티 값을 가진 하위 대역을 선택
7. 그렇지 않으면 /* 이것은 B=-1 또는 B = 0 */에 해당
a. 나머지 대역 중 페널티 값이 가장 낮은 하위 대역을 선택
8. 종료
9. 선택된 하위 대역을 인코딩하고 다음 하위 대역에 주어질 수 있는 비트 수를 출력
10. 하위 대역이 하나만 남은 경우
a. B 비트를 부여하고 고정 레이트로 인코딩
11. 그렇지 않으면
a. 6으로 이동
12. 종료
일부 실시예에서, "양자화 정확도" 및 "페널티"의 결정은 다른 방식으로 구현될 수 있다. 일부 실시예에서 양자화 정확도는 (직접 또는 인코더로부터 전송된) 인코딩 및 디코딩 중에 얻을 수 있는 임의의 적절한 측정치를 사용하여 결정될 수 있다. 예를 들어, 주관적인 평가에 기초한 서로 다른 양자화 레벨 내의 에러에 대한 지각 가능성 표일 수 있다. 또한 최대 각도 에러와 같이 완전히 객관적인 측정치일 수도 있다. 마찬가지로, 일부 실시예에서 페널티 측정은 이러한 측정 중 하나(또는 이들의 조합)를 기반으로 할 수 있다. 또한, 일부 실시예에서는 방향 각도(및 잠재적 각도 차이)에 기초하여 '지각 가능성' 에러 페널티 측정값이 정의될 수 있다. 예를 들어 '전방' 방향 각도, 즉 사용자의 후방 또는 측면이 아닌 사용자의 전방에 있는 오디오 신호는 예를 들어, 초기 비트 할당과 감소된 비트 할당(또는 초기 비트 할당 가능한 양자화 오류) 사이의 임의의 '차이'가 측면 또는 후방 방향 각도에 대한 유사한 차이보다 더 큰 페널티 값을 생성하도록 구성될 수 있다. 예를 들어, 획득된 임의의 페널티는 이전 프레임의 해당 하위 대역으로부터 방위각의 역값으로 가중치가 부여될 수 있다.
일부 실시예에서, 나머지 하위 대역 중에서 가장 높은 페널티 값을 갖는 하위 대역을 선택하는 것에서 가장 높은 페널티 값은 원래의 페널티 값이 아니라 분배될 비트가 주어진 것처럼 획득된 페널티 값에 기초하여 결정될 수 있다. 또한, 일부 실시예에서, 나머지 하위 대역 중 가장 낮은 페널티 값을 갖는 하위 대역을 선택하는 것에서 가장 낮은 페널티 값은 원래의 페널티가 아니라 분배될 비트가 주어진 것처럼 획득된 페널티 값에 기초하여 결정될 수 있다.
도 6과 관련하여, 분석 또는 합성 디바이스로서 사용될 수 있는 예시적인 전자 디바이스가 도시되어 있다. 디바이스는 임의의 적합한 전자 디바이스 또는 장치일 수 있다. 예를 들어, 일부 실시예에서 디바이스(1400)는 모바일 디바이스, 사용자 장비, 태블릿 컴퓨터, 컴퓨터, 오디오 재생 장치 등이다.
일부 실시예에서 디바이스(1400)는 적어도 하나의 프로세서 또는 중앙 처리 유닛(1407)을 포함한다. 프로세서(1407)는 본 명세서에 기술된 것과 같은 방법과 같은 다양한 프로그램 코드를 실행하도록 구성될 수 있다.
일부 실시예에서 디바이스(1400)는 메모리(1411)를 포함한다. 일부 실시예에서 적어도 하나의 프로세서(1407)는 메모리(1411)에 결합된다. 메모리(1411)는 임의의 적합한 저장 수단일 수 있다. 일부 실시예에서 메모리(1411)는 프로세서(1407)에서 구현 가능한 프로그램 코드를 저장하기 위한 프로그램 코드 섹션을 포함한다. 또한, 일부 실시예에서 메모리(1411)는 데이터(예를 들어 본 명세서에 기술된 실시예에 따라 처리되었거나 처리될 데이터)를 저장하기 위한 저장된 데이터 섹션을 더 포함할 수 있다. 프로그램 코드 섹션 내에 저장된 구현된 프로그램 코드 및 저장된 데이터 섹션 내에 저장된 데이터는 메모리-프로세서 결합을 통해 필요할 때마다 프로세서(1407)에 의해 검색될 수 있다.
일부 실시예에서 디바이스(1400)는 사용자 인터페이스(1405)를 포함한다. 사용자 인터페이스(1405)는 일부 실시예에서 프로세서(1407)에 결합될 수 있다. 일부 실시예에서 프로세서(1407)는 사용자 인터페이스(1405)의 동작을 제어하고 사용자 인터페이스(1405)로부터 입력을 수신할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 사용자가 예를 들어 키패드를 통해 디바이스(1400)에 커맨드를 입력하게 할 수 있다. 일부 실시예에서 사용자 인터페이스(1405)는 사용자가 디바이스(1400)로부터 정보를 획득하게 할 수 있다. 예를 들어, 사용자 인터페이스(1405)는 디바이스(1400)로부터의 정보를 사용자에게 디스플레이하도록 구성된 디스플레이를 포함할 수 있다. 사용자 인터페이스(1405)는 일부 실시예에서 정보가 디바이스(1400)에 입력될 수 있게 하고 추가로 디바이스(1400)의 사용자에게 정보를 디스플레이할 수 있는 터치 스크린 또는 터치 인터페이스를 포함할 수 있다. 일부 실시예에서 사용자 인터페이스(1405)는 여기에 설명된 바와 같이 위치 결정기와 통신하기 위한 사용자 인터페이스일 수 있다.
일부 실시예에서 디바이스(1400)는 입력/출력 포트(1409)를 포함한다. 일부 실시예에서 입력/출력 포트(1409)는 송수신기를 포함한다. 이러한 실시예에서 송수신기는 프로세서(1407)에 결합될 수 있고, 예를 들어 무선 통신 네트워크를 통해 다른 장치 또는 전자 디바이스와 통신할 수 있도록 구성될 수 있다. 송수신기 또는 임의의 적합한 송수신기 또는 송신기 및/또는 수신기 수단은 일부 실시예에서 와이어 또는 유선 결합을 통해 다른 전자 디바이스 또는 장치와 통신하도록 구성될 수 있다.
송수신기는 임의의 적절한 알려진 통신 프로토콜에 의해 추가 장치와 통신할 수 있다. 예를 들어 일부 실시예에서 송수신기는 적절한 UMTS(universal mobile telecommunications system) 프로토콜, 예를 들어 IEEE 802.X와 같은 무선 근거리 통신망(wireless local area network, WLAN) 프로토콜, Bluetooth와 같은 적절한 단거리 무선 주파수 통신 프로토콜, 또는 적외선 데이터 통신 경로(infrared data communication pathway, IRDA)를 사용할 수 있다.
송수신기 입력/출력 포트(1409)는 적절한 코드를 실행하는 프로세서(1407)를 사용하여 본 명세서에 기술된 바와 같이 신호를 수신하고 일부 실시예에서 파라미터를 결정하도록 구성될 수 있다. 또한, 디바이스는 합성 디바이스로 전송될 적절한 다운믹스 신호 및 파라미터 출력을 생성할 수 있다.
일부 실시예에서 디바이스(1400)는 합성 디바이스의 적어도 일부로서 이용될 수 있다. 이와 같이 입력/출력 포트(1409)는 다운믹스 신호 및 일부 실시예에서 본 명세서에 기술된 캡처 디바이스 또는 처리 디바이스에서 결정된 파라미터를 수신하고, 적절한 코드를 실행하는 프로세서(1407)를 사용하여 적절한 오디오 신호 포맷 출력을 생성하도록 구성될 수 있다. 입력/출력 포트(1409)는 예를 들어 다채널 스피커 시스템 및/또는 헤드폰 등에 대한 임의의 적합한 오디오 출력에 결합될 수 있다.
일반적으로, 다양한 실시예는 하드웨어 또는 특수 목적 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수 있다. 본 개시의 일부 양태는 하드웨어로 구현될 수 있는 반면, 다른 양태는 제어기, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수 있는 펌웨어 또는 소프트웨어로 구현될 수 있지만, 본 개시는 이에 제한되지 않는다. 본 개시의 다양한 양태가 블록도, 흐름도 또는 일부 다른 그림 표현을 사용하여 예시 및 설명될 수 있지만, 본 명세서에 설명된 이러한 블록, 장치, 시스템, 기법 또는 방법은 비제한적인 예, 하드웨어, 소프트웨어, 펌웨어, 특수 목적 회로 또는 로직, 범용 하드웨어 또는 제어기 또는 기타 컴퓨팅 디바이스, 또는 이들의 일부 조합으로 구현될 수 있다.
본 출원에서 사용되는 "회로"라는 용어는 다음 중 하나 이상 또는 모두를 지칭할 수 있다:
(a) 하드웨어 전용 회로 구현(예컨대, 아날로그 및/또는 디지털 회로로만 구현) 및
(b) 하드웨어 회로와 소프트웨어의 조합, 예컨대, (해당되는 경우)
(i) 아날로그 및/또는 디지털 하드웨어 회로(들)와 소프트웨어/펌웨어의 조합 및
(ii) 휴대 전화 또는 서버와 같은 장치가 다양한 기능을 수행하도록 하기 위해 함께 작동하는 소프트웨어를 가진 하드웨어 프로세서(들)(디지털 신호 프로세서(들) 포함), 소프트웨어 및 메모리(들)의 임의의 부분 및
(c) 작동을 위해 소프트웨어(예: 펌웨어)가 필요하지만 작동에 필요하지 않은 경우 소프트웨어가 존재하지 않을 수 있는 마이크로프로세서(들) 또는 마이크로프로세서(들)의 일부와 같은 하드웨어 회로(들) 및/또는 프로세서(들).
이 회로의 정의는 임의의 청구항을 포함하여 본 출원에서 이 용어의 모든 용도에 적용된다. 추가 예로서, 본 출원에서 사용되는 회로라는 용어는 단순히 하드웨어 회로 또는 프로세서(또는 복수의 프로세서) 또는 하드웨어 회로 또는 프로세서의 일부와 그에 수반되는 소프트웨어 및/또는 펌웨어의 구현도 포함한다.
회로라는 용어는 예를 들어, 특정 청구항 요소에 적용되는 경우, 모바일 디바이스용 베이스밴드 집적 회로 또는 프로세서 집적 회로 또는 서버, 셀룰러 네트워크 디바이스 또는 기타 컴퓨팅 또는 네트워크 디바이스에 있는 유사한 집적 회로도 포함한다.
본 개시의 실시예는 프로세서 엔티티와 같은 모바일 디바이스의 데이터 프로세서에 의해 실행 가능한 컴퓨터 소프트웨어에 의해, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다. 소프트웨어 루틴, 애플릿 및/또는 매크로를 포함하여 프로그램 제품이라고도 하는 컴퓨터 소프트웨어 또는 프로그램은 임의의 장치 판독 가능한 데이터 저장 매체에 저장될 수 있으며 특정 작업을 수행하기 위한 프로그램 명령어를 포함한다. 컴퓨터 프로그램 제품은 프로그램이 실행될 때 실시예를 수행하도록 구성되는 하나 이상의 컴퓨터 실행가능 구성요소를 포함할 수 있다. 하나 이상의 컴퓨터 실행가능 구성요소는 적어도 하나의 소프트웨어 코드 또는 그 일부일 수 있다.
또한 이와 관련하여 도면에서와 같은 로직 흐름의 임의의 블록은 프로그램 단계, 또는 상호연결된 로직 회로, 블록 및 기능, 또는 프로그램 단계와 로직 회로, 블록 및 기능의 조합을 나타낼 수 있음에 유의해야 한다. 소프트웨어는 메모리 칩 또는 프로세서 내에 구현된 메모리 블록과 같은 물리적 매체, 하드 디스크 또는 플로피 디스크와 같은 자기 매체 및 예를 들어 DVD 및 이들의 데이터 변형인 CD와 같은 광학 매체 상에 저장될 수 있다. 물리적 매체는 비일시적 매체이다.
메모리는 로컬 기술 환경에 적합한 임의의 유형일 수 있으며, 반도체 기반 메모리 디바이스, 자기 메모리 디바이스 및 시스템, 광학 메모리 디바이스 및 시스템, 고정 메모리 및 착탈식 메모리와 같은 임의의 적합한 데이터 저장 기술을 사용하여 구현될 수 있다. 데이터 프로세서는 로컬 기술 환경에 적합한 임의의 유형일 수 있으며, 범용 컴퓨터, 특수 목적 컴퓨터, 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), FPGA, 게이트 레벨 회로 및 비제한적 예로서 멀티 코어 프로세서 아키텍처에 기반한 프로세서 중 하나 이상을 포함할 수 있다.
본 개시의 실시예는 집적 회로 모듈과 같은 다양한 구성요소에서 실시될 수 있다. 집적 회로의 설계는 대체로 고도로 자동화된 프로세스이다. 복잡하고 강력한 소프트웨어 도구를 사용하여 로직 레벨 설계를 반도체 기판에 에칭 및 형성하도록 준비가 된 반도체 회로 설계로 변환할 수 있다.
본 개시의 다양한 실시예에 대한 보호 범위는 독립항에 의해 명시되어 있다. 독립항의 범위에 속하지 않는 본 명세서에 설명된 실시예 및 특징(있는 경우)은 본 개시의 다양한 실시예를 이해하는 데 유용한 실시예로 해석되어야 한다.
전술한 설명은 비제한적인 예를 통해 본 개시의 예시적인 실시예에 대한 완전하고 유익한 설명을 제공하였다. 그러나, 첨부 도면 및 첨부된 청구범위와 함께 읽을 때, 전술한 설명에 비추어 관련 기술의 당업자에게 다양한 수정 및 변형이 명백해질 수 있다. 그러나, 본 개시의 교시에 대한 이러한 수정 및 유사한 수정 모두는 여전히 첨부된 청구범위에 정의된 바와 같이 본 발명의 범위 내에 속할 것이다. 실제로, 하나 이상의 실시예와 이전에 논의된 다른 실시예 중 임의의 실시예의 조합을 포함하는 추가 실시예가 있다.

Claims (29)

  1. 장치로서,
    오디오 신호를 나타내는 파라미터에 대한 값을 획득하고 - 상기 값은 상기 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - ,
    각 하위 대역에 대한 페널티 값을 결정하며,
    하위 대역별로,
    상기 페널티 값에 기초하여 하위 대역을 선택하고,
    상기 선택된 하위 대역에 대해, 각 하위 대역에 대한 상기 적어도 하나의 방향 값을 인코딩하며,
    상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하기 위한 수단을 포함하는,
    장치.
  2. 제1항에 있어서,
    각 하위 대역에 대한 페널티 값을 결정하기 위한 수단은,
    상기 하위 대역에 대해 상기 적어도 하나의 에너지 비율 값에 기초하여 상기 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하고,
    상기 하위 대역에 대해 상기 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정 - 상기 비트의 제2 할당은 상기 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 상기 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - 하며,
    상기 방향 값을 인코딩하기 위한 상기 비트의 초기 할당과 상기 프레임의 방향 값을 인코딩하기 위한 상기 비트의 제2 할당 간의 차이를 결정하기 위한 것인,
    장치.
  3. 제1항 또는 제2항에 있어서,
    각 하위 대역에 대한 페널티 값을 결정하기 위한 수단은,
    상기 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하고,
    상기 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하기 위한 것인,
    장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    각 하위 대역에 대한 페널티 값을 결정하기 위한 수단은,
    각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하고,
    상기 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하기 위한 것인,
    장치.
  5. 제2항 또는 제2항에 종속되는 임의의 항에 있어서,
    상기 페널티 값에 기초하여 하위 대역을 선택하기 위한 수단은,
    상기 방향 값을 인코딩하기 위한 상기 비트의 초기 할당과 상기 방향 값을 인코딩하기 위한 상기 비트의 초기 할당에 관하여 상기 프레임의 방향 값을 인코딩하기 위한 상기 비트의 제2 할당 간의 차이에 기초하여 상기 하위 대역을 정렬하고,
    상기 하위 대역의 정렬에 기초하여 상기 하위 대역별로 상기 하위 대역을 선택하기 위한 것인,
    장치.
  6. 제2항 또는 제2항에 종속되는 임의의 항에 있어서,
    상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 상기 프레임의 방향 값을 인코딩하기 위한 상기 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초하는,
    장치.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 페널티 값에 기초하여 하위 대역을 선택하기 위한 수단은 가장 낮은 페널티 값을 갖는 인코딩되지 않은 하위 대역을 선택하기 위한 것인,
    장치.
  8. 제7항에 있어서,
    상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하기 위한 수단은, 상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하기 위한 수단을 포함하는,
    장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 수단은 또한 상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하기 위한 것인,
    장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 수단은 또한 상기 프레임의 상기 적어도 하나의 에너지 비율 값을 인코딩하기 위한 것인,
    장치.
  11. 제10항에 있어서,
    상기 프레임의 상기 적어도 하나의 에너지 비율 값을 인코딩하기 위한 수단은,
    상기 적어도 하나의 에너지 비율 값의 가중 평균을 생성하고,
    상기 적어도 하나의 에너지 비율 값의 가중 평균을 인코딩하기 위한 것인,
    장치.
  12. 제11항에 있어서,
    상기 적어도 하나의 에너지 비율 값의 가중 평균을 인코딩하기 위한 수단은 또한 상기 적어도 하나의 에너지 비율 값의 적어도 하나의 가중 평균을 스칼라 비균일 양자화하기 위한 것인,
    장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 선택된 하위 대역에 대해, 각 하위 대역에 대한 상기 적어도 하나의 방향 값을 인코딩하기 위한 수단은 또한,
    양자화 그리드에 기초하여 상기 선택된 하위 대역에 대한 상기 적어도 하나의 방향 값을 인코딩하는 데 필요한 제1 비트 수를 결정하고,
    상기 선택된 하위 대역에 대한 상기 적어도 하나의 방향 값을 엔트로피 인코딩하는 데 필요한 제2 비트 수를 결정하며,
    상기 제1 비트 수 및 상기 제2 비트 수 중에서 사용된 더 낮은 비트 수에 기초하여 양자화 그리드 인코딩 또는 엔트로피 인코딩을 선택하며,
    상기 양자화 그리드 인코딩 또는 엔트로피 인코딩의 선택을 식별하는 시그널링 비트를 생성하기 위한 것인,
    장치.
  14. 제13항에 있어서,
    상기 엔트로피 인코딩은 골롬 라이스 인코딩(Golomb Rice encoding)인,
    장치.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 수단은 또한 상기 인코딩된 적어도 하나의 방향 값을 저장 및/또는 전송하기 위한 것인,
    장치.
  16. 장치로서,
    오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하고 - 상기 인코딩된 값은 상기 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - ,
    각 하위 대역에 대한 페널티 값을 결정하며,
    하위 대역별로,
    상기 페널티 값에 기초하여 하위 대역을 선택하고,
    상기 선택된 하위 대역에 대해, 각 하위 대역에 대한 상기 적어도 하나의 방향 값을 디코딩하며,
    후속 하위 대역의 선택을 위해 상기 적어도 하나의 방향 값의 상기 인코딩된 값에 대해 할당된 비트 수를 결정하기 위한 수단을 포함하는,
    장치.
  17. 제16항에 있어서,
    각 하위 대역에 대한 페널티 값을 결정하기 위한 수단은,
    상기 하위 대역에 대해 상기 적어도 하나의 에너지 비율 값에 기초하여 상기 프레임의 방향 값을 인코딩하기 위한 비트의 초기 할당을 결정하고,
    상기 하위 대역에 대해 상기 프레임의 방향 값을 인코딩하기 위한 비트의 제2 할당을 결정 - 상기 비트의 제2 할당은 상기 오디오 신호의 프레임의 방향 값을 인코딩하기 위한 가용 비트 수 및 상기 오디오 신호의 프레임의 에너지 비율 값을 인코딩하는 데 사용되는 비트 수에 기초함 - 하며,
    상기 방향 값을 인코딩하기 위한 상기 비트의 초기 할당과 상기 프레임의 방향 값을 인코딩하기 위한 상기 비트의 제2 할당 간의 차이를 결정하기 위한 것인,
    장치.
  18. 제16항 또는 제17항에 있어서,
    각 하위 대역에 대한 페널티 값을 결정하기 위한 수단은,
    상기 프레임의 방향 값을 인코딩하기 위한 비트 할당과 연관된 주관적 지각 가능성 에러 측정값을 획득하고,
    상기 획득된 지각 가능성 에러 측정값에 기초하여 페널티 값을 결정하기 위한 것인,
    장치.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    각 하위 대역에 대한 페널티 값을 결정하기 위한 수단은,
    각각의 하위 대역에 대한 방향 값에 기초하여 각 하위 대역에 대한 가중 계수를 결정하고,
    상기 결정된 가중 계수에 기초하여 각 하위 대역에 대한 페널티 값을 결정하기 위한 것인,
    장치.
  20. 제17항 또는 제17항에 종속되는 임의의 항에 있어서,
    상기 페널티 값에 기초하여 하위 대역을 선택하기 위한 수단은,
    상기 방향 값을 인코딩하기 위한 상기 비트의 초기 할당과 상기 방향 값을 인코딩하기 위한 상기 비트의 초기 할당에 관하여 상기 프레임의 방향 값을 인코딩하기 위한 상기 비트의 제2 할당 간의 차이에 기초하여 상기 하위 대역을 정렬하고,
    상기 하위 대역의 정렬에 기초하여 상기 하위 대역별로 상기 하위 대역을 선택하기 위한 것인,
    장치.
  21. 제17항 또는 제17항에 종속되는 임의의 항에 있어서,
    상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트는 상기 프레임의 방향 값을 인코딩하기 위한 상기 비트의 제2 할당 및 이전에 선택된 임의의 하위 대역 분배에 기초하는,
    장치.
  22. 제16항 내지 제21항 중 어느 한 항에 있어서,
    상기 페널티 값에 기초하여 하위 대역을 선택하기 위한 수단은 가장 낮은 페널티 값을 갖는 인코딩된 하위 대역을 선택하기 위한 것인,
    장치.
  23. 제22항에 있어서,
    상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하기 위한 수단은, 상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 가장 높은 페널티 값을 가진 아직 선택되지 않은 하위 대역에 분배하기 위한 것인,
    장치.
  24. 제16항 내지 제23항 중 어느 한 항에 있어서,
    상기 수단은 또한 상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 것에 기초하여 아직 선택되지 않은 각각의 하위 대역에 대한 페널티 값을 재결정하기 위한 것인,
    장치.
  25. 제16항 내지 제24항 중 어느 한 항에 있어서,
    상기 수단은 또한 상기 프레임의 상기 적어도 하나의 에너지 비율 값을 디코딩하기 위한 것인,
    장치.
  26. 제16항 내지 제25항 중 어느 한 항에 있어서,
    상기 선택된 하위 대역에 대해, 각 하위 대역에 대한 상기 적어도 하나의 방향 값을 디코딩하기 위한 수단은 또한,
    시그널링 비트를 결정하고,
    상기 시그널링 비트에 기초하여 양자화 그리드 디코딩 또는 엔트로피 디코딩을 선택하기 위한 것인,
    장치.
  27. 제26항에 있어서,
    상기 엔트로피 디코딩은 골롬 라이스 디코딩인,
    장치.
  28. 장치를 위한 방법으로서,
    오디오 신호를 나타내는 파라미터에 대한 값을 획득하는 단계 - 상기 값은 상기 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 방향 값 및 적어도 하나의 에너지 비율 값을 포함함 - 와,
    각 하위 대역에 대한 페널티 값을 결정하는 단계와,
    하위 대역별로,
    상기 페널티 값에 기초하여 하위 대역을 선택하는 단계와,
    상기 선택된 하위 대역에 대해, 각 하위 대역에 대한 상기 적어도 하나의 방향 값을 인코딩하는 단계와,
    상기 선택된 하위 대역에 대해 상기 적어도 하나의 방향 값을 인코딩하기 위해 할당된 비트 중 상기 적어도 하나의 방향 값의 인코딩에 사용되지 않은 임의의 비트를 후속 하위 대역의 선택에 분배하는 단계를 포함하는,
    방법.
  29. 장치를 위한 방법으로서,
    오디오 신호를 나타내는 파라미터에 대한 인코딩된 값을 획득하는 단계 - 상기 인코딩된 값은 상기 오디오 신호의 프레임의 적어도 두 개의 하위 대역의 각 하위 대역에 대한 적어도 하나의 인코딩된 방향 값 및 적어도 하나의 인코딩된 에너지 비율 값을 포함함 - 와,
    각 하위 대역에 대한 페널티 값을 결정하는 단계와,
    하위 대역별로,
    상기 페널티 값에 기초하여 하위 대역을 선택하는 단계와,
    상기 선택된 하위 대역에 대해, 각 하위 대역에 대한 상기 적어도 하나의 방향성 값을 디코딩하는 단계와,
    후속 하위 대역의 선택을 위해 상기 적어도 하나의 방향 값의 상기 인코딩된 값에 대해 할당된 비트 수를 결정하는 단계를 포함하는,
    방법.
KR1020237029264A 2021-01-29 2021-01-29 공간 오디오 파라미터 인코딩 및 관련 디코딩 결정 KR20230135665A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2021/052201 WO2022161632A1 (en) 2021-01-29 2021-01-29 Determination of spatial audio parameter encoding and associated decoding

Publications (1)

Publication Number Publication Date
KR20230135665A true KR20230135665A (ko) 2023-09-25

Family

ID=74494925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237029264A KR20230135665A (ko) 2021-01-29 2021-01-29 공간 오디오 파라미터 인코딩 및 관련 디코딩 결정

Country Status (7)

Country Link
US (1) US20240127828A1 (ko)
EP (1) EP4285360A1 (ko)
KR (1) KR20230135665A (ko)
CN (1) CN116982108A (ko)
CA (1) CA3206707A1 (ko)
MX (1) MX2023008890A (ko)
WO (1) WO2022161632A1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2973551A1 (fr) * 2011-03-29 2012-10-05 France Telecom Allocation par sous-bandes de bits de quantification de parametres d'information spatiale pour un codage parametrique
GB2575305A (en) * 2018-07-05 2020-01-08 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding

Also Published As

Publication number Publication date
EP4285360A1 (en) 2023-12-06
US20240127828A1 (en) 2024-04-18
CN116982108A (zh) 2023-10-31
WO2022161632A1 (en) 2022-08-04
MX2023008890A (es) 2023-08-09
CA3206707A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US11676612B2 (en) Determination of spatial audio parameter encoding and associated decoding
EP3861548A1 (en) Selection of quantisation schemes for spatial audio parameter encoding
JP7405962B2 (ja) 空間オーディオパラメータ符号化および関連する復号化の決定
KR20210089184A (ko) 공간적 오디오 파라미터 인코딩 및 연관된 디코딩의 결정
WO2020016479A1 (en) Sparse quantization of spatial audio parameters
EP3991170A1 (en) Determination of spatial audio parameter encoding and associated decoding
EP3776545B1 (en) Quantization of spatial audio parameters
WO2022223133A1 (en) Spatial audio parameter encoding and associated decoding
KR20220047821A (ko) 공간 오디오 방향 파라미터의 양자화
KR20230135665A (ko) 공간 오디오 파라미터 인코딩 및 관련 디코딩 결정
RU2797457C1 (ru) Определение кодирования параметров пространственного звука и соответствующего декодирования
KR102664650B1 (ko) 공간 오디오 파라미터의 유의성의 결정 및 관련 인코딩
KR20230158590A (ko) 공간 오디오 스트림 결합
WO2022058645A1 (en) Spatial audio parameter encoding and associated decoding
GB2598773A (en) Quantizing spatial audio parameters
CA3202283A1 (en) Quantizing spatial audio parameters