KR20200140874A - 공간 오디오 파라미터의 양자화 - Google Patents

공간 오디오 파라미터의 양자화 Download PDF

Info

Publication number
KR20200140874A
KR20200140874A KR1020207032046A KR20207032046A KR20200140874A KR 20200140874 A KR20200140874 A KR 20200140874A KR 1020207032046 A KR1020207032046 A KR 1020207032046A KR 20207032046 A KR20207032046 A KR 20207032046A KR 20200140874 A KR20200140874 A KR 20200140874A
Authority
KR
South Korea
Prior art keywords
azimuth
indexed
value
component
elevation
Prior art date
Application number
KR1020207032046A
Other languages
English (en)
Other versions
KR102593235B1 (ko
Inventor
아드리아나 바실라체
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20200140874A publication Critical patent/KR20200140874A/ko
Application granted granted Critical
Publication of KR102593235B1 publication Critical patent/KR102593235B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6011—Encoder aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함하는 적어도 하나의 공간 오디오 파라미터를 결정하는 특히 공간 오디오 신호 인코딩을 위한 장치가 개시된다. 방향 파라미터의 고도 성분 및 방위각 성분은 인덱스 값으로 변환된다.

Description

공간 오디오 파라미터의 양자화
본 출원은 음장 관련 파라미터 인코딩을 위한 장치 및 방법에 관한 것이지만, 오디오 인코더 및 디코더의 시간-주파수 도메인 방향 관련 파라미터 인코딩에 국한되지 않는다.
파라메트릭 공간 오디오 처리(parametric spatial audio processing )는 사운드의 공간적 관점이 파라미터의 세트를 사용하여 설명되는 오디오 신호 처리의 분야이다. 예를 들어, 마이크로폰 어레이로부터 파라메트릭 공간 오디오의 캡처시, 마이크로폰 어레이로부터, 주파수 대역의 사운드 방향과 같은 파라미터의 세트와 주파수 대역에서 캡처된 사운드의 방향성 및 비방향성 부분 간의 비율을 추정하는 것이 일반적이고 효과적인 선택이다. 이들 파라미터는 마이크로폰 어레이의 위치에서 캡처된 사운드의 지각적 공간 특성을 잘 설명하는 것으로 알려져 있다. 이들 파라미터는 이에 따라 입체음향 헤드폰(headphone binaurally)을 위해, 라우드스피커(loudspeaker)를 위해 또는 앰비소닉스(Ambisonic)과 같은 다른 포맷으로 공간 사운드를 합성할 때 이용될 수 있다.
따라서, 주파수 대역의 방향 및 직접-대-총 에너지 비율(direct-to-total energy ratio)은 공간 오디오 캡처에 특히 효과적인 파라미터화(parameterization)이다.
주파수 대역에서 방향 파라미터와 주파수 대역에서 에너지 비율 파라미터(사운드의 방향성을 표시함)로 구성된 파라미터 세트는 또한 오디오 코덱에 대한 공간 메타데이터로서 이용될 수 있다. 예를 들어, 이들 신호는 마이크로폰-어레이에 의해 캡처된 오디오 신호로부터 추정될 수 있으며, 예를 들어 스테레오 신호가 공간 메타데이터와 함께 전달될 마이크로폰 어레이 신호로부터 생성될 수 있다. 스테레오 신호는 예를 들어 AAC 인코더로 인코딩될 수 있다. 디코더는 오디오 신호를 PCM 신호로 디코딩하고 (공간 메타데이터를 사용하여) 주파수 대역의 사운드를 처리하여 공간 출력, 예를 들어, 입체음향 출력을 획득할 수 있다.
앞서 언급한 해결책은 마이크로폰 어레이(예를 들어, 모바일 폰, VR 카메라, 독립형(stand-alone) 마이크로폰 어레이)에서 캡처된 공간 사운드를 인코딩하는 데 특히 적합하다. 그러나 그러한 인코더가 마이크로폰-어레이에 의해 캡처된 신호 이외의 다른 입력 유형, 예를 들어, 라우드스피커 신호, 오디오 객체 신호, 또는 앰비소닉 신호를 또한 갖는 것이 바람직할 수 있다.
공간 메타데이터 추출을 위한 1차 앰비소닉(first-order Ambisonic)(FOA) 입력을 분석하는 것은 방향성 오디오 코딩(Directional Audio Coding)(DirAC)) 및 고조파 평면파 확장(Harmonic planewave expansion)(Harpex)과 관련된 과학 문헌에서 완전하게 문서화되어 있다. 이것은 FOA 신호(더 정확하게는 그의 변형 신호인 B-포맷 신호)를 직접 제공하는 마이크로폰 어레이가 존재하고, 따라서 그러한 입력을 분석하는 것이 관련 분야에서 연구의 핵심이 되었기 때문이다.
인코더를 향한 추가 입력은 또한 5.1 또는 7.1 채널 서라운드 입력과 같은 다중-채널 라우드스피커 입력이다.
그러나 결과적인 방향의 고도(elevation), 방위각(azimuth)(및 발산(diffuseness))을 포함할 수 있는 메타데이터의 방향 성분과 관련하여, 각각의 고려된 시간/주파수 하위대역에 대해 방위각 및 고도 성분을 따라 따로따로 균일한 입도(granularity)를 구현하는 양자화 및/또는 인코딩은 (이러한 두 개의 파라미터가 메타데이터에 별도로 추가될 때) 양자화 및 인코딩 상태가 고르지 않게 분포될 수 있다. 예를 들어, 둘 모두에 대해 획일적인 접근 방식은 방향 구체(direction sphere))의 '극(pole)'에 더 가까이에서, 다시 말해 궤적 또는 참조 위치 바로 위 또는 아래에서 밀도가 더 높은 인코딩 체계를 초래한다.
제 1 양태에 따르면, 두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정 - 적어도 하나의 공간 오디오 파라미터는 고도 성분(elevation component) 및 방위각 성분(azimuth component)을 갖는 방향 파라미터를 포함함 - 하는 단계, 및 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 단계를 포함하는 공간 오디오 신호 인코딩을 위한 방법이 제공된다.
방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 단계는, 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 1 인덱싱된 고도 값에 의존하는 제 1 인덱싱된 방위각 값에 인덱싱하는 단계; 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 2 인덱싱된 고도 값에 의존하는 적어도 제 2 인덱싱된 방위각 값에 인덱싱하는 단계; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 단계를 포함할 수 있다.
선택하는 단계는, 고도 성분 및 방위각 성분에 의해 주어진 구체 상의 지점과 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 제 1 거리를 결정하는 단계; 고도 및 방위각 성분에 의해 주어진 구체 상의 지점과 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하는 단계; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 제 1 거리 및 제 2 거리의 최소값에 의존하는 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 단계를 포함할 수 있다.
제 1 거리 및 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리(norm distance)일 수 있다.
고도 성분 및 방위각 성분은 구체 그리드(spherical grid) 상의 지점에 인덱싱될 수 있으며, 여기서 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함한다.
구체 그리드는 구체를 보다 작은 구체로 덮음으로써 형성될 수 있으며, 여기서 더 작은 구체는 구체 그리드의 지점을 정의한다.
고도 성분 및 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱될 수 있다.
코드북 내의 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관될 수 있다.
인덱싱하는 단계는 인덱싱된 값으로 스칼라 양자화하는 단계를 포함할 수 있다.
고도 성분 및 방위각 성분은 방위각/고도 벡터의 성분일 수 있고, 여기서 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 단계는, 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고 방위각/고도 벡터와 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하는 단계; 제 1 거리 측정치 및 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 단계; 및 인덱스 값을 최소 거리 측정치와 연관된 방위각/고도 코드벡터의 인덱스로서 할당하는 단계를 포함할 수 있다.
앞서와 같이, 제 1 거리와 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
구체는 단일 구체일 수 있고, 단일 구체 상의 두 지점 사이의 L2 표준 거리는
Figure pct00001
Figure pct00002
의 형태일 수 있고, 여기서,
Figure pct00003
및
Figure pct00004
는 두 지점 중 제1지점과 제 2 지점에 대한 고도 값이고,
Figure pct00005
및
Figure pct00006
는 두 지점의 제 1 및 제 2 지점에 대한 방위각 값이다.
제 2 양태에 따르면, 두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정 - 적어도 하나의 공간 오디오 파라미터는 고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함함 - 하기 위한 수단; 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하기 위한 수단을 포함하는 공간 오디오 신호 인코딩을 위한 장치가 제공된다.
방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하기 위한 수단은 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 1 인덱싱된 고도 값에 의존하는 제 1 인덱싱된 방위각 값에 인덱싱하기 위한 수단; 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 방위각 성분을 제 2 인덱싱된 고도 값에 의존하는 적어도 제 2 인덱싱된 방위각 값에 인덱싱하기 위한 수단; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하기 위한 수단을 포함할 수 있다.
선택하기 위한 수단은, 고도 성분 및 방위각 성분에 의해 주어진 구체 상의 지점과 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 제 1 거리를 결정하는 것; 고도 및 방위각 성분에 의해 주어진 구체 상의 지점과 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하는 것; 및 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 제 1 거리 및 제 2 거리의 최소값에 따라 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 것을 포함할 수 있다.
제 1 거리 및 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
고도 성분 및 방위각 성분은 구체 그리드 상의 지점에 인덱싱될 수 있으며, 여기서 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함한다.
구체 그리드는 구체를 보다 작은 구체로 덮음으로써 형성될 수 있으며, 여기서 더 작은 구체는 구체 그리드의 지점을 정의한다.
고도 성분 및 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱될 수 있다.
코드북 내의 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관될 수 있다.
인덱싱하기 위한 수단은 인덱싱된 값으로 스칼라 양자화하기 위한 수단을 포함할 수 있다.
고도 성분 및 방위각 성분은 방위각/고도 벡터의 성분일 수 있고, 여기서 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하는 것은, 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고 방위각/고도 벡터와 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하는 것; 제 1 거리 측정치 및 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 것; 및 인덱스 값을 최소 거리 측정치와 연관된 방위각/고도 코드벡터의 인덱스로서 할당하는 것을 포함할 수 있다.
앞서와 같이, 제 1 거리와 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
구체는 단일 구체일 수 있고, 단일 구체 상의 두 지점 사이의 L2 표준 거리는
Figure pct00007
Figure pct00008
의 형태일 수 있고, 여기서,
Figure pct00009
및
Figure pct00010
는 두 지점 중 제1지점과 제 2 지점에 대한 고도 값이고,
Figure pct00011
및
Figure pct00012
는 두 지점의 제 1 및 제 2 지점에 대한 방위각 값이다.
다른 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되며, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 장치로 하여금, 둘 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정 - 적어도 하나의 공간 오디오는 고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함함 - 하고; 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하도록 구성된다.
방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하도록 하는 장치는, 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 제 1 인덱싱된 고도 값에 따라 방위각 성분을 제 1 인덱싱된 방위각 값에 인덱싱하고, 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 제 2 인덱싱된 고도 값에 따라 방위각 성분을 적어도 제 2 인덱싱된 방위각 값에 인덱싱하고; 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하게 할 수 있다
선택하도록 하는 장치는, 고도 성분 및 방위각 성분에 의해 주어진 구체 상의 지점과 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 제 1 거리를 결정하게 하고; 고도 및 방위각 성분에 의해 주어진 구체 상의 지점과 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하게 하고; 제 1 인덱싱된 고도 값 및 제 1 인덱싱된 방위각 값 또는 적어도 하나의 제 2 인덱싱된 고도 값 및 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 제 1 거리 및 제 2 거리의 최소값에 따라 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하게 할 수 있다.
제 1 거리 및 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
고도 성분 및 방위각 성분은 구체 그리드 상의 지점에 인덱싱될 수 있으며, 여기서 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함한다.
구체 그리드는 구체를 보다 작은 구체로 커버함으로써 형성될 수 있으며, 여기서 더 작은 구체는 구체 그리드의 지점을 정의한다.
고도 성분 및 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱될 수 있다.
코드북 내에서 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관될 수 있다.
인덱싱하도록 하는 장치는 인덱싱된 값으로 스칼라 양자화하게 할 수 있다.
고도 성분 및 방위각 성분은 방위각/고도 벡터의 성분일 수 있고, 여기서 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하도록 하는 장치는, 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고 방위각/고도 벡터와 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하게 하고; 제 1 거리 측정치 및 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하게 하고; 인덱스 값을 최소 거리 측정치와 연관된 방위각/고도 코드벡터의 인덱스로서 할당하게 할 수 있다.
앞서와 같이 제 1 거리와 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리일 수 있다.
구체는 단일 구체일 수 있고, 단일 구체 상의 두 지점 사이의 L2 표준 거리는
Figure pct00013
Figure pct00014
의 형태일 수 있고, 여기서,
Figure pct00015
및
Figure pct00016
는 두 지점 중 제1지점과 제 2 지점에 대한 고도 값이고,
Figure pct00017
및
Figure pct00018
는 두 지점의 제 1 및 제 2 지점에 대한 방위각 값이다.
컴퓨터 프로그램은 컴퓨터로 하여금 위에서 설명한 바와 같은 방법을 수행하게 하는 프로그램 명령어를 포함한다.
매체에 저장된 컴퓨터 프로그램 제품은 장치로 하여금 본 명세서에 설명된 것과 같은 방법을 수행하게 할 수 있다.
전자 디바이스는 본 명세서에 설명된 것과 같은 장치를 포함할 수 있다.
칩세트는 본 명세서에 설명된 것과 같은 장치를 포함할 수 있다.
본 출원의 실시예는 최신 기술과 관련된 과제를 해결하는 것을 목표로 한다.
본 출원의 보다 양호한 이해를 위해, 이제 첨부된 도면에 대한 참조가 예를 통해 이루어질 것이다.
도 1은 일부 실시예를 구현하기에 적합한 장치의 시스템을 개략적으로 도시한다.
도 2는 일부 실시예에 따른 도 1에 도시된 바와 같은 분석 프로세서를 개략적으로 도시한다.
도 3a는 일부 실시예에 따른 도 1에 도시된 바와 같은 메타데이터 인코더/양자화기를 개략적으로 도시한다.
도 3b는 일부 실시예에 따라 도 1에 도시된 바와 같은 메타데이터 추출기를 개략적으로 도시한다.
도 3c 내지 도 3e는 일부 실시예에 따라 도 3a 및 도 3b에 도시된 바와 같은 메타데이터 인코더/양자화기 및 메타데이터 추출기에서 사용되는 예시적인 구체 위치 구성을 개략적으로 도시한다.
도 4는 일부 실시예에 따른 도 1에 도시된 바와 같은 시스템의 동작의 흐름도를 도시한다.
도 5는 일부 실시예에 따른 도 2에 도시된 바와 같은 분석 프로세서의 동작의 흐름도를 도시한다.
도 6은 입력 방향 파라미터에 기초하여 방향 인덱스를 생성하는 흐름도를 더 상세히 도시한다.
도 7은 방향 파라미터를 양자화하여 방향 인덱스를 획득하는 예시적인 동작의 흐름도를 도시한다.
도 8은 입력 방향 인덱스에 기초하여 양자화된 방향 파라미터를 생성하는 흐름도를 더 상세히 도시한다.
도 9는 방향 인덱스로부터 양자화된 방향 파라미터를 변환하는 예시적인 동작의 흐름도를 더 상세히 도시한다.
도 10은 도시된 장치를 구현하기에 적합한 예시적인 디바이스를 개략적으로 도시한다.
다음은 다중-채널 입력 포맷 오디오 신호에 대한 효과적인 공간 분석 도출된 메타데이터 파라미터를 제공하는 데 적합한 장치 및 가능한 메커니즘을 더 자세히 설명한다. 다음의 논의에서, 다중-채널 시스템은 다중-채널 마이크로폰 구현과 관련하여 논의된다. 그러나 위에서 논의된 바와 같이, 입력 포맷은 다중-채널 라우드스피커, 앰비소닉(FOA/HOA) 등과 같은 임의의 적합한 입력 포맷일 수 있다. 일부 실시예에서, 채널 위치는 마이크로폰의 위치를 기초로 하거나 가상 위치 또는 방향을 기초로 한다는 것을 이해해야 한다. 또한, 예시적인 시스템의 출력은 다중-채널 라우드스피커 배열이다. 그러나 출력은 라우드스피커 이외의 수단을 통해 사용자에게 렌더링될 수 있다는 것을 이해해야 한다. 또한, 다중-채널 라우드스피커 신호는 두 개 이상의 재생 오디오 신호로 일반화될 수 있다.
앞서 논의한 바와 같이, 주파수 대역에서 방향 및 직접-대-총 에너지 비율(또는 발산-비율, 절대 에너지, 또는 주어진 시간-주파수 간격에서 사운드의 방향성/비방향성을 나타내는 임의의 적합한 표현) 파라미터와 같은 공간 메타데이터 파라미터는 자연 음장(natural sound field)의 지각적 특성을 표현하는 데 특히 적합하다. 5.1 라우드스피커 믹스(loudspeaker mix)와 같은 합성 사운드 장면(synthetic sound scene)은 일반적으로 자연 음장에서 발생하는 사운드와 상이한 공간 사운드를 제공하는 오디오 효과 및 진폭 패닝 방법을 사용한다. 특히, 5.1 또는 7.1 믹스는 다수의 방향으로부터 재생되는 일관된 사운드(coherent sound)를 포함하도록 구성될 수 있다. 예를 들어, 전면에서 직접 인지되는 5.1 믹스의 일부 사운드는 중앙(채널) 라우드스피커에 의해 생성되지 않고, 예를 들어 왼쪽 및 오른쪽 전면(채널) 라우드스피커로부터 일관되게, 그리고 또한 중앙(채널)로부터도 잠재적으로 생성된다. 방향(들) 및 에너지 비율(들)과 같은 공간 메타데이터 파라미터는 그러한 공간적으로 일관된 특징을 정확하게 표현하지 않는다. 이와 같이, 일관성 파라미터와 같은 다른 메타데이터는 오디오 신호의 분석을 통해 결정되어 채널 간의 오디오 신호 관계를 표현할 수 있다.
위에서 표현한 바와 같이, 방향 정보를 메타데이터에 통합하는 예는 결정된 방위각 및 고도 값을 사용하는 것이다. 그러나 통상의 균일한 방위각 및 고도 샘플링은 균일하지 않은 방향 분포를 만들어 낸다.
따라서, 개념은 공간 메타데이터에 대한 방향 파라미터를 결정하고 방향의 더 균일한 분포를 정의하기 위해 방향의 분포에 기초한 실질적인 구체(sphere)에 기초하여 파라미터를 인덱싱하려는 시도이다.
그 다음에 제안된 메타데이터 인덱스는 다운믹스 신호(downmix signal)('채널')과 함께 사용되어, 예를 들어 몰입형 보이스 및 오디오 서비스((Immersive Voice and Audio Service)(IVAS) 코덱에 이용될 수 있는 파라메트릭 몰입형 포맷을 정의할 수 있다. 대안적으로 및 부가적으로, 구체 그리드 포맷(sphere grid format)은 코덱에서 방향을 양자화하기 위해 사용될 수 있다.
개념은 또한 음장 관련 파라미터화(주파수 대역에서 방향(들) 및 비율(들))에 기초하여 공간 오디오의 합성에 사용될 수 있는 양자화된 방향성 파라미터를 생성하는 그러한 인덱싱된 방향 파라미터의 디코딩을 논의한다.
도 1과 관련하여, 본 출원의 실시예를 구현하기 위한 예시적인 장치 및 시스템이 도시된다. 시스템(100)은 '분석' 부분(121)과 '합성' 부분(131)을 갖는 것으로 도시된다. '분석' 부분(121)은 다중-채널 라우드스피커 신호를 수신하는 것으로부터 메타데이터 및 다운믹스 신호의 인코딩까지의 부분이고, '합성' 부분(131)은 인코딩된 메타데이터 및 다운믹스 신호의 디코딩으로부터 재생성된 신호(예를 들어, 다중-채널 라우드스피커 형태)의 프리젠테이션(presentation)까지의 부분이다.
시스템(100) 및 '분석' 부분(121)으로의 입력은 다중-채널 신호(102)이다. 다음 예에서는 마이크로폰 채널 신호 입력이 설명되지만, 다른 실시예에서는 임의의 적합한 입력(또는 합성 다중-채널) 포맷이 구현될 수 있다.
다중-채널 신호는 다운믹서(103) 및 분석 프로세서(105)로 전달된다.
일부 실시예에서, 다운믹서(103)는 다중-채널 신호를 수신하고 신호를 결정된 수의 채널로 다운믹스하여 다운믹스 신호(104)를 출력하도록 구성된다. 예를 들어, 다운믹서(103)는 다중-채널 신호의 2 오디오 채널 다운믹스를 생성하도록 구성될 수 있다. 결정된 채널의 수는 임의의 적합한 채널의 수일 수 있다. 일부 실시예에서, 다운믹서(103)는 선택적이며 다중-채널 신호는 다운믹스 신호가 본 예에서와 동일한 방식으로 미처리된 채로 인코더(107)로 전달된다.
일부 실시예에서, 분석 프로세서(105)는 또한 다중-채널 신호를 수신하고 신호를 분석하여 다중-채널 신호와 연관된 메타데이터(106)를 생성하고 이에 따라 다운믹스 신호(104)와 연관된 메타데이터(106)를 생성하도록 구성된다. 분석 프로세서(105)는, 각각의 시간-주파수 분석 간격마다, 방향 파라미터(108), 에너지 비율 파라미터(110), 일관성 파라미터(112) 및 발산 파라미터(114)를 포함할 수 있는 메타데이터를 생성하도록 구성될 수 있다. 방향, 에너지 비율 및 발산 파라미터는 일부 실시예에서 공간 오디오 파라미터로 간주될 수 있다. 다시 말해, 공간 오디오 파라미터는 다중-채널 신호(또는 일반적으로 두 개 이상의 재생 오디오 신호)에 의해 생성된 음장을 특성화하는 것을 목표로 하는 파라미터를 포함한다. 일관성 파라미터는 다중-채널 신호 간의 관계를 특성화하는 것을 목표로 하는 신호 관계 오디오 파라미터(signal relationship audio parameter)로 간주될 수 있다.
일부 실시예에서, 생성된 파라미터는 주파수 대역마다 상이할 수 있다. 따라서, 예를 들어 대역(X)에서는 모든 파라미터가 생성되고 전송되는 반면, 대역(Y)에서는 파라미터 중 하나만 생성되고 전송되며, 더욱이 대역(Z)에서는 파라미터가 생성되거나 전송되지 않는다. 이에 대한 실제적인 예는, 최고 대역과 같은 일부 주파수 대역의 경우, 파라미터 중 일부가 지각을 이유로 요구되지 않은 경우가 그 예이다. 다운믹스 신호(104) 및 메타데이터(106)는 인코더(107)로 전달될 수 있다.
인코더(107)는 다운믹스(또는 다른 방식의) 신호(104)를 수신하고 이들 오디오 신호의 적합한 인코딩을 생성하도록 구성된 IVAS 스테레오 코어(109)를 포함할 수 있다. 인코더(107)는 일부 실시예에서 (메모리 및 적어도 하나의 프로세서에 저장된 적합한 소프트웨어를 실행하는) 컴퓨터이거나, 또는 대안적으로 예를 들어 FPGA 또는 ASIC를 이용하는 특정 디바이스일 수 있다. 인코딩은 임의의 적합한 방식을 사용하여 구현될 수 있다. 인코더(107)는 메타데이터를 수신하고 정보의 인코딩된 또는 압축된 형태를 출력하도록 구성된 메타데이터 인코더 또는 양자화기(109)를 더 포함할 수 있다. 일부 실시예에서, 인코더(107)는 또한 메타데이터를 단일의 데이터 스트림으로 인터리빙하거나, 멀티플렉싱하거나 또는 메타데이터를 도 1에서 파선으로 도시된 전송 전에 또는 저장 전에 인코딩된 다운믹스 신호 내에 삽입할 수 있다. 멀티플렉싱은 임의의 적합한 방식을 사용하여 구현될 수 있다.
디코더 측에서, 수신되거나 검색된 데이터(스트림)가 디코더/디멀티플렉서(133)에 의해 수신될 수 있다. 디코더/디멀티플렉서(133)는 인코딩된 스트림을 디멀티플렉싱하고 오디오 인코딩된 스트림을 다운 믹스 추출기(135)로 전달할 수 있으며, 다운믹스 추출기는 오디오 신호를 디코딩하여 다운믹스 신호를 획득하도록 구성된다. 유사하게 디코더/디멀티플렉서(133)는 인코딩된 메타데이터를 수신하고 메타데이터를 생성하도록 구성된 메타데이터 추출기(137)를 포함할 수 있다. 디코더/디멀티플렉서(133)는 일부 실시예에서 (메모리 및 적어도 하나의 프로세서에 저장된 적합한 소프트웨어를 실행하는) 컴퓨터이거나, 또는 대안적으로 예를 들어 FPGA 또는 ASIC를 이용하는 특정 디바이스일 수 있다.
디코딩된 메타데이터 및 다운믹스 오디오 신호는 합성 프로세서(139)로 전달될 수 있다.
시스템(100)의 '합성' 부분(131)은 다운믹스 및 메타데이터를 수신하고 다운믹스 신호 및 메타데이터에 기초하여 다중-채널 신호(110)(이들 신호는 다중-채널 라우드스피커 포맷 또는 일부 실시예에서는 사용 사례에 따라 입체음향 또는 앰비소닉 신호와 같은 임의의 적합한 출력 포맷일 수 있음)의 형태의 합성된 공간 오디오를 임의의 적합한 포맷으로 재생성하도록 구성된 합성 프로세서(139)를 추가로 도시한다.
도 4와 관련하여, 도 1에 도시된 개요의 예시적인 흐름도가 도시된다.
먼저 시스템(분석 부분)은 도 4에서 단계(401)로 도시된 바와 같이 다중-채널 오디오 신호를 수신하도록 구성된다.
그 다음에, 시스템(분석 부분)은 도 4에서 단계(403)로 도시된 바와 같이 다중-채널 신호의 다운믹스를 생성하도록 구성된다.
또한, 시스템(분석 부분)은 도 4에서 단계(405)로 도시된 바와 같이 신호를 분석하여 방향 파라미터, 에너지 비율 파라미터, 발산 파라미터 및 일관성 파라미터와 같은 메타데이터를 생성하도록 구성된다.
그 다음에, 시스템은 도 4에서 단계(407)로 도시된 바와 같이 다운믹스 신호 및 메타데이터를 저장/전송을 위해 인코딩하도록 구성된다.
이후에, 시스템은 도 4에서 단계(409)로 도시된 바와 같이 인코딩된 다운믹스 및 메타데이터를 저장/전송할 수 있다.
시스템은 도 4에서 단계(411)로 도시된 바와 같이 인코딩된 다운믹스 및 메타데이터를 검색/수신할 수 있다.
그 다음에, 시스템은 인코딩된 다운믹스 및 메타데이터 파라미터로부터 다운믹스 및 메타데이터를 추출하도록, 예를 들어, 도 4에서 단계(413)로 도시된 바와 같이 인코딩된 다운믹스 및 메타데이터 파라미터를 디멀티플렉싱 및 디코딩하도록 구성된다.
시스템(합성 부분)은 도 4에서 단계(415)로 도시된 바와 같이 다중-채널 오디오 신호의 추출된 다운믹스 및 메타데이터에 기초하여 출력 다중-채널 오디오 신호를 일관성 파라미터와 합성하도록 구성된다.
도 2와 관련하여, 일부 실시예에 따른 (도 1에 도시된 바와 같은) 예시적인 분석 프로세서(105)가 더 상세히 설명된다. 일부 실시예에서 분석 프로세서(105)는 시간-주파수 도메인 변환기(201)를 포함한다.
일부 실시예에서, 시간-주파수 도메인 변환기(201)는 다중-채널 신호(102)를 수신하고 입력 시간 도메인 신호를 적합한 시간-주파수 신호로 변환하기 위해 단시간 푸리에 변환(Short Time Fourier Transform(STFT))과 같은 주파수 도메인 변환에 적합한 시간을 적용하도록 구성된다. 이러한 시간-주파수 신호는 방향 분석기(203) 및 신호 분석기(205)로 전달될 수 있다.
따라서, 예를 들어 시간-주파수 신호(202)는 시간-주파수 도메인에서 다음과 같이 표현될 수 있고
Figure pct00019
,
여기서, b는 주파수 빈 인덱스(frequency bin index)이고 n은 프레임 인덱스(frame index)이고 i는 채널 인덱스(channel index)이다. 다른 표현으로 하자면, n은 원래의 시간-도메인 신호보다 샘플링 속도가 낮은 시간 인덱스로 간주될 수 있다. 이러한 주파수 빈은 하나 이상의 빈을 대역 인덱스(k = 0, ..., K-1)로 그룹화하는 하위대역으로 그룹화될 수 있다. 각각의 하위대역(k)은 가장 낮은 빈(
Figure pct00020
)과 가장 높은 빈(
Figure pct00021
)을 가지며, 하위대역은
Figure pct00022
로부터
Figure pct00023
까지의 모든 빈을 포함한다. 하위대역의 폭은 임의의 적합한 분포에 근접할 수 있다. 예를 들어, 등가 직사각형 대역폭(Equivalent rectangular bandwidth)(ERB) 스케일 또는 바크(Bark) 스케일.
일부 실시예에서, 분석 프로세서(105)는 방향 분석기(203)를 포함한다. 방향 분석기(203)는 시간-주파수 신호(202)를 수신하고 이들 신호에 기초하여 방향 파라미터(108)를 추정하도록 구성될 수 있다. 방향 파라미터는 임의의 오디오 기반 '방향' 결정에 기초하여 결정될 수 있다.
예를 들어, 일부 실시예에서, 방향 분석기(203)는 두 개 이상의 신호 입력으로 방향을 추정하도록 구성된다. 이것은 '방향'을 추정하는 가장 간단한 구성을 나타내며, 더 복잡한 처리는 더욱 많은 신호로 수행될 수 있다.
따라서, 방향 분석기(203)는 방위각(
Figure pct00024
) 및 고도(
Figure pct00025
)로 표시되는 각각의 주파수 대역 및 시간적 프레임에 대한 방위각을 제공하도록 구성될 수 있다. 방향 파라미터(108)는 또한 신호 분석기(205)로 전달될 수 있다.
일부 실시예에서, 방향 파라미터에 더하여 방향 분석기(203)는 에너지 비율 파라미터(110)를 결정하도록 구성된다. 에너지 비율은 한 방향으로부터 도착하는 것으로 간주될 수 있는 오디오 신호의 에너지의 결정으로 간주될 수 있다. 직접-대-총 에너지 비율(
Figure pct00026
)은 예를 들어 방향 추정의 안정성 측정치를 사용하거나, 또는 임의의 상관 측정치, 또는 임의의 다른 적합한 방법을 사용하여 추정되어 비율 파라미터를 획득할 수 있다.
추정된 방향(108) 파라미터는 출력(및 인코더로 전달)될 수 있다. 추정된 에너지 비율 파라미터(110)는 신호 분석기(205)로 전달될 수 있다.
일부 실시예에서, 분석 프로세서(105)는 신호 분석기(205)를 포함한다. 신호 분석기(205)는 방향 분석기(203)로부터 파라미터(예를 들어, 방위각(
Figure pct00027
) 및 고도(
Figure pct00028
)(108) 및 직접-대-총 에너지 비율(
Figure pct00029
)(110))을 수신하도록 구성된다. 신호 분석기(205)는 또한 시간-주파수 도메인 변환기(201)로부터 시간-주파수 신호(
Figure pct00030
)(202)를 수신하도록 구성될 수 있다. 이것들은 모두 시간-주파수 도메인에 있으며; b는 주파수 빈 인덱스, k는 주파수 대역 인덱스(각각의 대역은 잠재적으로 여러 빈(b)으로 구성됨), n은 시간 인덱스, 및 i는 채널이다.
여기서 방향 및 비율이 각각의 시간 인덱스(n)에 대해 표현되지만, 일부 실시예에서 파라미터는 여러 시간 인덱스에 걸쳐 결합될 수 있다. 표현된 바와 같이 주파수 축에 대해서도 동일하게 적용되며, 여러 주파수 빈(b)의 방향은 여러 주파수 빈(b)으로 구성된 대역(k)에서 하나의 방향 파라미터로 표현될 수 있다. 본 명세서에서 논의된 모든 공간 파라미터에 대해서도 동일하게 적용된다.
신호 분석기(205)는 다수의 신호 파라미터를 생성하도록 구성된다. 다음의 개시내용에서, 두 개의 파라미터, 즉 일관성 및 발산 파라미터가 있으며, 둘 모두 시간-주파수 영역에서 분석된다. 또한, 일부 실시예에서 신호 분석기(205)는 추정된 에너지 비율(
Figure pct00031
)을 수정하도록 구성된다. 신호 분석기(205)는 임의의 적합한 공지된 방법에 기초하여 일관성 및 발산 파라미터를 생성하도록 구성된다.
도 5와 관련하여, 분석 프로세서(105)의 동작을 요약하는 흐름도가 도시된다.
제 1 동작은 도 5에서 단계(501)로 도시된 바와 같이 시간 도메인 다중-채널(라우드스피커) 오디오 신호를 수신하는 동작이다.
그 다음은 시간 도메인을 주파수 도메인 변환(예를 들어, STFT)에 적용하여 도 5에서 단계(503)로 도시된 바와 같이 분석에 적합한 시간-주파수 도메인 신호를 생성하는 것이다.
그 다음에는 방향 분석을 적용하여 방향 및 에너지 비율 파라미터를 결정하는 것이 도 5에서 단계(505)로 도시된다.
다음으로, 분석을 적용하여 일관성 파라미터(예를 들어, 주변(surrounding) 및/또는 확산 일관성 파라미터(spread coherence parameter)) 및 발산 파라미터를 결정하는 것이 도 5에서 단계(507)로 도시된다. 일부 실시예에서, 에너지 비율은 또한 본 단계에서 결정된 일관성 파라미터에 기초하여 수정될 수 있다.
결정된 파라미터를 출력하는 것인 최종 동작은 도 5에서 단계(509)로 도시된다.
도 3a와 관련하여, 예시적인 메타데이터 인코더 및 구체적으로는 방향 메타데이터 인코더(300)가 일부 실시예에 따라 도시된다.
일부 실시예에서 방향 메타데이터 인코더(300)는 양자화 입력(302)을 포함한다. 인코딩 입력으로도 알려져 있을 수 있는 양자화 입력은 방향 파라미터가 결정되는 위치 또는 기준 위치 주위에 배열된 구체의 입도를 정의하도록 구성된다. 일부 실시예에서 양자화 입력은 미리 정의된 또는 고정된 값이다.
일부 실시예에서 방향 메타데이터 인코더(300)는 구체 포지셔너(303)를 포함한다. 구체 포지셔너는 양자화 입력 값에 기초하여 구체의 배열을 구성하도록 구성된다. 제안된 구체 그리드는 구체를 작은 구체로 덮고 작은 구체의 중심을 거의 등거리 방향의 그리드를 정의하는 지점으로서 고려하는 아이디어를 사용하여, 구체 그리드가 구체의 형태로 배열된 다수의 지점으로 구성되도록 한다.
본 명세서에 도시된 바와 같은 개념은 구체가 참조 위치에 대해 정의되는 개념이다. 구체는 일련의 원(또는 교차점)으로 시각화될 수 있고 각각의 원 교차점에 대해, 정의된 수의 (더 작은) 구체가 원의 원주에 위치한다. 이것은 예를 들어 도 3c 내지 도 3e와 관련하여 도시된다. 예를 들어, 도 3c는 예시적인 '적도 단면(equatorial cross-section)' 또는 '주 구체 반경(main sphere radius)'으로 정의된 반경을 갖는 제 1 주 원(370)을 도시한다. 또한 도 3c에는 각각의 더 작은 구체가 한 지점에서 주 구체 원주와 접촉하고 적어도 하나의 추가 지점에서 적어도 하나의 추가의 더 작은 구체 원주와 접촉하는 원주를 갖도록 위치하는 (원 단면으로 도시된) 더 작은 구체(371, 373, 375, 377 및 379)가 도시된다. 따라서, 도 3c에 도시된 바와 같이, 더 작은 구체(371)는 주 구체(370) 및 더 작은 구체(373)에 접촉하고, 더 작은 구체(373)는 주 구체(370) 및 더 작은 구체(371 및 375)에 접촉하며, 더 작은 구체(375)는 주 구체(370) 및 더 작은 구체(373 및 377)에 접촉하고, 더 작은 구체(377)는 주 구체(370) 및 더 작은 구체(375 및 379)에 접촉하고, 더 작은 구체(379)는 주 구체(370) 및 더 작은 구체(377)에 접촉한다.
도 3d는 예시적인 '열대 단면(tropical cross-section)’또는 추가 주 원(380) 및 각각의 더 작은 구체가 한 지점에서 주 구체(원) 원주에 접촉하고 적어도 하나의 추가 지점에서 적어도 하나의 더 작은 구체 원주에 접촉하는 원주를 갖도록 위치된 (원의 단면으로 도시된) 더 작은 구체(381, 383, 385)를 도시한다. 따라서, 도 3d에 도시된 바와 같이, 더 작은 구체(381)는 주 구체(380) 및 더 작은 구체(383)에 접촉하고, 더 작은 구체(383)는 주 구체(380) 및 더 작은 구체(381 및 385)에 접촉하고, 더 작은 구체(385)는 주 구체(380) 및 더 작은 구체(383)에 접촉한다.
도 3e는 예시적인 구체와 단면(370, 380) 및 단면(370)과 연관된 더 작은 구체(단면)(371), 단면(380)과 연관된 더 작은 구체(381)와 다른 더 작은 구체(392, 393, 394, 395, 397, 398)를 도시한다. 본 예에서, 방위각 값이 0에서 시작하는 원만이 그려져 있다.
따라서, 일부 실시예에서 구체 포지셔너(303)는 다음과 같은 연산을 수행하여 덮는 구체에 대응하는 방향을 정의하도록 구성된다:
입력: 양자화 입력('적도' 상의 지점의 수, n(0)=M)
출력: 원의 수, Nc 및 각각의 원상의 지점의 수, n(i), i=0, Nc-1
1. n(0)=M
2.
Figure pct00032
3. R(0)=1(적도에서 원의 반경)
4.
Figure pct00033
=0(고도)
5.
Figure pct00034
(더 작은 구체의 반경)
6.
Figure pct00035
7.
Figure pct00036
8.
Figure pct00037
9.
Figure pct00038
10. While
Figure pct00039
a.
Figure pct00040
(이것은
Figure pct00041
일 때 유효함)
b.
Figure pct00042
c.
Figure pct00043
(원(i) 상의 방위각의 입도)
d.
Figure pct00044
e. If i is odd
i.
Figure pct00045
(원(i) 상의 제 1 방위각 값)
f. Else
i.
Figure pct00046
g. End if
h. i = i + 1
11. End while
12. Nc=i+1
단계(5)는 또한
Figure pct00047
로 대체될 수 있으며, 여기서, 계수(k)는 고도를 따라 있는 지점들의 분포를 제어한다. k=4의 경우, 고도 해상도는 약 1 도이다. 더 작은 k의 경우, 해상도는 그에 따라 더 작아진다.
원(i) 상의 각각의 지점에 대한 고도는
Figure pct00048
의 값으로 제공된다. 적도 위의 각각의 원마다, 적도 아래의 대응하는 원이 있다.
하나의 원상의 각각의 방향 지점은 방위각 값과 관련하여 오름차순으로 인덱싱될 수 있다. 각각의 원에서 제 1 지점의 인덱스는 각각의 원상의 지점의 수
Figure pct00049
로부터 추론될 수 있는 오프셋으로 제공된다. 오프셋을 획득하기 위하여, 고려된 원의 순서에 대해, 오프셋은 제 1 오프셋으로서 값(0)부터 시작하여, 주어진 순서에 대한 원상의 지점의 누적된 수로서 계산된다.
원의 하나의 가능한 순서는 적도에서부터 시작한 다음 적도 위의 제 1 원, 적도 아래의 제 1 원, 적도 위의 제 2 원 등으로 될 수 있다.
다른 옵션은 적도에서부터 시작하여 그 다음에 대략 45 도의 고도에 있는 적도 위의 원, 그 다음에 적도 아래의 대응하는 원, 그리고 그 다음에 나머지 원의 대안적인 순서이다. 이러한 방식은 라우드스피커의 위치 설정을 약간 더 간단하게 하기 위한 것이며, 제 1 원만 사용되어 정보를 전송하는 비트의 수를 줄일 수 있다.
다른 실시예에서 원의 다른 순서도 또한 가능하다.
일부 실시예에서, 구체 그리드는 또한 적도 대신에 자오선(0) 또는 임의의 다른 자오선을 고려함으로써 생성될 수 있다.
원의 수(Nc), 각각의 원의 포인트 수(n(i)), i =0, Nc-1, 및 인덱싱 순서를 결정한 구체 포지셔너는 이 정보를 EA 대 DI 변환기(305)에 전달하도록 구성될 수 있다.
일부 실시예에서 방향 메타데이터 인코더(300)는 방향 파라미터 입력(108)을 포함한다. 방향 파라미터 입력은 고도 및 방위각 값
Figure pct00050
을 정의할 수 있다.
(고도/방위각)(EA)로부터 방향 지수(D1)로 및 그 역의 변환 절차는 다음 단락에 제시되어 있다. 여기에서는 원의 대안적인 순서가 고려된다.
방향 메타데이터 인코더(300)는 고도-방위각 대 방향 인덱스(EA-DI) 변환기(305)를 포함한다. 일부 실시예에서 고도-방위각 대 방향 인덱스 변환기(305)는 방향 파라미터 입력(108) 및 구체 포지셔너 정보를 수신하고, 고도-방위각 값을 양자화함으로써 고도-방위각 값을 방향 파라미터 입력(108)으로부터 방향 인덱스로 변환하도록 구성된다.
도 6과 관련하여, 일부 실시예에 따른 방향 인덱스를 생성하는 예시적인 방법이 도시된다.
양자화 입력의 수신은 도 6에서 단계(601)로 도시된다.
그 다음에 방법은 도 6에서 단계(603)로 도시된 바와 같이 양자화 입력에 기초하여 구체 위치 설정을 결정할 수 있다.
또한, 방법은 도 6에서 단계(602)로 도시된 바와 같이 방향 파라미터를 수신하는 단계를 포함할 수 있다.
방향 파라미터 및 구체 위치 설정 정보를 수신한 후 방법은 도 6에서 단계(605)로 도시된 바와 같이 방향 파라미터를 구체 위치 설정 정보에 기초하여 방향 인덱스로 변환하는 단계를 포함할 수 있다.
다음으로 방법은 도 6에서 단계(607)로 도시된 바와 같이 방향 인덱스를 출력할 수 있다.
일부 실시예에서, 고도-방위각 대 방향 인덱스(EA-DI) 변환기(305)는 다음의 알고리즘에 따라 변환을 수행하도록 구성된다:
입력:
Figure pct00051
출력:
Figure pct00052
일부 실시예에서,
Figure pct00053
는 N개의 이산 엔트리를 갖는 인덱싱된 코드북의 형태를 취할 수 있으며, 각각의 엔트리(
Figure pct00054
)는
Figure pct00055
경우 고도 값에 대응한다. 또한, 코드북은 각각의 이산 고도 값(
Figure pct00056
)에 대해 이산 방위각 값(
Figure pct00057
)의 세트를 포함하며, 여기서 세트 내 방위각 값의 수는 고도(
Figure pct00058
)에 달려 있다. 다시 말해서, 각각의 고도 엔트리(
Figure pct00059
)마다,
Figure pct00060
의 경우 이산 방위각 값(
Figure pct00061
)의 수가 달라질 수 있으며, 여기서,
Figure pct00062
는 고도 값(
Figure pct00063
)과 연관된 방위각 값의 세트 내 방위각 값의 수가 고도 값(
Figure pct00064
)의 함수인 것을 나타낸다.
다른 실시예에서, 고도-방위 값의 인덱싱은 이산 고도 및 방위각 값을 저장하기 위한 위와 같은 코드북 구조를 사용하지 않을 수 있다. 대신에 선형 양자화가 사용될 수 있는데, 여기서, 구체 포지셔너에 의해 제공되는 것과 같은 원의 수(Nc) 및 입도(p)는
Figure pct00065
부터
Figure pct00066
까지 균일하게 분할하는 데 사용될 수 있다. 고도 범위 상의 위치는 원 인덱스를 제공하고, 방위각 이산 지점의 수 및 대응하는 오프셋(off(i))은 알려져 있다.
1. 원 인덱스(i)
Figure pct00067
를 발견
2. 원(i) 내의 방위각의 인덱스 발견:
Figure pct00068
, 여기서,
Figure pct00069
3. 방향 인덱스는
Figure pct00070
이다.
EA-Dl 인덱싱 방법에 대한 설명은 위에서 설명한 코드북 구조에 기초하여 진행될 것이다. 그러나, 다음의 방법은 고도 범위가 스케일(
Figure pct00071
내지
Figure pct00072
)을 따라 분할되는 균일한 양자화 구조에 동일하게 적용될 수 있음을 이해해야 한다.
도 7과 관련하여, 고도-방위각을 방향 인덱스(EA-DI)로 변환하기 위한 도 6의 단계(605)의 예시적인 방법이 도시된다.
고도-방위각 값을 양자화하는 제 1 단계는 가장 가까운 코드북 엔트리(
Figure pct00073
)를 발견함으로써 고도 값(
Figure pct00074
)을 스칼라 양자화하여 제 1 양자화된 고도 값(
Figure pct00075
)을 제공하는 단계를 포함할 수 있다. 고도 값(
Figure pct00076
)은 다음으로 가장 가까운 코드북 엔트리를 발견함으로써 다시 스칼라 양자화될 수 있다. 이것은 어느 것이
Figure pct00077
에 더 가까운 지에 따라 코드북 엔트리(
Figure pct00078
또는
Figure pct00079
) 중 어느 하나로서 주어질 수 있고 그럼으로써 제 2 양자화된 고도 값(
Figure pct00080
)을 생성한다.
고도(
Figure pct00081
) 값을 가장 가까운 인덱싱된 고도 값(
Figure pct00082
)에 스칼라 양자화하고 또한 다음으로 가장 가까운 인덱싱된 고도 값(
Figure pct00083
또는
Figure pct00084
)에 스칼라 양자화하는 처리 단계는 각각 처리 단계(701 및 703)로서 도시된다.
각각 양자화된 고도 값(
Figure pct00085
및
Figure pct00086
)에 대해, 대응하는 스칼라 양자화된 방위각 값이 발견될 수 있다. 다시 말해,
Figure pct00087
에 대응하는 제 1 스칼라 양자화된 방위각 값은 제 1 양자화된 고도 값(
Figure pct00088
)에 대해 인덱싱된 고도 값(
Figure pct00089
)와 연관된 방위각 값의 세트로부터 가장 가까운 방위각 값을 발견함으로써 결정될 수 있다. 제 1 양자화된 고도 값(
Figure pct00090
)에 대응하는 제 1 스칼라 양자화된 방위각 값은
Figure pct00091
로 표현될 수 있다. 마찬가지로,
Figure pct00092
에 대응하는 제 2 스칼라 양자화된 방위각 값이 또한 결정되고
Figure pct00093
로 표현될 수 있다. 이것은 방위각 값(
Figure pct00094
)을 재양자화함으로써 수행될 수 있지만, 이번에는 제 2 스칼라 양자화된 고도 값(
Figure pct00095
)의 인덱스와 연관된 방위각 값의 세트를 사용한다.
가장 가까운 인덱싱된 고도 값(
Figure pct00096
)에 대응하는 방위각 값(
Figure pct00097
)을 스칼라 양자화하고 또한 가장 가까운 인덱싱된 고도 값(
Figure pct00098
또는
Figure pct00099
)에 대응하는 방위각 값을 스칼라 양자화하는 처리 단계는 각각 처리 단계(705 및 707)로서 도시된다.
일단 제 1 고도-방위각 스칼라 양자화된 값의 쌍 및 제 2 고도-방위각 스칼라 양자화된 값의 쌍이 결정되면, 각각의 쌍마다 단일 구체에 대한 거리 측정치가 계산될 수 있다. 거리 측정치는 단일 구체 상의 두 지점 사이의 L2 표준 거리를 취함으로써 고려될 수 있으므로, 제 1 스칼라 양자화된 고도-방위각 쌍(
Figure pct00100
)의 경우, 거리(
Figure pct00101
)는 단일 구체 상의 제 1 스칼라 양자화된 고도-방위각 쌍(
Figure pct00102
)과 양자화되지 않은 고도 방위각 쌍(
Figure pct00103
) 사이의 거리로 계산된다. 마찬가지로, 제 2 스칼라 양자화된 고도-방위각 쌍(
Figure pct00104
)의 경우 거리(
Figure pct00105
)는 단일 구체 상의 제 2 스칼라 양자화된 고도-방위각 쌍(
Figure pct00106
)과 양자화되지 않은 고도-방위각 쌍(
Figure pct00107
) 사이의 거리로 계산된다.
실시예에서 단일 구체 상의 두 지점(x 및 y) 사이의 L2 표준 거리는
Figure pct00108
로부터 고려될 수 있다는 것을 인식해야 하며, 여기서 x 및 y는 3차원 공간의 구체 좌표이다. 고도-방위각 쌍(
Figure pct00109
)의 측면에서, 구체 좌표는
Figure pct00110
Figure pct00111
로서 표현될 수 있고, 고도- 방위각 쌍(
Figure pct00112
)에 대해 구체 좌표는
Figure pct00113
Figure pct00114
에 대응한다. 단일 구체를 고려함으로써, 반경 r=1이고, 거리(
Figure pct00115
)는
Figure pct00116
Figure pct00117
의 계산으로 줄어들 수 있으며, 여기서 거리(
Figure pct00118
)는 각도의 값에만 의존적임을 알 수 있다.
유사하게, 단일 구체 상의 제 2 스칼라 양자화된 고도-방위각 쌍(
Figure pct00119
)과 양자화되지 않은 고도-방위각 쌍(
Figure pct00120
) 사이의 거리(
Figure pct00121
)는
Figure pct00122
로서 표현될 수 있다.
제 1 스칼라 양자화된 고도-방위각 쌍(
Figure pct00123
)과 양자화되지 않은 고도-방위각 쌍(
Figure pct00124
) 사이의 거리를 발견하는 처리 단계는 도 7에서 (709)로 도시된다.
제 2 스칼라 양자화된 고도-방위각 쌍(
Figure pct00125
)과 양자화되지 않은 고도-방위각 쌍(
Figure pct00126
) 사이의 거리를 발견하는 처리 단계는 도 7에서 (711)로 도시된다.
마지막으로, 최소 거리 측정치를 갖는 스칼라 양자화된 고도-방위각 쌍은 고도-방위각(
Figure pct00127
)에 대한 양자화된 고도-방위각 값으로 선택된다. 선택된 양자화된 고도 및 방위각 쌍과 연관된 대응하는 인덱스는 방향 인덱스(
Figure pct00128
)를 형성한다.
최소 거리를 발견하는 처리 단계는 도 7에서 (713)으로 도시된다.
최소 거리에 따라 양자화된 고도-방위각(
Figure pct00129
)의 인덱스를 갖는 (
Figure pct00130
)와 (
Figure pct00131
)의 인덱스 사이에서 선택하는 처리 단계는 도 7에서 (715)로 도시된다.
위에서 구체 양자화 방식이 단일 구체의 관점에서 정의되었지만, 다른 실시예는 반경이 1과 같지 않은 일반 구체에 기초하여 위의 양자화 방식을 전개할 수 있음을 인식해야 한다. 이러한 실시예에서, 최소 거리를 발견하는 위의 단계는 제 1 스칼라 양자화된 고도-방위각 쌍 및 제 2 스칼라 양자화된 고도 쌍 둘 모두에 대응하는 최소 거리 계산이 독립적이거나 반경(
Figure pct00132
)이기 때문에 그대로 유지된다.
고도-방위각 쌍(
Figure pct00133
)에 대해 선택된 양자화된 값에 대응하는 방향 인덱스(
Figure pct00134
)를 발견하기 위한 위의 처리 단계가 고도 값(
Figure pct00135
)에 대한 제 1 및 제 2 스칼라 양자화된 값을 사용하는 바람직한 실시예의 관점에서 설명되었다는 것을 유의해야 한다. 그러나 다른 실시예는 고도(
Figure pct00136
)에 대해 두 개 이상의 다른 스칼라 양자화된 값을 사용하는 입장으로부터 시작할 수 있다. 이러한 실시예에서 고도 값(
Figure pct00137
)에 가장 가까운 코드북 엔트리는 진행되는 계산이 기초하는 양자화된 고도 값으로서 선택될 수 있다. 따라서, 이러한 실시예에서, 대응하는 수의 거리 측정치에 대해, 고도-방위각(
Figure pct00138
)에 대한 양자화된 고도-방위각 값으로서 선택되는 최소 거리를 생성하는 스칼라 양자화된 고도-방위각 쌍과 비교하는 최종 비교가 있을 것이다.
위에 설명한 바와 같은 인덱싱의 동작은 파라미터의 특정 값에 양자화된 값을 할당하고, 그 다음에 인덱스를 이용하여 양자화된 파라미터 값을 참조 또는 조회하는 데 사용하는 과정을 의미할 수 있음을 인식해야 한다. 양자화된 파라미터 값을 나타내는 인덱스는 인코딩된 비트 스트림의 일부로서 저장되거나 전송될 수 있다.
단일 구체 상의 두 지점 사이의 거리에 기초한 위의 왜곡 측정치는 벡터 성분으로서 고도 및 방위각 값을 사용하는 임의의 방향 성분 양자화 방식에서 사용될 수 있다는 것을 또한 인식해야 한다. 이를 위해 다른 실시예에서 고도/방위각 벡터는 복수의 고도/방위각 코드벡터를 포함하는 벡터 코드북을 사용하여 양자화될 수 있다. 벡터 코드북은 최소 거리 측정치를 갖는 고도/방위각 코드벡터가 고도/방위각 벡터에 가장 가까운 코드벡터인 것으로 선택되는 가장 가까운 이웃 검색 루틴을 사용하여 검색될 수 있다. 본 실시예에서, 방향 인덱스는 가장 가까운 고도/방위각 코드벡터의 인덱스인 것으로 결정된다. 벡터 코드북의 가장 가까운 이웃 검색 루틴에 사용되는 거리 측정치는 구체 그리드의 경우에 대해 위에서 설명한 것처럼 구체 상의 두 지점(x 및 y) 사이의 L2 표준 거리와 동일하게 될 수 있다는 것을 유의해야 한다. 즉 고도-방위각 쌍(
Figure pct00139
)에 대해 구체 좌표는
Figure pct00140
Figure pct00141
로 표현될 수 있고, 고도/방위각 코드벡터(
Figure pct00142
)에 대해, 구체 좌표는
Figure pct00143
Figure pct00144
에 대응한다. 그러므로 고도/방위각 벡터와 벡터 코드북으로부터의 고도/방위각 코드벡터 사이의 거리 측정치는 또한 단일 구체에 대한
Figure pct00145
Figure pct00146
의 계산으로 줄어들 수 있다. 방향 인덱스(
Figure pct00147
)(306)가 출력될 수 있다.
도 3b와 관련하여, 일부 실시예에 따라 예시적인 메타데이터 추출기(137) 및 구체적으로는 방향 메타데이터 추출기(350)가 도시된다.
방향 메타데이터 추출기(350)는 일부 실시예에서 양자화 입력(352)을 포함한다. 이것은 일부 실시예에서 메타데이터 인코더로부터 전달되거나, 그렇지 않으면 인코더와 합의된다. 양자화 입력은 기준 위치 또는 장소 주위에 배열된 구체의 입도를 정의하도록 구성된다.
방향 메타데이터 추출기(350)는 일부 실시예에서 방향 인덱스 입력(351)을 포함한다. 이것은 인코더로부터 수신되거나 임의의 적합한 수단에 의해 검색될 수 있다.
방향 메타데이터 추출기(350)는 일부 실시예에서 구체 포지셔너(353)를 포함한다. 구체 포지셔너(353)는 입력으로서 양자화 입력을 수신하고 인코더에서 생성된 것과 동일한 방식으로 구체 배열을 생성하도록 구성된다. 일부 실시예에서, 양자화 입력 및 구체 포지셔너(353)는 선택적이며, 구체의 배열 정보는 추출기에서 생성되는 것이 아니라 인코더로부터 전달된다.
방향 메타데이터 추출기(350)는 고도-방위각(DI-EA) 변환기(355)에 대한 방향 인덱스를 포함한다. 고도-방위각 변환기(355)에 대한 방향 인덱스는 방향 인덱스 및 또한 구체 위치 정보를 수신하고 근사적인 또는 양자화된 고도-방위각 출력을 생성하도록 구성된다. 일부 실시예에서 변환은 다음의 알고리즘에 따라 수행된다.
입력:
Figure pct00148
출력: (
Figure pct00149
)
1.
Figure pct00150
이도록, 원 인덱스(i)를 발견
2. 반구체에서 원 인덱스를 계산:
Figure pct00151
3.
Figure pct00152
4.
Figure pct00153
다른 실시예에서, 방향 인덱스(
Figure pct00154
)는 각각의 코드북으로부터 양자화된 고도 값(
Figure pct00155
) 및 양자화된 방위각 값(
Figure pct00156
)을 획득하기 위해 고도 인덱스 및 방위각 인덱스로 디코딩될 수 있다.
도 8과 관련하여, 일부 실시예에 따른 방향 파라미터를 추출(또는 양자화된 방향 파라미터를 생성)하기 위한 예시적인 방법이 도시된다.
양자화 입력의 수신은 도 8에서 단계(801)로 도시된다.
그 다음에 방법은 도 8에서 단계(803)로 도시된 바와 같이 양자화 입력에 기초하여 구체 위치 설정을 결정할 수 있다.
또한 방법은 도 8에서 단계(802)로 도시된 바와 같은 방향 인덱스를 수신하는 단계를 포함할 수 있다.
방향 인덱스 및 구체 위치 설정 정보를 수신한 후에, 방법은 도 8에서 단계(805)로 도시된 바와 같이 구체 위치 설정 정보에 기초하여 방향 인덱스를 양자화된 방향 파라미터의 형태의 방향 파라미터로 변환하는 단계를 포함할 수 있다.
그 다음에 방법은 도 8에서 단계(807)로 도시된 바와 같이 양자화된 방향 파라미터를 출력할 수 있다.
도 9와 관련하여, 일부 실시예에 따라, 도 8에서 단계(805)로 도시된 바와 같이, 방향 인덱스를 양자화된 고도-방위각(DI-EA) 파라미터로 변환하는 예시적인 방법이 도시된다.
일부 실시예에서, 방법은 도 9에서 단계(901)로 도시된 바와 같이
Figure pct00157
이도록 원 인덱스 값(i)을 발견하는 단계를 포함한다.
원 인덱스를 결정한 후에, 다음 연산은 도 9에서 단계(903)로 도시된 바와 같이 구체 위치 설정 정보로부터 반구체의 원 인덱스를 계산하는 것이다.
그 다음에 양자화된 고도는 도 9에서 단계(905)로 도시된 바와 같이 원 인덱스에 기초하여 결정된다.
양자화된 고도를 결정한 후에, 양자화된 방위각은 도 9에서 단계(907)로 도시된 바와 같이 원 인덱스 및 고도 정보에 기초하여 결정된다.
본 문서의 전체에 걸쳐 반복되지는 않지만, 공간 오디오 처리는 전형적으로 그리고 이러한 맥락 둘 모두에서 주파수 대역에서 발생한다는 것을 이해해야 한다. 이러한 대역은 예를 들어 시간-주파수 변환의 주파수 빈 또는 여러 빈을 결합한 주파수 대역일 수 있다. 바크 주파수 해상도와 같은 인간 청력의 속성에 근접하도록 조합될 수 있다. 다시 말해, 경우에 따라, 여러 주파수 빈(b) 및/또는 시간 인덱스(n)를 결합하는 시간-주파수 영역에서 오디오를 측정 및 처리할 수 있다. 단순화를 위해, 이러한 측면은 위의 모든 방정식으로 표현되지 않았다. 많은 시간-주파수 샘플이 결합된 경우, 전형적으로 한 방향과 같은 파라미터의 한 세트는 대응하는 시간-주파수 영역에 대해 추정되고, 그 영역 내의 모든 시간-주파수 샘플은 그러한 한 방향 파라미터와 같은 그러한 파라미터의 세트에 따라 합성된다.
적용된 필터 뱅크의 주파수 해상도와 상이한 파라미터 분석을 위한 주파수 해상도의 사용은 공간 오디오 처리 시스템에서 전형적인 접근 방식이다.
도 10과 관련하여, 분석 또는 합성 디바이스로서 사용될 수 있는 예시적인 전자 디바이스가 도시된다. 디바이스는 임의의 적합한 전자 디바이스 또는 장치일 수 있다. 예를 들어, 일부 실시예에서, 디바이스(1400)는 모바일 디바이스, 사용자 장비, 태블릿 컴퓨터, 컴퓨터, 오디오 재생 장치 등이다
일부 실시예에서, 디바이스(1400)는 적어도 하나의 프로세서 또는 중앙 처리 유닛(1407)을 포함한다. 프로세서(1407)는 본 명세서에 설명된 방법과 같은 다양한 프로그램 코드를 실행하도록 구성될 수 있다.
일부 실시예에서, 디바이스(1400)는 메모리(1411)를 포함한다. 일부 실시예에서, 적어도 하나의 프로세서(1407)는 메모리(1411)에 결합된다. 메모리(1411)는 임의의 적합한 저장 수단일 수 있다. 일부 실시예에서, 메모리(1411)는 프로세서(1407)에 따라 구현 가능한 프로그램 코드를 저장하기 위한 프로그램 코드 섹션을 포함한다. 또한, 일부 실시예에서, 메모리(1411)는 데이터, 예를 들어 본 명세서에 설명된 실시예에 따라 처리되거나 처리될 데이터를 저장하기 위한 저장된 데이터 섹션을 더 포함할 수 있다. 프로그램 코드 섹션 내에 저장된 구현된 프로그램 코드 및 저장된 데이터 섹션 내에 저장된 데이터는 메모리-프로세서 결합을 통해 필요할 때마다 프로세서(1407)에 의해 검색될 수 있다.
일부 실시예에서, 디바이스(1400)는 사용자 인터페이스(1405)를 포함한다. 사용자 인터페이스(1405)는 일부 실시예에서 프로세서(1407)에 결합될 수 있다. 일부 실시예에서 프로세서(1407)는 사용자 인터페이스(1405)의 동작을 제어하고 사용자 인터페이스(1405)로부터 입력을 수신할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 사용자가 예를 들어 키패드를 통해 디바이스(1400)에 커맨드를 입력할 수 있게 할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 사용자가 디바이스(1400)로부터 정보를 획득할 수 있게 할 수 있다. 예를 들어, 사용자 인터페이스(1405)는 디바이스(1400)로부터 사용자에게 정보를 표시하도록 구성된 디스플레이를 포함할 수 있다. 사용자 인터페이스(1405)는 일부 실시예에서 정보가 디바이스(1400)에 입력될 수 있게 하고 또한 디바이스(1400)의 사용자에게 정보를 디스플레이할 수 있는 터치 스크린 또는 터치 인터페이스를 포함할 수 있다. 일부 실시예에서, 사용자 인터페이스(1405)는 본 명세서에 설명된 위치 결정기와 통신하기 위한 사용자 인터페이스일 수 있다.
일부 실시예에서, 디바이스(1400)는 입력/출력 포트(1409)를 포함한다. 입력/출력 포트(1409)는 일부 실시예에서 송수신기를 포함한다. 이러한 실시예에서 송수신기는 프로세서(1407)에 결합될 수 있고, 예를 들어 무선 통신 네트워크를 통해 다른 장치 또는 전자 디바이스와의 통신을 가능하게 하도록 구성될 수 있다. 송수신기 또는 임의의 적합한 송수신기 또는 송신기 및/또는 수신기 수단은 일부 실시예에서 유선 또는 유선 결합을 통해 다른 전자 디바이스 또는 장치와 통신하도록 구성될 수 있다.
송수신기는 임의의 적합한 알려진 통신 프로토콜에 의해 추가 장치와 통신할 수 있다. 예를 들어, 일부 실시예에서 송수신기 또는 송수신기 수단은 적합한 범용 모바일 통신 시스템(universal mobile telecommunications system)(UMTS) 프로토콜, 예를 들어 IEEE 802.X와 같은 무선 근거리 통신망(Wireless Local Area Network)(WLAN) 프로토콜, 블루투스 또는 적외선 데이터 통신 경로(infrared data communication pathway)(IRDA)와 같은 적합한 단거리 무선 주파수 통신 프로토콜을 사용할 수 있다.
송수신기 입력/출력 포트(1409)는 신호를 수신하도록 구성될 수 있고 일부 실시예에서 적합한 코드를 실행하는 프로세서(1407)를 사용하여 본 명세서에 설명된 바와 같은 파라미터를 결정한다. 또한, 디바이스는 합성 디바이스로 전송될 적합한 다운믹스 신호 및 파라미터 출력을 생성할 수 있다.
일부 실시예에서, 디바이스(1400)는 합성 디바이스의 적어도 일부로서 사용될 수 있다. 이와 같이 입력/출력 포트(1409)는 다운믹스 신호를 수신 및 일부 실시예에서는 본 명세서에 설명된 바와 같은 캡처 디바이스 또는 처리 디바이스에서 결정된 파라미터를 수신하고, 적합한 코드를 실행하는 프로세서(1407)를 사용함으로써 출력되는 적합한 오디오 신호 포맷을 생성하도록 구성될 수 있다. 입력/출력 포트(1409)는 예를 들어 다중-채널 스피커 시스템 및/또는 헤드폰 또는 이와 유사한 것과 같은 임의의 적합한 오디오 출력에 연결될 수 있다.
일반적으로, 본 발명의 다양한 실시예는 하드웨어 또는 특수 목적 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 양태는 하드웨어로 구현될 수 있는 반면, 다른 양태는 제어기, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수 있는 펌웨어 또는 소프트웨어로 구현될 수 있지만, 본 발명은 이것으로 제한되지 않는다. 본 발명의 다양한 양태가 블록도, 흐름도로서 또는 일부 다른 그림이 포함된 표현을 사용하여 예시되고 설명될 수 있지만, 본 명세서에 설명된 이러한 블록, 장치, 시스템, 기술 또는 방법은 비제한적인 예로서, 하드웨어, 소프트웨어, 펌웨어, 특수 목적 회로 또는 로직, 범용 하드웨어 또는 제어기 또는 다른 컴퓨팅 디바이스 또는 이들의 일부 조합으로 구현될 수 있다.
본 발명의 실시예는 프로세서 엔티티에서와 같은 모바일 디바이스의 데이터 프로세서에 의해 실행 가능한 컴퓨터 소프트웨어에 의해 구현될 수 있거나, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다. 또한, 이와 관련하여, 도면에서와 같이 로직 흐름의 임의의 블록은 프로그램 단계, 또는 상호 연결된 로직 회로, 블록과 기능, 또는 프로그램 단계와 로직 회로의 조합, 블록과 기능을 나타낼 수 있음을 유의해야 한다. 소프트웨어는 메모리 칩과 같은 물리적 매체, 또는 프로세서 내에서 구현된 메모리 블록, 하드 디스크 또는 플로피 디스크와 같은 자기 매체, 및 예를 들어 DVD 및 그 데이터 변형 CD와 같은 광학 매체에 저장될 수 있다.
메모리는 로컬 기술 환경에 적합한 임의의 유형일 수 있으며 반도체 기반 메모리 디바이스, 자기 메모리 디바이스 및 시스템, 광학 메모리 디바이스 및 시스템, 고정 메모리 및 이동식 메모리와 같은 임의의 적합한 데이터 저장 기술을 사용하여 구현될 수 있다. 데이터 프로세서는 로컬 기술 환경에 적합한 임의의 유형일 수 있으며, 비제한적인 예로서, 범용 컴퓨터, 특수 목적 컴퓨터, 마이크로프로세서, 디지털 신호 프로세서(digital signal processor)(DSP), 주문형 집적 회로(application specific integrated circuit)(ASIC), 게이트 레벨 회로 및 멀티 코어 프로세서 아키텍처에 기초한 프로세서 중 하나 이상을 포함할 수 있다.
본 발명의 실시예는 집적 회로 모듈과 같은 다양한 구성 요소에서 실행될 수 있다. 집적 회로의 설계는 대체로 고도로 자동화된 프로세스이다. 로직 레벨 설계를 반도체 기판 상에 식각되어 형성될 준비된 반도체 회로 설계로 변환을 위한 복잡하고 강력한 소프트웨어 도구가 사용될 수 있다.
프로그램은 자동으로 전도체를 라우팅하고, 잘 설정된 설계의 규칙과 미리 저장된 설계 모듈의 라이브러리를 사용하여 반도체 칩 상에 컴포넌트를 배치할 수 있다. 반도체 회로에 대한 설계가 완료되면, 표준화된 전자 포맷(예를 들어, Opus, GDSII 등)의 그 결과로 생성된 설계가 반도체 제조 시설 또는 제조를 위해 '팹(fab)'으로 전달될 수 있다.
전술한 설명은 예시적이고 비제한적인 예로서 본 발명의 예시적인 실시예의 완전하고 유익한 설명을 제공하였다. 그러나 첨부된 도면 및 첨부된 청구 범위와 관련하여 판독할 때, 관련 기술분야의 통상의 기술자에게는 전술한 설명에 비추어 다양한 수정 및 적응이 명백할 것이다. 그러나 본 발명의 교시에 대한 그러한 모든 수정 및 유사한 수정은 첨부된 청구 범위에 정의된 바와 같이 여전히 본 발명의 범위에 속할 것이다.

Claims (24)

  1. 공간 오디오 신호 인코딩을 위한 방법으로서,
    두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정하는 단계 - 상기 적어도 하나의 공간 오디오 파라미터는 고도 성분(elevation component) 및 방위각 성분(azimuth component)을 갖는 방향 파라미터를 포함함 - 와,
    상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하는 단계는,
    상기 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 상기 방위각 성분을 상기 제 1 인덱싱된 고도 값에 의존하는 제 1 인덱싱된 방위각 값에 인덱싱하는 단계와,
    상기 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 상기 방위각 성분을 상기 제 2 인덱싱된 고도 값에 의존하는 적어도 제 2 인덱싱된 방위각 값에 인덱싱하는 단계와,
    상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 적어도 하나의 제 2 인덱싱된 고도 값 및 상기 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하는 단계를 포함하는,
    방법.
  3. 제 2 항에 있어서,
    상기 선택하는 단계는,
    상기 고도 성분 및 상기 방위각 성분에 의해 주어진 구체(sphere) 상의 지점과 상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 제 1 거리를 결정하는 단계와,
    상기 고도 성분 및 상기 방위각 성분에 의해 주어진 상기 구체 상의 지점과 상기 적어도 하나의 제 2 인덱싱된 고도 값 및 상기 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하는 단계와,
    상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 적어도 하나의 제 2 인덱싱된 고도 값 및 상기 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 상기 제 1 거리 및 상기 제 2 거리의 최소 값에 의존하는 상기 인덱싱된 고도 성분 및 상기 인덱싱된 방위각 성분으로서 선택하는 단계를 포함하는,
    방법.
  4. 제 2 항 및 제 3 항에 있어서,
    상기 제 1 거리 및 상기 제 2 거리는 각각 상기 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
    방법.
  5. 제 1 항 내지 제 4 항에 있어서,
    상기 고도 성분 및 상기 방위각 성분은 구체 그리드(spherical grid) 상의 지점에 인덱싱되고, 상기 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함하는,
    방법.
  6. 제 5 항에 있어서,
    상기 구체 그리드는 상기 구체를 보다 작은 구체로 덮음으로써 형성되고, 상기 보다 작은 구체는 상기 구체 그리드의 상기 지점을 정의하는,
    방법.
  7. 제 1 항 내지 제 6 항에 있어서,
    상기 고도 성분 및 상기 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 복수의 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱되는,
    방법.
  8. 제 7 항에 있어서,
    상기 코드북 내의 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관되는,
    방법.
  9. 제 1 항 내지 제 8 항에 있어서,
    상기 인덱싱하는 것은 인덱싱된 값으로 스칼라 양자화하는 것을 포함하는,
    방법.
  10. 제 1 항에 있어서,
    상기 고도 성분 및 상기 방위각 성분은 방위각/고도 벡터의 성분들이고,
    상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하는 단계는,
    상기 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고, 상기 방위각/고도 벡터와 상기 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하는 단계와,
    상기 제 1 거리 측정치 및 상기 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 단계와,
    상기 인덱스 값을 상기 최소 거리 측정치와 연관된 상기 방위각/고도 코드벡터의 인덱스로서 할당하는 단계를 포함하는,
    방법.
  11. 제 10 항에 있어서,
    상기 제 1 거리 및 상기 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
    방법.
  12. 제 4 항 내지 제 9 항 및 제 11 항에 있어서,
    상기 구체는 단일 구체이고, 상기 단일 구체 상의 두 지점 사이의 L2 표준 거리는
    Figure pct00158
    Figure pct00159
    의 형태이고,
    Figure pct00160
    및
    Figure pct00161
    는 상기 두 지점의 제 1 지점 및 제 2 지점에 대한 고도 값이고,
    Figure pct00162
    및
    Figure pct00163
    는 상기 두 지점의 상기 제 1 지점 및 상기 제 2 지점에 대한 방위각 값인,
    방법.
  13. 공간 오디오 신호 인코딩을 위한 장치로서,
    두 개 이상의 오디오 신호에 대해, 공간 오디오 재생을 제공하기 위한 적어도 하나의 공간 오디오 파라미터를 결정하기 위한 수단 - 상기 적어도 하나의 공간 오디오 파라미터는 고도 성분 및 방위각 성분을 갖는 방향 파라미터를 포함함 - 과,
    상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하기 위한 수단을 포함하는
    장치.
  14. 제 13 항에 있어서,
    상기 방향 파라미터의 고도 성분 및 방위각 성분을 인덱스 값으로 변환하기 위한 수단은,
    상기 고도 성분을 제 1 인덱싱된 고도 값에 인덱싱하고 상기 방위각 성분을 상기 제 1 인덱싱된 고도 값에 의존하는 제 1 인덱싱된 방위각 값에 인덱싱하기 위한 수단과,
    상기 고도 성분을 적어도 제 2 인덱싱된 고도 값에 인덱싱하고 상기 방위각 성분을 상기 제 2 인덱싱된 고도 값에 의존하는 적어도 제 2 인덱싱된 방위각 값에 인덱싱하기 위한 수단과,
    상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 적어도 하나의 제 2 인덱싱된 고도 값 및 상기 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 인덱싱된 고도 성분 및 인덱싱된 방위각 성분으로서 선택하기 위한 수단을 포함하는,
    장치.
  15. 제 14 항에 있어서,
    상기 선택하기 위한 수단은,
    상기 고도 성분 및 상기 방위각 성분에 의해 주어진 구체 상의 지점과 상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 제 1 거리를 결정하기 위한 수단과,
    상기 고도 성분 및 상기 방위각 성분에 의해 주어진 상기 구체 상의 지점과 상기 적어도 하나의 제 2 인덱싱된 고도 값 및 상기 적어도 하나의 제 2 인덱싱된 방위각 값에 의해 주어진 상기 구체 상의 지점 사이의 적어도 하나의 제 2 거리를 결정하기 위한 수단과,
    상기 제 1 인덱싱된 고도 값 및 상기 제 1 인덱싱된 방위각 값 또는 상기 적어도 하나의 제 2 인덱싱된 고도 값 및 상기 적어도 하나의 제 2 인덱싱된 방위각 값 중 하나를 상기 제 1 거리 및 상기 제 2 거리의 최소값에 의존하는 상기 인덱싱된 고도 성분 및 상기 인덱싱된 방위각 성분으로서 선택하기 위한 수단을 포함하는,
    장치.
  16. 제 14 항 및 제 15 항에 있어서,
    상기 제 1 거리 및 상기 제 2 거리는 각각 상기 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
    장치.
  17. 제 13 항 내지 제 16 항에 있어서,
    상기 고도 성분 및 상기 방위각 성분은 구체 그리드 상의 지점에 인덱싱되고, 상기 구체 그리드는 구체의 형상으로 배열된 다수의 지점을 포함하는,
    장치.
  18. 제 17 항에 있어서,
    상기 구체 그리드는 상기 구체를 보다 작은 구체로 덮음으로써 형성되고, 상기 보다 작은 구체는 상기 구체 그리드의 지점을 정의하는,
    장치.
  19. 제 13 항 내지 제 18 항에 있어서,
    상기 고도 성분 및 상기 방위각 성분은 각각 복수의 인덱싱된 고도 값 및 복수의 인덱싱된 방위각 값을 포함하는 코드북에 인덱싱되는,
    장치.
  20. 제 19 항에 있어서,
    상기 코드북 내의 각각의 인덱싱된 고도 값은 다수의 인덱싱된 방위각 값과 연관되는,
    장치.
  21. 제 13 항 내지 제 20 항에 있어서,
    상기 인덱싱하기 위한 수단은 인덱싱된 값으로 스칼라 양자화하기 위한 수단을 포함하는,
    장치.
  22. 제 13 항에 있어서,
    상기 고도 성분 및 상기 방위각 성분은 방위각/고도 벡터의 성분들이고,
    상기 방향 파라미터의 상기 고도 성분 및 상기 방위각 성분을 인덱스 값으로 변환하기 위한 수단은,
    상기 방위각/고도 벡터와 복수의 방위각/고도 코드벡터를 포함하는 벡터 코드북으로부터의 제 1 방위각/고도 코드벡터 사이의 제 1 거리 측정치를 결정하고, 상기 방위각/고도 벡터와 상기 벡터 코드북으로부터의 적어도 제 2 방위각/고도 코드벡터 사이의 적어도 제 2 거리 측정치를 결정하기 위한 수단과,
    상기 제 1 거리 측정치 및 상기 적어도 제 2 거리 측정치로부터 최소 거리 측정치를 선택하는 수단과,
    상기 인덱스 값을 상기 최소 거리 측정치와 연관된 상기 방위각/고도 코드벡터의 인덱스로서 할당하기 위한 수단을 포함하는,
    장치.
  23. 제 22 항에 있어서,
    상기 제 1 거리와 상기 제 2 거리는 각각 구체 상의 두 지점 사이에서 측정된 L2 표준 거리인,
    장치.
  24. 제 16 항 내지 제 21 항 및 제 23 항에 있어서,
    상기 구체는 단일 구체이고, 상기 단일 구체 상의 두 지점 사이의 L2 표준 거리는
    Figure pct00164
    Figure pct00165
    의 형태이고,
    Figure pct00166
    및
    Figure pct00167
    는 상기 두 지점의 제 1 지점 및 제 2 지점에 대한 고도 값이고,
    Figure pct00168
    및
    Figure pct00169
    는 상기 두 지점의 상기 제 1 및 상기 제 2 지점에 대한 방위각 값인,
    장치.
KR1020207032046A 2018-04-09 2019-04-02 공간 오디오 파라미터의 양자화 KR102593235B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1805833.9 2018-04-09
GB1805833.9A GB2572761A (en) 2018-04-09 2018-04-09 Quantization of spatial audio parameters
PCT/FI2019/050264 WO2019197713A1 (en) 2018-04-09 2019-04-02 Quantization of spatial audio parameters

Publications (2)

Publication Number Publication Date
KR20200140874A true KR20200140874A (ko) 2020-12-16
KR102593235B1 KR102593235B1 (ko) 2023-10-23

Family

ID=62202862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207032046A KR102593235B1 (ko) 2018-04-09 2019-04-02 공간 오디오 파라미터의 양자화

Country Status (6)

Country Link
US (1) US11475904B2 (ko)
EP (1) EP3776545B1 (ko)
KR (1) KR102593235B1 (ko)
CN (1) CN112219237A (ko)
GB (1) GB2572761A (ko)
WO (1) WO2019197713A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112997248A (zh) * 2018-10-31 2021-06-18 诺基亚技术有限公司 确定空间音频参数的编码和相关联解码
GB2598773A (en) * 2020-09-14 2022-03-16 Nokia Technologies Oy Quantizing spatial audio parameters
GB2624874A (en) 2022-11-29 2024-06-05 Nokia Technologies Oy Parametric spatial audio encoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2860728A1 (en) * 2013-10-09 2015-04-15 Thomson Licensing Method and apparatus for encoding and for decoding directional side information
WO2017062159A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Quantization of spatial vectors

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192336B1 (en) * 1996-09-30 2001-02-20 Apple Computer, Inc. Method and system for searching for an optimal codevector
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US7933770B2 (en) * 2006-07-14 2011-04-26 Siemens Audiologische Technik Gmbh Method and device for coding audio data based on vector quantisation
WO2009067741A1 (en) 2007-11-27 2009-06-04 Acouity Pty Ltd Bandwidth compression of parametric soundfield representations for transmission and storage
WO2014068167A1 (en) * 2012-10-30 2014-05-08 Nokia Corporation A method and apparatus for resilient vector quantization
EP2923502A4 (en) * 2012-11-20 2016-06-15 Nokia Technologies Oy DEVICE FOR ROOM ENHANCEMENT
US9384741B2 (en) * 2013-05-29 2016-07-05 Qualcomm Incorporated Binauralization of rotated higher order ambisonics
CN104244164A (zh) * 2013-06-18 2014-12-24 杜比实验室特许公司 生成环绕立体声声场
US20150332682A1 (en) * 2014-05-16 2015-11-19 Qualcomm Incorporated Spatial relation coding for higher order ambisonic coefficients
KR20240050436A (ko) * 2014-06-27 2024-04-18 돌비 인터네셔널 에이비 Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 장치
GB2542579A (en) * 2015-09-22 2017-03-29 Gregory Stanier James Spatial audio generator
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
US9800990B1 (en) * 2016-06-10 2017-10-24 C Matter Limited Selecting a location to localize binaural sound
EP3472832A4 (en) * 2016-06-17 2020-03-11 DTS, Inc. DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING
EP3494647B1 (en) * 2016-08-10 2023-04-26 Huawei Technologies Co., Ltd. Unit-norm codebook design and quantization
EP3707706B1 (en) * 2017-11-10 2021-08-04 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
MX2020005045A (es) * 2017-11-17 2020-08-20 Fraunhofer Ges Forschung Aparato y metodo para codificar o decodificar parametros de codificacion de audio direccional utilizando cuantificacion y codificacion entropica.
CN111542877B (zh) 2017-12-28 2023-11-24 诺基亚技术有限公司 空间音频参数编码和相关联的解码的确定
GB2586214A (en) * 2019-07-31 2021-02-17 Nokia Technologies Oy Quantization of spatial audio direction parameters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2860728A1 (en) * 2013-10-09 2015-04-15 Thomson Licensing Method and apparatus for encoding and for decoding directional side information
WO2017062159A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Quantization of spatial vectors

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bertrand Fatus. Parametric Coding for Spatial Audio. Master’s Thesis, KTH, Stockholm, Sweden. 2015.12. *
On spatial metadata for IVAS spatial audio input format, https://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_98/Docs/S4-180462.zip, 2018.04.03.* *
Proposal for MASA format, https://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_102_Bruges/Docs/S4-190121.zip, 2019.01. *

Also Published As

Publication number Publication date
EP3776545B1 (en) 2024-04-17
US11475904B2 (en) 2022-10-18
KR102593235B1 (ko) 2023-10-23
GB201805833D0 (en) 2018-05-23
EP3776545A1 (en) 2021-02-17
US20210020185A1 (en) 2021-01-21
WO2019197713A1 (en) 2019-10-17
CN112219237A (zh) 2021-01-12
GB2572761A (en) 2019-10-16
EP3776545A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
KR102564298B1 (ko) 공간적 오디오 파라미터 인코딩을 위한 양자화 체계의 선택
EP3707706B1 (en) Determination of spatial audio parameter encoding and associated decoding
CN111542877B (zh) 空间音频参数编码和相关联的解码的确定
JP7213364B2 (ja) 空間オーディオパラメータの符号化及び対応する復号の決定
US20240185869A1 (en) Combining spatial audio streams
KR102593235B1 (ko) 공간 오디오 파라미터의 양자화
WO2020016479A1 (en) Sparse quantization of spatial audio parameters
KR20220043159A (ko) 공간 오디오 방향 파라미터의 양자화
JPWO2020089510A5 (ko)
KR102664650B1 (ko) 공간 오디오 파라미터의 유의성의 결정 및 관련 인코딩
CA3208666A1 (en) Transforming spatial audio parameters
CA3237983A1 (en) Spatial audio parameter decoding
CN118251722A (zh) 空间音频参数解码

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant