KR20210102300A - 낮은 차수, 중간 차수 및 높은 차수 컴포넌트 생성기를 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 - Google Patents
낮은 차수, 중간 차수 및 높은 차수 컴포넌트 생성기를 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20210102300A KR20210102300A KR1020217020826A KR20217020826A KR20210102300A KR 20210102300 A KR20210102300 A KR 20210102300A KR 1020217020826 A KR1020217020826 A KR 1020217020826A KR 20217020826 A KR20217020826 A KR 20217020826A KR 20210102300 A KR20210102300 A KR 20210102300A
- Authority
- KR
- South Korea
- Prior art keywords
- component
- directional
- energy
- order
- sound field
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 76
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 title description 29
- 238000009792 diffusion process Methods 0.000 claims abstract description 45
- 238000005259 measurement Methods 0.000 claims abstract description 40
- 238000003786 synthesis reaction Methods 0.000 claims description 42
- 230000015572 biosynthetic process Effects 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000007480 spreading Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 108091006146 Channels Proteins 0.000 description 41
- 230000006870 function Effects 0.000 description 28
- 239000000203 mixture Substances 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 238000002156 mixing Methods 0.000 description 12
- 238000010606 normalization Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- AZUYLZMQTIKGSC-UHFFFAOYSA-N 1-[6-[4-(5-chloro-6-methyl-1H-indazol-4-yl)-5-methyl-3-(1-methylindazol-5-yl)pyrazol-1-yl]-2-azaspiro[3.3]heptan-2-yl]prop-2-en-1-one Chemical compound ClC=1C(=C2C=NNC2=CC=1C)C=1C(=NN(C=1C)C1CC2(CN(C2)C(C=C)=O)C1)C=1C=C2C=NN(C2=CC=1)C AZUYLZMQTIKGSC-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
적어도 두 개의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치에 있어서, 장치는: 입력 신호로부터 방향 데이터 및 확산 데이터를 획득하기 위한 입력 신호 분석기(600); 입력 신호로부터 유도된 전 방향성 컴포넌트에 대한 제1 에너지 또는 에너지 또는 진폭 관련 측정치를 추정하기 위한 및 입력 신호로부터 유도된 방향성 컴포넌트에 대한 제2 에너지 또는 진폭 관련 측정치를 추정하기 위한 추정기(620), 및, 사운드 필드의 사운드 필드 컴포넌트를 생성하기 위한 사운드 필드 컴포넌트 생성기(750) - 사운드 컴포넌트 생성기는 제1 에너지 또는 진폭 관련 측정, 제2 에너지 또는 진폭 관련 측정, 방향 데이터 및 확산 데이터를 사용하여 방향성 컴포넌트의 에너지 보상을 수행하도록 구성됨 - 를 포함한다.
Description
본 발명은 오디오 코딩, 특히 하나 이상의 사운드 컴포넌트 생성기를 사용하여 입력 신호로부터 사운드 필드 디스크립션을 생성하는 것에 관한 것이다.
본 발명은 오디오 코딩, 특히 하나 이상의 사운드 컴포넌트 생성기를 사용하여 입력 신호로부터 사운드 필드 디스크립션을 생성하는 것에 관한 것이다.
본 발명은 오디오 코딩, 특히 하나 이상의 사운드 컴포넌트 생성기(sound component generator)를 사용하여 입력 신호로부터 사운드 필드 디스크립션(sound field description)을 생성하는 것에 관한 것이다.
방향성 오디오 코딩(Directional Audio Coding)(DirAC) 기술 [1]은 공간 사운드(spatial sound)의 분석 및 재생에 대한 효율적인 접근 방식이다. DirAC는 주파수 대역별로 측정된 도착 방향(direction of arrival)(DOA) 및 확산(diffuseness)을 기반으로 사운드 필드(sound field)의 지각 동기 표현을 사용한다. 그것은 한 순간에 그리고 하나의 임계 대역(critical band)에서, 청각 시스템(auditory system)의 공간 해상도(spatial resolution)가 방향에 대한 하나의 큐(cue)를 디코딩 하고 청각 간 일관성(inter-aural coherence)을 위해 다른 큐를 디코딩 하는 것으로 제한된다는 가정에 기반한다. 그런 다음 공간 사운드는 무 방향성 확산 스트림(non-directional diffuse stream)과 방향성 비확산 스트림(directional non-diffuse stream)의 두 스트림을 크로스 페이딩(cross-fading) 하여 주파수 영역에서 표현된다.
DirAC는 원래 녹음된 B 포맷 사운드를 위한 것이지만 5.1 [2]과 같은 특정 라우드 스피커(loudspeaker) 설정이나 마이크 어레이의 모든 구성 [5]과 일치하는 마이크 신호를 위해 확장될 수도 있다. 최근의 경우, 특정 라우드 스피커 설정에 대한 신호가 아니라 중간 포멧(intermediate format)의 신호를 녹음하면 더 많은 유연성을 얻을 수 있다.
실제로 잘 정립된 이러한 중간 포멧은(고 차수) 앰비소닉스(Ambisonics) [3]로 표현된다. 앰비소닉스(Ambisonics) 신호에서 헤드폰 재생을 위한 바이노럴(binaural) 신호를 포함하여 원하는 모든 라우드 스피커 설정의 신호를 생성할 수 있다. 이를 위해서는 선형 앰비소닉스 렌더러(Ambisonics renderer) [3] 또는 방향성 오디오 코딩(Directional Audio Coding)(DirAC)과 같은 파라메트릭 렌더러(parametric renderer)를 사용하여 앰비소닉스 신호에 적용되는 특정 렌더러가 필요하다.
앰비소닉스 신호는 각 채널(앰비소닉스 컴포넌트라고 함)이 소위 공간 기반 함수의 계수와 동일한 다중 채널 신호로 표현될 수 있다. 이러한 공간 기저 함수(spatial basis function)의 가중치 합(weighted sum)(계수에 해당하는 가중치 포함)을 사용하면 녹음 위치에서 원래 사운드 필드를 재현할 수 있다 [3]. 따라서 공간 기저 함수 계수(spatial basis function coefficient)(즉, 앰비소닉스(Ambisonics) 컴포넌트)는 녹음 위치의 사운드 필드에 대한 간략한 디스크립션을 나타낸다. 예를 들어, 구형 고조파(spherical harmonics)(SH) [3] 또는 원통형 고조파(cylindrical harmonic)(CH) [3]와 같은 다양한 유형의 공간 기저 함수가 있다. CH는 2D 공간(예를 들어, 2D 사운드 재생)에서 사운드 필드를 설명할 때 사용할 수 있는 반면 SH는 2D 및 3D 공간에서 사운드 필드를 설명하는 데 사용할 수 있다(예를 들어, 2D 및 3D 사운드 재생).
예로서, 특정 방향(φ, θ)에서 도착하는 오디오 신호 f(t)는 구형 고조파를 절단 차수(truncation order) H까지 확장하여 앰비소닉스(Ambisonics) 포멧으로 표현할 수 있는 공간 오디오 신호 f(φ, θ, t)를 생성한다:
DirAC는 이미 1차 앰비소닉스 신호(FOA는 B 포맷이라고 함) 또는 다른 마이크 어레이에서 높은 차수 앰비소닉스 신호를 전달하기 위해 확장되었다 [5]. 이 문서는 DirAC 파라미터와 레퍼런스 신호(reference signal)에서 높은 차수 앰비소닉스 신호를 합성하는 보다 효율적인 방법에 중점을 둔다. 이 문서에서, 다운 믹스 신호라고도 하는 레퍼런스 신호는 높은 차수 앰비소닉스 신호의 서브 세트 또는 앰비소닉스 컴포넌트의 서브 세트의 선형 조합으로 간주된다.
또한, 본 발명은 오디오 장면의 파라메트릭 형태로 전송을 위해 DirAC를 사용하는 경우를 고려한다. 이 경우 다운 믹스 신호는 기존의 오디오 코어 인코더에 의해 인코딩 되고 DirAC 파라미터는 부가 정보로 압축된 방식으로 전송된다. 본 방법의 장점은 오디오 코딩 중에 발생하는 양자화 오류를 고려하는 것이다.
다음에서, 몰입형 음성 및 오디오 서비스(Immersive Voice and Audio Services)(IVAS) 용으로 설계된 DirAC 기반 공간 오디오 코딩 시스템의 개요가 제공된다. 이것은 DirAC 공간 오디오 코더(Spatial Audio Coder)의 시스템 개요와 같은 다른 컨텍스트 중 하나를 나타낸다. 이러한 시스템의 목적은 오디오 장면을 나타내는 다양한 공간 오디오 포멧을 처리하고 낮은 비트 전송률로 코딩 하고 전송 후 가능한 한 충실하게 원본 오디오 장면을 재생하는 것이다.
시스템은 오디오 장면의 다른 표현을 입력으로 받아들일 수 있다. 입력 오디오 장면(input audio scene)은 상이한 라우드 스피커 위치에서 재생될 목적의 다중 채널 신호(multi-channel signal), 시간에 걸쳐 객체의 위치를 기술하는 메타 데이터에 따르는 청각 객체, 또는 청취자 또는 레퍼런스 위치에서 사운드 필드를 나타내는 1차 또는 높은 차수 앰비소닉스 포멧에 의해 캡처 될 수 있다.
이 솔루션은 모바일 네트워크에서 대화형 서비스를 활성화하기 위해 낮은 지연 시간으로 작동할 것으로 예상되기 때문에 시스템은 3GPP 향상된 음성 서비스(Enhanced Voice Services)(EVS)를 기반으로 하는 것이 좋다.
도 1b와 같이, 인코더(IVAS 인코더)는 시스템에 개별적으로 또는 동시에 제공되는 다양한 오디오 포멧을 지원할 수 있다. 오디오 신호는 본질적으로 음향적이거나 마이크에 의해 포착되거나 본질적으로 전기적 일 수 있으며 이는 라우드 스피커로 전송되어야 한다. 지원되는 오디오 포멧은 다중 채널 신호, 1차 및 상위 앰비소닉스 컴포넌트 및 오디오 개체일 수 있다. 복잡한 오디오 장면은 다양한 입력 포멧을 결합하여 설명할 수도 있다. 그런 다음 모든 오디오 포멧이 DirAC 분석으로 전송되어 전체 오디오 장면의 파라미터 표현을 추출한다. 시간-주파수 단위별로 측정된 도착 방향과 확산이 파라미터를 형성한다. DirAC 분석 다음에는 공간 메타 데이터 인코더가 뒤따라 DirAC 파라미터를 양자화하고 인코딩 하여 낮은 비트율 파라미터 표현을 얻는다.
파라미터와 함께, 다른 소스 또는 오디오 입력 신호에서 유도된 다운 믹스 신호(down-mix signal)는 기존 오디오 코어 코더에 의해 전송되도록 코딩 된다. 이 경우 EVS 기반 오디오 코더가 다운 믹스 신호를 코딩하는 데 채택된다. 다운 믹스 신호는 전송 채널(transport channel)이라고 하는 다수의 채널로 구성된다: 신호는 예를 들어 목표 비트율(targeted bit-rate)에 따라 B 포맷 신호, 스테레오 페어 또는 모노포닉 다운 믹스(monophonic down-mix)를 구성하는 네 개의 계수 신호(coefficient signal)일 수 있다. 코딩 된 공간 파라미터 및 코딩 된 오디오 비트 스트림은 통신 채널을 통해 전송되기 전에 다중화 된다.
다양한 오디오 포멧을 지원하는 DirAC 기반 공간 오디오 코딩의 인코더 측이 도 1b에 나와 있다. 음향/전기 입력(acoustic/electrical input)(1000)이 인코더 인터페이스(encoder interface)(1010)에 입력되고, 인코더 인터페이스에는 1013에 설명된 1차 앰비소닉스(FOA) 또는 높은 차수 앰비소닉스(HOA)에 대한 특정 기능(specific functionality)을 갖는다. 또한, 인코더 인터페이스에는 스테레오 데이터, 5.1 데이터 또는 두 개 또는 다섯 개 이상의 채널을 가진 데이터와 같은 다중 채널(MC) 데이터에 대한 기능을 갖는다. 또한, 인코더 인터페이스(1010)는 예를 들어 1011에 도시된 SAOC(공간 오디오 객체 코딩(spatial audio object coding))와 같은 객체 코딩을 위한 기능을 갖는다. IVAS 인코더는 DirAC 분석 블록(1021) 및 다운 믹스(DMX) 블록(downmix(DMX) block)(1022)을 갖는 DirAC 스테이지(DirAC stage)(1020)를 포함한다. 블록(block)(1022)에 의해 출력된 신호는 AAC 또는 EVS 인코더와 같은 IVAS 코어 인코더(core encoder)(1040)에 의해 인코딩 되고, 블록(1021)에 의해 생성된 메타 데이터는 DirAC 메타 데이터 인코더(metadata encoder)(1030)를 사용하여 인코딩 된다.
도 2에 표시된 디코더에서, 전송 채널(transport channel)은 코어 디코더에 의해 디코 딩되는 반면, DirAC 메타 데이터는 디코딩 된 전송 채널과 함께 DirAC 합성으로 전달되기 전에 먼저 디코딩 된다. 이 단계에서 다른 옵션을 고려할 수 있다. 일반적으로 기존 DirAC 시스템(도 2의 MC)에서 가능한 것처럼 모든 라우드 스피커 또는 헤드폰 구성에서 직접적으로 오디오 장면을 재생하도록 요청할 수 있다.
디코더는 또한 인코더 측에 제시된 개별 객체를 전달할 수 있다(도 2의 객체).
또는 장면의 회전, 반사 또는 이동(도 2의 FOA/HOA)과 같은 다른 추가 조종을 위해 또는 원래 시스템에 정의되지 않은 외부 렌더러를 사용하기 위해 장면을 앰비소닉스 포멧으로 렌더링 하도록 요청될 수도 있다.
상이한 오디오 포맷을 전달하는 DirAC 공간 오디오 코딩의 디코더가 도 2에 예시되어 있고 IVAS 디코더(1045) 및 후속적으로 연결된 디코더 인터페이스(decoder interface)(1046)를 포함한다. IVAS 디코더(1045)는 도 1b의 IVAS 코어 인코더(1040)에 의해 인코딩 된 콘텐츠의 디코딩 동작을 수행하기 위해 구성된 IVAS 코어 디코더(IVAS core encoder)(1060)를 포함한다. 또한, DirAC 메타 데이터 인코더(DirAC metadata encoder)(1030)에 의해 인코딩 된 콘텐츠를 디코딩 하기 위한 디코딩 기능을 전달하는 DirAC 메타 데이터 디코더(DirAC metadata decoder)(1050)가 제공된다. DirAC 합성기(DirAC synthesizer)(1070)는 블록 1050 및 1060으로부터 데이터를 수신하고 일부 사용자 상호 작용을 사용하거나 사용하지 않고, 출력은 1083에 도시된 FOA/HOA 데이터, 블록 1082에 도시된 다중 채널 데이터(multichannel data)(MC 데이터), 또는 블록 1080에 도시된 객체 데이터(object data)를 생성하는 디코더 인터페이스(decoder interface)(1046)로 입력된다.
DirAC 패러다임을 사용하는 기존의 HOA 합성은 도 3에 나와 있다. 다운 믹스 신호라고 하는 입력 신호는 주파수 필터 뱅크에 의해 분석된 시간-주파수이다. 주파수 필터 뱅크(frequency filter bank)(2000)는 복합 값(complex-valued) QMF와 같은 복합 값 필터 뱅크(complex-valued filter-bank) 또는 STFT와 같은 블록 변환 일 수 있다. HOA 합성은(H+1)2 컴포넌트를 포함하는 H 차의 앰비소닉스 신호를 출력에서 생성한다. 선택적으로 특정 라우드 스피커 레이아웃에서 렌더링 된 앰비소닉스 신호를 출력할 수도 있다. 다음에서, 다운 믹스 신호에서(H+1)2 컴포넌트를 얻는 방법에 대해 자세히 설명하겠다.
다운 믹스 신호는 원본 마이크 신호이거나 원본 오디오 장면을 묘사하는 원본 신호의 혼합 일 수 있다. 예를 들면, 오디오 장면이 사운드 필드 마이크로 캡처 된 경우 다운 믹스 신호는 장면의 전 방향성 컴포넌트(omnidirectional component)(W), 스테레오 다운 믹스(L/R) 또는 1차 앰비소닉스 신호(FOA)가 될 수 있다. 각 시간-주파수 타일에 대해, 도착 방향(Direction-of-Arrival)(DOA)이라고도 하는 사운드 방향 및 확산 계수는, 다운 믹스 신호가 이러한 DirAC 파라미터를 결정하기 위한 충분한 정보를 포함하는 경우, 각각 방향 추정기(direction estimator)(2020) 및 확산 추정기(diffuseness estimator)(2010)에 의해 추정된다. 예를 들어 다운 믹스 신호가 1차 앰비소닉스(First Oder Ambisonics)(FOA) 신호인 경우이다. 대안적으로 또는 다운 믹스 신호가 이러한 파라미터를 결정하기에 충분하지 않은 경우, 파라미터는 공간 파라미터를 포함하는 입력 비트 스트림을 통해 DirAC 합성으로 직접 전달될 수 있다. 비트 스트림은 예를 들어 오디오 전송 애플리케이션의 경우 부정보(side-information)로 수신된 양자화 및 코딩 된 파라미터로 구성될 수 있다. 이 경우, 파라미터는 스위치 2030 또는 2040에 설명된 대로 인코더 측의 DirAC 분석 모듈에 제공된 원래 마이크 신호 또는 입력 오디오 포멧에서 DirAC 합성 모듈 외부에서 유도된다.
사운드 방향은 복수의 시간-주파수 타일의 각 시간-주파수 타일에 대해 하나 이상의 세트의(H+1)2 방향성 이득 
를 평가하기 위해 방향성 이득 평가기(directional gains evaluator)(2050)에 의해 사용되고, 여기서 H는 합성된 앰비소닉스 신호의 차수이다.
방향성 이득은 합성할 앰비소닉스 신호의 원하는 차수(레벨) l 및 모드 m에서 각 추정된 사운드 방향에 대한 공간 기반 함수를 평가하여 얻을 수 있다. 사운드 방향은 예를 들어 단위 노름 벡터(unit-norm vector) n(k, n) 또는 방위각 φ(k, n) 및/또는 고도 각 
θ(k, n)의 관점에서 표현될 수 있고, 예를 들면 다음과 같다:
사운드 방향을 추정하거나 얻은 후, 원하는 차수(레벨) l 및 모드 m의 공간 기저 함수(spatial basis function)의 응답은 예를 들어 공간 기저 함수로 SN3D 정규화를 사용하는 실수 값 구형 고조파를 고려하여 결정될 수 있다:
범위는 0 ≤ l ≤ H 및 -l ≤ m ≤ 1이다. 
은 르장드르 함수(Legendre-function)이고 
은 르장드르 함수와 SN3D에 대해 다음 포멧을 취하는 삼각 함수 모두에 대한 정규화 항이다:
여기서 크로네커 델타(Kronecker-delta) δm은 m = 0에 대해 1이고 그렇지 않으면 0이다. 방향성 이득(directional gain)은 각 시간-주파수 인덱스 타일(k, n)에 대해 다음과 같이 직접 추론된다:
다이렉트 사운드 앰비소닉스 컴포넌트(direct sound Ambisonics component) 
은 다운 믹스 신호에서 레퍼런스 신호 P ref 를 유도하고 방향 이득과 확산 Ψ(k, n)의 계수 함수(factor function)를 곱하여 계산된다:
예를 들어, 레퍼런스 신호 Pref는 다운 믹스 신호의 전 방향성 컴포넌트(omnidirectional component)이거나 다운 믹스 신호의 K 채널의 선형 조합 일 수 있다.
확산 사운드 앰비소닉스 컴포넌트(diffuse sound Ambisonics component)는 가능한 모든 방향에서 도착하는 사운드에 대한 공간 기반 함수의 응답을 사용하여 모델링 할 수 있다. 한 가지 예는 가능한 모든 각도 φ 및 θ에 대해 공간 기저 함수 
의 제곱 크기의 적분을 고려하여 평균 응답 
을 정의하는 것이다:
확산 사운드 앰비소닉스 컴포넌트 
은 신호 P diff 에 평균 응답(average response)과 확산 Ψ(k, n)의 계수 함수를 곱하여 계산된다:
신호 
은 레퍼런스 신호 P ref 에 적용된 서로 다른 역 상관기(decorrelator)를 사용하여 얻을 수 있다.
결국, 예를 들어 합산 연산을 통해, 시간-주파수 타일(k, n)에 대해 원하는 차수(레벨) l 및 모드 m의 최종 앰비소닉스 컴포넌트 
을 획득하기 위해 다이렉트 사운드 앰비소닉스 컴포넌트와 확산 사운드 앰비소닉스 컴포넌트가 2060에서 결합되고, 즉,
획득된 앰비소닉스 컴포넌트는 역 필터 뱅크(inverse filter bank)(2080) 또는 역 STFT를 사용하여 시간 도메인으로 다시 변환될 수 있고, 저장, 전송 또는 예를 들어 공간 사운드 재생 애플리케이션에 사용될 수 있다. 대안적으로, 선형 앰비소닉스 렌더러(linear Ambisonics renderer)(2070)는 라우드 스피커 신호 또는 바이노럴 신호를 시간 도메인으로 변환하기 전에 특정 라우드 스피커 레이아웃 또는 헤드폰에서 재생할 신호를 얻기 위해 각 주파수 대역에 적용될 수 있다.
[5]는 또한 확산 사운드 컴포넌트 
이 L < H 인 차수 L까지만 합성될 수 있다는 가능성을 지도했다는 점에 유념한다. 이렇게 하면 역 상관기의 집약적인 사용으로 인한 합성 아티팩트를 피하면서 계산 복잡성이 줄어든다.
본 발명의 목적은 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 개선된 개념을 제공하는 것이다.
이 목적은 청구항 1의 사운드 필드 디스크립션을 생성하는 장치, 청구항 20의 사운드 필드 디스크립션을 생성하는 방법 또는 청구항 21의 컴퓨터 프로그램에 의해 달성된다.
제1 측면에 따른 본 발명은 생성된 모든 컴포넌트에 대해 확산 부분 계산을 포함하는 사운드 필드 컴포넌트 합성을 수행할 필요가 없다는 발견에 기초한다. 특정 차수까지만 확산 컴포넌트 합성을 수행하는 것으로 충분하다. 그럼에도 불구하고 에너지 변동이나 에너지 오류가 발생하지 않도록, 확산 및 방향 컴포넌트(direct component)을 갖는 사운드 필드 컴포넌트의 제1 그룹의 사운드 필드 컴포넌트를 생성할 때 에너지 보상(energy compensation)이 수행되고, 여기서 이 에너지 보상은 확산 데이터, 제2 그룹의 사운드 필드 컴포넌트의 수, 제1 그룹의 사운드 필드 컴포넌트의 최대 차수 및 제2 그룹의 사운드 필드 컴포넌트의 최대 차수 중 적어도 하나에 의존한다. 특히, 본 발명의 제1 측면에 따르면, 하나 이상의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치는 입력 신호로부터 확산 데이터를 획득하기 위한 입력 신호 분석기(input signal analyzer) 및 입력 신호로부터 각각의 사운드 필드 컴포넌트에 대해 방향 컴포넌트 및 확산 컴포넌트를 갖는 사운드 필드 컴포넌트의 제1 그룹의 하나 이상의 사운드 필드 컴포넌트를 생성하기 위한 및 입력 신호로부터 방향 컴포넌트만을 갖는 사운드 필드 컴포넌트의 제2 그룹을 생성하기 위한 사운드 컴포넌트 생성기(sound component generator)를 포함한다. 특히, 사운드 필드 컴포넌트의 제1 그룹을 생성할 때 사운드 컴포넌트 생성기가 에너지 보상을 수행하고, 에너지 보상은 확산 데이터 및 제2 그룹의 사운드 필드 컴포넌트의 수, 제1 그룹의 확산 컴포넌트의 수, 제1 그룹의 사운드 필드 컴포넌트의 최대 차수, 및 제2 그룹의 사운드 필드 컴포넌트의 최대 차수 중 적어도 하나에 의존한다.
제1 그룹의 사운드 필드 컴포넌트는 낮은 차수 사운드 필드 컴포넌트 및 중간 차수 사운드 필드 컴포넌트를 포함할 수 있고, 제2 그룹은 높은 차수 사운드 필드 컴포넌트를 포함한다.
본 발명의 제2 측면에 따라 적어도 두 개의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치는 입력 신호로부터 방향 데이터 및 확산 데이터를 획득하기 위한 입력 신호 분석기를 포함한다. 장치는 또한 입력 신호로부터 유도된 전 방향성 컴포넌트(omni-directional component)에 대한 제1 에너지 또는 진폭 관련 측정치를 추정하고 입력 신호로부터 유도된 방향성 컴포넌트(directional component)에 대한 제2 에너지 또는 진폭 관련 측정치를 추정하기 위한 추정기(estimator)를 포함한다. 또한, 장치는 사운드 필드의 사운드 필드 컴포넌트를 생성하기 위한 사운드 컴포넌트 생성기(sound component generator)를 포함하고, 여기서 사운드 컴포넌트 생성기는 제1 에너지 또는 진폭 관련 측정, 제2 에너지 또는 진폭 관련 측정, 방향 데이터 및 확산 데이터를 사용하여 방향성 컴포넌트의 에너지 보상을 수행하도록 구성된다.
특히, 본 발명의 제2 측면은 상황의 발견에 기초하여, 사운드 필드 디스크립션을 생성하는 장치에 의해 방향성 컴포넌트가 수신되고, 동시에 방향성 데이터 및 확산 데이터도 수신되는 경우, 방향 및 확산 데이터는 양자화 또는 인코더 내의 방향성 또는 전 방향성 컴포넌트의 다른 처리로 인해 발생할 수 있는 오류를 보상하기 위해 활용될 수 있다. 따라서 방향 및 확산 데이터는 그대로 사운드 필드 디스크립션 생성 목적으로 적용되는 것이 아니라, 이 데이터는 실행 취소 또는 적어도 부분적으로 실행 취소하기 위해 방향성 컴포넌트를 수정하기 위해 "두 번째 시기(second time)"로 사용되어 방향성 컴포넌트의 에너지 손실을 보상한다.
바람직하게, 이 에너지 보상은 디코더 인터페이스에서 수신되거나 입력 신호를 생성하는 오디오 인코더로부터 수신된 데이터로부터 생성되는 낮은 차수 컴포넌트에 대해 수행된다.
본 발명의 제3 측면에 따르면, 모노 신호 또는 다중 채널 신호로 구성된 입력 신호를 사용하여 사운드 필드 디스크립션을 생성하는 장치는 입력 신호 분석기(input signal analyzer), 낮은 오디오 컴포넌트 생성기(low-audio component generator), 중간 차수 컴포넌트 생성기(mid-order component generator) 및 높은 차수 컴포넌트 생성기(high-order components generator)를 포함한다. 특히, 서로 다른 "서브" 생성기는 낮은 차수, 중간 차수 또는 높은 차수 컴포넌트 생성기 각각에 대해 상이한 특정 처리 절차에 기초하여 사운드 필드 컴포넌트를 각각의 차수로 생성하도록 구성된다. 이를 통해 한편으로는 처리 요구 사항, 다른 한편으로는 오디오 품질 요구 사항 및 다른 한편으로는 실용성 절차 간에 최적의 절충안이 유지된다. 이 절차를 통해, 예를 들어, 역 상관기의 사용은 중간 차수 컴포넌트 생성으로 만 제한되지만 아티팩트가 발생하기 쉬운 역 상관기는 낮은 차수 컴포넌트 생성 및 높은 차수 컴포넌트 생성이 회피 된다. 반면에, 에너지 보상은 바람직하게는 확산 컴포넌트 에너지의 손실에 대해 수행되고 이 에너지 보상은 낮은 차수 사운드 필드 컴포넌트 내에서만 또는 중간 사운드 필드 컴포넌트 내에서만 또는 낮은 차수 사운드 필드 컴포넌트와 중간 차수 사운드 필드 컴포넌트 모두에서 수행된다. 바람직하게, 낮은 차수 컴포넌트 생성기에서 형성된 방향성 컴포넌트(directional component)에 대한 에너지 보상도 전송된 방향 확산 데이터를 사용하여 수행된다. 바람직한 실시 예는 공간 오디오 처리를 위한 지각적 동기부여(perceptually-motivated) 기술인 방향성 오디오 코딩 패러다임(DirAC)을 사용하여(고 차수) 앰비소닉스 신호를 합성하기 위한 장치, 방법 또는 컴퓨터 프로그램에 관한 것이다.
실시 예는 공간 파라미터 및 다운 믹스 신호로부터 오디오 장면의 앰비소닉스 표현을 합성하기 위한 효율적인 방법에 관한 것이다. 이 방법의 적용에서는 오디오 장면이 전송되고 따라서 전송된 데이터의 양을 줄이기 위해 코딩 된다. 다운 믹스 신호는 전송에 사용할 수 있는 비트 전송률에 따라 채널 수와 품질이 크게 제한된다. 실시 예는 전송된 다운 믹스 신호에 포함된 정보를 활용하여 합성의 복잡성을 감소시키면서 품질을 향상시키는 효과적인 방법에 관한 것이다.
본 발명의 또 다른 실시 예는 인공물을 합성하는 것을 방지하기 위해 합성된 컴포넌트의 미리 결정된 차수까지만 모델링 되도록 제한될 수 있는 사운드 필드의 확산 컴포넌트에 관한 것이다. 실시 예는 다운 믹스 신호를 증폭함으로써 결과적인 에너지 손실을 보상하는 방법을 제공한다.
다른 실시 예는 다운 믹스 신호 내에서 특성이 변경될 수 있는 사운드 필드의 방향성 컴포넌트에 관한 것이다. 다운 믹스 신호는 전송된 방향 파라미터에 의해 지시되는 에너지 관계를 보존하기 위해 추가 에너지 정규화 될 수 있지만, 주입된 양자화 또는 기타 오류에 의해 전송 중에 끊어진다.
이어서, 본 발명의 바람직한 실시 예가 첨부된 도면과 관련하여 설명되고, 여기서:
도 1a는 앰비소닉스 채널/컴포넌트 넘버링이 있는 구형 고조파를 도시한다;
도 1b는 DirAC 기반 공간 오디오 코딩 프로세서의 인코더 측을 도시한다;
도 2는 DirAC 기반 공간 오디오 코딩 프로세서의 디코더를 도시한다;
도 3은 당 업계에 공지된 높은 차수 앰비소닉스 합성 프로세서를 도시한다;
도 4는 제1 측면, 제2 측면 및 제3 측면을 적용하는 본 발명의 바람직한 실시 예를 도시한다;
도 5는 에너지 보상 개요 처리를 도시한다;
도 6은 본 발명의 제1 측면에 따른 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다;
도 7은 본 발명의 제2 측면에 따른 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다;
도 8은 본 발명의 제3 측면에 따른 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다;
도 9는 도 8의 낮은 차수 컴포넌트 생성기의 바람직한 구현을 도시한다;
도 10은 도 8의 중간 차수 컴포넌트 생성기의 바람직한 구현을 도시한다;
도 11은 도 8의 높은 차수 컴포넌트 생성기의 바람직한 구현을 도시한다;
도 12a는 제1 측면에 따른 보상 이득 계산의 바람직한 구현을 도시한다;
도 12b는 제2 측면에 따른 에너지 보상 계산의 구현을 예시한다; 및
도 12c는 제1 측면과 제2 측면을 결합한 에너지 보상의 바람직한 구현을 도시한다.
도 1a는 앰비소닉스 채널/컴포넌트 넘버링이 있는 구형 고조파를 도시한다;
도 1b는 DirAC 기반 공간 오디오 코딩 프로세서의 인코더 측을 도시한다;
도 2는 DirAC 기반 공간 오디오 코딩 프로세서의 디코더를 도시한다;
도 3은 당 업계에 공지된 높은 차수 앰비소닉스 합성 프로세서를 도시한다;
도 4는 제1 측면, 제2 측면 및 제3 측면을 적용하는 본 발명의 바람직한 실시 예를 도시한다;
도 5는 에너지 보상 개요 처리를 도시한다;
도 6은 본 발명의 제1 측면에 따른 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다;
도 7은 본 발명의 제2 측면에 따른 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다;
도 8은 본 발명의 제3 측면에 따른 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다;
도 9는 도 8의 낮은 차수 컴포넌트 생성기의 바람직한 구현을 도시한다;
도 10은 도 8의 중간 차수 컴포넌트 생성기의 바람직한 구현을 도시한다;
도 11은 도 8의 높은 차수 컴포넌트 생성기의 바람직한 구현을 도시한다;
도 12a는 제1 측면에 따른 보상 이득 계산의 바람직한 구현을 도시한다;
도 12b는 제2 측면에 따른 에너지 보상 계산의 구현을 예시한다; 및
도 12c는 제1 측면과 제2 측면을 결합한 에너지 보상의 바람직한 구현을 도시한다.
도 6은 본 발명의 제1 측면에 따른 사운드 필드 디스크립션(sound field description)을 생성하기 위한 장치를 도시한다. 이 장치는 도 6의 좌측에 도시된 입력 신호로부터 확산 데이터를 획득하기 위한 입력 신호 분석기(input signal analyzer)(600)를 포함한다. 또한, 장치는 입력 신호로부터 각각의 사운드 필드 컴포넌트에 대해 방향 컴포넌트 및 확산 컴포넌트를 갖는 제1 그룹의 사운드 필드 컴포넌트의 하나 이상의 사운드 필드 컴포넌트를 생성하기 위한 사운드 컴포넌트 생성기(sound component generator)(650)를 포함한다. 또한, 사운드 컴포넌트 생성기는 입력 신호로부터 방향 컴포넌트만을 갖는 제2 그룹의 사운드 필드 컴포넌트를 생성한다.
특히, 사운드 컴포넌트 생성기(650)는 사운드 필드 컴포넌트의 제1 그룹을 생성할 때 에너지 보상(energy compensation)을 수행하도록 구성된다. 에너지 보상은 확산 데이터와 제2 그룹의 사운드 필드 컴포넌트 수 또는 제1 그룹의 사운드 필드 컴포넌트의 최대 차수 또는 제2 그룹의 사운드 필드 컴포넌트의 최대 차수에 의존한다. 특히, 본 발명의 제1 측면에 따르면, 사운드 필드 컴포넌트의 제2 그룹의 경우 방향 컴포넌트 만 생성되고 어떤 확산 컴포넌트도 생성되지 않기 때문에 에너지 손실을 보상하기 위해 에너지 보상이 수행된다. 반대로, 사운드 필드 컴포넌트의 제1 그룹에서, 방향 및 확산 부분은 사운드 필드 컴포넌트에 포함된다. 따라서, 사운드 컴포넌트 생성기(650)는 상부 어레이에 의해 도시된 바와 같이, 참조 번호 830 및 다른 도면에 도시된 바와 같이 방향 부분만을 갖고 확산 부분이 아닌 사운드 필드 컴포넌트를 생성하고 사운드 컴포넌트 생성기는 다른 도면과 관련하여 나중에 설명되는 참조 번호 810, 820으로 도시된 바와 같이 방향 부분과 확산 부분을 갖는 사운드 필드 컴포넌트를 생성한다.
도 7은 본 발명의 제2 양태에 따라 적어도 2 개의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치를 도시한다. 장치는 입력 신호로부터 방향 데이터 및 확산 데이터를 획득하기 위한 입력 신호 분석기(input signal analyze)(600)를 포함한다. 또한, 추정기(estimator)(720)는 입력 신호로부터 유도된 전 방향성 컴포넌트(omnidirectional component)에 대한 제1 에너지 또는 진폭 관련 측정치를 추정하고 입력 신호로부터 유도된 방향성 컴포넌트에 대한 제2 에너지 또는 진폭 관련 측정치를 추정하기 위해 제공된다.
또한, 사운드 필드 디스크립션 생성 장치는 사운드 필드의 사운드 필드 컴포넌트를 생성하기 위한 사운드 컴포넌트 생성기(sound component generator)(750)를 포함하고, 여기서 사운드 컴포넌트 생성기(750)는 제1 진폭 측정, 제2 에너지 또는 진폭 관련 측정, 방향 데이터 및 확산 데이터를 사용하여 방향성 컴포넌트의 에너지 보상을 수행하도록 구성된다. 그러므로, 사운드 컴포넌트 생성기는, 본 발명의 제2 측면에 따라 보정/보상된 방향성(방향) 컴포넌트 및, 해당하는 경우, 바람직하게는 에너지가 보상되지 않거나, 도 6의 맥락에서 논의된 바와 같이 확산 에너지 보상의 목적을 위해 에너지 만 보상되는 전 방향성 컴포넌트(omnidirectional component)과 같은 입력 신호와 동일한 차수의 다른 컴포넌트를 생성한다. 진폭 관련 측정치는 또한 B0 및 B1과 같은 방향성 또는 전 방향성 컴포넌트의 표준 또는 크기 또는 절대 값일 수 있다는 점에 유의해야 한다. 바람직하게는 2 개의 전력에 의해 유도된 전력 또는 에너지가 식에 요약된 대로 선호되지만, 에너지 또는 진폭 관련 측정치를 얻기 위해 표준 또는 크기 또는 절대 값에 적용된 다른 전력도 사용할 수 있다.
구현에서, 제2 측면에 따른 사운드 필드 디스크립션 생성 장치는 방향성 컴포넌트가 입력 신호에 포함되도록 또는 두 채널 간의 차이를 계산하는 것과 같이 입력 신호로부터 계산될 수 있도록 적어도 2 개의 채널을 포함하는 입력 신호에 포함된 방향성 신호 컴포넌트의 에너지 보상을 수행한다 이 장치는 높은 차수 데이터 등을 생성하지 않고 수정만 수행할 수 있다. 그러나, 다른 실시 예에서, 사운드 컴포넌트 생성기는 나중에 설명되는 참조 번호 820, 830에 의해 도시된 바와 같이 다른 차수로부터 다른 사운드 필드 컴포넌트를 생성하도록 구성되지만, 이들(또는 더 높은 차수) 사운드 컴포넌트에 대해, 입력 신호에 포함된 카운터 파트가 없고, 방향성 컴포넌트 에너지 보상이 반드시 수행되는 것은 아니다.
도 8은 본 발명의 제3 양태에 따른 모노 신호 또는 다중 채널 신호를 포함하는 입력 신호를 사용하여 사운드 필드 디스크립션을 생성하기 위한 장치의 바람직한 구현을 도시한다. 장치는 방향 데이터 및 확산 데이터를 유도하기 위해 입력 신호를 분석하기 위한 입력 신호 분석기(600)를 포함한다. 또한, 장치는 입력 신호로부터 미리 결정된 차수 및 미리 결정된 모드까지 낮은 차수 사운드 필드 디스크립션을 생성하기 위한 낮은 차수 컴포넌트 생성기(low-order components generator)(810)를 포함하고, 여기서 낮은 차수 컴포넌트 생성기(810)는 입력 신호 또는 입력 신호의 일부를 그대로 복사 또는 가져오거나 다음과 같은 경우 입력 신호가 다중 채널 신호일 때 입력 신호가 다중 채널 신호일 때 신호의 채널의 가중 조합을 수행함으로써 낮은 차수 사운드 필드 디스크립션을 유도하도록 구성된다. 또한, 이 장치는 중간 차수 사운드 필드 디스크립션이 방향 기여(direct contribution) 및 확산 기여(diffuse contribution)를 포함하도록 방향 데이터 및 확산 데이터를 사용하는 적어도 하나의 방향 부분 및 적어도 하나의 확산 부분의 합성을 사용하여 미리 결정된 차수 이상 또는 미리 결정된 차수로 및 미리 결정된 모드 이상 및 아래에서 또는 제1 절단 차수에서 중간 차수 사운드 필드 디스크립션을 생성하기 위한 중간 차수 컴포넌트 생성기(820)를 포함한다.
또한, 사운드 필드 디스크립션을 생성하기 위한 장치는 적어도 하나의 방향 부분의 합성을 사용하여 제1 절단 차수 이상의 컴포넌트를 갖는 높은 차수 사운드 필드 디스크립션을 생성하기 위한 높은 차수 컴포넌트 생성기(high-order components generator)(830)를 더 포함하고, 여기서 높은 차수 사운드 필드 디스크립션은 방향 기여(direct contribution)만을 포함한다. 따라서, 일 실시 예에서, 적어도 하나의 방향 부분의 합성은 임의의 확산 컴포넌트 합성없이 수행되므로, 높은 차수 사운드 필드 디스크립션은 방향 기여만을 포함한다.
따라서, 낮은 차수 컴포넌트 생성기(low-order components generato)(810)는 낮은 차수 사운드 필드 디스크립션을 생성하고, 중간 차수 컴포넌트 생성기(mid-order components generator)(820)는 중간 차수 사운드 필드 디스크립션을 생성하고, 높은 차수 컴포넌트 생성기는 높은 차수 사운드 필드 디스크립션을 생성한다. 낮은 차수 사운드 필드 디스크립션(low-order sound field description)은 예를 들어 도 1에 도시된 높은 차수 앰비소닉스 구형 컴포넌트의 맥락에서 특정 차수 및 모드까지 확장된다. 그러나, 원주 함수(cylindrical function)가 있는 사운드 필드 디스크립션 또는 앰비소닉스 표현과 상이한 다른 컴포넌트가 있는 사운드 필드 디스크립션과 같은 다른 사운드 필드 디스크립션도 본 발명의 제1, 제2 및/또는 제3 측면에 따라 생성될 수 있다. 중간 차수 컴포넌트 생성기(mid-order components generator)(820)는 미리 결정된 차수 또는 모드 이상으로 다음 설명에서 L로 또한 표시되는 특정 절단 차수까지 사운드 필드 컴포넌트를 생성한다. 마지막으로, 높은 차수 컴포넌트 생성기(high-order component)(830)는 절단 차수 L에서 다음 설명에서 H로 표시된 최대 차수까지 사운드 필드 컴포넌트 생성을 적용하도록 구성된다.
구현에 따라, 도 6의 사운드 컴포넌트 생성기(650)에 의해 제공되는 에너지 보상은 방향/확산 사운드 컴포넌트에 대해 도 6에서 대응하는 참조 번호로 도시된 바와 같이 낮은 차수 컴포넌트 생성기(810) 또는 중간 차수 컴포넌트 생성기(820) 내에서 적용될 수 없다. 또한, 사운드 필드 컴포넌트 생성기(650)에 의해 생성된 사운드 필드 컴포넌트에 의해 생성된 제2 그룹의 사운드 필드 컴포넌트는 도 6의 방향/비확산 표기 아래에 참조 번호 830으로 도시된 도 8의 높은 차수 컴포넌트 생성기(830)의 출력에 대응한다.
도 7과 관련하여, 방향성 컴포넌트 에너지 보상은 바람직하게는 도 8에 도시된 낮은 차수 컴포넌트 생성기(810) 내에서 수행되는, 즉, 블록 750에서 나가는 위쪽 화살표 위의 참조 번호 810에 의해 도시된 바와 같이 미리 결정된 차수 및 미리 결정된 모드까지 일부 또는 모든 사운드 필드 컴포넌트에 대해 수행된다는 것을 나타낸다. 중간 차수 컴포넌트 및 높은 차수 컴포넌트의 생성은 상부 화살표 아래에 표시된 참조 번호 820, 830에 의해 도시된 바와 같이 도 7의 블록 750에서 나가는 파선 화살표에서 도시된다. 그러므로, 중간 차수 컴포넌트 생성기는 출력 신호에서 더 높은 확산 컴포넌트 에너지 버짓을 갖기 위해 에너지와 관련하여 강화될 수 있는 확산 부분을 갖는 출력 데이터를 생성하기 때문에, 중간 차수 컴포넌트 생성기(820)는 확산 컴포넌트 보상만을 수행할 수 있지만, 도 8의 낮은 차수 컴포넌트 생성기(810)는 제1 측면에 따른 확산 에너지 보상 및 제2 측면에 따른 방향성(방향) 신호 보상을 적용할 수 있다.
이어서, 사운드 필드 디스크립션을 생성하기 위한 하나의 장치 내에서 본 발명의 제1 측면, 제2 측면 및 제3 측면의 구현을 예시하는 도 4를 참조한다.
도 4는 입력 분석기(input analyzer)(600)를 도시한다. 입력 분석기(600)는 방향 추정기(direction estimator)(610), 확산 추정기(diffuseness estimator)(620) 및 스위치(switch)(630, 640)를 포함한다. 입력 신호 분석기(600)는 DOA 및/또는 확산 정보로 표시된 각각의 시간/주파수 빈 방향 정보에 대해 찾기 위해 일반적으로 분석 필터 뱅크(400)에 이어 입력 신호를 분석하도록 구성된다. 방향 정보 DOA 및/또는 확산 정보는 또한 비트 스트림에서 유래할 수 있다. 따라서, 입력 신호에서 이 데이터를 검색할 수 없는 상황, 즉 입력 신호에 전 방향성 컴포넌트 W 만 있는 경우, 입력 신호 분석기는 비트 스트림에서 방향 데이터 및/또는 확산 데이터를 검색한다. 예를 들어, 입력 신호가 좌측 채널 L과 우측 채널 R을 갖는 2 채널 신호 인 경우, 방향 및/또는 확산 데이터를 얻기 위해 분석을 수행할 수 있다.
입력 신호가 1차 앰비소닉스 신호(FOA)이거나 A 포맷 신호 또는 B 포맷 신호와 같이 두 개 이상의 채널이 있는 다른 신호 인 경우, 블록 610 또는 620에서 수행된 실제 신호 분석이 수행될 수 있다. 그러나, 비트 스트림에서 검색하기 위해 비트 스트림을 분석하면, 방향 데이터 및/또는 확산 데이터, 이것은 또한 입력 신호 분석기(600)에 의해 수행되는 분석을 나타내지 만 다른 경우와 같이 실제 신호 분석이 없다. 후자의 경우에, 분석은 비트 스트림에서 수행되며 입력 신호는 다운 믹스 신호와 비트 스트림 데이터로 구성된다.
또한, 도 4에 도시된 사운드 필드 디스크립션을 생성하기 위한 장치는 방향성 이득 계산 블록(directional gains computation block)(410), 스플리터(splitte)(420), 결합기(combiner)(430), 디코더(decoder)(440) 및 합성 필터 뱅크(synthesis filter bank)(450)를 포함한다. 합성 필터 뱅크(450)는 높은 차수 앰비소닉스 표현에 대한 데이터 또는 헤드폰에 의해 재생될 신호, 즉 바이노럴 신호 또는 일반적으로 특정 라우드 스피커 설정과 무관한 사운드 필드 디스크립션에서 특정 라우드 스피커 설정에 적응된 다중 채널 시그널링을 나타내는 특정 라우드 스피커 설정에 배치된 라우드 스피커에 의해 재생될 신호를 수신한다.
또한, 사운드 필드 디스크립션을 생성하기 위한 장치는 일반적으로 "낮은 차수 컴포넌트 생성" 블록 및 "낮은 차수 컴포넌트 혼합" 블록을 포함하는 낮은 차수 컴포넌트 생성기(810)로 구성된 사운드 컴포넌트 생성기를 포함한다. 또한, 생성된 레퍼런스 신호 블록(reference signal block)(821), 역 상관기(decorrelator)(823, 824) 및 혼합 중간 차수 컴포넌트 블록(mixing mid-order components block)(825)으로 구성된 중간 차수 컴포넌트 생성기(820)가 제공된다. 또한, 높은 차수 컴포넌트 혼합 블록(822)을 포함하는 높은 차수 컴포넌트 생성기(830)도 도 4에 제공된다. 또한, 참조 번호 910, 920, 930, 940에 도시된(확산) 보상 이득 계산 블록이 제공된다. 참조 번호 910 내지 940은 도 12a 내지 12c를 참조하여 더 설명된다.
도 4에는 설명되어 있지 않지만, 적어도 확산 신호 에너지 보상은 도 4에 명시적으로 도시된 바와 같이 낮은 차수에 대한 사운드 컴포넌트 생성기에서 수행될뿐만 아니라, 이 에너지 보상은 또한 중간 차수 컴포넌트 혼합기(825)에서 수행될 수 있다.
또한, 도 4는 전체 처리가 분석 필터 뱅크(400)에 의해 생성된 개별 시간/주파수 타일에 대해 수행되는 상황을 예시한다. 따라서 각 시간/주파수 타일에 대해, 특정 DOA 값, 특정 확산 값 및 이러한 값을 적용하고 다른 보상을 적용하기 위한 특정 처리가 수행된다. 또한, 사운드 필드 컴포넌트는 또한 개별 시간/주파수 타일에 대해 생성/합성되며 결합기(430)에 의해 수행되는 조합은 또한 각 개별 시간/주파수 타일에 대한 시간/주파수 도메인 내에서 발생한다. 또한, HOA 디코더(HOA decoder)(440)의 절차는 시간/주파수 영역에서 수행되고, 그 다음, 필터 뱅크 합성(450)은 헤드폰에 대한 전체 대역폭 바이노럴 신호 또는 특정 라우드 스피커 설정의 라우드 스피커에 대한 전체 대역폭 라우드 스피커 신호를 사용하여 전체 대역폭 HOA 컴포넌트를 갖는 전체 주파수 대역에 대한 시간 도메인 신호를 생성한다.
본 발명의 실시 예는 두 가지 주요 원리를 이용한다:
o 모노 다운 믹스의 경우 다운 믹스는 일반적으로 앰비소닉스 신호의 전 방향성 컴포넌트 W를 나타낸다.
o 스테레오 다운 믹스의 경우 왼쪽(L) 및 오른쪽(R) 채널을 앰비소닉스 컴포넌트 W 및 Y로 쉽게 변환할 수 있다.
o FOA 다운 믹스의 경우 차수 1의 앰비소닉스 컴포넌트를 이미 사용할 수 있다. 대안적으로, FOA는 예를 들어 A 포맷 인 4 채널 다운 믹스 신호 DMX의 선형 조합에서 복구할 수 있다:
및
이 두 가지 원칙에 대해 두 가지 개선 사항을 적용할 수도 있다:
H 차까지 확산 사운드 앰비소닉스 컴포넌트를 모델링 하지 않아 에너지 손실은 다운 믹스 신호에서 추출된 K 개의 낮은 차수 앰비소닉스 컴포넌트를 증폭하여 보상할 수 있다. 다운 믹스 신호가 손실 코딩 된 전송 애플리케이션에서 전송된 다운 믹스 신호는 다운 믹스 신호에서 추출된 K 개의 낮은 차수 앰비소닉스 컴포넌트의 에너지 관계를 제한함으로써 완화될 수 있는 양자화 오류에 의해 손상된다.
도 4는 새로운 방법의 실시 예를 예시한다. 도 3에 도시된 상태와의 한 가지 차이는 합성되는 앰비소닉스 컴포넌트의 차수에 따라 상이한 믹싱 프로세스의 차별화이다. 낮은 차수의 컴포넌트는 주로 다운 믹스 신호에서 직접적으로 추출된 낮은 차수 컴포넌트로부터 결정된다. 낮은 차수 컴포넌트의 혼합은 추출된 컴포넌트를 출력에 직접적으로 복사하는 것처럼 간단할 수 있다.
그러나, 바람직한 실시 예에서, 추출된 컴포넌트는 에너지 보상, 확산 및 절단 차수 L 및 H의 함수를 적용하거나, 또는 에너지 정규화, 확산 및 사운드 방향의 함수를 적용하거나, 또는 둘 모두 적용함으로써 추가로 처리된다.
중간 차수 컴포넌트의 혼합은 실제로 최첨단 방법과 유사하고(선택적 확산 보정 제외), 절단 차수 L까지 방향 및 확산 사운드 앰비소닉스 컴포넌트를 생성하고 결합하지만 낮은 차수 컴포넌트의 혼합으로 이미 합성된 K 낮은 차수 컴포넌트는 무시한다. 높은 차수 컴포넌트의 믹싱은 나머지(H-L+1)2 앰비소닉스 컴포넌트를 절단 차수 H까지 생성하지만 방향 사운드에 대해서만 생성하고 확산 사운드를 무시하는 것으로 구성된다. 다음에서는 낮은 차수 컴포넌트의 혼합 또는 생성에 대해 자세히 설명한다.
제1 측면은 제1 측면에 대한 처리 개요를 제공하는 도 6에 일반적으로 도시된 에너지 보상에 관한 것이다. 원리는 일반성을 잃지 않고 K =(L + 1)2의 특정 경우에 대해 설명된다.
도 5는 처리의 개요를 보여준다. 입력 벡터 
은 절단 차수 L의 물리적으로 올바른 앰비소닉스 신호이다. 여기에는 Bm,l로 표시되는(L+1)2 계수가 포함되고, 여기서 0 ≤ l ≤ L은 계수의 차수이고 -l ≤ m ≤ l은 모드이다. 일반적으로 앰비소닉스 신호 
은 시간-주파수 영역으로 표시된다.
HOA 합성 블록(820, 830)에서, 앰비소닉스 계수는 
에서 최대 차수 H까지 합성되고, 여기서 H > L이고, 결과 벡터 
는 Ym,l로 표시되는 L < 1 ≤ H 차수의 합성 계수를 포함한다. HOA 합성은 일반적으로 확산 Ψ(또는 유사한 측정치)에 따라 달라지며, 이는 현재 시간-주파수 지점에 대한 사운드 필드가 얼마나 확산되는지를 설명한다. 일반적으로 
의 계수는 사운드 필드가 확산되지 않는 경우에만 합성되는 반면, 확산 상황에서는 계수가 0이 된다. 이렇게 하면 확산 상황에서 아티팩트가 방지되지만 에너지 손실도 발생한다. HOA 합성에 대한 자세한 내용은 나중에 설명한다.
위에서 언급한 확산 상황에서 에너지 손실을 보상하기 위해, 에너지 보상 블록 650, 750에서 
에 에너지 보상을 적용한다. 결과 신호는 
로 표시되고 
과 동일한 최대 차수 L을 갖는다. 에너지 보상은 확산(또는 유사한 측정)에 따라 달라지며 
의 계수 에너지 손실이 보상되도록 확산 상황에서 계수의 에너지를 증가시킨다. 자세한 내용은 나중에 설명한다.
조합 블록에서 
의 에너지 보상된 계수(energy compensated coefficient)는 모든(H+1) 2 계수를 포함하는 출력 앰비소닉스 신호 
를 획득하기 위해 
의 합성 계수와 결합된다(430).
그후, HOA 합성이 일 실시 예로 설명된다. 
에서 HOA 계수를 합성하는 몇 가지 최신 접근 방식이 있고, 예를 들어 공분산 기반 렌더링(covariance-based rendering) 또는 방향성 오디오 코딩(Directional Audio Codin)(DirAC)을 사용한 방향 렌더링이 있다. 가장 간단한 경우, 
의 계수는 
의 전 방향성 컴포넌트 
에서 다음을 사용하여 합성된다.
[20]
여기서, (φ, θ)는 사운드의 도착 방향(DOA)이고, 
은 차수 l 및 모드 m의 앰비소닉스 계수에 해당하는 이득이다. 일반적으로 
는 DOA(φ, θ)에서 평가된, 차수 l 및 모드 m의 잘 알려진 구형 고조파 함수의 실수 값 방향성 패턴에 해당한다. 확산 Ψ는 사운드 필드가 비확산이면 0이되고 사운드 필드가 확산이면 1이 된다. 결과적으로, 차수 L 이상으로 계산된 계수 
은 확산 기록 상황에서 0이 된다. 파라미터 φ, θ 및 Ψ는 원래 DirAC 논문에 설명된 대로 활성 사운드 강도 벡터를 기반으로 1차 앰비소닉스 신호 
에서 추정할 수 있다.
이어서 확산 사운드 컴포넌트의 에너지 보상에 대해 설명한다. 에너지 보상을 유도하기 위해 사운드 필드가 방향 사운드 컴포넌트와 확산 사운드 컴포넌트로 구성되는 일반적인 사운드 필드 모델을 고려한다. 즉, 전 방향성 신호를 다음과 같이 쓸 수 있다.
여기서 P s 는 방향 사운드(예를 들어, 평면파)이고 Pd는 확산 사운드이다. 이 사운드 필드 모델과 앰비소닉스 계수의 SN3D 정규화를 가정하면 물리적으로 올바른 계수 B m,l 의 예상 전력(expected power)은 다음과 같다.
여기서, 
는 방향 사운드의 전력이고 
는 확산 사운드의 전력이다. 또한, Ql은 Ql = 1/N로 주어진 l차 계수의 방향성 계수(directivity factor)이고, 여기서 N = 2l + 1은 차수 l 당 계수 수이다. 에너지 보상을 계산하려면, DOA(φ, θ)(보다 정확한 에너지 보상)를 고려하거나(φ, θ)가 균일하게 분포된 랜덤 변수(보다 실용적인 접근 방식)라고 가정할 수 있다. 후자의 경우 
의 예상 전력은 다음과 같다.
다음에서, 
는 최대 차수 H의 물리적으로 정확한 앰비소닉스 신호를 나타낸다. 위의 식을 사용하여 
의 총 예상 전력은 다음과 같다.
마찬가지로, 공통 확산 정의(common diffuseness definition) 
를 사용할 때, 합성된 앰비소닉스 신호 
의 총 예상 전력은 다음과 같다.
에너지 보상은 계수 g를 
에 곱하여 수행된다.
출력 앰비소닉스 신호 
의 총 예상 전력은 다음과 같다.
이것은 다음과 같이 단순화될 수 있다.
여기서 Ψ는 확산(diffuseness), L은 입력 앰비소닉스 신호의 최대 차수, H는 출력 앰비소닉스 신호의 최대 차수이다.
(L+1)2-K 확산 사운드 앰비소닉스 컴포넌트가 역 상관기와 평균 확산 응답을 사용하여 합성되는 K <(L+1)2에 대해서도 동일한 원리를 채택할 수 있다. 어떤 경우에, K <(L+1)2 및 확산 사운드 컴포넌트가 합성되지 않는다. 절대 위상(absolute phase)이 들리지 않고 역 상관기의 사용이 무관한 고주파의 경우 특히 그렇다. 그런 다음 확산 사운드 컴포넌트는 차수 Lk 및 K 개의 낮은 차수 컴포넌트에 해당하는 모드 수 mk를 계산하여 에너지 보상에 의해 모델링 될 수 있고, 여기서 K는 제1 그룹의 확산 컴포넌트 수를 나타낸다.
보상 이득은 다음과 같다:
그후, 도 7에 일반적으로 도시된 제2 측면에 대응하는 방향 사운드 컴포넌트의 에너지 정규화의 실시 예가 도시된다. 위에서, 입력 벡터 
은 최대 차수 L의 물리적으로 정확한 앰비소닉스 신호로 가정되었다. 그러나, 다운 믹스 입력 신호는 양자화 오류의 영향을 받아 에너지 관계를 깨뜨릴 수 있다. 이 관계는 다운 믹스 입력 신호를 정규화하여 복원할 수 있다.
사운드의 방향과 확산 파라미터가 주어지면 방향 및 확산 컴포넌트는 다음과 같이 표현할 수 있다.
모델에 따른 예상 전력은 
의 각 컴포넌트에 대해 다음과 같이 표현할 수 있다.
보상 이득은 다음과 같다:
여기서 0 ≤ l ≤ L 및 -l ≤ m ≤ l이다.
또는 모델에 따른 예상 전력은 
의 각 컴포넌트에 대해 다음과 같이 표현할 수 있다:
보상 이득은 다음과 같다:
여기서 0 ≤ l ≤ L 및 -l ≤ m ≤ l이다.
확산 사운드 컴포넌트의 에너지 보상과 방향 사운드 컴포넌트의 에너지 정규화는 다음 포멧의 이득을 적용하여 공동으로 달성할 수 있다:
g
s,d
= g.g
s
실제 구현에서, 획득된 정규화 이득, 보상 이득 또는 둘의 조합은 오디오 인공물로 이어질 수 있는 심각한 등화를 초래하는 큰 이득 계수를 피하기 위해 제한될 수 있다. 예를 들어 게인은 -6 ~ +6dB로 제한할 수 있다. 또한, 이득은 갑작스러운 변화를 피하고 안정화 프로세스를 위해 시간 및/또는 빈도(이동 평균 또는 반복 평균에 의해)에 따라 평활화 될 수 있다.
그후, 최신 기술에 비해 바람직한 실시 예의 이점 및 이점 중 일부가 요약될 것이다.
o 모든 앰비소닉스 컴포넌트를 완전히 합성하지 않고도 보다 직접적인 합성.
o 필요한 역 상관기의 수와 최종 품질에 미치는 영향의 감소.
그후, 설명에 부분적으로 또는 완전히 포함된 몇몇 발명적 측면은 서로 독립적으로 또는 서로 조합하여 사용될 수 있거나, 세 가지 측면에서 임의로 선택된 두 가지 측면만을 조합하여 특정 조합으로 만 사용될 수 있는 것으로 요약된다.
제1 측면: 확산 사운드 컴포넌트에 대한 에너지 보상
본 발명은 하나 이상의 신호 컴포넌트를 포함하는 입력 신호로부터 사운드 필드 디스크립션이 생성될 때, 입력 신호에 의해 표현되는 사운드 필드에 대한 적어도 확산 데이터를 얻기 위해 입력 신호가 분석될 수 있다.
예를 들어, 입력 신호가 B 포맷 표현 또는 A 포맷 표현과 같은 완전한 1차 표현과 같은 2 개, 3 개 또는 그 이상의 신호 컴포넌트를 가질 때, 입력 신호 분석은 하나 이상의 신호 컴포넌트에 대한 메타 데이터로 연결된 확산 데이터의 추출 일 수 있고, 또는 입력 신호 분석은 실제 신호 분석 일 수 있다.
이제, 방향 컴포넌트와 확산 컴포넌트가 있는 제1 그룹의 하나 이상의 사운드 필드 컴포넌트를 생성하는 사운드 컴포넌트 생성기가 있다. 그리고, 추가적으로, 제2 그룹의 하나 이상의 사운드 필드 컴포넌트가 생성되며, 여기서 이러한 제2 그룹에 대해 사운드 필드 컴포넌트는 방향 컴포넌트만을 갖는다.
전체 사운드 필드 생성과 달리, 현재 프레임 또는 고려중인 현재 시간/주파수 빈의 확산 값이 0과 다른 값을 갖는 경우 에너지 오류가 발생한다.
이 에너지 오류를 보상하기 위해, 에너지 보상은 사운드 필드 컴포넌트의 제1 그룹을 생성할 때 수행된다. 이 에너지 보상은 제2 그룹에 대한 확산 컴포넌트의 비 합성으로 인한 에너지 손실을 나타내는 제2 그룹의 확산 데이터 및 사운드 필드 컴포넌트의 수에 따라 달라진다.
일 구체 예에서, 제1 그룹에 대한 사운드 컴포넌트 생성기는 도 4의 낮은 차수 분기 일 수 있으며, 이는 복사 또는 가중치 추가를 통해 즉, 복잡한 공간 기반 함수 평가를 수행하지 않고 제1 그룹의 사운드 필드 컴포넌트를 추출한다. 그러므로, 제1 그룹의 사운드 필드 컴포넌트는 방향 부분과 확산 부분으로 별도로 사용할 수 없다. 그러나 에너지와 관련하여 제1 그룹의 전체 사운드 필드 컴포넌트를 늘리면 자동으로 확산 부분의 에너지가 증가한다.
대안적으로, 제1 그룹의 하나 이상의 사운드 필드 컴포넌트에 대한 사운드 컴포넌트 생성기는 별도의 방향 부분 합성 및 확산 부분 합성에 의존하는 도 4의 중간 차수 분기 일 수도 있다. 여기에서는 분산 부분을 별도로 사용할 수 있으며 일 실시 예에서, 제2 그룹으로 인한 에너지 손실을 보상하기 위해 사운드 필드 컴포넌트의 확산 부분은 증가하지만 방향 부분은 증가하지 않는다. 그러나, 또는, 이 경우 방향 부분과 확산 부분을 결합한 후 결과 사운드 필드 컴포넌트의 에너지를 증가시킬 수 있다.
대안적으로, 제1 그룹의 하나 이상의 사운드 필드 컴포넌트에 대한 사운드 컴포넌트 생성기는 도 4의 낮은 차수 및 중간 차수 컴포넌트 분기 일 수도 있다. 그런 다음 에너지 보상은 낮은 차수 컴포넌트에만 적용하거나 낮은 차수 및 중간 차수 컴포넌트 모두에 적용할 수 있다.
제2 측면: 방향 사운드 컴포넌트의 에너지 정규화
본 발명에서, 하나는 두 개 이상의 사운드 컴포넌트를 가진 입력 신호의 생성에 일종의 양자화가 수반된다는 가정에서 시작된다. 일반적으로 둘 이상의 사운드 컴포넌트를 고려할 때, 입력 신호의 한 가지 사운드 컴포넌트는 B 포멧 표현의 전 방향성마이크 신호 W와 같은 전 방향성 신호일 수 있고, 다른 사운드 컴포넌트는 B 포맷 표현, 즉 1차 앰비소닉스 표현의 8 자형 마이크 신호 X, Y, Z와 같은 개별 방향성 신호일 수 있다.
신호 인코더가 완벽한 인코딩 작업을 수행하기에는 비트 전송률 요구 사항이 너무 높은 상황이 발생하면, 일반적인 절차는 인코더가 전 방향성 신호를 최대한 정확하게 인코딩 하는 것이다. 그러나 인코더는 방향성 컴포넌트에 대해 더 적은 수의 비트 만 소비하는데, 이는 너무 낮아서 하나 이상의 방향성 컴포넌트가 완전히 0으로 줄어들 수 있다. 이것은 방향 정보의 에너지 불일치 및 손실을 나타낸다.
그럼에도 불구하고, 예를 들어 특정 프레임 또는 시간/주파수 빈이 특정 확산가 1보다 낮고 사운드 방향이 있다는 명시적 파라메트릭 부가 정보를 가져야하는 요구 사항이 있다. 그러므로, 파라메트릭 데이터에 따라 특정 방향을 가진 특정 비확산 컴포넌트가 있는 반면, 다른 쪽에서는 전송된 전 방향성 신호와 방향 신호가 이 방향을 반영하지 않는 상황이 발생할 수 있다. 예를 들면, 전 방향성 신호는 정보의 큰 손실없이 전송될 수 있는 반면, 왼쪽 및 오른쪽 방향을 담당하는 방향 신호 Y는 비트 부족으로 인해 0으로 설정될 수 있다. 이 시나리오에서는 원래 오디오 장면에서 방향 사운드 컴포넌트가 왼쪽에서 나오는 경우에도, 전송된 신호는 좌우 방향 특성 없이 오디오 장면을 반영한다.
따라서, 제2 발명에 따르면, 입력 신호에 명시적으로 포함되거나 입력 신호 자체에서 유도되는 방향/확산 데이터의 도움으로 에너지 관계의 단절을 보상하기 위해 방향 사운드 컴포넌트에 대해 에너지 정규화가 수행된다.
이 에너지 정규화는 도 4의 모든 개별 처리 분기의 맥락에서 전체적으로 또는 개별적으로 만 적용될 수 있다.
본 발명은 입력 신호로부터 수신되거나 입력 신호의 손상되지 않은 부분으로부터 유도된 추가 파라메트릭 데이터를 사용할 수 있도록 하며, 따라서 입력 신호에서 유도된 추가 방향 데이터 및 확산 데이터를 사용하여 어떤 이유로 입력 신호에 포함되는 인코딩 오류를 줄일 수 있다.
본 발명에서, 입력 신호에서 유도된 전 방향성 컴포넌트에 대한 에너지 또는 진폭 관련 측정치와 입력 신호에서 유도된 방향성 컴포넌트에 대한 추가 에너지 또는 진폭 관련 측정치가 추정되고 방향 데이터 및 확산 데이터와 함께 에너지 보상에 사용된다. 이러한 에너지 또는 진폭 관련 측정치는 진폭 자체 또는, 즉, 제곱 된 및 추가된 진폭의, 전력일 수 있거나 또는 전력과 같은 에너지에 특정 시간을 곱한 것이거나 또는 진폭에 대한 지수가 1과 상이하고 후속 합산이 있는 진폭에서 유도된 다른 측정치일 수 있다. 따라서, 추가 에너지 또는 진폭 관련 측정치는 지수가 2 인 전력에 비교한 지수가 3 인 음량(loudness) 일 수도 있다.
제3 측면: 상이한 차수에 대한 상이한 처리 절차를 갖는 시스템 구현
도 4에 도시된, 제2 발명에서, 사운드 필드는 2 개 이상의 신호 컴포넌트를 갖는 모노 신호 또는 다중 컴포넌트 신호를 포함하는 입력 신호를 사용하여 생성된다. 신호 분석기는 입력 신호에 두 개 이상의 신호 컴포넌트가 있는 경우 명시적 신호 분석을 통해 또는 입력 신호를 분석하여 입력 신호에서 메타 데이터로 입력 신호에 포함된 방향 데이터와 확산 데이터를 유도한다.
낮은 차수 컴포넌트 생성기는 입력 신호에서 미리 결정된 차수까지 낮은 차수 사운드 디스크립션을 생성하고 입력 신호에서 신호 컴포넌트를 복사하거나 입력 신호에서 컴포넌트의 가중치 조합을 수행하여 입력 신호에서 추출할 수 있는 사용 가능한 모드에 대해이 작업을 수행한다.
중간 차수 컴포넌트 생성기는 분석기에서 획득된 방향 데이터 및 확산 데이터를 사용하여 하나 이상의 방향 컴포넌트의 합성 및 하나 이상의 확산 컴포넌트의 합성을 사용하여 중간 차수 사운드 디스크립션이 방향 기여와 확산 기여를 포함하도록 미리 결정된 차수를 초과하거나 미리 결정된 차수 및 미리 결정된 모드를 초과하고 제1 절단 차수보다 낮거나 같은 차수의 컴포넌트를 갖는 중간 차수 사운드 디스크립션을 생성한다.
또한, 높은 차수 컴포넌트 생성기는 높은 차수 사운드 디스크립션이 방향 기여만을 갖도록 어떤 확산 컴포넌트 합성없이 하나 이상의 방향 컴포넌트 합성을 사용하여 제1 절단 차수보다 높고 제2 절단 차수보다 낮거나 같은 차수의 컴포넌트를 갖는 높은 차수 사운드 디스크립션을 생성한다.
이 시스템 발명은 입력 신호에 포함된 정보를 최대한 활용하여 가능한 한 정확한 낮은 차수 사운드 필드 생성이 이루어지면서 동시에 복사 작업 또는 가중치 추가와 같은 가중치 추가 작업 만 필요하기 때문에 적은 노력이 요구되는 낮은 차수 사운드 디스크립션를 수행하는 처리 작업을 수행한다는 점에서 상당한 이점이 있다. 따라서 최소한의 처리 능력으로 고품질의 낮은 차수 사운드 디스크립션이 수행된다.
중간 차수 사운드 디스크립션은 더 많은 처리 능력을 필요로 하지만, 일반적으로 어떤 차수, 즉, 지각적 관점에서 사운드 필드 디스크립션에서 확산 기여를 여전히 필요로 하는 그 아래 차수보다 높은 차수까지 분석된 방향 데이터 및 확산 데이터를 사용하여 방향 및 확산 기여를 갖는 매우 정확한 중간 차수 사운드 디스크립션을 생성하게 된다.
결국, 높은 차수 컴포넌트 생성기는 확산 합성을 수행하지 않고 방향 합성을 수행하는 것만으로 높은 차수 사운드 디스크립션을 생성한다. 이것은 다시 한번, 방향 컴포넌트 만 생성되기 때문에 필요한 처리 능력의 양을 줄이면서 동시에 확산 합성의 생략이 지각적 관점에서 그다지 문제가 되지 않는다.
당연히, 어떤 이유로 높은 차수 컴포넌트 생성기로 확산 합성을 수행하지 않은 것에 대한 보상이 적용되지 않는 경우에도, 제3 발명은 제1 발명 및/또는 제2 발명과 결합될 수 있지만, 그럼에도 불구하고 이 절차는 한편으로는 처리 능력과 다른 한편으로는 오디오 품질 사이에 최적의 절충안을 제공한다. 입력 신호 생성에 사용되는 인코딩을 보상하는 낮은 차수 에너지 정규화를 수행하는 경우에도 마찬가지이다. 일 실시 예에서, 이 보상은 추가로 수행되지만 이 보상이 없어도 중요한 작은 이점을 얻을 수 있다.
도 4는 병렬 전송의 상징적 예시로서, 각 컴포넌트 생성기에 의해 처리된 다수의 컴포넌트를 도시한다. 도 4에 도시된 낮은 차수 컴포넌트 생성기(810)는 입력 신호로부터 미리 정해진 차수 및 미리 정해진 모드까지 낮은 차수 사운드 필드 디스크립션을 생성하고, 여기서 낮은 차수 컴포넌트 생성기(810)는 입력 신호를 그대로 복사 또는 가져오거나 입력 신호의 채널들의 가중 조합을 수행함으로써 낮은 차수 사운드 필드 디스크립션을 유도하도록 구성된다. 낮은 차수 컴포넌트 생성기 블록(generator low-order components block)과 낮은 차수 컴포넌트 믹싱 블록(mixing low-order components block) 사이에 도시된 바와 같이, K 개의 개별 컴포넌트는 이 낮은 차수 컴포넌트 생성기(810)에 의해 처리된다. 중간 차수 컴포넌트 생성기(820)는 레퍼런스 신호를 생성하고, 예시적인 상황으로, 필터 뱅크(400)의 입력 또는 출력에서 다운 믹스 신호에 포함된 전 방향성 신호가 사용된다는 것이 설명된다. 그러나, 입력 신호에 왼쪽 채널과 오른쪽 채널이 있으면, 그런 다음 왼쪽 및 오른쪽 채널을 더하여 얻은 모노 신호는 레퍼런스 신호 생성기(reference signal generator)(821)에 의해 계산된다. 또한, 다수의 (L+1)2 - K 컴포넌트는 중간 차수 컴포넌트 생성기에 의해 생성된다. 또한, 높은 차수 컴포넌트 생성기는 다수의 (H+1)2 -(L+1)2 컴포넌트를 생성하므로, 결국 결합기의 출력에서, (H+1)2 컴포넌트는 단일 또는 필터 뱅크(400) 로의 입력에서 몇몇(작은 수)의 컴포넌트로부터 온다. 스플리터(splitter)는 개별적인 방향성/확산 데이터를 대응하는 컴포넌트 생성기(810, 820, 830)에 제공하도록 구성된다. 따라서, 낮은 차수 컴포넌트 생성기는 K 데이터 항목을 수신한다. 이것은 스플리터(420) 및 혼합 낮은 차수 컴포넌트 블록을 수집하는 라인으로 표시된다.
또한, 혼합 차수 컴포넌트 믹싱 블록(mixing mix-order components block)(825)은(L+1)2 - K 데이터 항목을 수신하고, 높은 차수 컴포넌트 믹싱 블록(mixing high-order components block)은(H+1)2 -(L+1)2 데이터 항목을 수신한다. 이에 대응하여, 개별 컴포넌트 믹싱 블록은 결합기(430)에 일정한 수의 사운드 필드 컴포넌트를 제공한다.
그후, 도 4의 낮은 차수 컴포넌트 생성기(810)의 바람직한 구현이 도 9와 관련하여 도시된다. 입력 신호는 입력 신호 조사기(input signal investigator)(811)에 입력되고, 입력 신호 조사기(811)는 획득된 정보를 처리 모드 선택기(processing mode selector)(812)에 제공한다.
처리 모드 선택기(812)는 숫자 1로 표시된 복사 블록(copying block)(813), 숫자 2로 표시된 가져오기(있는 그대로) 블록(taking(as it is) block)(814), 숫자 3으로 표시되고 참조 번호 815인 선형 조합 블록(linear combination block)(제1 모드) 및 숫자 4로 표시된 선형 조합(제2 모드) 블록(815)로 개략적으로 도시된 복수의 다른 처리 모드를 선택하도록 구성된다. 예를 들어, 입력 신호 조사기(811)가 특정 종류의 입력 신호를 판단하면 그 다음 처리 모드 선택기(812)는 도 9의 표에 도시된 바와 같이 복수의 상이한 처리 모드 중 하나를 선택한다. 예를 들어, 입력 신호가 전 방향성 신호 W 또는 모노 신호 인 경우 복사(813) 또는 가져오기(814)가 선택된다. 그러나, 입력 신호가 왼쪽 채널 또는 오른쪽 채널의 스테레오 신호이거나 5.1 또는 7.1 채널의 다중 채널 신호 인 경우, 선형 조합 블록(815)은 입력 신호로부터 좌우를 더하고 좌우의 차이를 계산함으로써 방향성 컴포넌트를 계산함으로써 전 방향성 신호(W)를 유도하기 위해 선택된다.
그러나, 입력 신호가 조인트 스테레오 신호, 즉 중간/측면 표현 인 경우, 중간 신호가 이미 전 방향성 신호를 나타내고 측면 신호가 이미 방향성 컴포넌트를 나타내기 때문에 블록 813 또는 블록 814가 선택된다.
유사하게, 입력 신호가 1차 앰비소닉스 신호(FOA) 인 것으로 결정될 때, 처리 모드 선택기(812)에 의해 블록 813 또는 블록 814가 선택된다. 입력 신호가 A 포맷 신호라고 판단되는 경우, 선형 조합(제2 모드) 블록(816)은 A-포맷 신호에 대한 선형 변환을 수행하여 전 방향성 컴포넌트를 갖는 1차 앰비소닉스 신호와 도 8 또는 도 6의 블록 810에 의해 생성된 K 개의 낮은 차수 컴포넌트 블록을 나타내는 3 방향성 컴포넌트를 얻기 위해 선택된다. 또한, 도 9는 퓨즈 보상 및/또는 상응하는 이득 값 g 및 gs로 직접 보상을 수행하기 위해 블록 813 내지 816 중 하나의 출력에 에너지 보상을 수행하도록 구성된 에너지 보상기(energy compensator)(900)를 도시한다.
그리하여, 에너지 보상기(900)의 구현은 각각 도 6 및 도 7의 사운드 컴포넌트 생성기(sound component generator)(650) 또는 사운드 컴포넌트 생성기(750)의 절차에 대응한다.
도 10은 제1 그룹과 관련된 블록(650)의 방향/확산 하부 화살표에 대한 도 8의 중간 차수서 컴포넌트 생성기(820) 또는 사운드 컴포넌트 생성기(650)의 일부의 바람직한 구현을 도시한다. 특히, 중간 차수 컴포넌트 생성기(820)는, 이전에 논의된 바와 같이 또는 전체 교시와 함께 본원에 참조로 포함된 WO 2017/157803 A1에 도시된 바와 같이, 입력 신호를 수신하고 입력 신호가 모노 신호일 때 그대로 복사 또는 가져오거나 계산에 의해 입력 신호로부터 레퍼런스 신호를 유도하여 레퍼런스 신호를 생성하는 레퍼런스 신호 생성기(821)를 포함한다.
또한, 도 10은 특정 DOA 정보(Φ, θ) 및 특정 모드 번호 m 및 특정 차수 번호 l로부터 방향성 이득 Gl m을 계산하도록 구성된 방향성 이득 계산기(directional gain calculator)(410)를 도시한다. 바람직한 실시 예에서, 처리가 k, n에 의해 참조되는 각 개별 타일에 대한 시간/주파수 도메인에서 수행되는 경우, 방향성 이득은 각 시간/주파수 타일에 대해 계산된다. 가중치기(weighter)(820)는 특정 시간/주파수 타일에 대한 레퍼런스 신호 및 확산 데이터를 수신하고 가중치기(820)의 결과는 방향 부분이다. 확산 부분은 역 상관 필터(823) 및 특정 시간 프레임 및 주파수 빈에 대한 확산 값 Ψ을 수신하고 특히 입력으로서 요구되는 모드 m 및 요구되는 차수 l을 수신하는 평균 응답 제공기(average response provider)(826)에 의해 생성된 특정 모드 m 및 D1로 표시된 차수 l에 대한 평균 응답을 수신하는 후속하는 가중치기(824)에 의해 수행되는 처리에 의해 생성된다.
가중치기(824)의 결과는 확산 부분이고, 확산 부분은 특정 모드 m 및 특정 차수 l에 대한 특정 중간 차수 사운드 필드 컴포넌트를 얻기 위해 가산기(825)에 의해 방향 부분에 추가된다. 블록 823에 의해 생성된 확산 부분에만 도 6과 관련하여 논의된 확산 보상 이득을 적용하는 것이 바람직하다. 이것은(확산) 가중치기에 의해 수행되는 절차 내에서 유리하게 수행될 수 있다. 따라서, 도 10에 도시된 바와 같이 전체 합성을 수신하지 못하는 더 높은 컴포넌트에 의해 발생하는 확산 에너지 손실을 보상하기 위해 신호의 확산 부분 만 향상된다.
높은 차수 컴포넌트 생성기에 대한 방향 부분 만 생성이 도 11에 나와 있다. 기본적으로 높은 차수 컴포넌트 생성기는 방향 분기에 대해 중간 차수 컴포넌트 생성기와 동일한 방식으로 구현되지만 블록 823, 824, 825 및 826을 포함하지 않는다. 따라서, 높은 차수 컴포넌트 생성기는 방향성 이득 계산기(410)로부터 입력 데이터를 수신하고 레퍼런스 신호 생성기(821)로부터 레퍼런스 신호를 수신하는(방향) 가중치기(822)만을 포함한다. 바람직하게는, 높은 차수 컴포넌트 생성기 및 중간 차수 컴포넌트 생성기에 대한 단일 레퍼런스 신호 만이 생성된다. 그러나 두 블록 모두 경우에 따라 개별 레퍼런스 신호 생성기를 가질 수도 있다. 그럼에도 불구하고 하나의 레퍼런스 신호 생성기 만 사용하는 것이 좋다. 따라서 높은 차수 컴포넌트 생성기가 수행하는 처리는 매우 효율적이며, 시간/주파수 타일에 대한 특정 확산 정보 Ψ와 함께 특정 방향성 이득 Gl m이 있는 단일 가중치 방향 만 수행되기 때문이다. 그러므로, 높은 차수 사운드 필드 컴포넌트를 매우 효율적이고 신속하게 생성할 수 있고 출력 신호에서 확산 컴포넌트의 비 생성 또는 확산 컴포넌트의 사용으로 인한 오류는 낮은 차수 사운드 필드 컴포넌트 또는 바람직하게는 중간 차수 사운드 필드 컴포넌트의 확산 부분 만 향상시킴으로써 쉽게 보상된다.
일반적으로, 확산 부분은 복사 또는(가중) 선형 조합을 수행하여 생성된 낮은 차수 사운드 필드 컴포넌트 내에서 별도로 사용할 수 없다. 그러나 이러한 컴포넌트의 에너지를 향상시키면 확산 부분의 에너지가 자동으로 향상된다. 발명자들에 의해 밝혀진 바와 같이 방향 부분의 에너지의 동시 향상은 문제가 되지 않는다.
이어서 개별 보상 이득의 계산을 더 설명하기 위해 도 12a 내지 12c를 참조한다.
도 12a는 도 6의 사운드 컴포넌트 생성기(650)의 바람직한 구현을 예시한다. 일 실시 예에서, (확산) 보상 이득은 확산 값, 최대 차수 H 및 절단 차수 L을 사용하여 계산된다. 다른 실시 예에서, 확산 보상 이득은 낮은 차수 처리 분기(low-order processing branch)(810)의 다수의 컴포넌트로부터 유도된 파라미터 Lk를 사용하여 계산된다. 또한, 파라미터 mk는 파라미터 lk 및 낮은 차수 컴포넌트 생성기에 의해 실제로 생성된 컴포넌트의 수 K에 따라 사용된다. 또한, Lk에 따른 값 N도 사용된다. 제1 실시 예의 H, L 또는 H, Lk, mk는 일반적으로 제2 그룹의 사운드 필드 컴포넌트의 수를 나타낸다(제1 그룹의 사운드 컴포넌트의 수와 관련됨). 따라서 확산 컴포넌트가 합성되지 않는 컴포넌트가 많을수록 에너지 보상 이득이 높아진다. 반면에, 보상될 수 있는 낮은 차수의 사운드 필드 컴포넌트의 수가 많을수록, 즉 이득 계수를 곱하면 이득 계수가 낮아질 수 있다. 일반적으로 이득 계수 g는 항상 1보다 크다.
도 12a는(확산) 보상 이득 계산기(compensation gain calculator)(910)에 의한 이득 계수 g의 계산 및 보상 이득 애플리케이터(compensation gain applicator)(900)에 의해 행해지는 "보정" 될(낮은 차수) 컴포넌트에 대한 이 이득 계수의 후속 적용을 예시한다. 선형 숫자의 경우, 보상 이득 애플리케이터는 승수가 될 것이고, 로그 숫자의 경우 보상 이득 애플리케이터는 가산기가 될 것이다. 그러나, 보상 이득 애플리케이션의 다른 구현은 블록 910에 의해 보상 이득을 계산하는 방법 및 특정 특성에 따라 구현될 수 있다. 따라서, 이득은 반드시 곱셈 이득 일 필요는 없지만 다른 이득 일 수도 있다.
도 12b는(방향) 보상 이득 처리를 위한 제3 구현을 예시한다. (방향) 보상 이득 계산기(920)는 도 12b에서 "전 방향성 전력"으로 표시된 전 방향성 컴포넌트에 대한 에너지 또는 진폭 관련 측정치를 입력으로 수신한다. 또한, 방향성 컴포넌트에 대한 제2 에너지 또는 진폭 관련 측정치는 또한 "방향성 전력"으로서 블록 920에 입력된다. 또한, 방향 보상 이득 계산기(direct compensation gain calculator)(920)는 추가적으로 정보 QL을 수신하거나, 또는 정보 N. N은 주문 1 당 계수의 개수 인(2l+1)과 같고, Ql은 1/N과 같다. 또한, 특정 시간/주파수 타일(k, n)에 대한 방향성 이득 Gl m은(방향) 보상 이득의 계산에도 필요하다. 방향성 이득은 예를 들어 도 4의 방향성 이득 계산기(410)로부터 유도된 동일한 데이터이다. (방향) 보상 이득 gs는 블록 920으로부터 블록 900과 유사한 방식으로 구현될 수 있는 보상 이득 애플리케이터(900)로 전달된다. 즉, "수정"될 컴포넌트(들)를 수신하고 수정된 컴포넌트(들)를 출력한다.
도 12c는 공동으로 수행되는 확산 사운드 컴포넌트의 에너지 보상 및 방향 사운드 컴포넌트 보상의 에너지 정규화의 조합의 바람직한 구현을 예시한다. 이를 위해(확산) 보상 이득 g 및(방향) 보상 이득 gs가 이득 결합기(gain combiner)(930)에 입력된다. 이득 결합기(즉, 결합 이득)의 결과는 후 처리기(post-processor)로 구현되고 최소 또는 최대 값에 대한 제한을 수행하거나 일부 수행을 위해 압축 기능을 적용하는 이득 조종기(gain manipulator)(940)에 입력된다. 좀 더 부드러운 제한이나 시간 또는 주파수 타일 사이에서 평활화를 수행한다. 제한되는 조종된 이득은 압축되거나 평활화 되거나 다른 후 처리 방식(post-processing way)으로 처리되고 수정된 낮은 차수 컴포넌트(들)를 획득하기 위해 후 처리된 이득(post-processed gain)은 이득 애플리케이터(gain applicator)에 의해 낮은 차수 컴포넌트(들)에 적용된다.
선형 이득 g, gs의 경우에서, 이득 결합기(930)는 승수로 구현된다. 대수 이득의 경우 이득 결합기는 가산기로 구현된다. 또한, 참조 번호 620으로 표시된 도 7의 추정기의 구현과 관련하여, 추정기(estimator)(620)는 진폭에 적용되는 타워가 1보다 큰 하나의 전 방향성 및 방향성 컴포넌트에 대한 임의의 에너지 또는 진폭 관련 측정치를 제공할 수 있음을 설명한다. 에너지 또는 진폭 관련 측정치로 전력의 경우 지수는 2와 같다. 그러나 1.5에서 2.5 사이의 지수도 유용하다. 또한, 전력 값보다는 음량 값에 해당하는 진폭에 3의 거듭 제곱을 적용하는 것과 같이 더 높은 지수 또는 거듭 제곱이 유용하다. 따라서 일반적으로 에너지 또는 진폭 관련 측정치를 제공하기 위해 2 또는 3의 거듭 제곱이 선호되지만 1.5와 4 사이의 거드 제곱도 일반적으로 선호된다.
이어서, 본 발명의 측면에 대한 몇 가지 예가 요약된다.
제1 측면에 대한 주요 예 1a(확산 사운드 컴포넌트에 대한 에너지 보상)
1a. 하나 이상의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치에 있어서, 장치는:
입력 신호로부터 확산 데이터를 획득하기 위한 입력 신호 분석기;
입력 신호로부터, 각각의 사운드 필드 컴포넌트에 대해 방향 컴포넌트 및 확산 컴포넌트를 갖는 사운드 필드 컴포넌트의 제1 그룹의 하나 이상의 사운드 필드 컴포넌트를 생성하기 위한, 및 입력 신호로부터 방향 컴포넌트만을 갖는 사운드 필드 컴포넌트의 제2 그룹을 생성하기 위한, 사운드 컴포넌트 생성기를 포함하고,
사운드 컴포넌트 생성기는 사운드 필드 컴포넌트의 제1 그룹을 생성할 때 에너지 보상을 수행하도록 구성되고, 에너지 보상은 확산 데이터 및 제2 그룹의 사운드 필드 컴포넌트 수에 의존한다.
제2 측면에 대한 주요 예 1b(방향 신호 컴포넌트에 대한 에너지 정규화)
1b. 적어도 2개의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치에 있어서, 장치는:
입력 신호로부터 방향 데이터 및 확산 데이터를 획득하기 위한 입력 신호 분석기;
입력 신호로부터 유도된 전 방향성 컴포넌트에 대한 제1 진폭 관련 측정치를 추정하고 입력 신호로부터 유도된 방향성 컴포넌트에 대한 제2 진폭 관련 측정치를 추정하기 위한 추정기, 및
사운드 필드의 사운드 필드 컴포넌트를 생성하기 위한 사운드 컴포넌트 생성기를 포함하고, 여기서 사운드 컴포넌트 생성기는 제1 진폭 관련 측정, 제2 진폭 관련 측정, 방향 데이터 및 확산 데이터를 사용하여 방향성 컴포넌트의 에너지 보상을 수행하도록 구성된다.
제3 측면의 주요 예 1c: 상이한 생성기 분기를 갖는 시스템 구현
1c. 모노 신호 또는 다중 채널 신호를 포함하는 입력 신호를 사용하여 사운드 필드 디스크립션을 생성하는 장치에 있어서,
방향 데이터 및 확산 데이터를 유도하기 위해 입력 신호를 분석하기 위한 입력 신호 분석기;
입력 신호로부터 미리 결정된 차수 및 모드까지 낮은 차수 사운드 디스크립션을 생성하는 낮은 차수 컴포넌트 생성기 - 낮은 차수 컴포넌트 생성기는 입력 신호를 복사하거나 입력 신호의 채널의 가중 조합을 수행하여 낮은 차수 사운드 디스크립션을 유도하도록 구성됨 -;
중간 차수 사운드 디스크립션이 방향 기여 및 확산 기여를 포함하도록 방향 데이터 및 확산 데이터를 사용하여 적어도 하나의 방향 부분 및 적어도 하나의 확산 부분의 합성을 사용하여 미리 결정된 차수 이상 또는 미리 결정된 차수로 그리고 미리 결정된 모드 이상에서 그리고 아래 또는 제1 절단 차수에서 중간 차수 사운드 디스크립션을 생성하기 위한 중간 차수 컴포넌트 생성기; 및
높은 차수 사운드 디스크립션이 방향 기여만을 포함하도록 임의의 확산 컴포넌트 합성없이 적어도 하나의 방향 부분의 합성을 사용하여 제1 절단 차수 이상의 컴포넌트를 갖는 높은 차수 사운드 디스크립션을 생성하는 높은 차수 컴포넌트 생성기를 포함한다.
2. 실시 예 1a, 1b, 1c에 따른 장치에 있어서,
낮은 차수 사운드 디스크립션, 중간 차수 사운드 디스크립션 또는 높은 차수 디스크립션은 직교하는 출력 사운드 필드의 사운드 필드 컴포넌트를 포함하므로, 두 사운드 디스크립션은 하나의 동일한 사운드 필드 컴포넌트를 포함하지 않고, 또는
중간 차수 컴포넌트 생성기는 낮은 차수 컴포넌트 생성기에 의해 사용되지 않는 제1 절단 차수 또는 그 아래의 컴포넌트를 생성한다.
3. 다음을 포함하는 이전 예 중 어느 하나의 장치에 있어서,
사운드 필드를 나타내는 하나 이상의 오디오 채널이 있는 입력 다운 믹스 신호 수신하는 단계
사운드 필드를 나타내는 하나 이상의 사운드 방향을 수신하거나 결정하는 단계;
하나 이상의 사운드 방향을 사용하여 하나 이상의 공간 기반 함수를 평가하는 단계;
입력 다운 믹스 신호 채널의 제1 가중치 조합으로부터 하나 이상의 사운드 필드 컴포넌트의 제1 세트를 유도하는 단계.
입력 다운 믹스 신호 채널과 하나 이상의 평가된 공간 기반 함수의 제2 가중 조합으로부터 하나 이상의 방향 사운드 필드 컴포넌트의 제2 세트를 유도하는 단계.
하나 이상의 사운드 필드 컴포넌트의 제1 세트와 하나 이상의 사운드 필드 컴포넌트의 제2 세트를 결합하는 단계를 포함한다.
4. 이전 예 중 어느 하나의 장치에 있어서, 사운드 필드 컴포넌트의 제1 및 제2 세트가 직교하는 장치.
5. 이전 예 중 어느 하나의 장치에 있어서, 사운드 필드 컴포넌트가 직교 기저 함수의 계수 인 장치.
6. 이전 예 중 어느 하나의 장치에 있어서, 사운드 필드 컴포넌트가 공간 기반 함수의 계수 인 장치.
7. 이전 예 중 어느 하나의 장치에 있어서, 사운드 필드 컴포넌트가 구형 또는 원형 고조파 계수 인 장치.
8. 이전 예 중 어느 하나의 장치에 있어서, 사운드 필드 컴포넌트가 앰비소닉스 계수 인 장치.
9. 이전 예 중 어느 하나의 장치에 있어서, 입력 다운 믹스 신호의 오디오 채널이 3 개 미만인 장치.
10. 이전 예 중 어느 하나의 장치에 있어서,
확산 값을 수신하거나 결정하는 단계;
확산 값의 함수로서 하나 이상의 확산 사운드 컴포넌트를 생성하는 단계; 및
하나 이상의 확산 사운드 컴포넌트를 하나 이상의 방향 사운드 필드 컴포넌트의 제2 세트에 결합하는 단계를 더 포함하는 장치.
11. 이전 예 중 어느 하나의 장치에 있어서, 확산 컴포넌트 생성기는 확산 사운드 정보를 역 상관시키기 위한 역 상관기를 더 포함한다.
12. 이전 예 중 어느 하나의 장치에 있어서, 하나 이상의 사운드 필드 컴포넌트의 제1 세트는 확산 값으로부터 유도되는 장치.
13. 이전 예 중 어느 하나의 장치에 있어서, 하나 이상의 사운드 필드 컴포넌트의 제1 세트는 하나 이상의 사운드 방향으로부터 유도된다.
14. 이전 예 중 어느 하나의 장치에 있어서, 시간-주파수 의존적 사운드 방향을 유도하는 장치.
15. 이전 예 중 어느 하나의 장치에 있어서, 시간-주파수 의존 확산 값을 유도하는 장치.
16. 이전 예 중 어느 하나의 장치에 있어서, 시간-도메인 다운 믹스 신호의 복수의 채널을 복수의 시간-주파수 타일을 갖는 주파수 표현으로 분해하는 단계를 더 포함한다.
17. 하나 이상의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하는 방법에 있어서,
입력 신호로부터 확산 데이터를 획득하는 단계;
입력 신호로부터, 각각의 사운드 필드 컴포넌트에 대해 방향 컴포넌트 및 확산 컴포넌트를 갖는 사운드 필드 컴포넌트의 제1 그룹의 하나 이상의 사운드 필드 컴포넌트를 생성하는 단계, 및 입력 신호로부터 방향 컴포넌트 만 있는 사운드 필드 컴포넌트의 제2 그룹을 생성하는 단계,
제1 그룹의 사운드 필드 컴포넌트를 생성할 때 에너지 보상을 수행하는 단계, 확산 데이터 및 제2 그룹의 사운드 필드 컴포넌트의 수에 따른 에너지 보상을 생성하는 단계를 포함한다.
18. 두 개 이상의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하는 방법에 있어서,
입력 신호로부터 방향 데이터 및 확산 데이터를 획득하는 단계;
입력 신호로부터 유도된 전 방향성 컴포넌트에 대한 제1 진폭 관련 측정치를 추정하고 입력 신호로부터 유도된 방향성 컴포넌트에 대한 제2 진폭 관련 측정치를 추정하는 단계, 및
사운드 필드의 사운드 필드 컴포넌트를 생성하는 단계를 포함하고,
여기서 사운드 컴포넌트 생성기는 제1 진폭 관련 측정, 제2 진폭 관련 측정, 방향 데이터 및 확산 데이터를 사용하여 방향성 컴포넌트의 에너지 보상을 수행하도록 구성된다.
19. 모노 신호 또는 다중 채널 신호를 포함하는 입력 신호를 사용하여 사운드 필드 디스크립션을 생성하는 방법에 있어서,
방향 데이터 및 확산 데이터를 유도하기 위해 입력 신호를 분석하는 단계;
입력 신호로부터 미리 결정된 차수 및 모드까지 낮은 차수 사운드 디스크립션을 생성하는 단계 - 낮은 차수 생성기는 입력 신호를 복사하거나 입력 신호의 채널의 가중 조합을 수행하여 낮은 차수 사운드 디스크립션을 유도하도록 구성됨 -;
중간 차수 사운드 디스크립션이 방향 기여 및 확산 기여를 포함하도록 방향 데이터 및 확산 데이터를 사용하는 적어도 하나의 방향 부분 및 적어도 하나의 확산 부분의 합성을 사용하여 미리 결정된 차수 이상 또는 미리 결정된 차수로 그리고 높은 차수 아래에서 중간 차수 사운드 디스크립션을 생성하는 단계; 및
높은 차수 사운드 디스크립션이 방향 기여만을 포함하도록 임의의 확산 컴포넌트 합성없이 적어도 하나의 방향 부분의 합성을 사용하여 높은 차수에서 또는 이상의 컴포넌트를 갖는 높은 차수 사운드 디스크립션을 생성하는 단계를 포함한다.
20. 컴퓨터 또는 프로세서에서 실행될 때 예 17, 18 또는 19 중 하나의 방법을 수행하기 위한 컴퓨터 프로그램.
앞서 논의된 모든 대안 또는 측면과 다음의 청구항에서 독립 청구항에 의해 정의된 모든 측면은 개별적으로, 즉 고려되는 대안, 목적 또는 독립 청구항과는 다른 임의의 대안 또는 목적없이 사용될 수 있다는 것이 여기서 언급되어야 한다. 그러나, 다른 실시 예에서, 대안 또는 측면 또는 독립 청구항들 중 둘 이상이 서로 결합될 수 있고, 다른 실시 예에서, 모든 측면 또는 대안 및 모든 독립 청구항이 서로 결합될 수 있다.
발명적으로 인코딩 된 오디오 신호는 디지털 저장 매체 또는 비 일시적 저장 매체에 저장될 수 있거나, 무선 전송 매체와 같은 전송 매체 또는 인터넷과 같은 유선 전송 매체를 통해 전송될 수 있다.
일부 측면이 장치의 맥락에서 설명되었지만, 이러한 측면이 해당 방법에 대한 설명을 나타내는 것이 분명하고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 해당한다. 유사하게, 방법 단계의 맥락에서 설명된 측면은 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다.
특정 구현 요구 사항에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들어 플로피 디스크, 디브이디(DVD), 씨디(CD), 롬(ROM), 피롬(PROM), 이피롬(EPROM), 이이피롬(EEPROM) 또는 플래시(FLASH) 메모리를 사용하여 수행될 수 있으며, 전자적으로 읽을 수 있는 제어 신호가 저장되어 있고, 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있다.
본 발명에 따른 일부 실시 예는 여기에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시 예는 기계 판독 가능 캐리어 또는 비 일시적 저장 매체에 저장된 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
즉, 본 발명의 방법의 실시 예는 컴퓨터 프로그램이 컴퓨터에서 실행될 때 여기에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 추가 실시 예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다.
따라서 본 발명의 방법의 추가 실시 예는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호 시퀀스이다. 데이터 스트림 또는 신호 시퀀스는 예를 들어 데이터 통신 연결을 통해, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.
추가 실시 예는 여기에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터, 또는 프로그래밍 가능한 논리 장치를 포함한다.
추가 실시 예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
일부 실시 예에서, 프로그래밍 가능 논리 장치(예를 들어, 필드 프로그래밍 가능 게이트 어레이)는 여기에 설명된 방법의 기능의 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시 예에서, 필드 프로그래밍 가능 게이트 어레이는 여기에 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
전술한 실시 예는 본 발명의 원리에 대한 예시 일뿐이다. 본 명세서에 기술된 배열 및 세부 사항의 수정 및 변경은 당업자에게 명백할 것이라는 것이 이해된다. 따라서, 본 명세서의 실시 예의 설명 및 설명에 의해 제시된 특정 세부 사항이 아니라 임박한 특허 청구 범위에 의해서만 제한되는 것이 의도이다.
Claims (21)
- 적어도 두 개의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하기 위한 장치에 있어서,
상기 장치는:
상기 입력 신호로부터 방향 데이터 및 확산 데이터를 획득하기 위한 입력 신호 분석기(600);
상기 입력 신호로부터 유도된 전 방향성 컴포넌트에 대한 제1 에너지 또는 에너지 또는 진폭 관련 측정치를 추정하기 위한 및 상기 입력 신호로부터 유도된 방향성 컴포넌트에 대한 제2 에너지 또는 진폭 관련 측정치를 추정하기 위한 추정기(620), 및,
상기 사운드 필드의 사운드 필드 컴포넌트를 생성하기 위한 사운드 필드 컴포넌트 생성기(750) - 상기 사운드 컴포넌트 생성기는 제1 에너지 또는 진폭 관련 측정, 상기 제2 에너지 또는 진폭 관련 측정, 방향 데이터 및 확산 데이터를 사용하여 상기 방향성 컴포넌트의 에너지 보상을 수행하도록 구성됨 - 를 포함하는
장치.
- 제1항에 있어서,
상기 입력 신호는 상기 적어도 두 개의 채널을 포함하고,
상기 추정기(620)는 상기 적어도 두 개의 채널의 추가를 사용하여 상기 전 방향성 컴포넌트를 계산하고, 및 상기 적어도 두 개의 채널(815)의 감산을 사용하여 상기 방향성 컴포넌트를 계산하도록 구성되는
장치.
- 제1항에 있어서,
상기 입력 신호는 상기 전 방향성 컴포넌트와 하나 이상의 방향성 컴포넌트를 포함하고, 및 상기 추정기(620)는 상기 입력 신호를 사용하여 상기 전 방향성 컴포넌트에 대한 상기 제1 진폭 관련 측정치를 계산하고 상기 입력 신호로부터의 상기 하나 이상의 방향성 컴포넌트 각각에 대한 상기 제2 에너지 또는 진폭 관련 측정치를 계산하도록 구성되는
장치.
- 제1항에 있어서,
상기 입력 신호는 적어도 두 개의 채널이 있는 A 포멧 또는 B 포멧 표현을 포함하고, 및
상기 추정기(620)는 상기 적어도 두 개의 채널의 가중된 선형 조합을 사용하여 상기 전 방향성 컴포넌트 및 상기 방향성 컴포넌트를 유도하도록(816) 구성되는
장치.
- 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 입력 신호 분석기(600)는 상기 입력 신호와 연관된 메타 데이터에서 상기 확산 데이터를 추출하거나 상기 적어도 두 개의 채널 또는 컴포넌트를 갖는 상기 입력 신호의 신호 분석(610, 620)에 의해 상기 입력 신호에서 상기 확산 데이터를 추출하도록 구성되는
장치.
- 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 추정기(620)는 복소 진폭의 절대 값 또는 1보다 크고 5보다 낮은 또는 2 또는 3과 같은 파워로 증가된 크기로부터 상기 제1 에너지 또는 진폭 관련 측정치 또는 상기 제2 에너지 또는 진폭 관련 측정치를 계산하도록 구성되는
장치.
- 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 사운드 컴포넌트 생성기(750)는 상기 에너지 보상을 수행하기 위한 에너지 보상기(900 내지 940)를 포함하고,
상기 에너지 보상기는 상기 제1 에너지 또는 진폭 관련 측정, 상기 제2 에너지 또는 진폭 관련 측정, 상기 방향 데이터 및 상기 확산 데이터를 사용하여 보상 이득을 계산하기 위한 보상 이득 계산기(910, 920, 930, 940)를 포함하는
장치.
- 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 사운드 컴포넌트 생성기(750)는 상기 방향 데이터로부터 방향성 이득을 계산(410)하고 상기 에너지 보상을 수행하기 위해 상기 방향성 이득 및 상기 확산 데이터를 결합(920)하도록 구성되는
장치.
- 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 추정기(620)는 제1 방향성 컴포넌트에 대한 상기 제2 에너지 또는 진폭 관련 측정치 및 제2 방향성 컴포넌트에 대한 제3 에너지 또는 진폭 관련 측정치를 추정하고, 상기 제1 및 제2 에너지 또는 진폭 관련 측정치를 사용하여 상기 제1 방향성 컴포넌트에 대한 제1 보상 이득을 계산하고, 및 상기 제1 및 제3 에너지 또는 진폭 관련 측정치를 사용하여 상기 제2 방향성 컴포넌트에 대한 제2 보상 이득을 계산하도록 구성되는
장치.
- 제9항에 있어서,
상기 이득 계산기(910)는
상기 입력 신호에서 유도된 전 방향성 컴포넌트에 대한 상기 제1 에너지 또는 진폭 관련 측정치를 사용하고 및 상기 입력 신호, 상기 확산 데이터 및 상기 입력 신호로부터 획득된 방향 데이터로부터 유도된 방향성 컴포넌트에 대해 제2 에너지 또는 진폭 관련 측정치를 사용하여 상기 보상 이득을 추가적으로 계산하도록 구성되는
장치.
- 제7항 내지 제10항 중 어느 한 항에 있어서,
상기 보상 이득 계산기(910)는
,
또는
의 식에 기초하여 이득 계수를 계산하도록 구성되고,
여기서, Ψ는 상기 확산 데이터를 나타내고,는 제1 에너지 또는 진폭 관련 측정치를 나타내고,
는 상기 제2 에너지 또는 진폭 관련 측정치를 나타내고,
는 상기 전 방향 컴포넌트이고,
은 상기 방향성 컴포넌트이고,
는 방향 데이터
에서 유도된 방향 이득이고, φ는 방위각, θ는 고도 각, Ql은 차수 l의 방향성 계수이고, gs는 이득 계수 인
장치.
- 제7항 내지 제11항 중 어느 한 항에 있어서,
상기 보상 이득 계산기(910)는 증가하는 제1 에너지 또는 진폭 관련 측정치로 상기 보상 이득을 증가하고, 또는 증가하는 제2 에너지 또는 진폭 관련 측정치로 보상 이득을 감소시키고, 또는 증가하는 방향 이득을 사용하여 상기 보상 이득을 증가하고, 또는 감소하는 방향성 컴포넌트의 수로 상기 보상 이득을 증가하도록 구성되는
장치.
- 제7항 내지 제12항 중 어느 한 항에 있어서,
상기 보상 이득 계산기(910, 920, 930, 940)는 상기 보상 이득을 획득하기 위해 낮은 또는 높은 이득 계수를 중간 이득 계수로 압축하기 위한 압축 기능을 사용하여 고정된 최대 임계 값 또는 고정된 최소 임계 값이 있는 제한을 사용하여 이득 계수 조종(940)을 수행하도록 구성되는
장치.
- 제1항 내지 제13항 중 어느 한 항에 있어서,
상기 사운드 구성 요소 생성기(750)는 다른 차수의 다른 사운드 필드 구성 요소를 생성하도록 구성되고,
결합기(430)는 상기 입력 신호의 차수 보다 높은 차수를 갖는 사운드 필드 디스크립션을 획득하기 위해 상기 사운드 필드의 상기 사운드 필드 컴포넌트와 다른 차수의 다른 사운드 필드 컴포넌트를 결합하도록 구성되는
장치.
- 제7항 내지 제14항 중 어느 한 항에 있어서,
상기 에너지 보상기(910, 920, 930, 940)는 상기 보상 이득을 적어도 하나의 사운드 필드 컴포넌트에 적용하기 위한 보상 이득 애플리케이터(900)를 포함하는
장치.
- 제1항 내지 제15항 중 어느 한 항에 있어서,
상기 사운드 컴포넌트 생성기(750)는 상기 입력 신호로부터 미리 결정된 차수 및 미리 결정된 모드까지 낮은 차수 사운드 필드 디스크립션을 생성하기 위한 낮은 차수 컴포넌트 생성기(810)를 포함하고,
상기 낮은 차수 컴포넌트 생성기(810)는 상기 입력 신호를 복사 또는 가져오기 또는 상기 입력 신호의 채널의 가중 조합을 형성함으로써 상기 낮은 차수 사운드 필드 디스크립션을 유도하도록 구성되고,
상기 낮은 차수 사운드 필드 디스크립션은 상기 복사 또는 상기 가져오기 또는 상기 선형 조합에 의해 생성된 상기 전 방향성 컴포넌트 및 상기 방향성 컴포넌트를 포함하는
장치.
- 제16항에 있어서,
상기 사운드 컴포넌트 생성기(750)은:
상기 중간 차수 사운드 필드 디스크립션이 방향 기여 및 확산 기여를 포함하도록 방향 데이터 및 확산 데이터를 사용하여 적어도 하나의 방향 부분 및 적어도 하나의 확산 부분의 합성을 사용하여 미리 결정된 차수 이상 또는 미리 결정된 차수로 그리고 미리 결정된 모드 이상에서 그리고 아래 또는 제1 절단 차수에서 중간 차수 사운드 필드 디스크립션을 생성하기 위한 중간 차수 컴포넌트 생성기(820); 및
적어도 하나의 방향 부분의 합성을 사용하여 상기 제1 절단 차수 이상의 컴포넌트를 갖는 높은 차수 사운드 필드 디스크립션을 생성하기 위한 높은 차수 컴포넌트 생성기(830) - 상기 높은 차수 사운드 필드 디스크립션은 방향 기여만을 포함함 - 을 더 포함하는
장치.
- 제1항 내지 제17항 중 어느 한 항에 있어서,
계수의 차수 l 까지의 사운드 필드 컴포넌트의 제1 그룹 및 계수의 차수 1 이상의 사운드 필드 컴포넌트의 제2 그룹은 서로 직교하거나, 또는
상기 사운드 필드 컴포넌트는 직교 기저 함수 계수, 공간 기저 함수 계수, 구형 또는 원형 고조파 계수, 및 앰비소닉스 계수 중 적어도 하나 인
장치.
- 제1항 내지 제18항 중 어느 한 항에 있어서,
분석 필터 뱅크(400)는 복수의 상이한 시간-주파수 타일에 대한 상기 하나 이상의 사운드 필드 컴포넌트를 생성하고, 상기 입력 신호 분석기(600)는 각 시간-주파수 타일에 대한 확산 데이터 항목을 획득하도록 구성되고, 및 상기 사운드 컴포넌트 생성기(750)는 각각의 시간-주파수 타일에 대해 개별적으로 에너지 보상을 수행하도록 구성되는
장치.
- 적어도 두 개의 채널을 포함하는 입력 신호로부터 사운드 필드 디스크립션을 생성하는 방법에 있어서,
상기 입력 신호로부터 방향 데이터 및 확산 데이터를 획득하는 단계;
상기 입력 신호에서 유도된 전 방향성 컴포넌트에 대한 제1 에너지 또는 진폭 관련 측정치를 추정하고 상기 입력 신호에서 유도된 방향성 컴포넌트에 대한 제2 에너지 또는 진폭 관련 측정치를 추정하는 단계, 및
상기 사운드 필드의 사운드 필드 컴포넌트를 생성하는 단계 - 상기 사운드 컴포넌트 생성기는 상기 제1 에너지 또는 진폭 관련 측정치, 상기 제2 에너지 또는 진폭 관련 측정치, 상기 방향 데이터 및 상기 확산 데이터를 사용하여 상기 방향성 컴포넌트의 에너지 보상을 수행하도록 구성됨 -
를 포함하는
방법.
- 컴퓨터 또는 프로세서에서 실행될 때 제20항의 방법을 수행하기 위한 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237024795A KR20230112750A (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18211064.3 | 2018-12-07 | ||
| EP18211064 | 2018-12-07 | ||
| PCT/EP2019/084055 WO2020115310A1 (en) | 2018-12-07 | 2019-12-06 | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding using direct component compensation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237024795A Division KR20230112750A (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210102300A true KR20210102300A (ko) | 2021-08-19 |
| KR102590816B1 KR102590816B1 (ko) | 2023-10-19 |
Family
ID=64870294
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217020827A KR102692707B1 (ko) | 2018-12-07 | 2019-12-06 | 낮은 차수, 중간 차수 및 높은 차수 컴포넌트 생성기를 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
| KR1020237024795A KR20230112750A (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
| KR1020237024910A KR20230113413A (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
| KR1020217020826A KR102590816B1 (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
| KR1020217020825A KR102599744B1 (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217020827A KR102692707B1 (ko) | 2018-12-07 | 2019-12-06 | 낮은 차수, 중간 차수 및 높은 차수 컴포넌트 생성기를 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
| KR1020237024795A KR20230112750A (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
| KR1020237024910A KR20230113413A (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217020825A KR102599744B1 (ko) | 2018-12-07 | 2019-12-06 | 방향 컴포넌트 보상을 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 |
Country Status (17)
| Country | Link |
|---|---|
| US (6) | US11937075B2 (ko) |
| EP (4) | EP4191580A1 (ko) |
| JP (3) | JP7309876B2 (ko) |
| KR (5) | KR102692707B1 (ko) |
| CN (6) | CN113439303B (ko) |
| AU (3) | AU2019394097B2 (ko) |
| BR (3) | BR112021010972A2 (ko) |
| CA (3) | CA3122164C (ko) |
| ES (3) | ES2969138T3 (ko) |
| FI (2) | FI3891734T3 (ko) |
| MX (3) | MX2021006565A (ko) |
| PL (3) | PL3891735T3 (ko) |
| PT (2) | PT3891736T (ko) |
| SG (3) | SG11202105712QA (ko) |
| TW (3) | TWI747095B (ko) |
| WO (3) | WO2020115309A1 (ko) |
| ZA (3) | ZA202103739B (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022074201A2 (en) | 2020-10-09 | 2022-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, or computer program for processing an encoded audio scene using a bandwidth extension |
| JP2023549033A (ja) | 2020-10-09 | 2023-11-22 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | パラメータ平滑化を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム |
| BR112023006291A2 (pt) | 2020-10-09 | 2023-05-09 | Fraunhofer Ges Forschung | Dispositivo, método ou programa de computador para processar uma cena de áudio codificada usando uma conversão de parâmetro |
| JP2024048967A (ja) * | 2022-09-28 | 2024-04-09 | パナソニックＩｐマネジメント株式会社 | 音場再現装置、音場再現方法及び音場再現システム |
| WO2024175587A1 (en) | 2023-02-23 | 2024-08-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal representation decoding unit and audio signal representation encoding unit |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150134336A (ko) * | 2013-03-22 | 2015-12-01 | 톰슨 라이센싱 | 1차 앰비소닉스 신호의 지향성을 강화하기 위한 방법 및 장치 |
| US20160064005A1 (en) * | 2014-08-29 | 2016-03-03 | Qualcomm Incorporated | Intermediate compression for higher order ambisonic audio data |
| KR20170007749A (ko) * | 2014-05-16 | 2017-01-20 | 퀄컴 인코포레이티드 | 고차 앰비소닉 신호 압축 |
| WO2017157803A1 (en) * | 2016-03-15 | 2017-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating a sound field description |
Family Cites Families (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031474B1 (en) * | 1999-10-04 | 2006-04-18 | Srs Labs, Inc. | Acoustic correction apparatus |
| KR100922910B1 (ko) | 2001-03-27 | 2009-10-22 | 캠브리지 메카트로닉스 리미티드 | 사운드 필드를 생성하는 방법 및 장치 |
| KR100988293B1 (ko) * | 2002-08-07 | 2010-10-18 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 채널 공간 트랜스레이션 |
| TWI313857B (en) | 2005-04-12 | 2009-08-21 | Coding Tech Ab | Apparatus for generating a parameter representation of a multi-channel signal and method for representing multi-channel audio signals |
| US7974713B2 (en) | 2005-10-12 | 2011-07-05 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Temporal and spatial shaping of multi-channel audio signals |
| DE102006050068B4 (de) * | 2006-10-24 | 2010-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm |
| US8180062B2 (en) * | 2007-05-30 | 2012-05-15 | Nokia Corporation | Spatial sound zooming |
| DE102008004674A1 (de) * | 2007-12-17 | 2009-06-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signalaufnahme mit variabler Richtcharakteristik |
| KR101629862B1 (ko) | 2008-05-23 | 2016-06-24 | 코닌클리케 필립스 엔.브이. | 파라메트릭 스테레오 업믹스 장치, 파라메트릭 스테레오 디코더, 파라메트릭 스테레오 다운믹스 장치, 파라메트릭 스테레오 인코더 |
| US8452019B1 (en) * | 2008-07-08 | 2013-05-28 | National Acquisition Sub, Inc. | Testing and calibration for audio processing system with noise cancelation based on selected nulls |
| EP2249334A1 (en) * | 2009-05-08 | 2010-11-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio format transcoder |
| ES2524428T3 (es) | 2009-06-24 | 2014-12-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decodificador de señales de audio, procedimiento para decodificar una señal de audio y programa de computación que utiliza etapas en cascada de procesamiento de objetos de audio |
| US9111528B2 (en) | 2009-12-10 | 2015-08-18 | Reality Ip Pty Ltd | Matrix decoder for surround sound |
| ES2643163T3 (es) | 2010-12-03 | 2017-11-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y procedimiento para codificación de audio espacial basada en geometría |
| EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
| EP2692155B1 (en) * | 2012-03-22 | 2018-05-16 | Dirac Research AB | Audio precompensation controller design using a variable set of support loudspeakers |
| US9374652B2 (en) * | 2012-03-23 | 2016-06-21 | Dolby Laboratories Licensing Corporation | Conferencing device self test |
| US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
| JP6279569B2 (ja) | 2012-07-19 | 2018-02-14 | ドルビー・インターナショナル・アーベー | マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置 |
| US9460729B2 (en) | 2012-09-21 | 2016-10-04 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
| US10136239B1 (en) * | 2012-09-26 | 2018-11-20 | Foundation For Research And Technology—Hellas (F.O.R.T.H.) | Capturing and reproducing spatial sound apparatuses, methods, and systems |
| EP2790419A1 (en) | 2013-04-12 | 2014-10-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio |
| US10499176B2 (en) * | 2013-05-29 | 2019-12-03 | Qualcomm Incorporated | Identifying codebooks to use when coding spatial components of a sound field |
| CN105340008B (zh) * | 2013-05-29 | 2019-06-14 | 高通股份有限公司 | 声场的经分解表示的压缩 |
| US9691406B2 (en) | 2013-06-05 | 2017-06-27 | Dolby Laboratories Licensing Corporation | Method for encoding audio signals, apparatus for encoding audio signals, method for decoding audio signals and apparatus for decoding audio signals |
| GB2521649B (en) * | 2013-12-27 | 2018-12-12 | Nokia Technologies Oy | Method, apparatus, computer program code and storage medium for processing audio signals |
| CN104768121A (zh) | 2014-01-03 | 2015-07-08 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
| US9489955B2 (en) * | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
| US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
| US10412522B2 (en) * | 2014-03-21 | 2019-09-10 | Qualcomm Incorporated | Inserting audio channels into descriptions of soundfields |
| EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
| EP2942982A1 (en) | 2014-05-05 | 2015-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering |
| US20150332682A1 (en) * | 2014-05-16 | 2015-11-19 | Qualcomm Incorporated | Spatial relation coding for higher order ambisonic coefficients |
| EP3251116A4 (en) * | 2015-01-30 | 2018-07-25 | DTS, Inc. | System and method for capturing, encoding, distributing, and decoding immersive audio |
| WO2017048832A1 (en) * | 2015-09-14 | 2017-03-23 | Thorlabs, Inc. | Apparatus and methods for one or more wavelength swept lasers and the detection of signals thereof |
| WO2017085140A1 (en) * | 2015-11-17 | 2017-05-26 | Dolby International Ab | Method and apparatus for converting a channel-based 3d audio signal to an hoa audio signal |
| EP3472832A4 (en) | 2016-06-17 | 2020-03-11 | DTS, Inc. | DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING |
| WO2018127483A1 (en) * | 2017-01-03 | 2018-07-12 | Koninklijke Philips N.V. | Audio capture using beamforming |
| EP3346726A1 (en) | 2017-01-04 | 2018-07-11 | Harman Becker Automotive Systems GmbH | Arrangements and methods for active noise cancelling |
| US10332530B2 (en) * | 2017-01-27 | 2019-06-25 | Google Llc | Coding of a soundfield representation |
| US20180333103A1 (en) * | 2017-05-18 | 2018-11-22 | One Health Group, LLC | Algorithmic Approach for Estimation of Respiration and Heart Rates |
| KR102568365B1 (ko) * | 2017-07-14 | 2023-08-18 | 프라운 호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 |
| CA3076703C (en) * | 2017-10-04 | 2024-01-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding |
| TWM564300U (zh) * | 2018-05-04 | 2018-07-21 | 十銓科技股份有限公司 | 耳道式耳機 |
| GB2575305A (en) | 2018-07-05 | 2020-01-08 | Nokia Technologies Oy | Determination of spatial audio parameter encoding and associated decoding |
| GB2576769A (en) | 2018-08-31 | 2020-03-04 | Nokia Technologies Oy | Spatial parameter signalling |
| EP3675522A1 (en) * | 2018-12-28 | 2020-07-01 | Sonion Nederland B.V. | Miniature speaker with essentially no acoustical leakage |
-
2019
- 2019-12-06 ES ES19813055T patent/ES2969138T3/es active Active
- 2019-12-06 TW TW108144765A patent/TWI747095B/zh active
- 2019-12-06 WO PCT/EP2019/084053 patent/WO2020115309A1/en unknown
- 2019-12-06 CN CN201980091648.5A patent/CN113439303B/zh active Active
- 2019-12-06 BR BR112021010972-2A patent/BR112021010972A2/pt unknown
- 2019-12-06 MX MX2021006565A patent/MX2021006565A/es unknown
- 2019-12-06 WO PCT/EP2019/084055 patent/WO2020115310A1/en unknown
- 2019-12-06 EP EP23150192.5A patent/EP4191580A1/en active Pending
- 2019-12-06 BR BR112021010956-0A patent/BR112021010956A2/pt unknown
- 2019-12-06 KR KR1020217020827A patent/KR102692707B1/ko active IP Right Grant
- 2019-12-06 KR KR1020237024795A patent/KR20230112750A/ko not_active Application Discontinuation
- 2019-12-06 AU AU2019394097A patent/AU2019394097B2/en active Active
- 2019-12-06 PL PL19813055.1T patent/PL3891735T3/pl unknown
- 2019-12-06 TW TW108144763A patent/TWI745795B/zh active
- 2019-12-06 ES ES19813056T patent/ES2940286T3/es active Active
- 2019-12-06 CN CN201980091619.9A patent/CN113454715B/zh active Active
- 2019-12-06 CN CN202410184136.6A patent/CN117953905A/zh active Pending
- 2019-12-06 BR BR112021010964-1A patent/BR112021010964A2/pt unknown
- 2019-12-06 CA CA3122164A patent/CA3122164C/en active Active
- 2019-12-06 EP EP19813055.1A patent/EP3891735B1/en active Active
- 2019-12-06 PL PL19813054.4T patent/PL3891734T3/pl unknown
- 2019-12-06 EP EP19813054.4A patent/EP3891734B1/en active Active
- 2019-12-06 ES ES19813054T patent/ES2941268T3/es active Active
- 2019-12-06 TW TW108144764A patent/TWI751457B/zh active
- 2019-12-06 PL PL19813056.9T patent/PL3891736T3/pl unknown
- 2019-12-06 EP EP19813056.9A patent/EP3891736B1/en active Active
- 2019-12-06 AU AU2019392876A patent/AU2019392876B2/en active Active
- 2019-12-06 KR KR1020237024910A patent/KR20230113413A/ko not_active Application Discontinuation
- 2019-12-06 PT PT198130569T patent/PT3891736T/pt unknown
- 2019-12-06 FI FIEP19813054.4T patent/FI3891734T3/fi active
- 2019-12-06 SG SG11202105712QA patent/SG11202105712QA/en unknown
- 2019-12-06 CA CA3122170A patent/CA3122170C/en active Active
- 2019-12-06 PT PT198130544T patent/PT3891734T/pt unknown
- 2019-12-06 CN CN202410002187.2A patent/CN117809663A/zh active Pending
- 2019-12-06 JP JP2021532191A patent/JP7309876B2/ja active Active
- 2019-12-06 MX MX2021006563A patent/MX2021006563A/es unknown
- 2019-12-06 CN CN201980091649.XA patent/CN113424257B/zh active Active
- 2019-12-06 SG SG11202105720RA patent/SG11202105720RA/en unknown
- 2019-12-06 MX MX2021006572A patent/MX2021006572A/es unknown
- 2019-12-06 CA CA3122168A patent/CA3122168C/en active Active
- 2019-12-06 CN CN202410183944.0A patent/CN117975975A/zh active Pending
- 2019-12-06 JP JP2021532192A patent/JP7311601B2/ja active Active
- 2019-12-06 JP JP2021532193A patent/JP7311602B2/ja active Active
- 2019-12-06 KR KR1020217020826A patent/KR102590816B1/ko active IP Right Grant
- 2019-12-06 WO PCT/EP2019/084056 patent/WO2020115311A1/en unknown
- 2019-12-06 SG SG11202105719RA patent/SG11202105719RA/en unknown
- 2019-12-06 KR KR1020217020825A patent/KR102599744B1/ko active IP Right Grant
- 2019-12-06 FI FIEP19813056.9T patent/FI3891736T3/fi active
- 2019-12-06 AU AU2019392988A patent/AU2019392988B2/en active Active
-
2021
- 2021-05-27 US US17/332,358 patent/US11937075B2/en active Active
- 2021-05-27 US US17/332,340 patent/US11856389B2/en active Active
- 2021-05-27 US US17/332,312 patent/US11838743B2/en active Active
- 2021-05-31 ZA ZA2021/03739A patent/ZA202103739B/en unknown
- 2021-05-31 ZA ZA2021/03741A patent/ZA202103741B/en unknown
- 2021-05-31 ZA ZA2021/03738A patent/ZA202103738B/en unknown
-
2023
- 2023-08-02 US US18/363,978 patent/US20230379652A1/en active Pending
- 2023-08-10 US US18/447,486 patent/US20230396949A1/en active Pending
- 2023-10-06 US US18/482,478 patent/US20240040330A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150134336A (ko) * | 2013-03-22 | 2015-12-01 | 톰슨 라이센싱 | 1차 앰비소닉스 신호의 지향성을 강화하기 위한 방법 및 장치 |
| KR20170007749A (ko) * | 2014-05-16 | 2017-01-20 | 퀄컴 인코포레이티드 | 고차 앰비소닉 신호 압축 |
| US20160064005A1 (en) * | 2014-08-29 | 2016-03-03 | Qualcomm Incorporated | Intermediate compression for higher order ambisonic audio data |
| WO2017157803A1 (en) * | 2016-03-15 | 2017-09-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating a sound field description |
Non-Patent Citations (6)
| Title |
|---|
| [1] V. Pulkki, M-V Laitinen, J Vilkamo, J Ahonen, T Lokki and T Pihlajamki, "Directional audio coding - perception-based reproduction of spatial sound", International Workshop on the Principles and Application on Spatial Hearing, Nov. 2009, Zao; Miyagi, Japan. |
| [2] M. V. Laitinen and V. Pulkki, "Converting 5.1 audio recordings to B-format for directional audio coding reproduction," 2011 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), Prague, 2011, pp. 61-64 |
| [3] R. K. Furness, "Ambisonics ―An overview," in AES 8th International Conference, April 1990, pp. 181―189. |
| [4] C. Nachbar, F. Zotter, E. Deleflie, and A. Sontacchi, "AMBIX - A Suggested Ambisonics Format", Proceedings of the Ambisonics Symposium 2011 |
| [5] "APPARATUS, METHOD OR COMPUTER PROGRAM FOR GENERATING A SOUND FIELD DESCRIPTION"(corresponding to WO 2017/157803 A1) |
| VILLE PULKKI. Spatial sound reproduction with directional audio coding. Journal of the Audio Engineering Society, 2007.* * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102692707B1 (ko) | 낮은 차수, 중간 차수 및 높은 차수 컴포넌트 생성기를 사용하는 DirAC 기반 공간 오디오 코딩과 관련된 인코딩, 디코딩, 장면 처리 및 기타 절차를 위한 장치, 방법 및 컴퓨터 프로그램 | |
| RU2772423C1 (ru) | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием генераторов компонент низкого порядка, среднего порядка и высокого порядка | |
| RU2782511C1 (ru) | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием компенсации прямых компонент | |
| RU2779415C1 (ru) | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием диффузной компенсации |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right |