KR20230048461A - 오디오 디코더 및 디코딩 방법 - Google Patents
오디오 디코더 및 디코딩 방법 Download PDFInfo
- Publication number
- KR20230048461A KR20230048461A KR1020237011008A KR20237011008A KR20230048461A KR 20230048461 A KR20230048461 A KR 20230048461A KR 1020237011008 A KR1020237011008 A KR 1020237011008A KR 20237011008 A KR20237011008 A KR 20237011008A KR 20230048461 A KR20230048461 A KR 20230048461A
- Authority
- KR
- South Korea
- Prior art keywords
- parameters
- base signals
- signals
- audio
- low frequency
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 239000011159 matrix material Substances 0.000 claims abstract description 121
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000009877 rendering Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 abstract description 21
- 230000005236 sound signal Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000009472 formulation Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/03—Aspects of the reduction of energy consumption in hearing devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
오디오 채널들 또는 객체들의 제2 제시를 데이터 스트림으로 표현하는 방법으로서, 방법은 (a) 한 세트의 베이스 신호들을 제공하는 단계 - 베이스 신호들은 오디오 채널들 또는 객체들의 제1 제시를 표현함 -; (b) 한 세트의 변환 파라미터들을 제공하는 단계 - 변환 파라미터들은 제1 제시를 제2 제시로 변환하도록 의도되고; 변환 파라미터들은 적어도 2개의 주파수 대역에 대해 추가로 지정되고 주파수 대역들 중 적어도 하나에 대한 한 세트의 다중 탭 컨볼루션 행렬 파라미터들을 포함함 - 를 포함한다.
Description
관련 출원에 대한 상호 참조
본 출원은 2015년 8월 25일에 출원된 미국 가출원 제62/209,742호 및 2015년 10월 8일에 출원된 유럽 특허 출원 제15189008.4호의 이득을 주장하며, 그것의 각각은 전체적으로 참조로 이로써 포함된다.
기술분야
본 발명은 신호 처리의 분야에 관한 것으로, 특히, 공간화 성분들을 갖는 오디오 신호들의 효율적 송신을 위한 시스템을 개시한다.
명세서 도처에서 배경 기술의 임의의 논의는 그러한 기술이 널리 공지되거나 분야에서 공통적 일반 지식의 일부를 형성한다는 허가로 결코 간주되지 않아야 한다.
오디오의 콘텐츠 생성, 코딩, 분배 및 재현은 채널 기반 포맷으로 전통적으로 수행되며, 즉, 하나의 구체적 타겟 재생 시스템은 콘텐츠 에코시스템 도처에서 콘텐츠를 위해 구상된다. 그러한 타겟 재생 시스템 오디오 포맷들의 예들은 모노, 스테레오, 5.1, 7.1 등이다.
콘텐츠가 의도된 것과 상이한 재생 시스템 상에 재현되면, 다운믹싱 또는 업믹싱 프로세스가 적용될 수 있다. 예를 들어, 5.1 콘텐츠는 구체적 다운믹스 방정식들을 이용함으로써 스테레오 재생 시스템을 통해 재현될 수 있다. 다른 예는 7.1 스피커 셋업을 통한 스테레오 인코딩 콘텐츠의 재생이며, 그것은 소위 업믹싱 프로세스를 포함할 수 있으며, 이 프로세스는 스테레오 신호에 존재하는 정보에 의해 가이드될 수 있거나 가이드될 수 없다. 업믹싱이 가능한 시스템은 Dolby Laboratories Inc로부터의 돌비 프로 로직(Dolby Pro Logic)이다(Roger Dressler, "Dolby Pro Logic Surround Decoder, Principles of Operation", www.Dolby.com).
스테레오 또는 다중 채널 콘텐츠가 헤드폰들을 통해 재현될 때, 헤드 관련 임펄스 응답들(head-related impulse responses)(HRIRs), 또는 바이너럴 룸 임펄스 응답들(binaural room impulse responses)(BRIRs)에 의해 다중 채널 스피커 셋업을 시뮬레이션하는 것이 종종 바람직하며, 그들은 무반향 또는 반향(시뮬레이션된) 환경 각각에서, 음향 경로를 각각의 확성기로부터 고막들로 시뮬레이션한다. 특히, 오디오 신호들은 청취자가 각각의 개별 채널의 위치를 결정하는 것을 허용하는 바이너럴 간 레벨 차이들(inter-aural level differences)(ILDs), 바이너럴 간 시간 차이들(inter-aural time differences)(ITDs) 및 스펙트럼 큐들(spectral cues)을 복귀시키기 위해 HRIR들 또는 BRIR들과 컨볼빙(convolving)된다. 음향 환경(잔향)의 시뮬레이션은 또한 특정 지각된 거리를 달성하는 것을 돕는다.
음원 국부화 및 가상 스피커 시뮬레이션
스테레오, 다중 채널 또는 객체 기반 콘텐츠가 헤드폰들을 통해 재현될 때, 헤드 관련 임펄스 응답들(HRIRs), 또는 바이너럴 룸 임펄스 응답들(BRIRs)과의 컨볼루션에 의해 다중 채널 스피커 셋업 또는 한 세트의 별개 가상 음향 객체들을 시뮬레이션하는 것이 종종 바람직하며, 그들은 무반향 또는 반향(시뮬레이션된) 환경 각각에서, 음향 경로를 각각의 확성기로부터 고막들로 시뮬레이션한다.
특히, 오디오 신호들은 청취자가 각각의 개별 채널 또는 객체의 위치를 결정하는 것을 허용하는 바이너럴 간 레벨 차이들(ILDs), 바이너럴 간 시간 차이들(ITDs) 및 스펙트럼 큐들을 복귀시키기 위해 HRIR들 또는 BRIR들과 컨볼빙된다. 음향 환경(이른 반사들 및 늦은 잔향)의 시뮬레이션은 특정 지각된 거리를 달성하는 것을 돕는다.
도 1을 참조하면, 4 HRIR(예를 들어, 14)에 의한 처리를 위한 콘텐츠 저장소(12)에서 판독되는, 2개의 객체 또는 채널 신호(xi)(13, 11)를 렌더링하는 처리 흐름에 대한 개략적 개요인 10이 예시된다. 그 다음, HRIR 출력들은 재생을 위한 헤드폰 스피커 출력들을 헤드폰들(18)을 통해 청취자에게 생성하기 위해, 각각의 채널 신호에 대해 합산된다(15, 16). HRIR들의 기본 원리는 예를 들어, Wightman 등(1989)에 설명된다.
HRIR/BRIR 컨볼루션 접근법은 수개의 결점들과 함께 오며, 그들 중 하나는 헤드폰 재생을 위해 요구되는 처리의 실질적 양이다. HRIR 또는 BRIR 컨볼루션은 모든 입력 객체 또는 채널에 개별적으로 적용될 필요가 있고, 따라서 복잡도는 전형적으로 채널들 또는 객체들의 수에 따라 선형적으로 증가한다. 헤드폰들이 전형적으로 배터리 구동 휴대용 디바이스들과 함께 사용됨에 따라, 높은 계산 복잡도는 배터리 수명을 실질적으로 단축하므로 바람직하지 않다. 더욱이, 동시에 활성인 100보다 많은 객체들로 구성될 수 있는 객체 기반 오디오 콘텐츠의 도입에 따라, HRIR 컨볼루션의 복잡도는 종래의 채널 기반 콘텐츠에 대한 것보다 실질적으로 더 높을 수 있다.
파라메트릭 코딩 기술들
계산 복잡도는 콘텐츠 편집지원(authoring), 분배 및 재현을 수반하는 에코시스템 내에서 채널 또는 객체 기반 콘텐츠의 전달을 위한 유일한 문제는 아니다. 많은 실제 상황들에서, 그리고 특히 이동 애플리케이션들에 대해, 콘텐츠 전달에 이용가능한 데이터 속도는 심하게 제약된다. 소비자들, 방송인들 및 콘텐츠 제공자들은 48 및 192 kbits/s 사이의 전형적 비트 속도들을 갖는 손실 지각 오디오 코덱들을 사용하여 스테레오(2-채널) 오디오 콘텐츠를 전달하고 있었다. MPEG-1 계층 3(Brandenberg 등, 1994), MPEG AAC(Bosi 등, 1997) 및 돌비 디지털(Andersen 등, 2004)과 같은 이러한 종래의 채널 기반 오디오 코덱들은 채널들의 수에 따라 거의 선형으로 스케일링되는 비트 속도를 갖는다. 그 결과, 수십 또는 심지어 수백의 객체들의 전달은 소비자 전달 목적들을 위해 비실제적이거나 심지어 이용가능하지 않은 비트 속도들을 야기한다.
종래의 지각 오디오 코덱들을 사용하여 스테레오 콘텐츠 전달을 위해 요구되는 비트 속도와 비교가능한 비트 속도들에서 복합 객체 기반 콘텐츠의 전달을 허용하기 위해, 소위 파라메트릭 방법들은 지난 10년 동안 연구 및 개발을 겪게 되었다. 이러한 파라메트릭 방법들 비교적 낮은 수의 베이스 신호들로부터 큰 수의 채널들 또는 객체들의 재구성을 허용한다. 이러한 베이스 신호들은 원래 객체들 또는 채널들의 재구성을 허용하기 위해 부가(파라메트릭) 정보로 증대되는, 종래의 오디오 코덱들을 사용하여 송신기로부터 수신기로 전달될 수 있다. 그러한 기술들의 예들은 파라메트릭 스테레오(Schuijers 등, 2004), MPEG 서라운드(Herre 등, 2008), 및 MPEG 공간 오디오 객체 코딩(Herre 등, 2012)이다.
파라메트릭 스테레오 및 MPEG 서라운드와 같은 기술들의 중요한 양태는 이러한 방법들이 단일의, 미리 결정된 제시의 파라메트릭 재구성(예를 들어, 파라메트릭 스테레오에서의 스테레오 확성기들, 및 MPEG 서라운드에서의 5.1 확성기들)을 목표로 하는 것이다. MPEG 서라운드의 경우에, 헤드폰 버추얼라이저는 헤드폰들을 위한 가상 5.1 확성기 셋업을 발생시키는 디코더에 통합될 수 있으며, 가상 5.1 스피커들은 확성기 재생을 위한 5.1 확성기 셋업에 대응한다. 따라서, 이러한 제시들은 헤드폰 제시가 동일한(가상) 확성기 레이아웃을 확성기 제시로 표현한다는 점에서 독립적이지 않다. 다른 한편, MPEG 공간 오디오 객체 코딩은 후속 렌더링을 필요로 하는 객체들의 재구성을 목표로 한다.
이제 도 2를 참조하면, 채널들 및 객체들을 지원하는 파라메트릭 시스템(20)이 개요로 설명될 것이다. 시스템은 인코더(21) 및 디코더(22) 부분들로 분할된다. 인코더(21)는 채널들 및 객체들(23)을 입력들로 수신하고, 제한된 수의 베이스 신호들과 다운 믹스(24)를 발생시킨다. 부가적으로, 일련의 객체/채널 재구성 파라미터들(25)이 계산된다. 신호 인코더(26)는 다운믹서(24)로부터 베이스 신호들을 인코딩하고, 계산된 파라미터들(25)뿐만 아니라, 객체들이 결과적 비트 스트림에 어떻게 렌더링되어야 하는지를 표시하는 객체 메타데이터(27)를 포함한다.
디코더(22)가 우선 베이스 신호들을 디코딩한 후에(29), 송신된 재구성 파라미터들(31)의 도움으로 채널 및/또는 객체 재구성(30)이 이어진다. 결과적 신호들은 (이들이 채널들이면) 직접 재현될 수 있거나 (이들이 객체들이면) 렌더링될 수 있다(32). 후자에 대해, 각각 재구성된 객체 신호는 그것의 연관된 객체 메타데이터(33)에 따라 렌더링된다. 그러한 메타데이터의 일 예는 위치 벡터(예를 들어 3차원 좌표 시스템에서의 객체의 x, y, 및 z 좌표)이다.
디코더 행렬화
객체 및/또는 채널 재구성(30)은 시간 및 주파수 가변 행렬 연산들에 의해 달성될 수 있다. 디코딩된 베이스 신호들(35)은 s가 베이스 신호 인덱스이고, n이 샘플 인덱스인 zs[n]에 의해 표시되면, 제1 단계는 전형적으로 변환 또는 필터 뱅크에 의해 베이스 신호들의 변환을 포함한다.
매우 다양한 변환들 및 필터 뱅크들, 예컨대 이산 푸리에 변환(Discrete Fourier Transform)(DFT), 수정된 이산 코사인 변환(Modified Discrete Cosine Transform)(MDCT), 또는 직교 미러 필터(Quadrature Mirror Filter)(QMF) 뱅크가 사용될 수 있다. 그러한 변환 또는 필터 뱅크의 출력은 Zs[k, b]에 의해 표시되며 b는 부대역 또는 스펙트럼 인덱스이고, k는 프레임, 슬롯 또는 부대역 시간 또는 샘플 인덱스이다.
대부분의 경우들에서, 부대역들 또는 스펙트럼 인덱스들은 공통 객체/채널 재구성 파라미터들을 공유하는 더 작은 세트의 파라미터 대역들(p)에 매핑된다. 이것은 에 의해 표시될 수 있다. 다시 말해, B(p)는 파라미터 대역 인덱스(p)에 속하는 한 세트의 연속 부대역들(b)을 표현한다. 역으로, p(b)는 부대역(b)이 매핑되는 파라미터 대역 인덱스(p)를 언급한다. 그 다음, 부대역 또는 변환 도메인 재구성 채널들 또는 객체들()은 신호들(Zi)을 행렬들(M[p(b)])과 행렬화함으로써 획득된다:
그 후에, 시간 도메인 재구성 채널 및/또는 객체 신호들(yj[n])은 역 변환, 또는 합성 필터 뱅크에 의해 획득된다.
상기 프로세스는 전형적으로 부대역 샘플들, 슬롯들 또는 프레임들(k)의 특정한 제한 범위에 적용된다. 다시 말해, 행렬들(M[p(b)])은 전형적으로 시간에 따라 갱신/수정된다. 표기의 단순화를 위해, 이러한 갱신들은 여기서 표시되지 않는다. 그러나, 행렬(M[p(b)])과 연관되는 한 세트의 샘플들(k)의 처리가 시간 변화 프로세스일 수 있는 것이 고려된다.
재구성된 신호들(J)의 수가 베이스 신호들(S)의 수보다 상당히 더 큰 일부 경우들에서, 재구성된 출력 신호들에 포함될 수 있는 하나 이상의 베이스 신호를 조작하는 임의적 역상관기 출력들(Dm[k, b])을 사용하는 것이 종종 도움이 된다:
도 3은 도 2의 채널 또는 객체 재구성 유닛(30)의 하나의 형태를 더 상세히 개략적으로 예시한다. 입력 신호들(35)이 우선 분석 필터 뱅크들(41)에 의해 처리된 후에, 임의적 역상관(D1, D2)(44) 및 행렬화(42), 및 합성 필터 뱅크(43)가 이어진다. 행렬(M[p(b)]) 조작은 재구성 파라미터들(31)에 의해 제어된다.
객체/채널 재구성을 위한 최소 평균 제곱 에러(Minimum mean square error)(MMSE) 예측
상이한 전략들 및 방법들이 한 세트의 베이스 신호들(Zs[k, b])로부터 객체들 또는 채널들을 재구성하기 위해 존재하지만, 하나의 특정 방법은 원하고 재구성된 신호 사이의 L2 노옴(norm)을 최소화하는 행렬 계수들(M)을 유도하기 위해 상관들 및 공분산 행렬들을 사용하는 최소 평균 제곱 에러(MMSE) 예측기로 종종 언급된다. 이러한 방법에 대해, 베이스 신호들(zs[n])은 입력 객체 또는 채널 신호들(Xi[n])의 선형 조합으로 인코더의 다운믹서(24)에서 발생되는 것으로 가정된다:
채널 기반 입력 콘텐츠에 대해, 진폭 패닝 이득들(gi,s)은 전형적으로 일정한 반면에, 객체의 의도된 위치가 시간 변환 객체 메타데이터에 의해 제공되는 객체 기반 콘텐츠에 대해, 이득들(gi,s)은 따라서 시간 변화될 수 있다. 이러한 방정식은 또한 변환 또는 부대역 도메인에서 공식화될 수 있으며, 그 경우에 한 세트의 이득들(gi,s[k])은 모든 주파수 빈/대역(k)을 위해 사용되고, 그와 같이, 이득들(gi,s[k])은 주파수 변화에 이루어질 수 있다:
역상관기들을 우선 무시하는 디코더 행렬(42)은 이하를 생성한다:
또는 행렬 공식화에서, 명료성을 위해 부대역 인덱스(b) 및 파라미터 대역 인덱스(p)를 생략한다:
Y = ZM
Z = XG
그 다음, E를 최소화하는 행렬 계수들은 이하에 의해 행렬 표기로 주어진다:
엡실론은 규칙화 상수이고, (*)는 복소 공액 전치 연산자이다. 이러한 연산은 각각의 파라미터 대역(p)에 대해 독립적으로 수행될 수 있어, 행렬(M[p(b)])를 생성한다.
표현 변환을 위한 최소 평균 제곱 에러(MMSE) 예측
객체들 및/또는 채널들의 재구성 외에, 파라메트릭 기술들은 하나의 표현을 다른 표현으로 변환하기 위해 사용될 수 있다. 그러한 표현 변환의 일 예는 확성기 재생을 위해 의도되는 스테레오 믹스를 헤드폰들을 위한 바이너럴 표현으로 변환하는 것이거나, 그 역도 또한 같다.
도 4는 하나의 그러한 표현 변환을 위한 방법(50)에 대한 제어 흐름을 예시한다. 객체 또는 채널 오디오는 우선 혼성 직교 미러 필터 분석 뱅크(54)에 의해 인코더(52)에서 처리된다. 확성기 렌더링 행렬(G)은 진폭 패닝 기술들(amplitude panning techniques)을 사용하는 객체 메타데이터에 기초하여 계산되고 저장 매체(51)에 저장되는 객체 신호들(Xi)에 적용되어(55), 스테레오 확성기 제시(Zs)를 야기한다. 이러한 확성기 제시는 오디오 코더(57)에 의해 인코딩될 수 있다.
부가적으로, 바이너럴 렌더링 행렬(H)은 HRTF 데이터베이스(59)를 사용하여 발생되고 적용된다(58). 이러한 행렬(H)은 스테레오 확성기 믹스를 입력으로 사용하여 바이너럴 믹스의 재구성을 허용하는 바이너럴 신호들(Yj)을 계산하기 위해 사용된다. 행렬 계수들(M)은 오디오 인코더(57)에 의해 인코딩된다.
송신된 정보는 인코더(52)로부터 디코더(53)로 송신되며 그것은 성분들(M 및 Zs)을 포함하기 위해 패킹(packing)되지 않는다(61). 확성기들이 재현 시스템으로 사용되면, 확성기 제시는 채널 정보(Zs)를 사용하여 재현되고 따라서 행렬 계수들(M)은 폐기된다. 다른 한편, 헤드폰 재생에 대해, 확성기 제시는 우선 혼성 QMF 합성 및 재현(60) 전에 시간 및 주파수 가변 행렬(M)을 적용함으로써 바이너럴 제시로 변환된다(62).
행렬화 요소(62)로부터의 원하는 바이너럴 출력이 행렬 표기로 기입되면 이하와 같다:
Y = XH
그 다음, 행렬 계수들(M)은 이하에 의해 인코더(52)에서 획득될 수 있다:
이러한 적용에서, 58에서 적용되는 인코더 행렬(H)의 계수들은 전형적으로 헤드폰들 상의 음원 국부화에 지각적으로 매우 관련있는 바이너럴 간 시간 차이들의 복귀를 허용하기 위해, 예를 들어 지연 또는 위상 수정 요소를 갖는 복소수 값이다. 다시 말해, 바이너럴 렌더링 행렬(H)은 복소수 값이고, 따라서 변환 행렬(M)은 복소수 값이다. 음원 국부화 큐들의 지각적으로 투명한 복귀에 대해, 인간 청각 시스템의 주파수 분해능을 모방하는 주파수 분해능이 요구되는 것이 제시되었다(Breebaart 2010).
상기 섹션들에서, 최소 평균 제곱 에러 기준은 행렬 계수들(M)을 결정하기 위해 이용된다. 일반성의 손실 없이, 행렬 계수들을 계산하는 다른 널리 공지된 기준들 또는 방법들은 최소 평균 제곱 에러 원리를 대체하거나 증가시키기 위해 유사하게 사용될 수 있다. 예를 들어, 행렬 계수들(M)은 고차 에러 항들을 사용하여, 또는 L1 노옴의 최소화(예를 들어, 최소 절대 편차 기준)에 의해 계산될 수 있다. 더욱이, 비음수 인수분해 또는 최적화 기술들, 비파라메트릭 추정기들, 최대 우도 추정기들, 및 비슷한 것을 포함하는 다양한 방법들이 이용될 수 있다. 부가적으로, 행렬 계수들은 반복 또는 기울기 하강 프로세스들, 보간 방법들, 발견적 방법들, 동적 프로그래밍, 기계 학습, 퍼지 최적화, 시뮬레이션 어닐링, 또는 폐쇄 형식 솔루션들을 사용하여 계산될 수 있고, 합성에 의한 분석 기술들이 사용될 수 있다. 마지막으로 그러나 역시 주요한 것이지만, 행렬 계수 추정은 다양한 방식들, 예를 들어 값들의 범위, 규칙화 조건, 에너지 보존 요건들의 중복 및 비슷한 것을 제한함으로써, 다양한 방식들로 제약될 수 있다.
변환 및 필터 뱅크 요건들
적용, 및 객체들 또는 채널들이 재구성되는지에 따라, 특정 요건들은 도 3의 필터 뱅크 유닛(41)을 위한 변환 또는 필터 뱅크 주파수 분해능에 중첩될 수 있다. 가장 실제적인 적용들에서, 주파수 분해능은 주어진 비트 속도(파라미터들의 수에 의해 결정됨) 및 복잡도를 위한 최상의 지각된 오디오 품질을 제공하기 위해 인간 청력 시스템의 가정된 분해능에 매칭된다. 인간 청각 시스템은 비선형 주파수 분해능을 갖는 필터 뱅크로 생각될 수 있는 것이 공지되어 있다. 이러한 필터들은 임계 대역들로 언급되고(Zwicker, 1961) 거의 자연 대수이다. 낮은 주파수들에서, 임계 대역들은 100 Hz 폭 미만인 반면에, 높은 주파수들에서, 임계 대역들은 1 kHz보다 더 넓은 것으로 발견될 수 있다.
이러한 비선형 작용은 필터 뱅크 디자인에 도달할 때 도전들을 제기할 수 있다. 변환들 및 필터 뱅크들은 주파수 분해능이 주파수에 걸쳐 일정하면, 그들의 처리 구조에서 대칭들을 사용하여 매우 효율적으로 구현될 수 있다.
이것은 변환 길이, 또는 부대역들의 수가 낮은 주파수들에서 임계 대역폭에 의해 결정되고, DFT 빈들을 소위 파라미터 대역들 위로의 매핑이 비선형 주파수 분해능을 모방하기 위해 이용될 수 있는 것을 암시한다. 그러한 매핑 프로세스는 예를 들어 Breebaart 등, (2005) 및 Breebaart 등, (2010)에 설명된다. 이러한 접근법의 하나의 결점은 매우 긴 변환이 낮은 주파수 임계 대역폭 제한을 충족시키도록 요구되는 반면에, 변환이 높은 주파수들에서 비교적 길다는(또는 비효율적이라는) 점이다. 낮은 주파수들에서 주파수 분해능을 증대시키는 대안 솔루션은 혼성 필터 뱅크 구조를 사용하는 것이다. 그러한 구조에서, 2개의 필터 뱅크의 캐스케이드가 이용되며, 제2 필터 뱅크는 첫번째의 분해능을 증대시키지만, 가장 낮은 부대역들 중 수개에서만 증대시킨다(Schuijers 등, 2004).
도 5는 Schuijers 등에 정리되는 것과 유사한 혼성 필터 뱅크 구조(41)의 하나의 형태를 예시한다. 입력 신호(z[n])는 우선 복소수 값 직교 미러 필터 분석 뱅크(complex-valued Quadrature Mirror Filter analysis bank)(CQMF)(71)에 의해 처리된다. 그 후에, 신호들은 인자(Q) 예를 들어 72만큼 다운 샘플링되어 부대역 신호들(Z[k, b])을 야기하며 k는 부대역 샘플 인덱스이고, b는 부대역 주파수 인덱스이다. 더욱이, 결과적 부대역 신호들 중 적어도 하나는 제2(나이퀴스트) 필터 뱅크(74)에 의해 처리되는 반면에, 나머지 부대역 신호들은 나이퀴스트 필터 뱅크에 의해 도입되는 지연을 보상하기 위해 지연된다(75). 이러한 특정 예에서, 필터 뱅크들의 캐스케이드는 비선형 주파수 분해능을 갖는 6 파라미터 대역(p = (1,...,6)) 위로 매핑되는 8 부대역(b = 1,...,8)을 야기한다. 대역들(76)은 단일 파라미터 대역(p=6)을 형성하기 위해 함께 병합된다.
이러한 접근법의 이득은 더욱 많은(더 좁은) 부대역들을 갖는 단일 필터 뱅크를 사용하는 것과 비교하여 더 낮은 복잡도이다. 그러나, 단점은 전체 시스템의 지연이 상당히 증가하고, 따라서, 메모리 사용이 또한 상당히 더 높아져 전력 소비의 증가를 야기한다는 것이다.
종래 기술의 제한들
도 4로 돌아가면, 한 세트의 베이스 신호들(Zs)로부터 채널들, 객체들, 또는 제시 신호들()을 재구성하기 위해, 종래 기술이 역상관기들의 사용으로 가능한 한 증대되는, 행렬화(62)의 개념을 이용하는 것이 제안된다. 이것은 종래 기술을 일반 방식으로 설명하기 위해 이하의 행렬 공식화를 초래한다:
행렬 계수들(M)은 예를 들어 파라메트릭 스테레오 코딩을 위한 Breebaart 등 2005 또는 다중 채널 디코딩을 위한 Herre 등, (2008)에 설명된 바와 같이, 인코더로부터 디코더로 직접 송신되거나, 음원 국부화 파라미터들로부터 유도된다. 더욱이, 이러한 접근법은 또한 복소수 값 행렬 계수들을 사용함으로써 채널간 위상 차이들을 복귀시키기 위해 사용될 수 있다(예를 들어 Breebaart 등, 2010 및 Breebaart, 2005 참조).
도 6에 예시된 바와 같이, 실제로, 복소수 값 행렬 계수들을 사용하는 것은 원하는 지연(80)이 구분적 일정 위상 근사치(81)에 의해 표현되는 것을 암시한다. 원하는 위상 응답이 주파수에 의한 선형 감소 위상을 가진 순수 지연(80)(파선)인 것을 가정하면, 종래 기술 복소수 값 행렬화 동작은 구분적 일정 근사치(81)(실선)를 야기한다. 근사치는 행렬(M)의 분해능을 증가시킴으로써 개선될 수 있다. 그러나, 이것은 2개의 중요한 단점을 갖는다. 그것은 필터 뱅크의 분해능의 증가를 필요로 하여, 더 높은 메모리 사용, 더 높은 계산 복잡도, 더 긴 레이턴시, 및 따라서 더 높은 전력 소비를 야기한다. 그것은 또한 더 많은 파라미터들이 송신되는 것을 필요로 하여, 더 높은 비트 속도를 야기한다.
모든 이러한 단점들은 이동 및 배터리 구동 디바이스들에 특히 문제가 있다. 그것은 더 최적인 솔루션이 이용가능하면 유리할 것이다.
발명의 목적은 상이한 제시들에서의 재현을 위해 오디오 신호들을 인코딩하고 디코딩하는 개선된 형태를 그것의 바람직한 형태로, 제공하는 것이다.
본 발명의 제1 양태에 따라, 오디오 채널들 또는 객체들의 제2 제시를 데이터 스트림으로 표현하는 방법이 제공되며, 방법은 (a) 한 세트의 베이스 신호들을 제공하는 단계 - 베이스 신호들은 오디오 채널들 또는 객체들의 제1 제시를 표현함 -; (b) 한 세트의 변환 파라미터들을 제공하는 단계 - 변환 파라미터들은 제1 제시를 제2 제시로 변환하도록 의도되고; 변환 파라미터들은 적어도 2개의 주파수 대역에 대해 추가로 지정되고 주파수 대역들 중 적어도 하나에 대한 한 세트의 다중 탭 컨볼루션 행렬 파라미터들을 포함함 - 를 포함한다.
세트의 필터 계수들은 유한 임펄스 응답(finite impulse response)(FIR) 필터를 표현할 수 있다. 세트의 베이스 신호들은 일련의 시간 세그먼트들로 분배되는 것이 바람직하고, 한 세트의 변환 파라미터들은 각각의 시간 세그먼트를 위해 제공될 수 있다. 필터 계수들은 복소수 값일 수 있는 적어도 하나의 계수를 포함할 수 있다. 제1 또는 제2 제시는 헤드폰 재생을 위해 의도될 수 있다.
일부 실시예들에서, 더 높은 주파수들과 연관되는 변환 파라미터들은 신호 위상을 수정하지 않는 반면에, 더 낮은 주파수들에 대해, 변환 파라미터들은 신호 위상을 수정한다. 세트의 필터 계수들은 다중 탭 컨볼루션 행렬을 처리하기 위해 조작가능할 수 있는 것이 바람직하다. 세트의 필터 계수들은 낮은 주파수 대역을 처리하기 위해 이용될 수 있는 것이 바람직하다.
세트의 베이스 신호들 및 세트의 변환 파라미터들은 데이터 스트림을 형성하기 위해 조합되는 것이 바람직하다. 변환 파라미터들은 세트의 베이스 신호들의 높은 주파수 부분의 행렬 조작을 위한 높은 주파수 오디오 행렬 계수들을 포함할 수 있다. 일부 실시예들에서, 세트의 베이스 신호들의 높은 주파수 부분의 중간 주파수 부분에 대해, 행렬 조작은 복소수 값 변환 파라미터들을 포함할 수 있는 것이 바람직하다.
본 발명의 추가 양태에 따라, 인코딩된 오디오 신호를 디코딩하기 위한 디코더가 제공되며, 인코딩된 오디오 신호는 오디오의 재현을 위해 의도되는 한 세트의 오디오 베이스 신호들을 제1 오디오 제시 포맷으로 포함하는 제1 제시; 및 제1 제시 포맷의 오디오 베이스 신호들을 제2 제시 포맷으로 변환하기 위한 한 세트의 변환 파라미터들 - 변환 파라미터들은 적어도 높은 주파수 오디오 변환 파라미터들 및 낮은 주파수 오디오 변환 파라미터들을 포함하며, 낮은 주파수 변환 파라미터들은 다중 탭 컨볼루션 행렬 파라미터들을 포함함 - 을 포함하고, 디코더는 세트의 오디오 베이스 신호들, 및 세트의 변환 파라미터들을 분리하기 위한 제1 분리 유닛, 다중 탭 컨볼루션 행렬 파라미터들을 오디오 베이스 신호들의 낮은 주파수 성분들에 적용하기 위한 행렬 승산 유닛 - 컨볼루션을 낮은 주파수 성분들에 적용하기 위해, 컨볼빙된 낮은 주파수 성분들을 생성함 -; 및 스칼라 높은 주파수 성분들을 생성하기 위해 높은 주파수 오디오 변환 파라미터들을 오디오 베이스 신호들의 높은 주파수 성분들에 적용하기 위한 스칼라 승산 유닛; 시간 도메인 출력 신호를 제2 제시 포맷으로 생성하기 위해 컨볼빙된 낮은 주파수 성분들 및 스칼라 높은 주파수 성분들을 조합하기 위한 출력 필터 뱅크를 포함한다.
행렬 승산 유닛은 오디오 베이스 신호들의 낮은 주파수 성분들의 위상을 수정할 수 있다. 일부 실시예들에서, 다중 탭 컨볼루션 행렬 변환 파라미터들은 복소수 값인 것이 바람직하다. 높은 주파수 오디오 변환 파라미터들은 또한 복소수 값인 것이 바람직하다. 게다가, 세트의 변환 파라미터들은 실수 값 더 높은 주파수 오디오 변환 파라미터들을 포함할 수 있다. 일부 실시예들에서, 디코더는 오디오 베이스 신호들을 낮은 주파수 성분들 및 높은 주파수 성분들로 분리하기 위한 필터들을 더 포함할 수 있다.
본 발명의 추가 양태에 따라, 인코딩된 오디오 신호를 디코딩하는 방법이 제공되며, 인코딩된 오디오 신호는 오디오의 재현을 위해 의도되는 한 세트의 오디오 베이스 신호들을 제1 오디오 제시 포맷으로 포함하는 제1 제시; 및 제1 제시 포맷인 오디오 베이스 신호들을 제2 제시 포맷으로 변환하기 위한 한 세트의 변환 파라미터들 - 변환 파라미터들은 적어도 높은 주파수 오디오 변환 파라미터들 및 낮은 주파수 오디오 변환 파라미터들을 포함하고, 낮은 주파수 변환 파라미터들은 다중 탭 컨볼루션 행렬 파라미터들을 포함함 - 을 포함하고, 방법은 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 오디오 베이스 신호들의 낮은 주파수 성분들을 낮은 주파수 변환 파라미터들과 컨볼빙하는 단계; 승산된 높은 주파수 성분들을 생성하기 위해 오디오 베이스 신호들의 높은 주파수 성분들을 높은 주파수 변환 파라미터들과 승산하는 단계; 제2 제시 포맷을 통한 재생을 위한 출력 오디오 신호 주파수 성분들을 생성하기 위해 컨볼빙된 낮은 주파수 성분들 및 승산된 높은 주파수 성분들을 조합하는 단계를 포함한다.
일부 실시예들에서, 인코딩된 신호는 다수의 시간 세그먼트들을 포함할 수 있고, 방법은 보간된 낮은 주파수 오디오 변환 파라미터들을 포함하는, 보간된 변환 파라미터들을 생성하기 위해 인코딩된 신호의 다수의 시간 세그먼트들의 변환 파라미터들을 보간하는 단계; 및 컨볼빙된 낮은 주파수 성분들의 다수의 시간 세그먼트들을 생성하기 위해 오디오 베이스 신호들의 낮은 주파수 성분들의 다수의 시간 세그먼트들을 보간된 낮은 주파수 오디오 변환 파라미터들과 컨볼빙하는 단계를 포함할 수 있는 것이 추가로 바람직하다.
인코딩된 오디오 신호의 세트의 변환 파라미터들은 시간 가변일 수 있는 것이 바람직하고, 방법은 다수의 세트의 중간 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 낮은 주파수 성분들을 다수의 시간 세그먼트들에 대한 낮은 주파수 변환 파라미터들과 컨볼빙하는 단계; 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 다수의 세트의 중간 컨볼빙된 낮은 주파수 성분들을 보간하는 단계를 포함할 수 있는 것이 추가로 바람직하다.
보간은 다수의 세트의 중간 컨볼빙된 낮은 주파수 성분들의 중복 및 가산 방법을 이용할 수 있다.
발명의 실시예들은 이제, 첨부 도면들을 참조하여, 예로서만, 설명될 것이다.
도 1은 2개의 소스 객체에 대한 HRIR 컨볼루션 프로세스의 개략적 개요를 예시하며, 각각의 채널 또는 객체는 한 쌍의 HRIR들/BRIR들에 의해 처리된다.
도 2는 채널들 및 객체들을 지원하는 일반 파라메트릭 코딩 시스템을 개략적으로 예시한다.
도 3은 도 2의 채널 또는 객체 재구성 유닛(30)의 하나의 형태를 더 상세히 개략적으로 예시한다.
도 4는 스테레오 확성기 제시를 바이너럴 헤드폰들 제시로 변환하는 방법의 데이터 흐름을 예시한다.
도 5는 종래 기술에 따른 혼성 분석 필터 뱅크 구조를 개략적으로 예시한다.
도 6은 종래 기술에 의해 획득되는 원하는(파선) 및 실제(실선) 위상 응답의 비교를 예시한다.
도 7은 발명의 일 실시예에 따른 예시적 인코더 필터 뱅크 및 파라미터 매핑 시스템을 개략적으로 예시한다.
도 8은 일 실시예에 따른 디코더 필터 뱅크 및 파라미터 매핑을 개략적으로 예시한다.
도 9는 스테레오를 바이너럴 제시들로의 변환을 위한 인코더를 예시한다.
도 10은 스테레오를 바이너럴 제시들로의 변환을 위한 디코더를 개략적으로 예시한다.
참조문헌들
Wightman, F. L., and Kistler, D. J. (1989). "Headphone simulation of free-field listening. I. Stimulus synthesis," J. Acoust. Soc. Am. 85, 858-867.
Schuijers, Erik, et al. (2004). "Low complexity parametric stereo coding." Audio Engineering Society Convention 116. Audio Engineering Society.
Herre, J., Kjorling, K., Breebaart, J., Faller, C., Disch, S., Purnhagen, H.,... & Chong, K. S. (2008). MPEG surround-the ISO/MPEG standard for efficient and compatible multichannel audio coding. Journal of the Audio Engineering Society, 56(11), 932-955.
Herre, J., Purnhagen, H., Koppens, J., Hellmuth, O., ., Engdegrd, J., Hilpert, J., & Oh, H. O. (2012). MPEG Spatial Audio Object Coding-the ISO/MPEG standard for efficient coding of interactive audio scenes. Journal of the Audio Engineering Society, 60(9), 655-673.
Brandenburg, K., & Stoll, G. (1994). ISO/MPEG-1 audio: A generic standard for coding of high-quality digital audio. Journal of the Audio Engineering Society, 42(10), 780-792.
Bosi, M., Brandenburg, K., Quackenbush, S., Fielder, L., Akagiri, K., Fuchs, H., & Dietz, M. (1997). ISO/IEC MPEG-2 advanced audio coding. Journal of the Audio engineering society, 45(10), 789-814.
Andersen, R. L., Crockett, B. G., Davidson, G. A., Davis, M. F., Fielder, L. D., Turner, S. C., ... & Williams, P. A. (2004, October). Introduction to Dolby digital plus, an enhancement to the Dolby digital coding system. In Audio Engineering Society Convention 117. Audio Engineering Society.
Zwicker, E. (1961). Subdivision of the audible frequency range into critical bands(Frequenzgruppen). The Journal of the Acoustical Society of America,(33(2)), 248.
Breebaart, J., van de Par, S., Kohlrausch, A., & Schuijers, E. (2005). Parametric coding of stereo audio. EURASIP Journal on Applied Signal Processing, 2005, 1305-1322.
Breebaart, J., Nater, F., & Kohlrausch, A. (2010). Spectral and spatial parameter resolution requirements for parametric, filter-bank-based HRTF processing. Journal of the Audio Engineering Society, 58(3), 126-140.
Breebaart, J., van de Par, S., Kohlrausch, A., & Schuijers, E. (2005). Parametric coding of stereo audio. EURASIP Journal on Applied Signal Processing, 2005, 1305-1322.
도 1은 2개의 소스 객체에 대한 HRIR 컨볼루션 프로세스의 개략적 개요를 예시하며, 각각의 채널 또는 객체는 한 쌍의 HRIR들/BRIR들에 의해 처리된다.
도 2는 채널들 및 객체들을 지원하는 일반 파라메트릭 코딩 시스템을 개략적으로 예시한다.
도 3은 도 2의 채널 또는 객체 재구성 유닛(30)의 하나의 형태를 더 상세히 개략적으로 예시한다.
도 4는 스테레오 확성기 제시를 바이너럴 헤드폰들 제시로 변환하는 방법의 데이터 흐름을 예시한다.
도 5는 종래 기술에 따른 혼성 분석 필터 뱅크 구조를 개략적으로 예시한다.
도 6은 종래 기술에 의해 획득되는 원하는(파선) 및 실제(실선) 위상 응답의 비교를 예시한다.
도 7은 발명의 일 실시예에 따른 예시적 인코더 필터 뱅크 및 파라미터 매핑 시스템을 개략적으로 예시한다.
도 8은 일 실시예에 따른 디코더 필터 뱅크 및 파라미터 매핑을 개략적으로 예시한다.
도 9는 스테레오를 바이너럴 제시들로의 변환을 위한 인코더를 예시한다.
도 10은 스테레오를 바이너럴 제시들로의 변환을 위한 디코더를 개략적으로 예시한다.
참조문헌들
Wightman, F. L., and Kistler, D. J. (1989). "Headphone simulation of free-field listening. I. Stimulus synthesis," J. Acoust. Soc. Am. 85, 858-867.
Schuijers, Erik, et al. (2004). "Low complexity parametric stereo coding." Audio Engineering Society Convention 116. Audio Engineering Society.
Herre, J., Kjorling, K., Breebaart, J., Faller, C., Disch, S., Purnhagen, H.,... & Chong, K. S. (2008). MPEG surround-the ISO/MPEG standard for efficient and compatible multichannel audio coding. Journal of the Audio Engineering Society, 56(11), 932-955.
Herre, J., Purnhagen, H., Koppens, J., Hellmuth, O., ., Engdegrd, J., Hilpert, J., & Oh, H. O. (2012). MPEG Spatial Audio Object Coding-the ISO/MPEG standard for efficient coding of interactive audio scenes. Journal of the Audio Engineering Society, 60(9), 655-673.
Brandenburg, K., & Stoll, G. (1994). ISO/MPEG-1 audio: A generic standard for coding of high-quality digital audio. Journal of the Audio Engineering Society, 42(10), 780-792.
Bosi, M., Brandenburg, K., Quackenbush, S., Fielder, L., Akagiri, K., Fuchs, H., & Dietz, M. (1997). ISO/IEC MPEG-2 advanced audio coding. Journal of the Audio engineering society, 45(10), 789-814.
Andersen, R. L., Crockett, B. G., Davidson, G. A., Davis, M. F., Fielder, L. D., Turner, S. C., ... & Williams, P. A. (2004, October). Introduction to Dolby digital plus, an enhancement to the Dolby digital coding system. In Audio Engineering Society Convention 117. Audio Engineering Society.
Zwicker, E. (1961). Subdivision of the audible frequency range into critical bands(Frequenzgruppen). The Journal of the Acoustical Society of America,(33(2)), 248.
Breebaart, J., van de Par, S., Kohlrausch, A., & Schuijers, E. (2005). Parametric coding of stereo audio. EURASIP Journal on Applied Signal Processing, 2005, 1305-1322.
Breebaart, J., Nater, F., & Kohlrausch, A. (2010). Spectral and spatial parameter resolution requirements for parametric, filter-bank-based HRTF processing. Journal of the Audio Engineering Society, 58(3), 126-140.
Breebaart, J., van de Par, S., Kohlrausch, A., & Schuijers, E. (2005). Parametric coding of stereo audio. EURASIP Journal on Applied Signal Processing, 2005, 1305-1322.
이러한 바람직한 실시예는 낮은 주파수 분해능을 갖는 필터 뱅크들에 적용될 수 있는 한 세트의 베이스 신호들로부터 객체들, 채널들 또는 '제시들'을 재구성하는 방법을 제공한다. 일 예는 나이퀴스트(혼성) 필터 뱅크 없이 적용될 수 있는 헤드폰 재생을 위해 의도되는 바이너럴 제시로 스테레오 제시의 변환이다. 감소된 디코더 주파수 분해능은 다중 탭, 컨볼루션 행렬에 의해 보상된다. 이러한 컨볼루션 행렬은 수개의 탭들(예를 들어 2개)만을 필요로 하고, 실제 경우들에서, 낮은 주파수들에서만 요구된다. 이러한 방법 (1)은 디코더의 계산 복잡도를 감소시키고, (2)는 디코더의 메모리 사용을 감소시키고, (3)은 파라미터 비트 속도를 감소시킨다.
바람직한 실시예에서, 바람직하지 않은 디코더 측 계산 복잡도 및 메모리 요건들을 극복하는 시스템 및 방법이 제공된다. 이것은 인코더에서 높은 주파수 분해능을 제공하고, 디코더에서 제약된(더 낮은) 주파수 분해능을 이용하고(예를 들어, 대응하는 인코더에 사용되는 것보다 상당히 나쁜 주파수 분해능을 사용함), 다중 탭(컨볼루션) 행렬을 이용하여 감소된 디코더 주파수 분해능을 보상함으로써 구현될 수 있다.
전형적으로, 높은 주파수 행렬 분해능은 낮은 주파수들에서만 요구되므로, 다중 탭(컨볼루션) 행렬은 낮은 주파수들에서 사용될 수 있는 반면에, 종래의(무상태) 행렬은 나머지(더 높은) 주파수들을 위해 사용될 수 있다. 다시 말해, 낮은 주파수들에서, 행렬은 입력 및 출력의 각각의 조합을 조작하는 한 세트의 FIR 필터들을 표현하는 반면에, 높은 주파수들에서, 무상태 행렬이 사용된다.
인코더 필터 뱅크 및 파라미터 매핑
도 7은 일 실시예에 따른 예시적 인코더 필터 뱅크 및 파라미터 매핑 시스템을 예시한다(90). 이러한 예시적 실시예(90)에서, 8 부대역(b = 1,...,8), 예를 들어 91은 혼성(캐스케이드) 필터 뱅크(92) 및 나이퀴스트 필터 뱅크(93)에 의해 초기에 발생된다. 그 후에, 제1 4개의 부대역은 컨볼루션 행렬(M[k, p = 1])을 계산하기 위해 동일한 파라미터 대역(p = 1) 위로 매핑되며(94), 예를 들어, 행렬은 이제 부가 인덱스(k)를 갖는다. 나머지 부대역들(b = 5,...,8)은 무상태 행렬들(M[p(b)])을 사용하여 파라미터 대역들(p = 2, 3) 위로 매핑된다(95, 96).
디코더 필터 뱅크 및 파라미터 매핑
도 8은 대응하는 예시적 디코더 필터 뱅크 및 파라미터 매핑 시스템(100)을 예시한다. 인코더와 대조적으로, 어떠한 나이퀴스트 필터 뱅크가 존재하지 않으며, 나이퀴스트 필터 뱅크 지연을 보상하기 위해 임의의 지연들이 있지 않다. 디코더 분석 필터 뱅크(101)는 인자(Q)만큼 다운 샘플링되는 5 부대역(b = 1,...,5)만 예를 들어 102를 발생시킨다. 제1 부대역은 컨볼루션 행렬(M[k, p = 1])에 의해 처리되는 반면에(103), 나머지 대역들은 종래 기술에 따라 무상태 행렬들에 의해 처리된다(104, 105).
상기 예가 인코더(90)에서 나이퀴스트 필터 뱅크를 적용하고 디코더(100)에서만 제1 CQMF 부대역에 대한 대응하는 컨볼루션 행렬을 적용하지만, 동일한 프로세스는 다수의 부대역에 적용될 수 있으며, 가장 낮은 부대역(들)에만 반드시 적용되는 것은 아니다.
인코더 실시예
특히 유용한 일 실시예는 확성기 제시를 바이너럴 제시로의 변환이다. 도 9는 제시 변환을 위한 제안된 방법을 사용하여 인코더(110)를 예시한다. 한 세트의 입력 채널들 또는 객체들(Xi[n])은 우선 필터 뱅크(111)를 사용하여 변환된다. 필터 뱅크(111)는 혼성 복소 직교 미러 필터(hybrid complex quadrature mirror filter)(HCQMF) 뱅크이지만, 다른 필터 뱅크 구조들은 동등하게 사용될 수 있다. 결과적 부대역 표현들((Xi[k, b]))은 두 번 처리된다(112, 113).
첫번째로 113에서, 인코더의 출력을 위해 의도되는 한 세트의 베이스 신호들(Zs[k, b])을 발생시킨다(113). 이러한 출력은 예를 들어, 결과적 신호들이 확성기 재생을 위해 의도되도록 진폭 패닝 기술들을 사용하여 발생될 수 있다.
두번째로 112에서, 한 세트의 원하는 변환된 신호들(Yj[k, b])을 발생시킨다(112). 이러한 출력은 예를 들어, 결과적 신호들이 헤드폰 재생을 위해 의도되도록 HRIR 처리를 사용하여 발생될 수 있다. 그러한 HRIR 처리는 필터 뱅크 도메인에서 이용될 수 있지만, HRIR 컨볼루션에 의해 시간 도메인에서 동등하게 수행될 수 있다. HRIR들은 데이터베이스(114)로부터 획득된다.
그 후에, 컨볼루션 행렬(M[k, p])은 태핑된 지연 라인(116)을 통해 베이스 신호들(Zs[k, b])을 공급함으로써 획득된다. 지연 라인들의 탭들 각각은 MMSE 예측기 단(115)에 대한 부가 입력들의 역할을 한다. 이러한 MMSE 예측기 단은 원하는 변환된 신호들(Yj[k, b])과 도 8의 디코더(100)의 출력 사이의 에러를 최소화하는 컨볼루션 행렬(M[k, p])을 계산하여, 컨볼루션 행렬들을 적용한다. 그 다음, 행렬 계수들(M[k, p])이 이하에 의해 주어진다는 결론이 나온다:
이러한 공식화에서, 행렬(Z)은 태핑된 지연 라인들의 모든 입력들을 포함한다.
결과적 컨볼루션 행렬 계수들(M[k, p])은 베이스 신호들(zs[n])과 함께 양자화되고, 인코딩되고, 송신된다. 그 다음, 디코더는 입력 신호들(Zs[k, b])로부터 ()를 재구성하기 위해 컨볼루션 프로세스를 사용할 수 있다:
또는 컨볼루션 표현을 사용하여 상이하게 기입된다:
컨볼루션 접근법은 선형(무상태) 행렬 프로세스와 혼합될 수 있다.
추가 구별은 복소수 값 및 실수 값 무상태 행렬화 사이에서 이루어질 수 있다. 낮은 주파수들(전형적으로 1 kHz 아래)에서, 컨볼루션 프로세스(A>1)는 지각 주파수 스케일과 비슷한 채널간 성질들의 정확한 재구성을 허용하는 것이 바람직하다. 대략 2 또는 3 kHz까지의 중간 주파수들에서, 인간 청력 시스템은 채널간 위상 차이들에 민감하지만, 그러한 위상의 재구성을 위한 매우 높은 주파수 분해능을 필요로 하지 않는다. 이것은 단일 탭(무상태), 복소수 값 행렬이 충분한 것을 암시한다. 더 높은 주파수들에 대해, 인간 청각 시스템은 파형 미세 구조 위상에 거의 둔감하고, 및 실수 값, 무상태 행렬화는 충분하다. 증가하는 주파수들에 따라, 파라미터 대역 위로 매핑되는 필터 뱅크 출력들의 수는 전형적으로 인간 청각 시스템의 비선형 주파수 분해능을 반영하기 위해 증가한다.
다른 실시예에서, 인코더에서의 제1 및 제2 제시들이 교환되며, 예를 들어, 제1 제시는 헤드폰 재생을 위해 의도되고, 제2 제시는 확성기 재생을 위해 의도된다. 이러한 실시예에서, 확성기 제시(제2 제시)는 적어도 2개의 주파수 대역에서의 시간 의존 변환 파라미터들을 제1 제시에 적용함으로써 발생되며, 변환 파라미터들은 주파수 대역들 중 적어도 하나에 대한 한 세트의 필터 계수들을 포함하는 것으로 추가로 지정된다.
일부 실시예들에서, 제1 제시는 각각의 세그먼트에 대한 변환 파라미터들의 개별 세트에서, 일련의 세그먼트들로 일시적으로 분배될 수 있다. 추가 개선에서, 세그먼트 변환 파라미터들이 이용가능하지 않은 경우, 파라미터들은 이전 계수들로부터 보간될 수 있다.
디코더 실시예
도 10은 디코더(120)의 일 실시예를 예시한다. 입력 비트스트림(121)은 베이스 신호 비트 스트림(131) 및 변환 파라미터 데이터(124)로 분할된다. 그 후에, 베이스 신호 디코더(123)는 베이스 신호들(z[n])을 디코딩하며, 베이스 신호들은 분석 필터 뱅크(125)에 의해 나중에 처리된다. 부대역(b = 1,...,5)을 갖는 결과적 주파수 도메인 신호들(Z[k,b])은 행렬 승산 유닛들(126, 129 및 130)에 의해 처리된다. 특히, 행렬 승산 유닛(126)은 복소수 값 컨볼루션 행렬(M[k,p=1])을 주파수 도메인 신호(Z[k, b=1])에 적용한다. 더욱이, 행렬 승산 유닛(129)은 복소수 값, 단일 탭 행렬 계수들(M[p=2])을 신호(Z[k, b=2])에 적용한다. 마지막으로, 행렬 승산 유닛(130)은 실수 값 행렬 계수들(M[p=3])을 주파수 도메인 신호들(Z[k, b=3,...,5])에 적용한다. 행렬 승산 유닛 출력 신호들은 합성 필터 뱅크(127)에 의해 시간 도메인 출력(128)으로 변환된다. z[n], Z[k] 등에 대한 참조들은 임의의 구체적 베이스 신호보다는 오히려, 세트의 베이스 신호들을 언급한다. 따라서, z[n], Z[k] 등은 zs[n], Zs[k] 등으로 해석될 수 있으며, 여기서 0 ≤ s < N이고, N은 베이스 신호들의 수이다.
다시 말해, 행렬 승산 유닛(126)은 베이스 신호들(Z[k])의 부대역(b=1)의 현재 샘플들 및 베이스 신호들(Z[k])의 부대역(b=1)의 이전 샘플들(예를 들어, Z[k-a], 여기서 0 < a < A이고, A는 1보다 더 큼)의 가중된 조합들로부터 출력 신호()의 부대역(b=1)의 출력 샘플들을 결정한다. 출력 신호()의 부대역(b=1)의 출력 샘플들을 결정하기 위해 사용되는 가중치들은 신호에 대한 복소수 값 컨볼루션 행렬(M[k, p=1])에 대응한다.
더욱이, 행렬 승산 유닛(129)은 베이스 신호들(Z[k])의 부대역(b=2)의 현재 샘플들의 가중된 조합들로부터 출력 신호()의 부대역(b=2)의 출력 샘플들을 결정한다. 출력 신호()의 부대역(b=2)의 출력 샘플들을 결정하기 위해 사용되는 가중치들은 복소수 값, 단일 탭 행렬 계수들(M[p=2])에 대응한다.
최종적으로, 행렬 승산 유닛(130)은 베이스 신호들(Z[k])의 부대역들(b=3,...,5)의 현재 샘플들의 가중된 조합들로부터 출력 신호()의 부대역들(b=3,...,5)의 출력 샘플들을 결정한다. 출력 신호()의 부대역들(b=3,...,5)의 출력 샘플들을 결정하기 위해 사용되는 가중치들은 실수 값 행렬 계수들(M[p=3])에 대응한다.
일부 경우들에서, 베이스 신호 디코더(123)는 분석 필터 뱅크(125)에 의해 제공되는 것과 동일한 주파수 분해능에서 신호들을 조작할 수 있다. 그러한 경우들에서, 베이스 신호 디코더(125)는 시간 도메인 신호들(z[n])보다는 오히려 주파수 도메인 신호들(Z[k])을 출력하도록 구성될 수 있으며, 그 경우에 분석 필터 뱅크(125)가 생략될 수 있다. 더욱이, 일부 사례들에서, 실수 값 행렬 계수들 대신에, 복소수 값 단일 탭 행렬 계수들을, 주파수 도메인 신호들(Z[k, b = 3,...,5])에 적용하는 것이 바람직할 수 있다.
실제로, 행렬 계수들(M)은 예를 들어 베이스 신호들의 개별 프레임들을 행렬 계수들(M)과 연관시킴으로써 시간에 따라 갱신될 수 있다. 대안적으로, 또는 부가적으로, 행렬 계수들(M)은 타임 스탬프들로 증가되며, 타임 스탬프들은 베이스 신호들(z[n])의 어느 시간 또는 간격에 행렬들이 적용되어야 하는 것을 표시한다. 행렬 갱신들과 연관되는 송신 비트 속도를 감소시키기 위해, 갱신들의 수가 이상적으로 제한되어, 행렬 갱신들의 시간 부족 분배(time-sparse distribution)를 야기한다. 행렬들의 그러한 드문 갱신들은 행렬의 하나의 인스턴스로부터 다음 인스턴스로 순조로운 전이들을 보장하기 위해 전용 처리를 필요로 한다. 행렬들(M)은 베이스 신호들(Z)의 구체적 시간 세그먼트들(프레임들) 및/또는 주파수 영역들과 연관되어 제공될 수 있다. 디코더는 시간에 따라 행렬(M)의 후속 인스턴스들로부터 순조로운 전이를 보장하기 위해 여러가지 보간 방법들을 이용할 수 있다. 그러한 보간 방법의 일 예는 신호들(Z)의 중복, 윈도우 프레임들을 계산하고, 그러한 특정 프레임과 연관되는 행렬 계수들(M)을 사용하여 그러한 프레임 각각에 대한 대응하는 세트의 출력 신호들(Y)을 계산하는 것이다. 그 다음, 후속 프레임들은 순조로운 크로스 페이드 전이(smooth cross-faded transition)를 제공하는 중복-가산 기술을 사용하여 결집될 수 있다. 대안적으로, 디코더는 행렬들(M)과 연관되는 타임 스탬프들을 수신할 수 있으며, 그들은 구체적 시간 인스턴스들에서 원하는 행렬 계수들을 설명한다. 타임 스탬프들 사이의 오디오 샘플들에 대해, 행렬(M)의 행렬 계수들은 순조로운 전이들을 보장하기 위해 보간을 위한 선형, 입방, 대역 제한, 또는 다른 수단을 사용하여 보간될 수 있다. 시간에 걸친 보간 외에, 유사한 기술들은 주파수에 걸친 행렬 계수들을 보간하기 위해 사용될 수 있다.
따라서, 본 문헌은 오디오 채널들 또는 객체들(Xi)의 제2 제시를 대응하는 디코더(100)에 송신되거나 제공되는 데이터 스트림으로 표현하는 방법(및 대응하는 인코더(90))을 설명한다. 방법은 베이스 신호들(Zs)을 제공하는 단계를 포함하며, 상기 베이스 신호들은 오디오 채널들 또는 객체들(Xi)의 제1 제시를 표현한다. 상기 기술된 바와 같이, 베이스 신호들(Zs)은 제1 렌더링 파라미터들(G)을 사용하여(즉 현저하게 제1 이득 행렬을 사용하여, 예를 들어 진폭 패닝을 위해) 오디오 채널들 또는 객체들(Xi)로부터 결정될 수 있다. 제1 제시는 확성기 재생 또는 헤드폰 재생을 위해 의도될 수 있다. 다른 한편, 제2 제시는 헤드폰 재생 또는 확성기 재생을 위해 의도될 수 있다. 따라서, 확성기 재생으로부터 헤드폰 재생으로의 변환(또는 그 역도 또한 같음)이 수행될 수 있다.
방법은 변환 파라미터들(M)(현저하게 하나 이상의 변환 행렬)을 제공하는 단계를 더 포함하며, 상기 변환 파라미터들(M)은 상기 제1 제시의 베이스 신호들(Zs)을 상기 제2 제시의 출력 신호들()로 변환하도록 의도된다. 변환 파라미터들은 본 문헌에 기술된 바와 같이 결정될 수 있다. 특히, 제2 제시에 대한 원하는 출력 신호들(Yj)은 제2 렌더링 파라미터들(H)을 사용하여 오디오 채널들 또는 객체들(Xi)로부터 결정될 수 있다(본 문헌에 기술된 바와 같음). 변환 파라미터들(M)은 원하는 출력 신호들(Yj)로부터(예를 들어 최소 평균 제곱 에러 기준을 사용하여) 출력 신호들()의 편차를 최소화함으로써 결정될 수 있다.
훨씬 더 특별히, 변환 파라미터들(M)은 부대역 도메인에서(즉 상이한 주파수 대역들에 대해) 결정될 수 있다. 이러한 목적을 위해, 부대역 도메인 베이스 신호들(Z[k,b])은 인코더 필터 뱅크(92, 93)를 사용하여 B 주파수 대역들에 대해 결정될 수 있다. 주파수 대역들의 수(B)는 1보다 더 크며, 예를 들어 B는 4, 6, 8, 10 이상이다. 본 문헌에 설명되는 예들에서, B=8 또는 B=5이다. 상기 기술된 바와 같이, 인코더 필터 뱅크(92, 93)는 B 주파수 대역들의 높은 주파수 대역들보다 더 높은 주파수 분해능을 갖는 B 주파수 대역들의 낮은 주파수 대역들을 제공하는 혼성 필터 뱅크를 포함할 수 있다. 더욱이, B 주파수 대역들에 대한 부대역 도메인 요망 출력 신호들(Y[k,b])이 결정될 수 있다. 하나 이상의 주파수 대역에 대한 변환 파라미터들(M)은 하나 이상의 주파수 대역 내의 원하는 출력 신호들(Yj)로부터(예를 들어 최소 평균 제곱 에러 기준을 사용하여) 출력 신호들()의 편차를 최소화함으로써 결정될 수 있다.
따라서, 변환 파라미터들(M)은 적어도 2개의 주파수 대역에 대해(현저하게 B 주파수 대역들에 대해) 지정될 수 있다. 더욱이, 변환 파라미터들은 주파수 대역들 중 적어도 하나에 대한 한 세트의 다중 탭 컨볼루션 행렬 파라미터들을 포함할 수 있다.
따라서, 오디오 채널들/객체들의 제1 제시의 베이스 신호들로부터 오디오 채널들/객체들의 제2 제시의 출력 신호들을 결정하는 방법(및 대응하는 디코더)이 설명된다. 제1 제시는 확성기 재생을 위해 사용될 수 있고 제2 제시는 헤드폰 재생을 위해 사용될 수 있다(또는 그 역도 또한 같음). 출력 신호들은 상이한 주파수 대역들에 대한 변환 파라미터들을 사용하여 결정되며, 주파수 대역들 중 적어도 하나에 대한 변환 파라미터들은 다중 탭 컨볼루션 행렬 파라미터들을 포함한다. 주파수 대역들 중 적어도 하나에 대한 다중 탭 컨볼루션 행렬 파라미터들을 사용하는 결과로서, 디코더(100)의 계산 복잡도는 디코더에 의해 사용되는 필터 뱅크의 주파수 분해능을 감소시킴으로써 현저하게 감소될 수 있다.
예를 들어, 다중 탭 컨볼루션 행렬 파라미터들을 사용하여 제1 주파수 대역에 대한 출력 신호를 결정하는 단계는 출력 신호의 제1 주파수 대역의 현재 샘플을 베이스 신호들의 제1 주파수 대역의 현재, 및 하나 이상의 이전 샘플의 가중된 조합으로 결정하는 단계를 포함할 수 있으며, 가중된 조합을 결정하기 위해 사용되는 가중치들은 제1 주파수 대역에 대한 다중 탭 컨볼루션 행렬 파라미터들에 대응한다. 제1 주파수 대역에 대한 다중 탭 컨볼루션 행렬 파라미터들 중 하나 이상은 전형적으로 복소수 값이다.
더욱이, 제2 주파수 대역에 대한 출력 신호를 결정하는 단계는 출력 신호의 제2 주파수 대역의 현재 샘플을 베이스 신호들의 제2 주파수 대역의 현재 샘플들의 가중된 조합으로 결정하는 단계를 포함할 수 있으며(그리고 베이스 신호들의 제2 주파수 대역의 이전 샘플들에 기초하지 않음), 가중된 조합을 결정하기 위해 사용되는 가중치들은 제2 주파수 대역에 대한 변환 파라미터들에 대응한다. 제2 주파수 대역에 대한 변환 파라미터들은 복소수 값일 수 있거나, 대안적으로 실수 값일 수 있다.
특히, 동일한 세트의 다중 탭 컨볼루션 행렬 파라미터들은 B 주파수 대역들의 적어도 2개의 인접한 주파수 대역에 대해 결정될 수 있다. 도 7에 예시된 바와 같이, 단일 세트의 다중 탭 컨볼루션 행렬 파라미터들은 나이퀴스트 필터 뱅크에 의해 제공되는 주파수 대역들에 대해(즉 비교적 높은 주파수 분해능을 갖는 주파수 대역들에 대해) 결정될 수 있다. 이것을 행함으로써, 디코더(100) 내의 나이퀴스트 필터 뱅크의 사용이 생략될 수 있으며, 그것에 의해 (제2 제시에 대한 출력 신호들의 품질을 유지하면서) 디코더(100)의 계산 복잡도를 감소시킨다.
더욱이, 동일한 실수 값 변환 파라미터는 적어도 2개의 인접한 높은 주파수 대역에 대해 결정될 수 있다(도 7의 맥락에 예시된 바와 같음). 이것을 행함으로써, 디코더(100)의 계산 복잡도는 (제2 제시에 대한 출력 신호들의 품질을 유지하면서) 추가로 감소될 수 있다.
해석
본 명세서 도처에서 "일 실시예", "일부 실시예들" 또는 "일 실시예"에 대한 참조는 실시예와 관련하여 설명되는 특정 특징, 구조 또는 특성이 본 발명의 적어도 일 실시예에 포함되는 것을 의미한다. 따라서, 본 명세서 도처의 다양한 장소들에서 구들 "하나의 실시예에서", "일부 실시예들에서" 또는 "일 실시예에서"의 출현들은 반드시 동일한 실시예를 전부 언급하는 것은 아니지만, 언급할 수 있다. 더욱이, 특정 특징들, 구조들 또는 특성들은 하나 이상의 실시예에서, 본 개시내용으로부터 본 기술분야의 통상의 기술자에게 분명한 바와 같이, 임의의 적절한 방식으로 조합될 수 있다.
본원에 사용되는 바와 같이, 달리 지정되지 않는 한, 서수 형용사들 "제1", "제2", "제3" 등의 사용은 공통 객체를 설명하기 위해, 유사한 객체들의 상이한 인스턴스들이 언급되고 있는 것을 표시할 뿐이고, 그렇게 설명되는 객체들이 시간적으로, 공간적으로, 순위로, 또는 임의의 다른 방식으로, 주어진 시퀀스에 있어야 하는 것을 암시하도록 의도되지 않는다.
아래의 청구항들 및 본원의 설명에서, 용어들 구성하는(comprising), 구성되는(comprised of) 또는 구성하는(which comprises) 중 어느 하나는 뒤따르는 적어도 요소들/특징들을 포함하지만, 다른 것들을 배제하지 않는 것을 의미하는 개방 용어이다. 따라서, 용어 "포함하는"은 청구항들에 사용될 때, 그 후에 열거되는 수단 또는 요소들 또는 단계들에 제한되는 것으로 해석되지 않아야 한다. 예를 들어, A 및 B를 포함하는 표현 디바이스의 범위는 요소들(A 및 B)로만 구성되는 디바이스들에 제한되지 않아야 한다. 본원에 사용되는 바와 같이 용어들 포함하는(including) 또는 포함하는(which includes) 또는 포함하는(that includes) 중 어느 하나는 또한 용어를 뒤따르는 적어도 요소들/특징들을 포함하지만, 다른 것들을 배제하지 않는 것을 또한 의미하는 개방 용어이다. 따라서, "포함하는"은 "구성하는"과 동의어이고 "구성하는"을 의미한다.
본원에 사용되는 바와 같이, 용어 "예시적"은 품질을 표시하는 것과 대조적으로, 예들을 제공하는 의미에 사용된다. 즉, "예시적 실시예"는 필연적으로 예시적 품질의 일 실시예인 것과 대조적으로, 일 예로 제공되는 일 실시예이다.
발명의 예시적 실시예들의 상기 설명에서, 발명의 다양한 특징들이 개시내용을 간소화하고 다양한 발명 양태들 중 하나 이상의 이해를 원조하는 목적을 위해 단일 실시예, 도면, 또는 그것의 설명에서 함께 그룹화된다는 점이 이해되어야 한다. 그러나, 이러한 개시내용의 방법은 청구된 발명이 각각의 청구항에서 분명히 나열되는 것보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로 해석되지 않아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 발명 양태들은 단일의 상술한 개시된 실시예의 모든 특징들 미만으로 있다. 따라서, 상세한 설명을 뒤따르는 청구항들은 이로써 이러한 상세한 설명으로 분명히 포함되며, 각각의 청구항은 본 발명의 개별 실시예로서 그 자체로 기초한다.
더욱이, 본원에 설명되는 일부 실시예들이 일부를 포함하지만 다른 실시예들에 포함되는 다른 특징들을 포함하지 않는 한, 상이한 실시예들의 특징들의 조합들은 본 기술분야의 통상의 기술자들에 의해 이해되는 바와 같이, 발명의 범위 내에 있는 것으로 의미되고, 상이한 실시예들을 형성한다. 예를 들어, 이하의 청구항들에서, 청구된 실시예들 중 어느 것은 임의의 조합으로 사용될 수 있다.
더욱이, 실시예들의 일부는 컴퓨터 시스템의 프로세서에 의해 또는 기능을 수행하는 다른 수단에 의해 구현될 수 있는 방법 또는 방법의 요소들의 조합으로 본원에 설명된다. 따라서, 그러한 방법 또는 방법의 요소를 수행하는 필요한 명령어들을 갖는 프로세서는 방법 또는 방법의 요소를 수행하는 수단을 형성한다. 더욱이, 본원에 설명되는 장치 실시예의 요소는 발명을 수행하는 목적을 위해 요소에 의해 수행되는 기능을 수행하는 수단의 일 예이다.
본원에 제공되는 설명에서, 다수의 구체적 상세들이 제시된다. 그러나, 발명의 실시예들이 이러한 구체적 상세들 없이 실시될 수 있다는 점이 이해된다. 다른 사례들에서, 널리 공지된 방법들, 구조들 및 기술들은 이러한 설명의 이해를 모호하게 하지 않도록 상세히 도시되지 않았다.
유사하게, 용어 "결합된"은 청구항들에 사용될 때, 직접 연결들에만 제한되는 것으로 해석되지 않아야 한다는 점이 주목되어야 한다. 용어들 "결합된" 및 "연결된"은 그들의 파생어들과 함께 사용될 수 있다. 이러한 용어들이 서로 동의어들로 의도되지 않는다는 점이 이해되어야 한다. 따라서, 표현 "디바이스 B에 결합되는 디바이스 A"의 범위는 디바이스들 또는 시스템들에 제한되지 않으며, 디바이스 A의 출력은 디바이스 B의 입력에 직접 연결된다. 그것은 다른 디바이스들 또는 수단들을 포함하는 경로일 수 있는 A의 출력과 B의 입력 사이의 경로에 존재하는 것을 의미한다. "결합된"은 2개 이상의 요소가 직접적으로 물리 또는 전기 접촉되는 것, 또는 2개 이상의 요소가 서로 직접 접촉하지 않지만 서로 아직도 협력하거나 상호작용하는 것을 의미할 수 있다.
따라서, 발명의 바람직한 실시예들인 것으로 생각되는 것이 설명되었지만, 본 기술분야의 통상의 기술자들은 다른 그리고 추가 수정들이 발명의 사상으로부터 벗어나는 것 없이 그것에 이루어질 수 있는 것, 및 발명의 범위 내에 있는 것으로 모든 그러한 변경들 및 수정들을 청구하도록 의도되는 것을 인식할 것이다. 예를 들어, 상기 주어진 임의의 공식들은 사용될 수 있는 절차들을 나타낼 뿐이다. 기능성은 블록도들로부터 추가되거나 삭제될 수 있고 동작들은 기능 블록들 중에서 교환될 수 있다. 단계들은 본 발명의 범위 내에서 설명되는 방법들에 추가되거나 삭제될 수 있다. 본 발명의 다양한 양태들은 이하의 열거된 예시된 실시예들(enumerated example embodiments)(EEESs)로부터 이해될 수 있다:
EEE 1. 오디오 채널들 또는 객체들의 제2 제시를 데이터 스트림으로 표현하는 방법으로서, 방법은,
(a) 한 세트의 베이스 신호들을 제공하는 단계 - 상기 베이스 신호들은 오디오 채널들 또는 객체들의 제1 제시를 표현함 -;
(b) 한 세트의 변환 파라미터들을 제공하는 단계 - 상기 변환 파라미터들은 상기 제1 제시를 상기 제2 제시로 변환하도록 의도되고; 상기 변환 파라미터들은 적어도 2개의 주파수 대역에 대해 추가로 지정되고 주파수 대역들 중 적어도 하나에 대한 한 세트의 다중 탭 컨볼루션 행렬 파라미터들을 포함함 -
를 포함하는 방법.
EEE 2. EEE 1에 있어서, 상기 세트의 필터 계수들은 유한 임펄스 응답(FIR) 필터를 표현하는 방법.
EEE 3. 임의의 이전 EEE에 있어서, 상기 세트의 베이스 신호들은 일련의 시간 세그먼트들로 분배되고, 한 세트의 변환 파라미터들은 각각의 시간 세그먼트를 위해 제공되는 방법.
EEE 4. 임의의 이전 EEE에 있어서, 상기 필터 계수들은 복소수 값인 적어도 하나의 계수를 포함하는 방법.
EEE 5. 임의의 이전 EEE에 있어서, 제1 또는 제2 제시는 헤드폰 재생을 위해 의도되는 방법.
EEE 6. 임의의 이전 EEE에 있어서, 더 높은 주파수들과 연관되는 변환 파라미터들은 신호 위상을 수정하지 않는 반면에, 더 낮은 주파수들에 대해, 변환 파라미터들은 신호 위상을 수정하는 방법.
EEE 7. 임의의 이전 EEE에 있어서, 상기 세트의 필터 계수들은 다중 탭 컨볼루션 행렬을 처리하기 위해 조작가능한 방법.
EEE 8. EEE 7에 있어서, 상기 세트의 필터 계수들은 낮은 주파수 대역을 처리하기 위해 이용되는 방법.
EEE 9. 임의의 이전 EEE에 있어서, 상기 세트의 베이스 신호들 및 상기 세트의 변환 파라미터들은 상기 데이터 스트림을 형성하기 위해 조합되는 방법.
EEE 10. 임의의 이전 EEE에 있어서, 상기 변환 파라미터들은 상기 세트의 베이스 신호들의 높은 주파수 부분의 행렬 조작을 위한 높은 주파수 오디오 행렬 계수들을 포함하는 방법.
EEE 11. EEE 10에 있어서,상기 세트의 베이스 신호들의 높은 주파수 부분의 중간 주파수 부분에 대해, 행렬 조작은 복소수 값 변환 파라미터들을 포함하는 방법.
EEE 12. 인코딩된 오디오 신호를 디코딩하기 위한 디코더로서, 상기 인코딩된 오디오 신호는,
상기 오디오의 재현을 위해 의도되는 한 세트의 오디오 베이스 신호들을 제1 오디오 제시 포맷으로 포함하는 제1 제시; 및
상기 제1 제시 포맷인 상기 오디오 베이스 신호들을 제2 제시 포맷으로 변환하기 위한 한 세트의 변환 파라미터들 - 상기 변환 파라미터들은 적어도 높은 주파수 오디오 변환 파라미터들 및 낮은 주파수 오디오 변환 파라미터들을 포함하고, 상기 낮은 주파수 변환 파라미터들은 다중 탭 컨볼루션 행렬 파라미터들을 포함함 - 을 포함하며,
디코더는,
세트의 오디오 베이스 신호들, 및 세트의 변환 파라미터들을 분리하기 위한 제1 분리 유닛,
상기 다중 탭 컨볼루션 행렬 파라미터들을 오디오 베이스 신호들의 낮은 주파수 성분들에 적용하기 위한 행렬 승산 유닛 - 컨볼루션을 낮은 주파수 성분들에 적용하기 위해, 컨볼빙된 낮은 주파수 성분들을 생성함 -; 및
스칼라 높은 주파수 성분들을 생성하기 위해 상기 높은 주파수 오디오 변환 파라미터들을 오디오 베이스 신호들의 높은 주파수 성분들에 적용하기 위한 스칼라 승산 유닛;
시간 도메인 출력 신호를 상기 제2 제시 포맷으로 생성하기 위해 상기 컨볼빙된 낮은 주파수 성분들 및 상기 스칼라 높은 주파수 성분들을 조합하기 위한 출력 필터 뱅크
를 포함하는 디코더.
EEE 13. EEE 12에 있어서, 상기 행렬 승산 유닛은 오디오 베이스 신호들의 낮은 주파수 성분들의 위상을 수정하는 디코더.
EEE 14. EEE 12 또는 EEE 13에 있어서, 상기 다중 탭 컨볼루션 행렬 변환 파라미터들은 복소수 값인 디코더.
EEE 15. EEE 12 내지 EEE 14 중 어느 하나에 있어서, 상기 높은 주파수 오디오 변환 파라미터들은 복소수 값인 디코더.
EEE 16. EEE 15에 있어서, 상기 세트의 변환 파라미터들은 실수 값 더 높은 주파수 오디오 변환 파라미터들을 더 포함하는 디코더.
EEE 17. EEE 12 내지 EEE 16 중 어느 하나에 있어서, 오디오 베이스 신호들을 상기 낮은 주파수 성분들 및 상기 높은 주파수 성분들로 분리하기 위한 필터들을 더 포함하는 디코더.
EEE 18. 인코딩된 오디오 신호를 디코딩하는 방법으로서, 인코딩된 오디오 신호는,
오디오의 재현을 위해 의도되는 한 세트의 오디오 베이스 신호들을 제1 오디오 제시 포맷으로 포함하는 제1 제시; 및
상기 제1 제시 포맷인 상기 오디오 베이스 신호들을 제2 제시 포맷으로 변환하기 위한 한 세트의 변환 파라미터들 - 상기 변환 파라미터들은 적어도 높은 주파수 오디오 변환 파라미터들 및 낮은 주파수 오디오 변환 파라미터들을 포함하고, 상기 낮은 주파수 변환 파라미터들은 다중 탭 컨볼루션 행렬 파라미터들을 포함함 - 을 포함하며,
방법은,
컨볼빙된 낮은 주파수 성분들을 생성하기 위해 오디오 베이스 신호들의 낮은 주파수 성분들을 낮은 주파수 변환 파라미터들과 컨볼빙하는 단계;
승산된 높은 주파수 성분들을 생성하기 위해 오디오 베이스 신호들의 높은 주파수 성분들을 높은 주파수 변환 파라미터들과 승산하는 단계;
제2 제시 포맷을 통한 재생을 위한 출력 오디오 신호 주파수 성분들을 생성하기 위해 상기 컨볼빙된 낮은 주파수 성분들 및 상기 승산된 높은 주파수 성분들을 조합하는 단계
를 포함하는 방법.
EEE 19. EEE 18에 있어서, 상기 인코딩된 신호는 다수의 시간 세그먼트들을 포함하고, 상기 방법은,
보간된 낮은 주파수 오디오 변환 파라미터들을 포함하는, 보간된 변환 파라미터들을 생성하기 위해 인코딩된 신호의 다수의 시간 세그먼트들의 변환 파라미터들을 보간하는 단계; 및
상기 컨볼빙된 낮은 주파수 성분들의 다수의 시간 세그먼트들을 생성하기 위해 오디오 베이스 신호들의 낮은 주파수 성분들의 다수의 시간 세그먼트들을 보간된 낮은 주파수 오디오 변환 파라미터들과 컨볼빙하는 단계를 더 포함하는 방법.
EEE 20. EEE 18에 있어서, 상기 인코딩된 오디오 신호의 세트의 변환 파라미터들은 시간 가변이고, 상기 방법은,
다수의 세트의 중간 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 낮은 주파수 성분들을 다수의 시간 세그먼트들에 대한 낮은 주파수 변환 파라미터들과 컨볼빙하는 단계;
상기 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 다수의 세트의 중간 컨볼빙된 낮은 주파수 성분들을 보간하는 단계를 더 포함하는 방법.
EEE 21. EEE 19 또는 EEE 20에 있어서, 상기 보간하는 단계는 다수의 세트의 중간 컨볼빙된 낮은 주파수 성분들의 중복 및 가산 방법을 이용하는 방법.
EEE 22. EEE 18 내지 EEE 21 중 어느 하나에 있어서, 오디오 베이스 신호들을 상기 낮은 주파수 성분들 및 상기 높은 주파수 성분들로 필터링하는 단계를 더 포함하는 방법.
EEE 23. EEE 1 내지 EEE 11, 및 EEE 18 내지 EEE 22 중 어느 하나의 방법에 따라 컴퓨터의 동작을 위한 프로그램 명령어들을 포함하는 컴퓨터 판독가능 비일시적 저장 매체.
Claims (20)
- 방법으로서,
베이스 신호들을 획득하는 단계 - 베이스 신호들은 오디오 채널들 또는 오디오 객체들의 제시(presentation)를 표현함 -;
변환 파라미터들을 결정하는 단계 - 상기 변환 파라미터들은 상기 제시의 상기 베이스 신호들을 출력 신호들로 변환하도록 구성되고,
상기 변환 파라미터들은 더 높은 주파수 대역에 대해 지정되는 높은 주파수 변환 파라미터들 또는 더 낮은 주파수 대역에 대해 지정되는 낮은 주파수 변환 파라미터들 중 적어도 하나를 포함하고,
상기 낮은 주파수 변환 파라미터들은 컨볼빙된(convolved) 낮은 주파수 성분들을 생성하기 위해 상기 베이스 신호들의 낮은 주파수 성분들을 상기 낮은 주파수 변환 파라미터들과 컨볼빙하기 위한 다중 탭 컨볼루션 행렬 파라미터들을 포함하고,
상기 높은 주파수 변환 파라미터들은 승산된(multiplied) 높은 주파수 성분들을 생성하기 위해 상기 베이스 신호들의 높은 주파수 성분들을 상기 높은 주파수 변환 파라미터들과 승산하기 위한 무상태 행렬(stateless matrix)의 파라미터들을 포함함 -; 및
데이터 스트림을 형성하기 위해 상기 베이스 신호들과 상기 변환 파라미터들을 조합하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 다중 탭 컨볼루션 행렬 파라미터들은 유한 임펄스 응답(FIR) 필터를 나타내는 방법. - 제1항에 있어서,
상기 베이스 신호들은 일련의 시간 세그먼트들로 분배되고, 상기 변환 파라미터들의 적어도 일부는 각각의 시간 세그먼트를 위해 제공되는 방법. - 제1항에 있어서,
상기 다중 탭 컨볼루션 행렬 파라미터들은 복소수 값인 적어도 하나의 계수를 포함하는 방법. - 제1항에 있어서,
상기 베이스 신호들을 획득하는 단계는 제1 렌더링 파라미터들을 사용하여 상기 오디오 채널들 또는 객체들로부터 상기 베이스 신호들을 결정하는 단계를 포함하는 방법. - 제5항에 있어서,
제2 렌더링 파라미터들을 사용하여 상기 오디오 채널들 또는 객체들로부터 원하는 출력 신호들을 결정하는 단계를 더 포함하는 방법. - 제6항에 있어서,
상기 변환 파라미터들을 결정하는 단계는 상기 원하는 출력 신호들로부터의 상기 출력 신호들의 편차를 최소화함으로써 상기 변환 파라미터들을 결정하는 단계를 포함하는 방법. - 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 디바이스에 의해 실행될 때, 상기 디바이스로 하여금:
베이스 신호들을 획득하는 것 - 베이스 신호들은 오디오 채널들 또는 오디오 객체들의 제시를 표현함 -;
변환 파라미터들을 결정하는 것 - 상기 변환 파라미터들은 상기 제시의 상기 베이스 신호들을 출력 신호들로 변환하도록 구성되고,
상기 변환 파라미터들은 더 높은 주파수 대역에 대해 지정되는 높은 주파수 변환 파라미터들 또는 더 낮은 주파수 대역에 대해 지정되는 낮은 주파수 변환 파라미터들 중 적어도 하나를 포함하고,
상기 낮은 주파수 변환 파라미터들은 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 상기 베이스 신호들의 낮은 주파수 성분들을 상기 낮은 주파수 변환 파라미터들과 컨볼빙하기 위한 다중 탭 컨볼루션 행렬 파라미터들을 포함하고,
상기 높은 주파수 변환 파라미터들은 승산된 높은 주파수 성분들을 생성하기 위해 상기 베이스 신호들의 높은 주파수 성분들을 상기 높은 주파수 변환 파라미터들과 승산하기 위한 무상태 행렬의 파라미터들을 포함함 -; 및
데이터 스트림을 형성하기 위해 상기 베이스 신호들과 상기 변환 파라미터들을 조합하는 것
을 포함하는 동작들을 수행하게 하는 비일시적 컴퓨터 판독가능 매체. - 제8항에 있어서,
상기 다중 탭 컨볼루션 행렬 파라미터들은 유한 임펄스 응답 필터를 나타내는 비일시적 컴퓨터 판독가능 매체. - 제8항에 있어서,
상기 베이스 신호들은 일련의 시간 세그먼트들로 분배되고, 상기 변환 파라미터들의 적어도 일부는 각각의 시간 세그먼트를 위해 제공되는 비일시적 컴퓨터 판독가능 매체. - 제8항에 있어서,
상기 다중 탭 컨볼루션 행렬 파라미터들은 복소수 값인 적어도 하나의 계수를 포함하는 비일시적 컴퓨터 판독가능 매체. - 제8항에 있어서,
상기 베이스 신호들을 획득하는 것은 제1 렌더링 파라미터들을 사용하여 상기 오디오 채널들 또는 객체들로부터 상기 베이스 신호들을 결정하는 것을 포함하는 비일시적 컴퓨터 판독가능 매체. - 제12항에 있어서, 상기 동작들은,
제2 렌더링 파라미터들을 사용하여 상기 오디오 채널들 또는 객체들로부터 원하는 출력 신호들을 결정하는 것을 더 포함하는 비일시적 컴퓨터 판독가능 매체. - 제13항에 있어서,
상기 변환 파라미터들을 결정하는 것은 상기 원하는 출력 신호들로부터의 상기 출력 신호들의 편차를 최소화함으로써 상기 변환 파라미터들을 결정하는 것을 포함하는 비일시적 컴퓨터 판독가능 매체. - 시스템으로서,
프로세서; 및
명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
베이스 신호들을 획득하는 것 - 베이스 신호들은 오디오 채널들 또는 오디오 객체들의 제시를 표현함 -;
변환 파라미터들을 결정하는 것 - 상기 변환 파라미터들은 상기 제시의 상기 베이스 신호들을 출력 신호들로 변환하도록 구성되고,
상기 변환 파라미터들은 더 높은 주파수 대역에 대해 지정되는 높은 주파수 변환 파라미터들 또는 더 낮은 주파수 대역에 대해 지정되는 낮은 주파수 변환 파라미터들 중 적어도 하나를 포함하고,
상기 낮은 주파수 변환 파라미터들은 컨볼빙된 낮은 주파수 성분들을 생성하기 위해 상기 베이스 신호들의 낮은 주파수 성분들을 상기 낮은 주파수 변환 파라미터들과 컨볼빙하기 위한 다중 탭 컨볼루션 행렬 파라미터들을 포함하고,
상기 높은 주파수 변환 파라미터들은 승산된 높은 주파수 성분들을 생성하기 위해 상기 베이스 신호들의 높은 주파수 성분들을 상기 높은 주파수 변환 파라미터들과 승산하기 위한 무상태 행렬의 파라미터들을 포함함 -; 및
데이터 스트림을 형성하기 위해 상기 베이스 신호들과 상기 변환 파라미터들을 조합하는 것
을 포함하는 동작들을 수행하게 하는 시스템. - 제15항에 있어서,
상기 다중 탭 컨볼루션 행렬 파라미터들은 유한 임펄스 응답 필터를 나타내는 시스템. - 제15항에 있어서,
상기 베이스 신호들은 일련의 시간 세그먼트들로 분배되고, 상기 변환 파라미터들의 적어도 일부는 각각의 시간 세그먼트를 위해 제공되는 시스템. - 제15항에 있어서,
상기 다중 탭 컨볼루션 행렬 파라미터들은 복소수 값인 적어도 하나의 계수를 포함하는 시스템. - 제15항에 있어서,
상기 베이스 신호들을 획득하는 것은 제1 렌더링 파라미터들을 사용하여 상기 오디오 채널들 또는 객체들로부터 상기 베이스 신호들을 결정하는 것을 포함하는 시스템. - 제19항에 있어서, 상기 동작들은,
제2 렌더링 파라미터들을 사용하여 상기 오디오 채널들 또는 객체들로부터 원하는 출력 신호들을 결정하는 것을 더 포함하는 시스템.
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562209742P | 2015-08-25 | 2015-08-25 | |
US62/209,742 | 2015-08-25 | ||
EP15189008.4 | 2015-10-08 | ||
EP15189008 | 2015-10-08 | ||
KR1020187008298A KR102517867B1 (ko) | 2015-08-25 | 2016-08-23 | 오디오 디코더 및 디코딩 방법 |
PCT/US2016/048233 WO2017035163A1 (en) | 2015-08-25 | 2016-08-23 | Audo decoder and decoding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187008298A Division KR102517867B1 (ko) | 2015-08-25 | 2016-08-23 | 오디오 디코더 및 디코딩 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230048461A true KR20230048461A (ko) | 2023-04-11 |
Family
ID=54288726
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237011008A KR20230048461A (ko) | 2015-08-25 | 2016-08-23 | 오디오 디코더 및 디코딩 방법 |
KR1020187008298A KR102517867B1 (ko) | 2015-08-25 | 2016-08-23 | 오디오 디코더 및 디코딩 방법 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020187008298A KR102517867B1 (ko) | 2015-08-25 | 2016-08-23 | 오디오 디코더 및 디코딩 방법 |
Country Status (12)
Country | Link |
---|---|
US (5) | US10672408B2 (ko) |
EP (3) | EP4254406A3 (ko) |
JP (2) | JP6797187B2 (ko) |
KR (2) | KR20230048461A (ko) |
CN (3) | CN111970629B (ko) |
AU (3) | AU2016312404B2 (ko) |
CA (1) | CA2999271A1 (ko) |
EA (2) | EA201992556A1 (ko) |
ES (1) | ES2956344T3 (ko) |
HK (1) | HK1257672A1 (ko) |
PH (1) | PH12018500649A1 (ko) |
WO (1) | WO2017035163A1 (ko) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016312404B2 (en) | 2015-08-25 | 2020-11-26 | Dolby International Ab | Audio decoder and decoding method |
US10614819B2 (en) | 2016-01-27 | 2020-04-07 | Dolby Laboratories Licensing Corporation | Acoustic environment simulation |
EP3409029A1 (en) | 2016-01-29 | 2018-12-05 | Dolby Laboratories Licensing Corporation | Binaural dialogue enhancement |
FR3048808A1 (fr) * | 2016-03-10 | 2017-09-15 | Orange | Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal |
EP3569000B1 (en) | 2017-01-13 | 2023-03-29 | Dolby Laboratories Licensing Corporation | Dynamic equalization for cross-talk cancellation |
DE112019004193T5 (de) * | 2018-08-21 | 2021-07-15 | Sony Corporation | Audiowiedergabevorrichtung, audiowiedergabeverfahren und audiowiedergabeprogramm |
JP2021184509A (ja) * | 2018-08-29 | 2021-12-02 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、及び、プログラム |
BR112021018550A2 (pt) | 2019-04-15 | 2021-11-30 | Dolby Int Ab | Aprimoramento de diálogo em codec de áudio |
WO2021061675A1 (en) * | 2019-09-23 | 2021-04-01 | Dolby Laboratories Licensing Corporation | Audio encoding/decoding with transform parameters |
CN112133319A (zh) * | 2020-08-31 | 2020-12-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频生成的方法、装置、设备及存储介质 |
CN112489668B (zh) * | 2020-11-04 | 2024-02-02 | 北京百度网讯科技有限公司 | 去混响方法、装置、电子设备和存储介质 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5757931A (en) | 1994-06-15 | 1998-05-26 | Sony Corporation | Signal processing apparatus and acoustic reproducing apparatus |
US5956674A (en) | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
US6115689A (en) * | 1998-05-27 | 2000-09-05 | Microsoft Corporation | Scalable audio coder and decoder |
JP4300380B2 (ja) | 1999-12-02 | 2009-07-22 | ソニー株式会社 | オーディオ再生装置およびオーディオ再生方法 |
CN1288624C (zh) * | 2001-11-23 | 2006-12-06 | 皇家飞利浦电子股份有限公司 | 感觉噪声替换的方法和装置 |
US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
DE602004029786D1 (de) | 2003-06-30 | 2010-12-09 | Koninkl Philips Electronics Nv | Verbesserung der qualität von dekodierten audio mittels hinzufügen von geräusch |
JP4171675B2 (ja) | 2003-07-15 | 2008-10-22 | パイオニア株式会社 | 音場制御システム、および音場制御方法 |
JP4966013B2 (ja) * | 2003-10-30 | 2012-07-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ信号のエンコードまたはデコード |
US8363865B1 (en) | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
US7720230B2 (en) | 2004-10-20 | 2010-05-18 | Agere Systems, Inc. | Individual channel shaping for BCC schemes and the like |
DE102005010057A1 (de) | 2005-03-04 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms |
KR100891686B1 (ko) * | 2005-08-30 | 2009-04-03 | 엘지전자 주식회사 | 오디오 신호의 인코딩 및 디코딩 장치, 및 방법 |
RU2419249C2 (ru) | 2005-09-13 | 2011-05-20 | Кониклейке Филипс Электроникс Н.В. | Аудиокодирование |
US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
JP5161109B2 (ja) | 2006-01-19 | 2013-03-13 | エルジー エレクトロニクス インコーポレイティド | 信号デコーディング方法及び装置 |
EP1984913A4 (en) * | 2006-02-07 | 2011-01-12 | Lg Electronics Inc | DEVICE AND METHOD FOR CODING / DECODING A SIGNAL |
CN101385077B (zh) * | 2006-02-07 | 2012-04-11 | Lg电子株式会社 | 用于编码/解码信号的装置和方法 |
EP1999747B1 (en) | 2006-03-29 | 2016-10-12 | Koninklijke Philips N.V. | Audio decoding |
US8174415B2 (en) | 2006-03-31 | 2012-05-08 | Silicon Laboratories Inc. | Broadcast AM receiver, FM receiver and/or FM transmitter with integrated stereo audio codec, headphone drivers and/or speaker drivers |
CN101136202B (zh) * | 2006-08-29 | 2011-05-11 | 华为技术有限公司 | 音频信号处理系统、方法以及音频信号收发装置 |
KR101111520B1 (ko) | 2006-12-07 | 2012-05-24 | 엘지전자 주식회사 | 오디오 처리 방법 및 장치 |
BRPI0816618B1 (pt) * | 2007-10-09 | 2020-11-10 | Koninklijke Philips Electronics N.V. | método e aparelho para gerar sinal de áudio binaural |
EP2210253A4 (en) | 2007-11-21 | 2010-12-01 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING A SIGNAL |
EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
EP2224431A1 (en) * | 2009-02-26 | 2010-09-01 | Research In Motion Limited | Methods and devices for performing a fast modified discrete cosine transform of an input sequence |
TWI557723B (zh) | 2010-02-18 | 2016-11-11 | 杜比實驗室特許公司 | 解碼方法及系統 |
ES2522171T3 (es) * | 2010-03-09 | 2014-11-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para procesar una señal de audio usando alineación de borde de patching |
EP2477188A1 (en) | 2011-01-18 | 2012-07-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding of slot positions of events in an audio signal frame |
CN103380455B (zh) | 2011-02-09 | 2015-06-10 | 瑞典爱立信有限公司 | 对音频信号的高效编码/解码 |
EP2719197A2 (en) | 2011-06-13 | 2014-04-16 | Shakeel Naksh Bandi P Pyarejan SYED | System for producing 3 dimensional digital stereo surround sound natural 360 degrees (3d dssr n-360) |
US8653354B1 (en) | 2011-08-02 | 2014-02-18 | Sonivoz, L.P. | Audio synthesizing systems and methods |
TWI479905B (zh) | 2012-01-12 | 2015-04-01 | Univ Nat Central | Multi-channel down mixing device |
DK2658120T3 (en) | 2012-04-25 | 2016-05-30 | Gn Resound As | A hearing aid with improved compression |
US8781008B2 (en) * | 2012-06-20 | 2014-07-15 | MagnaCom Ltd. | Highly-spectrally-efficient transmission using orthogonal frequency division multiplexing |
EP2682941A1 (de) * | 2012-07-02 | 2014-01-08 | Technische Universität Ilmenau | Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne |
CN104854656B (zh) * | 2012-10-05 | 2017-12-19 | 弗劳恩霍夫应用研究促进协会 | 在自相关域中利用acelp编码语音信号的装置 |
US9674632B2 (en) * | 2013-05-29 | 2017-06-06 | Qualcomm Incorporated | Filtering with binaural room impulse responses |
US9384741B2 (en) * | 2013-05-29 | 2016-07-05 | Qualcomm Incorporated | Binauralization of rotated higher order ambisonics |
US9025711B2 (en) * | 2013-08-13 | 2015-05-05 | Applied Micro Circuits Corporation | Fast filtering for a transceiver |
CN103763037B (zh) * | 2013-12-17 | 2017-02-22 | 记忆科技(深圳)有限公司 | 一种动态补偿接收器及动态补偿接收方法 |
WO2016172363A1 (en) * | 2015-04-24 | 2016-10-27 | Cyber Resonance Corporation | Methods and systems for performing signal analysis to identify content types |
CN112492501B (zh) | 2015-08-25 | 2022-10-14 | 杜比国际公司 | 使用呈现变换参数的音频编码和解码 |
AU2016312404B2 (en) | 2015-08-25 | 2020-11-26 | Dolby International Ab | Audio decoder and decoding method |
-
2016
- 2016-08-23 AU AU2016312404A patent/AU2016312404B2/en active Active
- 2016-08-23 ES ES20187841T patent/ES2956344T3/es active Active
- 2016-08-23 CN CN202010976967.9A patent/CN111970629B/zh active Active
- 2016-08-23 EA EA201992556A patent/EA201992556A1/ru unknown
- 2016-08-23 WO PCT/US2016/048233 patent/WO2017035163A1/en active Application Filing
- 2016-08-23 KR KR1020237011008A patent/KR20230048461A/ko not_active Application Discontinuation
- 2016-08-23 EP EP23187005.6A patent/EP4254406A3/en active Pending
- 2016-08-23 EP EP20187841.0A patent/EP3748994B1/en active Active
- 2016-08-23 EA EA201890557A patent/EA034371B1/ru not_active IP Right Cessation
- 2016-08-23 CN CN201680062186.0A patent/CN108353242B/zh active Active
- 2016-08-23 CA CA2999271A patent/CA2999271A1/en active Pending
- 2016-08-23 US US15/752,699 patent/US10672408B2/en active Active
- 2016-08-23 CN CN202010976981.9A patent/CN111970630B/zh active Active
- 2016-08-23 JP JP2018509898A patent/JP6797187B2/ja active Active
- 2016-08-23 KR KR1020187008298A patent/KR102517867B1/ko active IP Right Grant
- 2016-08-23 EP EP16760281.2A patent/EP3342188B1/en active Active
-
2018
- 2018-03-23 PH PH12018500649A patent/PH12018500649A1/en unknown
-
2019
- 2019-01-02 HK HK19100036.5A patent/HK1257672A1/zh unknown
-
2020
- 2020-05-26 US US16/882,747 patent/US11423917B2/en active Active
-
2021
- 2021-02-19 AU AU2021201082A patent/AU2021201082B2/en active Active
-
2022
- 2022-08-13 US US17/887,429 patent/US11705143B2/en active Active
-
2023
- 2023-02-14 JP JP2023020846A patent/JP2023053304A/ja active Pending
- 2023-04-19 AU AU2023202400A patent/AU2023202400B2/en active Active
- 2023-07-13 US US18/351,769 patent/US12002480B2/en active Active
-
2024
- 2024-04-29 US US18/649,738 patent/US20240282323A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102517867B1 (ko) | 오디오 디코더 및 디코딩 방법 | |
CN108600935B (zh) | 音频信号处理方法和设备 | |
CA2701360C (en) | Method and apparatus for generating a binaural audio signal | |
KR102551796B1 (ko) | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩 | |
JP7229218B2 (ja) | データ・ストリームを形成するための方法、媒体、システム | |
EA041656B1 (ru) | Аудиодекодер и способ декодирования |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal |