KR101358700B1 - 오디오 인코딩 및 디코딩 - Google Patents
오디오 인코딩 및 디코딩 Download PDFInfo
- Publication number
- KR101358700B1 KR101358700B1 KR1020087022998A KR20087022998A KR101358700B1 KR 101358700 B1 KR101358700 B1 KR 101358700B1 KR 1020087022998 A KR1020087022998 A KR 1020087022998A KR 20087022998 A KR20087022998 A KR 20087022998A KR 101358700 B1 KR101358700 B1 KR 101358700B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- data
- stereo
- stereo signal
- spatial
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 76
- 230000004044 response Effects 0.000 claims abstract description 73
- 238000012546 transfer Methods 0.000 claims abstract description 52
- 230000015572 biosynthetic process Effects 0.000 claims description 56
- 238000003786 synthesis reaction Methods 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 229910052698 phosphorus Inorganic materials 0.000 claims 1
- 239000011574 phosphorus Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 65
- 210000003128 head Anatomy 0.000 description 13
- 238000001914 filtration Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002301 combined effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
오디오 인코더는 M>2인, M 채널 오디오 신호를 수신하는 다중 채널 수신기(401)를 포함한다. 다운 믹싱 처리기(403)는 제 1 스테레오 신호 및 M 채널 오디오 신호를 연관된 파라메트릭 데이터에 다운 믹싱하고 공간 처리기(407)는 헤드 관련 전달 함수(HRTF) 같은 입체 음향 인식 전달 함수에 대한 공간 파라미터 데이터 및 연관된 파라메트릭 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 제 1 스테레오 신호를 변형한다. 제 2 스테레오 신호는 입체 음향 신호이고 특히 (3D) 가상 공간 신호일 수 있다. 인코딩된 데이터 및 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림은 인코딩 처리기(411) 및 출력 처리기(413)에 의해 생성된다. HRTF 처리는 종래 스트레오 디코더들에 의한 (3D) 가상 공간 신호를 생성하게 한다. 다중 채널 디코더는 개선된 품질의 다중 채널 신호를 생성하기 위하여 공간 처리기(407)의 처리를 리버스할 수 있다.
오디오 인코딩, 오디오 디코딩, 오디오 인코더, 오디오 디코더, 전송 시스템
Description
본 발명은 오디오 인코딩 및/또는 디코딩 및 특히, 그러나 배타적이지 않게, 입체 음향 가상 공간 신호를 포함하는 오디오 인코딩 및/또는 디코딩에 관한 것이다.
다양한 소스 신호들의 디지털 인코딩은 디지털 신호 표현 및 통신이 점점 아날로그 표현 및 통신을 대체함에따라 지난 수 십년 동안 점점 중요하게 되었다. 예를들어, 비디오 및 음악 같은 미디어 콘텐트의 분배는 점점 디지털 콘텐트 인코딩에 기초한다.
게다가, 지난 십년 동안 종래 스테레오 신호들을 넘어서 확장하는 다중 채널 오디오 및 특히 공간 오디오 쪽으로의 트렌드가 있었다. 예를들어, 종래 스테레오 레코딩들은 두 개의 채널들만을 포함하지만 현대 진보된 오디오 시스템은 통상적으로 대중적인 5.1 서라운드 사운드 시스템들과 같이 5 또는 6개의 채널들을 이용한다. 이것은 보다 열중하는 청취 경험을 제공하고 여기서 사용자는 사운드 소스들에 의해 둘러싸일 수 있다.
다양한 기술들 및 표준들은 상기 다중 채널 신호들의 통신을 위하여 개발되었다. 예를들어, 5.1 서라운드 시스템을 표현하는 6개의 분산된 채널들은 AAC(Advanced Audio Coding) 또는 돌비 디지털 표준들 같은 표준들에 따라 전송될 수 있다.
그러나, 과거 호환성(backwards compatibility)을 제공하기 위하여, 보다 높은 수의 채널들을 보다 낮은 수의 채널로 다운 믹싱(down-mix)하는 것이 공지되었고 특히 스테레오 신호가 종래(스테레오) 디코더들 및 서라운드 사운드 디코더들에 의한 5.1 신호에 의해 재생되게 하는 5.1 서라운드 사운드 신호를 스테레오 신호로 다운 믹싱하는 것이 주로 이용된다.
하나의 예는 MPEG2 과거 호환성 코딩 방법이다. 다중 채널 신호는 스테레오 신호로 다운 믹싱된다. 부가적인 신호들은 MPEG2 다중 채널 디코더가 다중 채널 신호의 표현을 생성하게 하는 보조 데이터 부분으로 인코딩된다. MPEG1 디코더는 보조 데이터를 무시할 것이고 따라서 스테레오 다운 믹싱만을 디코딩한다. MPEG2에 적용된 코딩 방법의 주요 단점은 부가적인 신호들에 요구된 부가적인 데이터 레이트가 스테레오 신호를 코딩하기 위하여 요구된 데이터 레이트와 동일한 정도의 크기라는 것이다. 따라서 스테레오를 다중 채널 오디오로 확장하기 위한 부가적인 비트 레이트가 중요하다.
부가적인 다중 채널 정보 없이 과거 호환 가능 다중 채널 전송을 위한 다른 종래 방법들은 통상적으로 매트릭스화된 서라운드 방법들을 특징으로 할 수 있다. 매트릭스 서라운드 사운드 인코딩의 예들은 Dolby Prologic Ⅱ 및 Logic-7 같은 방법들을 포함한다. 이들 방법들의 공통적인 원리는 적당한 비-정방 매트릭스(non-quadratic matrix)에 의해 입력 신호의 다중 채널들을 매트릭스 곱셈하고 이에 따 라 보다 작은 수의 채널들을 가지고 출력 신호를 생성하는 것이다. 특히, 매트릭스 인코더는 통상적으로 프론트 및 센터 채널들과 서라운드 채널들을 혼합하기 전에 서라운드 채널들에 대한 위상 시프트들을 적용한다.
채널 변환을 위한 다른 이유는 코딩 효율성이다. 스테레오 채널 오디오 신호들이 오디오 신호의 공간 특성들을 기술하는 파라미터 비트 스트림과 결합되는 것 같이, 예를들어 서라운드 사운드 오디오 신호들이 인코딩될 수 있는 것이 발견되었다. 디코더는 매우 만족스러운 정도의 정확도로 스테레오 오디오 신호들을 재생할 수 있다. 이런 방식으로, 실질적인 비트 레이트 절약들은 얻어질 수 있다.
오디오 신호들의 공간 특성들을 기술하기 위하여 이용될 수 있는 몇몇 파라미터들이 있다. 하나의 파라미터는 스테레오 신호들에 대한 좌측 채널 및 우측 채널 사이의 교차 상호 관계 같은 채널 간 교차 상호 관계이다. 다른 파라미터는 채널들의 전력 비이다. 소위 (파라메트릭) 공간 오디오 (인)코더들에서, 이들 및 다른 파라미터들은 감소된 수의 채널들, 예를들어 하나의 채널만을 가진 오디오 신호, 플러스 본래 오디오 신호의 공간 특성들을 기술하는 한 세트의 파라미터들을 형성하기 위하여 본래 오디오 신호로부터 추출된다. 소위 (파라메트릭) 공간 오디오 디코더들에서, 전송된 공간 파라미터들에 의해 기술된 바와 같은 공간 특성들은 재-사용된다(re-instated).
상기 공간 오디오 코딩은 바람직하게 인코더 및 디코더의 표준 유닛들을 포함하는 직렬 또는 트리 기반 계층 구조를 이용한다. 인코더에서, 표준 유닛들은 2 대 1, 3 대 1, 3 대 2 등등 다운 믹서들 같은 보다 작은 수의 채널들에 채널들을 결합하는 다운 믹서들일 수 있고, 디코더에서 대응하는 표준 유닛들은 1 대 2, 2 대 3 업 믹서들 같은 보다 큰 수의 채널들로 채널들을 분할하는 업 믹서들일 수 있다.
3D 사운드 소스 배치는 특히 모바일 영역에서 현재 관심 거리이다. 모바일 게임들에서 음악 재생 및 사운드 효과들은 3D에 배치될 때 고객 경험에 상당한 값어치를 부과하고, "헤드 외측" 3D 효과를 효과적으로 생성한다. 특히, 인간 귀가 감지하는 특정 방향 정보를 포함하는 입체 음향 오디오 신호들을 레코드 및 재생하는 것은 공지되었다. 입체 음향 레코딩들은 통상적으로 더미 인간 헤드에 장착된 두 개의 마이크로폰들을 이용하여 이루어지므로, 레코드된 사운드는 인간 귀에 의해 캡쳐된 사운드에 해당하고 헤드 및 귀들의 모양으로 인한 임의의 영향을 포함한다. 입체 음향 레코딩들은 입체 음향 레코딩의 재생이 헤드셋 또는 헤드폰들에 대해 일반적으로 의도된 스테레오(즉, 입체 음향) 레코딩들과 다르고, 반면 스테레오 레코딩은 일반적으로 라우드스피커들에 의한 재생으로 이루어진다. 입체 음향 레코딩은 단지 두 개의 채널들을 이용하여 모든 공간 정보를 재생할 수 있게 하고, 스테레오 레코딩은 동일한 공간 인식을 제공하지 못한다. 정규적인 듀얼 채널(입체 음향) 또는 다중 채널(예를들어, 5.1) 레코딩들은 한 세트의 인식 전달 함수들을 가진 각각의 정규적인 신호를 컨벌브(convolve) 함으로써 입체 음향 레코딩으로 변환될 수 있다. 상기 지각 전달 함수들은 신호에 대한 인간 머리, 및 가능하면 다른 물체들의 영향을 모델화한다. 잘 공지된 형태의 공간 지각 전달 함수는 소위 헤드 관련 전달 함수(HRTF)이다. 방의 벽들, 천장 및 바닥에 의해 발생되는 반사 들을 고려하는 다른 형태의 공간 지각 전달 함수는 입체 음향 룸 임펄스 응답(BRIR)이다.
통상적으로, 3D 배치 알고리듬들은 임펄스 응답에 의해 특정 사운드 소스로부터 고막들로 전달을 기술하는 HRTF들을 이용한다. 3D 사운드 소스 배치는 HRTF들에 의해 다중 채널 신호들에 적용될 수 있어서 입체 음향 신호가 한 쌍의 헤드폰들을 이용하는 사용자에게 공간 사운드 정보를 제공하게 한다.
레벨의 지각이 주로 양쪽 귀들에 도달하는 스펙트럼의 특정 피크들 및 골들에 의해 조장되는 것은 공지된다. 다른 한편, 사운드 소스의 (지각된) 방위각은 "고막들에서 신호들 사이의 레벨 차 및 도달 시간 차들 같은 "입체 음향" 큐들에서 캡쳐된다. 거리 지각은 주로 전체 신호 레벨 및 반사의 경우, 직접 및 반사 에너지의 비율에 의해 대부분 조장된다. 대부분의 경우들에서, 필수적으로 늦은 반향 테일에서, 신뢰성 있는 사운드 소스 배치 큐들이 없다는 것이 가정된다.
높이, 방위각 및 거리에 관한 지각 큐들은 임펄스 응답들 (쌍)에 의해 캡쳐될 수 있다; 특정 사운드 소스 위치로부터 좌측 귀로 전달을 기술하기 위한 하나의 임펄스 응답; 우측 귀에 대한 하나의 임펄스 응답. 따라서 높이, 방위각 및 거리에 대한 지각적 큐들은 HRTF 임펄스 응답들(쌍)의 대응하는 특성들에 의해 결정된다. 대부분의 경우들에서, HRTF 쌍은 사운드 소스 위치들의 다수의 세트를 위하여 측정된다; 통상적으로 높이 및 방위각 모두에서 약 5도의 공간 해상도를 가짐.
통상적인 입체 음향 3D 합성은 목표된 사운드 소스 위치의 HRTF 쌍을 가진 입력 신호의 필터링(컨벌루션)을 포함한다. 그러나, HRTF들이 통상적으로 반향 없 는 조건들에서 측정되기 때문에, '거리' 또는 '헤드 밖' 위치 결정은 종종 수행되지 못한다. 반향 없는 HRTF들을 가진 신호의 컨벌루션 3D 사운드 합성에 충분하지 않지만, 반향 없는 HRTF들의 이용은 시점의 복잡성 및 융통성 측면에서 종종 바람직할 수 있다. 반향 환경의 효과(거리 지각의 생성을 위하여 요구됨)는 추후 스테이지에 부가될 수 있고, 룸 음향 특성들을 변형하기 위하여 최종 사용자에게 몇몇 융통성을 제공한다. 게다가, 늦은 반향은 종종 전방향(방향 큐들 없이)인 것으로 가정되기 때문에, 이런 처리 방법은 반향 HRTF 쌍을 가진 모든 사운드 소스를 컨벌브하기 보다 종종 충분할 수 있다. 게다가, 룸 음향들에 대한 복잡성 및 융통성 논의 외에, 반향 없는 HRTF들은 또한 '무미 건조한'(방향 큐) 신호의 합성을 위하여 장점을 가진다.
3D 위치 결정 분야에서 최근 연구는 반향 없는 HRTF 임펄스 응답에 의해 표현되는 주파수 응답이 많은 경우들에서 필요한 것보다 높다는 것을 알게 하였다. 특히, 위상 및 크기 스펙트럼에 대해, ERB 스케일에 의해 제안된 바와 같은 비선형 주파수 해상도는 전체 반향 없는 HRTF들의 처리와 지각적으로 다른 정확도로 3D 사운드 소스들을 합성하기에 충분한 것 같다. 다른 말로, 반향 없는 HRTF 스펙트럼은 인간 청각 시스템의 주파수 해상도보다 높은 스펙트럼 해상도를 요구하지 않는다.
통상적인 입체 음향 합성 알고리듬은 도 1에 도시된다. 한 세트의 입력 채널들은 한 세트의 HRTF들에 의해 필터된다. 각각의 입력 신호는 두 개의 신호들(좌측 'L' 및 우측 'R' 성분)로 분할된다; 각각의 이들 신호들은 목표된 사운드 소 스 위치에 대응하는 HRTF에 의해 추후 필터된다. 모든 좌측 귀 신호들은 추후 좌측 입체 음향 출력 신호를 생성하기 위하여 합산되고, 우측 귀 신호들은 우측 입체 음향 출력 신호를 생성하기 위하여 합산된다.
HRTF 컨벌루션은 시간 영역에서 수행될 수 있지만, 종종 주파수 영역에서 곱으로서 필터링을 수행하기 위하여 바람직하다. 이 경우, 합은 주파수 영역에서 또한 수행될 수 있다.
디코더 시스템들은 서라운드 사운드 인코딩 신호를 수신할 수 있고 입체 음향 신호로부터 서라운드 사운드 경험을 생성하는 것이 공지되었다. 예를들어, 서라운드 사운드 신호가 헤드폰 사용자에게 서라운드 사운드 경험을 제공하기 위하여 서라운드 사운드 입체 음향 신호로 변환되게 하는 헤드폰 시스템들은 공지되었다.
도 2는 MPEG 서라운드 디코더가 공간 파라미터 데이터를 가진 스테레오 신호를 수신하는 시스템을 도시한다. 입력 비트 스트림은 디멀티플렉스되어 공간 파라미터들 및 다운 믹싱 비트 스트림을 유발한다. 추후 비트 스트림은 통상적인 모노 또는 스테레오 디코더를 이용하여 디코딩된다. 디코딩된 다운 믹싱은 공간 디코더에 의해 디코딩되고, 상기 공간 디코더는 전송된 공간 파라미터들에 기초하여 다중 채널 출력을 생성한다. 마지막으로, 다중 채널 출력은 입체 음향 스테이지(도 1과 유사함)에 의해 처리되어 사용자에게 서라운드 사운드 경험을 제공하는 입체 음향 출력 신호를 유발한다.
그러나, 상기 방법은 다수의 연관된 단점들을 가진다.
예를들어, 서라운드 사운드 디코더 및 입체 음향 합성부의 직렬 접속은 중간 단계로서 다중 채널 신호 표현을 소비하고, 그 다음 입체 음향 합성 단계에서 HRTF 컨벌루션 및 다운 믹싱을 유발한다. 이것은 증가된 복잡성 및 감소된 성능을 발생시킨다.
또한, 시스템은 매우 복잡하다. 예를들어 공간 디코더들은 통상적으로 서브대역(QMF) 영역에서 동작한다. 다른 한편 HRTF 컨벌루션은 통상적으로 FFT 영역에서 매우 효율적으로 실행될 수 있다. 그러므로, 다중 채널 QMF 합성 필터 뱅크, 다중 채널 FFT 변환, 및 스테레오 인버스 FFT 변환의 직렬 접속은 필요하고, 이에 따라 높은 소비 요구 조건을 가진 시스템이 발생한다.
제공된 사용자 경험 품질은 감소될 수 있다. 예를들어, 다중 채널 재구성을 생성하기 위하여 공간 디코더에 의해 생성된 코딩 인공물들은 여전히 (스테레오) 입체 음향 출력에서 들을 수 있을 것이다.
게다가, 상기 방법은 전용 디코더들 및 개별 사용자 장치들에 의해 수행될 복잡한 신호 처리를 요구한다. 이것은 많은 상황들의 애플리케이션을 방해한다. 예를들어, 스테레오 다운 믹싱을 디코딩할 수 있는 기존 장치들은 서라운드 사운드 사용자 경험을 제공하지 못할 것이다.
따라서, 개선된 오디오 인코딩/디코딩은 바람직하다.
따라서, 본 발명의 목적은 하나 또는 그 이상의 상기된 단점들을 하나 또는 임의의 결합으로 바람직하게 감소, 제거 또는 삭제하는 것이다.
본 발명의 제 1 측면에 따라 오디오 인코더로서, M>2인, M 채널 오디오 신호를 수신하기 위한 수단; 제 1 스테레오 신호 및 연관된 파라메트릭 데이터에 상기 M 채널 오디오 신호를 다운 믹싱하기 위한 다운 믹싱 수단; 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단으로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 생성 수단; 인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하기 위한 수단; 및 상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림을 생성하기 위한 출력 수단을 포함하는, 오디오 인코더가 제공된다.
본 발명은 오디오 인코딩을 개선시킬 수 있다. 특히, 본 발명은 기존 스테레오 디코더들이 강화된 공간 경험을 제공하게 하면서 다중 채널 신호들의 효과적인 스테레오 인코딩을 허용할 수 있다. 게다가, 본 발명은 입체 음향 공간 합성 처리가 디코더에서 리버스되게 하여, 고품질 다중 채널 디코딩을 허용한다. 본 발명은 낮은 복잡도의 인코더를 허용할 수 있고 특히 낮은 복잡성의 입체 음향 신호를 생성하게 할 수 있다. 본 발명은 용이한 실행 및 함수의 재이용을 허용할 수 있다.
본 발명은 특히 다중 채널 신호로부터 입체 음향 가상 공간 신호의 파라미터 바탕 결정을 제공할 수 있다.
입체 음향 신호는 가상 3D 입체 음향 스테레오 신호 같은 입체 음향 가상 공간 신호일 수 있다. M 채널 오디오 신호는 5.1 또는 7.1 서라운드 신호 같은 서라운드 신호일 수 있다. 입체 음향 가상 공간 신호는 M 채널 오디오 신호의 각각의 채널에 대해 하나의 사운드 소스 위치를 실행할 수 있다. 공간 파라미터 데이터는 의도된 사운드 소스 위치로부터 의도된 사용자의 고막으로 전달 함수를 나타내는 데이터를 포함할 수 있다.
입체 음향 지각 전달 함수는 예를들어 헤드 관련 전달 함수(HRTF) 또는 입체 음향 룸 임펄스 응답(BPIR)일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 생성 수단은 상기 제 1 스테레오 신호에 대한 상기 연관된 파라메트릭 데이터, 상기 공간 파라미터 데이터 및 서브 대역 데이터 값들에 응답하여 상기 제 2 스테레오 신호에 대한 서브 대역 데이터 값들을 계산함으로써 상기 제 2 스테레오 신호를 생성하도록 구성된다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다. 제 1 스테레오 신호, 제 2 스테레오 신호, 연관된 파라메트릭 데이터 및 공간 파라미터 데이터의 주파수 서브 대역 간격들은 다르거나 몇몇 또는 모든 서브 대역들은 실질적으로 몇몇 또는 이들 모두와 동일할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 생성 수단은 제 1 서브 대역 매트릭스에 의해 상기 제 1 스테레오 신호에 대한 대응하는 스테레오 서브 대역 값들의 곱셈에 응답하여 상기 제 2 스테레오 신호의 제 1 서브 대역에 대한 서브 대역 값들을 생성하도록 구성되고; 상기 생성 수단은 상기 제 1 서브 대역에 대한 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 상기 제 1 서브 대역 매트릭스의 데이터 값들을 결정하기 위한 파라미터 수단을 더 포함한다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다. 본 발명은 특히 개별 서브 대역들에서 매트릭스 동작들을 수행함으로써 다중 채널 신호로부터 입체 음향 가상 공간 신호의 파라미터 바탕 결정을 제공할 수 있다. 제 1 서브 대역 매트릭스 값들은 다중 채널 디코딩 및 결과적인 다중 채널들의 HRTF/BRIR 필터링의 직렬 접속의 결합된 효과를 반영할 수 있다. 서브 대역 매트릭스 곱셈은 제 2 스테레오 신호의 모든 서브 대역들에 대해 수행될 수 있다.
본 발명의 선택적인 특징에 따라, 상기 생성 수단은 상기 제 1 스테레오 신호, 상기 연관된 파라메트릭 데이터 및 상기 제 1 서브 대역 간격과 다른 주파수 간격을 갖는 서브 대역과 연관된 상기 공간 파라미터 데이터 중 적어도 하나의 데이터 값을 상기 제 1 서브 대역에 대한 대응하는 데이터 값으로 변환하기 위한 수단을 더 포함한다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다. 특히, 본 발명은 다른 처리들 및 알고리듬들이 개별 처리에 가장 적당한 서브 대역 분할들에 기초하여 할 수 있게 한다.
본 발명의 선택적인 특징에 따라, 상기 생성 수단은 하기와 같은 상기 제 2 스테레오 신호의 상기 제 1 서브 대역에 대한 스테레오 서브 대역 값들(LB,RB)을 결정하도록 구성되고,
여기서, LO.RO는 상기 제 1 스테레오 신호의 대응하는 서브 대역 값들이고 파라미터 수단은 실질적으로 하기와 같은 곱셈 매트릭스의 데이터 값들을 결정하도록 구성된다:
여기서 Mk,l은 제 1 스테레오 신호에 대한 채널들(L,R 및 C)의 다운 믹싱 수단에 의한 다운 믹싱을 위하여 연관된 파라메트릭 데이터에 응답하여 결정된 파라미터들이다; 및 HJ(X)는 제 2 스테레오 신호의 스테레오 출력 채널(J)에 대한 채널(X)에 대한 상기 공간 파라미터 데이터에 응답하여 결정된다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 채널들(L 및 R) 중 적어도 하나는 적어도 두 개의 다운 믹싱된 채널들의 다운 믹싱에 대응하고 파라미터 수단은 상기 적어도 두 개의 다운 믹싱된 채널들에 대한 공간 파라미터 데이터의 가중된 조합에 응답하여 HJ(X)를 결정하도록 구성된다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 파라미터 수단은 적어도 두 개의 다운 믹싱된 채널들에 대한 상대적 에너지 측정값에 응답하여 적어도 두 개의 다운 믹싱된 채널들에 대한 공간 파라미터 데이터의 가중치를 결정하도록 구성된다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 공간 파라미터 데이터는 서브 대역 파라미터 당 평균 레벨; 평균 도달 시간 파라미터; 적어도 하나의 스테레오 채널의 위상; 타이밍 파라미터; 그룹 지연 파라미터; 스테레오 채널들 사이의 위상; 및 교차 채널 상관 파라미터로 구성된 그룹으로부터 선택된 적어도 하나의 파라미터를 포함한다.
이들 파라미터들은 특히 바람직한 인코딩을 제공할 수 있고 특히 서브 대역 처리에 적당할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 출력 수단은 상기 출력 스트림에 사운드 소스 위치 데이터를 포함하도록 구성된다.
이것은 디코더가 적당한 공간 파라미터 데이터를 결정하게 하고 및/또는 낮은 오버헤드를 가진 공간 파라미터 데이터를 나타내는 효과적인 방식을 제공할 수 있다. 이것은 디코더에서 입체 음향 가상 공간 합성 처리를 리버스하는 효과적인 방식을 제공할 수 있어서 고품질의 다중 채널 디코딩을 허용한다. 상기 특징은 추가로 개선된 사용자 경험을 허용하거나 이동하는 사운드 소스들을 가진 입체 음향 가상 공간 신호의 실행을 허용하거나 용이하게 한다. 상기 특징은 커스터마이즈(customize)되거나 개별화된 입체 음향 지각 전달 함수를 이용한 합성 다음 인코더에서 수행되는 합성을 우선 리버스함으로써 디코더에서 공간 합성의 커스터마이즈를 선택적으로 또는 부가적으로 허용할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 출력 수단은 상기 출력 스트림의 공간 파라미터 데이터 중 적어도 일부를 포함하도록 구성된다.
이것은 디코더에서 입체 음향 가상 공간 합성 처리를 리버스하는 효과적인 방식을 제공하여 고품질 다중 채널 디코딩을 허용할 수 있다. 상기 특징은 추가로 개선된 사용자 경험을 허용하고 이동하는 사운드 소스들을 가진 입체 음향 가상 공간 신호의 실행을 허용하거나 용이하게 한다. 공간 파라미터 데이터는 예를들어 디코더가 공간 파라미터 데이터를 결정하게 하는 정보를 포함함으로써 출력 스트림에 직접 또는 간접적으로 포함될 수 있다. 상기 특징은 커스터마이즈되거나 개별화된 입체 음향 지각 전달 함수를 이용하는 합성 후 인코더에서 수행되는 합성을 우선 리버스함으로서 디코더에서 공간 합성을 선택적으로 또는 부가적으로 커스터마이즈하게 한다.
본 발명의 선택적인 특징에 따라, 상기 인코더는 목표된 사운드 신호 위치들에 응답하여 공간 파라미터 데이터를 결정하기 위한 수단을 더 포함한다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용한다. 목표된 사운드 신호 위치들은 M 채널 신호의 개별 채널들을 위한 사운드 소스들의 위치들에 대응할 수 있다.
본 발명의 다른 측면에 따라 오디오 디코더로서, 제 1 스테레오 신호 및 M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터를 포함하는 입력 데이터를 수신하기 위한 수단으로서, 상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 상기 수신 수단; 입체 음향 지각 전달 함수에 대해 상기 파라메트릭 데이터 및 제 1 공간 파라미터 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단으로서, 상기 제 1 공간 파라미터 데이터는 상기 제 1 스테레오 신호와 연관되는, 상기 생성 수단을 포함하는, 오디오 디코더가 제공된다.
본 발명은 오디오 디코딩을 개선시킬 수 있다. 특히, 본 발명은 고품질 스테레오 디코딩을 허용하고 특히 인코더 입체 음향 가상 공간 합성 처리가 디코더에서 리버스되게 할 수 있다. 본 발명은 낮은 복잡성 디코더를 허용한다. 본 발명은 용이한 실행 및 함수의 재이용을 허용할 수 있다.
입체 음향 신호는 가상 3D 입체 음향 스테레오 신호 같은 입체 음향 공간 신호일 수 있다. 공간 파라미터 데이터는 의도된 사운드 소스로부터 의도된 사용자의 귀로 전달 함수를 나타내는 데이터를 포함할 수 있다. 입체 음향 지각 전달 함수는 예를들어 헤드 관련 전달 함수(HRTF) 또는 입체 음향 룸 임펄스 응답(BPIR)일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 오디오 디코더는 상기 다운 믹싱된 스테레오 신호 및 상기 파라메트릭 데이터에 응답하여 M 채널 오디오 신호를 생성하기 위한 수단을 더 포함한다.
본 발명은 오디오 디코딩을 개선시킬 수 있다. 특히, 본 발명은 고품질 다중 채널 디코딩을 허용할 수 있고 인코더 입체 음향 가상 공간 합성 처리가 디코더에서 리버스되게 할 수 있다. 본 발명은 낮은 복잡성 디코더를 허용할 수 있다. 본 발명은 용이한 실행 및 함수의 재이용을 허용한다.
M 채널 오디오 신호는 5.1 또는 7.1 서라운드 신호 같은 서라운드 신호일 수 있다. 입체 음향 신호는 M 채널 오디오 신호의 각각의 채널에 대해 하나의 사운드 소스 위치를 실행하는 가상 공간 신호일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 생성 수단은 제 1 스테레오 신호에 대한 연관된 파라메트릭 데이터, 상기 공간 파라미터 데이터 및 서브 대역 데이터 값들에 응답하여 상기 다운 믹싱된 스테레오 신호에 대한 서브 대역 데이터 값들을 계산함으로써 상기 다운 믹싱된 스테레오 신호를 생성하도록 구성된다.
이것은 개선된 디코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기 특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다. 제 1 스테레오 신호, 다운 믹싱된 스테레오 신호, 연관된 파라메트릭 데이터 및 공간 파라미터 데이터의 주파수 서브 대역 간격들은 다를 수 있거나 몇몇 또는 모든 서브 대역들은 실질적으로 몇몇 또는 이들 모두와 동일할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 생성 수단은 제 1 서브 대역 매트릭스에 의해 제 1 스테레오 신호에 대한 대응하는 스테레오 서브 대역 값들의 곱셈에 응답하여 상기 다운 믹싱된 스테레오 신호의 제 1 서브 대역에 대한 서브 대역 값들을 생성하도록 구성된다.
상기 생성 수단은 상기 제 1 서브 대역을 위한 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 1 서브 대역 매트릭스의 데이터 값들을 결정하기 위한 파라미터 수단을 더 포함한다.
이것은 개선된 디코딩 및/또는 용이한 실행을 허용할 수 있다. 특히, 상기특징은 감소된 복잡성 및/또는 감소된 계산 부담을 제공할 수 있다. 제 1 서브 대역 매트릭스 값들은 결과적인 다중 채널들의 다중 채널 디코딩 및 HRTF/BRIR 필터링의 직렬 접속의 결합된 효과를 반영할 수 있다. 서브 대역 매트릭스 곱셈은 다운 믹싱된 스테레오 신호의 모든 서브 대역들에 대해 수행될 수 있다.
본 발명의 선택적인 특징에 따라, 입력 데이터는 공간 파라미터 데이터 중 적어도 일부를 포함한다.
이것은 인코더에서 수행되는 입체 음향 가상 공간 합성 처리를 리버스하는 효과적인 방식을 제공하여 고품질 다중 채널 디코딩을 허용한다. 상기 특징은 개선된 사용자 경험을 허용하고 이동하는 사운드 소스들을 가진 입체 음향 가상 공간 신호의 실행을 허용하거나 용이하게 한다. 공간 파라미터는 입력 데이터에 직접 또는 간접적으로 포함될 수 있고, 이것은 디코더가 공간 파라미터 데이터를 결정하게 하는 임의의 정보일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 입력 데이터는 사운드 소스 위치 데이터를 포함하고 상기 디코더는 사운드 소스 위치 데이터에 응답하여 상기 공간 파라미터 데이터를 결정하기 위한 수단을 포함한다.
이것은 개선된 인코딩 및/또는 용이한 실행을 허용한다. 목표된 사운드 신호 위치들은 M 채널 신호의 개별 채널들을 위한 사운드 소스들의 위치에 대응할 수 있다.
디코더는 예를들어 다른 사운드 소스 위치들과 연관된 HRTF 공간 파라미터 데이터를 포함하는 데이터 저장소를 포함하고 표시된 위치들에 대한 파라메트릭 데이터를 검색함으로써 이용하기 위한 공간 파라미터 데이터를 결정할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 오디오 디코더는 제 2 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 제 2 공간 파라미터 데이터에 응답하여 상기 제 1 스테레오 신호를 변형함으로써 한 쌍의 입체 음향 출력 채널들을 생성하기 위한 공간 디코더 유닛을 더 포함하고, 상기 제 2 공간 파라미터 데이터는 제 1 공간 파라미터 데이터와 다르다.
상기 특징은 개선된 공간 합성을 허용하고 특히 특정 사용자에게 적당한 개별 또는 커스터마이즈된 공간 합성 입체 음향 신호를 허용한다. 이것은 디코더에서 공간 합성을 요구하지 않고 기존 스테레오 디코더들이 공간 입체 음향 신호들을 생성하게 하면서 달성될 수 있다. 따라서, 개선된 오디오 시스템이 달성될 수 있다. 제 2 입체 음향 지각 전달 함수는 제 1 공간 데이터의 입체 음향 지각 전달 함수와 다를 수 있다. 제 2 입체 음향 지각 전달 함수 및 제 2 공간 데이터는 디코더의 개별 사용자를 위하여 특정하게 커스터마이즈될 수 있다.
본 발명의 선택적인 특징에 따라, 상기 공간 디코더는 상기 제 2 공간 파라미터 데이터를 이용하여 상기 파라메트릭 데이터를 입체 음향 합성 파라미터들로 변환하기 위한 파라미터 변환 유닛, 및 상기 입체 음향 합성 파라미터들 및 상기 제 1 스테레오 신호를 이용하여 상기 입체 음향 채널들의 쌍을 합성하기 위한 공간 합성 유닛을 포함한다.
이것은 개선된 성능을 허용하고 및/또는 용이한 실행 및/또는 감소된 복잡성을 허용한다. 입체 음향 파라미터들은 입체 음향 채널들에 대한 서브대역 샘플들을 생성하기 위하여 제 1 스테레오 신호 및/또는 다운 믹싱된 스테레오 신호의 서브대역 샘플들과 곱셈될 수 있는 파라미터들일 수 있다. 곱셈은 예를들어 매트릭스 곱셈일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 다운 믹싱된 스테레오 신호의 스테레오 샘플들을 상기 입체 음향 출력 채널들의 쌍의 스테레오 샘플들에 관련시키는 2x2 매트릭스에 대한 매트릭스 계수들을 포함한다.
이것은 개선된 성능 및/또는 용이한 실행 및/또는 감소된 복잡성을 허용할 수 있다. 스테레오 샘플들은 예를들어 QMF 또는 퓨리에 변환 주파수 서브대역들의 스테레오 서브대역 샘플들일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 입체 음향 합성 파라미터들은 상기 제 1 스테레오 신호의 스테레오 서브대역 샘플들을 상기 입체 음향 출력 채널들의 쌍의 스테레오 샘플들에 관련시키는 2x2 매트릭스에 대한 매트릭스 계수들을 포함한다.
이것은 개선된 성능 및/또는 용이한 실행 및/또는 감소된 복잡성을 허용할 수 있다. 스테레오 샘플들은 예를들어 QMF 또는 퓨리에 변환 주파수 서브대역들의 스테레오 서브대역 샘플들일 수 있다.
본 발명의 다른 측면에 따라, 오디오 인코딩 방법으로서, M>2인, M 채널 오디오 신호를 수신하는 단계; 제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 상기 M 채널 오디오 신호를 다운 믹싱하는 단계; 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 변형 단계; 인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하는 단계; 및 상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림을 생성하는 단계를 포함하는, 오디오 인코딩 방법이 제공된다.
본 발명의 다른 측면에 따라, 오디오 디코딩 방법으로서,
- 제 1 스테레오 신호 및 M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터를 포함하는 입력 데이터를 수신하는 단계로서, 상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 상기 입력 데이터 수신 단계; 및
입체 음향 지각 전달 함수에 대해 상기 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계로서, 상기 공간 파라미터 데이터는 상기 제 1 스테레오 신호와 연관되는, 상기 변형 단계를 포함하는, 오디오 디코딩 방법이 제공된다.
본 발명의 다른 측면에 따라 오디오 신호를 수신하기 위한 수신기로서, 제 1 스테레오 신호 및 M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터를 포함하는 입력 데이터를 수신하기 위한 수단으로서, 상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 상기 수신 수단; 및 입체 음향 지각 전달 함수에 대해 상기 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단으로서, 상기 공간 파라미터 데이터는 상기 제 1 스테레오 신호와 연관되는, 상기 생성 수단을 포함하는, 수신기가 제공된다.
본 발명의 다른 측면에 따라 출력 데이터 스트림을 전송하기 위한 전송기로서, M>2인, M 채널 오디오 신호를 수신하기 위한 수단; 제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 상기 M 채널 오디오 신호를 다운 믹싱하기 위한 다운 믹싱 수단; 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단으로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 생성 수단; 인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하기 위한 수단; 상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림을 생성하기 위한 출력 수단; 및 상기 출력 데이터 스트림을 전송하기 위한 수단을 포함하는, 전송기가 제공된다.
본 발명의 다른 측면에 따라, 오디오 신호를 전송하기 위한 전송 시스템에 있어서, 전송기로서, M>2인, M 채널 오디오 신호를 수신하기 위한 수단, 제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 상기 M 채널 오디오 신호를 다운 믹싱하기 위한 다운 믹싱 수단, 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단으로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 생성 수단, 인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하기 위한 수단, 상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 오디오 출력 데이터 스트림을 생성하기 위한 출력 수단, 및 상기 오디오 출력 데이터 스트림을 전송하기 위한 수단을 포함하는, 상기 전송기; 및 수신기로서, 상기 오디오 출력 데이터 스트림을 수신하기 위한 수단; 및 상기 파라메트릭 데이터 및 상기 공간 파라미터 데이터에 응답하여 상기 제 1 스테레오 신호를 생성하기 위하여 상기 제 2 스테레오 신호를 변형하기 위한 수단을 포함하는, 상기 수신기를 포함하는, 전송 시스템이 제공된다.
본 발명의 다른 측면에 따라, 오디오 신호를 수신하기 위한 방법으로서, 제 1 스테레오 신호 및 M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터를 포함하는 입력 데이터를 수신하는 단계로서, 상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 상기 수신 단계; 및 입체 음향 지각 전달 함수에 대해 상기 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계로서, 상기 공간 파라미터 데이터는 상기 제 1 스테레오 신호와 연관되는, 상기 변형 단계를 포함하는, 오디오 신호 수신 방법이 제공된다.
본 발명의 다른 측면에 따라, 오디오 출력 데이터 스트림을 전송하는 방법으로서, M>2인, M 채널 오디오 신호를 수신하는 단계; 제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 상기 M 채널 오디오 신호를 다운 믹싱하는 단계; 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 변형 단계; 인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하는 단계; 상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 오디오 출력 데이터 스트림을 생성하는 단계; 및 상기 오디오 출력 데이터 스트림을 전송하는 단계를 포함하는, 오디오 출력 데이터 스트림 전송 방법이 제공된다.
본 발명의 다른 측면에 따라, 오디오 신호를 전송 및 수신하는 방법으로서, M>2인, M 채널 오디오 신호를 수신하는 단계; 제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 상기 M 채널 오디오 신호를 다운 믹싱하는 단계; 입체 음향 지각 전달 함수에 대해 상기 연관된 파라메트릭 데이터 및 공간 파라미터 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 변형 단계; 인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하는 단계; 상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 오디오 출력 데이터 스트림을 생성하는 단계; 상기 오디오 출력 데이터 스트림을 전송하는 단계; 상기 오디오 출력 데이터 스트림을 수신하는 단계; 및 상기 파라메트릭 데이터 및 상기 공간 파라미터 데이터에 응답하여 상기 제 1 스테레오 신호를 생성하기 위하여 상기 제 2 스테레오 신호를 변형하는 단계를 포함하는, 오디오 신호 전송 및 수신 방법이 제공된다.
본 발명의 다른 측면에 따라, 상기된 방법들 중 임의의 한 방법을 실행하기 위한 컴퓨터 프로그램 제품이 제공된다.
본 발명의 다른 측면에 따라 상기된 인코더에 따른 인코더를 포함하는 오디오 레코딩 장치가 제공된다.
본 발명의 다른 측면에 따라, 상기된 디코더에 따른 디코더를 포함하는 오디오 플레이 장치가 제공된다.
본 발명의 다른 측면에 따라 제 1 스테레오 신호를 포함하는 오디오 신호용 오디오 데이터 스트림; 및 M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터가 제공되고 여기서 M>2이고; 제 1 스테레오 신호는 M 채널 오디오 신호에 대응하는 입체 음향 신호이다.
본 발명의 다른 측면에 따라 상기된 바와 같은 신호가 그 위에 저장된 저장 매체가 제공된다.
본 발명의 이들 및 다른 측면들, 특징들 및 장점들은 이후에 기술되는 실시예(들)를 참조하여 명백하고 열거될 것이다.
본 발명의 실시예들은 도면들을 참조하여 예시적으로만 기술될 것이다.
도 1은 종래 기술에 따른 입체 음향 합성부를 도시한 도면.
도 2는 다중 채널 디코더 및 입체 음향 합성부의 직렬 접속을 도시한 도면.
도 3은 본 발명의 몇몇 실시예들에 따른 오디오 신호의 통신을 위한 전송 시스템을 도시한 도면.
도 4는 본 발명의 몇몇 실시예들에 따른 인코더를 도시한 도면.
도 5는 서라운드 사운드 파라메트릭 다운 믹싱 인코더를 도시한 도면.
도 6은 사용자에 관련된 사운드 소스 위치의 예를 도시한 도면.
도 7은 본 발명의 몇몇 실시예들에 따른 다중 채널 디코더를 도시한 도면.
도 8은 본 발명의 몇몇 실시예들에 따른 디코더를 도시한 도면.
도 9는 본 발명의 몇몇 실시예들에 따른 디코더를 도시한 도면.
도 10은 본 발명의 몇몇 실시예들에 따른 오디오 인코딩 방법을 도시한 도면.
도 11은 본 발명의 몇몇 실시예들에 따른 오디오 디코딩 방법을 도시한 도면.
도 3은 본 발명의 몇몇 실시예들에 따른 오디오 신호의 통신을 위한 전송 시 스템(300)을 도시한다. 전송 시스템(300)은 특히 인터넷일 수 있는 네트워크(305)를 통하여 수신기(303)에 결합된 전송기(301)를 포함한다.
특정 실시예에서, 전송기(301)는 신호 레코딩 장치이고 수신기는 신호 플레이어 장치(303)이지만 다른 실시예들에서 전송기 및 수신기가 다른 애플리케이션들 및 다른 목적들에 이용될 수 있다는 것은 인식될 것이다. 예를들어, 전송기(301) 및/또는 수신기(303)는 트랜스코딩 함수의 일부일 수 있고 예를들어 다른 신호 소스들 또는 목적지들에 인터페이싱을 제공할 수 있다.
신호 레코딩 함수가 지원되는 특정 실시예에서, 전송기(301)는 샘플링 및 아날로그 대 디지털 변환에 의해 디지털 PCM 신호로 변환되는 아날로그 신호를 수신하는 디지털화기(307)를 포함한다. 디지털화기(307)는 다수의 신호들을 샘플하고 다중 채널 신호를 생성한다.
전송기(301)는 인코딩 알고리듬에 따라 다중 채널 신호를 인코딩하는 도 1의 인코더(309)에 결합된다. 인코더(300)는 인코딩된 신호를 수신하고 인터넷(305)에 인터페이스하는 네트워크 전송기(311)에 결합된다. 네트워크 전송기는 인터넷(305)을 통하여 수신기(303)에 인코딩된 신호를 전송할 수 있다.
수신기(303)는 인터넷(305)에 인터페이스하고 전송기(301)로부터 인코딩된 신호를 수신하도록 구성된 네트워크 수신기(313)를 포함한다.
네트워크 수신기(311)는 디코더(315)에 결합된다. 디코더(315)는 디코딩 알고리듬에 따라 인코딩된 신호를 수신 및 디코딩한다.
신호 플레이 함수가 지원되는 특정 실시예에서, 수신기(303)는 디코더(315) 로부터 디코딩된 오디오 신호를 수신하고 이를 사용자에게 제공하는 신호 플레이어(317)를 더 포함한다. 특히, 신호 플레이어(313)는 디코딩된 오디오 신호를 출력하기 위하여 요구되는 디지털 대 아날로그 컨버터, 증폭기들 및 스피커들을 포함할 수 있다.
특정 실시예에서, 인코더(309)는 5개의 채널 서라운드 사운드 신호를 수신하고 이를 스테레오 신호에 다운 믹싱한다. 그 다음 스테레오 신호는 3D 입체 음향 다운 믹싱의 형태의 입체 음향 가상 공간 신호인 입체 음향 신호를 생성하기 위하여 후 처리된다. 공간 인코딩 후 다운 믹싱 작업하는 3D 후처리 스테이지를 이용함으로써, 3D 처리는 디코더(315)에서 인버트될 수 있다. 결과적으로, 라우드스피커 재생을 위한 다중 채널 디코더는 변형된 스테레오 다운 믹싱로 인해 품질적으로 큰 품질 저하를 나타내지 않고, 동시에, 심지어 종래 스테레오 디코더들은 3D 호환 신호를 생성할 것이다. 따라서, 인코더(309)는 고품질 다중 채널 디코딩을 허용하고 동시에 예를들어 한 쌍의 헤드폰들을 공급하는 종래 디코더 같은 종래 스테레오 출력으로부터 의사 공간 경험을 허용한다.
도 4는 인코더(309)를 보다 상세히 도시한다.
인코더(309)는 다중 채널 오디오 신호를 수신하는 다중 채널 수신기(401)를 포함한다. 기술된 원리들이 두 개보다 많은 임의의 수의 채널들을 포함하는 다중 채널에 적용하지만, 특정 실시예는 표준 서라운드 사운드 신호에 대응하는 5개의 채널 신호에 집중할 것이다(간략화 및 간결함을 위하여, 서라운드 신호들에 주로 이용되는 보다 낮은 주파수 채널은 무시될 것이다. 그러나, 다중 채널 신호가 부 가적인 저주파 채널을 가질 수 있다는 것은 당업자에게 명백할 것이다. 이런 채널은 예를들어 다운 믹싱 처리기에 의해 센터 채널과 결합될 수 있다).
다중 채널 수신기(401)는 제 1 스테레오 신호에 5개의 채널 오디오 신호를 다운 믹싱하도록 구성된 다운 믹싱 처리기(403)에 결합된다. 게다가, 다운 믹싱 처리기(403)는 제 1 스테레오 신호와 연관되고 다중 채널 신호의 본래 채널들에 대한 제 1 스테레오 신호에 관련된 오디오 큐들 및 정보를 포함하는 파라메트릭 데이터(405)를 생성한다.
다운 믹싱 처리기(403)는 예를들어 MPEG 서라운드 다중 채널 인코더를 구현할 수 있다. 상기의 예는 도 5에 도시된다. 상기 예에서, 다중 채널 입력 신호는 Lf(좌측 프론트), Ls(좌측 서라운드), C(센터), Rf(우측 프론트) 및 Rs(우측 서라운드) 채널들로 구성된다. Lf 및 Ls 채널들은 좌측(L) 채널에 대한 모노 다운 믹싱뿐 아니라 출력 L 채널에 대한 두 개의 입력 채널들(Lf 및 Ls)에 관한 파라미터들을 생성하는 제 1 TTO(2 대 1)에 공급된다. 유사하게, Rf 및 Rs 채널들은 우측(R) 채널에 대한 모노 다운 믹싱뿐 아니라 출력 R 채널에 대한 두 개의 입력 채널들(Rf 및 Rs)에 관한 파라미터들을 생성하는 제 2 TTO 다운 믹서(503)에 공급된다. R,L 및 C 채널들은 스테레오 다운 믹싱 및 부가적인 공간 파라미터들을 생성하기 위하여 이들 신호들을 결합하는 TTT(3 대 2) 다운 믹서(505)에 공급된다.
TTT 다운 믹서(505)로부터 발생하는 파라미터들은 통상적으로 각각의 파라미터 대역에 대한 한 쌍의 예측 계수들, 또는 3개의 입력 신호들의 에너지 비율들을 기술하기 위한 한 쌍의 레벨 차들로 구성된다. TTO 다운 믹서들(501,503)의 파라 미터들은 통상적으로 각각의 주파수 대역에 대한 입력 신호들 사이의 레벨 차들 및 코히어런스 또는 교차 상관 값들로 구성된다.
따라서 생성된 제 1 스테레오 신호는 다수의 다운 믹서된 채널들을 포함하는 표준 종래 스테레오 신호이다. 다중 채널 디코더는 연관된 파라메트릭 데이터를 업 믹싱 및 제공함으로써 본래의 다중 채널 신호를 재생성할 수 있다. 그러나, 표준 스테레오 디코더는 스테레오 신호를 단순히 제공할 것이므로 공간 정보를 잃어버리고 감소된 사용자 경험을 형성한다.
그러나, 인코더(309)에서, 다운 믹싱된 스테레오 신호는 직접적으로 인코딩 및 전송되지 않는다. 오히려, 제 1 스테레오 신호는 다운 믹싱 처리기(403)로부터 연관된 파라메트릭 데이터(404)가 공급되는 공간 처리기(407)에 공급된다. 공간 처리기(407)는 게다가 HRTF 처리기(409)에 결합된다.
HRTF 처리기(409)는 3D 입체 음향 신호를 생성하기 위하여 공간 처리기(407)에 의해 이용된 헤드 관련 전달 함수(HRTF) 파라미터를 생성한다. 특히, HRTF는 임펄스 응답에 의해 주어진 사운드 소스 위치로부터 고막들로 전달 함수를 기술한다. HRTF 처리기(409)는 특히 주파수 서브 대역에서 목표된 HRTF 함수의 값에 대응하는 HRTF 파라메트릭 데이터를 생성한다. HRTF 처리기(409)는 다중 채널 신호의 채널들 중 하나의 사운드 소스 위치에 대해 HRTF를 계산할 수 있다. 이런 전달 함수는 적당한 주파수 서브 대역 영역(QMF 또는 FFT 서브 대역 영역)으로 변환될 수 있고 각각의 서브 대역에서 대응하는 HRTF 파라미터 값은 결정될 수 있다.
헤드 관련 전달 함수들의 애플리케이션에 설명이 집중되었지만, 기술된 방법 및 원리들은 입체 음향 룸 임펄스 응답(BRIR) 함수 같은 다른 (공간) 입체 음향 지각 전달 함수들에 똑같이 적용할 수 있다는 것이 인식될 것이다. 입체 음향 지각 전달 함수의 다른 예는 하나의 입력 채널로부터 입체 음향 스테레오 출력 채널들 각각에 상대적 신호 레벨 양을 기술하는 간단한 크기 패닝 룰(panning rule)이다.
몇몇 실시예들에서, HRTF 파라미터들은 동적으로 계산될 수 있는 반면, 다른 실시예들에서 적당한 데이터 저장소에 미리 결정되고 저장될 수 있다. 예를들어, HRTF 파라미터들은 방위각, 높이, 거리 및 주파수 대역의 함수으로서 데이터베이스에 저장될 수 있다. 그래서 주어진 주파수 서브 대역에 대한 적당한 HRTF 파라미터들은 목표된 공간 사운드 소스 위치에 대한 값들을 선택함으로써 간단히 검색될 수 있다.
공간 처리기(407)는 연관된 파라메트릭 데이터 및 공간 HRTF 파라메트릭 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 제 1 스테레오 신호를 변형한다. 제 1 스테레오 신호에 대조하여, 제 2 스테레오 신호는 종래 스테레오 시스템(예를들어 한 쌍의 헤드폰들에 의해)을 통하여 제공될 때 다른 사운드 소스 위치들에서 두 개 이상의 사운드 소스들의 존재를 실행하는 강화된 공간 경험을 제공할 수 있는 입체 음향 가상 공간 신호 및 특히 3D 입체 음향 신호이다.
제 2 스테레오 신호는 공간 처리기(407)에 결합되고 전송에 적당한 데이터 스트림으로 제 2 신호를 인코딩(예를들어, 적당한 등가화 레벨들을 제공 등등)하는 인코딩 처리기(411)에 공급된다. 인코딩 처리기(411)는 다운 믹싱 처리기(403)에 의해 생성된 적어도 하나의 인코딩된 제 2 스테레오 신호 데이터 및 연관된 파라메 트릭 데이터(405)를 결합함으로써 출력 스트림을 생성하는 출력 처리기(413)에 결합된다.
통상적으로 HRTF 합성은 모든 개별 사운드 소스들에 대한 파형들을 요구한다(예를들어 서라운드 사운드 신호의 환경에서 라우드스피커 신호들). 그러나, 인코더(307)에서, HRTF 쌍들은 주파수 서브 대역들을 위하여 파라미터화되고 이에 따라 인코딩(및 다운 믹싱) 처리 동안 추출되었던 공간 파라미터들의 도움으로, 다중 채널 입력 신호의 다운 믹싱의 낮은 복잡성 후처리에 의해 가상 5.1 라우드스피커 셋업이 생성되게 한다.
공간 처리기는 QMF 또는 FFT 서브 대역 영역 같은 서브 대역 영역에서 특히 동작할 수 있다. HRTF 필터링을 이용하여 HRTF 합성 다음 본래의 다중 채널 신호를 생성하기 위하여 다운 믹싱된 제 1 스테레오 신호를 디코딩하기 보다, 신호 처리기(407)는 3D 입체 음향 신호 같은 다중 채널 신호의 재인코딩 다음 다중 채널 신호로 다운 믹싱된 제 1 스테레오 신호를 디코딩하는 것의 결합된 효과에 대응하는 각각의 서브 대역에 대한 파라미터 값들을 생성한다.
특히, 발명자들은 3D 입체 음향 신호가 제 1 신호의 서브 대역 신호 값들에 2×2 매트릭스 곱셈을 제공함으로써 생성될 수 있다는 것을 인식하였다. 제 2 신호의 결과적인 신호 값들은 직렬 접속된 다중 채널 디코딩 및 HRTF 합성에 의해 생성되는 신호 값들에 밀접하게 대응한다. 따라서, 다중 채널 코딩 및 HRTF 합성의 결합된 신호 처리는 제 2 신호의 목표된 서브 대역 값들을 생성하기 위하여 제 1 신호의 서브 대역 신호 값들에 간단히 제공될 수 있는 4개의 파라미터 값들(매트릭 스 계수들)에 결합될 수 있다. 매트릭스 파라미터 값들이 다중 채널 신호 및 HRTF 합성을 디코딩하는 결합 과정을 반영하기 때문에, 파라미터 값들은 다운 믹싱 처리기(403)로부터의 연관된 파라메트릭 데이터뿐 아니라 HRTF 파라미터들 모두에 응답하여 결정된다.
인코더(309)에서, HRTF 함수들은 개별 주파수 대역들을 위하여 파라미터화된다. HRTF 파라미터화의 목적은 각각의 HRTF 쌍으로부터 사운드 소스 위치 결정을 위한 가장 중요한 큐들을 캡쳐하는 것이다. 이들 파라미터들은:
- 좌측 귀 임펄스 응답을 위한 주파수 서브 대역 당 (평균) 레벨;
- 우측 귀 임펄스 응답에 대한 주파수 서브 대역 당 (평균) 레벨;
- 좌측 귀 및 우측 귀 임펄스 응답 사이의 (평균) 도달 시간 또는 위상 차;
- 좌측 및 우측 귀 임펄스 응답들 모두에 대한 주파수 서브 대역 당 (평균) 절대 위상 또는 시간(또는 그룹 지연)(이 경우, 시간 또는 위상 차는 대부분의 경우 쓸모없다);
- 대응하는 임펄스 응답들 사이의 주파수 서브 대역 당 교차 채널 상관 또는 코히어런스를 포함할 수 있다.
주파수 서브 대역 당 레벨 파라미터들은 높이 합성(스펙트럼에서 특정 피크들 및 골들로 인해)뿐 아니라 방위각에 대한 레벨 차들(각각의 대역에 대해 레벨 파라미터들의 비율에 의해 결정됨) 모두를 조장할 수 있다.
절대 위상 값들 또는 위상 차 값들은 또한 사운드 소스 방위각에 대해 중요한 큐들인 양쪽 귀들 사이의 도달 시간 차들을 캡쳐할 수 있다. 코히어런스 값은 (파라미터) 대역당 평균화된 레벨 및/또는 위상 차에 기여될 수 없는 양쪽 귀들 사이의 미세한 구조 차들을 시뮬레이트하기 위하여 부가될 수 있다.
다음에서, 공간 처리기(407)에 의한 처리의 특정 예는 기술된다. 실시예에서, 사운드 소스의 위치는 도 6에 도시된 바와 같이 방위각(α) 및 거리(D)에 의해 청취자에 의해 관련하여 정의된다. 청취자의 좌측에 배치된 사운드 소스는 양의 방위각들에 대응한다. 사운드 소스 위치로부터 좌측 귀로 전달 함수는 HL으로 표시되고; 사운드 소스 위치로부터 우측 귀로의 전달 함수는 HR로 표시된다.
전달 함수들(HL 및 HR)은 방위각(α), 거리(D) 및 높이(
)(도 6에 도시되지 않음)에 따른다. 파라메트릭 표현에서, 전달 함수들은 HRTF 주파수 서브 대역(bh)당 한 세트의 3개의 파라미터들로서 기술될 수 있다. 이런 세트의 파라미터들은 좌측 전달 함수(
)에 한 주파수 대역당 평균 레벨, 우측 전달 함수(
)에 대한 주파수 대역 당 평균 레벨, 주파수 대역(
)당 평균 위상 차를 포함한다. 이런 세트의 가능한 범위는 HRTF 주파수 대역(
)당 좌측 및 우측 전달 함수들의 코히어런스 측정값을 포함하는 것이다. 이들 파라미터들은 방위각, 높이, 거리 및 주파수 대역의 함수로서 데이터베이스에 저장될 수 있고, 및/또는 몇몇 분석 함수를 이용하여 계산될 수 있다. 예를들어, Pl 및 Pr 파라미터들은 방위각 및 높이의 함수로서 저 장될 수 있고, 거리의 효과는 거리 자체에 의해 이들 값들을 나눔으로써 달성된다(신호 레벨 및 거리 사이의 1/D 관계를 가정한다). 다음에서, 표기법(Pl(Lf))는 Lf 채널의 사운드 소스 위치에 대응하는 공간 파라미터(Pl)를 나타낸다.
HRTF 파라미터화를 위한 주파수 서브 대역들의 수(bh) 및 각각의 서브 대역의 대역폭이 공간 처리기(407)에 의해 이용된 (QMF) 필터 뱅크(k)의 주파수 해상도 또는 다운 믹싱 처리기(403)의 공간 파라미터 해상도 및 연관된 파라미터 대역들(bp)과 필수적으로 동일하지 않다는 것이 주의된다. 예를들어, QMF 하이브리드 필터 뱅크는 71 채널들을 가질 수 있고, HRTF는 28 주파수 대역들에서 파라미터화될 수 있고, 공간 인코딩은 10 파라미터 대역들을 이용하여 수행될 수 있다. 상기 경우들에서, 공간 및 HRTF 파라미터들로부터 QMF 하이브리드 인덱스로 맵핑은 룩업 테이블 또는 보간 또는 평균화 함수를 이용하여 제공될 수 있다. 다음 파라미터 인덱스들은 이런 설명에 이용될 것이다:
| 인덱스 | 설명 |
| bh | HRTF들에 대한 파라미터 대역 인덱스 |
| bp | 다중 채널 다운 믹싱에 대한 파라미터 대역 인덱스 |
| k | QMF 하이브리드 대역 인덱스 |
특정 실시예에서, 공간 처리기(407)는 QMF 필터링에 의해 제 1 스테레오 신호를 적당한 주파수 서브 대역들로 분할한다. 각각의 서브 대여에 대해 서브 대역 값들(LB,RB)은 하기와 같이 결정된다:
여기서 LO,RO는 제 1 스테레오 신호의 대응하는 서브 대역 값들이고 매트릭스 값들(hj,k)은 HRTF 파라미터들 및 다운 믹싱 연관 파라메트릭 데이터로부터 결정된 파라미터들이다.
매트릭스 계수들은 모든 개별 채널들이 목표된 사운드 소스 위치에 대응하는 HRTF들로 처리되었고 다중 채널 신호를 디코딩하고 HRTF 합성을 수행하는 결합된 효과를 포함하면 다운 믹싱의 특성들을 형성하는 것을 목표로 한다.
특히, 도 5 및 상세한 설명을 참조하여, 매트릭스 값들은 하기와 같이 계산된다:
여기서 mk,l은 TTT 다운 믹서(505)에 의해 생성된 파라메트릭 데이터에 응답하여 결정된 파라미터들이다.
특히 L,R 및 C 신호들은 하기 방정식에 따른 스테레오 다운 믹싱 신호(LO,RO)로부터 생성된다:
여기서 mk,l은 전송된 공간 파라미터들의 일부인 두 개의 예측 계수들(c1 및 c2)에 따른다:
값들 HJ(X)은 제 2 스테레오 신호의 스테레오 출력 채널(J)에 대한 채널(X)에 대한 HRTF 파라메트릭 데이터뿐 아니라 적당한 다운 믹싱 파라미터들에 응답하여 결정된다.
특히, HJ(X) 파라미터들은 두 개의 TTO 다운 믹서들(501,503)에 의해 생성된 좌측(L) 및 우측(R) 다운 믹싱 신호들에 관한 것이고 두 개의 다운 믹싱된 채널들을 위한 HRTF 파라메트릭 데이터에 응답하여 결정될 수 있다. 특히, 두 개의 개별 좌측(Lf 및 Ls) 또는 우측(Rf 및 Rs) 채널들에 대한 HRTF의 가중된 조합은 이용될 수 있다. 개별 파라미터들은 개별 신호들의 상대적 에너지에 의해 가중될 수 있다. 특정 실시예로서, 다음 값들은 좌측 신호(L)를 위하여 결정될 수 있다:
여기서 가중치들(wx)은 하기와 같이 제공된다:
CLDl은 데시벨(공간 파라미터 비트 스트림의 일부임)들로 정의된 좌측 프론트(Lf) 및 좌측 서라운드(Ls) 사이의 '채널 레벨 차'이다:
유사하게, 다음 값들은 우측 신호(R)에 대해 결정될 수 있다;
및 중앙(C) 신호에 대해:
따라서, 기술된 방법을 이용하여, 낮은 복잡성 공간 처리는 입체 음향 가상 공간 신호가 다운 믹싱된 다중 채널 신호를 바탕으로 생성되게 할 수 있다.
언급된 바와 같이, 기술된 방법의 장점은 연관된 다운 믹싱 파라미터들의 주파수 서브 대역들, 공간 처리기(407)에 의한 공간 처리 및 HRTF 파라미터들이 동일할 필요가 없다는 것이다. 예를들어, 공간 처리의 서브 대역들에 대해 하나의 서브 대역의 파라미터들 사이의 맵핑은 수행될 수 있다. 예를들어, 공간 처리 서브 대역이 두 개의 HRTF 파라미터 서브 대역들에 대응하는 주파수 간격을 커버하면, 공간 처리기(407)는 공간 파라미터에 대응하는 모든 HRTF 파라미터 서브 대역들에 대해 동일한 공간 파라미터를 이용하여 HRTF 파라미터 서브 대역들에서 (개별) 처리를 간단히 적용할 수 있다.
몇몇 실시예들에서, 인코더(309)는 디코더가 출력 스트림의 하나 또는 그 이상의 사운드 소스들의 목표된 위치 데이터를 식별하게 하는 사운드 소스 위치 데이터를 포함하도록 구성될 수 있다. 이것은 디코더가 인코더(309)에 의해 제공된 HRTF 파라미터들을 결정하게 하고 이에 따라 공간 처리기(407)의 동작을 리버스하게 한다. 부가적으로 또는 선택적으로, 인코더는 출력 스트림의 적어도 몇몇의 HRTF 파라메트릭 데이터를 포함하도록 구성될 수 있다.
따라서, 선택적으로, HRTF 파라미터들 및/또는 라우드스피커 위치 데이터는 출력 스트림에 포함될 수 있다. 이것은 시간의 함수(라우드스피커 위치 변환의 경우)으로 라우드스피커 위치의 동적 업데이트 또는 개별화된 HRTF 데이터 이용(HRTF 파라미터 전송의 경우)을 허용한다.
HRTF 파라미터들이 비트 스트림의 일부로서 전송되는 경우, 적어도 Pl,Pr 및 φ 파라미터들은 각각의 주파수 대역 및 각각의 사운드 소스 위치 동안 전송될 수 있다. 크기 파라미터들(Pl,Pr)은 선형 양자화기를 이용하여 양자화되거나, 대수 영역에서 양자화될 수 있다. 위상 각도들(φ)은 선형으로 양자화될 수 있다. 양자화기 인덱스들은 비트 스트림에 포함될 수 있다.
게다가, 위상 각도들(φ)은 (청각간) 위상 정보가 고주파수들 동안 지각적으로 관계가 없기 때문에, 통상적으로 2.5kHz보다 큰 주파수 동안 영으로 가정될 수 있다.
양자화 후에, 다양한 손실 작은 압축 방법들은 HRTF 파라미터 양자화기 인덱 스들에 제공될 수 있다. 예를들어, 엔트로피 코딩은 주파수 대역들 양단에서 차동 코딩과 결합하여 제공될 수 있다. 선택적으로, HRTF 파라미터들은 공통 또는 평균 HRTF 파라미터 세트에 관련하여 차로서 표현될 수 있다. 이것은 특히 크기 파라미터들을 홀딩한다. 그렇지 않으면, 위상 파라미터들은 높이 및 방위각을 간단히 인코딩함으로써 매우 정확하게 근사화될 수 있다. 도달 시간 차를 계산함으로써[통상적으로 도달 시간 차는 특히 주파수와 무관하다; 대부분 방위각 및 높이에 관계된다], 양쪽 귀들에 궤적 차가 제공되어, 대응하는 위상 파라미터들은 유도될 수 있다. 부가적으로 측정값 차들은 방위각 및 높이 값들에 기초하여 예측 값들에 차동적으로 인코딩될 수 있다.
또한 손실 압축 방법들은 본래 성분 분석 같이 제공되고, 그 다음 몇몇 가장 중요한 PCA 가중치들의 전송이 이루어질 수 있다.
도 7은 본 발명의 몇몇 실시예에 따른 다중 채널 디코더의 예를 도시한다. 디코더는 도 3의 디코더(315)일 수 있다.
디코더(315)는 인코더(309)로부터 출력 스트림을 수신하는 입력 수신기(701)를 포함한다. 입력 수신기(701)는 수신된 데이터 스트림을 디멀티플렉스하고 적당한 함수 엘리먼트들에 관련 데이터를 제공한다.
입력 수신기(701)는 제 2 스테레오 신호의 인코딩된 데이터가 공급되는 디코딩 처리기(703)에 결합된다. 디코딩 처리기(703)는 이 데이터를 디코딩하여 공간 처리기(407)에 의해 형성된 입체 음향 가상 공간 신호를 생성한다.
디코더 처리기(703)는 공간 처리기(407)에 의해 수행된 동작을 리버스하도록 구성된 리버스 처리기(705)에 결합된다. 따라서, 리버스 처리기(705)는 다운 믹싱 처리기(403)에 의해 형성된 다운 믹싱된 스테레오 신호를 생성한다.
특히, 리버스 처리기(705)는 수신된 입체 음향 가상 공간 신호의 서브 대역 값들에 매트릭스 곱셈을 적용함으로써 다운 믹싱 스테레오 신호를 생성한다. 매트릭스 곱셈은 공간 처리기(407)에 의해 이용된 인버스 매트릭스에 대응하는 매트릭스에 의해 이런 동작을 리버스한다:
이 매트릭스 곱셈은 하기와 같이 기술될 수 있다:
매트릭스 계수들(qk,l)은 다운 믹싱 신호와 연관된 파라메트릭 데이터(디코더 309로부터 데이터 스트림에 수신된)뿐 아니라 HRTF 파라메트릭 데이터로부터 결정된다. 특히, 인코더(309)를 참조하여 기술된 방법은 또한 매트릭스 계수들(hx,y)을 생성하기 위하여 디코더(409)에 의해 이용될 수 있다. 매트릭스 계수들(qxy)은 표준 매트릭스 인버젼에 의해 발견될 수 있다.
리버스 처리기(705)는 이용될 HRTF 파라메트릭 데이터를 결정하는 파라미터 처리기(707)에 결합된다. HRTF 파라미터들은 몇몇 실시예들에서 수신된 데이터 스 트림에 포함되고 간단히 추출될 수 있다. 다른 실시예들에서, 다른 HRTF 파라미터들은 다른 사운드 소스 위치들에 대한 데이터베이스에 저장될 수 있고 파라미터 처리기(707)는 목표된 신호 소스 위치에 대응하는 값들을 추출함으로써 HRTF 파라미터들을 결정할 수 있다. 몇몇 실시예들에서, 목표된 신호 소스 위치(들)은 인코더(309)로부터 데이터 스트림에 포함될 수 있다. 파라미터 처리기(707)는 이 정보를 추출할 수 있고 이를 이용하여 HRTF 파라미터들을 결정한다. 예를들어, 표시 사운드 소스 위치(들)에 저장된 HRTF 파라미터를 검색할 수 있다.
몇몇 실시예들에서, 리버스 처리기에 의해 생성된 스테레오 신호는 직접 출력될 수 있다. 그러나, 다른 실시예들에서 상기 스테레오 신호는 다운 믹싱 스테레오 신호 및 수신된 파라메트릭 데이터로부터 M 채널 신호를 생성할 수 있는 다중 채널 디코더(709)에 공급될 수 있다.
상기 실시예에서, 3D 입체 음향 합성의 인버젼은 QMF 또는 퓨리에 주파수 서브대역들 같은 서브대역 영역에서 수행된다. 따라서, 디코딩 처리기(703)는 리버스 처리기(705)에 공급되는 서브대역 샘플들을 생성하기 위하여 QMF 필터 뱅크 또는 급속 퓨리에 변환(FFT)을 포함할 수 있다. 유사하게, 리버스 처리기(705) 또는 다중 채널 디코더(709)는 시간 영역으로 다시 신호들을 변환하기 위하여 인버스 FFT 또는 QMF 필터 뱅크를 포함할 수 있다.
인코더 측에서 3D 입체 음향 신호의 생성은 공간 청취 경험들이 종래 스테레오 인코더에 의한 해드셋 사용자에게 제공되게 한다. 따라서, 기술된 방법은 기존 스테레오 장치들이 3D 입체 음향 신호를 재생할 수 있는 장점을 가진다. 이와 같 이, 3D 입체 음향 신호들을 재생하기 위하여, 부가적인 후처리는 적용될 필요가 없어서 낮은 복잡성 해결책을 발생시킨다.
그러나, 상기 방법에서, 일반화된 HRTF는 통상적으로 이용되고 몇몇 경우들에서 특정 사용자를 위하여 최적화된 전용 HRTF 데이터를 이용하여 디코딩된 3D 입체 음향 신호의 생성과 비교하여 준최적의 공간 생성을 유도할 수 있다.
특히, 제한된 거리 지각 및 사운드 소스 위치 결정 에러들은 때때로 개별화되지 않은 HRTF들의 이용으로부터 발생할 수 있다(더미 헤드 또는 다른 사람을 위하여 측정된 임펄스 응답들 같은). 본래, HRTF들은 인간 몸의 해부학적 구조의 차로 인해 사람마다 다르다. 올바른 사운드 소스 위치 측면에서 최적 결과들은 개별화된 HRTF 데이터로 가장 잘 달성된다.
몇몇 실시예들에서, 디코더(315)는 추가로 로컬 HRTF 데이터 및 특히 특정 사용자를 위하여 최적화된 개별 HRTF 데이터를 이용하여 3D 입체 음향 신호의 생성 후 인코더(309)의 공간 처리를 우선 리버스하기 위한 함수를 포함한다. 따라서, 이 실시예에서, 디코더(315)는 인코더(309)에서 이용된 (HRTF) 데이터와 다른 HRTF 파라메트릭 데이터 및 연관된 파라미터를 이용하여 다운 믹싱된 스테레오 신호를 변형함으로써 한 쌍의 입체 음향 출력 채널들을 생성한다. 따라서, 이 방법은 인코더측 3D 합성, 디코더측 인버젼, 그 다음 디코더측 3D 합성의 다른 스테이지를 제공한다.
상기 방법의 장점은 기존 스테레오 장치들이 기본적인 3D 품질을 제공하는 출력으로서 3D 입체 음향 신호들을 가지며, 개선된 디코더들은 개선된 3D 품질을 수행할 수 있는 개별화된 HRTF들을 이용하는 옵션을 가진다는 것이다. 따라서, 양쪽 과거 기가 호환 가능 3D 합성뿐 아니라 고품질 전용 3D 합성은 동일한 오디오 시스템에서 수행된다.
상기 시스템의 간단한 예는 도 8에 도시되고 도 8은 부가적인 공간 처리기(801)가 커스터마이즈된 3D 입체 음향 출력 신호를 제공하기 위하여 도 7의 디코더에 어떻게 부가되는가를 도시한다. 몇몇 실시예들에서, 공간 처리기(801)는 간단히 각각의 오디오 채널들에 대해 개별 HRTF 함수들을 이용하는 간단한 3D 입체 음향 합성을 제공한다. 따라서, 디코더는 본래의 다중 채널 신호를 재생성할 수 있고 이를 커스터마이즈된 HRTF 필터링을 이용하여 3D 입체 음향 신호로 변환할 수 있다.
다른 실시예에서, 인코더 합성 및 디코더 합성의 인버젼은 보다 낮은 복잡성 동작을 제공하기 위하여 결합될 수 있다. 특히, 디코더 합성에 이용되는 개별화된 HRTF들은 파라미터화되고 인코더 3D 합성에 의해 이용된 파라미터들의 (인버스)와 결합된다.
특히, 이전에 기술된 바와 같이, 인코더 합성은 2x2 매트릭스에 의해 다운 믹싱된 신호들의 스테레오 서브대역 샘플들을 곱셈하는 것을 포함한다:
여기서, LO,RO는 다운 믹싱된 스테레오 신호의 대응하는 서브 대역 값들이고 매트릭스 값들(hj,k)는 이전에 기술된 바와 같이 HRTF 파라미터들 및 다운 믹싱 연관 파라메트릭 데이터로부터 결정된 파라미터들이다.
리버스 처리기(705)에 의해 수행된 인버젼은 하기와 같이 제공된다:
여기서 LB,RB는 디코더 다운 믹싱된 스테레오 신호의 대응하는 서브 대역 값들이다.
적당한 디코더 측 인버젼 처리를 보장하기 위하여, 3D 입체 음향 신호를 생성하기 위하여 인코더에 이용된 HRTF 파라미터들, 및 3D 입체 음향 처리를 인버트하기 위하여 이용된 HRTF 파라미터들은 동일하거나 충분히 유사하다. 하나의 비트 스트림이 일반적으로 몇몇 디코더들을 이용하기 때문에, 3D 입체 음향 다운 믹싱의 개별화는 인코더 합성에 의해 얻기 어렵다.
그러나, 3D 입체 음향 합성 처리가 인버트될 수 있기 때문에, 리버스 처리기(705)는 다운 믹싱된 스테레오 신호를 재생성하고, 개별화된 HRTF들에 기초하여 3D 입체 음향 신호를 생성하기 위하여 이용된다.
특히, 인코더(309)에서 동작과 유사하게, 디코더(315)에서 3D 입체 음향 합성은 3D 입체 음향 신호(LB,RB)를 생성하기 위하여 다운 믹싱 신호(LO,RO)에서 간단한 서브대역 2x2 매트릭스 동작에 의해 생성될 수 있다:
여기서 파라미터들(px,y)은 hx,y가 일반적인 HRTF를 바탕으로 인코더(309)에 의해 생성되는 것과 동일한 방식으로 개별화된 HRTF들에 기초하여 결정된다. 특히, 디코더(309)에서, 파라미터들(hx,y)은 다중 채널 파라메트릭 데이터 및 일반적인 HRTF들로부터 결정된다. 다중 채널 파라메트릭 데이터가 디코더(315)에 전송될 때, 동일한 방법은 개별 HRTF를 바탕으로 px,y를 계산하기 위하여 디코더에 의해 이용될 수 있다.
리버스 처리기(705)의 동작과 이를 결합하면 다음과 같다.
이 방정식에서, 매트릭스 엔트리들(hx,y)은 인코더에 이용된 일반적인 비개별화된 HRTF 세트를 이용하여 얻어지고, 매트릭스 엔트리들(px,y)은 다른 바람직하게 개별화된 HRTF 세트를 이용하여 얻어진다. 따라서 비개별화된 HRTF 데이터를 이용하여 생성된 3D 입체 음향 입력 신호(LB.RB)는 다른 개별화된 HRTF 데이터를 이용하여 다른 3D 입체 음향 출력 신호(LB',RB')로 변환된다.
게다가, 도시된 바와 같이, 인코더 합성 및 디코더 합성의 인버젼의 결합된 방법은 간단한 2x2 매트릭스 동작에 의해 달성될 수 있다. 따라서 이런 결합된 처리의 계산 복잡성은 간단한 3D 입체 음향 인버젼과 실제로 동일하다.
도 9는 상기된 원리들에 따라 동작하는 디코더(315)의 예를 도시한다. 특히, 인코더(309)로부터 3D 입체 음향 스테레오 다운 믹싱의 스테레오 서브대역 샘플들은 2x2 매트릭스 동작에 의해 본래 스테레오 다운 믹싱 샘플들을 재생성하는 리버스 처리기(705)에 공급된다.
결과적인 서브대역 샘플들은 2x2 매트릭스에 의해 이들 샘플들을 곱셈함으로써 개별화된 3D 입체 음향 신호를 생성하는 공간 합성 유닛(901)에 공급된다.
이 매트릭스 계수들은 개별화된 HRTF 및 인코더(309)로부터 수신된 다중 채널 확장 데이터를 바탕으로 하는 파라미터들을 생성하는 파라미터 변환 유닛(903)에 의해 생성된다.
합성 서브대역 샘플들(LB',RB')은 사용자에게 제공될 수 있는 3D 입체 음향 시간 영역을 생성하는 서브대역 대 시간 영역 변환(905)에 공급된다.
도 9가 다른 함수 유닛들에 의해 순차적 동작들로서 개별화된 HRTF들에 기초하는 3D 합성 및 개별화되지 않은 HRTF들에 기초하는 3D 인버젼의 단계들을 도시하 지만, 많은 실시예들에서 이들 동작들이 단일 매트릭스 애플리케이션에 의해 동시에 제공될 수 있다는 것이 인식된다. 특히, 2x2 매트릭스는 하기와 같이 계산되고,
출력 샘플들은 하기와 같이 계산된다.
기술된 시스템이 하기 다수의 장점들을 제공하는 것이 인식될 것이다:
- 공간 스테레오 처리가 다중 채널 디코더들에서 리버스될 수 있을 때 다중 채널 재구성의 (지각적) 품질 저하가 없거나 거의 없다.
- (3D) 공간 입체 음향 스테레오 경험은 종래 스테레오 디코더들에 의해서도 제공될 수 있다.
- 종래 공간 위치 결정 방법들에 비해 복잡성이 감소한다. 상기 복잡성은 하기와 같은 다수의 방식으로 감소된다:
- HRTF 파라미터들의 효율적인 저장. HRTF 임펄스 응답들을 저장하는 대신, 단지 제한된 수의 파라미터들만이 HRTF들을 특성화하기 위하여 이용된다.
- 효율적인 3D 처리. HRTF들이 제한된 주파수 해상도에서 파라미터들로서 특성화되고, HRTF 파라미터들의 애플리케이션이 (높은 다운-샘플된) 파라미터 영역에서 수행되기 때문에, 공간 합성 스테이지는 전체 HRTF 컨벌루션에 기초하는 종래 합성 방법들보다 효율적이다.
- 요구된 처리는 예를들어 QMF 영역에서 수행될 수 있어서, FFT 바탕 방법들보다 작은 계산 및 메모리 부하를 발생시킨다.
- 최소 실행 복잡성을 허용하는 종래 서라운드 빌딩 블록들(표준 MPEG 서라운드 사운드 인코딩/디코딩 함수들 같은)의 효율적인 재이용.
- 인코더에 의해 전송된 (파라미터화된) HRTF 데이터의 변형에 의한 개별화 가능성.
- 전송된 위치 정보에 의해 운용중 사운드 소스 위치들이 변화할 수 있다.
도 10은 본 발명의 몇몇 실시예들에 따른 오디오 인코딩 방법을 도시한다.
상기 방법은 단계(1001)에서 시작하고, 여기서 M 채널 오디오 신호는 수신된다(M>2).
단계(1001) 다음에 단계(1003)가 오고 여기서 M 채널 오디오 신호는 제 1 스테레오 신호 및 연관된 파라메트릭 데이터에 다운 믹싱된다.
단계(1003) 다음 단계(1005)가 오고, 제 1 스테레오 신호는 연관된 파라메트릭 데이터 및 공간 헤드 관련 전달 함수(HRTF) 파라메트릭 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 변형된다. 제 2 스테레오 신호는 입체 음향 공간 신호이다.
단계(1005) 다음에 단계(1007)가 오고, 제 2 스테레오 신호는 인코딩된 데이터를 생성하기 위하여 인코딩된다.
단계(1007) 다음에 단계(1009)가 오고, 인코딩된 데이터 및 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림이 생성된다.
도 11은 본 발명의 몇몇 실시예에 따른 오디오 디코딩 방법을 도시한다.
방법은 단계(1101)에서 시작하고, 디코더는 제 1 스테레오 신호 및 M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터를 포함하는 입력 데이터를 수신하고, 여기서 M>2이다. 제 1 스테레오 신호는 입체 음향 가상 공간 신호이다.
단계(1101) 다음에 단계(1103)가 오고 제 1 스테레오 신호는 제 1 스테레오 신호와 연관된 파라메트릭 데이터 및 공간 헤드 관련 전달 함수(HRTF) 파라메트릭 데이터에 응답하여 다운 믹싱된 스테레오 신호를 생성하기 위하여 변형된다.
단계(1103) 다음에 선택적 단계(1105)가 오고, M 채널 오디오 신호는 다운 믹싱된 스테레오 신호 및 파라메트릭 데이터에 응답하여 생성된다.
간략화를 위한 상기 설명이 다른 함수 유닛들 및 처리기들을 참조하여 본 발명의 실시예들이 기술하였다는 것이 인식될 것이다. 그러나, 다른 함수 유닛들 또는 처리기들 사이의 함수의 임의의 적당한 분배가 본 발명의 품질을 떨어뜨리지 않고 이용될 수 있다는 것은 명백하다. 예를들어, 독립된 처리기들 또는 제어기들에 의해 수행될 함수는 동일한 처리기 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 함수 유닛들에 대한 참조들은 엄격한 논리 또는 물리적 구조 또는 구성을 나타내기보다 기술된 함수를 제공하기 위한 적당한 수단에 대한 참조로서만 볼 수 있다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 임의의 이들 결합을 포함하는 임의의 적당한 형태로 실행될 수 있다. 본 발명은 하나 또는 그 이상의 데이터 처리기들 및/또는 디지털 신호 처리기들을 운용하는 컴퓨터 스포트웨어로서 적어도 부분적으로 선택적으로 실행될 수 있다. 본 발명의 엘리먼트들 및 구성요소들은 임의의 적당한 방식으로 물리적, 함수적 및 논리적으로 실행될 수 있다. 정말로 함수는 단일 유닛, 다수의 유닛들 또는 다른 함수 유닛들의 일부로서 실행될 수 있다. 이와 같이, 본 발명은 하나의 유닛으로 실행되거나 다른 유닛들 및 처리기들 사이에서 물리적 및 함수적으로 분배될 수 있다.
본 발명이 몇몇 실시예들과 관련하여 기술되었지만, 여기에 나타난 특정 형태로 제한되지 않는다. 오히려, 본 발명의 범위는 첨부 청구항들에 의해서만 제한된다. 부가적으로, 하나의 특징이 특정 실시예들과 관련하여 기술되었지만, 당업자는 기술된 실시예들의 다양한 특징들이 본 발명에 따라 결합될 수 있다는 것을 인식한다. 청구항들에서, 용어 포함하다는 다른 엘리먼트들 또는 단계들의 존재를 배제하지 않는다.
게다가, 개별적으로 리스트되었지만, 다수의 수단, 엘리먼트들 또는 방법 단계들은 예를들어 단일 유닛 또는 처리기에 의해 실행될 수 있다. 부가적으로, 개별 구조들이 다른 청구항들에 포함될 수 있지만, 이들은 바람직하게 결합될 수 있고, 다른 청구항들에서 포함은 특징들의 결합이 가능하지 않고 및/또는 바람직하지 않다는 것을 의미하지 않는다. 또한 청구항들의 하나의 카테고리의 특징들의 포함이 이런 카테고리로 제한을 의미하지 않고 오히려 특징이 적당하게 다른 청구항의 카테고리들에 똑같이 응용할 수 있다는 것을 가리킨다. 게다가, 청구항들에서 특징들의 순서는 특징들이 작동되는 임의의 특정 순서를 의미하지 않고 특히 방법 청구항에서 개별 단계들의 순서는 단계들이 이런 순서로 수행되어야 하는 것을 의미하지 않는다. 오히려, 단계들은 임의의 적당한 순서로 수행될 수 있다. 게다가, 단일 참조 번호들은 다수를 배제하지 않는다. 따라서 참조 "어", "언", "제 1", "제 2" 등등은 다수를 배제하지 않는다. 청구항들에서 참조 부호들은 임의의 방식으로 청구항들의 범위를 제한하는 것으로 해석되지 않는 단지 명료한 실시예로서 제공된다.
Claims (34)
- 오디오 인코더로서,M>2인, M 채널 오디오 신호를 수신하기 위한 수단(401);상기 M 채널 오디오 신호를 제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 다운 믹싱하기 위한 다운 믹싱 수단(403);입체 음향(binaural) 지각 전달 함수를 나타내는 공간 파라미터 데이터 및 상기 연관된 파라메트릭 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단(407)으로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 생성 수단(407);인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하기 위한 수단(411); 및상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림을 생성하기 위한 출력 수단(413)을 포함하는, 오디오 인코더.
- 제 1 항에 있어서,상기 생성 수단(407)은 상기 연관된 파라메트릭 데이터, 상기 공간 파라미터 데이터 및 상기 제 1 스테레오 신호에 관한 서브 대역 데이터 값들에 응답하여 상기 제 2 스테레오 신호에 대한 서브 대역 데이터 값들을 계산함으로써 상기 제 2 스테레오 신호를 생성하도록 구성된, 오디오 인코더.
- 제 2 항에 있어서,상기 생성 수단(407)은 상기 제 1 스테레오 신호에 대한 대응하는 스테레오 서브 대역 값들의 제 1 서브 대역 매트릭스에 의한 곱셈에 응답하여 상기 제 2 스테레오 신호의 제 1 서브 대역에 대한 서브 대역 값들을 생성하도록 구성되고; 상기 생성 수단(407)은 상기 제 1 서브 대역에 관한 공간 파라미터 데이터 및 연관된 파라메트릭 데이터에 응답하여 상기 제 1 서브 대역 매트릭스의 데이터 값들을 결정하기 위한 파라미터 수단을 더 포함하는, 오디오 인코더.
- 제 3 항에 있어서,상기 생성 수단(407)은 상기 제 1 스테레오 신호, 상기 연관된 파라메트릭 데이터 및 상기 제 1 서브 대역 간격과 다른 주파수 간격을 갖는 서브 대역과 연관된 상기 공간 파라미터 데이터 중 적어도 하나의 데이터 값을 상기 제 1 서브 대역에 대한 대응하는 데이터 값으로 변환하기 위한 수단을 더 포함하는, 오디오 인코더.
- 제 3 항에 있어서,상기 생성 수단(407)은, 상기 제 2 스테레오 신호의 상기 제 1 서브 대역에 대한 스테레오 서브 대역 값들(LB,RB)을, 실질적으로
로서 결정하도록 구성되고,여기서 LO,RO는 상기 제 1 스테레오 신호의 대응하는 서브 대역 값들이고 상기 파라미터 수단은 상기 곱셈 매트릭스의 데이터 값들을, 실질적으로
로서 결정하도록 구성되고,여기서 mk,l은 다운 믹싱 수단에 의한 채널들(L,R 및 C)의 상기 제 1 스테레오 신호로의 다운 믹스를 위한 연관된 파라메트릭 데이터에 응답하여 결정된 파라미터들이고; 및 HJ(X)는 상기 제 2 스테레오 신호의 출력 채널(J)에 대한 채널(X)에 관한 상기 공간 파라미터 데이터에 응답하여 결정되는, 오디오 인코더. - 제 5 항에 있어서,채널들(L 및 R) 중 적어도 하나는 적어도 두 개의 다운 믹싱된 채널들의 다운 믹스에 대응하고 상기 파라미터 수단은 상기 적어도 두 개의 다운 믹싱된 채널들에 관한 공간 파라미터 데이터의 가중된 조합에 응답하여 HJ(X)를 결정하도록 구성되는, 오디오 인코더.
- 제 6 항에 있어서,상기 파라미터 수단은 상기 적어도 두 개의 다운 믹싱된 채널들에 대한 상대 에너지 측정값(measure)에 응답하여 상기 적어도 두 개의 다운 믹싱된 채널들에 대한 상기 공간 파라미터 데이터의 가중치를 결정하도록 구성되는, 오디오 인코더.
- 제 1 항에 있어서,상기 공간 파라미터 데이터는,- 서브 대역 파라미터당 평균 레벨;- 평균 도달 시간 파라미터;- 적어도 하나의 스테레오 채널의 위상;- 타이밍 파라미터;- 그룹 지연 파라미터;- 스테레오 채널들간의 위상; 및- 교차 채널 상관 파라미터로 구성된 그룹으로부터 선택된 적어도 하나의 파라미터를 포함하는, 오디오 인코더.
- 제 1 항에 있어서,상기 출력 수단(413)은 상기 출력 스트림에 사운드 소스 위치 데이터를 포함하도록 구성되는, 오디오 인코더.
- 제 1 항에 있어서,상기 출력 수단(413)은 상기 출력 스트림에 상기 공간 파라미터 데이터 중 적어도 일부를 포함하도록 구성되는, 오디오 인코더.
- 제 1 항에 있어서,목표된(desired) 사운드 신호 위치들에 응답하여 상기 공간 파라미터 데이터를 결정하기 위한 수단(409)을 더 포함하는, 오디오 인코더.
- 오디오 디코더로서,M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터 및 제 1 스테레오 신호를 포함하는 입력 데이터를 수신하기 위한 수단(701,703)으로서, 상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 상기 수신 수단(701,703);입체 음향 지각 전달 함수를 나타내는 제 1 공간 파라미터 데이터 및 상기 파라메트릭 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하기 위한 생성 수단(705)으로서, 상기 제 1 공간 파라미터 데이터는 상기 제 1 스테레오 신호와 연관되는, 상기 생성 수단(705)을 포함하는, 오디오 디코더.
- 제 12 항에 있어서,상기 다운 믹싱된 스테레오 신호 및 상기 파라메트릭 데이터에 응답하여 M 채널 오디오 신호를 생성하기 위한 수단(709)을 더 포함하는, 오디오 디코더.
- 제 12 항에 있어서,상기 생성 수단(705)은 상기 제 1 스테레오 신호에 관한 서브 대역 데이터 값들 및 상기 연관된 파라메트릭 데이터, 상기 제 1 공간 파라미터 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호에 대한 서브 대역 데이터 값들을 계산함으로써 상기 다운 믹싱된 스테레오 신호를 생성하도록 구성되는, 오디오 디코더.
- 제 14 항에 있어서,상기 생성 수단(705)은 상기 제 1 스테레오 신호에 관한 대응하는 스테레오 서브 대역 값들의 제 1 서브 대역 매트릭스에 의한 곱셈에 응답하여 상기 다운 믹싱된 스테레오 신호의 제 1 서브 대역에 대한 서브 대역 값들을 생성하도록 구성되고; 상기 생성 수단(705)은 파라메트릭 데이터 및 상기 제 1 서브 대역에 관한 입체 음향 지각 전달 함수 파라미터 데이터에 응답하여 상기 제 1 서브 대역 매트릭스의 데이터 값들을 결정하기 위한 파라미터 수단을 더 포함하는, 오디오 디코더.
- 제 12 항에 있어서,상기 입력 데이터는 상기 제 1 공간 파라미터 데이터 중 적어도 일부를 포함하는, 오디오 디코더.
- 제 12 항에 있어서,상기 입력 데이터는 사운드 소스 위치 데이터를 포함하고 상기 디코더는 상기 사운드 소스 위치 데이터에 응답하여 상기 제 1 공간 파라미터 데이터를 결정하기 위한 수단(707)을 포함하는, 오디오 디코더.
- 제 12 항에 있어서,상기 연관된 파라메트릭 데이터 및 제 2 입체 음향 지각 전달 함수를 나타내는 제 2 공간 파라미터 데이터에 응답하여 상기 제 1 스테레오 신호를 변형함으로써 한 쌍의 입체 음향 출력 채널들을 생성하기 위한 공간 디코더 유닛(709,801)을 더 포함하고, 상기 제 2 공간 파라미터 데이터는 상기 제 1 공간 파라미터 데이터와 다른, 오디오 디코더.
- 제 18 항에 있어서,상기 공간 디코더 유닛(709,801)은,상기 제 2 공간 파라미터 데이터를 이용하여 상기 파라메트릭 데이터를 입체 음향 합성 파라미터들로 변환하기 위한 파라미터 변환 유닛(903), 및상기 입체 음향 합성 파라미터들 및 상기 제 1 스테레오 신호를 이용하여 상 기 입체 음향 채널들의 쌍을 합성하기 위한 공간 합성 유닛(901)을 포함하는, 오디오 디코더.
- 제 19 항에 있어서,상기 입체 음향 합성 파라미터들은 상기 다운 믹싱된 스테레오 신호의 스테레오 샘플들을 상기 입체 음향 출력 채널들의 쌍의 스테레오 샘플들에 관련시키는 2x2 매트릭스의 매트릭스 계수들을 포함하는, 오디오 디코더.
- 제 19 항에 있어서,상기 입체 음향 합성 파라미터들은 상기 제 1 스테레오 신호의 스테레오 서브대역 샘플들을 상기 입체 음향 출력 채널들의 쌍의 스테레오 샘플들에 관련시키는 2x2 매트릭스의 매트릭스 계수들을 포함하는, 오디오 디코더.
- 오디오 인코딩 방법으로서,M>2인, M 채널 오디오 신호를 수신하는 단계(1001);제 1 스테레오 신호 및 연관된 파라메트릭 데이터로 상기 M 채널 오디오 신호를 다운 믹싱하는 단계(1003);입체 음향 지각 전달 함수에 관한 공간 파라미터 데이터 및 상기 연관된 파라메트릭 데이터에 응답하여 제 2 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계(1005)로서, 상기 제 2 스테레오 신호는 입체 음향 신호인, 상기 변형 단계(1005);인코딩된 데이터를 생성하기 위하여 상기 제 2 스테레오 신호를 인코딩하는 단계(1007); 및상기 인코딩된 데이터 및 상기 연관된 파라메트릭 데이터를 포함하는 출력 데이터 스트림을 생성하는 단계(1009)를 포함하는, 오디오 인코딩 방법.
- 오디오 디코딩 방법으로서,M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭 데이터 및 제 1 스테레오 신호를 포함하는 입력 데이터를 수신하는 단계(1101)로서, 상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 상기 입력 데이터 수신 단계(1101); 및입체 음향 지각 전달 함수에 관한 공간 파라미터 데이터 및 상기 파라메트릭 데이터에 응답하여 상기 다운 믹싱된 스테레오 신호를 생성하기 위하여 상기 제 1 스테레오 신호를 변형하는 단계(1103)로서, 상기 공간 파라미터 데이터는 상기 제 1 스테레오 신호와 연관되는, 상기 변형 단계(1103)를 포함하는, 오디오 디코딩 방법.
- 제 12 항에 따른 오디오 디코더를 포함하는 오디오 신호를 수신하기 위한 수신기.
- 출력 데이터 스트림을 전송하기 위한 전송기(1101)로서,제 1 항에 따른 오디오 인코더; 및상기 출력 데이터 스트림을 전송하기 위한 수단(311)을 포함하는, 전송기(1101).
- 오디오 신호를 전송하기 위한 전송 시스템에 있어서,제 25 항에 따른 전송기; 및수신기를 포함하고,상기 수신기는,상기 출력 데이터 스트림을 수신하기 위한 수단(701,703); 및상기 연관된 파라메트릭 데이터 및 상기 공간 파라미터 데이터에 응답하여 상기 제 1 스테레오 신호를 생성하기 위하여 상기 제 2 스테레오 신호를 변형하기 위한 수단(705)을 포함하는, 전송 시스템.
- 제 23 항에 따른 방법을 수행하는 단계를 포함하는, 오디오 신호 수신 방법.
- 오디오 출력 데이터 스트림을 전송하는 방법으로서,제 22 항에 따른 방법을 수행하는 단계; 및상기 오디오 출력 데이터 스트림을 전송하는 단계를 포함하는, 오디오 출력 데이터 스트림 전송 방법.
- 오디오 신호를 전송 및 수신하는 방법으로서,제 28 항에 따른 방법을 수행하는 단계;상기 오디오 출력 데이터 스트림을 수신하는 단계(1101); 및상기 파라메트릭 데이터 및 상기 공간 파라미터 데이터에 응답하여 상기 제 1 스테레오 신호를 생성하기 위하여 상기 제 2 스테레오 신호를 변형하는 단계(1103)를 포함하는, 오디오 신호 전송 및 수신 방법.
- 제 22 항, 제 23 항, 제 27 항, 제 28 항 또는 제 29 항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
- 제 1 항에 따른 인코더(309)를 포함하는 오디오 레코딩 장치.
- 제 12 항에 따른 디코더(315)를 포함하는 오디오 플레이 장치.
- 삭제
- 오디오 신호용 오디오 데이터 스트림이 저장된 저장 매체에 있어서,상기 오디오 데이터 스트림은제 1 스테레오 신호; 및M>2인, M 채널 오디오 신호의 다운 믹싱된 스테레오 신호와 연관된 파라메트릭(parametric) 데이터를 포함하고,상기 제 1 스테레오 신호는 상기 M 채널 오디오 신호에 대응하는 입체 음향 신호인, 오디오 데이터 스트림이 저장된 저장 매체.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP06110231 | 2006-02-21 | ||
| EP06110231.5 | 2006-02-21 | ||
| EP06110803.1 | 2006-03-07 | ||
| EP06110803 | 2006-03-07 | ||
| EP06112104.2 | 2006-03-31 | ||
| EP06112104 | 2006-03-31 | ||
| EP06119670 | 2006-08-29 | ||
| EP06119670.5 | 2006-08-29 | ||
| PCT/IB2007/050473 WO2007096808A1 (en) | 2006-02-21 | 2007-02-13 | Audio encoding and decoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080107422A KR20080107422A (ko) | 2008-12-10 |
| KR101358700B1 true KR101358700B1 (ko) | 2014-02-07 |
Family
ID=38169667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087022998A KR101358700B1 (ko) | 2006-02-21 | 2007-02-13 | 오디오 인코딩 및 디코딩 |
Country Status (12)
| Country | Link |
|---|---|
| US (4) | US9009057B2 (ko) |
| EP (1) | EP1989920B1 (ko) |
| JP (1) | JP5081838B2 (ko) |
| KR (1) | KR101358700B1 (ko) |
| CN (1) | CN101390443B (ko) |
| AT (1) | ATE456261T1 (ko) |
| BR (1) | BRPI0707969B1 (ko) |
| DE (1) | DE602007004451D1 (ko) |
| ES (1) | ES2339888T3 (ko) |
| PL (1) | PL1989920T3 (ko) |
| TW (1) | TWI508578B (ko) |
| WO (1) | WO2007096808A1 (ko) |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602007004451D1 (de) | 2006-02-21 | 2010-03-11 | Koninkl Philips Electronics Nv | Audiokodierung und audiodekodierung |
| US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
| MX2008012250A (es) * | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
| US8571875B2 (en) * | 2006-10-18 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding multichannel audio signals |
| GB2467668B (en) * | 2007-10-03 | 2011-12-07 | Creative Tech Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| WO2009046460A2 (en) * | 2007-10-04 | 2009-04-09 | Creative Technology Ltd | Phase-amplitude 3-d stereo encoder and decoder |
| MY150381A (en) | 2007-10-09 | 2013-12-31 | Dolby Int Ab | Method and apparatus for generating a binaural audio signal |
| WO2009050896A1 (ja) * | 2007-10-16 | 2009-04-23 | Panasonic Corporation | ストリーム合成装置、復号装置、方法 |
| US20090103737A1 (en) * | 2007-10-22 | 2009-04-23 | Kim Poong Min | 3d sound reproduction apparatus using virtual speaker technique in plural channel speaker environment |
| US9031242B2 (en) * | 2007-11-06 | 2015-05-12 | Starkey Laboratories, Inc. | Simulated surround sound hearing aid fitting system |
| JP2009128559A (ja) * | 2007-11-22 | 2009-06-11 | Casio Comput Co Ltd | 残響効果付加装置 |
| KR100954385B1 (ko) * | 2007-12-18 | 2010-04-26 | 한국전자통신연구원 | 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 |
| JP2009206691A (ja) | 2008-02-27 | 2009-09-10 | Sony Corp | 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
| KR20090110242A (ko) * | 2008-04-17 | 2009-10-21 | 삼성전자주식회사 | 오디오 신호를 처리하는 방법 및 장치 |
| US9485589B2 (en) | 2008-06-02 | 2016-11-01 | Starkey Laboratories, Inc. | Enhanced dynamics processing of streaming audio by source separation and remixing |
| US8705751B2 (en) * | 2008-06-02 | 2014-04-22 | Starkey Laboratories, Inc. | Compression and mixing for hearing assistance devices |
| US9185500B2 (en) | 2008-06-02 | 2015-11-10 | Starkey Laboratories, Inc. | Compression of spaced sources for hearing assistance devices |
| BRPI0910796B1 (pt) | 2008-07-11 | 2021-07-13 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E. V. | Codificador de áudio e decodificador de áudio |
| EP2384028B1 (en) * | 2008-07-31 | 2014-11-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal generation for binaural signals |
| KR20110110093A (ko) * | 2008-10-01 | 2011-10-06 | 톰슨 라이센싱 | 디코딩 장치, 디코딩 방법, 인코딩 장치, 인코딩 방법, 및 편집 장치 |
| EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| WO2010048157A1 (en) | 2008-10-20 | 2010-04-29 | Genaudio, Inc. | Audio spatialization and environment simulation |
| WO2010070016A1 (en) * | 2008-12-19 | 2010-06-24 | Dolby Sweden Ab | Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters |
| JP5540581B2 (ja) * | 2009-06-23 | 2014-07-02 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| TWI433137B (zh) * | 2009-09-10 | 2014-04-01 | Dolby Int Ab | 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法 |
| JP2011065093A (ja) * | 2009-09-18 | 2011-03-31 | Toshiba Corp | オーディオ信号補正装置及びオーディオ信号補正方法 |
| TWI463485B (zh) * | 2009-09-29 | 2014-12-01 | Fraunhofer Ges Forschung | 音訊信號解碼器或編碼器、用以提供上混信號表示型態或位元串流表示型態之方法、電腦程式及機器可存取媒體 |
| WO2011045506A1 (fr) * | 2009-10-12 | 2011-04-21 | France Telecom | Traitement de donnees sonores encodees dans un domaine de sous-bandes |
| KR101646650B1 (ko) * | 2009-10-15 | 2016-08-08 | 오렌지 | 최적의 저-스루풋 파라메트릭 코딩/디코딩 |
| EP2323130A1 (en) * | 2009-11-12 | 2011-05-18 | Koninklijke Philips Electronics N.V. | Parametric encoding and decoding |
| EP2346028A1 (en) | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
| CN102157150B (zh) * | 2010-02-12 | 2012-08-08 | 华为技术有限公司 | 立体声解码方法及装置 |
| CN102157152B (zh) * | 2010-02-12 | 2014-04-30 | 华为技术有限公司 | 立体声编码的方法、装置 |
| JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| JP2012004668A (ja) | 2010-06-14 | 2012-01-05 | Sony Corp | 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置 |
| KR101697550B1 (ko) * | 2010-09-16 | 2017-02-02 | 삼성전자주식회사 | 멀티채널 오디오 대역폭 확장 장치 및 방법 |
| TWI489450B (zh) | 2010-12-03 | 2015-06-21 | Fraunhofer Ges Forschung | 用以產生音訊輸出信號或資料串流之裝置及方法、和相關聯之系統、電腦可讀媒體與電腦程式 |
| FR2976759B1 (fr) * | 2011-06-16 | 2013-08-09 | Jean Luc Haurais | Procede de traitement d'un signal audio pour une restitution amelioree. |
| CN102395070B (zh) * | 2011-10-11 | 2014-05-14 | 美特科技(苏州)有限公司 | 双耳录音耳机 |
| JP6078556B2 (ja) * | 2012-01-23 | 2017-02-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | オーディオ・レンダリング・システムおよびそのための方法 |
| WO2013111038A1 (en) * | 2012-01-24 | 2013-08-01 | Koninklijke Philips N.V. | Generation of a binaural signal |
| US9436929B2 (en) * | 2012-01-24 | 2016-09-06 | Verizon Patent And Licensing Inc. | Collaborative event playlist systems and methods |
| US9510124B2 (en) * | 2012-03-14 | 2016-11-29 | Harman International Industries, Incorporated | Parametric binaural headphone rendering |
| WO2014007097A1 (ja) | 2012-07-02 | 2014-01-09 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、並びにプログラム |
| WO2014007095A1 (ja) | 2012-07-02 | 2014-01-09 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、並びにプログラム |
| MY181365A (en) | 2012-09-12 | 2020-12-21 | Fraunhofer Ges Forschung | Apparatus and method for providing enhanced guided downmix capabilities for 3d audio |
| WO2014106543A1 (en) * | 2013-01-04 | 2014-07-10 | Huawei Technologies Co., Ltd. | Method for determining a stereo signal |
| US9860663B2 (en) | 2013-01-15 | 2018-01-02 | Koninklijke Philips N.V. | Binaural audio processing |
| EP2946572B1 (en) | 2013-01-17 | 2018-09-05 | Koninklijke Philips N.V. | Binaural audio processing |
| CN103152500B (zh) * | 2013-02-21 | 2015-06-24 | 黄文明 | 多方通话中回音消除方法 |
| WO2014171791A1 (ko) * | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
| CN108810793B (zh) | 2013-04-19 | 2020-12-15 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| US9445197B2 (en) * | 2013-05-07 | 2016-09-13 | Bose Corporation | Signal processing for a headrest-based audio system |
| GB2515089A (en) * | 2013-06-14 | 2014-12-17 | Nokia Corp | Audio Processing |
| EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
| EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
| EP2830045A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| TWI671734B (zh) | 2013-09-12 | 2019-09-11 | 瑞典商杜比國際公司 | 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統 |
| CN105706468B (zh) | 2013-09-17 | 2017-08-11 | 韦勒斯标准与技术协会公司 | 用于音频信号处理的方法和设备 |
| US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| US20160277837A1 (en) * | 2013-11-11 | 2016-09-22 | Sharp Kabushiki Kaisha | Earphone and earphone system |
| EP4246513A3 (en) * | 2013-12-23 | 2023-12-13 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and parameterization device for same |
| WO2015142073A1 (ko) | 2014-03-19 | 2015-09-24 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| KR102343453B1 (ko) | 2014-03-28 | 2021-12-27 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US9860668B2 (en) | 2014-04-02 | 2018-01-02 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| CN106537942A (zh) * | 2014-11-11 | 2017-03-22 | 谷歌公司 | 3d沉浸式空间音频系统和方法 |
| KR102433613B1 (ko) * | 2014-12-04 | 2022-08-19 | 가우디오랩 주식회사 | 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치 |
| WO2016108655A1 (ko) | 2014-12-31 | 2016-07-07 | 한국전자통신연구원 | 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 |
| KR20160081844A (ko) * | 2014-12-31 | 2016-07-08 | 한국전자통신연구원 | 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 |
| US9613628B2 (en) | 2015-07-01 | 2017-04-04 | Gopro, Inc. | Audio decoder for wind and microphone noise reduction in a microphone array system |
| US9460727B1 (en) * | 2015-07-01 | 2016-10-04 | Gopro, Inc. | Audio encoder for wind and microphone noise reduction in a microphone array system |
| KR20230105002A (ko) * | 2015-08-25 | 2023-07-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩 |
| RU2729603C2 (ru) | 2015-09-25 | 2020-08-11 | Войсэйдж Корпорейшн | Способ и система для кодирования стереофонического звукового сигнала с использованием параметров кодирования первичного канала для кодирования вторичного канала |
| US9734686B2 (en) * | 2015-11-06 | 2017-08-15 | Blackberry Limited | System and method for enhancing a proximity warning sound |
| US9749766B2 (en) * | 2015-12-27 | 2017-08-29 | Philip Scott Lyren | Switching binaural sound |
| DK3406088T3 (da) * | 2016-01-19 | 2022-04-25 | Sphereo Sound Ltd | Syntese af signaler til immersiv lydgengivelse |
| WO2017132082A1 (en) | 2016-01-27 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Acoustic environment simulation |
| WO2017143003A1 (en) * | 2016-02-18 | 2017-08-24 | Dolby Laboratories Licensing Corporation | Processing of microphone signals for spatial playback |
| US11234072B2 (en) | 2016-02-18 | 2022-01-25 | Dolby Laboratories Licensing Corporation | Processing of microphone signals for spatial playback |
| EP3453190A4 (en) | 2016-05-06 | 2020-01-15 | DTS, Inc. | SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK |
| US9913061B1 (en) | 2016-08-29 | 2018-03-06 | The Directv Group, Inc. | Methods and systems for rendering binaural audio content |
| KR102291811B1 (ko) * | 2016-11-08 | 2021-08-23 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 사이드 이득 및 잔여 이득을 사용하여 멀티채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| US10979844B2 (en) | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| GB2563635A (en) | 2017-06-21 | 2018-12-26 | Nokia Technologies Oy | Recording and rendering audio signals |
| US11089425B2 (en) * | 2017-06-27 | 2021-08-10 | Lg Electronics Inc. | Audio playback method and audio playback apparatus in six degrees of freedom environment |
| TWI703557B (zh) * | 2017-10-18 | 2020-09-01 | 宏達國際電子股份有限公司 | 聲音播放裝置、方法及非暫態儲存媒體 |
| US10504529B2 (en) | 2017-11-09 | 2019-12-10 | Cisco Technology, Inc. | Binaural audio encoding/decoding and rendering for a headset |
| KR20200141438A (ko) | 2018-04-11 | 2020-12-18 | 돌비 인터네셔널 에이비 | 6DoF 오디오 렌더링을 위한 방법, 장치 및 시스템, 및 6DoF 오디오 렌더링을 위한 데이터 표현 및 비트스트림 구조 |
| EP3870991A4 (en) | 2018-10-24 | 2022-08-17 | Otto Engineering Inc. | DIRECTIONAL AUDIO COMMUNICATION SYSTEM |
| CN111107481B (zh) * | 2018-10-26 | 2021-06-22 | 华为技术有限公司 | 一种音频渲染方法及装置 |
| TW202041053A (zh) | 2018-12-28 | 2020-11-01 | 日商索尼股份有限公司 | 資訊處理裝置、資訊處理方法及資訊處理程式 |
| EP4035426A1 (en) * | 2019-09-23 | 2022-08-03 | Dolby Laboratories Licensing Corporation | Audio encoding/decoding with transform parameters |
| CN111031467A (zh) * | 2019-12-27 | 2020-04-17 | 中航华东光电（上海）有限公司 | 一种hrir前后方位增强方法 |
| WO2022010454A1 (en) * | 2020-07-06 | 2022-01-13 | Hewlett-Packard Development Company, L.P. | Binaural down-mixing of audio signals |
| CN111885414B (zh) * | 2020-07-24 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
| US11736886B2 (en) * | 2021-08-09 | 2023-08-22 | Harman International Industries, Incorporated | Immersive sound reproduction using multiple transducers |
| US12003949B2 (en) | 2022-01-19 | 2024-06-04 | Meta Platforms Technologies, Llc | Modifying audio data transmitted to a receiving device to account for acoustic parameters of a user of the receiving device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005098826A1 (en) * | 2004-04-05 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Method, device, encoder apparatus, decoder apparatus and audio system |
| US20050273322A1 (en) * | 2004-06-04 | 2005-12-08 | Hyuck-Jae Lee | Audio signal encoding and decoding apparatus |
Family Cites Families (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69428939T2 (de) * | 1993-06-22 | 2002-04-04 | Deutsche Thomson-Brandt Gmbh | Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix |
| US6128597A (en) * | 1996-05-03 | 2000-10-03 | Lsi Logic Corporation | Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor |
| US5946352A (en) * | 1997-05-02 | 1999-08-31 | Texas Instruments Incorporated | Method and apparatus for downmixing decoded data streams in the frequency domain prior to conversion to the time domain |
| US6122619A (en) * | 1998-06-17 | 2000-09-19 | Lsi Logic Corporation | Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor |
| JP4499206B2 (ja) * | 1998-10-30 | 2010-07-07 | ソニー株式会社 | オーディオ処理装置及びオーディオ再生方法 |
| KR100416757B1 (ko) * | 1999-06-10 | 2004-01-31 | 삼성전자주식회사 | 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법 |
| JP2001057699A (ja) * | 1999-06-11 | 2001-02-27 | Pioneer Electronic Corp | オーディオ装置 |
| US7236838B2 (en) * | 2000-08-29 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Signal processing apparatus, signal processing method, program and recording medium |
| US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| US7116787B2 (en) * | 2001-05-04 | 2006-10-03 | Agere Systems Inc. | Perceptual synthesis of auditory scenes |
| WO2002101728A1 (es) | 2001-06-11 | 2002-12-19 | Lear Automotive (Eeds) Spain, S.L. | Metodo y sistema para cancelacion de exos y ruidos en entornos con condiciones acusticas variables y altamente realimentados |
| CN1647156B (zh) * | 2002-04-22 | 2010-05-26 | 皇家飞利浦电子股份有限公司 | 参数编码方法、参数编码器、用于提供音频信号的设备、解码方法、解码器、用于提供解码后的多声道音频信号的设备 |
| JP4187719B2 (ja) * | 2002-05-03 | 2008-11-26 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | マルチチャネル・ダウンミキシング装置 |
| JP3902065B2 (ja) * | 2002-05-10 | 2007-04-04 | パイオニア株式会社 | サラウンドヘッドホン出力信号生成装置 |
| WO2004028204A2 (en) * | 2002-09-23 | 2004-04-01 | Koninklijke Philips Electronics N.V. | Generation of a sound signal |
| JP2004128854A (ja) * | 2002-10-02 | 2004-04-22 | Matsushita Electric Ind Co Ltd | 音響再生装置 |
| ES2278192T3 (es) * | 2002-11-28 | 2007-08-01 | Koninklijke Philips Electronics N.V. | Codificacion de una señal de audio. |
| ES2273216T3 (es) * | 2003-02-11 | 2007-05-01 | Koninklijke Philips Electronics N.V. | Codificacion de audio. |
| JP4124702B2 (ja) * | 2003-06-11 | 2008-07-23 | 日本放送協会 | 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム |
| US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
| TWI233091B (en) * | 2003-11-18 | 2005-05-21 | Ali Corp | Audio mixing output device and method for dynamic range control |
| JP4271588B2 (ja) * | 2004-01-08 | 2009-06-03 | シャープ株式会社 | ディジタルデータの符号化方法および符号化装置 |
| US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| WO2005081229A1 (ja) * | 2004-02-25 | 2005-09-01 | Matsushita Electric Industrial Co., Ltd. | オーディオエンコーダ及びオーディオデコーダ |
| US7805313B2 (en) * | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
| US20050273324A1 (en) * | 2004-06-08 | 2005-12-08 | Expamedia, Inc. | System for providing audio data and providing method thereof |
| JP2005352396A (ja) | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | 音響信号符号化装置および音響信号復号装置 |
| KR100644617B1 (ko) * | 2004-06-16 | 2006-11-10 | 삼성전자주식회사 | 7.1 채널 오디오 재생 방법 및 장치 |
| US7391870B2 (en) * | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
| CN1985544B (zh) * | 2004-07-14 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 处理立体声下混合信号的方法、装置、编译码器和系统 |
| WO2006011367A1 (ja) * | 2004-07-30 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | オーディオ信号符号化装置および復号化装置 |
| US7451325B2 (en) | 2004-08-02 | 2008-11-11 | At&T Intellectual Property I, L.P. | Methods, systems and computer program products for detecting tampering of electronic equipment by varying a verification process |
| GB0419346D0 (en) * | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
| US7720230B2 (en) * | 2004-10-20 | 2010-05-18 | Agere Systems, Inc. | Individual channel shaping for BCC schemes and the like |
| US20060106620A1 (en) * | 2004-10-28 | 2006-05-18 | Thompson Jeffrey K | Audio spatial environment down-mixer |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
| KR100682904B1 (ko) * | 2004-12-01 | 2007-02-15 | 삼성전자주식회사 | 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 |
| JP4258471B2 (ja) | 2005-01-13 | 2009-04-30 | セイコーエプソン株式会社 | 時刻誤差情報提供システム、端末装置、端末装置の制御方法、端末装置の制御プログラム、端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7961890B2 (en) * | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
| JP5587551B2 (ja) | 2005-09-13 | 2014-09-10 | コーニンクレッカ フィリップス エヌ ヴェ | オーディオ符号化 |
| KR101333031B1 (ko) | 2005-09-13 | 2013-11-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | ＨＲＴＦｓ을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스 |
| WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
| DE602007004451D1 (de) | 2006-02-21 | 2010-03-11 | Koninkl Philips Electronics Nv | Audiokodierung und audiodekodierung |
| US7876904B2 (en) * | 2006-07-08 | 2011-01-25 | Nokia Corporation | Dynamic decoding of binaural audio signals |
| KR100873072B1 (ko) * | 2006-08-31 | 2008-12-09 | 삼성모바일디스플레이주식회사 | 발광제어구동부 및 그를 이용한 유기전계발광표시장치 |
-
2007
- 2007-02-13 DE DE200760004451 patent/DE602007004451D1/de active Active
- 2007-02-13 ES ES07705870T patent/ES2339888T3/es active Active
- 2007-02-13 WO PCT/IB2007/050473 patent/WO2007096808A1/en active Application Filing
- 2007-02-13 US US12/279,856 patent/US9009057B2/en active Active
- 2007-02-13 KR KR1020087022998A patent/KR101358700B1/ko active IP Right Grant
- 2007-02-13 PL PL07705870T patent/PL1989920T3/pl unknown
- 2007-02-13 CN CN200780006210XA patent/CN101390443B/zh active Active
- 2007-02-13 JP JP2008555915A patent/JP5081838B2/ja active Active
- 2007-02-13 BR BRPI0707969A patent/BRPI0707969B1/pt active IP Right Grant
- 2007-02-13 AT AT07705870T patent/ATE456261T1/de not_active IP Right Cessation
- 2007-02-13 EP EP20070705870 patent/EP1989920B1/en active Active
- 2007-02-16 TW TW096105931A patent/TWI508578B/zh active
-
2015
- 2015-04-06 US US14/679,283 patent/US9865270B2/en active Active
-
2018
- 2018-01-08 US US15/864,574 patent/US10741187B2/en active Active
-
2020
- 2020-07-06 US US16/920,843 patent/US20200335115A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005098826A1 (en) * | 2004-04-05 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Method, device, encoder apparatus, decoder apparatus and audio system |
| US20050273322A1 (en) * | 2004-06-04 | 2005-12-08 | Hyuck-Jae Lee | Audio signal encoding and decoding apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| US9865270B2 (en) | 2018-01-09 |
| EP1989920A1 (en) | 2008-11-12 |
| CN101390443A (zh) | 2009-03-18 |
| US10741187B2 (en) | 2020-08-11 |
| DE602007004451D1 (de) | 2010-03-11 |
| TW200738038A (en) | 2007-10-01 |
| WO2007096808A1 (en) | 2007-08-30 |
| BRPI0707969B1 (pt) | 2020-01-21 |
| EP1989920B1 (en) | 2010-01-20 |
| ES2339888T3 (es) | 2010-05-26 |
| US20150213807A1 (en) | 2015-07-30 |
| US20200335115A1 (en) | 2020-10-22 |
| US9009057B2 (en) | 2015-04-14 |
| JP2009527970A (ja) | 2009-07-30 |
| CN101390443B (zh) | 2010-12-01 |
| US20180151185A1 (en) | 2018-05-31 |
| KR20080107422A (ko) | 2008-12-10 |
| ATE456261T1 (de) | 2010-02-15 |
| JP5081838B2 (ja) | 2012-11-28 |
| PL1989920T3 (pl) | 2010-07-30 |
| US20090043591A1 (en) | 2009-02-12 |
| TWI508578B (zh) | 2015-11-11 |
| BRPI0707969A2 (pt) | 2011-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101358700B1 (ko) | 오디오 인코딩 및 디코딩 | |
| US10999689B2 (en) | Audio signal processing method and apparatus | |
| US8265284B2 (en) | Method and apparatus for generating a binaural audio signal | |
| KR100928311B1 (ko) | 오디오 피스 또는 오디오 데이터스트림의 인코딩된스테레오 신호를 생성하는 장치 및 방법 | |
| KR101010464B1 (ko) | 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성 | |
| TWI443647B (zh) | 用以將以物件為主之音訊信號編碼與解碼之方法與裝置 | |
| JP4856653B2 (ja) | 被送出チャネルに基づくキューを用いる空間オーディオのパラメトリック・コーディング | |
| JP4944902B2 (ja) | バイノーラルオーディオ信号の復号制御 | |
| RU2394283C1 (ru) | Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов | |
| KR20080078882A (ko) | 입체 오디오 신호 디코딩 | |
| RU2427978C2 (ru) | Кодирование и декодирование аудио | |
| MX2008010631A (es) | Codificacion y decodificacion de audio |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170123 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180117 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190121 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20200123 Year of fee payment: 7 |