KR101562379B1 - 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법 - Google Patents
공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법 Download PDFInfo
- Publication number
- KR101562379B1 KR101562379B1 KR1020147036845A KR20147036845A KR101562379B1 KR 101562379 B1 KR101562379 B1 KR 101562379B1 KR 1020147036845 A KR1020147036845 A KR 1020147036845A KR 20147036845 A KR20147036845 A KR 20147036845A KR 101562379 B1 KR101562379 B1 KR 101562379B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- binaural
- parameterized
- transfer function
- frequency band
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 80
- 238000012546 transfer Methods 0.000 claims description 71
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000001131 transforming effect Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims 4
- 230000005540 biological transmission Effects 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 29
- 238000003786 synthesis reaction Methods 0.000 abstract description 29
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 241001293250 Lagascea decipiens Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
공간 디코더 유닛(23)은 하나 이상의 오디오 채널들(s; l; r)을 한 쌍의 바이노럴 출력 채널들(Ib, rb)로 변환하기 위해 구성된다. 장치는 공간 파라미터들(sp)을 바이노럴 정보를 포함한 바이노럴 파라미터들(bp)로 변환하기 위한 파라미터 변환 유닛(234)을 포함한다. 장치는 바이노럴 파라미터들(bp)을 이용하면서 부가적으로 오디오 채널들(L, R)을 한 쌍의 바이노럴 신호들(Lb, Rb)로 변환하기 위한 공간 합성 유닛(232)을 포함한다. 공간 합성 유닛(232)은 QMF 도메인과 같은 변환 도메인에서 동작하는 것이 바람직하다.
Description
본 발명은 오디오 코딩에 관한 것이다. 보다 특히, 본 발명은 오디오 입력 신호를 바이노럴 출력 신호로 변환하기 위한 장치 및 방법에 관한 것이며, 여기서 입력 신호는 적어도 하나의 오디오 채널 및 부가 채널들을 나타내는 파라미터들을 포함한다.
바이노럴(binaural) 오디오 신호들, 즉 인간의 귀가 민감하게 반응하는 특정 방향성 정보를 포함하는 오디오 신호들을 기록 및 재생하는 것이 잘 알려져 있다. 바이노럴 기록들은 일반적으로 인형 사람 머리에 장착된 두 개의 마이크로폰들을 사용하여 이루어지며, 따라서 기록된 사운드는 인간 귀에 의해 캡쳐된 사운드에 대응하고 머리 및 귀의 형태로 인한 임의의 영향들을 포함한다. 바이노럴 기록들은 바이노럴 기록의 재생이 헤드셋을 요구한다는 점에서 스테레오(즉, 입체음향) 기록들과 상이하지만, 반면 스테레오 기록은 라우드스피커들에 의한 재생을 위해 이루어진다. 바이노럴 기록이 단지 두 개의 채널들만을 이용하여 모든 공간 정보의 재생을 허용하는 반면, 스테레오 기록은 동일한 공간 지각을 제공하지 않을 것이다.
정규의 이중 채널(입체 음향) 또는 다중 채널(예로서, 5.1) 기록들은 지각 전달 함수들의 세트로 각각의 정규 신호를 컨벌빙(convolving)함으로써 바이노럴 기록들로 변환될 수 있다. 그러한 지각 전달 함수들은 인간 머리, 및 가능하게는 다른 대상들의 영향을 신호상에 모델링한다. 잘 알려진 유형의 지각 전달 함수는 소위 머리 전달 함수(Head-Related Transfer Function; HRTF)이다. 또한 벽들, 천장, 및 방 바닥에 의해 야기되는 반사들을 고려하는, 대안적 유형의 지각 전달 함수는 바이노럴 룸 임펄스 응답(Binaural Room Impulse Response; BRIR)이다.
다중 채널 신호들의 경우에, 지각 함수들의 세트로 신호들을 바이노럴 기록 신호들로 변환하는 것은 모든 채널들의 신호들을 갖는 지각 함수들의 컨볼루션(convolution)을 수반한다. 통상적인 컨볼루션이 계산적으로 요구하기 때문에, 신호들 및 HRTF는 통상적으로 컨볼루션이 계산적으로 훨씬 적게 요구하는 곱셈으로 대체되는 주파수 (푸리에) 도메인으로 변환된다.
원 채널들 간의 관계들을 나타내는 보다 작은 수의 채널들 및 파라미터들에 의해 채널들의 원래 수를 나타냄으로써 전송되거나 또는 저장될 오디오 채널들의 수를 감소시키는 것이 더 잘 알려져 있다. 따라서, 스테레오 신호들의 세트는 단일 (모노) 채널 더하기 다수의 연관된 공간 파라미터들에 의해 나타내어질 수 있으며, 반면 5.1 신호들의 세트는 두 개의 채널들 및 연관된 공간 채널들의 세트, 또는 심지어 단일 채널 더하기 연관된 공간 파라미터들에 의해 표현될 수 있다. 공간 인코더들에서 이러한 다중 오디오 채널들의 "다운믹싱(downmixing)", 및 공간 디코더들에서 오디오 신호들의 대응하는 "업믹싱(upmixing)"은 통상적으로 변환 도메인 또는 서브밴드 도메인, 예를 들면 QMF(Quadrature Mirror Filter) 도메인에서 실행된다.
특허 상호 조약 특허 출원번호 제WO2004/028204호는 머리 전달 함수들을 이용하여 바이노럴 신호들을 생성하는 시스템을 개시한다. 2005년 5월 28일, 뉴욕 음향 엔지니어링 협회 학술 논문의 Herre 등의, 문서 "The Reference Model Architecture for MPEG Spatial Audio Coding"; XP009059973은 MPEG 참조 모델 구조를 개시한다; 2004년 5월 8일 AES 학술에서 제공된 논문들의 견본 인쇄 페이지 1 내지 12, Endegard 등의 문서 "Synthetic Ambiance in Parametric Stereo Coding", XP008048096은 파라메트릭 스테레오 코딩의 예를 개시하며, 2004년 5월 8일, 음향 엔지니어링 협회, 학술 견본 인쇄, Herre 등의 문서 "MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio"; XP002338414는 MP3 서라운드 인코딩의 예들을 개시한다.
다운믹싱된 입력 채널들이 바이노럴 출력 채널들로 변환되는 경우, 종래의 방식은 먼저 업믹싱된 중간 채널들을 생성하기 위해 공간 디코더를 이용하여 입력 채널들을 업믹싱하고, 그 후 이들 업믹싱된 중간 채널들을 바이노럴 채널들로 변환하는 것이다. 이러한 절차는 통상적으로 5 또는 6개의 중간 채널들을 생성하며, 이것은 그 후 두 개의 바이노럴 채널들로 감소되어야 한다. 먼저 채널들의 수를 확장하고 그 후 감소시키는 것은 확실히 효율적이지 않으며 계산 복잡도를 증가시킨다. 또한, 다중 채널 라우드스피커 재생이 되는 5 또는 6개의 중간 채널들을 단지 바이노럴 재생이 되는 2개의 채널들로 감소시키는 것은 필연적으로 아티팩트들을 도입하고 따라서 사운드 품질을 감소시킨다.
상기 참조된 QMF 도메인은 동일하지는 않지만 주파수 (푸리에 변환) 도메인과 유사하다. 공간 디코더가 바이노럴 출력 신호들을 생성한다면, 다운믹싱된 오디오 신호들은 먼저 업믹싱을 위해 QMF 도메인으로 변환되어야 하며, 그 후 시간 도메인 중간 신호들을 생성하기 위해 역으로 QMF 변환되며, 후속하여 (푸리에 변환된) HRTF와 곱셈을 위해 주파수 도메인으로 변환되며, 마지막으로 시간 도메인 출력 신호들을 생성하기 위해 역으로 변환된다. 이러한 절차는 여러 변환들이 연속하여 수행되어야 하므로, 효율적이지 않음이 명백하다.
이러한 종래 기술 방식에 수반된 계산들의 수는 다운믹싱된 오디오 신호들로부터 바이노럴 출력 신호들을 생성할 수 있는, 이동 MP3 플레이어와 같은 핸드헬드 소비자 장치를 설계하는 것을 매우 어렵게 만들 것이다. 비록 그러한 장치가 구현될 수 있을지라도, 그것의 배터리 수명은 요구되는 계산 부하로 인하여 매우 짧을 것이다.
본 발명의 목적은 종래 기술의 이들 및 다른 문제점들을 해결하고, 공간 파라미터들의 연관된 세트 및 하나 이상의 오디오 입력 채널들로 표현되는 다운믹싱된 오디오 채널들의 세트로부터 한 쌍의 바이노럴 출력 채널들을 생성할 수 있는 공간 디코더 유닛을 제공하며, 여기서 디코더는 증가된 효율성을 갖는다.
따라서, 본 발명은 공간 파라미터들 및 하나 이상의 오디오 입력 채널들을 이용하여 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 공간 디코더 유닛을 제공하고, 상기 장치는 파라미터화된 지각 전달 함수들을 이용하여 공간 파라미터들을 바이노럴 파라미터들로 변환하기 위한 파라미터 변환 유닛으로서, 상기 바이노럴 파라미터들은 공간 파라미터들 및 파라미터화된 지각 전달 함수들 모두에 종속하는, 상기 파라미터 변환 유닛; 상기 단일 오디오 입력 채널을 변환된 오디오 채널로 변환하기 위한 단일 변환 유닛; 변환된 역상관된 신호를 생성하기 위해 변환된 오디오 채널을 역상관하는 역상관 유닛; 및 바이노럴 파라미터들을 변환된 오디오 채널(S) 및 변환된 역상관된 신호에 인가함으로써 한 쌍의 변환된 바이노럴 채널들을 합성하기 위한 공간 합성 유닛; 및 변환된 바이노럴 채널들을 한 쌍의 바이노럴 출력 채널들로 역변환하기 위한 한 쌍의 역변환 유닛들을 포함한다.
공간 파라미터들을 바이노럴 파라미터들로 변환함으로써, 공간 합성 유닛은 부가적인 바이노럴 합성 유닛을 요구하지 않고, 한 쌍의 바이노럴 채널들을 직접 합성할 수 있다. 불필요한 중간 신호들이 생성되지 않기 때문에, 아티팩트들의 도입이 실제로 제거되면서 계산 요구사항들은 감소된다.
본 발명의 공간 디코더 유닛에서, 바이노럴 채널들의 합성은 주파수 도메인으로의 변환 및 다음의 시간 도메인으로의 역변환의 부가 단계들을 요구하지 않고, 변환 도메인, 예를 들면, QMF 도메인에서 실행될 수 있다. 두 개의 변환 단계들이 생략될 수 있기 때문에, 계산들의 수 및 메모리 요건들 모두가 상당히 감소된다. 그러므로, 본 발명의 공간 디코더 유닛은 이동 소비자 장치에서 비교적 쉽게 구현될 수 있다.
더욱이, 본 발명의 공간 디코더 유닛에서, 바이노럴 채널들은 다운믹싱된 채널들로부터 직접 생성되며, 각각의 바이노럴 채널은 헤드셋 또는 유사 장치를 이용하여 바이노럴 재생을 위한 바이노럴 신호들을 포함한다. 파라미터 변환 유닛은 공간(즉, 업믹싱) 파라미터들로부터 바이노럴 채널들을 생성하기 위해 사용된 바이노럴 파라미터들을 유도한다. 이러한 바이노럴 파라미터들의 유도는 HRTF들(Head-Related Transfer Functions) 및/또는 바이노럴 룸 임펄스 응답들(BRIRs)과 같은 파라미터화된 지각 전달 함수들을 수반한다. 그러므로, 본 발명에 따르면, 지각 전달 함수들의 처리는 파라미터 도메인에서 수행되는 반면, 종래 기술에서 이러한 처리는 시간 도메인 또는 주파수 도메인에서 실행되었다. 이것은 파라미터 도메인에서의 해결책이 시간 도메인 또는 주파수 도메인에서의 해결책보다 통상적으로 적기 때문에 계산 복잡도의 추가적인 감소를 가져올 수 있다.
파라미터 변환 유닛은 바이노럴 파라미터들을 결정하기 위해, 파라미터 도메인에서, 입력 (다운 믹싱) 오디오 채널들이 바이노럴 채널들로 만들어지는 모든 지각 전달 함수 기여들을 결합하기 위해 구성되는 것이 바람직하다. 달리 말하면, 공간 파라미터들 및 파라미터화된 지각 전달 함수들은 결합된 파라미터들이 업믹싱된 중간 신호들을 수반하는 종래 기술의 방법에서 획득된 것과 유사한 통계적 특성들을 갖는 바이노럴 출력 신호를 야기하는 방식으로 결합된다.
바람직한 실시예에서, 본 발명의 공간 디코더 유닛은 오디오 입력 채널들을 변환된 오디오 입력 채널들로 변환하기 위한 하나 이상의 변환 유닛들, 및 한 쌍의 변환된 바이노럴 채널들을 한 쌍의 바이노럴 출력 채널들로 역변환하기 위한 한 쌍의 역변환 유닛들을 더 포함하며, 여기서 공간 합성 유닛은 변환 도메인, 또는 서브 밴드 도메인, 바람직하게는 QMF 도메인에서 동작하도록 구성된다.
본 발명의 공간 디코더 유닛은 두 개의 변환 유닛들을 포함할 수 있으며, 파라미터 변환 유닛은 단지 세 개의 채널들을 포함한 지각 전달 함수 파라미터들을 이용하도록 구성되고, 이들 세 개의 채널들 중 두 개의 채널은 합성의 전방 및 후방 채널들의 기여들을 포함한다. 그러한 실시예에서, 파라미터 변환 유닛은 채널 레벨(예로서, CLD), 채널 일관성(예로서, ICC), 채널 예측(예로서, CPC), 및/또는 위상(예로서, IPD) 파라미터들을 처리하기 위해 구성될 수 있다.
본 발명의 공간 디코더 유닛은 단일 변환 유닛만을 포함할 수 있으며, 단일 변환 유닛에 의해 변환된 단일 채널 출력을 역상관시키기 위해 역상관 유닛을 더 포함한다. 그러한 실시예에서, 파라미터 변환 유닛은 채널 레벨(예로서, CLD), 채널 일관성(예로서, ICC), 및/또는 위상(예로서, IPD) 파라미터들을 처리하기 위해 구성될 수 있다.
본 발명의 공간 디코더 유닛은 스테레오 반향 유닛(stereo reverberation unit)을 부가적으로 포함할 수 있다. 그러한 스테레오 반향 유닛은 변환 도메인 또는 서브 밴드(예로서, QMF) 도메인에서 또는 시간 도메인에서 동작하도록 구성될 수 있다.
본 발명은 또한 입력 비트스트림으로부터 한 쌍의 바이노럴 출력 채널들을 생성하기 위해 공간 디코더 장치를 제공하며, 장치는 입력 비트스트림을 단일 다운믹스 채널 및 신호 파라미터들로 역다중화하기 위한 역다중화기 유닛, 단일 다운믹스 채널을 디코딩하기 위한 다운믹스 디코더 유닛, 및 공간 파라미터들 및 단일 다운믹스 채널을 이용하여 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 공간 디코더 유닛을 포함한다.
또한, 본 발명은 상기 정의된 공간 디코더 유닛 및/또는 공간 디코더 장치를 포함하는 소비자 장치 및 오디오 시스템을 제공한다. 본 발명은 또한 공간 파라미터들 및 단일 오디오 입력 채널들을 이용하여 한 쌍의 바이노럴 출력 채널들을 생성하는 방법을 제공하며, 상기 방법은 파라미터화된 지각 전달 함수들을 이용하여 공간 파라미터들을 바이노럴 파라미터들로 변환하는 단계로서, 상기 바이노럴 파라미터들은 공간 파라미터들 및 파라미터화된 지각 전달 함수들 모두에 종속하는, 상기 변환 단계; 단일 오디오 입력 채널을 변환된 오디오 채널로 변환하는 단계; 변환된 역상관된 신호를 생성하기 위해 변환된 오디오 채널을 역상관시키는 단계; 미 바이노럴 파라미터들을 변환된 오디오 채널(S) 및 변환된 역상관된 신호로 인가함으로써 한 쌍의 변환된 바이노럴 채널들을 합성하는 단계 및 변환된 바이노럴 채널들을 한 쌍의 바이노럴 출력 채널들로 역변환하는 단계를 포함한다. 본 발명에 따른 방법의 다른 양상들이 이하의 상세한 설명으로부터 명백해질 것이다.
또한, 본 발명은 상기 정의된 공간 디코더 유닛 및/또는 공간 디코더 장치를 포함하는 소비자 장치 및 오디오 시스템을 제공한다. 본 발명은 또한 공간 파라미터들 및 하나 이상의 오디오 입력 채널들을 이용하여 한 쌍의 바이노럴 출력 채널들을 생성하는 방법을 제공하며, 상기 방법은 파라미터화된 지각 전달 함수들을 이용하여 공간 파라미터들을 바이노럴 파라미터들로 변환하는 단계, 바이노럴 파라미터들 및 오디오 채널들을 이용하여 한 쌍의 바이노럴 채널들을 합성하는 단계를 포함한다. 본 발명에 따른 방법의 다른 양상들이 이하의 상세한 설명으로부터 명백해질 것이다.
본 발명은 상기 정의된 방법을 실행하기 위한 컴퓨터 프로그램 제품을 부가적으로 제공한다. 컴퓨터 프로그램 제품은 CD 또는 DVD와 같은 데이터 캐리어에 저장된 컴퓨터 실행가능한 명령들의 세트를 포함할 수 있다. 프로그래밍가능한 컴퓨터가 상기 정의된 방법을 실행하도록 허용하는, 컴퓨터 실행가능한 명령들의 세트는 또한 예로서 인터넷을 통해 원격 서버로부터 다운로딩하기 위해 이용할 수 있다.
본 발명은 첨부된 도면들에 예시된 대표적인 실시예들을 참조하여 이하에 추가로 설명될 것이다.
도 1은 종래 기술에 따른 머리 전달 함수들의 애플리케이션을 개략적으로 도시한 도면.
도 2는 종래 기술에 따른 공간 오디오 인코더 장치를 개략적으로 도시한 도면.
도 3은 바이노럴 합성 장치에 결합된 종래 기술에 따른 공간 오디오 디코더 장치를 개략적으로 도시한 도면.
도 4는 종래 기술에 따른 공간 오디오 디코더 유닛을 개략적으로 도시한 도면.
도 5는 공간 오디오 디코더 유닛의 예를 개략적으로 도시한 도면.
도 6은 본 발명에 따른 공간 오디오 디코더 장치를 개략적으로 도시한 도면.
도 7은 변환 도메인 반향 유닛이 제공된, 도 5의 공간 오디오 디코더 유닛을 개략적으로 도시한 도면.
도 8은 시간 도메인 반향 유닛이 제공된, 도 5의 공간 오디오 디코더 유닛을 개략적으로 도시한 도면.
도 9는 본 발명에 따른 공간 오디오 디코더 장치가 제공된 소비자 장치를 개략적으로 도시한 도면.
[실시예]
종래 기술에 따른, 머리 전달 함수들(HRTF들)과 같은, 지각 전달 함수들의 애플리케이션이 도 1에 개략적으로 도시된다. 바이노럴 합성 장치(3)는 6개의 HRTF 유닛들(31)을 포함하도록 도시되며, 각각은 입력 채널 및 출력 채널의 특정 조합을 위해 전달 함수를 포함한다. 도시된 예에서, 채널들 1(좌), c(중앙), 및 r(우)에 대응할 수 있는 세 개의 오디오 입력 채널들(ch1, ch2, 및 ch3)이 존재한다. 제 1 채널(ch1)은 각각 HRTF(1,L) 및 HRTF(1,R)를 포함하는 두 개의 HRTF 유닛들(31)에 공급된다. 이러한 예에서, HRTF(1,L)은 좌측 바이노럴 신호에 대한 제 1 채널의 기여를 결정하는 머리 전달 함수이다.
이 기술 분야의 숙련자들은 정규 (스테레오) 기록들 및 바이노럴 기록들 모두를 만들고, 정규 기록에 대한 바이노럴 기록의 형상을 나타내는 전달 함수를 유도함으로써 결정될 수 있다. 바이노럴 기록들은 인형의 사람 머리에 장착된 두 개의 마이크로폰들을 이용하여 만들어지며, 따라서 기록된 사운드는 사람 귀에 의해 캡쳐된 사운드에 대응하고 머리 및 귀의 형태, 심지어 머리카락 및 어깨들의 존재로 인한 임의의 영향들을 포함한다.
HRTF 처리가 시간 도메인에서 일어난다면, HRTF들은 채널들의 (시간 도메인) 오디오 신호들로 컨벌빙된다. 그러나, 일반적으로 HRTF들은 주파수 도메인으로 변환되며, 그 결과적인 전달 함수들 및 오디오 신호들의 주파수 스펙트럼들은 그 후 곱하여진다(푸리에 변환 유닛들 및 역 푸리에 변환 유닛들은 도 1에 도시되지 않음). 시간 프레임을 오버랩시키는 것을 수반하는 적합한 오버랩 및 부가(Overlap-and Add; OLA) 기술이 빠른 푸리에 변환(FFT) 프레임들보다 긴 길이를 갖는 HRTF들을 수용하기 위해 사용될 수 있다.
적절한 HRTF 유닛(31)에 의한 HRTF 처리 후, 그 결과적인 좌측 및 우측 신호들은 (시간 도메인) 좌측 바이노럴 신호(lb) 및 우측 바이노럴 신호(rb)를 산출하기 위해 각각의 가산기(32)에 의해 가산된다.
도 1의 대표적인 종래 기술의 바이노럴 합성 장치(3)는 세 개의 입력 채널들을 갖는다. 현대의 오디오 시스템들은 종종 소위 5.1 시스템들에서의 경우와 같이, 5 또는 6개의 채널들을 갖는다. 그러나, 전달 및/또는 저장될 데이터의 양을 감소시키기 위해, 다수의 오디오 채널들은 일반적으로 하나 또는 두 개의 채널들로 감소된다("다운믹싱된다"). 원 채널들의 특성들 및 상호 관계들을 나타내는 다수의 신호 파라미터들은 채널들의 원래 수로 하나 또는 두 개 채널들의 확장("업믹싱")을 허용한다. 종래 기술에 따른 대표적인 공간 인코더 장치(1)가 도 2에 개략적으로 예시된다.
공간 인코더 장치(1)는 공간 인코딩(SE) 유닛(11), 다운믹스 인코딩(DE) 유닛(12), 및 다중화기(Mux)(13)를 포함한다. 공간 인코딩 유닛(11)은 다섯 개의 오디오 입력 채널들(lf(좌측 전방), lr(좌측 후방), rf(우측 전방), rr(우측 후방), 및 c(중앙))을 수신한다. 공간 인코딩 유닛(11)은 신호 파라미터들(sp)(공간 인코딩 유닛(11)은 두 개의 채널들(l 및 r) 대신에 단일 채널을 생성할 수 있다)분만 아니라, 두 개의 채널들 (l(좌측) 및 r(우측))을 생성하기 위해 5개의 입력 채널들을 다운믹싱한다. 5개의 채널들이 두 개의 채널들(소위 5-2-5 구성)로 다운믹싱되는, 도시된 실시예에서, 단일 파라미터들(sp)이 예로서 다음을 구성할 수 있다.
"lfe"는 선택적인 저 주파수(서브-우퍼) 채널이며, "후방(rear)" 채널들은 또한 "서라운드" 채널들로 알려져 있음을 주의한다.
공간 인코딩 유닛(11)에 의해 생성된 두 개의 다운믹스 채널들(l 및 r)은 다운믹스 인코딩(DE) 유닛(12)으로 공급되며, 이것은 일반적으로 데이터의 양을 감소시킬 목적의 코딩의 유형을 이용한다. 따라서, 인코딩된 다운믹스 채널들(l 및 r), 및 신호 파라미터들(sp)은 출력 비트스트림(bs)을 생성하기 위해 다중화기 유닛(13)에 의해 다중화된다.
대안적 실시예(미도시)에서, 5(또는 6)개의 채널들은 단일(모노) 채널(소위 5-1-5 구성)로 다운믹싱되며, 신호 파라미터들(sp)은 예를 들면 다음을 포함할 수 있다.
이러한 대안적 실시예에서, 인코딩된 다운 믹스 채널(s), 뿐만 아니라 신호 파라미터(sp)는 또한 출력 비트스트림(bs)을 생성하기 위해 다중화기 유닛(13)에 의해 다중화된다.
이러한 비트스트림(bs)이 한 쌍의 바이노럴 채널들을 생성하기 위해 사용되는 것이라면, 종래 기술의 방식은 5 또는 6개의 원 채널들을 생성하기 위해 두 개의 다운 믹스 채널들(l 및 r)(또는 대안적으로, 단일 다운믹스 채널)을 우선 업믹싱할 것이고, 그 후 이들 5 또는 6개의 채널들을 두 개의 바이노럴 채널들로 변환한다. 이러한 종래 기술의 방식의 예가 도 3에 도시된다.
종래 기술에 따른 공간 디코더 장치(2')는 역다중화기(Demux) 유닛(21'), 다운믹스 디코딩 유닛(22'), 및 공간 디코더 유닛(23')을 포함한다. 바이노럴 합성 장치(3)는 공간 디코더 장치(2')의 공간 디코더 유닛(23')에 결합된다.
역다중화기 유닛(21')은 도 2의 비트스트림(bs)과 동일할 수 있는, 비트스트림(bs)을 수신하고, 신호 파라미터들(sp) 및 두 개의 인코딩된 다운믹스 채널들을 출력한다. 신호 파라미터들(sp)이 공간 디코더 유닛(23')에 전송되는 반면, 인코딩된 다운믹스 채널들은 먼저 디코딩된 다운믹스 채널들(l 및 r)을 생성하기 위해 다운믹스 디코딩 유닛(22')에 의해 디코딩된다. 공간 디코더 유닛(23')은 본질적으로 도 2에서의 공간 인코딩 유닛(11)의 역동작들을 실행하고, 5개의 오디오 채널들을 출력한다. 이들 5개의 오디오 채널들은 바이노럴 장치(3)에 공급되며, 이것은 도 3의 장치와 유사한 구조를 가질 수 있지만, 모든 5개의 채널들을 수용하기 위해 부가적인 HRTF 유닛들(31)을 가진다. 도 1에 도시된 바와 같이, 바이노럴 합성 장치(3)는 두 개의 바이노럴 채널들(lb(좌측 바이노럴) 및 rb(우측 바이노럴))을 출력한다.
종래 기술의 공간 디코더 유닛(23')의 대표적인 구조는 도 4에 도시된다. 도 4의 유닛(23')은 2-대-3 업믹스 유닛(230'), 3개의 공간 합성(SS) 유닛들(232'), 및 3개의 역상관(D) 유닛들(239')을 포함한다. 2-대-3 업믹스 유닛(230')은 다운믹스 채널들(l&r) 및 신호 파라미터들(sp)을 수신하고 3개의 채널들(l,r, 및 ce)을 생성한다. 이들 채널들의 각각은 각각의 채널의 역상관된 버전을 생성하는 역상관기 유닛(239')에 공급된다. 각각의 채널(l, r, 및 ce), 그 각각의 역상관된 버전, 및 연관된 신호 파라미터들(sp)은 각각의 공간 합성(또는 업믹스) 유닛(232')에 공급된다. 채널(l)을 수신하는 공간 합성 유닛(232')은 예를 들면 출력 채널들(lf(좌측 전방) 및 lr(좌측 후방))을 출력한다. 공간 합성 유닛들(232')은 일반적으로 매트릭스 행렬의 곱을 수행하며, 행렬의 파라미터들은 신호 파라미터들(sp)에 의해 결정된다.
도 4의 예에서, 6개의 출력 채널들이 생성됨을 주의한다. 몇몇 실시예들에 있어서, 제 3 역상관 유닛(239') 및 제 3 공간 합성 유닛(232')은 생략될 수 있으며, 따라서 단지 5개의 출력 채널들만을 생성할 수 있다. 그러나, 모든 실시예들에서, 종래 기술의 공간 합성 유닛(23')은 2개 이상의 출력 채널들을 생성할 것이다. 임의의 (QMF) 변환 유닛들은 예시를 분명하게 하기 위해 도 4의 단순히 예시적인 예로부터 생략될 수 있음을 또한 주의한다. 실제 예들에서, 공간 디코딩은 QMF 도메인과 같은 변환 도메인에서 수행될 것이다.
도 3의 구성은 효율적이지 않다. 공간 디코더 장치(2')는 2개의 다운믹스 채널들(l 및 r)을 5개의 업믹싱된 (중간) 채널들로 변환하지만, 바이노럴 합성 장치(3)는 그 후 5개의 업믹싱된 채널들을 2개의 바이노럴 채널들로 감소시킨다. 또한, 공간 디코더 유닛(23')에서 업믹싱은 일반적으로 QMF(Quadrature Mirror Filter) 도메인과 같은 서브밴드 도메인에서 실행된다. 그러나, 바이노럴 합성 장치(3)는 일반적으로 주파수(즉, 푸리에 변환) 도메인에서 신호들을 처리한다. 이들 두 개의 도메인들이 동일하지 않기 때문에, 공간 디코더 장치(2')는 먼저 다운믹스 채널들의 신호들을 QMF 도메인으로 변환하고, 변환된 신호들을 처리한 후, 업믹싱된 신호들을 시간 도메인으로 되돌려 변환한다. 이어서, 바이노럴 합성 장치(3)는 모든(현재 예에서 5개) 이들 업믹싱된 신호들을 주파수 도메인으로 변환하고, 변환된 신호들을 처리한 후, 바이노럴 신호들을 시간 도메인으로 되돌려 변환한다. 수반된 계산 노력이 상당하며, 보다 효율적인 신호 처리, 특히 이러한 처리가 핸드헬드 장치에서 실행될 경우 요구된다는 것이 명백할 것이다.
본 발명은 공간 디코더 장치에 바이노럴 합성 장치를 통합하고 파라미터에서 바이노럴 처리를 효과적으로 실행함으로써 훨씬 더 효율적인 처리를 제공한다. 공간 디코더 유닛의 예가 도 5에 개략적으로 예시되지만, 본 발명에 따른 조합된 공간 및 바이노럴 디코더 장치(간결함을 위해 공간 디코더 장치로 불리우는)가 도 6에 예시된다.
도 5에 도시된 공간 디코더 유닛(23)은 변환 유닛들(231), 공간 합성 (SS) 유닛(232), 역변환 유닛들(233), 파라미터 변환 (PC) 유닛(234) 및 메모리(Mem) 유닛(235)을 포함한다. 도 5의 대표적인 예에서, 공간 디코더 유닛(23)은 2개의 변환 유닛들(231)을 포함하지만, 다른 예들에서, 단지 단일 변환 유닛(231)(도 6에서와 같이), 또는 2 이상의 변환 유닛들(231)이 다운믹스 채널들의 수에 종속하여 존재할 수 있다.
변환 유닛들(231) 각각은 다운 믹스 채널 l 및 r을 각각 수신한다(도 3에 보여지는 바와 같이). 각각의 변환 유닛(231)은 각각의 채널(의 신호)을 적합한 변환 또는 서브밴드 도메인으로, 본 예서는 QMF 도메인으로 변환하도록 구성된다. QMF 변환된 채널들(L 및 R)은 바람직하게는 변환 도메인 바이노럴 채널들(Lb 및 Rb)을 생성하기 위해 채널들(L 및 R)에 매트릭스 동작을 실행하는 공간 합성 유닛(232)에 공급된다. 역변환 유닛들(233)은 본 발명의 예의 역 QMF 변환에서, 바이노럴 시간 도메인 채널들(lb 및 rb)를 생성하기 위해 역변환을 실행한다.
공간 합성 유닛(232)은 도 4의 종래 기술의 공간 합성 유닛(232')과 유사하거나 또는 동일할 수 있다. 그러나, 이러한 유닛에 의해 사용된 파라미터들은 종래 기술에 사용된 것과 상이하다. 보다 특히, 파라미터 변환 유닛(234)은 메모리 유닛(235)에 저장된 HRTF 파라미터들(hp)을 이용하여 종래의 공간 파라미터들(sp)을 바이노럴 파라미터들(bp)로 변환한다. 이들 HRTF 파라미터들(hp)은 다음을 포함할 수 있다.
- 방위각(수평 평면의 각), 고도(수직 평면의 각), 및 거리의 함수로서 좌측 전달 함수를 위한 주파수 대역 당 평균 레벨,
- 방위각, 고도, 및 거리의 함수로서 우측 전달 함수를 위한 주파수 대역 당 평균 레벨, 및
- 방위각, 고도, 및 거리의 함수로서 주파수 대역 당 평균 위상 또는 시간 차.
또한, 다음 파라미터들이 포함될 수 있다.
- 방위각, 고도, 및 거리의 함수로서 HRTF 주파수 대역 당 좌측 및 우측 전달 함수들의 코히어런스 측정치(coherence measure), 및/또는
- 방위각, 고도, 및 거리의 함수로서 좌측 및 우측 전달 함수들에 대한 절대적 위상 및/또는 시간 파라미터들.
실제 사용된 HRTF 파라미터들은 특정 실시예들에 종속할 수 있다.
공간 합성 유닛(232)은 다음의 공식을 이용하여 바이노럴 채널들(Lb 및 Rb)을 결정할 수 있다.
여기서, 인덱스 k는 QMF 하이브리드 (주파수) 대역 인덱스를 나타내고, 인덱스 m은 QMF 슬롯 (시간) 인덱스를 나타낸다. 행렬 Hk의 파라미터들(hij)은 바이노럴 파라미터들(도 5에서 bp)에 의해 결정된다. 인덱스 k에 의해 나타내어지는 바와 같이, 행렬 Hk는 QMF 하이브리드 대역에 종속할 수 있다. 일 예에서, 파라미터 변환 유닛(도 5에서 234)은 공간 합성 유닛(232)에 의해 그 후 행렬 파라미터들(hij)로 변환되는 바이노럴 파라미터들을 생성한다. 또 다른 예에서, 행렬 파라미터들(hij)은 파라미터 변환 유닛(도 5에서 234)에 의해 생성된 바이노럴 파라미터들과 동일하며 변환되지 않고 공간 합성 유닛(232)에 의해 직접 사용될 수 있다.
행렬 Hk의 파라미터들(hij)은 2개의 다운믹스 채널들(5-2-5 구성)의 경우에서 다음의 방식으로 결정될 수 있다. 도 4의 종래 기술의 공간 디코더 유닛에서, 2-대-3 디코더 유닛(230')은 2개의 (입력) 다운믹스 채널들(l 및 r)을 3개의 (출력) 채널들(l, r, 및 ce)로 변환한다(입력 채널들이 다음 논의에서 10 및 r0로 라벨링되는 이유로, 출력 채널들(l 및 r)은 일반적으로 입력 채널들(l 및 r)과 동일하지 않다).
예에 따르면, 파라미터 변환 유닛(도 5 및 도 6에서 234)은 단지 3개의 채널들만(예로서, l r, 및 c)의 기여가 고려되는 지각 전달 함수 파라미터들을 활용하기 위해 구성되며, 이들 3개의 채널들 중 2개의 채널들(예로서, l 및 r)은 합성의 각 전방(lf, rf) 및 후방(lr, rr) 채널들을 포함한다. 즉, 각각의 전방 및 후방 채널들은 효율성을 향상시키기 위해 함께 그룹핑된다.
2-대-3 업믹스 유닛(230')의 동작은 다음의 행렬 동작에 의해 설명될 수 있다.
여기서, 행렬 엔트리들(mij)은 공간 파라미터들에 종속한다. 공간 파라미터들 및 행렬 엔트리들의 관계는 5.1 MPEG 서라운드 디코더의 것과 동일하다. 세 개의 결과로서 생긴 신호들 l, r, 및 c의 각각에 대해서, 그 효과는 이들 사운드 소스들의 원하는 (인지된) 위치에 대응하는 지각 전달 함수(현재 예에서: HRTF) 파라미터들로 결정된다. 중심 채널(c)에 대해서, 사운드 소스 위치의 공간 파라미터들은 직접 이용될 수 있으며, 중심을 위한 두 개의 출력 신호들(lB(c) 및 rB(c))을 야기한다.
식(3)으로부터 관찰될 수 있는 바와 같이, HRTF 파라미터 처리는 중심 채널의 사운드 소스 위치에 대응하는, 평균 전력 레벨들(Pl 및 Pr)과 산호의 곱으로 이루어지는 반면, 위상 차이는 대칭적으로 분포된다. 이러한 처리는 한편으로는 HRTF 파라미터들에서 QMF 필터 뱅크로의 매핑, 및 다른 한편으로는 공간 파라미터들에서 QMF 대역으로의 매핑을 이용하여, 각각의 QMF 대역을 위해 독립적으로 수행된다.
좌측(l) 채널에 대해서, 좌측 전방 및 좌측 후방 채널들로부터의 HRTF 파라미터들은 가중치들(wlf 및 wrf)을 이용하여 단일 기여로 결합된다. 그 결과 합성 파라미터들이 통계적으로 전방 및 후방 채널들 모두의 효과를 시뮬레이션한다. 다음 식들은 좌측 채널에 대한 바이노럴 출력쌍(lb, rb)을 생성하기 위해 사용된다.
여기서,
및
가중들(Wlf 및 Wrf)은 lf 및 lr을 위한 1-대-2 유닛의 CLD 파라미터에 의존한다.
,
유사한 방식으로, 우측 채널에 대한 바이노럴 출력은 다음에 따라 획득된다.
여기서,
위상 변경 기간은 양쪽 경우들 모두에서 대측성 귀(contra-lateral ear)에 적용됨을 주의한다. 더욱이, 인간의 청각 시스템은 근사치 2 kHz 위 주파수들에 대한 바이노럴 위상에 크게 영향을 받지 않기 때문에, 위상 변경 기간은 단지 낮은 주파수 영역에서 적용되도록 요구된다. 따라서, 주파수 범위의 나머지에 대해서, 실수치 처리가 충분하다(실수치 mij를 가정하면).
그것은 또한 상기 식들이 lf 및 lr의 (HRTF) 필터링된 신호들의 비간섭성 부가를 가정함을 주의한다. 하나의 가능한 확장은 전방/후방 상관에 대한 고려뿐만 아니라 식들에서 lf 및 lr(및 lf 및 rr)의 전송된 채널 내 코히어런스(Inter-Channel Coherence; ICC)을 포함하는 것이다.
상술된 모든 처리 단계들은 단일, 신호-도메인 2x2 행렬을 야기하도록 파라미터 도메인에서 조합될 수 있다.
본 발명은 본질적으로 종래 기술에서와 같은 주파수 또는 시간 도메인 대신에, 파라미터 도메인에서 바이노럴(즉, HRTF) 정보를 처리한다. 이러한 방식으로, 상당한 계산 절약이 달성될 수 있다.
도 6에서 단지 비제한적 예로 도시된 본 발명에 따른 공간 디코더 장치(2)는 역다중화기(Demux) 유닛(21), 다운믹스 디코딩 유닛(22), 및 공간/바이노럴 디코더 유닛(23)을 포함한다. 역다중화기 유닛(21) 및 다운믹스 디코딩 유닛(22)은 도 3에 도시된 다운믹스 디코딩 유닛(22') 및 종래 기술의 역다중화기 유닛(21')과 유사할 것이다. 도 6의 공간 디코더 유닛(23)은 다운믹스 채널들 및 연관된 변환 유닛들의 수를 제외하고, 도 5의 공간 디코더 유닛(23)과 동일하다. 도 6의 공간 디코더 장치가 단일 다운믹스 채널(s)을 위해 구성되기 때문에, 단지 단일 변환 유닛(231)은 역상관(D) 유닛(239)이 (변환 도메인) 다운믹스 신호(S)의 역상관된 버전(D)를 생성하기 위해 부가되는 동안 제공된다. 단일의 다운믹스 채널(s)에 연관된 단일 파라미터들(sp)이 두 개의 다운믹스 채널들과 연관된 것과 상이하기 때문에, 파라미터 변환 유닛(234)에 의해 생성된 바이노럴 파라미터들(bp)은 일반적으로 도 5의 실시예의 것과 상이하다.
도 6의 구성에서, 바이노럴 디코더의 입력은 공간 파라미터들(sp)에 의해 수반된 모노 입력 신호(s)를 포함한다. 바이노럴 합성 유닛은 원래의 5.1 유닛의 HRTF 처리로부터 기인하는 그들 특성들에 근사하는 통계적 특성들로 스테레오 출력 신호를 생성하며, 이것은 다음에 의해 설명될 수 있다.
통계적 특성들, 채널들(lf, rf, lr, rr, 및 c)의 상호관계, 및 HRTF 임펄스 응답들의 파라미터를 설명하는 공간 파라미터들이 주어지면, 바이노럴 출력 쌍(lb, rb)의 통계적 특성들(즉, 바이노럴 파라미터들의 근사치)을 추정하는 것이 또한 가능하다. 보다 특히, 평균 에너지(각 채널에 대해), 평균 위상차, 및 코히어런스가 추정되며, 이어서 모노 입력 신호의 역상관 및 매트릭싱(matrixing)에 의해 원상태로 된다.
바이노럴 파라미터들은 두 개의 바이노럴 출력 채널들의 각각에 대한 (상대적) 레벨 변화(및 이후 채널 레벨 차 파라미터를 정의함), (평균) 위상차, 및 코히어런스 측정(변환 도메인 시간/주파수 타일 당)을 포함한다.
제 1 단계로서, 5(또는 6) 채널(5.1) 신호의 상대적 파워들(모노 입력 신호의 파워에 대한)은 전송된 CLD 파라미터들을 이용하여 계산된다. 좌측 전방 채널의 상대적 파워는 다음에 의해 제공된다.
여기서,
,
및
유사하게, 다른 채널들의 상대적 파워들이 다음에 의해 제공된다.
좌측 바이노럴 출력 채널의 상대적 파워의 기대치(
)(모노 입력 채널에 대한), 우측 바이노럴 출력 채널의 상대적 파워의 기대치(
), 및 외적(cross product)의 기대치(LBRB *)가 그 후 계산될 수 있다. 바이노럴 출력의 코히어런스(ICCB)가 그 후 다음에 의해 제공된다.
및 평균 위상 각(IPDB)가 다음에 의해 제공된다.
바이노럴 출력의 채널 레벨차(CLDB)가 다음에 의해 제공된다.
마지막으로, 모노 입력에 비교되는 바이노럴 출력의 전체 (선형) 이득(gB)은 다음에 의해 제공된다.
바이노럴 매트릭스에서 IPDB, CLDB, ICCB, 및 gB 파라미터들을 원상태로 하기 위해 요구되는 매트릭스 계수들은 전체 이득들(gB)로 확장된, 종래의 파라메트릭 스테레오 디코더로부터 간단히 획득된다.
여기서,
본 발명의 공간 디코더 유닛의 다른 실시예들은 반향 유닛을 포함할 수 있다. 반향을 추가하는 것은 바이노럴 사운드가 생성될 때 감지된 거리를 향상시킨다는 것이 알려져 있다. 이러한 이유로, 도 7의 공간 디코더 유닛(23)에는 공간 합성 유닛(232)과 평행하여 접속된 스테레오 반향 유닛(237)이 제공된다. 도 7의 스테레오 반향 유닛(237)은 QMF 변환 도메인 단일 다운믹스 신호(S)를 수신하고, 부가 유닛들(238)에 의해 변환 도메인 바이노럴 신호들(도 6에서 채널들(Lb 및 Lr))에 부가되는, 두 개의 반향 신호들을 출력한다. 조합된 신호들은 그 후 출력하기 전에 역변환 유닛들(233)에 의해 역변환된다.
도 8의 실시예에서, 스테레오 반향 유닛(237)은 시간 도메인에서 반향을 생성하기 위해 구성되고 시간 도메인 단일 다운믹스 신호(s)를 수신한다. 스테레오 반향 유닛(237)은 시간 도메인 반향 신호들을 출력하며, 이것은 부가 유닛들(238)에 의해 바이노럴 채널들(lb 및 rb)의 시간 도메인 신호들에 부가된다. 이들 중 하나의 실시예가 적절한 반향을 제공한다.
본 발명은 핸드 헬드 소비자 장치, 및 상술된 바와 같은 공간 디코더 유닛 또는 공간 디코더 장치를 포함하는 오디오 시스템과 같은 소비자 장치를 제공한다. 핸드헬드 소비자 장치는 MP3 플레이어 또는 유사한 장치에 의해 구성될 수 있다. 소비자 장치는 도 9에 개략적으로 예시된다. 소비자 장치(50)는 본 발명에 따른 공간 디코더 장치(2)를 포함하도록 도시된다(도 6 참조).
본 발명은 조합된 공간 디코더 장치 및 바이노럴 합성 장치의 계산 복잡도가 바이노럴 정보에 따라 공간 파라미터들을 변경함으로써 상당히 감소될 수 있다는 통찰에 기초한다. 이것은 공간 디코더 장치로 하여금 임의의 아티팩트들의 도입을 방지하면서, 동일한 신호 처리 동작에서 공간 디코딩 및 지각 전달 함수 처리를 효과적으로 실행하도록 허용한다.
본 명세서에 사용된 임의의 용어는 본 발명의 영역을 제한하기 위해 해석되어서는 안된다는 것을 주의한다. 특히, 단어들 "포함하다" 및 "포함하는"은 명확하게 서술되지 않은 임의의 요소들을 배제하는 것을 의미하지 않는다. 단일 (회로) 소자들은 다수의 (회로) 소자들 또는 그 등가물들로 대체될 수 있다.
이 기술분야의 숙련자들은 본 발명이 상기 예시된 실시예에 제한되지 않으며, 많은 변경들 및 부가들이 첨부한 청구항들에서 정의된 바와 같이 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있음을 이해할 것이다.
도 2는 종래 기술에 따른 공간 오디오 인코더 장치를 개략적으로 도시한 도면.
도 3은 바이노럴 합성 장치에 결합된 종래 기술에 따른 공간 오디오 디코더 장치를 개략적으로 도시한 도면.
도 4는 종래 기술에 따른 공간 오디오 디코더 유닛을 개략적으로 도시한 도면.
도 5는 공간 오디오 디코더 유닛의 예를 개략적으로 도시한 도면.
도 6은 본 발명에 따른 공간 오디오 디코더 장치를 개략적으로 도시한 도면.
도 7은 변환 도메인 반향 유닛이 제공된, 도 5의 공간 오디오 디코더 유닛을 개략적으로 도시한 도면.
도 8은 시간 도메인 반향 유닛이 제공된, 도 5의 공간 오디오 디코더 유닛을 개략적으로 도시한 도면.
도 9는 본 발명에 따른 공간 오디오 디코더 장치가 제공된 소비자 장치를 개략적으로 도시한 도면.
[실시예]
종래 기술에 따른, 머리 전달 함수들(HRTF들)과 같은, 지각 전달 함수들의 애플리케이션이 도 1에 개략적으로 도시된다. 바이노럴 합성 장치(3)는 6개의 HRTF 유닛들(31)을 포함하도록 도시되며, 각각은 입력 채널 및 출력 채널의 특정 조합을 위해 전달 함수를 포함한다. 도시된 예에서, 채널들 1(좌), c(중앙), 및 r(우)에 대응할 수 있는 세 개의 오디오 입력 채널들(ch1, ch2, 및 ch3)이 존재한다. 제 1 채널(ch1)은 각각 HRTF(1,L) 및 HRTF(1,R)를 포함하는 두 개의 HRTF 유닛들(31)에 공급된다. 이러한 예에서, HRTF(1,L)은 좌측 바이노럴 신호에 대한 제 1 채널의 기여를 결정하는 머리 전달 함수이다.
이 기술 분야의 숙련자들은 정규 (스테레오) 기록들 및 바이노럴 기록들 모두를 만들고, 정규 기록에 대한 바이노럴 기록의 형상을 나타내는 전달 함수를 유도함으로써 결정될 수 있다. 바이노럴 기록들은 인형의 사람 머리에 장착된 두 개의 마이크로폰들을 이용하여 만들어지며, 따라서 기록된 사운드는 사람 귀에 의해 캡쳐된 사운드에 대응하고 머리 및 귀의 형태, 심지어 머리카락 및 어깨들의 존재로 인한 임의의 영향들을 포함한다.
HRTF 처리가 시간 도메인에서 일어난다면, HRTF들은 채널들의 (시간 도메인) 오디오 신호들로 컨벌빙된다. 그러나, 일반적으로 HRTF들은 주파수 도메인으로 변환되며, 그 결과적인 전달 함수들 및 오디오 신호들의 주파수 스펙트럼들은 그 후 곱하여진다(푸리에 변환 유닛들 및 역 푸리에 변환 유닛들은 도 1에 도시되지 않음). 시간 프레임을 오버랩시키는 것을 수반하는 적합한 오버랩 및 부가(Overlap-and Add; OLA) 기술이 빠른 푸리에 변환(FFT) 프레임들보다 긴 길이를 갖는 HRTF들을 수용하기 위해 사용될 수 있다.
적절한 HRTF 유닛(31)에 의한 HRTF 처리 후, 그 결과적인 좌측 및 우측 신호들은 (시간 도메인) 좌측 바이노럴 신호(lb) 및 우측 바이노럴 신호(rb)를 산출하기 위해 각각의 가산기(32)에 의해 가산된다.
도 1의 대표적인 종래 기술의 바이노럴 합성 장치(3)는 세 개의 입력 채널들을 갖는다. 현대의 오디오 시스템들은 종종 소위 5.1 시스템들에서의 경우와 같이, 5 또는 6개의 채널들을 갖는다. 그러나, 전달 및/또는 저장될 데이터의 양을 감소시키기 위해, 다수의 오디오 채널들은 일반적으로 하나 또는 두 개의 채널들로 감소된다("다운믹싱된다"). 원 채널들의 특성들 및 상호 관계들을 나타내는 다수의 신호 파라미터들은 채널들의 원래 수로 하나 또는 두 개 채널들의 확장("업믹싱")을 허용한다. 종래 기술에 따른 대표적인 공간 인코더 장치(1)가 도 2에 개략적으로 예시된다.
공간 인코더 장치(1)는 공간 인코딩(SE) 유닛(11), 다운믹스 인코딩(DE) 유닛(12), 및 다중화기(Mux)(13)를 포함한다. 공간 인코딩 유닛(11)은 다섯 개의 오디오 입력 채널들(lf(좌측 전방), lr(좌측 후방), rf(우측 전방), rr(우측 후방), 및 c(중앙))을 수신한다. 공간 인코딩 유닛(11)은 신호 파라미터들(sp)(공간 인코딩 유닛(11)은 두 개의 채널들(l 및 r) 대신에 단일 채널을 생성할 수 있다)분만 아니라, 두 개의 채널들 (l(좌측) 및 r(우측))을 생성하기 위해 5개의 입력 채널들을 다운믹싱한다. 5개의 채널들이 두 개의 채널들(소위 5-2-5 구성)로 다운믹싱되는, 도시된 실시예에서, 단일 파라미터들(sp)이 예로서 다음을 구성할 수 있다.
"lfe"는 선택적인 저 주파수(서브-우퍼) 채널이며, "후방(rear)" 채널들은 또한 "서라운드" 채널들로 알려져 있음을 주의한다.
공간 인코딩 유닛(11)에 의해 생성된 두 개의 다운믹스 채널들(l 및 r)은 다운믹스 인코딩(DE) 유닛(12)으로 공급되며, 이것은 일반적으로 데이터의 양을 감소시킬 목적의 코딩의 유형을 이용한다. 따라서, 인코딩된 다운믹스 채널들(l 및 r), 및 신호 파라미터들(sp)은 출력 비트스트림(bs)을 생성하기 위해 다중화기 유닛(13)에 의해 다중화된다.
대안적 실시예(미도시)에서, 5(또는 6)개의 채널들은 단일(모노) 채널(소위 5-1-5 구성)로 다운믹싱되며, 신호 파라미터들(sp)은 예를 들면 다음을 포함할 수 있다.
이러한 대안적 실시예에서, 인코딩된 다운 믹스 채널(s), 뿐만 아니라 신호 파라미터(sp)는 또한 출력 비트스트림(bs)을 생성하기 위해 다중화기 유닛(13)에 의해 다중화된다.
이러한 비트스트림(bs)이 한 쌍의 바이노럴 채널들을 생성하기 위해 사용되는 것이라면, 종래 기술의 방식은 5 또는 6개의 원 채널들을 생성하기 위해 두 개의 다운 믹스 채널들(l 및 r)(또는 대안적으로, 단일 다운믹스 채널)을 우선 업믹싱할 것이고, 그 후 이들 5 또는 6개의 채널들을 두 개의 바이노럴 채널들로 변환한다. 이러한 종래 기술의 방식의 예가 도 3에 도시된다.
종래 기술에 따른 공간 디코더 장치(2')는 역다중화기(Demux) 유닛(21'), 다운믹스 디코딩 유닛(22'), 및 공간 디코더 유닛(23')을 포함한다. 바이노럴 합성 장치(3)는 공간 디코더 장치(2')의 공간 디코더 유닛(23')에 결합된다.
역다중화기 유닛(21')은 도 2의 비트스트림(bs)과 동일할 수 있는, 비트스트림(bs)을 수신하고, 신호 파라미터들(sp) 및 두 개의 인코딩된 다운믹스 채널들을 출력한다. 신호 파라미터들(sp)이 공간 디코더 유닛(23')에 전송되는 반면, 인코딩된 다운믹스 채널들은 먼저 디코딩된 다운믹스 채널들(l 및 r)을 생성하기 위해 다운믹스 디코딩 유닛(22')에 의해 디코딩된다. 공간 디코더 유닛(23')은 본질적으로 도 2에서의 공간 인코딩 유닛(11)의 역동작들을 실행하고, 5개의 오디오 채널들을 출력한다. 이들 5개의 오디오 채널들은 바이노럴 장치(3)에 공급되며, 이것은 도 3의 장치와 유사한 구조를 가질 수 있지만, 모든 5개의 채널들을 수용하기 위해 부가적인 HRTF 유닛들(31)을 가진다. 도 1에 도시된 바와 같이, 바이노럴 합성 장치(3)는 두 개의 바이노럴 채널들(lb(좌측 바이노럴) 및 rb(우측 바이노럴))을 출력한다.
종래 기술의 공간 디코더 유닛(23')의 대표적인 구조는 도 4에 도시된다. 도 4의 유닛(23')은 2-대-3 업믹스 유닛(230'), 3개의 공간 합성(SS) 유닛들(232'), 및 3개의 역상관(D) 유닛들(239')을 포함한다. 2-대-3 업믹스 유닛(230')은 다운믹스 채널들(l&r) 및 신호 파라미터들(sp)을 수신하고 3개의 채널들(l,r, 및 ce)을 생성한다. 이들 채널들의 각각은 각각의 채널의 역상관된 버전을 생성하는 역상관기 유닛(239')에 공급된다. 각각의 채널(l, r, 및 ce), 그 각각의 역상관된 버전, 및 연관된 신호 파라미터들(sp)은 각각의 공간 합성(또는 업믹스) 유닛(232')에 공급된다. 채널(l)을 수신하는 공간 합성 유닛(232')은 예를 들면 출력 채널들(lf(좌측 전방) 및 lr(좌측 후방))을 출력한다. 공간 합성 유닛들(232')은 일반적으로 매트릭스 행렬의 곱을 수행하며, 행렬의 파라미터들은 신호 파라미터들(sp)에 의해 결정된다.
도 4의 예에서, 6개의 출력 채널들이 생성됨을 주의한다. 몇몇 실시예들에 있어서, 제 3 역상관 유닛(239') 및 제 3 공간 합성 유닛(232')은 생략될 수 있으며, 따라서 단지 5개의 출력 채널들만을 생성할 수 있다. 그러나, 모든 실시예들에서, 종래 기술의 공간 합성 유닛(23')은 2개 이상의 출력 채널들을 생성할 것이다. 임의의 (QMF) 변환 유닛들은 예시를 분명하게 하기 위해 도 4의 단순히 예시적인 예로부터 생략될 수 있음을 또한 주의한다. 실제 예들에서, 공간 디코딩은 QMF 도메인과 같은 변환 도메인에서 수행될 것이다.
도 3의 구성은 효율적이지 않다. 공간 디코더 장치(2')는 2개의 다운믹스 채널들(l 및 r)을 5개의 업믹싱된 (중간) 채널들로 변환하지만, 바이노럴 합성 장치(3)는 그 후 5개의 업믹싱된 채널들을 2개의 바이노럴 채널들로 감소시킨다. 또한, 공간 디코더 유닛(23')에서 업믹싱은 일반적으로 QMF(Quadrature Mirror Filter) 도메인과 같은 서브밴드 도메인에서 실행된다. 그러나, 바이노럴 합성 장치(3)는 일반적으로 주파수(즉, 푸리에 변환) 도메인에서 신호들을 처리한다. 이들 두 개의 도메인들이 동일하지 않기 때문에, 공간 디코더 장치(2')는 먼저 다운믹스 채널들의 신호들을 QMF 도메인으로 변환하고, 변환된 신호들을 처리한 후, 업믹싱된 신호들을 시간 도메인으로 되돌려 변환한다. 이어서, 바이노럴 합성 장치(3)는 모든(현재 예에서 5개) 이들 업믹싱된 신호들을 주파수 도메인으로 변환하고, 변환된 신호들을 처리한 후, 바이노럴 신호들을 시간 도메인으로 되돌려 변환한다. 수반된 계산 노력이 상당하며, 보다 효율적인 신호 처리, 특히 이러한 처리가 핸드헬드 장치에서 실행될 경우 요구된다는 것이 명백할 것이다.
본 발명은 공간 디코더 장치에 바이노럴 합성 장치를 통합하고 파라미터에서 바이노럴 처리를 효과적으로 실행함으로써 훨씬 더 효율적인 처리를 제공한다. 공간 디코더 유닛의 예가 도 5에 개략적으로 예시되지만, 본 발명에 따른 조합된 공간 및 바이노럴 디코더 장치(간결함을 위해 공간 디코더 장치로 불리우는)가 도 6에 예시된다.
도 5에 도시된 공간 디코더 유닛(23)은 변환 유닛들(231), 공간 합성 (SS) 유닛(232), 역변환 유닛들(233), 파라미터 변환 (PC) 유닛(234) 및 메모리(Mem) 유닛(235)을 포함한다. 도 5의 대표적인 예에서, 공간 디코더 유닛(23)은 2개의 변환 유닛들(231)을 포함하지만, 다른 예들에서, 단지 단일 변환 유닛(231)(도 6에서와 같이), 또는 2 이상의 변환 유닛들(231)이 다운믹스 채널들의 수에 종속하여 존재할 수 있다.
변환 유닛들(231) 각각은 다운 믹스 채널 l 및 r을 각각 수신한다(도 3에 보여지는 바와 같이). 각각의 변환 유닛(231)은 각각의 채널(의 신호)을 적합한 변환 또는 서브밴드 도메인으로, 본 예서는 QMF 도메인으로 변환하도록 구성된다. QMF 변환된 채널들(L 및 R)은 바람직하게는 변환 도메인 바이노럴 채널들(Lb 및 Rb)을 생성하기 위해 채널들(L 및 R)에 매트릭스 동작을 실행하는 공간 합성 유닛(232)에 공급된다. 역변환 유닛들(233)은 본 발명의 예의 역 QMF 변환에서, 바이노럴 시간 도메인 채널들(lb 및 rb)를 생성하기 위해 역변환을 실행한다.
공간 합성 유닛(232)은 도 4의 종래 기술의 공간 합성 유닛(232')과 유사하거나 또는 동일할 수 있다. 그러나, 이러한 유닛에 의해 사용된 파라미터들은 종래 기술에 사용된 것과 상이하다. 보다 특히, 파라미터 변환 유닛(234)은 메모리 유닛(235)에 저장된 HRTF 파라미터들(hp)을 이용하여 종래의 공간 파라미터들(sp)을 바이노럴 파라미터들(bp)로 변환한다. 이들 HRTF 파라미터들(hp)은 다음을 포함할 수 있다.
- 방위각(수평 평면의 각), 고도(수직 평면의 각), 및 거리의 함수로서 좌측 전달 함수를 위한 주파수 대역 당 평균 레벨,
- 방위각, 고도, 및 거리의 함수로서 우측 전달 함수를 위한 주파수 대역 당 평균 레벨, 및
- 방위각, 고도, 및 거리의 함수로서 주파수 대역 당 평균 위상 또는 시간 차.
또한, 다음 파라미터들이 포함될 수 있다.
- 방위각, 고도, 및 거리의 함수로서 HRTF 주파수 대역 당 좌측 및 우측 전달 함수들의 코히어런스 측정치(coherence measure), 및/또는
- 방위각, 고도, 및 거리의 함수로서 좌측 및 우측 전달 함수들에 대한 절대적 위상 및/또는 시간 파라미터들.
실제 사용된 HRTF 파라미터들은 특정 실시예들에 종속할 수 있다.
공간 합성 유닛(232)은 다음의 공식을 이용하여 바이노럴 채널들(Lb 및 Rb)을 결정할 수 있다.
여기서, 인덱스 k는 QMF 하이브리드 (주파수) 대역 인덱스를 나타내고, 인덱스 m은 QMF 슬롯 (시간) 인덱스를 나타낸다. 행렬 Hk의 파라미터들(hij)은 바이노럴 파라미터들(도 5에서 bp)에 의해 결정된다. 인덱스 k에 의해 나타내어지는 바와 같이, 행렬 Hk는 QMF 하이브리드 대역에 종속할 수 있다. 일 예에서, 파라미터 변환 유닛(도 5에서 234)은 공간 합성 유닛(232)에 의해 그 후 행렬 파라미터들(hij)로 변환되는 바이노럴 파라미터들을 생성한다. 또 다른 예에서, 행렬 파라미터들(hij)은 파라미터 변환 유닛(도 5에서 234)에 의해 생성된 바이노럴 파라미터들과 동일하며 변환되지 않고 공간 합성 유닛(232)에 의해 직접 사용될 수 있다.
행렬 Hk의 파라미터들(hij)은 2개의 다운믹스 채널들(5-2-5 구성)의 경우에서 다음의 방식으로 결정될 수 있다. 도 4의 종래 기술의 공간 디코더 유닛에서, 2-대-3 디코더 유닛(230')은 2개의 (입력) 다운믹스 채널들(l 및 r)을 3개의 (출력) 채널들(l, r, 및 ce)로 변환한다(입력 채널들이 다음 논의에서 10 및 r0로 라벨링되는 이유로, 출력 채널들(l 및 r)은 일반적으로 입력 채널들(l 및 r)과 동일하지 않다).
예에 따르면, 파라미터 변환 유닛(도 5 및 도 6에서 234)은 단지 3개의 채널들만(예로서, l r, 및 c)의 기여가 고려되는 지각 전달 함수 파라미터들을 활용하기 위해 구성되며, 이들 3개의 채널들 중 2개의 채널들(예로서, l 및 r)은 합성의 각 전방(lf, rf) 및 후방(lr, rr) 채널들을 포함한다. 즉, 각각의 전방 및 후방 채널들은 효율성을 향상시키기 위해 함께 그룹핑된다.
2-대-3 업믹스 유닛(230')의 동작은 다음의 행렬 동작에 의해 설명될 수 있다.
여기서, 행렬 엔트리들(mij)은 공간 파라미터들에 종속한다. 공간 파라미터들 및 행렬 엔트리들의 관계는 5.1 MPEG 서라운드 디코더의 것과 동일하다. 세 개의 결과로서 생긴 신호들 l, r, 및 c의 각각에 대해서, 그 효과는 이들 사운드 소스들의 원하는 (인지된) 위치에 대응하는 지각 전달 함수(현재 예에서: HRTF) 파라미터들로 결정된다. 중심 채널(c)에 대해서, 사운드 소스 위치의 공간 파라미터들은 직접 이용될 수 있으며, 중심을 위한 두 개의 출력 신호들(lB(c) 및 rB(c))을 야기한다.
식(3)으로부터 관찰될 수 있는 바와 같이, HRTF 파라미터 처리는 중심 채널의 사운드 소스 위치에 대응하는, 평균 전력 레벨들(Pl 및 Pr)과 산호의 곱으로 이루어지는 반면, 위상 차이는 대칭적으로 분포된다. 이러한 처리는 한편으로는 HRTF 파라미터들에서 QMF 필터 뱅크로의 매핑, 및 다른 한편으로는 공간 파라미터들에서 QMF 대역으로의 매핑을 이용하여, 각각의 QMF 대역을 위해 독립적으로 수행된다.
좌측(l) 채널에 대해서, 좌측 전방 및 좌측 후방 채널들로부터의 HRTF 파라미터들은 가중치들(wlf 및 wrf)을 이용하여 단일 기여로 결합된다. 그 결과 합성 파라미터들이 통계적으로 전방 및 후방 채널들 모두의 효과를 시뮬레이션한다. 다음 식들은 좌측 채널에 대한 바이노럴 출력쌍(lb, rb)을 생성하기 위해 사용된다.
여기서,
및
가중들(Wlf 및 Wrf)은 lf 및 lr을 위한 1-대-2 유닛의 CLD 파라미터에 의존한다.
유사한 방식으로, 우측 채널에 대한 바이노럴 출력은 다음에 따라 획득된다.
여기서,
위상 변경 기간은 양쪽 경우들 모두에서 대측성 귀(contra-lateral ear)에 적용됨을 주의한다. 더욱이, 인간의 청각 시스템은 근사치 2 kHz 위 주파수들에 대한 바이노럴 위상에 크게 영향을 받지 않기 때문에, 위상 변경 기간은 단지 낮은 주파수 영역에서 적용되도록 요구된다. 따라서, 주파수 범위의 나머지에 대해서, 실수치 처리가 충분하다(실수치 mij를 가정하면).
그것은 또한 상기 식들이 lf 및 lr의 (HRTF) 필터링된 신호들의 비간섭성 부가를 가정함을 주의한다. 하나의 가능한 확장은 전방/후방 상관에 대한 고려뿐만 아니라 식들에서 lf 및 lr(및 lf 및 rr)의 전송된 채널 내 코히어런스(Inter-Channel Coherence; ICC)을 포함하는 것이다.
상술된 모든 처리 단계들은 단일, 신호-도메인 2x2 행렬을 야기하도록 파라미터 도메인에서 조합될 수 있다.
본 발명은 본질적으로 종래 기술에서와 같은 주파수 또는 시간 도메인 대신에, 파라미터 도메인에서 바이노럴(즉, HRTF) 정보를 처리한다. 이러한 방식으로, 상당한 계산 절약이 달성될 수 있다.
도 6에서 단지 비제한적 예로 도시된 본 발명에 따른 공간 디코더 장치(2)는 역다중화기(Demux) 유닛(21), 다운믹스 디코딩 유닛(22), 및 공간/바이노럴 디코더 유닛(23)을 포함한다. 역다중화기 유닛(21) 및 다운믹스 디코딩 유닛(22)은 도 3에 도시된 다운믹스 디코딩 유닛(22') 및 종래 기술의 역다중화기 유닛(21')과 유사할 것이다. 도 6의 공간 디코더 유닛(23)은 다운믹스 채널들 및 연관된 변환 유닛들의 수를 제외하고, 도 5의 공간 디코더 유닛(23)과 동일하다. 도 6의 공간 디코더 장치가 단일 다운믹스 채널(s)을 위해 구성되기 때문에, 단지 단일 변환 유닛(231)은 역상관(D) 유닛(239)이 (변환 도메인) 다운믹스 신호(S)의 역상관된 버전(D)를 생성하기 위해 부가되는 동안 제공된다. 단일의 다운믹스 채널(s)에 연관된 단일 파라미터들(sp)이 두 개의 다운믹스 채널들과 연관된 것과 상이하기 때문에, 파라미터 변환 유닛(234)에 의해 생성된 바이노럴 파라미터들(bp)은 일반적으로 도 5의 실시예의 것과 상이하다.
도 6의 구성에서, 바이노럴 디코더의 입력은 공간 파라미터들(sp)에 의해 수반된 모노 입력 신호(s)를 포함한다. 바이노럴 합성 유닛은 원래의 5.1 유닛의 HRTF 처리로부터 기인하는 그들 특성들에 근사하는 통계적 특성들로 스테레오 출력 신호를 생성하며, 이것은 다음에 의해 설명될 수 있다.
통계적 특성들, 채널들(lf, rf, lr, rr, 및 c)의 상호관계, 및 HRTF 임펄스 응답들의 파라미터를 설명하는 공간 파라미터들이 주어지면, 바이노럴 출력 쌍(lb, rb)의 통계적 특성들(즉, 바이노럴 파라미터들의 근사치)을 추정하는 것이 또한 가능하다. 보다 특히, 평균 에너지(각 채널에 대해), 평균 위상차, 및 코히어런스가 추정되며, 이어서 모노 입력 신호의 역상관 및 매트릭싱(matrixing)에 의해 원상태로 된다.
바이노럴 파라미터들은 두 개의 바이노럴 출력 채널들의 각각에 대한 (상대적) 레벨 변화(및 이후 채널 레벨 차 파라미터를 정의함), (평균) 위상차, 및 코히어런스 측정(변환 도메인 시간/주파수 타일 당)을 포함한다.
제 1 단계로서, 5(또는 6) 채널(5.1) 신호의 상대적 파워들(모노 입력 신호의 파워에 대한)은 전송된 CLD 파라미터들을 이용하여 계산된다. 좌측 전방 채널의 상대적 파워는 다음에 의해 제공된다.
여기서,
및
유사하게, 다른 채널들의 상대적 파워들이 다음에 의해 제공된다.
좌측 바이노럴 출력 채널의 상대적 파워의 기대치(
및 평균 위상 각(IPDB)가 다음에 의해 제공된다.
바이노럴 출력의 채널 레벨차(CLDB)가 다음에 의해 제공된다.
마지막으로, 모노 입력에 비교되는 바이노럴 출력의 전체 (선형) 이득(gB)은 다음에 의해 제공된다.
바이노럴 매트릭스에서 IPDB, CLDB, ICCB, 및 gB 파라미터들을 원상태로 하기 위해 요구되는 매트릭스 계수들은 전체 이득들(gB)로 확장된, 종래의 파라메트릭 스테레오 디코더로부터 간단히 획득된다.
여기서,
본 발명의 공간 디코더 유닛의 다른 실시예들은 반향 유닛을 포함할 수 있다. 반향을 추가하는 것은 바이노럴 사운드가 생성될 때 감지된 거리를 향상시킨다는 것이 알려져 있다. 이러한 이유로, 도 7의 공간 디코더 유닛(23)에는 공간 합성 유닛(232)과 평행하여 접속된 스테레오 반향 유닛(237)이 제공된다. 도 7의 스테레오 반향 유닛(237)은 QMF 변환 도메인 단일 다운믹스 신호(S)를 수신하고, 부가 유닛들(238)에 의해 변환 도메인 바이노럴 신호들(도 6에서 채널들(Lb 및 Lr))에 부가되는, 두 개의 반향 신호들을 출력한다. 조합된 신호들은 그 후 출력하기 전에 역변환 유닛들(233)에 의해 역변환된다.
도 8의 실시예에서, 스테레오 반향 유닛(237)은 시간 도메인에서 반향을 생성하기 위해 구성되고 시간 도메인 단일 다운믹스 신호(s)를 수신한다. 스테레오 반향 유닛(237)은 시간 도메인 반향 신호들을 출력하며, 이것은 부가 유닛들(238)에 의해 바이노럴 채널들(lb 및 rb)의 시간 도메인 신호들에 부가된다. 이들 중 하나의 실시예가 적절한 반향을 제공한다.
본 발명은 핸드 헬드 소비자 장치, 및 상술된 바와 같은 공간 디코더 유닛 또는 공간 디코더 장치를 포함하는 오디오 시스템과 같은 소비자 장치를 제공한다. 핸드헬드 소비자 장치는 MP3 플레이어 또는 유사한 장치에 의해 구성될 수 있다. 소비자 장치는 도 9에 개략적으로 예시된다. 소비자 장치(50)는 본 발명에 따른 공간 디코더 장치(2)를 포함하도록 도시된다(도 6 참조).
본 발명은 조합된 공간 디코더 장치 및 바이노럴 합성 장치의 계산 복잡도가 바이노럴 정보에 따라 공간 파라미터들을 변경함으로써 상당히 감소될 수 있다는 통찰에 기초한다. 이것은 공간 디코더 장치로 하여금 임의의 아티팩트들의 도입을 방지하면서, 동일한 신호 처리 동작에서 공간 디코딩 및 지각 전달 함수 처리를 효과적으로 실행하도록 허용한다.
본 명세서에 사용된 임의의 용어는 본 발명의 영역을 제한하기 위해 해석되어서는 안된다는 것을 주의한다. 특히, 단어들 "포함하다" 및 "포함하는"은 명확하게 서술되지 않은 임의의 요소들을 배제하는 것을 의미하지 않는다. 단일 (회로) 소자들은 다수의 (회로) 소자들 또는 그 등가물들로 대체될 수 있다.
이 기술분야의 숙련자들은 본 발명이 상기 예시된 실시예에 제한되지 않으며, 많은 변경들 및 부가들이 첨부한 청구항들에서 정의된 바와 같이 본 발명의 범위로부터 벗어나지 않고 이루어질 수 있음을 이해할 것이다.
Claims (2)
- 공간 파라미터들(sp) 및 2개의 오디오 입력 채널(l, r)을 이용하여 한 쌍의 바이노럴(binaural) 출력 채널들(lb, rb)을 생성하기 위한 공간 디코더 유닛(23)에 있어서,
- 파라미터화된 지각 전달 함수들(perceptual transfer functions)(hp)을 이용하여 상기 공간 파라미터들(sp)을 바이노럴 파라미터들(bp)로 변환하기 위한 파라미터 변환 유닛(234)으로서, 상기 바이노럴 파라미터들은 상기 공간 파라미터들 및 상기 파라미터화된 지각 전달 함수들에 의존하는, 상기 파라미터 변환 유닛(234);
- 상기 2개의 오디오 입력 채널을 QMF 도메인의 변환된 오디오 입력 채널로 변환하기 위한 2개의 변환 유닛들:
-
로서 한 쌍의 변환된 바이노럴 채널들(Lb, Rb)을 합성하기 위한 공간 합성 유닛(232) - 여기서, 인덱스 k는 QMF 하이브리드 주파수 대역 인덱스를 나타내고 인덱스 m은 QMF 슬롯 시간 인덱스를 나타내고, 행렬(Hk)의 파라미터들(hij)은 상기 바이노럴 파라미터들에 의해 결정되고 L[k,m] 및 R[k,m]은 QMF 변환된 오디오 입력 신호들임 -,
- 상기 한 쌍의 변환된 바이노럴 채널들(Lb, Rb)을 상기 한 쌍의 바이노럴 출력 채널들로 역변환하기 위한 한 쌍의 역변환 유닛들 - 여기서 상기 매트릭스(Hk)의 파라미터들은
에 의해 주어지고, 여기서
Hl(c) = P1(c)e+jφ(c)/2
Hr(c) = Pr(c)e-jφ(c)/2
; 및
이고
이며,
여기서,
CLDl은 좌측 전방 채널 대 좌측 후방 채널에 대한 레벨 차이를 규정하는 공간 파라미터들의 파라미터이고;
CLDr는 우측 전방 채널 대 우측 후방 채널에 대한 레벨 차이를 규정하는 공간 파라미터들의 파라미터이고; 그리고
Pl(c)는 중앙 채널로부터 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 전력 레벨이고;
Pr(c)는 상기 중앙 채널로부터 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 전력 레벨이고;
Pl(lf)는 상기 좌측 전방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pl(rf)는 상기 우측 전방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pl(lr)는 상기 좌측 후방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pl(rr)는 상기 우측 후방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(lf)는 상기 좌측 전방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(rf)는 상기 우측 전방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(lr)는 상기 좌측 전방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(rr)는 상기 우측 후방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
φ(c)는 상기 중앙 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(lf)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 좌측 전방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(rf)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 우측 전방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(lr)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 좌측 후방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(rr)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 우측 후방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
m11, m21, m31, m12, m22, 및 m32는 5.1 MPEG 사라운드 디코더의 2 대 3 업믹스 유닛(two-to-three upmix unit)에서와 같은 방식으로 상기 공간 파라미터들에 의존하는 것을 특징으로 하는, 공간 디코더 유닛. - 공간 파라미터들(sp) 및 2개의 오디오 입력 채널(l, r)을 이용하여 한 쌍의 바이노럴(binaural) 출력 채널들(lb, rb)을 생성하기 위한 방법에 있어서,
- 파라미터화된 지각 전달 함수들(perceptual transfer functions)(hp)을 이용하여 상기 공간 파라미터들(sp)을 바이노럴 파라미터들(bp)로 변환하는 단계로서, 상기 바이노럴 파라미터들은 상기 공간 파라미터들 및 상기 파라미터화된 지각 전달 함수들에 의존하는, 상기 공간 파라미터들(sp)을 바이노럴 파라미터들(bp)로 변환하는 단계;
- 상기 2개의 오디오 입력 채널을 QMF 도메인의 변환된 오디오 입력 채널로 변환하는 단계:
-
로서 한 쌍의 변환된 바이노럴 채널들(Lb, Rb)을 합성하는 단계 - 여기서, 인덱스 k는 QMF 하이브리드 주파수 대역 인덱스를 나타내고 인덱스 m은 QMF 슬롯 시간 인덱스를 나타내고, 행렬(Hk)의 파라미터들(hij)은 상기 바이노럴 파라미터들에 의해 결정되고 L[k,m] 및 R[k,m]은 QMF 변환된 오디오 입력 신호들임 -,
- 상기 한 쌍의 변환된 바이노럴 채널들(Lb, Rb)을 상기 한 쌍의 바이노럴 출력 채널들로 역변환하는 단계 - 여기서 상기 매트릭스(Hk)의 파라미터들은
에 의해 주어지고, 여기서
Hl(c) = P1(c)e+jφ(c)/2
Hr(c) = Pr(c)e-jφ(c)/2
; 및
이고
이며,
여기서,
CLDl은 좌측 전방 채널 대 좌측 후방 채널에 대한 레벨 차이를 규정하는 공간 파라미터들의 파라미터이고;
CLDr는 우측 전방 채널 대 우측 후방 채널에 대한 레벨 차이를 규정하는 공간 파라미터들의 파라미터이고; 그리고
Pl(c)는 중앙 채널로부터 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 전력 레벨이고;
Pr(c)는 상기 중앙 채널로부터 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 전력 레벨이고;
Pl(lf)는 상기 좌측 전방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pl(rf)는 상기 우측 전방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pl(lr)는 상기 좌측 후방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pl(rr)는 상기 우측 후방 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(lf)는 상기 좌측 전방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(rf)는 상기 우측 전방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(lr)는 상기 좌측 전방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
Pr(rr)는 상기 우측 후방 채널로부터 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수의 주파수 대역 당 평균 레벨이고;
φ(c)는 상기 중앙 채널로부터 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(lf)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 좌측 전방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(rf)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 우측 전방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(lr)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 좌측 후방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
φ(rr)는 상기 좌측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수와 상기 우측 후방 채널로부터의 상기 우측 바이노럴 채널을 위한 파라미터화된 지각 전달 함수 간의 주파수 대역 당 평균 위상 차이이고;
m11, m21, m31, m12, m22, 및 m32는 5.1 MPEG 사라운드 디코더의 2 대 3 업믹스 유닛(two-to-three upmix unit)에서와 같은 방식으로 상기 공간 파라미터들에 의존하는 것을 특징으로 하는, 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP05108405.1 | 2005-09-13 | ||
| EP05108405 | 2005-09-13 | ||
| EP06110231.5 | 2006-02-21 | ||
| EP06110231 | 2006-02-21 | ||
| PCT/IB2006/053040 WO2007031896A1 (en) | 2005-09-13 | 2006-08-31 | Audio coding |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087008708A Division KR101512995B1 (ko) | 2005-09-13 | 2006-08-31 | 공간 디코더 유닛, 공간 디코더 장치, 오디오 시스템, 한 쌍의 바이노럴 출력 채널들을 생성하는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150008932A KR20150008932A (ko) | 2015-01-23 |
| KR101562379B1 true KR101562379B1 (ko) | 2015-10-22 |
Family
ID=37682599
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147036845A KR101562379B1 (ko) | 2005-09-13 | 2006-08-31 | 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법 |
| KR1020087008708A KR101512995B1 (ko) | 2005-09-13 | 2006-08-31 | 공간 디코더 유닛, 공간 디코더 장치, 오디오 시스템, 한 쌍의 바이노럴 출력 채널들을 생성하는 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087008708A KR101512995B1 (ko) | 2005-09-13 | 2006-08-31 | 공간 디코더 유닛, 공간 디코더 장치, 오디오 시스템, 한 쌍의 바이노럴 출력 채널들을 생성하는 방법 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US8654983B2 (ko) |
| EP (1) | EP1927266B1 (ko) |
| JP (2) | JP5587551B2 (ko) |
| KR (2) | KR101562379B1 (ko) |
| CN (1) | CN101263742B (ko) |
| BR (1) | BRPI0615899B1 (ko) |
| RU (1) | RU2419249C2 (ko) |
| TW (1) | TWI415111B (ko) |
| WO (1) | WO2007031896A1 (ko) |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100857106B1 (ko) * | 2005-09-14 | 2008-09-08 | 엘지전자 주식회사 | 오디오 신호의 디코딩 방법 및 장치 |
| RU2008132156A (ru) * | 2006-01-05 | 2010-02-10 | Телефонактиеболагет ЛМ Эрикссон (пабл) (SE) | Персонализированное декодирование многоканального объемного звука |
| BRPI0707969B1 (pt) | 2006-02-21 | 2020-01-21 | Koninklijke Philips Electonics N V | codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador |
| US7965848B2 (en) * | 2006-03-29 | 2011-06-21 | Dolby International Ab | Reduced number of channels decoding |
| US8712061B2 (en) | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
| US8379868B2 (en) | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
| US8374365B2 (en) | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| WO2009001277A1 (en) * | 2007-06-26 | 2008-12-31 | Koninklijke Philips Electronics N.V. | A binaural object-oriented audio decoder |
| GB2467668B (en) * | 2007-10-03 | 2011-12-07 | Creative Tech Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| GB2467247B (en) * | 2007-10-04 | 2012-02-29 | Creative Tech Ltd | Phase-amplitude 3-D stereo encoder and decoder |
| ES2461601T3 (es) * | 2007-10-09 | 2014-05-20 | Koninklijke Philips N.V. | Procedimiento y aparato para generar una señal de audio binaural |
| DE102007051308B4 (de) | 2007-10-26 | 2013-05-16 | Siemens Medical Instruments Pte. Ltd. | Verfahren zum Verarbeiten eines Mehrkanalaudiosignals für ein binaurales Hörgerätesystem und entsprechendes Hörgerätesystem |
| CN101188878B (zh) * | 2007-12-05 | 2010-06-02 | 武汉大学 | 立体声音频信号的空间参数量化及熵编码方法和所用系统 |
| CN102099854B (zh) * | 2008-07-15 | 2012-11-28 | Lg电子株式会社 | 处理音频信号的方法和装置 |
| WO2010036059A2 (en) | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
| WO2010036060A2 (en) | 2008-09-25 | 2010-04-01 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
| KR20100035121A (ko) * | 2008-09-25 | 2010-04-02 | 엘지전자 주식회사 | 신호 처리 방법 및 이의 장치 |
| JP5326465B2 (ja) * | 2008-09-26 | 2013-10-30 | 富士通株式会社 | オーディオ復号方法、装置、及びプログラム |
| EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| KR20110069112A (ko) * | 2008-10-14 | 2011-06-22 | 비덱스 에이/에스 | 보청기 시스템에서 바이노럴 스테레오를 렌더링하는 방법 및 보청기 시스템 |
| KR101499785B1 (ko) | 2008-10-23 | 2015-03-09 | 삼성전자주식회사 | 모바일 디바이스를 위한 오디오 처리 장치 및 그 방법 |
| JP5309944B2 (ja) * | 2008-12-11 | 2013-10-09 | 富士通株式会社 | オーディオ復号装置、方法、及びプログラム |
| CN102257562B (zh) * | 2008-12-19 | 2013-09-11 | 杜比国际公司 | 用空间线索参数对多通道音频信号应用混响的方法和装置 |
| US9591424B2 (en) * | 2008-12-22 | 2017-03-07 | Koninklijke Philips N.V. | Generating an output signal by send effect processing |
| CN101521012B (zh) * | 2009-04-08 | 2011-12-28 | 武汉大学 | Mdct域信号能量与相位补偿方法及其装置 |
| CN102812511A (zh) * | 2009-10-16 | 2012-12-05 | 法国电信公司 | 优化的参数立体声解码 |
| KR20110072650A (ko) | 2009-12-23 | 2011-06-29 | 삼성전자주식회사 | 오디오 장치 및 이의 오디오 신호 전송 방법, 그리고 오디오 시스템 |
| TWI486068B (zh) | 2010-09-13 | 2015-05-21 | Htc Corp | 行動電子裝置與其聲音播放方法 |
| KR101697550B1 (ko) * | 2010-09-16 | 2017-02-02 | 삼성전자주식회사 | 멀티채널 오디오 대역폭 확장 장치 및 방법 |
| CN102438188A (zh) * | 2010-09-29 | 2012-05-02 | 宏达国际电子股份有限公司 | 移动电子装置与其声音播放方法 |
| FR2976759B1 (fr) * | 2011-06-16 | 2013-08-09 | Jean Luc Haurais | Procede de traitement d'un signal audio pour une restitution amelioree. |
| JP5740531B2 (ja) | 2011-07-01 | 2015-06-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オブジェクトベースオーディオのアップミキシング |
| EP2645748A1 (en) * | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
| KR20130137903A (ko) | 2012-06-08 | 2013-12-18 | 삼성전자주식회사 | 음향 출력 장치, 오디오 처리 장치, 음향 출력 방법 및 오디오 처리 방법 |
| EP2862168B1 (en) | 2012-06-14 | 2017-08-09 | Dolby International AB | Smooth configuration switching for multichannel audio |
| US9860663B2 (en) | 2013-01-15 | 2018-01-02 | Koninklijke Philips N.V. | Binaural audio processing |
| CN108806704B (zh) | 2013-04-19 | 2023-06-06 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| CN104982042B (zh) | 2013-04-19 | 2018-06-08 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| CN105393304B (zh) * | 2013-05-24 | 2019-05-28 | 杜比国际公司 | 音频编码和解码方法、介质以及音频编码器和解码器 |
| FR3009158A1 (fr) * | 2013-07-24 | 2015-01-30 | Orange | Spatialisation sonore avec effet de salle |
| US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| EP3044783B1 (en) * | 2013-09-12 | 2017-07-19 | Dolby International AB | Audio coding |
| CA3194257A1 (en) | 2013-09-17 | 2015-03-26 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing multimedia signals |
| US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| JP6151866B2 (ja) * | 2013-12-23 | 2017-06-21 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置 |
| WO2015142073A1 (ko) | 2014-03-19 | 2015-09-24 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| EP3128766A4 (en) | 2014-04-02 | 2018-01-03 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and device |
| US9462406B2 (en) | 2014-07-17 | 2016-10-04 | Nokia Technologies Oy | Method and apparatus for facilitating spatial audio capture with multiple devices |
| EP3204945B1 (en) * | 2014-12-12 | 2019-10-16 | Huawei Technologies Co. Ltd. | A signal processing apparatus for enhancing a voice component within a multi-channel audio signal |
| US10149074B2 (en) | 2015-01-22 | 2018-12-04 | Sonova Ag | Hearing assistance system |
| HUE056176T2 (hu) * | 2015-02-12 | 2022-02-28 | Dolby Laboratories Licensing Corp | Fejhallgató virtualizálás |
| CN111131970B (zh) * | 2015-02-16 | 2023-06-02 | 华为技术有限公司 | 过滤音频信号的音频信号处理装置和方法 |
| JP6797187B2 (ja) | 2015-08-25 | 2020-12-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | オーディオ・デコーダおよびデコード方法 |
| AU2016311335B2 (en) | 2015-08-25 | 2021-02-18 | Dolby International Ab | Audio encoding and decoding using presentation transform parameters |
| CN106199187B (zh) * | 2016-07-18 | 2018-11-13 | 电子科技大学 | 一种多音信号相对相位的测试方法 |
| CN109195063B (zh) * | 2018-08-24 | 2020-04-17 | 重庆清文科技有限公司 | 一种立体声发生系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004028204A2 (en) | 2002-09-23 | 2004-04-01 | Koninklijke Philips Electronics N.V. | Generation of a sound signal |
| US20050180579A1 (en) | 2004-02-12 | 2005-08-18 | Frank Baumgarte | Late reverberation-based synthesis of auditory scenes |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6111958A (en) * | 1997-03-21 | 2000-08-29 | Euphonics, Incorporated | Audio spatial enhancement apparatus and methods |
| JP4499206B2 (ja) * | 1998-10-30 | 2010-07-07 | ソニー株式会社 | オーディオ処理装置及びオーディオ再生方法 |
| KR100416757B1 (ko) * | 1999-06-10 | 2004-01-31 | 삼성전자주식회사 | 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법 |
| JP2001057699A (ja) * | 1999-06-11 | 2001-02-27 | Pioneer Electronic Corp | オーディオ装置 |
| FI113147B (fi) * | 2000-09-29 | 2004-02-27 | Nokia Corp | Menetelmä ja signaalinkäsittelylaite stereosignaalien muuntamiseksi kuulokekuuntelua varten |
| US20030035553A1 (en) * | 2001-08-10 | 2003-02-20 | Frank Baumgarte | Backwards-compatible perceptual coding of spatial cues |
| US7116787B2 (en) * | 2001-05-04 | 2006-10-03 | Agere Systems Inc. | Perceptual synthesis of auditory scenes |
| JP3435156B2 (ja) * | 2001-07-19 | 2003-08-11 | 松下電器産業株式会社 | 音像定位装置 |
| JP2004128854A (ja) * | 2002-10-02 | 2004-04-22 | Matsushita Electric Ind Co Ltd | 音響再生装置 |
| US20040234067A1 (en) * | 2003-05-19 | 2004-11-25 | Acoustic Technologies, Inc. | Distributed VAD control system for telephone |
| JP4124702B2 (ja) * | 2003-06-11 | 2008-07-23 | 日本放送協会 | 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム |
| JP4271588B2 (ja) * | 2004-01-08 | 2009-06-03 | シャープ株式会社 | ディジタルデータの符号化方法および符号化装置 |
| WO2005098826A1 (en) * | 2004-04-05 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Method, device, encoder apparatus, decoder apparatus and audio system |
| JP2005352396A (ja) * | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | 音響信号符号化装置および音響信号復号装置 |
| CA2572805C (en) * | 2004-07-02 | 2013-08-13 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
| CN1985544B (zh) * | 2004-07-14 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 处理立体声下混合信号的方法、装置、编译码器和系统 |
| WO2006011367A1 (ja) * | 2004-07-30 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | オーディオ信号符号化装置および復号化装置 |
-
2006
- 2006-08-31 KR KR1020147036845A patent/KR101562379B1/ko active IP Right Grant
- 2006-08-31 KR KR1020087008708A patent/KR101512995B1/ko active IP Right Grant
- 2006-08-31 WO PCT/IB2006/053040 patent/WO2007031896A1/en active Application Filing
- 2006-08-31 RU RU2008114359/09A patent/RU2419249C2/ru active
- 2006-08-31 US US12/066,509 patent/US8654983B2/en active Active
- 2006-08-31 EP EP06795846.2A patent/EP1927266B1/en active Active
- 2006-08-31 JP JP2008529733A patent/JP5587551B2/ja active Active
- 2006-08-31 BR BRPI0615899-4A patent/BRPI0615899B1/pt active IP Right Grant
- 2006-08-31 CN CN200680033690.4A patent/CN101263742B/zh active Active
- 2006-09-08 TW TW095133155A patent/TWI415111B/zh active
-
2012
- 2012-06-20 JP JP2012139050A patent/JP5698189B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004028204A2 (en) | 2002-09-23 | 2004-04-01 | Koninklijke Philips Electronics N.V. | Generation of a sound signal |
| US20050180579A1 (en) | 2004-02-12 | 2005-08-18 | Frank Baumgarte | Late reverberation-based synthesis of auditory scenes |
Non-Patent Citations (1)
| Title |
|---|
| HERRE, J. et al. THE REFERENCE MODEL ARCHITECTURE FOR MPEG SPATIAL AUDIO CODING. Proceeding of Audio Engineering Society 118th Convention. 2005.05.28. (제1면 내지 제13면) |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1927266A1 (en) | 2008-06-04 |
| WO2007031896A1 (en) | 2007-03-22 |
| RU2419249C2 (ru) | 2011-05-20 |
| JP2012181556A (ja) | 2012-09-20 |
| KR20150008932A (ko) | 2015-01-23 |
| US20080205658A1 (en) | 2008-08-28 |
| KR101512995B1 (ko) | 2015-04-17 |
| EP1927266B1 (en) | 2014-05-14 |
| JP5698189B2 (ja) | 2015-04-08 |
| JP2009508157A (ja) | 2009-02-26 |
| JP5587551B2 (ja) | 2014-09-10 |
| BRPI0615899A2 (pt) | 2011-05-31 |
| US8654983B2 (en) | 2014-02-18 |
| RU2008114359A (ru) | 2009-10-20 |
| TWI415111B (zh) | 2013-11-11 |
| CN101263742A (zh) | 2008-09-10 |
| CN101263742B (zh) | 2014-12-17 |
| KR20080047446A (ko) | 2008-05-28 |
| TW200721111A (en) | 2007-06-01 |
| BRPI0615899B1 (pt) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101562379B1 (ko) | 공간 디코더 유닛 및 한 쌍의 바이노럴 출력 채널들을 생성하기 위한 방법 | |
| US20200335115A1 (en) | Audio encoding and decoding | |
| EP3048814B1 (en) | Method and device for audio signal processing | |
| JP4606507B2 (ja) | 多チャンネル信号のパラメータ表現からの空間ダウンミックスの生成 | |
| RU2656717C2 (ru) | Бинауральная аудиообработка | |
| EP3062534B1 (en) | Method for generating filter for audio signal and parameterizing device therefor | |
| JP4850948B2 (ja) | 空間効果を考慮に入れたバイノーラル合成のための方法 | |
| JP6740347B2 (ja) | パラメトリック・バイノーラル出力システムおよび方法のための頭部追跡 | |
| JP2009526260A (ja) | 符号化／復号化装置及び方法 | |
| JP2020110007A (ja) | パラメトリック・バイノーラル出力システムおよび方法のための頭部追跡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20181004 Year of fee payment: 4 |