KR101289268B1 - Ｈｅ－ａａｃ 디코더와 ｍｐｅｇ 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치 및 방법 - Google Patents
Ｈｅ－ａａｃ 디코더와 ｍｐｅｇ 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치 및 방법 Download PDFInfo
- Publication number
- KR101289268B1 KR101289268B1 KR1020120030545A KR20120030545A KR101289268B1 KR 101289268 B1 KR101289268 B1 KR 101289268B1 KR 1020120030545 A KR1020120030545 A KR 1020120030545A KR 20120030545 A KR20120030545 A KR 20120030545A KR 101289268 B1 KR101289268 B1 KR 101289268B1
- Authority
- KR
- South Korea
- Prior art keywords
- decoder
- signal
- qmf
- mpeg surround
- complex
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000003111 delayed effect Effects 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 230000001934 delay Effects 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 description 21
- 238000003786 synthesis reaction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Abstract
본 발명은 MPEG 서라운드 디코더에서 다운믹스 오디오 신호의 종류에 따라 지연(delay)을 조절하여 다운믹스 신호와 MPEG 서라운드 부가정보(side information) 신호간의 동기를 제어하는 방법에 관한 것이다. HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용하여 멀티채널 오디오 신호를 복원하데 있어서, 일반적인 HE-AAC 디코더로부터 출력된 복소수 영역의 QMF 신호를 다운믹스 신호로 이용할 때 real to complex converter 에서 발생하는 지연을 보상하는 지연수단과, HE-AAC 디코더로부터 출력된 시간 영역의 다운믹스 신호를 이용할 때 QMF 및 나이퀴스트 필터과정 중에 발생하는 지연을 보상하기 위한 공간 패리미터를 지연하는 지연수단을 포함한다. 또한 HE-AAC 디코더와 고품질 모드 MPEG 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원하데 있어서, 일반적인 HE-AAC 디코더로부터 출력된 복소수 영역의 QMF 신호를 다운믹스 신호로 이용할 때 지연단을 이용하여 real to complex converter에서 발생하는 지연을 보상한다.
Description
본 발명은 MPEG 서라운드 디코더에서 다운믹스 오디오 신호의 종류에 따라 지연(delay)을 조절하여 다운믹스 신호와 MPEG 서라운드 부가정보(side information) 신호간의 동기를 제어하는 장치 및 방법에 관한 것이다. 특히 본 발명은 MPEG 서라운드 디코더에서 HE-AAC로 부호화된 다운믹스 신호를 QMF 영역이 아닌 시간 영역의 신호를 이용할 때, real QMF 영역에 연결할 때 및 complex QMF 영역에서 연결할 때의 상이한 지연 때문에 HE-AAC 디코더와 MPEG 서라운드 디코더간의 동기가 어긋나는 현상을 지연 수단을 통해 상쇄함으로써 궁극적으로 MPEG 서라운드 디코더의 멀티채널 오디오 출력신호의 동기를 유지하는 장치 및 방법에 관한 것이다.
멀티채널 오디오 신호를 다운믹스 신호와 부가정보(side information)로 압축하는 기술인 MPEG 서라운드 기술은 인코더로부터 전달된 다운믹스 신호와 부가정보 스트림을 고품질(High Quality)과 저전력(Low Power)이라는 두가지 방법으로 디코딩을 구현할 수 있다. 고품질 MPEG 서라운드 디코더는 잔여(residual) 신호와 시간 처리(Temporal Processing: TP) 툴을 사용하여 고음질을 제공하지만 높음 복잡도를 요구하는 모드이다. 이에 비해 저전력 MPEG 서라운드 디코더는 QMF(Quadrature Mirror 필터)의 연산을 실수 연산으로 변경하는 등의 방법으로 복잡도를 감소시켜 음질은 다소 열화되지만 휴대폰과 같은 저전력 단말에 사용하기 위한 모드이다.
MPEG 서라운드 디코더는 AAC(Advanced Audio Coding) 또는 HE-AAC(High-Efficiency Advanced Audio Coding)와 같은 일반적인 모노/스테레오 오디오 부호화기로 압축된 다운믹스 신호(downmix signal)를 부가정보 스트림(Side Information Bitstream)을 이용하여 멀티채널 오디오 신호를 복원한다. 이때 사용되는 부가정보 스트림은 주파수 대역별로 제공되므로 다운믹스 신호를 QMF와 나아퀴스트 필터(Nyquist Filter)로 구성된 하이브리드 필터를 이용하여 주파수 대역으로 변환하는 동작을 수행하여야 하므로 이에 따른 지연(delay)이 존재한다. 만약 다운믹스 신호가 MPEG 서라운드와 같이 QMF로 처리된 HE-AAC일 경우에는 복호화 과정 중에 QMF 영역의 신호를 바로 추출하여 MPEG 서라운드 복호화기에 적용할 수 있으므로 필터링에 의한 지연을 방지할 수 있다.
MPEG 서라운드 고품질 디코더는 도 1에서와 같이 시간 영역의 다운믹스뿐만 아니라 HE-AAC 복호화 과정에서 얻을 수 있는 QMF 주파수 영역의 신호도 이용할 수 있다. 만약 시간 영역의 다운믹스 신호를 이용할 경우에는 QMF 해석필터(101)와 나이퀴스트 해석 필터(102)를 수행하는 과정에서 704 샘플의 지연이 발생한다. 그리고 도 2와 같은 멀티채널 오디오 신호의 합성 과정에서 나이퀴스트 합성필터(201)에서 0 샘플 지연이 발생하고, QMF 합성 필터(202)에 의해서 257 샘플 지연이 발생한다. 따라서 모두 961 샘플 지연이 발생한다. 만약 HE-AAC로 부호화된 다운믹스 신호를 이용할 때에는 MPEG 서라운드 고품질 디코더의 QMF 필터와 HE-AAC 디코더의 QMF 필터가 동일하므로 HE-AAC 복호 과정에서 얻을 수 있는 QMF 영역 신호를 직접 이용할 수 있고, 나이퀴스트 필터링에 필요한 384 샘플의 미리보기(look-ahead) 신호도 HE-AAC 디코더의 SBR(Spectral Band Replication) 툴에서 이미 사용 가능하므로 필터링 과정에서 지연이 생기지 않는다는 장점이 있다.
그러나, HE-AAC로 부호화된 다운믹스 신호를 시간 영역에서 MPEG 서라운드와 결합할 때에는 HE-AAC의 QMF 합성 과정에서 발생하는 지연(257 샘플)과 MPEG 서라운드 고품질 디코더의 QMF와 나이퀴스트 해석 필터과정에서 발생하는 지연(704 샘플) 때문에 MPEG 서라운드 부가정보 신호로부터 추출한 공간 패리미터들을 961 샘플만큼 지연시켜서 다운믹스 신호를 위한 HE-AAC 디코더와 MPEG 서라운드 고품질 디코더간의 동기를 유지하여 원하는 멀티채널을 복원한다.
참고문헌 "ISO/IEC JTC1/SC29/WG11 N8177, Study on Text of ISO/IEC FCD 23003-1, MPEG Surround", "Audio Engineering Society Convention Paper, presented at the 115th Convention, 2003 October 10-13, New York", "Audio Engineering Society Convention Paper, presented at the 119th Convention, 2005 October 7-10, New York" 등은 여기에서의 인용에 의해 본 명세서에 통합되는 것으로 한다.
본 발명은 MPEG 서라운드 디코더에서 HE-AAC로 부호화된 다운믹스 신호로서 QMF 영역이 아닌 시간 영역의 신호를 이용할 때, QMF 실수 영역에 연결할 때 및 QMF 복소수 영역에서 연결할 때의 상이한 지연 때문에 HE-AAC 디코더와 MPEG 서라운드 디코더간의 동기가 어긋나는 현상을 지연 수단을 통해 상쇄함으로써 궁극적으로 MPEG 서라운드 디코더의 멀티채널 오디오 출력신호의 동기를 유지하는 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호와 부가정보 비트스트림를 이용하여 멀티채널 오디오 신호를 생성하는 MPEG 서라운드 디코더에 있어서, 상기 MPEG 서라운드 디코더는 상기 다운믹스 신호의 종류에 따라 지연을 조절하여 상기 다운믹스 신호와 상기 부가정보 비트스트림 사이의 동기를 맞추는 것을 일 특징으로 한다.
또한 본 발명은 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호와 부가정보 비트스트림를 이용하여 멀티채널 오디오 신호를 생성하는 고품질 모드 MPEG 서라운드 디코더에 있어서, 저전력 모드 MPEG 서라운드 디코더의 실수-복소수 변환에서 도입되는 지연을 보상하기 위해 다운믹스 신호 경로에서 나이퀴스트 분석 필터 이전에 추가되는 지연단을 구비하는 것을 다른 특징으로 한다.
또한 본 발명은 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호와 부가정보 비트스트림를 이용하여 멀티채널 오디오 신호를 생성하는 MPEG 서라운드 디코딩 방법에 있어서, 상기 시간 영역의 다운믹스 신호를 QMF 분석하는 단계와, 상기 QMF 분석 단계의 출력 신호 또는 상기 복소수 QMF 영역의 다운믹스 신호에 저전력 모드의 실수-복소수 변환에서 도입되는 지연을 적용하는 단계와, 상기 지연된 신호와 QMF 잔여 입력 신호에 나이퀴스트 분석을 수행하는 단계를 구비하는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 복원하는 장치에 있어서, 다운믹스 신호 비트스트림을 디코딩하여 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호를 출력하는 HE-AAC 디코더와, 부가정보 비트스트림과 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 MPEG 서라운드 디코더를 구비하며, 상기 MPEG 서라운드 디코더는 상기 HE-AAC 디코더로부터 출력되는 다운믹스 신호의 종류에 따라 지연을 조절하여 상기 다운믹스 신호와 상기 부가정보 비트스트림 사이의 동기를 맞추는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 복원하는 장치에 있어서, 다운믹스 신호 비트스트림을 디코딩하여 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호를 출력하는 HE-AAC 디코더와, 부가정보 비트스트림과 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 고품질 모드 MPEG 서라운드 디코더를 구비하며, 상기 고품질 모드 MPEG 서라운드 디코더는 저전력 모드 MPEG 서라운드 디코더의 실수-복소수 변환에서 도입되는 지연을 보상하기 위해 다운믹스 신호 경로에서 나이퀴스트 분석 필터 이전에 추가되는 지연단을 구비하는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 복원하는 장치에 있어서, 다운믹스 신호 비트스트림을 디코딩하여 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호를 출력하는 HE-AAC 디코더와, 부가정보 비트스트림과 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 MPEG 서라운드 디코더를 구비하며, 상기 MPEG 서라운드 디코더는 상기 시간 영역의 다운믹스 신호에 대해 실수 QMF 해석을 수행하는 QMF 해석부와, 상기 실수 QMF 영역의 다운믹스 신호를 복소수 QMF 영역의 다운믹스 신호로 변환하는 실수-복소수 변환부와, 상기 실수-복소수 변환에서 도입되는 지연을 상기 HE-AAC 디코더로부터 출력되는 상기 복소수 QMF 영역의 다운믹스 신호에 대해 적용하는 지연단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호와 부가정보 비트스트림를 이용하여 멀티채널 오디오 신호를 생성하는 MPEG 서라운드 디코더에 있어서, 상기 시간 영역의 다운믹스 신호에 대해 실수 QMF 해석을 수행하는 QMF 해석부와, 상기 실수 QMF 영역의 다운믹스 신호를 복소수 QMF 영역의 다운믹스 신호로 변환하는 실수-복소수 변환부와, 상기 실수-복소수 변환에서 도입되는 지연을 상기 상기 복소수 QMF 영역의 다운믹스 신호에 대해 적용하는 지연단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 복원하는 방법에 있어서, 다운믹스 신호 비트스트림을 디코딩하여 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호를 출력하는 단계와, 부가정보 비트스트림과 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 단계를 구비하며, 상기 멀티채널 오디오 신호 생성 단계는 상기 다운믹스 신호의 종류에 따라 지연을 조절하여 상기 다운믹스 신호와 상기 부가정보 비트스트림 사이의 동기를 맞추는 것을 또 다른 특징으로 한다.
또한 본 발명은 멀티채널 오디오 신호를 복원하는 방법에 있어서, 다운믹스 신호 비트스트림을 디코딩하여 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호를 출력하는 단계와, 부가정보 비트스트림과 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 단계를 구비하며, 상기 멀티채널 오디오 신호 생성 단계는 상기 시간 영역의 다운믹스 신호에 대해 실수 QMF 해석을 수행하는 과정과, 상기 실수 QMF 영역의 다운믹스 신호를 복소수 QMF 영역의 다운믹스 신호로 변환하는 과정과, 상기 실수-복소수 변환에서 도입되는 지연을 상기 복소수 QMF 영역의 다운믹스 신호에 대해 적용하는 과정을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치에 있어서, 상기 HE-AAC 디코더로부터 출력되는 실수 영역의 QMF 신호를 복소수 영역의 QMF 신호로 변환시키는 실수-복소수 변환기(real to complex converter)와, 상기 HE-AAC 디코더로부터 출력되는 복소수 영역의 QMF 신호에 대해 상기 실수-복소수 변환기(real to complex converter)에서 발생하는 지연을 적용하는 지연수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치에 있어서, 상기 HE-AAC 디코더로부터 출력되는 시간 영역의 다운믹스 신호의 공간 패리미터(spatial parameters)에 대해 QMF 및 나이퀴스트 필터에서 발생하는 지연을 적용하는 지연수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치에 있어서, 상기 HE-AAC 디코더로부터 출력되는 실수 영역의 QMF 신호를 복소수 영역의 QMF 신호로 변환시키는 실수-복소수 변환기(real to complex converter)와, 상기 HE-AAC 디코더로부터 출력되는 복소수 영역의 QMF 신호에 대해 상기 실수-복소수 변환기(real to complex converter)에서 발생하는 지연을 적용하는 제1 지연수단과, 상기 HE-AAC 디코더로부터 출력되는 시간 영역의 다운믹스 신호의 공간 패리미터(spatial parameters)에 대해 QMF 및 나이퀴스트 필터에서 발생하는 지연을 적용하는 제2 지연수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 HE-AAC 디코더와 고품질 모드 MPEG 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치에 있어서, 상기 HE-AAC 디코더로부터 출력되는 복소수 영역의 QMF 신호에 대해, 저전력 MPEG 서라운드 디코더에서 이용되는 실수-복소수 변환(real-to-complex transform) 과정에서 발생하는 지연을 적용하는 지연단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 HE-AAC 디코더로부터 출력되는 다운믹스 신호와 부가정보 스트림을 입력으로 하여 멀티채널 오디오 신호를 복원하는 MPEG 서라운드 디코더에 있어서, 상기 HE-AAC 디코더로부터 출력되는 실수 영역의 QMF 신호를 복소수 영역의 QMF 신호로 변환시키는 실수-복소수 변환기(real to complex converter)와, 상기 HE-AAC 디코더로부터 출력되는 복소수 영역의 QMF 신호에 대해, 상기 실수-복소수 변환기(real to complex converter)에서 발생하는 지연을 적용하는 제1 지연수단을 포함하는 것을 또 다른 특징으로 한다.
또한 본 발명은 HE-AAC 디코더로부터 출력되는 다운믹스 신호와 부가정보 스트림을 입력으로 하여 멀티채널 오디오 신호를 복원하는 방법에 있어서, 상기 HE-AAC 디코더로부터 출력되는 실수 영역의 QMF 신호를 복소수 영역의 QMF 신호로 변환시키는 단계와, 상기 HE-AAC 디코더로부터 출력되는 복소수 영역의 QMF 신호에 대해, 상기 실수-복소수 변환 단계에서 발생하는 지연을 적용하는 단계를 포함하는 것을 또 다른 특징으로 한다.
이상에서 설명한 본 발명에 의하면, HE-AAC 디코더와 MPEG 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원할 때 HE-AAC 디코더에서 출력되는 다운믹스 신호를 실수영역의 QMF 신호와 복소수영역의 QMF 신호와 시간 영역 신호로 연결할 때 지연단을 추가함으로써 다운믹스 신호와 MPEG 서라운드 디코더간의 동기를 유지하여 원하는 멀티채널 오디오 신호를 복원할 수 있다.
도 1은 MPEG 서라운드 고품질 디코더의 하이브리드 해석 필터의 구조도.
도 2는 MPEG 서라운드 고품질 디코더의 하이브리드 합성 필터의 구조도.
도 3은 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용한 멀티채널 오디오 신호의 합성 과정을 설명하는 도면.
도 4는 MPEG 서라운드 저전력 디코더의 하이브리드 해석 및 합성 필터의 구조도.
도 5는 본 발명에서 제안된 지연단을 포함하는 MPEG 서라운드 저전력 디코더의 하이브리드 해석 및 합성 필터의 구조도.
도 6은 본 발명에서 제안된 지연단을 포함하는 고품질 모드 MPEG 서라운드 디코더의 하이브리드 해석 및 합성 필터의 구조도.
도 2는 MPEG 서라운드 고품질 디코더의 하이브리드 합성 필터의 구조도.
도 3은 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용한 멀티채널 오디오 신호의 합성 과정을 설명하는 도면.
도 4는 MPEG 서라운드 저전력 디코더의 하이브리드 해석 및 합성 필터의 구조도.
도 5는 본 발명에서 제안된 지연단을 포함하는 MPEG 서라운드 저전력 디코더의 하이브리드 해석 및 합성 필터의 구조도.
도 6은 본 발명에서 제안된 지연단을 포함하는 고품질 모드 MPEG 서라운드 디코더의 하이브리드 해석 및 합성 필터의 구조도.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
먼저, 도 3은 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더를 이용한 멀티채널 오디오 신호의 합성 과정을 설명하는 도면이다.
HE-AAC 디코더(301)는 다운믹스 신호 비트스트림을 입력받고, Mono/Stereo 신호와 다운믹스 신호를 출력한다. HE-AAC 디코더(301)로부터 출력된 다운믹스 신호는 부가정보 비트스트림과 MPEG 서라운드 저전력 디코더(302)로 입력되고, MPEG 서라운드 저전력 디코더(302)는 멀티채널 오디오 신호를 복원하여 출력한다.
다운믹스 신호가 HE-AAC 인코더를 통해 부호화되고, MPEG 서라운드 인코더를 이용하여 멀티채널 오디오 신호로부터 부가신호가 추출되었을 때, 다운믹스 신호는 HE-AAC 디코더(301)를 통해 추출되고, 멀티채널 오디오 신호는 MPEG 서라운드 저전력 디코더(302)를 통해 복원된다. 이때 HE-AAC 디코더(301)로부터 추출되는 다운믹스 신호는 Low Complexity HE-AAC 디코더일 경우에는 실수의 QMF 계수이며, 일반적인 HE-AAC 디코더일 경우에는 복소수의 QMF 계수이다. 또한, HE-AAC 디코더(301)로부터 시간 영역의 다운믹스 신호를 추출하여 이용할 수도 있다.
도 4는 MPEG 서라운드 저전력 디코더의 하이브리드 해석 및 합성 필터의 구조도이다.
도시된 바와 같은 MPEG 서라운드 저전력 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 단말에서, 시간 영역의 다운믹스 신호를 MPEG 서라운드 저전력 디코더와 연결할 때는 Real QMF 해석 필터(401) 및 합성 필터(407), 나이퀴스트 해석 필터(403) 및 합성 필터(405), 실수-복소수(real to complex) 변환(402) 및 복소수(complex to real) 변환(406)에 의한 시간 지연이 발생한다. 그러나, Low Complexity HE-AAC 디코더로부터 실수 QMF 영역의 다운믹스 신호를 이용할 때는 실수-복소수 변환기(real to complex converter)(402)와 복소수-실수 변환기(complexity to real converter)(406)에 의한 지연만 고려하면 된다. 이는 QMF 해석(401) 및 합성(405)에 의한 지연은 HE-AAC 디코더의 SBR 툴에서도 같은 QMF 필터를 사용하므로 이미 고려가 되어 있으며, 나이퀴스트 해석(403) 및 합성(405) 필터에 필요한 미리보기(look ahead) 정보도 SBR 툴에서 이용할 수 있으므로 추가적인 지연이 필요하지 않기 때문이다. 그리고, QMF 잔여 신호를 위한 지연단(404)은 다운믹스 신호가 real to complex converter (402)를 통과하는 동안 발생하는 지연을 맞추어줌으로써 나이퀴스트 해석 필터(403)로 입력되는 신호들의 동기를 맞추기 위해 필요하다.
본 발명은 실수 QMF 계수로 전달되는 다운믹스 신호뿐만 아니라 복소수 QMF 계수와 시간 영역 신호로 전달되는 다운믹스 신호와 MPEG 서라운드 저전력 디코더(공간 패리미터)와의 동기를 맞추는 방법을 제공한다. 그 과정이 도 5을 이용하여 설명된다.
도 5는 본 발명에서 제안된 지연단을 포함하는 MPEG 서라운드 저전력 디코더의 하이브리드 해석 및 합성 필터의 구조도이다.
일반적인 HE-AAC 디코더의 QMF 합성 필터 직전에서 추출한 복소수 영역의 QMF 신호를 MPEG 서라운드의 하이브리드 필터 구조에 연결할 때는 이미 복소수 QMF 영역에 다운믹스 신호가 존재하므로 real to complex converter(503)를 거칠 필요가 없다. 따라서 복소수 QMF 영역의 다운믹스 신호를 나이퀴스트 해석 필터(504)에 직접 연결하면 된다. 단, 시간 영역이나 실수 QMF 영역의 다운믹스 신호가 real to complex coverter(503)를 통과하는 과정에서 발생하는 지연을 보상하기 위해 추가적인 지연단(505)이 필요하다. 물론 실수 QMF 영역의 다운믹스 신호를 이용하는 것과 같이 QMF 해석(502) 및 합성(509) 필터와 나이퀴스트 해석(504) 및 합성(507) 필터에 의한 지연은 HE-AAC 디코더에서 고려되고 있으므로 이들에 의한 추가적인 지연은 발생하지 않는다.
그리고, HE-AAC로 부호화된 시간 영역의 다운믹스 신호를 MPEG 서라운드 저전력 디코더와 결합할 때에는 HE-AAC QMF 합성필터 과정에서 발생하는 지연과 MPEG 서라운드 저전력 디코더의 real QMF(502) 와 나이퀴스트 해석 필터(504)과정에서 발생하는 지연 및 real to complex converter(503)에 의해 발생하는 지연이 합쳐진 것과 동일한 샘플만큼의 지연을 MPEG 서라운드 부가정보 신호로부터 추출한 공간 패리미터들에 적용하는 지연단(501)을 추가하여 다운믹스 신호를 위한 HE-AAC 디코더와 MPEG 서라운드 저전력 디코더 간의 동기를 유지시킨다.
도 6은 본 발명에서 제안된 지연단을 포함하는 고품질 모드 MPEG 서라운드 디코더의 하이브리드 해석 및 합성 필터의 구조도이다. 도시된 바와 같이, 실수 영역의 다운믹스 신호가 QMF 분석 뱅크(601)를 경유하여 지연단(602)로 입력되고, 복소수 영역의 다운믹스 신호는 바로 지연단(602)로 입력된다. 지연단(602)의 출력은 QMF 잔여 입력 신호와 함께 나이퀴스트 분석 뱅크(603)로 입력되고, 나이퀴스트 분석 뱅크(603)는 하이브리드 서브밴드 영역 신호들을 출력한다.
전술한 바와 같이 HE-AAC 디코더와 LOW Power 모드 MPEG 서라운드 디코더가 연결되었을 때 복소수 영역의 QMF 신호에 대해 지연단(505)을 추가하는 과정을 고품질 모드에서도 추가하는 것이다. 이는 저전력 모드 MPEG 서라운드 디코더의 실수-복소수 변환기(real to complex converter)에 의한 지연을 고품질 모드 MPEG 서라운드 디코더의 동기를 맞추기 위해서 도 6과 같이, 복소수 영역의 QMF 신호에 대한 지연단(602)을 추가하는 것이다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 기존의 모노, 스테레오 오디오 수신기와 호환성을 유지하면서 고품질의 멀티채널 오디오 신호를 복원할 때 다운믹스 신호와 복원되는 멀티채널 신호간의 동기를 유지하는데 활용될 수 있다.
Claims (1)
- 멀티채널 오디오 신호를 복원하는 방법에 있어서,
다운믹스 신호 비트스트림을 디코딩하여 실수 QMF 영역, 복소수 QMF 영역, 시간 영역 중 적어도 하나의 다운믹스 신호를 출력하는 단계와,
부가정보 비트스트림과 상기 다운믹스 신호를 이용하여 멀티채널 오디오 신호를 생성하는 고품질 모드 MPEG 서라운드 디코딩 단계를 구비하며,
상기 고품질 모드 MPEG 서라운드 디코딩 단계는
상기 시간 영역의 다운믹스 신호를 QMF 분석하는 단계와,
상기 QMF 분석 단계의 출력 신호 또는 상기 복소수 QMF 영역의 다운믹스 신호에 저전력 모드의 실수-복소수 변환에서 도입되는 지연을 적용하는 단계와,
상기 지연된 신호와 QMF 잔여 입력 신호에 나이퀴스트 분석을 수행하는 단계를
구비하는 것을 특징으로 하는 멀티 채널 오디오 신호 복원 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060062609 | 2006-07-04 | ||
| KR20060062609 | 2006-07-04 | ||
| KR20060065948 | 2006-07-13 | ||
| KR1020060065948 | 2006-07-13 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090101437A Division KR101231063B1 (ko) | 2006-07-04 | 2009-10-23 | 고품질 모드 mpeg 서라운드 디코더 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120031998A KR20120031998A (ko) | 2012-04-04 |
| KR101289268B1 true KR101289268B1 (ko) | 2013-07-24 |
Family
ID=38894740
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20070067101A KR100931309B1 (ko) | 2006-07-04 | 2007-07-04 | Ｈｅ－ａａｃ 디코더와 ｍｐｅｇ 서라운드 디코더를이용하여 멀티채널 오디오 신호를 복원하는 장치 및 방법 |
| KR1020090101437A KR101231063B1 (ko) | 2006-07-04 | 2009-10-23 | 고품질 모드 mpeg 서라운드 디코더 |
| KR1020120030545A KR101289268B1 (ko) | 2006-07-04 | 2012-03-26 | Ｈｅ－ａａｃ 디코더와 ｍｐｅｇ 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치 및 방법 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20070067101A KR100931309B1 (ko) | 2006-07-04 | 2007-07-04 | Ｈｅ－ａａｃ 디코더와 ｍｐｅｇ 서라운드 디코더를이용하여 멀티채널 오디오 신호를 복원하는 장치 및 방법 |
| KR1020090101437A KR101231063B1 (ko) | 2006-07-04 | 2009-10-23 | 고품질 모드 mpeg 서라운드 디코더 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US8611547B2 (ko) |
| EP (4) | EP2410523B1 (ko) |
| JP (3) | JP5256196B2 (ko) |
| KR (3) | KR100931309B1 (ko) |
| CN (3) | CN101578654B (ko) |
| ES (2) | ES2405311T3 (ko) |
| WO (1) | WO2008004812A1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2410523B1 (en) * | 2006-07-04 | 2013-01-30 | Electronics and Telecommunications Research Institute | Apparatus for restoring multi-channel audio signal using an MPEG surround decoder |
| EP2717261A1 (en) * | 2012-10-05 | 2014-04-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding |
| US9514761B2 (en) | 2013-04-05 | 2016-12-06 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
| WO2014171791A1 (ko) | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
| US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| JP6299202B2 (ja) * | 2013-12-16 | 2018-03-28 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置 |
| US10225675B2 (en) | 2015-02-17 | 2019-03-05 | Electronics And Telecommunications Research Institute | Multichannel signal processing method, and multichannel signal processing apparatus for performing the method |
| US10008214B2 (en) | 2015-09-11 | 2018-06-26 | Electronics And Telecommunications Research Institute | USAC audio signal encoding/decoding apparatus and method for digital radio services |
| US10217467B2 (en) * | 2016-06-20 | 2019-02-26 | Qualcomm Incorporated | Encoding and decoding of interchannel phase differences between audio signals |
| WO2018213611A1 (en) | 2017-05-19 | 2018-11-22 | Merit Medical Systems, Inc. | Biopsy needle devices and methods of use |
| WO2018213580A1 (en) | 2017-05-19 | 2018-11-22 | Merit Medical Systems, Inc. | Rotating biopsy needle |
| CN109360574B (zh) * | 2018-10-18 | 2022-06-21 | 恒玄科技(上海)股份有限公司 | 一种无线蓝牙系统改进的高级音频编码/解码方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060122693A (ko) * | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법 |
| KR20070037984A (ko) * | 2005-10-04 | 2007-04-09 | 엘지전자 주식회사 | 다채널 오디오 신호의 디코딩 방법 및 그 장치 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0287741B1 (en) | 1987-04-22 | 1993-03-31 | International Business Machines Corporation | Process for varying speech speed and device for implementing said process |
| US5568142A (en) | 1994-10-20 | 1996-10-22 | Massachusetts Institute Of Technology | Hybrid filter bank analog/digital converter |
| KR19980073528A (ko) * | 1997-03-15 | 1998-11-05 | 구자홍 | 엠펙시스템 복호기장치 |
| JP3982354B2 (ja) * | 2002-07-15 | 2007-09-26 | ソニー株式会社 | 画像データ再生装置及び方法 |
| US7647221B2 (en) * | 2003-04-30 | 2010-01-12 | The Directv Group, Inc. | Audio level control for compressed audio |
| JP2005101370A (ja) | 2003-09-25 | 2005-04-14 | Kyocera Corp | 高周波用配線基板 |
| KR100547890B1 (ko) | 2004-01-12 | 2006-01-31 | 삼성전자주식회사 | 가입자 분배망을 하나의 보드로 구현하기 위한방송통신융합시스템 |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| US7917561B2 (en) * | 2005-09-16 | 2011-03-29 | Coding Technologies Ab | Partially complex modulated filter bank |
| US7653533B2 (en) * | 2005-10-24 | 2010-01-26 | Lg Electronics Inc. | Removing time delays in signal paths |
| EP2410523B1 (en) * | 2006-07-04 | 2013-01-30 | Electronics and Telecommunications Research Institute | Apparatus for restoring multi-channel audio signal using an MPEG surround decoder |
| CN101568958B (zh) * | 2006-12-07 | 2012-07-18 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
-
2007
- 2007-07-04 EP EP20110184461 patent/EP2410523B1/en active Active
- 2007-07-04 EP EP20070768595 patent/EP2041742B1/en not_active Not-in-force
- 2007-07-04 WO PCT/KR2007/003247 patent/WO2008004812A1/en active Application Filing
- 2007-07-04 KR KR20070067101A patent/KR100931309B1/ko active IP Right Grant
- 2007-07-04 CN CN2007800327793A patent/CN101578654B/zh not_active Expired - Fee Related
- 2007-07-04 EP EP20120158539 patent/EP2469511B1/en not_active Not-in-force
- 2007-07-04 CN CN201110378155.5A patent/CN102592598B/zh not_active Expired - Fee Related
- 2007-07-04 JP JP2009517995A patent/JP5256196B2/ja not_active Expired - Fee Related
- 2007-07-04 ES ES11184461T patent/ES2405311T3/es active Active
- 2007-07-04 CN CN2011103779396A patent/CN102394063B/zh active Active
- 2007-07-04 US US12/307,289 patent/US8611547B2/en active Active
- 2007-07-04 EP EP20120158538 patent/EP2469510B1/en not_active Not-in-force
- 2007-07-04 ES ES12158538T patent/ES2438176T3/es active Active
-
2009
- 2009-10-23 KR KR1020090101437A patent/KR101231063B1/ko active IP Right Grant
-
2012
- 2012-03-26 KR KR1020120030545A patent/KR101289268B1/ko active IP Right Grant
- 2012-04-06 JP JP2012087303A patent/JP5351302B2/ja not_active Expired - Fee Related
- 2012-04-06 JP JP2012087315A patent/JP5508464B2/ja active Active
- 2012-04-18 US US13/449,883 patent/US8848926B2/en active Active
-
2013
- 2013-11-15 US US14/081,471 patent/US20140074487A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060122693A (ko) * | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 다운믹스된 오디오 신호에 공간 정보 비트스트림을삽입하는 프레임 크기 조절방법 |
| KR20070037984A (ko) * | 2005-10-04 | 2007-04-09 | 엘지전자 주식회사 | 다채널 오디오 신호의 디코딩 방법 및 그 장치 |
| KR20070037983A (ko) * | 2005-10-04 | 2007-04-09 | 엘지전자 주식회사 | 다채널 오디오 신호의 디코딩 방법 및 부호화된 오디오신호 생성방법 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101289268B1 (ko) | Ｈｅ－ａａｃ 디코더와 ｍｐｅｇ 서라운드 디코더를 이용하여 멀티채널 오디오 신호를 복원하는 장치 및 방법 | |
| CA2645915C (en) | Methods and apparatuses for encoding and decoding object-based audio signals | |
| EP3279893B1 (en) | Temporal envelope shaping for spatial audio coding using frequency domain wiener filtering | |
| RU2406166C2 (ru) | Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов | |
| EP2306452B1 (en) | Sound coding / decoding apparatus, method and program | |
| KR101837083B1 (ko) | 디코딩 방법 및 그에 따른 디코딩 장치 | |
| JPWO2006003891A1 (ja) | 音声信号復号化装置及び音声信号符号化装置 | |
| KR20230020553A (ko) | 스테레오 오디오 인코더 및 디코더 | |
| US9118805B2 (en) | Multi-point connection device, signal analysis and device, method, and program | |
| US20110002225A1 (en) | Signal analysis/control system and method, signal control apparatus and method, and program | |
| KR20070011100A (ko) | 다채널 오디오 코딩에서 오디오 신호의 에너지 보정방법 및그 보정을 위한 부호화된 오디오 신호 생성방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170102 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170627 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180627 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190625 Year of fee payment: 7 |