KR20150045879A - 공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법 - Google Patents

공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR20150045879A
KR20150045879A KR20140061757A KR20140061757A KR20150045879A KR 20150045879 A KR20150045879 A KR 20150045879A KR 20140061757 A KR20140061757 A KR 20140061757A KR 20140061757 A KR20140061757 A KR 20140061757A KR 20150045879 A KR20150045879 A KR 20150045879A
Authority
KR
South Korea
Prior art keywords
signal
channel
spatial
upmixing
downmix
Prior art date
Application number
KR20140061757A
Other languages
English (en)
Inventor
백승권
서정일
이용주
성종모
이태진
강경옥
김진웅
장대영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20150045879A publication Critical patent/KR20150045879A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering

Abstract

공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법이 개시된다.
다채널 오디오 복호화 장치는 복호화할 채널 신호들을 예측하고, 복호화할 채널 신호들에 따라 다채널 부호화 장치로부터 수신한 공간 큐를 변환하는 파라미터 변환부; 변환된 공간 큐를 기초로 업믹싱 정보를 생성하는 업믹싱 정보 생성부; 및 다채널 부호화 장치로부터 수신한 부호화 신호와 상기 부호화 신호를 이용하여 생성된 비 상관성 신호 및 업믹싱 정보를 이용하여 상기 부호화 신호에서 채널 신호들을 복호화하는 복호화부를 포함하고, 상기 공간 큐는 채널 간 에너지 차(CLD: Channel Level Differences), 및 채널 간 상관도(ICC: InterChannel Correlations)에 채널 간 위상 차(IPD: Interchannel Phase Difference)를 더 포함할 수 있다.

Description

공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING/DECODING OF AUDIO USING SPATIAL FILTER}
본 발명은 공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 공간 필터의 공간 필터 파라미터와 결합하여 다채널 오디오 복호화에 이용하는 공간 큐에 채널 간 위상 차(IPD: Interchannel Phase Difference)를 더 포함하여 복호화하는 신호의 품질을 향상 시키는 장치 및 방법에 관한 것이다.
MPS(MPEG Surround)는 5.1, 7.1과 같은 다채널 오디오 신호를 모노 신호, 또는 스테레오 신호로 부호화하여 전송함으로써, 고 압축 전송이 가능한 부호화/복호화 기술이다.
이때, MPS를 이용한 부호화 장치는 다채널 오디오 신호에서 업믹싱을 위한 부가 정보를 추출할 수 있다. 그리고, MPS를 이용한 부호화 장치는 부가 정보를 부호화한 모노 신호, 또는 스테레오 신호와 함께 전송할 수 있다. 또한, MPS를 이용한 복호화 장치는 부가 정보를 이용하여 모노 신호, 또는 스테레오 신호에서 다채널 오디오 신호를 복호화할 수 있다. 이때, MPS 복호화 기능이 없는 복호화 장치는 수신한 모노 신호, 또는 스테레오 신호를 이용하여 오디오 신호를 재생할 수 있다.
즉, MPS는 다채널 복호화가 가능한 복호화 장치는 다채널 오디오 신호를 복호화하고, 다채널 복호화가 불가능한 복호화 장치는 모노, 또는 스테레오 신호를 복호화할 수 있으므로, 일단 오디오 복호화 장치로도 다채널 오디오 신호를 재생할 수 있다.
종래의 MPS에서 사용하는 부가 정보에는 채널 간 에너지 차(CLD: Channel Level Differences), 및 채널 간 상관도(ICC: InterChannel Correlations)만 정의되어 있었다. 그러므로, 복호화 장치가 복호화한 다채널 오디오 신호의 채널 간 위상 차의 정밀도가 낮을 수 있었다.
따라서, 복호화 장치가 복호화한 다채널 오디오 신호의 품질을 높일 수 있는 방법이 요청되고 있다.
본 발명은 CLD와 ICC와 함께 IPD를 이용하여 부호화 신호를 복호화 함으로써, 복호화한 채널 신호의 품질을 높이는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 장치는 복호화할 채널 신호들을 예측하고, 복호화할 채널 신호들에 따라 다채널 부호화 장치로부터 수신한 공간 큐를 변환하는 파라미터 변환부; 변환된 공간 큐를 기초로 업믹싱 정보를 생성하는 업믹싱 정보 생성부; 및 다채널 부호화 장치로부터 수신한 다운믹스 신호와 상기 다운믹스 신호를 이용하여 생성된 비 상관성 신호 및 업믹싱 정보를 이용하여 상기 다운믹스 신호에서 채널 신호들을 복호화하는 복호화부를 포함하고, 상기 공간 큐는 채널 간 에너지 차(CLD: Channel Level Differences), 및 채널 간 상관도(ICC: InterChannel Correlations)에 채널 간 위상 차(IPD: Interchannel Phase Difference)를 더 포함할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 장치의 파라미터 변환부는 다채널 부호화 장치에 입력되는 입력 신호의 가상 스피커의 위치 정보, CLD에 따른 입력 신호의 파워 이득 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들의 파워를 예측하고, 복호화할 채널 신호들의 파워를 기초로 CLD를 변환할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 장치의 파라미터 변환부는 다채널 부호화 장치에 입력되는 입력 신호의 가상 스피커의 위치 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들 중 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보를 예측하고, 상기 관계 정보를 기초로 IPD를 변환할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 장치의 파라미터 변환부는 다채널 부호화 장치에 입력되는 입력 신호의 가상 스피커의 위치 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들 중 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보 및 복호화할 채널 신호들의 크기를 예측하고, 상기 관계 정보 및 복호화할 채널 신호들의 크기를 기초로 ICC를 변환할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 장치는 다채널 부호화 장치로부터 수신한 복수의 공간 큐 세트를 공간 필터 파라미터와 결합하여 하나의 공간 큐로 변환하는 파라미터 변환부; 변환된 공간 큐를 기초로 업믹싱 정보를 생성하는 업믹싱 정보 생성부; 및 다채널 부호화 장치로부터 수신한 스테레오 신호와 스테레오 신호를 이용하여 생성된 비 상관성 신호 및 업믹싱 정보를 이용하여 스테레오 신호에서 채널 신호들을 복호화하는 복호화부를 포함하고, 상기 공간 큐는 CLD, 및 ICC에 IPD를 더 포함할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 부호화 장치는 복수의 채널 신호들을 다운믹스하여 다운믹스 신호를 생성하며, 복수의 채널 신호의 주파수 영역에서 CLD, 및 ICC에 IPD를 더 추출하는 다운믹스부; 및 다운믹스 신호를 부호화하여 다채널 오디오 복호화 장치로 전송하는 부호화부를 포함할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 방법은 복호화할 채널 신호들을 예측하고, 복호화할 채널 신호들에 따라 다채널 부호화 장치로부터 수신한 공간 큐를 변환하는 단계; 변환된 공간 큐를 기초로 업믹싱 정보를 생성하는 단계;
다채널 부호화 장치로부터 수신한 다운믹스 신호를 이용하여 비 상관성 신호를 생성하는 단계; 및 다운믹스 신호와 비 상관성 신호 및 업믹싱 정보를 이용하여 다운믹스 신호에서 채널 신호들을 복호화하는 단계를 포함하고, 상기 공간 큐는 CLD, 및 ICC에 IPD를 더 포함할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 복호화 방법은 다채널 부호화 장치로부터 수신한 복수의 공간 큐 세트를 공간 필터 파라미터와 결합하여 하나의 공간 큐로 변환하는 단계; 변환된 공간 큐를 기초로 업믹싱 정보를 생성하는 단계
다채널 부호화 장치로부터 수신한 다운믹스 신호를 이용하여 비 상관성 신호를 생성하는 단계; 및 다운믹스 신호와 비 상관성 신호 및 업믹싱 정보를 이용하여 다운믹스 신호에서 채널 신호들을 복호화하는 단계를 포함하고, 상기 공간 큐는 CLD, 및 ICC에 IPD를 더 포함할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 부호화 방법은 복수의 채널 신호의 주파수 영역에서 CLD, 및 ICC에 IPD를 더 추출하는 단계; CLD, 및 ICC에 IPD를 추출한 복수의 채널 신호들을 다운믹스여 다운믹스 신호를 생성하는 단계; 및 다운믹스 신호를 부호화하여 다채널 오디오 복호화 장치로 전송하는 단계를 포함하고, 상기 다채널 오디오 복호화 장치는 CLD, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들에 따라 변환된 CLD, ICC, IPD를 생성하고, 변환된 CLD, ICC, IPD를 기초로 다운믹스 신호에서 복수의 채널 신호들을 복호화할 수 있다.
본 발명의 일실시예에 의하면, 다채널 오디오 부호화 장치가 CLD와 ICC와 함께 IPD를 더 추출하여 전송하고, 다채널 오디오 복호화 장치가 CLD와 ICC와 함께 IPD를 이용하여 다운믹스 신호를 복호화 함으로써, 복호화한 채널 신호의 품질을 높일 수 있다.
또한, 본 발명의 일실시예에 의하면, OTT 블록을 이용하여 공간 필터를 이용한 필터링을 수행함으로써, 복호화된 채널 신호를 공간 필터링하는 것보다 복호화 장치의 복잡도를 개선할 수 있다.
도 1은 본 발명의 일실시예에 따른 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치를 나타내는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치의 일례이다.
도 3은 본 발명의 제1 실시예에 따른 다채널 오디오 복호화 장치의 동작 일례이다.
도 4는 본 발명의 제2 실시예에 따른 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치의 일례이다.
도 5는 본 발명의 제2 실시예에 따른 다채널 오디오 복호화 장치의 동작 일례이다.
도 6은 본 발명의 일실시예에 따른 다채널 오디오 부호화 방법을 도시한 플로우차트이다.
도 7은 본 발명의 일실시예에 따른 다채널 오디오 부호화 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 다채널 오디오 부호화/복호화 방법은 다채널 오디오 부호화/복호화 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 다채널 오디오 부호화 장치(110)는 다운믹스부(111)와 부호화부(112)를 포함할 수 있다.
다운믹스부(111)는 입력 신호를 다운믹스하여 다운믹스 신호를 생성할 수 있다. 이때, 입력 신호는 복수의 채널 신호들을 포함할 수 있다. 또한, 다운믹스부(111)는 입력 신호에 포함된 복수의 채널 신호들의 주파수 영역에서 공간 큐를 추출할 수 있다. 그리고 다운믹스부(111)는 추출한 공간 큐를 비트스트림으로 변환하여 다채널 오디오 복호화 장치(120)의 파라미터 변환부(121)로 전송할 수 있다. 이때, 다운믹스부(111)가 추출하는 공간 큐는 채널 간 에너지 차(CLD: Channel Level Differences), 및 채널 간 상관도(ICC: InterChannel Correlations)에 채널 간 위상 차(IPD: Interchannel Phase Difference)를 더 포함할 수 있다. 예를 들어, 다운믹스부(111)는 적어도 하나의 TTO (Two-To-One)를 포함할 수 있다.
부호화부(112)는 다운믹스부(111)가 생성한 다운믹스 신호를 부호화하여 출력할 수 있다. 예를 들어, 부호화부(112)는 모노 인코더, 또는 스테레오 인코더일 수 있다.
또한, 도 1을 참고하면, 본 발명의 일실시예에 따른 다채널 오디오 복호화 장치(120)는 파라미터 변환부(121)와 업믹싱 정보 생성부(122), 비 상관성 신호 생성부(123) 및 복호화부(124)를 포함할 수 있다. 예를 들어, 업믹싱 정보 생성부(122), 비 상관성 신호 생성부(123) 및 복호화부(124)는 OTT (One-To-Two)에 포함될 수 있다.
파라미터 변환부(121)는 다채널 오디오 부호화 장치(110)의 다운믹스부(111)로부터 공간 큐를 수신할 수 있다. 이때, 파라미터 변환부(121)는 공간 큐와 공간 필터 파라미터를 기초로 다채널 오디오 복호화 장치(120)가 복호화할 채널 신호들을 예측할 수 있다. 그리고, 파라미터 변환부(121)는 예측한 채널 신호들에 따라 공간 큐를 변환할 수 있다. 이때, 공간 필터 파라미터는 공간 필터로부터 추출된 파라미터일 수 있다.
이때, 파라미터 변환부(121)는 입력 신호의 가상 스피커의 위치 정보, CLD에 따른 입력 신호의 파워 이득 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들의 파워를 예측할 수 있다. 그리고, 파라미터 변환부(121)는 복호화할 채널 신호들의 파워를 기초로 CLD를 변환할 수 있다.
또한, 파라미터 변환부(121)는 입력 신호의 가상 스피커의 위치 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들 중 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보를 예측할 수 있다. 이때, 파라미터 변환부(121)는 예측한 관계 정보를 기초로 IPD를 변환할 수 있다.
그리고, 파라미터 변환부(121)는 입력 신호의 가상 스피커의 위치 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들 중 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보 및 복호화할 채널 신호들의 크기를 예측할 수 있다. 이때, 파라미터 변환부(121)는 예측한 관계 정보 및 복호화할 채널 신호들의 크기를 기초로 ICC를 변환할 수 있다. 이때, 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보는 복소 영역에서 오른쪽 채널 신호와 왼쪽 채널 신호에 대한 내적일 수 있다.
또한, 공간 필터는 HRTF(Head Related Transfer Function) 또는 BRIR(Binaural Room Impulse Response)일 수 있다. 그리고, 공간 필터 파라미터는 다음과 같이 정의할 수 있다.
Figure pat00001
은 θ위치에서 왼쪽 채널 신호를 주파수 영역에서 표기한 공간 필터의 전달 함수일 수 있다. 또한,
Figure pat00002
은 θ위치에서 오른쪽 채널 신호를 주파수 영역에서 표기한 공간 필터의 전달 함수일 수 있다. 이때, 각각의 전달 함수들은 주파수 영역에서 서브밴드 파라미터로 표현될 수 있다. 그리고, 각 서브밴드에서 공간 필터 전달 함수의 크기 성분인 Pl(θ)와 Pr(θ)는 수학식 1과 같이 정의될 수 있다.
Figure pat00003
또한, 공간 필터 전달 함수의 서브밴드에서 위상각 파라미터인 φ(θ)는 수학식 2와 같이 정의될 수 있다.
Figure pat00004
그리고, 공간필터 전달함수의 서브밴드에서 일관성(coherence) 파라미터는 수학식 3과 같이 정의될 수 있다.
Figure pat00005
수학식 1 내지 수학식 3에서 k는 주파수 빈(bin)이며, bk는 서브밴드의 경계 정보일 수 있다.
업믹싱 정보 생성부(122)는 파라미터 변환부(121)에서 변환된 공간 큐를 기초로 업믹싱 정보를 생성할 수 있다. 예를 들어, 업믹싱 정보는 업믹싱 행렬 중 하나일 수 있다. 또한, 다채널 오디오 복호화 장치(120)가 MPS(MPEG Surround) 표준에 따라 제작된 경우, 업믹싱 정보 생성부(122)는 변환된 공간 큐 중 변환된 CLD와 변환된 ICC로 업믹싱 행렬의 구성 요소들을 생성할 수 있다. 그리고, 다채널 오디오 복호화 장치(120)가 USAC (Unified Speech and Audio Coding) 표준에 따라 제작된 경우, 업믹싱 정보 생성부(122)는 변환된 공간 큐에 포함된 변환된 CLD와 변환된 ICC 및 변환된 IPD를 이용하여 업믹싱 행렬의 구성 요소들을 생성할 수 있다.
비 상관성 신호 생성부(123)는 다채널 오디오 부호화 장치(110)의 부호화부(112)로부터 수신한 다운믹스 신호를 이용하여 다운믹스 신호에 대한 비 상관성 신호를 생성할 수 있다. 예를 들어, 비 상관성 신호 생성부(123)는 디코릴레이터(decorrelator)에 다운믹스 신호를 입력하여 다운믹스 신호에 대한 비 상관성 신호를 생성할 수 있다. 이때, 다운믹스 신호는 모노 인코더에서 부호화된 모노 신호일 수도 있고, 스테레오 인코더에서 부호화된 스테레오 신호일 수도 있다.
복호화부(124)는 다채널 오디오 부호화 장치(110)의 부호화부(112)로부터 수신한 다운믹스 신호와 비 상관성 신호 생성부(123)가 생성한 비 상관성 신호 및 업믹싱 정보 생성부(122)가 생성한 업믹싱 정보를 이용하여 다운믹스 신호에서 채널 신호들을 복호화할 수 있다.
본 발명의 일실시예에 따른 다채널 오디오 부호화 장치(110)는 CLD와 ICC와 함께 IPD를 더 추출하여 전송할 수 있다. 그리고, 다채널 오디오 복호화 장치(120)는 CLD와 ICC와 함께 IPD를 이용하여 다운믹스 신호를 복호화 함으로써, 복호화한 채널 신호의 품질을 높일 수 있다. 또한, 다채널 오디오 복호화 장치(120)는 OTT 블록을 이용하여 공간 필터를 이용한 필터링을 수행함으로써, 복호화된 채널 신호를 공간 필터링하는 것보다 복호화 장치의 복잡도를 개선할 수 있다.
도 2는 본 발명의 제1 실시예에 따른 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치의 일례이다.
도 2는 모노 부호화기로 다운믹스 신호를 부호화하여 전송하는 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치의 일례이다. 이때, 다채널 오디오 부호화 장치(110)의 다운믹스부(111)는 도 2에 도시된 바와 같이 제1 TTO(211), 제2 TTO(212) 및 제3 TTO(213)를 포함할 수 있다. 또한, 다채널 오디오 복호화 장치(110)의 제1 OTT(223), 제2 OTT(224) 및 제3 OTT(223)는 각각 업믹싱 정보 생성부(122), 비 상관성 신호 생성부(123) 및 복호화부(124)를 포함할 수 있다.
부호화 과정에서 제1 TTO(211)는 입력 신호 중 채널 신호 X1과 채널 신호 X2를 다운믹스하여 다운믹스 신호 dmx1을 출력할 수 있다. 이때, 제1 TTO(211)는 채널 신호 X1과 채널 신호 X2의 주파수 영역에서 CLD, ICC, IPD를 공간 큐로 추출할 수 있다. 그리고, 제1 TTO(211)는 추출한 공간 큐를 비트스트림으로 변환하여 파라미터 변환부(222)로 전송할 수 있다.
또한, 제2 TTO(212)는 입력 신호 중 채널 신호 X3과 채널 신호 X4를 다운믹스하여 다운믹스 신호 dmx2을 출력할 수 있다. 이때, 제2 TTO(212)는 채널 신호 X3과 채널 신호 X4의 주파수 영역에서 CLD, ICC, IPD를 공간 큐로 추출할 수 있다. 그리고, 제2 TTO(212)는 추출한 공간 큐를 비트스트림으로 변환하여 파라미터 변환부(222)로 전송할 수 있다.
다음으로, 제3 TTO(213)는 제1 TTO(211)가 출력한 다운믹스 신호 dmx1과 제2 TTO(212)가 출력한 다운믹스 신호 dmx2를 다운믹스하여 모노 신호를 출력할 수 있다. 이때, 제3 TTO(213)는 다운믹스 신호 dmx1과 다운믹스 신호 dmx2의 주파수 영역에서 CLD, ICC, IPD를 공간 큐(201)로 추출할 수 있다. 그리고, 제3 TTO(213)는 추출한 공간 큐(201)를 비트스트림으로 변환하여 파라미터 변환부(222)로 전송할 수 있다.
마지막으로, 모노 부호화기(214)는 모노 신호를 부호화할 수 있다. 이때, 모노 부호화기(214)는 부호화된 모노 신호(202)를 다채널 오디오 복호화 장치(120)로 전송할 수 있다.
복호화 과정에서 모노 복호화기(221)는 부호화된 모노 신호(202)에서 모노 신호를 복호화하여 제1 OTT(223)에 입력할 수 있다. 그리고, 파라미터 변환부(222)는 제3 TTO(213)로부터 수신한 공간 큐를 변환하여 제1 OTT(223)에 입력할 수 있다.
다음으로, 제1 OTT(223)는 모노 신호와 변환된 공간 큐를 기초로 다운믹스 신호 dmx1과 다운믹스 신호 dmx2를 복호화할 수 있다. 이때, 제1 OTT(223)는 다운믹스 신호 dmx1를 제2 OTT(224)로 전송하고, 다운믹스 신호 dmx2를 제3 OTT(225)로 전송할 수 있다.
그 다음으로, 제2 OTT(224)는 다운믹스 신호 dmx1로부터 채널 신호 X1과 채널 신호 X2를 복호화할 수 있다. 구체적으로, 파라미터 변환부(222)는 제1 TTO(211)로부터 수신한 공간 큐를 변환하여 제2 OTT(224)에 입력할 수 있다. 이때, 제2 OTT(224)는 모노 신호와 변환된 공간 큐를 기초로 채널 신호 X1과 채널 신호 X2를 복호화할 수 있다.
그리고, 제3 OTT(225)는 다운믹스 신호 dmx2로부터 채널 신호 X3과 채널 신호 X4를 복호화할 수 있다. 구체적으로, 파라미터 변환부(222)는 제2 TTO(212)로부터 수신한 공간 큐를 변환하여 제3 OTT(225)에 입력할 수 있다. 이때, 제3 OTT(225)는 모노 신호와 변환된 공간 큐를 기초로 채널 신호 X3과 채널 신호 X4를 복호화할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 다채널 오디오 복호화 장치의 동작 일례이다.
먼저, 파라미터 변환부(222)는 다채널 오디오 부호화 장치(110)로부터 공간 큐(310)를 수신하고, 공간 필터로부터 공간 필터 파라미터인 HRTF 파라미터(320)를 수신할 수 있다. 이때, 공간 큐(310)는 다채널 오디오 부호화 장치(110)가 입력 신호에 포함된 채널 신호 Lf와 채널 신호 Rf에서 추출한 CLD, ICC 및 IPD를 포함할 수 있다.
다음으로, 파라미터 변환부(222)는 제1 OTT(223)가 출력할 채널 신호 LB(Left binaural)와 채널 신호 RB(Right binaural)를 예측할 수 있다. 이때, 파라미터 변환부(222)는 예측된 채널 신호 LB과 채널 신호 RB에 따라 공간 큐(310)를 변형하여 변형된 공간 큐(330)를 출력할 수 있다. 이때, 변형된 공간 큐는 도 3에 도시된 바와 같이 CLDb, ICCb, IPDb를 포함할 수 있다.
이때, CLDb는 수학식 4와 같이 채널 신호 LB과 채널 신호 RB 간의 파워 비일 수 있다.
Figure pat00006
따라서, 파라미터 변환부(222)는 CLDb를 생성하기 위하여 채널 신호 LB의 파워인
Figure pat00007
와 채널 신호 RB의 파워인
Figure pat00008
를 예측할 수 있다.
예를 들어, 파라미터 변환부(222)는 수학식 5와 수학식 6을 이용하여 채널 신호 LB의 파워인
Figure pat00009
와 채널 신호 RB의 파워인
Figure pat00010
를 예측할 수 있다.
Figure pat00011
Figure pat00012
이때, ,
Figure pat00014
는 공간 큐(310)에 포함된 CLD로부터 구한 입력 신호의 파워 이득 정보일 수 있다. 또한,
Figure pat00015
와
Figure pat00016
는 각각 입력 신호에 포함된 채널 신호 Lf와 채널 신호 Rf의 가상 스피커의 위치일 수 있다. 예를 들어,
Figure pat00017
와
Figure pat00018
는 가상 스피커의 각도 정보일 수 있다.
그리고, 수학식 5와 수학식 6에 따라 수학식 4는 수학식 7로 변형될 수 있다.
Figure pat00019
이때, CLDb는 서브밴드 단위로 처리될 수 있다. 그리고, 예측된 채널 신호 LB과 채널 신호 RB의 서브밴드 별 정규화된 파워는 수학식 7을 기초로 수학식 8과 같이 계산될 수 있다. 이때, 수학식 8의 결과는 MPS 표준 및 디코더에 명시된 방법에 따라 업믹싱 행렬의 구성 요소인 HLL, HLR, HRL, HRR를 구성하기 위한 정보로 활용될 수 있다.
Figure pat00020
또한, 파라미터 변환부(222)는 수학식 9를 이용하여 ICCb와 IPDb를 계산할 수 있다.
Figure pat00021
이때, 파라미터 변환부(222)는 ICCb와 IPDb를 계산하기 위하여 서브밴드 별로 복소 영역에서 예측된 채널 신호 LB과 채널 신호 RB에 대한 내적인
Figure pat00022
를 예측할 수 있다. 이때, 복소 영역은 주파수 영역일 수 있다. 그리고, 파라미터 변환부(222)는 수학식 10을 이용하여
Figure pat00023
를 계산할 수 있다.
Figure pat00024
이때, 수학식 10의 4번째 줄에서
Figure pat00025
만을 사용하여 수학식 11으로 변경하면, 수학식 11의 근사값이 계산될 수 있다. 따라서, 파라미터 변환부(222)는 연산 복잡도를 개선하기 위하여 수학식 11을 수학식 10의 대체 수학식으로 사용할 수 있다.
Figure pat00026
그리고, 파라미터 변환부(222)는 수학식 10, 또는 수학식 11로 계산된
Figure pat00027
를 수학식 9에 적용하여 ICCb와 IPDb를 계산할 수 있다.
그 다음으로, 제1 OTT(223)에 포함된 업믹싱 정보 생성부는 변형된 공간 큐(330)에 포함된 CLDb, ICCb, IPDb를 이용하여 HLL, HLR, HRL, HRR를 구성하고, HLL, HLR, HRL, HRR를 이용하여 업믹싱 행렬(340)을 생성할 수 있다.
다음으로, 제1 OTT(223)에 포함된 비 상관성 신호 생성부(123)는 디코릴레이터(decorrelator)로 모노 신호 DMX를 변조하여 비상관성 신호 D[DMX]를 생성할 수 있다. 이때, 모노 신호 DMX는 부호화된 모노 신호에서 모노 복호화기(221)가 복호화한 신호일 수 있다.
마지막으로, 제1 OTT(223)에 포함된 복호화부(124)는 모노 신호 DMX와 비상관성 신호 D[DMX] 및 업믹싱 행렬(340)를 이용하여 채널 신호 LB과 채널 신호 RB를 복호화할 수 있다. 예를 들어, 복호화부(124)는 수학식 12를 이용하여 채널 신호 LB과 채널 신호 RB를 복호화할 수 있다.
Figure pat00028
도 4는 본 발명의 제2 실시예에 따른 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치의 일례이다.
도 4는 스테레오 부호화기로 다운믹스 신호를 부호화하여 전송하는 다채널 오디오 부호화 장치 및 다채널 오디오 복호화 장치의 일례이다. 이때, 다채널 오디오 부호화 장치(110)의 다운믹스부(111)는 도 4에 도시된 바와 같이 제1 TTO(411) 및 제2 TTO(412)를 포함할 수 있다. 또한, 다채널 오디오 복호화 장치(110)의 제1 OTT(422), 제2 OTT(423) 및 제3 OTT(423)는 각각 업믹싱 정보 생성부(122), 비 상관성 신호 생성부(123) 및 복호화부(124)를 포함할 수 있다.
부호화 과정에서 제1 TTO(411)는 입력 신호 중 채널 신호 X1과 채널 신호 X2를 다운믹스하여 다운믹스 신호 dmx1을 출력할 수 있다. 이때, 제1 TTO(411)는 채널 신호 X1과 채널 신호 X2의 주파수 영역에서 CLD, ICC, IPD를 제1 공간 큐 세트(401)로 추출할 수 있다. 또한, 제1 TTO(411)는 추출한 제1 공간 큐 세트(401)를 비트스트림으로 변환하여 파라미터 변환부(421)로 전송할 수 있다.
그리고, 제2 TTO(412)는 입력 신호 중 채널 신호 X3과 채널 신호 X4를 다운믹스하여 다운믹스 신호 dmx2을 출력할 수 있다. 이때, 제2 TTO(412)는 채널 신호 X3과 채널 신호 X4의 주파수 영역에서 CLD, ICC, IPD를 제2 공간 큐 세트(402)로 추출할 수 있다. 또한, 제2 TTO(412)는 추출한 제2 공간 큐 세트(402)를 비트스트림으로 변환하여 파라미터 변환부(421)로 전송할 수 있다.
마지막으로, 스테레오 부호화기(413)는 제1 TTO(411)가 출력한 다운믹스 신호 dmx1과 제2 TTO(412)가 출력한 다운믹스 신호 dmx2를 부호화하여 스테레오 신호(403)를 생성하고, 스테레오 신호(403)를 다채널 오디오 복호화 장치(120)로 전송할 수 있다.
복호화 과정에서 파라미터 변환부(422)는 제1 공간 큐 세트(401)와 제2 공간 큐 세트(402)를 공간 필터 파라미터와 결합하여 하나의 공간 큐로 변환할 수 있다. 그리고, 파라미터 변환부(422)는 변환된 공간 큐를 제1 OTT(422)에 입력할 수 있다.
다음으로, 제1 OTT(422)는 스테레오 신호와 변환된 공간 큐를 기초로 다운믹스 신호 dmx1과 다운믹스 신호 dmx2를 복호화할 수 있다. 이때, 제1 OTT(422)는 다운믹스 신호 dmx1를 제2 OTT(423)로 전송하고, 다운믹스 신호 dmx2를 제3 OTT(424)로 전송할 수 있다.
마지막으로, 제2 OTT(423)는 다운믹스 신호 dmx1로부터 채널 신호 X1과 채널 신호 X2를 복호화할 수 있다. 구체적으로, 파라미터 변환부(422)는 제1 공간 큐 세트(401)를 변환하여 제2 OTT(423)에 입력하고, 제2 OTT(423)는 모노 신호와 변환된 공간 큐를 기초로 채널 신호 X1과 채널 신호 X2를 복호화할 수 있다. 또한, 제3 OTT(424)는 다운믹스 신호 dmx2로부터 채널 신호 X3과 채널 신호 X4를 복호화할 수 있다. 구체적으로, 파라미터 변환부(422)는 제2 공간 큐 세트(402)를 변환하여 제3 OTT(424)에 입력하고, 제3 OTT(424)는 모노 신호와 변환된 공간 큐를 기초로 채널 신호 X3과 채널 신호 X4를 복호화할 수 있다. 이때, 파라미터 변환부(422)는 도 2의 파라미터 변환부(222)와 동일한 방법을 이용하여 제1 공간 큐 세트(401) 및 제2 공간 큐 세트(402)를 변환할 수 있다.
도 5는 본 발명의 제2 실시예에 따른 다채널 오디오 복호화 장치의 동작 일례이다.
먼저, 파라미터 변환부(421)는 다채널 오디오 부호화 장치(110)로부터 복수의 공간 큐 세트(510)를 수신하고, 공간 필터로부터 공간 필터 파라미터인 HRTF 파라미터(520)를 수신할 수 있다. 이때, 공간 큐 세트(510)는 제1 TTO(421)가 채널 신호 X1과 채널 신호 X2에서 추출한 제1 공간 큐 세트(401)과 제2 TTO(422)가 채널 신호 X3과 채널 신호 X4에서 추출한 제2 공간 큐 세트(402)를 포함할 수 있다.
그리고, 제1 공간 큐 세트(401)와 제2 공간 큐 세트(402)에 포함된 CLD, ICC, IPD에 공간 큐 세트의 넘버와 동일한 값을 인덱싱할 경우, 제1 공간 큐 세트(401)는 CLD1, ICC1, IPD1을 포함하고, 제2 공간 큐 세트(402)는 CLD2, ICC2, IPD2를 포함할 수 있다.
다음으로, 파라미터 변환부(421)는 제1 OTT(422)가 출력할 채널 신호 LB(Left binaural)와 채널 신호 RB(Right binaural)를 예측하고, 예측된 채널 신호 LB과 채널 신호 RB에 따라 공간 큐 세트(510)를 변형하여 변형된 공간 큐(530)를 출력할 수 있다. 이때, 변형된 공간 큐는 도 5에 도시된 바와 같이 CLDb, ICCb, IPDb를 포함할 수 있다. 그리고, 파라미터 변환부(421)는 도 3에 도시된 실시예와 같이 수학식 7과 수학식 9를 이용하여 CLDb, ICCb, IPDb를 계산할 수 있다.
이때, 파라미터 변환부(421)가 CLDb, ICCb, IPDb를 계산하기 위해서는 채널 신호 LB의 파워인
Figure pat00029
와 채널 신호 RB의 파워인
Figure pat00030
및, 채널 신호 LB과 채널 신호 RB에 대한 내적인
Figure pat00031
를 필요로 할 수 있다. 그리고, 파라미터 변환부(421)는 제1 공간 큐 세트(401)와 제2 공간 큐 세트(402) 및 공간 필터 파라미터(520)을 이용하여
Figure pat00032
,
Figure pat00033
및
Figure pat00034
을 계산할 수 있다.
예를 들어, 채널 신호 X1, 채널 신호 X2, 채널 신호 X3및 채널 신호 X4의 채널 인덱스가 각각 Lf, Rf, Ls, Rs인 경우, 파라미터 변환부(421)는 수학식 13을 이용하여
Figure pat00035
를 계산할 수 있다.
Figure pat00036
또한, 파라미터 변환부(421)는 수학식 14를 이용하여
Figure pat00037
를 계산할 수 있다.
Figure pat00038
그리고, 파라미터 변환부(421)는 수학식 13과 14를 수학식 7에 적용하여 CLDb 를 계산할 수 있다.
또한, 파라미터 변환부(421)는 수학식 15를 이용하여
Figure pat00039
을 계산할 수 있다.
Figure pat00040
이때, 수학식 15의 7줄과 8줄에서
Figure pat00041
와
Figure pat00042
만을 사용하여 수학식 16으로 변경하면, 수학식 15의 근사값이 계산될 수 있다. 따라서, 파라미터 변환부(222)는 연산 복잡도를 개선하기 위하여 수학식 16을 수학식 15의 대체 수학식으로 사용할 수 있다.
Figure pat00043
그리고, 파라미터 변환부(222)는 수학식 15, 또는 수학식 16으로 계산된
Figure pat00044
를 수학식 9에 적용하여 ICCb와 IPDb를 계산할 수 있다.
그 다음으로, 제1 OTT(421)에 포함된 업믹싱 정보 생성부는 변형된 공간 큐(330)에 포함된 CLDb, ICCb, IPDb를 이용하여 HLL, HLR, HRL, HRR를 결정할 수 있다. 그리고, 업믹싱 정보 생성부는 HLL, HLR, HRL, HRR를 이용하여 업믹싱 행렬(540)을 생성할 수 있다.
다음으로, 제1 OTT(421)에 포함된 비 상관성 신호 생성부(123)는 디코릴레이터(decorrelator)로 스테레오 신호 DMX를 변조하여 비상관성 신호 D[DMX]를 생성할 수 있다.
마지막으로, 제1 OTT(421)에 포함된 복호화부(124)는 스테레오 신호 DMX와 비상관성 신호 D[DMX] 및 업믹싱 행렬(540)를 이용하여 채널 신호 LB과 채널 신호 RB를 복호화할 수 있다.
도 6은 본 발명의 일실시예에 따른 다채널 오디오 부호화 방법을 도시한 플로우차트이다.
단계(610)에서 다운믹스부(111)는 입력 신호에 포함된 복수의 채널 신호들의 주파수 영역에서 공간 큐를 추출할 수 있다. 그리고 다운믹스부(111)는 추출한 공간 큐를 비트스트림으로 변환하여 다채널 오디오 복호화 장치(120)의 파라미터 변환부(121)로 전송할 수 있다. 이때, 다운믹스부(111)가 추출하는 공간 큐는 CLD, 및 ICC에 IPD를 더 포함할 수 있다.
단계(620)에서 다운믹스부(111)는 단계(610)에서 공간 큐를 추출한 채널 신호들을 다운믹스하여 다운믹스 신호를 생성할 수 있다.
단계(630)에서 부호화부(112)는 단계(620)에서 생성한 다운믹스 채널 신호를 부호화할 수 있다.
단계(640)에서 부호화부(112)는 단계(630)에서 부호화한 다운믹스 신호를 다채널 오디오 복호화 장치(120)로 전송할 수 있다. 이때, 다운믹스부(111)는 단계(610)에서 추출한 공간 큐를 다채널 오디오 복호화 장치(120)로 전송할 수 있다.
도 7은 본 발명의 일실시예에 따른 다채널 오디오 부호화 방법을 도시한 플로우차트이다.
단계(710)에서 파라미터 변환부(121)는 다채널 오디오 부호화 장치(110)의 다운믹스부(111)로부터 공간 큐를 수신할 수 있다. 그리고, 파라미터 변환부(121)는 공간 큐와 공간 채널 파라미터를 이용하여 복호화할 채널 신호들을 예측하고, 예측한 채널 신호들에 따라 공간 큐를 변환할 수 있다.
이때, 파라미터 변환부(121)는 입력 신호의 가상 스피커의 위치 정보, CLD에 따른 입력 신호의 파워 이득 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들의 파워를 예측할 수 있다. 그리고, 파라미터 변환부(121)는 복호화할 채널 신호들의 파워를 기초로 CLD를 변환할 수 있다.
또한, 파라미터 변환부(121)는 입력 신호의 가상 스피커의 위치 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들 중 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보를 예측할 수 있다. 그리고, 파라미터 변환부(121)는 예측한 관계 정보를 기초로 IPD를 변환할 수 있다.
그리고, 파라미터 변환부(121)는 입력 신호의 가상 스피커의 위치 정보, ICC, IPD 및 공간 필터 파라미터를 이용하여 복호화할 채널 신호들 중 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보 및 복호화할 채널 신호들의 크기를 예측할 수 있다. 그리고, 파라미터 변환부(121)는 예측한 관계 정보 및 복호화할 채널 신호들의 크기를 기초로 ICC를 변환할 수 있다. 이때, 공간 필터 파라미터는 공간 필터로부터 추출된 파라미터일 수 있다. 또한, 오른쪽 채널 신호와 왼쪽 채널 신호 간의 관계 정보는 복소 영역에서 오른쪽 채널 신호와 왼쪽 채널 신호에 대한 내적일 수 있다.
단계(720)에서 업믹싱 정보 생성부(122)는 단계(710)에서 변환된 공간 큐를 기초로 업믹싱 정보를 생성할 수 있다. 이때, 비 상관성 신호 생성부(123)는 다채널 오디오 부호화 장치(110)의 부호화부(112)로부터 수신한 다운믹스 신호를 이용하여 다운믹스 신호에 대한 비 상관성 신호를 생성할 수 있다.
단계(730)에서 복호화부(124)는 다채널 오디오 부호화 장치(110)의 부호화부(112)로부터 수신한 다운믹스 신호와 단계(720)에서 생성한 비 상관성 신호 및 업믹싱 정보를 이용하여 부호화부(112)로부터 수신한 다운믹스 신호에서 채널 신호들을 복호화할 수 있다.
본 발명은 CLD와 ICC와 함께 IPD를 이용하여 다운믹스 신호를 복호화 함으로써, 복호화한 채널 신호의 품질을 높일 수 있다. 또한, 본 발명은 OTT 블록을 이용하여 공간 필터를 이용한 필터링을 수행함으로써, 복호화된 채널 신호를 공간 필터링하는 것보다 복호화 장치의 복잡도를 개선할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 다채널 오디오 부호화 장치
111: 다운믹스부
112: 부호화부
120: 다채널 오디오 복호화 장치
121: 파라미터 변환부
122: 업믹싱 정보 생성부
123: 비 상관성 신호 생성부
124: 복호화부

Claims (1)

  1. 복호화할 채널 신호들을 예측하고, 복호화할 채널 신호들에 따라 다채널 부호화 장치로부터 수신한 공간 큐를 변환하는 파라미터 변환부;
    변환된 공간 큐를 기초로 업믹싱 정보를 생성하는 업믹싱 정보 생성부; 및
    다채널 부호화 장치로부터 수신한 다운믹스 신호와 상기 다운믹스 신호를 이용하여 생성된 비 상관성 신호 및 업믹싱 정보를 이용하여 상기 다운믹스 신호에서 채널 신호들을 복호화하는 복호화부
    를 포함하고,
    상기 공간 큐는,
    채널 간 에너지 차(CLD: Channel Level Differences), 및 채널 간 상관도(ICC: InterChannel Correlations)에 채널 간 위상 차(IPD: Interchannel Phase Difference)를 더 포함하는 다채널 오디오 복호화 장치.
KR20140061757A 2013-10-21 2014-05-22 공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법 KR20150045879A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130125249 2013-10-21
KR20130125249 2013-10-21

Publications (1)

Publication Number Publication Date
KR20150045879A true KR20150045879A (ko) 2015-04-29

Family

ID=53037703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140061757A KR20150045879A (ko) 2013-10-21 2014-05-22 공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150045879A (ko)

Similar Documents

Publication Publication Date Title
US11488610B2 (en) Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
US7689428B2 (en) Acoustic signal encoding device, and acoustic signal decoding device
KR20080093342A (ko) 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
WO2007089129A1 (en) Apparatus and method for visualization of multichannel audio signals
MX2008000504A (es) Codificacion y decodificacion de audio.
JP6732739B2 (ja) オーディオ・エンコーダおよびデコーダ
TWI483619B (zh) 一種媒體訊號的編碼/解碼方法及其裝置
KR20160003572A (ko) 다채널 오디오 신호 처리 방법 및 장치
TW202105365A (zh) 參數編碼與解碼
KR20150045879A (ko) 공간 필터를 이용한 다채널 오디오 부호화/복호화 장치 및 방법
KR20140122990A (ko) 다채널 오디오 신호 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination