KR100731546B1 - 다운믹스 오디오 신호로부터 분리되는 각 출력 채널의스펙트럼 보상 방법 및 장치 - Google Patents

Abstract

본 발명은 적어도 2개 이상의 신호가 다운믹스된 모노 신호로부터 분리되는 각각의 출력 채널의 빈 스펙트럼 밴드를 보상하기 위한 방법을 제공한다. 상기 방법은, 상기 각각의 출력 채널에 대하여, 이전 시간 영역에서의 상기 빈 스펙트럼 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비를 이용하여 상기 빈 스펙트럼 밴드의 현재 시간 영역에서의 에너지비를 추정하는 단계와, 상기 빈 스펙트럼 밴드의 앞 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비와 뒤 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비의 평균값을 이용하여 상기 빈 스펙트럼 밴드의 주파수 영역에서의 에너지비를 추정하는 단계와, 상기 추정된 현재 시간영역에서의 에너지비와 상기 주파수 영역에서의 에너지비를 이용하여 상기 빈 스펙트럼의 복원비를 결정하는 단계와, 상기 복원비를 상기 모노 신호값에 곱함으로써 상기 출력 채널의 빈 스펙트럼을 복원하는 단계를 포함한다.

바이노럴 큐 코딩(Binaural Cue Coding), 스펙트럼 복원

Description

다운믹스 오디오 신호로부터 분리되는 각 출력 채널의 스펙트럼 보상 방법 및 장치{Method and apparatus for compensating spectrums of each output channel separated from a downmix audio signal}

도 1은 종래의 바이너럴 큐 코딩(binaural cue coding) 시스템을 도시한 블록도이다.

도 2는 종래 합성기에서 다운믹스 신호와 인덱스 정보를 이용하여 출력 채널을 합성하는 과정을 도시한 도면이다.

도 3은 본 발명에 따른 스펙트럼 복원기가 적용된 바이너럴 큐 코딩 시스템을 도시한 블록도이다.

도 4는 본 발명의 바람직한 실시예에 따른 스펙트럼 보상기의 세부 구성을 도시한 블록도이다.

도 5는 본 발명에 따라 이전 시간의 에너지비를 이용하여 현재 시간의 에너지비를 추정하는 일예를 그래프로 도시한 것이다.

도 6은 본 발명에 따라 주파수 영역에서의 에너지비를 추정하는 일예를 그래프로 도시한 것이다.

본 발명은 스펙트럼 복원 기술에 관한 것으로, 구체적으로는, 멀티채널 신호 또는 복수개의 독립된 신호를 다운믹스 모노 신호와 소스의 인덱스 정보로써 표현 전송한 후에 이를 디코더에서 복원했을 때 채워지지 않는 스펙트럼 정보를 복원하는 기술에 관한 것이다.

도 1은 종래의 바이너럴 큐 코딩(binaural cue coding) 시스템을 도시한 블록도이다. 도 1에 도시된 바와 같이, 복수개의 신호들(X₁, X₂, ...X_n)은 다운믹서(110)를 통해 하나의 (다운믹스된) 모노 신호로 더해지고, 분석기(120)를 통해 소스 인덱스가 생성되고, 오디오 인코더(130)를 통해 인코딩된 다운믹스 신호가 소스 인덱스와 함께 전송된다. 전형적으로, 분석기(120)는 주파수 영역을 몇 개의 밴드로 나누어 밴드별로 소스 인덱스를 구한다. 분석기(120)는, 소스 인덱스를 구하기 위해, 이하의 수학식 1에 따라, 밴드 내 각 소스의 에너지를 계산할 것이다.

상기 수학식 1에서, S_c,i는 주파수 변환된 각 신호의 값을 나타내고, P_c는 채널 c의 에너지를 나타낸다.

그 다음에, 각 소스의 에너지값을 비교하여 가장 큰 값을 갖는 신호를 그 밴드의 인덱스로 정하게 된다. 이는 이하의 수학식 2에 의해 표현될 수 있다.

다음에, 디코더(140)는 인코딩된 다운믹스 신호를 수신하여 디코딩한 후에 합성기(150)에 전달하고, 합성기(150)는 디코딩된 신호들을 소스 인덱스 정보에 따라 원 신호로 복원한다.

도 2는 종래 합성기에서 다운믹스 신호와 인덱스 정보를 이용하여 출력 채널을 합성하는 과정을 도시한 도면이다. 도시된 바와 같이, 인덱스에 따라 모노 신호의 밴드 신호들이 각 출력 신호에 할당되는 것이다. 상기 도면을 통해 알 수 있듯이, 인덱싱되지 못한 나머지 채널에 빈 스펙트럼이 발생함에 따라, 이로 인한 신호의 음질 열화가 생기는 문제점이 있다.

따라서, 본 발명은 이와 같은 빈 스펙트럼을 복원함으로써 빈 스펙트럼으로 인해 발생하는 음질 열화를 줄이고 원 신호에 좀 더 가깝게 복원하는 것을 목적으로 한다.

전술한 목적 달성을 위해, 본 발명의 일특징에 따르면, 적어도 2개 이상의 신호가 다운믹스된 모노 신호로부터 분리되는 각각의 출력 채널의 빈 스펙트럼 밴드를 보상하기 위한 방법이 제공된다. 상기 방법은, 상기 각각의 출력 채널에 대하여, 이전 시간 영역에서의 상기 빈 스펙트럼 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비를 이용하여 상기 빈 스펙트럼 밴드의 현재 시간 영역에서의 에너지비를 추정하는 단계와, 상기 빈 스펙트럼 밴드의 앞 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비와 뒤 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비의 평균값을 이용하여 상기 빈 스펙트럼 밴드의 주파수 영역에서의 에너지비를 추정하는 단계와, 상기 추정된 현재 시간영역에서의 에너지비와 상기 주파수 영역에서의 에너지비를 이용하여 상기 빈 스펙트럼의 복원비를 결정하는 단계와, 상기 복원비를 상기 모노 신호값에 곱함으로써 상기 출력 채널의 빈 스펙트럼을 복원하는 단계를 포함한다.

본 발명의 또다른 특징에 따르면, 적어도 2개 이상의 신호가 다운믹스된 모노 신호로부터 분리되는 각각의 출력 채널의 빈 스펙트럼 밴드를 보상하기 위한 스펙트럼 보상 장치가 제공된다. 상기 장치는, 상기 각각의 출력 채널에 대하여, 이전 시간 영역에서의 상기 빈 스펙트럼 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비를 이용하여 상기 빈 스펙트럼 밴드의 현재 시간 영역에서의 에너지비를 추정하기 위한 제1 추정 수단과, 상기 빈 스펙트럼 밴드의 앞 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비와 뒤 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비의 평균값을 이용하여 상기 빈 스펙트럼 밴드의 주파수 영역에서의 에너지비를 추정하기 위한 제2 추정 수단과, 상기 제1 추정 수단 및 제2 추정 수단에 의해 추정된 현재 시간영역에서의 에너지비와 상기 주파수 영역에서의 에너지비를 이용하여 상기 빈 스펙트럼의 복원비를 결정하고, 상기 복원비를 상기 모노 신호값에 곱함으로써 상기 출력 채널의 빈 스펙트럼을 복원하기 위한 복원 수단을 포함한다.

이하에서는 본 발명을 첨부된 도면에 도시된 실시예들과 관련하여 예시적으로 상세히 설명하겠다. 그러나, 이하의 상세한 설명은 단지 예시적인 목적으로 제공되는 것이며 본 발명의 개념을 임의의 특정된 물리적 구성에 한정하는 것으로 해석되어서는 안 될 것이다.

도 3은 본 발명에 따른 스펙트럼 보상기가 적용된 바이너럴 큐 코딩 시스템을 도시한 블록도이다. 본 발명에 따른 스펙트럼 보상기는 도 1에 도시된 기존 코딩 시스템의 합성기를 보완하기 위한 요소로서, 합성기의 내부에 구현되거나, 독립적으로 구현가능하다. 스펙트럼 보상기(360)를 제외한 나머지 요소들은 도 1에 도시된 요소들과 실질적으로 동일하므로 이들에 대한 구체적인 설명을 생략하기로 한다.

본 발명에 따른 스펙트럼 보상기(360)는 상대적으로 짧은 시간 구간에서는 신호가 천천히 변한다는 특성을 기초로 하되, 갑자기 변하는 신호에 대한 고려를 통해 복원될 출력 채널의 스펙트럼 보상을 수행한다. 구체적으로, 짧은 시간 내에서는 신호가 천천히 변한다는 특성에 근거하여, 현재 시간영역에서 빈 스펙트럼 밴드의 다운믹스 모노 신호에 대한 출력 채널의 에너지비는 이전 시간 영역에서의 채널의 에너지비와 동일한 값으로 추정하고, 주파수 영역에서는 빈 스펙트럼 밴드의 앞과 뒤 밴드의 모노 신호에 대한 에너지비를 평균한 값을 주파수 영역에서의 출력 채널의 에너지비로 추정한다. 시간영역에서의 에너지비와 주파수 영역에서의 에너지비를 평균한 값을 복원비로 결정함으로써 스펙트럼을 보상한다. 다만, 시간영역 에서의 에너지비와 주파수 영역에서의 에너지비의 차이가 큰 경우에는 신호가 갑자기 변하는 것으로 판단하고 주파수 영역으로의 비를 복원비로 결정한다. 스펙트럼 보상기의 세부 구성에 대해서는 도 4를 참조하여 후술한다.

도 4는 본 발명의 바람직한 실시예에 따른 스펙트럼 보상기의 세부 구성을 도시한 블록도이다. 도시된 바와 같이, 스펙트럼 보상기는, 시간영역 에너지비 추정부(401), 주파수영역 에너지비 추정부(402), 스펙트럼 복원부(403) 및 주파수/시간 변환부(404)를 포함하여, 합성기로부터 출력된 스펙트럼 신호를 복수의 출력 채널 신호로 복원시키는 기능을 수행한다.

복원될 출력 채널의 빈 스펙트럼 밴드 보상을 위해, 시간영역 에너지비 추정부(401)는 현재 시간 영역에서의 해당 밴드 모노 신호에 대한 출력 채널 에너지비를 추정한다. 시간영역 에너지비의 추정은 짧은 시간에서는 신호가 천천히 변하므로 현재 시간 영역에서의 해당 밴드 모노 신호에 대한 출력 채널의 에너지비가 이전 시간에서의 에너지비와 유사할 것이라는 가정에 근거한다. 도 5는 본 발명에 따라 이전 시간의 에너지비를 이용하여 현재 시간의 에너지비를 추정하는 일예를 도시한 것이다.

일실시예에서, 다음의 수학식 3에 의해 표현된 바와 같이, 이전 시간의 해당 밴드(b)에서의 모노 신호에 대한 복원될 출력 채널의 에너지비를 이용하여 현재 시간에서의 에너지비(R_h(i,b))를 추정한다.

상기 수식에서, P_m(i-1,b)와 P_c(i-1,b)는 각각 이전 시간에서의 b 밴드 모노 신호의 에너지와 복원될 출력 채널의 에너지를 나타낸다. (0.99)^state는 시간에 따라 신호가 서서히 감소하는 것을 반영하기 위한 값으로서, P_c(i-1,b)의 값이 작을 경우에는 state의 값을 1증가시키고 그렇지 않을 경우에는 0으로 할 수 있다.

주파수 영역 에너지비 추정부(402)는 해당 밴드의 앞과 뒤 밴드의 모노 신호에 대한 출력 채널의 에너지 비를 평균하여 해당 밴드의 주파수 영역에서의 에너지비를 추정하는 기능을 수행한다. 도 6은 본 발명에 따라 주파수 영역에서의 에너지비를 추정하는 일예를 그래프로 도시한 것이다.

일실시예에서, 복원할 밴드의 앞과 뒤 밴드 각각의 모노신호에 대한 채널의 에너지비는 다음의 수학식 4에 따라 계산될 수 있다.

R_v(i,b-1)과 R_v(i,b+1)는 복원할 밴드의 앞과 뒤 밴드의 에너지 비 각각을 나타낸다. 이들 값을 평균한 값 R_v(i,b)이 주파수 영역에서의 에너지 비가 된다.(수 학식 5 참조.)

스펙트럼 복원부(403)는 시간영역 에너지비 추정부(401)에 의해 추정된 해당 밴드의 모노 신호에 대한 출력 채널의 현재 시간 영역에서의 에너지비와 주파수영역 에너지 추정부(402)에 의해 추정된 주파수 영역에서의 에너지비를 이용하여 해당 밴드의 최종 복원비를 결정하고 복원비에 따라 해당 밴드의 신호를 복원하는 기능을 수행한다. 전술한 바와 같이, 짧은 기간에서는 신호가 천천히 변한다는 가정에 따라, 복원할 스펙트럼 밴드의 모노신호에 대한 복원비는 시간영역에서의 에너지비와 주파수 영역에서의 에너지비를 평균함으로써 결정될 수 있다. 그러나, 실제로 짧은 기간에 신호가 갑자기 변한 경우에, 시간영역으로의 에너지 비는 작으나 주파수 영역으로의 비가 상대적으로 매우 크기 때문에 단순히 두 값을 평균하면 실제 값보다 작은 복원 비의 값을 적용할 수 있다. 따라서, 이러한 점을 보완하기 위해, 본 발명의 일실시예에서는 신호가 갑자기 변하는 경우를 고려하여 다음의 수학식 6에 근거하여 복원비를 결정하게 된다. 즉, 주파수 영역으로의 에너지비가 시간 영역으로의 에너지비의 2배를 초과하는 경우에는 신호가 갑자기 변하는 것으로 판단하여 주파수 영역으로의 에너지비를 복원비로 결정하며, 그렇지 않은 경우에 두 값을 평균한 값을 복원비로 결정하게 된다.

스펙트럼 복원부(403)는 하기의 수학식 7에 근거하여 결정된 복원비를 실제 모노 신호 값에 곱함으로써 빈 스펙트럼의 신호를 생성한다.

는 출력 채널의 주파수 영역의 신호가 된다.

는 주파수 영역에서 나누어진 한 밴드의 각 포인트를 나타낸다.

주파수/시간 변환부(404)는 상기 스펙트럼 복원부(403)에 의해 생성된 출력 채널의 주파수 영역 신호를 시간 영역의 신호로 변환한다.

이상에서 설명한 본 발명을 통하여 각 채널의 빈 스펙트럼을 복원하면 모든 채널에서 빈 스펙트럼이 없어지므로 음질의 열화를 막을 수 있다.

이상에서, 특정 실시예와 관련하여 본 발명을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속 하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같이 본 발명은 멀티채널 오디오 신호나 여러 독립된 신호가 다운 믹스된 모노 신호와 소스의 인덱스로만 표현 전송되어 디코더에서 복원될 때 빈 스펙트럼을 복원하는데 이용될 수 있다. 본 발명이 디코더에서 적용됨으로써 빈 스펙트럼으로 인한 음질의 열화가 감소되고 원 신호에 좀더 가깝게 복원될 수 있다.

Claims (13)

1. 적어도 2개 이상의 신호가 다운믹스된 모노 신호로부터 분리되는 각각의 출력 채널의 빈 스펙트럼 밴드를 보상하기 위한 방법에 있어서, 상기 방법은, 상기 각각의 출력 채널에 대하여,

   이전 시간 영역에서의 상기 빈 스펙트럼 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비를 이용하여 상기 빈 스펙트럼 밴드의 현재 시간 영역에서의 에너지비를 추정하는 단계와,

   상기 빈 스펙트럼 밴드의 앞 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비와 뒤 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비의 평균값을 이용하여 상기 빈 스펙트럼 밴드의 주파수 영역에서의 에너지비를 추정하는 단계와,

   상기 추정된 현재 시간영역에서의 에너지비와 상기 주파수 영역에서의 에너지비를 이용하여 상기 빈 스펙트럼의 복원비를 결정하는 단계와,

   상기 복원비를 상기 모노 신호값에 곱함으로써 상기 출력 채널의 빈 스펙트럼을 복원하는 단계

   를 포함하는 스펙트럼 보상 방법.
2. 삭제
3. 제1항에 있어서, 상기 복원비를 결정하는 단계는, 상기 주파수 영역에서의 에너지비가 상기 시간 영역에서의 에너지비의 2배보다 크지 않다면, 상기 두 에너지비를 평균한 값을 복원비로 결정하고, 그렇지 않은 경우에는 상기 주파수 영역에서의 에너지비를 복원비로 결정하는, 스펙트럼 보상 방법.
4. 삭제
5. 제1항에 있어서,

   상기 빈 스펙트럼 밴드가 복원된 출력 채널 스펙트럼을 시간축 신호로 변환하는 단계

   를 더 포함하는 스펙트럼 보상 방법.
6. 제1항에 있어서, 상기 다운믹스된 모노 신호는 바이너럴 큐 코딩 방식에 기반하여 부호화된 스펙트럼 보상 방법.
7. 제1, 3, 5, 6항중 어느 하나의 항에 따른 스펙트럼 보상 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
8. 적어도 2개 이상의 신호가 다운믹스된 모노 신호로부터 분리되는 각각의 출력 채널의 빈 스펙트럼 밴드를 보상하기 위한 스펙트럼 보상 장치에 있어서, 상기 장치는, 상기 각각의 출력 채널에 대하여,

   이전 시간 영역에서의 상기 빈 스펙트럼 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비를 이용하여 상기 빈 스펙트럼 밴드의 현재 시간 영역에서의 에너지비를 추정하기 위한 제1 추정 수단과,

   상기 빈 스펙트럼 밴드의 앞 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비와 뒤 밴드의 상기 모노 신호에 대한 상기 출력 채널의 에너지비의 평균값을 이용하여 상기 빈 스펙트럼 밴드의 주파수 영역에서의 에너지비를 추정하기 위한 제2 추정 수단과,

   상기 제1 추정 수단 및 제2 추정 수단에 의해 추정된 현재 시간영역에서의 에너지비와 상기 주파수 영역에서의 에너지비를 이용하여 상기 빈 스펙트럼의 복원 비를 결정하고, 상기 복원비를 상기 모노 신호값에 곱함으로써 상기 출력 채널의 빈 스펙트럼을 복원하기 위한 복원 수단

   를 포함하는 스펙트럼 보상 장치.
9. 삭제
10. 제8항에 있어서, 상기 복원 수단은, 상기 주파수 영역에서의 에너지비가 상기 시간 영역에서의 에너지비의 2배보다 크지 않다면, 상기 두 에너지비를 평균한 값을 복원비로 결정하고, 그렇지 않은 경우에는 상기 주파수 영역에서의 에너지비를 복원비로 결정하는 스펙트럼 보상 장치.
11. 삭제
12. 제8항에 있어서, 상기 빈 스펙트럼 밴드가 복원된 출력 채널 스펙트럼을 시간축 신호로 변환하기 위한 수단을 더 포함하는 스펙트럼 보상 장치.
13. 제8항에 있어서, 상기 다운믹스된 모노 신호는 바이너럴 큐 코딩 방식에 기반하여 부호화된 스펙트럼 보상 장치.

Images