KR101228630B1

KR101228630B1 - 에너지 정형 장치 및 에너지 정형 방법

Info

Publication number: KR101228630B1
Application number: KR1020087005108A
Authority: KR
Inventors: 요시아키 다카기; 콕 셍 총; 다케시 노리마츠; 슈지 미야사카; 아키히사 가와무라; 고지로 오노; 도모카즈 이시가와
Original assignee: 파나소닉 주식회사
Priority date: 2005-09-02
Filing date: 2006-08-31
Publication date: 2013-01-31
Also published as: US8019614B2; EP1921606A4; KR20080039463A; EP1921606A1; CN101253556A; EP1921606B1; WO2007026821A1; JP4918490B2; US20090234657A1; CN101253556B; JPWO2007026821A1

Abstract

에너지 정형 장치(600a)는, 하이브리드 시간·주파수 변환에 의해 얻어지는 서브 밴드 영역의 음향 신호를, 잔향 성분을 나타내는 확산 신호와 비잔향 성분을 나타내는 다이렉트 신호로 분할하여, 다이렉트 신호로부터 다운 믹스 신호를 생성하고, 다운 믹스 신호 및 서브 밴드마다 분할된 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 실시함으로써, 각각, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호를 생성하고, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호로부터 정규화 다운 믹스 신호 및 정규화 확산 신호를 생성하고, 미리 정해진 시간 슬롯마다, 정규화 확산 신호의 에너지에 대한 정규화 다운 믹스 신호의 에너지의 크기를 나타내는 스케일 계수를 산출하여, 정규화 확산 신호에 스케일 계수를 곱함으로써, 스케일 확산 신호를 생성하고, 스케일 확산 신호에 대해 고역 통과 처리를 실시함으로써, 고역 통과 확산 신호를 생성하고, 고역 통과 확산 신호와 다이렉트 신호를 가산함으로써, 가산 신호를 생성하고, 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환한다.

Description

에너지 정형 장치 및 에너지 정형 방법{ENERGY SHAPING DEVICE AND ENERGY SHAPING METHOD}

본 발명은, 에너지 정형 장치 및 에너지 정형 방법에 관한 것으로, 특히, 멀티 채널 음향 신호의 복호화에 있어서 에너지 정형을 행하는 기술에 관한 것이다.

최근, MPEG 오디오 규격에 있어서, Spatial Audio Codec(공간적 부호화)이라는 기술이 규격화되어 있다. 이것은, 매우 적은 정보량으로 현장감을 나타내는 멀티 채널 신호를 압축·부호화하는 것을 목적으로 하고 있다. 예를 들면, 이미 디지털 TV의 음성 방식으로서 널리 이용되고 있는 멀티 채널 코덱인 ACC(Advanced Audio Coding) 방식이, 5.1ch당 512kbps나, 384kbps와 같은 비트 레이트를 필요로 하는 것에 반해, Spatial Audio Codec에서는, 128kbps나, 64kbps, 또한 48kbps와 같은 대단히 적은 비트 레이트로 멀티 채널 음향 신호를 압축 및 부호화하는 것을 목표로 하고 있다(예를 들면, 비특허 문헌 1 참조).

도 1은, 공간적 부호화의 기본 원리를 이용한 오디오 장치의 전체 구성을 도시한 블록도이다.

오디오 장치(1)는, 오디오 신호의 세트(組)에 대한 공간 음향 부호화를 행하여 부호화 신호를 출력하는 오디오 인코더(10)와, 그 부호화 신호를 복호화하는 오 디오 디코더(20)를 구비하고 있다.

오디오 인코더(10)는 1024 샘플이나, 2048 샘플 등에 의해 표시되는 프레임 단위로, 복수 채널의 오디오 신호(예를 들면, 2채널의 오디오 신호 L, R)를 처리하는 것으로서, 다운 믹스부(11)와, 바이노럴 큐(binaural queue) 검출부(12)와, 인코더(13)와, 다중화부(14)를 구비하고 있다.

다운 믹스부(11)는, 예를 들면 좌우 2채널의 스펙트럼 표현된 오디오 신호 L, R의 평균을 취함으로써, 요컨대, M=(L+R)/2에 의해, 오디오 신호 L, R이 다운 믹스된 다운 믹스 신호 M을 생성한다.

바이노럴 큐 검출부(12)는, 스펙트럼 밴드마다, 오디오 신호 L, R 및 다운 믹스 신호 M을 비교함으로써, 다운 믹스 신호 M을 원래의 오디오 신호 L, R로 되돌리기 위한 BC 정보(바이노럴 큐)를 생성한다.

BC 정보는, 채널간 레벨/강도차(inter-channel level/intensity difference)를 나타내는 레벨 정보 IID, 및 채널간 코히런스/상관(inter-channel coherence/correlation)을 나타내는 상관 정보 ICC와, 채널간 위상 지연차(inter-channel phase/delay difference)를 나타내는 위상 정보 IPD를 포함한다.

여기에서, 상관 정보 ICC가 2개의 오디오 신호 L, R의 유사성을 나타내는 것에 반해, 레벨 정보 IID는 상대적인 오디오 신호 L, R의 강도를 나타낸다. 일반적으로, 레벨 정보 IID는, 음의 밸런스나 정위(定位)를 제어하기 위한 정보이고, 상관 정보 ICC는, 음상의 폭이나 확산성을 제어하기 위한 정보이다. 이들은, 모두 청취자가 청각적 정경을 머릿속에서 구성하는 것을 돕는 공간 파라미터이다.

최신의 스페셜 코덱에 있어서는, 스펙트럼 표현된 오디오 신호 L, R 및 다운 믹스 신호 M은, 「파라미터 밴드」로 이루어지는 통상 복수의 그룹으로 구분되어 있다. 따라서, BC 정보는, 각각의 파라미터 밴드마다 산출된다. 또한, 「BC 정보(바이노럴 큐)」와 「공간 파라미터」와 같은 용어는 자주 동의적으로 호환성을 갖고 이용된다.

인코더(13)는, 예를 들면, MP3(MPEG Audio Layer-3)나, AAC(Advanced Audio Coding) 등에 의해, 다운 믹스 신호 M을 압축 부호화한다. 요컨대, 인코더(13)는, 다운 믹스 신호 M을 부호화하여 압축된 부호화열을 생성한다.

다중화부(14)는, BC 정보를 양자화함과 더불어, 압축된 다운 믹스 신호 M과, 양자화된 BC 정보를 다중화함으로써 비트 스트림을 생성하고, 그 비트 스트림을 상술한 부호화 신호로서 출력한다.

오디오 디코더(20)는, 역다중화부(21)와, 디코더(22)와, 멀티 채널 합성부(23)를 구비하고 있다.

역다중화부(21)는, 상술한 비트 스트림을 취득하여, 그 비트 스트림으로부터 양자화된 BC 정보와, 부호화된 다운 믹스 신호 M을 분리하여 출력한다. 또한, 역다중화부(21)는, 양자화된 BC 정보를 역양자화하여 출력한다.

디코더(22)는, 부호화된 다운 믹스 신호 M을 복호화하여, 다운 믹스 신호 M을 멀티 채널 합성부(23)에 출력한다.

멀티 채널 합성부(23)는, 디코더(22)로부터 출력된 다운 믹스 신호 M과, 역다중화부(21)로부터 출력된 BC 정보를 취득한다. 그리고, 멀티 채널 합성부(23) 는, 그 BC 정보를 이용하여, 다운 믹스 신호 M으로부터, 2개의 오디오 신호 L, R을 복원한다. 이들 다운 믹스 신호로부터 원래의 2개의 신호를 복원하는 처리는, 후술하는 「채널 분리 기술」을 수반한다.

또한, 상기의 예는, 인코더에 있어서 어떻게 2개의 신호를 1개의 다운 믹스 신호와 공간 파라미터의 세트로 나타낼 수 있고, 공간 파라미터와 다운 믹스 신호를 처리함으로써, 디코더에 있어서 어떻게 다운 믹스 신호를 2개의 신호로 분리할 수 있는지를 설명하는 것에 지나지 않는다. 그 기술은, 음향이 2보다 많은 채널(예를 들면, 5.1의 음원으로부터의 6개의 채널)을, 부호화 처리시에 1개 또는 2개의 다운 믹스 채널로 압축할 수도 있고, 복호화 처리에 있어서 복원할 수 있다.

즉, 상술에서는, 2채널의 오디오 신호를 부호화하여 복호화하는 예를 들어 오디오 장치(1)를 설명하였지만, 오디오 장치(1)는, 2채널보다 많은 채널의 오디오 신호(예를 들면, 5.1채널 음원을 구성하는, 6개의 채널의 오디오 신호)를 부호화 및 복호화할 수도 있다.

도 2는, 6채널시에 있어서의 멀티 채널 합성부(23)의 기능 구성을 도시한 블록도이다.

멀티 채널 합성부(23)는, 예를 들면, 다운 믹스 신호 M을 6개의 채널의 오디오 신호로 분리하는 경우, 제1 채널 분리부(241)와, 제2 채널 분리부(242)와, 제3 채널 분리부(243)와, 제4 채널 분리부(244)와, 제5 채널 분리부(245)를 구비한다. 또한, 다운 믹스 신호 M은, 청취자의 정면에 배치되는 스피커에 대한 정면 오디오 신호 C와, 청취자의 왼쪽 전방에 배치되는 스피커에 대한 왼쪽 전방 오디오 신호 Lf와, 청취자의 오른쪽 전방에 배치되는 스피커에 대한 오른쪽 전방 오디오 신호 Rf와, 청취자의 왼쪽 후방에 배치되는 스피커에 대한 왼쪽 후방 오디오 신호 Ls와, 청취자의 오른쪽 후방에 배치되는 스피커에 대한 오른쪽 후방 오디오 신호 Rs와, 저음 출력용 서브우퍼 스피커에 대한 저역 오디오 신호 LFE가 다운 믹스되어 구성되어 있다.

제1 채널 분리부(241)는, 다운 믹스 신호 M으로부터 중간의 제1 다운 믹스 신호 M1과 중간의 제4 다운 믹스 신호 M4를 분리하여 출력한다. 제1 다운 믹스 신호 M1은, 정면 오디오 신호 C와 왼쪽 전방 오디오 신호 Lf와 오른쪽 전방 오디오 신호 Rf와 저역 오디오 신호 LFE가 다운 믹스되어 구성되어 있다. 제4 다운 믹스 신호 M4는, 왼쪽 후방 오디오 신호 Ls와 오른쪽 후방 오디오 신호 Rs가 다운 믹스되어 구성되어 있다.

제2 채널 분리부(242)는, 제1 다운 믹스 신호 M1로부터 중간의 제2 다운 믹스 신호 M2와 중간의 제3 다운 믹스 신호 M3을 분리하여 출력한다. 제2 다운 믹스 신호 M2는, 왼쪽 전방 오디오 신호 Lf와 오른쪽 전방 오디오 신호 Rf가 다운 믹스되어 구성되어 있다. 제3 다운 믹스 신호 M3은, 정면 오디오 신호 C와 저역 오디오 신호 LFE가 다운 믹스되어 구성되어 있다.

제3 채널 분리부(243)는, 제2 다운 믹스 신호 M2로부터 왼쪽 전방 오디오 신호 Lf와 오른쪽 전방 오디오 신호 Rf를 분리하여 출력한다.

제4 채널 분리부(244)는, 제3 다운 믹스 신호 M3으로부터 정면 오디오 신호 C와 저역 오디오 신호 LFE를 분리하여 출력한다.

제5 채널 분리부(245)는, 제4 다운 믹스 신호 M4로부터 왼쪽 후방 오디오 신호 Ls와 오른쪽 후방 오디오 신호 Rs를 분리하여 출력한다.

이와 같이, 멀티 채널 합성부(23)는, 멀티 스테이지의 방법에 의해, 각 채널 분리부에서 1개의 다운 믹스 신호를 2개의 다운 믹스 신호로 분리하는 동일한 분리 처리를 실시하여, 단일한 오디오 신호가 분리될 때까지 재귀적으로 신호의 분리를 매회 반복한다.

도 3은, 멀티 채널 합성부(23)의 원리를 설명하기 위한 기능 구성을 도시한 다른 기능 블록도이다.

멀티 채널 합성부(23)는, 올패스 필터(261)와, BCC 처리부(262)와, 연산부(263)를 구비하고 있다.

올패스 필터(261)는, 다운 믹스 신호 M을 취득하여, 그 다운 믹스 신호 M에 대해 상관성이 없는 무상관 신호 Mrev를 생성하여 출력한다. 다운 믹스 신호 M과 무상관 신호 Mrev는, 각각을 청각적으로 비교하면, 「상호 인코히런트」인 것으로 간주된다. 또, 무상관 신호 Mrev는 다운 믹스 신호 M과 동일한 에너지를 가지며, 마치 음이 퍼지고 있는 것과 같은 환각을 만들어 내는 유한 시간의 잔향(殘響) 성분을 포함한다.

BCC 처리부(262)는, BC 정보를 취득하여, 그 BC 정보에 포함되는 레벨 정보 IID나 상관 정보 ICC 등에 의거해, L, R간의 상관의 정도나, L, R의 지향성을 유지하기 위한 믹싱 계수 Hij를 생성하여 출력한다.

연산부(263)는, 다운 믹스 신호 M, 무상관 신호 Mrev, 및 믹싱 계수 Hij를 취득하여, 이들을 이용해 하기의 식 (1)에 나타나는 연산을 행하여, 오디오 신호 L, R을 출력한다. 이와 같이, 믹싱 계수 Hij를 이용함으로써, 오디오 신호 L, R간의 상관의 정도나, 그들 신호의 지향성을 의도한 상태로 할 수 있다.

[수식 1]

도 4는, 멀티 채널 합성부(23)의 상세한 구성을 도시한 블록도이다. 또한, 디코더(22)도 아울러 도시되어 있다.

디코더(22)는, 부호화 다운 믹스 신호를 시간 영역의 다운 믹스 신호 M에 복호화하여, 복호화한 다운 믹스 신호 M을 멀티 채널 합성부(23)에 출력한다.

멀티 채널 합성부(23)는, 분석 필터 뱅크(231)와, 채널 확대부(232)와, 시간적 처리 장치(에너지 정형 장치)(900)를 구비하고 있다. 채널 확대부(232)는, 프리매트릭스 처리부(2321), 포스트매트릭스 처리부(2322), 제1 연산부(2323), 무상관 처리부(2324) 및 제2 연산부(2325)에 의해 구성되어 있다.

분석 필터 뱅크(231)는, 디코더(22)로부터 출력된 다운 믹스 신호 M을 취득하여, 그 다운 믹스 신호 M의 표현 형식을, 시간/주파수 하이브리드 표현으로 변환해, 약식의 벡터 x로 표시되는 제1 주파수 대역 신호 x로서 출력한다. 또한, 이 분석 필터 뱅크(231)는 제1 스테이지 및 제2 스테이지를 구비한다. 예를 들면, 제 1 스테이지는 QMF 필터 뱅크이고, 제2 스테이지는 나이키스트 필터 뱅크이다. 이들 스테이지에서는, 우선 QMF 필터(제1 스테이지)로 복수의 주파수 대역으로 분할하고, 또한 나이키스트 필터(제2 스테이지)로 저주파수측의 서브 밴드를 더욱 미세한 서브 밴드로 나눔으로써, 저주파수 서브 밴드의 스펙트럼의 분해능을 높이고 있다.

채널 확대부(232)의 프리매트릭스 처리부(2321)는, 신호 강도 레벨의 각 채널로의 배분(스케일링)을 나타내는 스케일링 팩터인 행렬 R1을, BC 정보를 이용하여 생성한다.

예를 들면, 프리매트릭스 처리부(2321)는, 다운 믹스 신호 M의 신호 강도 레벨과, 제1 다운 믹스 신호 M1, 제2 다운 믹스 신호 M2, 제3 다운 믹스 신호 M3 및 제4 다운 믹스 신호 M4의 신호 강도 레벨의 비율을 나타내는 레벨 정보 IID를 이용하여 행렬 R1을 생성한다.

요컨대, 프리매트릭스 처리부(2321)는, 도 2에 도시된 제1∼제5 채널 분리부(241∼245)가 무상관 신호를 생성하기 위해 이용할 수 있는 중간 신호를 생성하는 것을 목적으로 하고, 입력 다운 믹스 신호 M의 에너지 레벨을 스케일링하는 ILD 공간 파라미터로부터 합성 신호 M1로부터 M4의 ILD 공간적 파라미터의 벡터 엘리먼트 R1[0]으로부터 R1[4]로 이루어지는 스케일링 계수의 벡터 R1을 산출한다.

제1 연산부(2323)는, 분석 필터 뱅크(231)로부터 출력된 시간/주파수 하이브리드 표현의 제1 주파수 대역 신호 x를 취득하여, 예를 들면, 하기 식 (2) 및 식 (3)에 나타낸 바와 같이, 그 제1 주파수 대역 신호 x와 행렬 R1의 곱을 산출한다. 그리고, 제1 연산부(2323)는, 그 행렬 연산 결과를 나타내는 중간 신호 v를 출력한다. 요컨대, 제1 연산부(2323)는, 분석 필터 뱅크(231)로부터 출력된 시간/주파수 하이브리드 표현의 제1 주파수 대역 신호 x로부터, 4개의 다운 믹스 신호 M1∼M4를 분리한다.

[수식 2]

여기에서, M1∼M4는, 하기 식 (3)으로 나타난다.

[수식 3]

무상관 처리부(2324)는, 도 3에 나타낸 올패스 필터(261)로서의 기능을 가지 며, 중간 신호 v에 대해 올패스 필터 처리를 실시함으로써, 하기 식 (4)에 나타낸 바와 같이, 무상관 신호 w를 생성하여 출력한다. 또한, 무상관 신호 w의 구성 요소 Mrev 및 Mi, rev는, 다운 믹스 신호 M, Mi에 대해 무상관 처리가 실시된 신호이다.

[수식 4]

또한, 상기 식 (4)의 wDry는 원래의 다운 믹스 신호로 구성되고(이후 「드라이」 신호라고도 기재한다), wWet는 무상관 신호의 집합으로 구성된다(이후 「웨트」 신호라고도 기재한다).

포스트매트릭스 처리부(2322)는, 잔향의 각 채널로의 배분을 나타내는 행렬 R2를, BC 정보를 이용하여 생성한다. 요컨대, 포스트매트릭스 처리부(2322)는, 각각의 신호를 도출하기 위해, M과 Mi, rev를 믹싱하는 믹싱 계수의 매트릭스 R2를 산출한다. 예를 들면, 포스트매트릭스 처리부(2322)는, 음상의 폭이나 확산성을 나타내는 상관 정보 ICC로부터 믹싱 계수 Hij를 도출하여, 그 믹싱 계수 Hij로 구성되는 행렬 R2를 생성한다.

제2 연산부(2325)는, 무상관 신호 w와 행렬 R2의 곱을 산출하여, 그 행렬 연산 결과를 나타내는 출력 신호 y를 출력한다. 요컨대, 제2 연산부(2325)는, 무상관 신호 w로부터, 6개의 오디오 신호 Lf, Rf, Ls, Rs, C, LFE를 분리한다.

예를 들면, 도 2에 나타낸 바와 같이, 왼쪽 전방 오디오 신호 Lf는, 제2 다운 믹스 신호 M2로부터 분리되기 때문에, 그 왼쪽 전방 오디오 신호 Lf의 분리에는, 제2 다운 믹스 신호 M2와, 그것에 대응하는 무상관 신호 w의 구성 요소 M2, rev가 이용된다. 동일하게, 제2 다운 믹스 신호 M2는, 제1 다운 믹스 신호 M1로부터 분리되기 때문에, 그 제2 다운 믹스 신호 M2의 산출에는, 제1 다운 믹스 신호 M1과, 그것에 대응하는 무상관 신호 w의 구성 요소 M1, rev가 이용된다.

따라서, 왼쪽 전방 오디오 신호 Lf는, 하기의 식 (5)에 의해 나타난다.

[수식 5]

여기에서, 식 (5) 중의 Hij, A는, 제3 채널 분리부(243)에 있어서의 믹싱 계수이고, Hij, D는, 제2 채널 분리부(242)에 있어서의 믹싱 계수이고, Hij, E는, 제1 채널 분리부(241)에 있어서의 믹싱 계수이다. 식 (5)에 나타내는 3개의 수식은, 이하의 식 (6)에 나타내는 하나의 벡터 승산식으로 정리할 수 있다.

[수식 6]

왼쪽 전방 오디오 신호 Lf 이외의 다른 오디오 신호 Rf, C, LFE, Ls, Rs도, 상술한 바와 같은 행렬과 무상관 신호 w의 행렬의 연산에 의해 산출된다.

요컨대, 출력 신호 y는, 하기의 식 (7)에 의해 나타난다.

[수식 7]

제1∼제5 채널 분리부(241∼245)로부터의 믹싱 계수의 배수 집합으로 이루어지는 매트릭스인 R2는, 멀티 채널 신호를 생성하기 위해, M, Mrev, M2, rev, … M4, rev를 선형 결합한 것으로 보여진다. 후속의 에너지 정형 처리를 위해, yDry와 yWet는 따로 따로 기억된다.

시간적 처리 장치(900)는, 복원된 각 오디오 신호의 표현 형식을, 시간/주파수 하이브리드 표현으로부터 시간 표현으로 변환하고, 그 시간 표현의 복수의 오디오 신호를 멀티 채널 신호로서 출력한다. 또한, 시간적 처리 장치(900)는, 분석 필터 뱅크(231)와 정합하도록, 예를 들면 2개의 스테이지로 구성된다. 또, 행렬 R1, R2는, 상술한 파라미터 밴드 b마다, 행렬 R1(b), R2(b)로서 생성된다.

여기에서, 웨트 신호와 드라이 신호가 머지되기 전에, 웨트 신호는 드라이 신호의 시간적 엔벨로프에 따라 정형된다. 이 모듈, 시간적 처리 장치(900)는, 어택음 등과 같이 고속의 시간 변화 특성을 갖는 신호에 있어서 불가결한 것이다.

요컨대, 시간적 처리 장치(900)는, 어택음이나 음성 신호와 같은 시간 변화가 급격한 신호의 경우에, 음이 무뎌지는 것을 개선하기 위해, 다이렉트 신호의 시간 포락에 적합하도록, 확산 신호의 시간 포락을 정형한 신호와 다이렉트 신호를 가산하여 출력함으로써, 원음의 음질을 유지한다.

도 5는, 도 4에 도시된 시간적 처리 장치(900)의 상세한 구성을 도시한 블록도이다.

도 5에 도시된 바와 같이, 시간적 처리 장치(900)는, 스플리터(901)와, 합성 필터 뱅크(902, 903)와, 다운 믹스부(904)와, 밴드 패스 필터(BPF)(905, 906)와, 정규화 처리부(907, 908)와, 스케일 산출 처리부(909)와, 평활화 처리부(910)와, 연산부(911)와, 하이 패스 필터(HPF)(912)와, 가산부(913)를 구비한다.

스플리터(901)는, 복원된 신호 y를, 하기 식 (8), 식 (9)와 같이 다이렉트 신호 ydirect와, 확산 신호 ydiffuse로 분할한다.

[수식 8]

[수식 9]

합성 필터 뱅크(902)는, 6개의 다이렉트 신호를 시간 영역으로 변환한다. 합성 필터 뱅크(903)는, 합성 필터 뱅크(902)와 동일하게, 6개의 확산 신호를 시간 영역으로 변환한다.

다운 믹스부(904)는, 하기 식 (10)에 의거하여, 시간 영역에 있어서의 6개의 다이렉트 신호를 1개의 다이렉트 다운 믹스 신호 Mdirect가 되도록 가산한다.

[수식 10]

BPF(905)는, 1개의 다이렉트 다운 믹스 신호에 대역 통과 처리를 실시한다. BPF(906)는, BPF(905)와 동일하게, 6개의 모든 확산 신호에 대역 통과 처리를 실시한다. 대역 통과 처리가 실시된 다이렉트 다운 믹스 신호 및 확산 신호는 하기 식 (11)에 나타난다.

[수식 11]

정규화 처리부(907)는, 하기에 나타나는 식 (12)에 의거하여, 다이렉트 다운 믹스 신호가 1개의 처리 프레임에 걸쳐 1개의 에너지를 갖도록 정규화한다.

[수식 12]

정규화 처리부(908)는, 정규화 처리부(907)와 동일하게, 하기에 나타나는 식 (13)에 의거하여, 6개의 확산 신호를 정규화한다.

[수식 13]

정규화된 신호는, 스케일 산출 처리부(909)에 있어서, 시간 블록으로 분할된다. 그리고, 스케일 산출 처리부(909)는, 각각의 시간 블록에 대해, 하기 식 (14)에 의거하여 스케일 계수를 산출한다.

[수식 14]

또한, 도 6은, 상기 식 (14)의 시간 블록 b가 「블록 인덱스」를 나타내는 경우의, 상기 분할 처리를 도시한 도면이다.

마지막으로, 상기 확산 신호는 연산부(911)에 있어서 스케일링되어, 이하와 같이 가산부(913)에 있어서 상기 다이렉트 신호에 조합되기 전에, HPF(912)에 있어서 하기 식 (15)에 의거하여, 고역 필터 처리가 실시된다.

[수식 15]

또한, 평활화 처리부(910)는, 연속한 시간 블록에 걸친 스케일링 계수의 평활성을 높이는 부가적인 기술이다. 예를 들면, 연속한 시간 블록은, 도 6 중의 α로 표시된 바와 같이 각각 중복되어 있어도 되고, 중복 영역에 있어서, 「가중된」 스케일 계수는, 윈도우 기능을 이용하여 연산된다.

스케일링 처리(911)에 있어서도, 당업자에게는 주지의 그와 같은 공지의 중복 가산 기술을 이용할 수 있다.

이와 같이 종래의 시간적 처리 장치(900)에서는, 원래의 신호 각각에 대해 시간 영역의 각각의 무상관 신호를 정형하는 것에 의한, 상기 에너지 정형 방법을 제시하고 있다.

비특허 문헌 1 : J. Herre, et al, "The Reference Model Architecture for MPEG Spatial Audio Coding", 118th AES Convention, Barcelona

[발명이 해결하고자 하는 과제]

그러나, 종래의 에너지 정형 장치에서는, 반분이 다이렉트 신호이고, 또 반분이 확산 신호인 12의 신호에 대한 합성 필터 처리를 필요로 하기 때문에, 연산 부하가 매우 무겁다. 또, 다양한 대역 및 고역 필터를 사용하는 것은 필터 처리의 지연을 일으킨다.

즉, 종래의 에너지 정형 장치에서는, 스플리터(901)에 의해 분할된 다이렉트 신호와, 확산 신호를 합성 필터 뱅크(902, 903)에 의해 시간 영역의 신호로 각각 변환하고 있다. 이 때문에, 예를 들면 입력 오디오 신호가 6채널인 경우, 시간 프레임마다 6×2=12개의 합성 필터 처리가 필요해져, 처리량이 매우 크다는 문제가 있다.

또, 합성 필터 뱅크(902, 903)에 의해 변환된 시간 영역의 다이렉트 신호 및 확산 신호에 대해 대역 통과 처리를 실시하거나, 고역 통과 처리를 실시하고 있으므로, 이들 통과 처리에 필요로 하는 지연이 발생한다는 문제도 있다.

그래서 본 발명은, 상술한 문제를 해결하여, 합성 필터 처리의 처리량을 저감해, 통과 처리에 필요로 하는 지연의 발생을 방지할 수 있는 에너지 정형 장치 및 에너지 정형 방법을 제공하는 것을 목적으로 한다.

[과제를 해결하기 위한 수단]

상기 목적을 달성하기 위해, 본 발명에 따른 에너지 정형 장치에 있어서는, 멀티 채널 음향 신호의 복호화에 있어서 에너지 정형을 행하는 에너지 정형 장치로서, 하이브리드 시간·주파수 변환에 의해 얻어지는 서브 밴드 영역의 음향 신호를, 잔향 성분을 나타내는 확산 신호와, 비잔향 성분을 나타내는 다이렉트 신호로 분할하는 스플리터 수단과, 상기 다이렉트 신호를 다운 믹스함으로써 다운 믹스 신호를 생성하는 다운 믹스 수단과, 상기 다운 믹스 신호 및 상기 서브 밴드마다 분할된 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 실시함으로써, 각각, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호를 생성하는 필터 처리 수단과, 상기 대역 통과 다운 믹스 신호 및 상기 대역 통과 확산 신호에 대해, 각각의 에너지에 대해 정규화함으로써, 각각, 정규화 다운 믹스 신호 및 정규화 확산 신호를 생성하는 정규화 처리 수단과, 미리 정해진 시간 슬롯마다, 상기 정규화 확산 신호의 에너지에 대한 상기 정규화 다운 믹스 신호의 에너지의 크기를 나타내는 스케일 계수를 산출하는 스케일 계수 산출 수단과, 상기 확산 신호에 상기 스케일 계수를 곱함으로써, 스케일 확산 신호를 생성하는 승산 수단과, 상기 스케일 확산 신호에 대해 고역 통과 처리를 실시함으로써, 고역 통과 확산 신호를 생성하는 고역 통과 처리 수단과, 상기 고역 통과 확산 신호와 상기 다이렉트 신호를 가산함으로써, 가산 신호를 생성하는 가산 수단과, 상기 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환하는 합성 필터 처리 수단을 구비하는 것을 특징으로 한다.

이와 같이, 합성 필터 처리를 행하기 전에, 각 채널의 다이렉트 신호 및 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 행하도록 하고 있다. 이 때문에, 대역 통과 처리를 단순한 승산으로 실현할 수 있어, 대역 통과 처리에 필요로 하는 지연을 방지할 수 있다. 또한, 각 채널의 다이렉트 신호 및 확산 신호에 대해 처리가 끝난 후에 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환하는 합성 필터 처리를 행하도록 하고 있다. 이 때문에, 예를 들면 6채널의 경우, 합성 필터 처리의 개수를 6으로 줄일 수 있어, 합성 필터 처리의 처리량을 종래보다 반감시킬 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 에너지 정형 장치는, 상기 스케일 계수에 대해 시간 슬롯마다의 변동을 억제하는 평활화 처리를 실시함으로써, 평활화 스케일 계수를 생성하는 평활화 수단을 더 구비하는 것을 특징으로 할 수 있다.

이에 의해, 주파수 영역에서 구한 스케일 계수의 값이 급격하게 변화하거나, 또는 오버플로우하여, 음질 열화를 일으킨다는 문제의 발생을 미연에 방지할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 평활화 수단은, 현재의 시간 슬롯에 있어서의 스케일 계수에 대해 α를 곱하여 얻어지는 값과, 직전의 시간 슬롯에 있어서의 스케일 계수에 대해 (1-α)를 곱하여 얻어지는 값을 가산함으로써, 상기 평활화 처리를 실시하는 것을 특징으로 할 수도 있다.

이에 의해, 간단한 처리로, 주파수 영역에서 구한 스케일 계수의 값의 급격한 변화나, 오버플로우를 방지할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 에너지 정형 장치는, 상기 스케일 계수에 대해, 미리 정해진 상한치를 초과하는 경우에는 상한치로 제한함과 더불어, 미리 하한치를 하회하는 경우에는 하한치로 제한함으로써, 상기 스케일 계수에 대한 클립 처리를 실시하는 클립 처리 수단을 더 구비하는 것을 특징으로 할 수 있다.

이에 의해서도, 주파수 영역에서 구한 스케일 계수의 값이 급격하게 변화하거나, 또는 오버플로우하여, 음질 열화를 일으킨다는 문제의 발생을 미연에 방지할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 클립 처리 수단은, 상한치를 β로 한 경우에, 하한치를 1/β로 하여, 상기 클립 처리를 실시하는 것을 특징으로 할 수 있다.

이에 의해서도, 간단한 처리로, 주파수 영역에서 구한 스케일 계수의 값의 급격한 변화나, 오버플로우를 방지할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 다이렉트 신호에는, 상기 음향 신호의 저주파 대역에 있어서의 잔향 성분과 비잔향 성분, 및 상기 음향 신호의 고주파 대역에 있어서의 비잔향 성분이 포함되는 것을 특징으로 할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 확산 신호에는, 상기 음향 신호의 고주파 대역에 있어서의 잔향 성분이 포함되고, 상기 음향 신호의 저주파 성분이 포함되지 않는 것을 특징으로 할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 에너지 정형 장치는, 상기 음향 신호에 대한 에너지 정형을 실시할지 실시하지 않을지를 전환하는 제어 수단을 더 구비하는 것을 특징으로 할 수 있다. 이에 의해, 에너지 정형을 실시할지 실시하지 않을지를 전환함으로써, 음의 시간적 변동의 급준함이나, 음상의 확실한 정위의 양립을 실현할 수 있다.

또, 본 발명에 따른 에너지 정형 장치에 있어서는, 상기 제어 수단은, 에너지 정형 처리를 실시할지 실시하지 않을지를 제어하는 제어 플래그에 따라, 상기 확산 신호 및 상기 고역 통과 확산 신호 중 어느 하나를 선택하고, 상기 가산 수단은, 상기 제어 수단에서 선택된 신호와 상기 다이렉트 신호를 가산하는 것을 특징으로 할 수도 있다.

이에 의해, 시시각각 에너지 정형을 실시할지 실시하지 않을지를 간단히 전환할 수 있다.

또한, 본 발명은, 이러한 에너지 정형 장치로서 실현할 수 있을 뿐만 아니라, 이러한 에너지 정형 장치가 구비하는 특징적인 수단을 단계로 하는 에너지 정형 방법으로서 실현하거나, 그들 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나, 에너지 정형 장치가 구비하는 특징적인 수단을 집적 회로화할 수도 있다. 그리고, 그러한 프로그램은, CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해 배송할 수 있는 것은 말할 필요도 없다.

[발명의 효과]

이상의 설명으로부터 명확하게 알 수 있는 바와 같이, 본 발명에 따른 에너지 정형 장치에 의하면, 비트 스트림의 신택스를 변형하지 않고, 고음질을 유지한 채로, 합성 필터 처리의 처리량을 저감하여, 통과 처리에 필요로 하는 지연의 발생을 방지할 수 있다.

따라서, 본 발명에 의해, 휴대 전화기나 휴대 정보 단말로의 음악 콘텐츠의 배송이나, 시청이 보급되어 온 오늘날에 있어서의 본원 발명의 실용적 가치는 지극히 높다.

도 4는, 멀티 채널 합성부(23)의 상세한 구성을 도시한 블록도이다.

도 6은, 종래의 정형 방법에 있어서의 중복 윈도우화 처리에 의거한 평활화 기술을 도시한 도면이다.

도 7은, 본 실시 형태 1에 있어서의 시간적 처리 장치(에너지 정형 장치)의 구성을 도시한 도면이다.

도 8은, 서브 밴드 영역에 있어서의 대역 필터 처리 및 연산 절약을 위한 고려를 도시한 도면이다.

도 9는, 본 실시 형태 1에 있어서의 시간적 처리 장치(에너지 정형 장치)의 구성을 도시한 도면이다.

[부호의 설명]

600a, 600b : 시간적 처리 장치 601 : 스플리터

604 : 다운 믹스부 605, 606 : BPF

607, 608 : 정규화 처리부 609 : 스케일 산출 처리부

610 : 평활화 처리부 611 : 연산부

612 : HPF 613 : 가산부

614 : 합성 필터 뱅크 615 : 제어부

이하, 본 발명의 실시 형태에 대해, 도면을 이용하여 상세하게 설명한다. 또한, 이하에 나타내는 실시 형태는, 단지 다양한 진보성의 원리를 설명하고 있는 것에 지나지 않는다. 여기에 기재되는 상세한 설명의 변형은, 당업자에게 있어서는 명확한 것으로 이해된다. 따라서, 본 발명은, 특허 청구항의 범위에 있어서만 한정되는 것으로서, 이하의 구체적, 설명적인 상세에 한정되는 것은 아닌 것으로 한다.

(실시 형태 1)

이 시간적 처리 장치(600a)는, 도 5의 시간적 처리 장치(900) 대신에 멀티 채널 합성부(23)를 구성하는 장치이고, 도 7에 도시된 바와 같이, 스플리터(601)와, 다운 믹스부(604)와, BPF(605)와, BPF(606)와, 정규화 처리부(607)와, 정규화 처리부(608)와, 스케케 산출 처리부(609)와, 평활화 처리부(610)와, 연산부(611)와, HPF(612)와, 가산부(613)와, 합성 필터 뱅크(614)를 구비한다.

이 시간적 처리 장치(600a)에서는, 채널 확대부(232)로부터의 하이브리드 시간·주파수 표현된 서브 밴드 영역에서의 출력 신호를 직접 입력으로 하고, 마지막에 합성 필터로 시간 신호로 되돌림으로써, 종래 필요하게 된 합성 필터 처리 부하의 50퍼센트를 제거하여, 각 부에서의 처리를 더욱 단순화할 수 있도록 구성되어 있다.

스플리터(601)의 동작은, 도 5의 스플리터(901)와 동일하므로 설명을 생략한다. 요컨대, 스플리터(601)는, 하이브리드 시간·주파수 변환에 의해 얻어지는 서브 밴드 영역의 음향 신호를, 잔향 성분을 나타내는 확산 신호와, 비잔향 성분을 나타내는 다이렉트 신호로 분할한다.

여기에서, 다이렉트 신호에는, 음향 신호의 저주파 대역에 있어서의 잔향 성분과 비잔향 성분, 및 상기 음향 신호의 고주파 대역에 있어서의 비잔향 성분이 포함된다. 또, 확산 신호에는, 음향 신호의 고주파 대역에 있어서의 잔향 성분이 포함되고, 음향 신호의 저주파 성분이 포함되지 않는다. 이에 의해, 어택음 등의 시간 변화가 심한 음에 대한 적절한 무뎌짐 방지 처리를 실시할 수 있다.

비특허 문헌 1에 기재된 다운 믹스부(904)와, 본 발명에 있어서의 다운 믹스부(604)는, 처리하는 신호가 시간 영역 신호인지, 서브 밴드 영역 신호인지의 차이가 있다. 그러나, 어느 쪽이나 공통의 일반적인 멀티 채널 다운 믹스 처리 방법을 이용한다. 요컨대, 다운 믹스부(604)는, 다이렉트 신호를 다운 믹스함으로써 다운 믹스 신호를 생성한다.

BPF(605) 및 BPF(606)는, 다운 믹스 신호 및 상기 서브 밴드마다 분할된 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 실시함으로써, 각각, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호를 생성한다.

도 8에 도시된 바와 같이, BPF(605) 및 BPF(606)에 있어서의 대역 필터 처리는, 대역 필터의 대응하는 주파수 응답에 의한 각각의 서브 밴드의 단순한 승산으로 단순화된다. 넓은 의미로, 대역 필터는 승산기로서 간주할 수 있다. 여기에서, 800은 대역 필터의 주파수 응답을 나타낸다. 또한 여기에서 승산 연산은, 중요한 대역 응답을 가진 영역(801)만 행하면 되므로 연산량의 삭감이 더욱 가능해진다. 예를 들면 외부 스톱 밴드 영역(802 및 803)에 있어서는, 승산 결과는 0인 것으로 가정하면, 패스 밴드의 진폭이 1인 경우, 승산은 단순한 복제 처리로 간주할 수 있다.

요컨대, BPF(605) 및 BPF(606)에 있어서의 대역 필터 처리는, 하기 식 (16)에 의거하여 행할 수 있다.

[수식 16]

여기에서, ts는 시간 슬롯 인덱스, sb는 서브 밴드 인덱스이다. Bandpass(sp)는, 상기에서 설명한 바와 같이 단순한 승산기로 해도 된다.

정규화 처리부(607, 608)는, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호에 대해, 각각의 에너지에 대해 정규화함으로써, 각각, 정규화 다운 믹스 신호 및 정규화 확산 신호를 생성한다.

정규화 처리부(607) 및 정규화 처리부(608)는, 비특허 문헌 1에 개시된 정규화 처리부(907) 및 정규화 처리부(908)와의 차이는, 처리하는 신호의 영역이, 정규화 처리부(607) 및 정규화 처리부(608)는 서브 밴드 영역의 신호, 정규화 처리부(907) 및 정규화 처리부(908)는 시간 영역의 신호라는 점과, 이하에 나타내는 바와 같은 복소 공액을 이용하는 것을 제외하고, 일반적인 정규화 처리 방법, 요컨대 하기 식 (17)에 따른 처리 방법인 점이다.

이 경우, 서브 밴드마다 정규화 처리를 행할 필요가 있지만, 정규화 처리부(607) 및 정규화 처리부(608)의 이점에 의해, 0의 데이터를 가진 공간 영역에 있어서는 연산이 생략된다. 따라서, 정규화 대상의 모든 샘플에 대해 처리하지 않으면 안 되는 선행 문헌에 개시된 정규화 모듈에 비해, 전체적으로는 연산 부하의 증가는 거의 없다.

[수식 17]

스케일 산출 처리부(609)는, 미리 정해진 시간 슬롯마다, 정규화 확산 신호의 에너지에 대한 정규화 다운 믹스 신호의 에너지의 크기를 나타내는 스케일 계수를 산출한다. 보다 구체적으로는, 이하와 같이, 오히려 시간 블록마다가 아니라 시간 슬롯마다 실행되는 것을 제외하면, 스케일 산출 처리부(609)의 연산도 또한, 하기 식 (18)에 나타난 바와 같이, 원칙적으로 스케일 산출 처리부(909)와 동일하다.

[수식 18]

처리 대상이 되는 시간 영역 데이터가 훨씬 적은 경우, 평활화 처리부(910)의 중복 윈도우 처리에 의거한 평활화 기술도, 평활화 처리부(610)로 대체하지 않 으면 안 된다.

그러나, 본 실시 형태에 따른 평활화 처리부(610)의 경우, 매우 미세한 단위로 평활화 처리가 행해지기 때문에, 스케일 계수를 선행 문헌에 기재된 스케일 계수(식 (14))의 사고 방식을 그대로 이용하면, 평활화의 정도가 극단적으로 치우치는 경우가 있으므로, 스케일 계수 자신을 평활화할 필요가 있다.

그 때문에 예를 들면, 하기 식 (19)에 나타난 바와 같은 단순한 저역 필터를, 시간 슬롯마다 scalei(ts)의 대폭적인 변동을 억제하기 위해 이용할 수 있다.

[수식 19]

요컨대, 평활화 처리부(610)는, 스케일 계수에 대해 시간 슬롯마다의 변동을 억제하는 평활화 처리를 실시함으로써, 평활화 스케일 계수를 생성한다. 보다 상세하게는, 평활화 처리부(610)는, 현재의 시간 슬롯에 있어서의 스케일 계수에 대해 α를 곱하여 얻어지는 값과, 직전의 시간 슬롯에 있어서의 스케일 계수에 대해 (1-α)를 곱하여 얻어지는 값을 가산함으로써, 평활화 처리를 실시한다.

여기에서, α는 예를 들면 0.45로 설정한다. 또 α의 크기를 바꿈으로써, 효과를 제어하는 것도 가능해진다(0≤α≤1).

상기 α의 값은, 부호화 장치측인 오디오 인코더(10)로부터 송신하는 것도 가능하고, 송신측에서 평활화 처리를 제어 가능해져, 매우 다방면에 걸친 효과를 나타내는 것이 가능해진다. 물론, 상기와 같이 미리 정해진 α의 값을 평활화 처 리 장치 중에서 유지해도 된다.

그런데, 평활화 처리에서 처리하는 신호 에너지가 큰 경우 등, 특정한 대역에 에너지가 집중하여, 평활화 처리의 출력이 오버플로우할 우려가 있다. 그 경우에 대비하여, 예를 들면 하기 식 (20)과 같이 scalei(ts)의 클리핑 처리를 행한다.

[수식 20]

여기에서, β는 클리핑의 계수이고, min(), max()는 각각 최소치, 최대치를 나타낸다.

요컨대, 이 클립 처리 수단(도시 생략)은, 스케일 계수에 대해, 미리 정해진 상한치를 초과하는 경우에는 상한치로 제한함과 더불어, 미리 하한치를 하회하는 경우에는 하한치로 제한함으로써, 스케일 계수에 대한 클립 처리를 실시한다.

식 (20)은, 각 채널마다 계산한 scalei(ts)가, 예를 들면 β=2.82인 경우에는, 상한치가 2.82로, 하한치가 1/2.82로 설정되고, 그 범위의 값으로 제한되는 것을 의미하고 있다. 또한, 상기 임계치인 2.82 및 1/2.82는 일례로서, 그 값으로 한정하는 것은 아니다.

연산부(611)는, 확산 신호에 스케일 계수를 곱함으로써, 스케일 확산 신호를 생성한다. HPF(612)는, 스케일 확산 신호에 대해 고역 통과 처리를 실시함으로써, 고역 통과 확산 신호를 생성한다. 가산부(613)는, 고역 통과 확산 신호와 다이렉트 신호를 가산함으로써, 가산 신호를 생성한다.

구체적으로는, 연산부(611), HPF(612) 및 다이렉트 신호와의 가산부(613)는, 각각 합성 필터 뱅크(902), HPF(912), 및 가산부(913)와 같이 행해진다.

그러나, 상기 처리는 하기 식 (21)에 나타난 바와 같이 조합할 수 있다.

[수식 21]

전술한 BPF(605) 및 BPF(606)에 있어서의 연산 절약을 위한 고려(예를 들면, 스톱 밴드에 0을, 패스 밴드에 복제 처리를 적용)는, 고역 필터(612)에 있어서도 적용 가능하다.

합성 필터 뱅크(614)는, 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환한다. 즉, 마지막으로, 합성 필터 뱅크(614)에 의해, 새로운 다이렉트 신호 y1을 시간 영역 신호로 변환한다.

또한, 본 발명에 포함되는 각 구성 요소를, LSI(LargeScaleIntegration) 등의 집적 회로에 의해 구성해도 된다.

또한 본 발명은, 이들 장치 및 각 구성 요소에 있어서의 동작을 컴퓨터에 실행시키는 프로그램으로서도 실현할 수 있다.

(실시 형태 2)

또, 본 발명을 적용할지의 결정은, 비트 스트림 중의 몇 개의 제어 플래그를 설정하여, 도 9에 도시된 시간적 처리 장치(600b)의 제어부(615)에 있어서, 그 플 래그에 의해 일부 복원 신호의 각 프레임마다 작동시킬지/작동시키지 않을지를 제어하는 것도 가능하다. 요컨대, 제어부(615)는, 음향 신호에 대한 에너지 정형을 실시할지 실시하지 않을지를 시간 프레임마다 또는 채널마다 전환하도록 해도 된다. 이에 의해, 에너지 정형을 실시할지 실시하지 않을지를 전환함으로써, 음의 시간적 변동의 급준함이나, 음상의 확실한 정위의 양립을 실현할 수 있다.

이 때문에 예를 들면 부호화 처리의 과정에서, 음향 채널을 분석해, 급격한 변화를 수반하는 에너지 엔벨로프를 갖고 있는지의 여부를 판정하여, 해당하는 음향 채널이 있는 경우는, 에너지 정형이 필요하기 때문에, 상기 제어 플래그는 온으로 설정하고, 복호시에 제어 플래그에 따라 정형 처리를 적용시키도록 해도 된다.

요컨대, 제어 수단(615)은, 상기 제어 플래그에 따라, 확산 신호 및 고역 통과 확산 신호 중 어느 하나를 선택하고, 가산부(613)는, 제어부(615)에서 선택된 신호와 다이렉트 신호를 가산하도록 해도 된다. 이에 의해, 시시각각 에너지 정형을 실시할지 실시하지 않을지를 간단히 전환할 수 있다.

본 발명에 따른 에너지 정형 장치는, 메모리의 필요 용량을 줄여, 칩 사이즈를 보다 작게 할 수 있는 기술이고, 홈시어터 시스템, 차재 음향 시스템, 전자 게임 시스템이나 휴대 전화기 등, 멀티 채널 재생이 요망되는 장치에 적용하는 것이 가능하다.

Claims

멀티 채널 음향 신호의 복호화에서 에너지 정형을 행하는 에너지 정형 장치로서,

하이브리드 시간·주파수 변환에 의해 얻어지는 서브 밴드 영역의 음향 신호를, 잔향 성분을 나타내는 확산 신호와, 비잔향 성분을 나타내는 다이렉트 신호로 분할하는 스플리터 수단과,

상기 다이렉트 신호를 다운 믹스함으로써 다운 믹스 신호를 생성하는 다운 믹스 수단과,

상기 다운 믹스 신호 및 상기 서브 밴드마다 분할된 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 실시함으로써, 각각, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호를 생성하는 필터 처리 수단과,

상기 대역 통과 다운 믹스 신호 및 상기 대역 통과 확산 신호에 대해, 각각의 에너지에 대해 정규화함으로써, 각각, 정규화 다운 믹스 신호 및 정규화 확산 신호를 생성하는 정규화 처리 수단과,

미리 정해진 시간 슬롯마다, 상기 정규화 확산 신호의 에너지에 대한 상기 정규화 다운 믹스 신호의 에너지의 크기를 나타내는 스케일 계수를 산출하는 스케일 계수 산출 수단과,

상기 확산 신호에 상기 스케일 계수를 곱함으로써, 스케일 확산 신호를 생성하는 승산 수단과,

상기 스케일 확산 신호에 대해 고역 통과 처리를 실시함으로써, 고역 통과 확산 신호를 생성하는 고역 통과 처리 수단과,

상기 고역 통과 확산 신호와 상기 다이렉트 신호를 가산함으로써, 가산 신호를 생성하는 가산 수단과,

상기 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환하는 합성 필터 처리 수단을 구비하는 것을 특징으로 하는 에너지 정형 장치.
청구항 1에 있어서,

상기 에너지 정형 장치는, 상기 스케일 계수에 대해 시간 슬롯마다의 변동을 억제하는 평활화 처리를 실시함으로써, 평활화 스케일 계수를 생성하는 평활화 수단을 더 구비하는 것을 특징으로 하는 에너지 정형 장치.
청구항 2에 있어서,

상기 평활화 수단은, 현재의 시간 슬롯에서의 스케일 계수에 대해 α를 곱하여 얻어지는 값과, 직전의 시간 슬롯에서의 스케일 계수에 대해 (1-α)를 곱하여 얻어지는 값을 가산함으로써, 상기 평활화 처리를 실시하는 것을 특징으로 하는 에너지 정형 장치.
청구항 1에 있어서,

상기 에너지 정형 장치는, 상기 스케일 계수에 대해, 미리 정해진 상한치를 초과하는 경우에는 상한치로 제한함과 더불어, 미리 하한치를 하회하는 경우에는 하한치로 제한함으로써, 상기 스케일 계수에 대한 클립 처리를 실시하는 클립 처리 수단을 더 구비하는 것을 특징으로 하는 에너지 정형 장치.
청구항 4에 있어서,

상기 클립 처리 수단은, 상한치를 β로 한 경우에, 하한치를 1/β로 하여, 상기 클립 처리를 실시하는 것을 특징으로 하는 에너지 정형 장치.
청구항 1에 있어서,

상기 다이렉트 신호에는, 상기 음향 신호의 저주파 대역에서의 잔향 성분과 비잔향 성분, 및 상기 음향 신호의 고주파 대역에서의 비잔향 성분이 포함되는 것을 특징으로 하는 에너지 정형 장치.
청구항 1에 있어서,

상기 확산 신호에는, 상기 음향 신호의 고주파 대역에서의 잔향 성분이 포함되고, 상기 음향 신호의 저주파 성분이 포함되지 않는 것을 특징으로 하는 에너지 정형 장치.
청구항 1에 있어서,

상기 에너지 정형 장치는, 상기 음향 신호에 대한 에너지 정형을 실시할지 실시하지 않을지를 전환하는 제어 수단을 더 구비하는 것을 특징으로 에너지 정형 장치.
청구항 8에 있어서,

상기 제어 수단은, 음향 프레임마다 에너지 정형 처리를 실시할지의 여부를 나타내는 제어 플래그에 따라, 실시하지 않는 경우에는 상기 확산 신호를, 실시하는 경우에는 상기 고역 통과 확산 신호를 선택하고,

상기 가산 수단은, 상기 제어 수단에서 선택된 신호와 상기 다이렉트 신호를 가산하는 것을 특징으로 하는 에너지 정형 장치.
멀티 채널 음향 신호의 복호화에서 에너지 정형을 행하는 에너지 정형 방법으로서,

하이브리드 시간·주파수 변환에 의해 얻어지는 서브 밴드 영역의 음향 신호를, 잔향 성분을 나타내는 확산 신호와, 비잔향 성분을 나타내는 다이렉트 신호로 분할하는 스플리터 단계와,

상기 다이렉트 신호를 다운 믹스함으로써 다운 믹스 신호를 생성하는 다운 믹스 단계와,

상기 다운 믹스 신호 및 상기 서브 밴드마다 분할된 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 실시함으로써, 각각, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호를 생성하는 필터 처리 단계와,

상기 대역 통과 다운 믹스 신호 및 상기 대역 통과 확산 신호에 대해, 각각의 에너지에 대해 정규화함으로써, 각각, 정규화 다운 믹스 신호 및 정규화 확산 신호를 생성하는 정규화 처리 단계와,

미리 정해진 시간 슬롯마다, 상기 정규화 확산 신호의 에너지에 대한 상기 정규화 다운 믹스 신호의 에너지의 크기를 나타내는 스케일 계수를 산출하는 스케일 계수 산출 단계와,

상기 확산 신호에 상기 스케일 계수를 곱함으로써, 스케일 확산 신호를 생성하는 승산 단계와,

상기 스케일 확산 신호에 대해 고역 통과 처리를 실시함으로써, 고역 통과 확산 신호를 생성하는 고역 통과 처리 단계와,

상기 고역 통과 확산 신호와 상기 다이렉트 신호를 가산함으로써, 가산 신호를 생성하는 가산 단계와,

상기 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환하는 합성 필터 처리 단계를 포함하는 것을 특징으로 하는 에너지 정형 방법.
청구항 10에 있어서,

상기 에너지 정형 방법은, 상기 승산 단계 전에, 상기 스케일 계수에 대해 시간 슬롯마다의 변동을 억제하는 평활화 처리를 실시함으로써, 평활화 스케일 계수를 생성하는 평활화 단계를 더 포함하는 것을 특징으로 하는 에너지 정형 방법.
청구항 11에 있어서,

상기 평활화 단계에서는, 현재의 시간 슬롯에 있어서의 스케일 계수에 대해 α를 곱하여 얻어지는 값과, 직전의 시간 슬롯에 있어서의 스케일 계수에 대해 (1-α)를 곱하여 얻어지는 값을 가산함으로써, 상기 평활화 처리를 실시하는 것을 특징으로 하는 에너지 정형 방법.
청구항 10에 있어서,

상기 에너지 정형 방법은, 상기 승산 단계 전에, 상기 스케일 계수에 대해, 미리 정해진 상한치를 초과하는 경우에는 상한치로 제한함과 더불어, 미리 하한치를 하회하는 경우에는 하한치로 제한함으로써, 상기 스케일 계수에 대한 클립 처리를 실시하는 클립 처리 단계를 더 포함하는 것을 특징으로 하는 에너지 정형 방법.
청구항 13에 있어서,

상기 클립 처리 단계에서는, 상한치를 β로 한 경우에, 하한치를 1/β로 하여, 상기 클립 처리를 실시하는 것을 특징으로 하는 에너지 정형 방법.
청구항 10에 있어서,

상기 다이렉트 신호에는, 상기 음향 신호의 저주파 대역에서의 잔향 성분과 비잔향 성분, 및 상기 음향 신호의 고주파 대역에서의 비잔향 성분이 포함되는 것을 특징으로 하는 에너지 정형 방법.
청구항 10에 있어서,

상기 확산 신호에는, 상기 음향 신호의 고주파 대역에서의 잔향 성분이 포함되고, 상기 음향 신호의 저주파 성분이 포함되지 않는 것을 특징으로 하는 에너지 정형 방법.
청구항 10에 있어서,

상기 에너지 정형 방법은, 상기 스플리터 단계 전에, 상기 음향 신호에 대한 에너지 정형을 실시할지 실시하지 않을지를 전환하는 제어 단계를 더 포함하는 것을 특징으로 하는 에너지 정형 방법.
청구항 17에 있어서,

상기 제어 단계에서는, 음향 프레임마다 에너지 정형 처리를 실시할지의 여부를 나타내는 제어 플래그에 따라, 실시하지 않는 경우에는 상기 확산 신호를, 실시하는 경우에는 상기 고역 통과 확산 신호를 선택하고,

상기 가산 단계에서는, 상기 제어 단계에서 선택된 신호와 상기 다이렉트 신호를 가산하는 것을 특징으로 하는 에너지 정형 방법.
멀티 채널 음향 신호의 복호화에서 에너지 정형을 행하기 위한 프로그램이 저장된 저장 매체로서,

청구항 10에 기재된 에너지 정형 방법에 포함되는 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램이 저장된 저장 매체.
멀티 채널 음향 신호의 복호화에서 에너지 정형을 행하기 위한 집적 회로로서,

하이브리드 시간·주파수 변환에 의해 얻어지는 서브 밴드 영역의 음향 신호를, 잔향 성분을 나타내는 확산 신호와, 비잔향 성분을 나타내는 다이렉트 신호로 분할하는 스플리터와,

상기 다이렉트 신호를 다운 믹스함으로써 다운 믹스 신호를 생성하는 다운 믹스 회로와,

상기 다운 믹스 신호 및 상기 서브 밴드마다 분할된 확산 신호에 대해, 서브 밴드마다 대역 통과 처리를 실시함으로써, 각각, 대역 통과 다운 믹스 신호 및 대역 통과 확산 신호를 생성하는 필터와,

상기 대역 통과 다운 믹스 신호 및 상기 대역 통과 확산 신호에 대해, 각각의 에너지에 대해 정규화함으로써, 각각, 정규화 다운 믹스 신호 및 정규화 확산 신호를 생성하는 정규화 처리 회로와,

미리 정해진 시간 슬롯마다, 상기 정규화 확산 신호의 에너지에 대한 상기 정규화 다운 믹스 신호의 에너지의 크기를 나타내는 스케일 계수를 산출하는 스케일 계수 산출 회로와,

상기 확산 신호에 상기 스케일 계수를 곱함으로써, 스케일 확산 신호를 생성 하는 승산기와,

상기 스케일 확산 신호에 대해 고역 통과 처리를 실시함으로써, 고역 통과 확산 신호를 생성하는 고역 통과 처리 회로와,

상기 고역 통과 확산 신호와 상기 다이렉트 신호를 가산함으로써, 가산 신호를 생성하는 가산기와,

상기 가산 신호에 대해 합성 필터 처리를 실시함으로써, 시간 영역 신호로 변환하는 합성 필터를 구비하는 에너지 정형 장치를 집적화한 것을 특징으로 하는 집적 회로.