KR20110095339A

KR20110095339A - 위상값 평활화를 이용하여 다운믹스 오디오 신호를 업믹스하는 장치, 방법 및 컴퓨터 프로그램

Info

Publication number: KR20110095339A
Application number: KR1020117013619A
Authority: KR
Inventors: 마티아스 노이신거; 줄리엔 로빌리알드; 요하네스 힐페르트
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2009-04-08
Filing date: 2010-04-01
Publication date: 2011-08-24
Also published as: RU2550525C2; CN103325374B; US20200168233A1; CN102257563A; US9734832B2; ES2452569T3; WO2010115850A1; ES2511390T3; BRPI1004215A2; US20170301356A1; HK1163915A1; US11430453B2; CA2746524A1; RU2011123124A; TWI420512B; US10056087B2; MY160545A; AU2010233863A1; SG174117A1; PL2405425T3

Abstract

하나 이상의 다운믹스 오디오 채널을 나타내는 다운믹스 오디오 신호를 다수의 업믹스된 오디오 채널을 나타내는 업믹스된 오디오 신호로 업믹스하는 장치는 업믹서 및 파라미터 결정기를 포함한다. 업믹서는 일시 가변 업믹스 파라미터를 적용하여, 업믹스된 오디오 신호를 획득하기 위해 다운믹스 신호를 업믹스하도록 구성되며, 일시 가변 업믹스 파라미터는 일시 가변 평활화된 위상값을 포함한다. 파라미터 결정기는, 양자화된 업믹스 파라미터 입력 정보를 기반으로 업믹서에 의해 이용하기 위한 하나 이상의 일시 평활화된 업믹스 파라미터를 획득하도록 구성된다. 파라미터 결정기는, 이전의 평활화된 위상값 및 입력 위상 정보를 기반으로 현재 평활화된 위상값을 결정하기 위해, 위상 변화 제한 알고리즘을 이용하여 이전의 평활화된 위상값의 스케일된 버전을 입력 위상 정보의 스케일된 버전과 조합하도록 구성된다.

Description

위상값 평활화를 이용하여 다운믹스 오디오 신호를 업믹스하는 장치, 방법 및 컴퓨터 프로그램{APPARATUSM, METHOD AND COMPUTER PROGRAM FOR UPMIXING A DOWNMIX AUDIO SIGNAL USING A PHASE VALUE SMOOTHING}

본 발명에 따른 실시예들은 다운믹스 오디오 신호를 업믹스하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.

본 발명에 따른 일부 실시예들은 파라미트릭(parametric) 멀티채널 오디오 코딩을 위한 적응 위상 파라미터 평활화에 관한 것이다.

다음에는, 본 발명의 문맥이 기술될 것이다. 파라미트릭 오디오 코딩의 영역의 최근의 개발로, 멀티채널 오디오 (예컨대, 5.1) 신호를 공동 코딩(jointly coding) 기술이 하나 (또는 그 이상) 다운믹스 채널 플러스 보조(side) 정보 스트림으로 넘겨졌다. 이들 기술은 바이노럴 큐 코딩(Binaural Cue Coding), 파라미트릭 스테레오 (Parametric Stereo) 또는 MPEG 서라운드(MPEG Surround) 등으로 공지되어 있다.

많은 공보는 소위 "Binaural Cue Coding" 파라미트릭 멀티채널 코딩 접근법을 기술하고 있다. 예컨대, 참고 문헌 [1][2][3][4][5] 참조.

"Parametric Stereo"는 전송 모노 신호 플러스 파라미터 보조 정보를 기반으로 2 채널 스테레오 신호의 파라미트릭 코딩을 위한 관련된 기술이다. 예컨대, 참고 문헌 [6][7] 참조.

"MPEG Surround"는 파라미트릭 멀티채널 코딩을 위한 ISO 표준이다. 예컨대, 참고 문헌 [8] 참조.

상술한 기술은 인간의 공간 청각을 위한 관련된 지각 큐(perceptual cues)를 콤팩트 형식으로 관련된 모노 또는 스테레오 다운믹스 신호와 함께 수신기로 전송하는 것에 기반으로 한다. 전형적인 큐는, 채널간 레벨차 (ILD), 채널간 상관 또는 코히어런스 (ICC) 뿐만 아니라, 채널간 시간차 (ITD), 채널간 위상차 (IPD), 및 전체 위상차 (OPD)일 수 있다.

이들 파라미터는, 어떤 경우에, 인간의 청각 분해능에 적응된 주파수 및 시간 분해능으로 전송된다.

전송을 위해, 파라미터는 전형적으로 양자화되고 (또는, 어떤 경우에는 양자화될 필요가 있으며), 여기서, 종종 (특히, 저비트 레이트 시나리오에 대해서는) 오히려 거친(coarse) 양자화가 이용된다.

업데이터 시간 간격은 신호 특성에 따라 인코더에 의해 결정된다. 이것은, 다운믹스 신호의 모든 샘플에 대해서는 아니지만, 파라미터가 전송된다는 것을 의미한다. 환언하면, 어떤 경우에, 상술한 큐를 나타내는 파라미터의 전송률 (또는 전송 주파수, 또는 업데이트 레이트)은 오디오 샘플 (또는 오디오 샘플의 그룹)의 전송률 (또는 전송 주파수, 또는 업데이트 레이트)보다 작을 수 있다.

채널간 위상차 (IPDs) 및 전체 위상차 (OPDs)의 양방을 전송하는 대신에, 또한, 채널간 위상차 (IPDs)만을 전송하여, 디코더 내에서 전체 위상차 (OPDs)를 추정할 수 있다.

어떤 경우에, 디코더가 갭리스(gapless) 방식으로 시간이 지남에 따라 파라미터를 연속적으로, 예컨대, 각 샘플 (또는 오디오 샘플)에 적용해야 하므로, 중간 파라미터는, 전형적으로 과거 및 현재 파라미터 세트 간의 보간(interpolation)에 의해 디코더 측에서 도출될 필요가 있다.

그러나, 일부 통상의 보간 접근법은 오디오 품질을 저하시킨다.

다음에는, 일반적인 바이노럴 큐 코딩 기법이 도 7을 참조하여 기술될 것이다. 도 7은 바이노럴 큐 코딩 인코더(810) 및 바이노럴 큐 코딩 디코더(820)를 포함하는 바이노럴 큐 코딩 전송 시스템(800)의 블록 개략도를 도시한 것이다. 바이노럴 큐 코딩 인코더(810)는, 예컨대, 다수의 오디오 신호(812a, 812b, 및 812c)를 수신할 수 있다. 또한, 바이노럴 큐 코딩 인코더(810)는 다운믹서(814)를 이용하여 다운믹스 신호(816)를 획득하기 위해 오디오 입력 신호(812a-812c)를 다운믹스하도록 구성되며, 이 다운믹스 신호(816)는, 예컨대, 합(sum) 신호일 수 있고, "AS" 또는 "X"로 나타낼 수 있다. 또한, 바이노럴 큐 코딩 인코더(810)는 분석기(818)를 이용하여 보조 정보 신호(819) ("SI")를 획득하기 위해 오디오 입력 신호(812a-812c)를 분석하도록 구성된다. 합 신호(816) 및 보조 정보 신호(819)는 바이노럴 큐 코딩 인코더(810)에서 바이노럴 큐 코딩 디코더(820)로 전송된다. 바이노럴 큐 코딩 디코더(820)는, 예컨대, 합 신호(816) 및 채널간 큐(824)를 기반으로 오디오 채널 y1, y2, ..., yN을 포함하는 멀티채널 오디오 출력 신호를 합성하도록 구성될 수 있다. 이를 위해, 바이노럴 큐 코딩 디코더(820)는, 합 신호(816) 및 채널간 큐(824)를 수신하여, 오디오 신호 y1, y2, ..., yN를 제공하는 바이노럴 큐 코딩 합성기(822)를 포함할 수 있다.

바이노럴 큐 코딩 디코더(820)는, 보조 정보(819) 및, 선택적으로 사용자 입력(827)을 수신하도록 구성되는 보조 정보 프로세서(826)를 더 포함한다. 보조 정보 프로세서(826)는 보조 정보(819) 및 선택적 사용자 입력(827)을 기반으로 채널간 큐(824)를 제공하도록 구성된다.

요약하면, 오디오 입력 신호는 분석되어 다운믹스된다. 합 신호 플러스 보조 정보는 디코더로 전송된다. 채널간 큐는 보조 정보 및 로컬 사용자 입력으로부터 생성된다. 바이노럴 큐 코딩 합성은 채널간 오디오 출력 신호를 생성한다.

상세 사항에 대해서는, 논문 "Binaural Cue Coding Part II: Schemes and applications," by C. Faller and F. Baumgarte (published in: IEEE Transactions on Speech and Audio Processing, vol. 11, no. 6, Nov. 2003)을 참조한다.

그러나, 많은 통상의 바이노럴 큐 코딩 디코더는, 보조 정보가 거친 양자화될 경우에 저하된 품질 또는 불충분한 분해능을 가진 멀티채널 출력 오디오 신호를 제공한다는 것이 발견되었다.

이런 문제 때문에, 다운믹스 오디오 신호를 업믹스된 오디오 신호로 업믹스하여, 업믹스 신호의 서로 다른 채널 간의 위상 관계를 나타내는 보조 정보가 비교적 저 분해능으로 양자화될 경우에 청각 효과(hearing impression)의 저하를 감소시키는 개선된 개념의 필요성이 존재한다.

본 발명에 따른 한 실시예는, 하나 이상의 다운믹스 오디오 채널을 나타내는 다운믹스 오디오 신호를 다수의 업믹스된 오디오 채널을 나타내는 업믹스된 오디오 신호로 업믹스하는 장치를 생성한다. 이 장치는, 일시 가변 업믹스 파라미터를 적용하여, 업믹스된 오디오 신호를 획득하기 위해 다운믹스 신호를 업믹스하도록 구성되는 업믹서를 포함한다. 일시 가변 업믹스 파라미터는 일시 가변 평활화된 위상값을 포함한다. 이 장치는, 양자화된 업믹스 파라미터 입력 정보를 기반으로 업믹서에 의해 이용될 하나 이상의 일시 평활화된 업믹스 파라미터를 획득하도록 구성되는 파라미터 결정기(parameter determinator)를 더 포함한다. 이 파라미터 결정기는, 이전의 평활화된 위상값 및 입력 위상 정보를 기반으로 현재 평활화된 위상값을 결정하기 위해, 위상 변화 제한 알고리즘을 이용하여 이전의 평활화된 위상값의 스케일된 버전을 입력 위상 정보의 스케일된 버전과 조합하도록 구성된다.

본 발명에 따른 이런 실시예는, 이전의 평활화된 위상값을 위상 변화 제한 알고리즘과 조합함을 고려함으로써 평활화된 위상값의 불연속성이 상당히 작게 유지되도록 하기 때문에, 업믹스 신호의 가청 아티팩트(audible artifacts)가 위상 변화 제한 알고리즘을 이용하여 이전의 평활화된 위상값의 스케일된 버전을 입력 위상 정보의 스케일된 버전과 조합함으로써 감소되거나 회피될 수 있는 발견에 기초로 한다. 결과적으로, 연속 평활화된 위상값 (예컨대, 이전의 평활화된 위상값 및 현재 평활화된 위상값) 간의 불연속성의 감소는, 연속 평활화된 위상값 (예컨대, 이전의 평활화된 위상값 및 현재 평활화된 위상값)이 적용되는 오디오 신호의 부분 간의 전이(transition)에서 가청 주파수 변화를 회피하는데 도움을 준다 (또는 상당히 작게 유지시킨다).

상술한 바를 요약하면, 본 발명은 파라미트릭 멀티채널 오디오 코딩을 위한 적응 위상 처리의 일반적 개념을 생성한다. 본 발명에 따른 실시예들은, 위상 파라미터의 거친 양자화 또는 급속한 변화로 생성된 출력 신호의 아티팩트를 감소시킴으로써 다른 기술을 대신한다.

바람직한 실시예에서, 파라미터 결정기는, 이전의 평활화된 위상값의 스케일된 버전을 입력 위상 정보의 스케일된 버전과 조합함으로써, 현재 평활화된 위상값이 제 1 각도 영역(angle region) 및 제 2 각도 영역에서 보다 작은 각도 영역 내에 있도록 구성되는데, 상기 제 1 각도 영역은, 수학적으로 양의 방향에서, 이전의 평활화된 위상값으로 정의된 제 1 개시 방향으로부터 입력 위상 정보로 정의된 제 1 종료 방향으로 확장하고, 상기 제 2 각도 영역은, 수학적으로 양의 방향에서, 입력 위상 정보로 정의된 제 2 개시 방향으로부터 이전의 평활화된 위상값으로 정의된 제 2 종료 방향으로 확장한다. 따라서, 본 발명의 일부 실시예에서, 위상값의 반복 (무한 임펄스 응답형) 평활화에 의해 생기는 위상 변화는 가능한 작게 유지된다. 따라서, 가청 아티팩트는 가능한 작게 유지된다. 예컨대, 장치는 현재 평활화된 위상값이 2개의 각도 범위에서 더 작은 각도 범위 내에 확실히 위치되게 하도록 구성될 수 있으며, 여기서, 2개의 각도 범위 중 제 1 각도 범위는 180⁰ 이상을 커버하고, 2개의 각도 범위 중 제 2 각도 범위는 180⁰ 미만을 커버하며, 2개의 각도 범위는 함께 360⁰를 커버한다. 따라서, 위상 변화 제한 알고리즘은, 이전의 평활화된 위상값 및 현재 평활화된 위상값 간의 위상차가 확실히 180⁰보다 작게, 바람직하게는 180⁰보다 한층 더 작게 한다. 이것은 가청 아티팩트를 가능한 작게 유지시키는데 도움을 준다.

바람직한 실시예에서, 파라미터 결정기는, 위상 입력 정보와 이전의 평활화된 위상값 간의 차에 따라 다수의 서로 다른 조합 규칙에서 하나의 조합 규칙을 선택하여, 선택된 조합 규칙을 이용하여 현재 평활화된 위상값을 결정하도록 구성된다. 따라서, 이전의 평활화된 위상값 및 현재 평활화된 위상값 간의 위상 변화가 확실히 미리 정해진 임계치 이하나, 더욱 일반적으로, 상당히 작게 또는 가능한 작게 하는 적절한 조합 규칙이 선택되는 것이 달성될 수 있다. 따라서, 본 발명의 장치는 고정된 조합 규칙을 가진 비교 가능한 장치보다 성능이 우수하다.

바람직한 실시예에서, 파라미터 결정기는, 위상 입력 정보와 이전의 평활화된 위상값 간의 차가 -π 및 +π 간의 범위 내에 있을 경우에는 기본 조합 규칙을 선택하고, 만약 그렇지 않으면 하나 이상의 서로 다른 위상 적응 조합 규칙을 선택하도록 구성된다. 기본 조합 규칙은 위상 입력 정보의 스케일된 버전 및 이전의 평활화된 위상값의 스케일된 버전의 일정한 피가수(constant summand) 없는 선형 조합(linear combination)을 정의한다. 하나 이상의 위상 적응 조합 규칙은, 일정한 위상 적응 피가수를 고려하여, 입력 위상 정보의 스케일된 버전 및 이전의 평활화된 위상값의 스케일된 버전의 선형 조합을 정의한다. 따라서, 이전의 평활화된 위상값 및 입력 위상 정보에 대해 유익하고 실시하기 쉬운 선형 조합이 실행될 수 있으며, 여기서, 부가적인 피가수는, 이전의 평활화된 위상값 및 입력 위상 정보 간의 차가 (π보다 크거나 -π 보다 작은) 비교적 큰 값을 취할 경우에 선택적으로 적용될 수 있다. 따라서, 이전의 평활화된 위상값 및 입력 위상 정보 간의 차가 큰 문제가 있는 경우는 특히 적응되는 위상 적응 조합 규칙으로 처리되어, 다음 평활화된 위상값 간의 위상 변화를 상당히 작게 유지시킬 수 있다.

바람직한 실시예에서, 파라미터 결정기는 평활 제어기를 포함하며, 평활 제어기는, 평활화된 위상량과 대응하는 입력 위상량 간의 차가 미리 정해진 임계치보다 클 경우에는 위상값 평활 기능을 선택적으로 디스에이블(disable)시킬 수 있도록 구성된다. 따라서, 위상값 평활 기능은 입력 위상 정보의 변화가 클 경우에는 디스에이블될 수 있다. 전형적으로, 입력 위상 정보의 매우 큰 변화는, 실제로, 비평활화된 위상 변화를 실행하는 것이 바람직함을 나타내는데, 그 이유는 (양자화 단계보다 상당히 큰) 입력 위상 정보의 비교적 큰 변화가 종종 오디오 신호 내의 특정 사운드 이벤트(sound events)에 관계되기 때문이다. 따라서, 대부분의 경우에 청각 효과를 개선하는 위상값의 평활은 이런 특정 경우에는 유해할 수 있다. 따라서, 청각 효과는 위상값 평활 기능을 선택적으로 디스에이블함으로서 개선될 수도 있다.

바람직한 실시예에서, 평활 제어기는, 평활화된 위상량으로서, 2개의 평활화된 위상값 간의 차를 평가하고, 대응하는 입력 위상량으로서, 2개의 평활화된 위상값에 대응하는 2개의 입력 위상값 간의 차를 평가하도록 구성된다. 어떤 경우에, 멀티채널 오디오 신호의 서로 다른 (업믹스된) 채널과 관련되는 위상값 간의 차는 위상값 평활 기능이 인에이블되거나 디스에이블되어야 하는지를 결정하는 의미있는 량인 것이 발견되었다.

바람직한 실시예에서, 업믹서는, 주어진 시간 부분 동안, 서로 다른 평활화된 위상값으로 정의되는 서로 다른 일시 평활화된 위상 회전을 적용하여, 평활 기능 (또는 위상값 평활 기능)이 인에이블될 경우에 채널간 위상차를 가진 업믹스된 오디오 채널의 신호를 획득하며, 서로 다른 비평활화된 위상값으로 정의되는 일시 비평활화된 위상 회전을 적용하여, 평활 기능 (또는 위상값 평활 기능)이 디스에이블될 경우에 채널간 위상차를 가진 업믹스된 오디오 채널의 서로 다른 신호를 획득하도록 구성된다. 이 경우에, 파라미터 결정기는 평활 제어기를 포함하며, 평활 제어기는, 서로 다른 업믹스된 오디오 채널의 신호를 획득하기 위해 적용되는 평활화된 위상값 간의 차가 업믹서에 의해 수신되거나 업믹서에 의해 수신된 정보로부터 도출되는 비평활화된 채널간 위상차값과 미리 정해진 임계치 이상만큼 다를 경우에, 위상값 평활 기능을 선택적으로 인에이블하거나 디스에이블하도록 구성된다. 위상값 평활 기능의 선택적 비활성화는 특히, 채널간 위상차값이 위상값 평활 기능을 활성화 및 비활성화시키는 기준으로서 평가될 경우에 청각 효과를 개선하는데 유용한 것으로 발견되었다.

바람직한 실시예에서, 파라미터 결정기는, 평활화된 위상값과 대응하는 입력 위상값 간의 현재 차에 따라 평활화된 위상값의 시퀀스를 결정하는 필터 시간 상수를 조정하도록 구성된다. 필터 시간 상수를 조정함으로써, 입력 위상값의 매우 큰 변화에 대해 상당히 작은 세틀링 시간(settling time)이 획득되면서, 입력 위상값의 보다 작은 변화 및 중간 변화에 대해 평활 특성을 상당히 양호하게 유지시키는 것이 달성될 수 있다. 이런 기능은, 입력 위상값의 비교적 작은 (또는 많아야 중간 크기의) 변화가 종종 양자화 입도(quantization granularity)에 의해 유발되기 때문에 특정 이점을 가져온다. 환언하면, 양자화 입도(quantization granularity)에 의해 유발되는 입력 위상값의 단계적 변화는 결과적으로 효율적인 평활 동작을 생성할 수 있다. 이와 같은 경우에, 평활 기능은 특히 유익할 수 있으며, 비교적 긴 필터 시간 상수는 양호한 결과를 가져온다. 이에 반해, 양자화 단계보다 상당히 큰 입력 위상값의 매우 큰 변화는 전형적으로 위상값의 원하는 큰 변화에 대응한다. 이 경우에는, 비교적 짧은 필터 시간 상수가 양호한 결과를 가져온다. 따라서, 평활화된 위상값과 대응하는 입력 위상값 간의 현재 차에 따라 필터 시간 상수를 조정함으로써, 입력 위상값의 계획된 큰 변화는 평활화된 위상값의 고속 변화를 초래하지만, 양자화 단계의 크기를 재는 입력 위상값의 비교적 작은 변화는 평활화된 위상값의 비교적 저속 평활 전이를 초래하는 것에 도달될 수 있다. 따라서, 원하는 위상값의 계획된 큰 변화 및, (그럼에도 불구하고, 한 양자화 단계씩 입력 위상값의 변화를 유발시킬 수 있는) 원하는 위상값의 작은 변화의 양방에 대해 양호한 청각 효과가 도달된다.

바람직한 실시예에서, 파라미터 결정기는, 업믹스된 오디오 신호의 서로 다른 채널과 관련된 2개의 평활화된 위상값 간의 차로 정의되는 평활화된 채널간 위상차 및, 비평활화된 채널간 위상차 정보로 정의되는 비평활화된 채널간 위상차 간의 차에 따라 평활화된 위상값의 시퀀스를 결정하는 필터 시간 상수를 조정하도록 구성된다. 필터 시간 상수를 선택적으로 조정하는 개념은 채널간 위상차의 처리와 함께 이점을 갖는 것으로 이용될 수 있음이 발견되었다.

바람직한 실시예에서, 업믹스 장치는 오디오 비트 스트림으로부터 추출되는 정보에 따라 위상값 평활 기능을 선택적으로 인에이블하거나 디스에이블하도록 구성된다. 청각 효과의 개선은, 오디오 인코더의 제어 하에, 오디오 디코더의 위상값 평활 기능을 선택적으로 인에이블하거나 디스에이블할 가능성을 제공함으로써 획득될 수 있음이 발견되었다.

본 발명에 따른 실시예는 다운믹스 오디오 신호를 업믹스된 오디오 신호로 업믹스하는 상술한 장치의 기능을 실시하는 방법을 생성한다. 상기 방법은 상술한 장치와 동일한 사상을 기반으로 한다.

게다가, 본 발명에 따른 실시예는 상기 방법을 실행하는 컴퓨터 프로그램을 생성한다.

이하, 본 발명에 따른 실시예는 첨부한 도면을 참조로 기술될 것이다.

도 1은 본 발명의 실시예에 따라 다운믹스 오디오 신호를 업믹스하는 장치의 블록 개략도를 도시한 것이다.
도 2a 및 2b는 본 발명의 다른 실시예에 따라 다운믹스 오디오 신호를 업믹스하는 장치의 블록 개략도를 도시한 것이다.
도 3은 전체 위상차 OPD1, OPD2 및 채널간 위상차 IPD의 개략적 표현을 도시한 것이다.
도 4a 및 4b는 위상 변화 제한 알고리즘의 제 1 케이스에 대한 위상 관계의 그래프 표현을 도시한 것이다.
도 5a 및 5b는 위상 변화 제한 알고리즘의 제 2 케이스에 대한 위상 관계의 그래프 표현을 도시한 것이다.
도 6은 본 발명의 실시예에 따라 다운믹스 오디오 신호를 업믹스된 오디오 신호로 업믹스하는 방법의 흐름도를 도시한 것이다.
도 7은 일반적 바이노럴 큐 코딩 기법을 나타내는 블록 개략도를 도시한 것이다.

1. 도 1에 따른 실시예

도 1은 본 발명의 실시예에 따라 다운믹스 오디오 신호를 업믹스하는 장치(100)의 블록 개략도를 도시한 것이다. 장치(100)는 하나 이상의 다운믹스 오디오 채널을 나타내는 다운믹스 오디오 신호(110)를 수신하여, 다수의 업믹스된 오디오 채널을 나타내는 업믹스된 오디오 신호(120)를 제공하도록 구성된다. 이 장치(100)는, 일시 가변 업믹스 파라미터를 적용하여, 업믹스된 오디오 신호(120)를 획득하기 위해 다운믹스 오디오 신호(110)를 업믹스하도록 구성되는 업믹서(130)를 포함한다. 장치(100)는 또한 양자화된 업믹스 파라미터 입력 정보(142)를 수신하도록 구성되는 파라미터 결정기(140)를 포함한다. 파라미터 결정기(140)는, 양자화된 업믹스 파라미터 입력 정보(142)를 기반으로 업믹서(130)에 의해 사용하기 위한 하나 이상의 일시 평활화된 업믹스 파라미터(144)를 획득하도록 구성된다.

파라미터 결정기(140)는, 이전의 평활화된 위상값 및 입력 위상 정보를 기반으로 현재 평활화된 위상값(144a)을 결정하기 위해, 위상 변화 제한 알고리즘(146)을 이용하여, 양자화된 업믹스 파라미터 입력 정보(142) 내에 포함되는 입력 위상 정보(142a)의 스케일된 버전과 이전의 평활화된 위상값의 스케일된 버전을 조합하도록 구성된다. 현재 평활화된 위상값(144a)은 일시 가변 평활화된 업믹스 파라미터(144) 내에 포함된다.

다음에는, 장치(100)의 기능에 관한 어떤 상세 사항이 기술될 것이다. 다운믹스 오디오 신호(110)는, (여기에 도시되지 않은 인코더에 의해 결정되는 업데이트 레이트에서 오버랩 또는 넌오버랩 주파수 대역 또는 주파수 부대역을 나타내는) 시간-주파수 도메인에서, 예컨대, 다운믹스 오디오 신호를 나타내는 복소값의 세트의 시퀀스의 형식으로 업믹서(130)로 입력된다. 업믹서(130)는, 일시 가변 평활화된 업믹스 파라미터에 따라 다운믹스 오디오 신호(110)의 다수의 채널을 선형적으로 조합하고, 및/또는 다운믹스 오디오 신호(110)의 채널을 보조 신호 (예컨대, 역상관된(de-correlated) 신호)와 선형적으로 조합하도록 구성된다 (여기서, 보조 신호는 다운믹스 오디오 신호(110)의 동일한 오디오 채널, 다운믹스 오디오 신호(110)의 하나 이상의 다른 오디오 채널, 또는 다운믹스 오디오 신호(110)의 오디오 채널의 조합으로부터 도출될 수 있다). 따라서, 일시 가변 평활화된 업믹스 파라미터(144)는, 업믹서(130)에 의해, 다운믹스 오디오 신호(110)를 기반으로 업믹스된 오디오 신호(120) (또는 이의 채널)의 생성 시에 이용되는 진폭 스케일링 및/또는 위상 회전 (또는 시간 지연)을 결정하는데 이용될 수 있다.

파라미터 결정기(140)는 전형적으로, 양자화된 업믹스 파라미터 입력 정보(142)로 나타내는 보조 정보의 업데이트 레이트와 동일한 (또는 어떤 경우에는 보다 높은) 업데이트 레이트에서 일시 가변 평활화된 업믹스 파라미터(144)를 제공하도록 구성된다. 파라미터 결정기(140)는 양자화된 업믹스 파라미터 입력 정보(142)의 거친 (비트 레이트 세이빙(saving)) 양자화로부터 생성하는 아티팩트를 회피하도록 (또는 적어도 감소시키도록) 구성될 수 있다. 이를 위해, 파라미터 결정기(140)는, 예컨대, 채널간 위상차를 나타내는 위상 정보의 평활화를 이용할 수 있다. 양자화된 업믹스 파라미터 입력 정보(142) 내에 포함되는 입력 위상 정보(142a)의 이런 평활화는 위상 변화 제한 알고리즘(143)을 이용하여 실행됨으로써, 가청 아티팩트를 생성하는 위상의 크고 갑작스러운 변화는 회피된다 (또는, 적어도 허용 가능한 정도로 제한된다).

평활화는 바람직하게는, 이전의 평활화된 위상값을 입력 위상 정보(142a)의 값과 조합함으로써, 현재 평활화된 위상값이 이전의 평활화된 위상값 및 입력 위상 정보(142a)의 현재 값의 양방에 의존하도록 실행된다. 그렇게 행함으로써, 특히 평활한 전이는 평활 알고리즘의 간단한 구조를 이용하여 획득될 수 있다. 환언하면, 유한 임펄스 응답 평활의 결점은 이전의 평활화된 위상값이 고려되는 무한 임펄스 응답형 평활화를 제공함으로써 회피될 수 있다.

선택적으로, 파라미터 결정기(140)는, 양자화된 업믹스 파라미터 입력 정보(142)가 (예컨대, 다운믹스 오디오 신호(110)의 스펙트럼 값의 세트보다 작은) 비교적 긴 일시 구간에서 전송될 경우에 유익한 부가적 보간 기능을 포함할 수 있다.

요약하면, 장치(100)는, 일시 가변 평활화된 위상값(144a)이 업믹서(130)를 이용하여 다운믹스 오디오 신호(110)로부터 업믹스된 오디오 신호(120)의 도출을 위해 적절하도록, 양자화된 업믹스 파라미터 입력 정보(142)를 기반으로 일시 가변 평활화된 위상값(144a)의 제공을 고려한다.

가청 아티팩트는 상술한 개념을 이용하여 평활화된 위상값(144a)을 제공함으로써 감소되는데 (또는 제거되는데), 여기서, 이전의 평활화된 위상값의 고려는 위상 변화 제한과 조합된다. 따라서, 업믹스된 오디오 신호(120)의 양호한 청각 효과는 달성된다.

2. 도 2에 따른 실시예

2.1. 도 2에 따른 실시예

오디오 신호를 업믹스하는 장치의 구조 및 동작에 관한 더욱더 상세 사항은 도 2a 및 2b를 참조하여 기술될 것이다. 도 2a 및 2b는 본 발명의 다른 실시예에 따라 다운믹스 오디오 신호를 믹스하는 장치(200)의 상세한 블록 개략도를 도시한 것이다.

장치(200)는 다운믹스 오디오 신호(210) 및 보조 정보 (SI)를 기반으로 멀티채널 (예컨대, 5.1) 오디오 신호를 생성하는 디코더로 간주될 수 있다. 장치(200)는, 장치(100)에 대해 기술된 기능을 실시한다.

장치(200)는, 예컨대, 소위 "Binaural Cue Coding", 소위 "Parametric Stereo" 또는 소위 "MPEG Surround"에 따라 인코딩되는 멀티채널 오디오 신호를 디코딩하는 역할을 한다. 당연히, 유사하게, 장치(200)는 공간 큐를 이용하는 다른 시스템에 따라 인코딩되는 멀티채널 오디오 신호를 업믹스하기 위해 이용될 수 있다.

간략화를 위해, 단일 채널 다운믹스 오디오 신호를 2채널 신호로의 업믹스를 실행하는 장치(200)가 기술된다. 그러나, 여기에 기술되는 개념은, 다운믹스 오디오 신호가 하나 이상의 채널을 포함하는 경우 및, 또한 업믹스된 오디오 신호가 2 이상의 채널을 포함하는 경우로 쉽게 확장될 수 있다.

2.2. 도 2의 실시예의 입력 신호 및 입력 타이밍

장치(200)는 다운믹스 오디오 신호(210) 및 보조 정보(212)를 수신하도록 구성된다. 또한, 장치(200)는, 예컨대, 다수의 채널을 포함하는 업믹스된 오디오 신호(214)를 제공하도록 구성된다.

다운믹스 오디오 신호(210)는, 예컨대, 인코더에 의해 (예컨대, 도 7에 도시된 BCC 인코더(810)에 의해) 생성되는 합 신호일 수 있다. 다운믹스 오디오 신호(210)는, 예컨대, 복소값 주파수 분해의 형식으로, 예컨대, 시간-주파수 도메인에 나타낼 수 있다. 예컨대, 오디오 신호의 (오버랩핑 또는 넌오버랩핑할 수 있는) 다수의 주파수 부대역의 오디오 콘텐츠는 대응하는 복소값으로 나타낼 수 있다. 주어진 주파수 대역에 대해, 다운믹스 오디오 신호는, 다음 (오버랩핑 또는 넌오버랩핑) 시간 구간 동안의 고려하에 주파수 부대역 내의 오디오 콘텐츠를 나타내는 복소값의 시퀀스로 나타낼 수 있다. 다음 시간 구간에 대한 다음 복소값는, (멀티채널 오디오 신호 디코더의 부분일 수 있는) 장치(100)에서, 또는 장치(100)에 결합되는 부가적 장치에서, 예컨대, 필터뱅크(filterbank) (예컨대, QMF 필터뱅크), 고속 퓨리에 변환 등을 이용하여 획득될 수 있다. 그러나, 여기에 기술되는 다운믹스 오디오 신호(210)의 표현(representation)은 전형적으로 멀티채널 오디오 신호 인코더에서 멀티채널 오디오 신호 디코더 또는 장치(100)로의 다운믹스 오디오 신호의 전송을 위해 이용되는 다운믹스 신호의 표현과 동일하지 않다. 따라서, 다운믹스 오디오 신호(210)는 복소값의 세트 또는 벡터의 스트림으로 나타낼 수 있다.

다음에는, 다운믹스 오디오 신호(210)의 다음 시간 구간이 정수값 인덱스 k로 나타내는 것으로 추정될 것이다. 또한, 장치(200)는 다운믹스 오디오 신호(210)의 구간 k 및 채널마다 복소값의 한 세트 또는 벡터를 수신하는 것으로 추정될 것이다. 따라서, 한 샘플 (복소값의 세트 또는 벡터)은 시간 인덱스 k로 나타내는 모든 오디오 샘플 업데이트 구간 동안에 수신된다.

환언하면, 다운믹스 오디오 신호(210)의 오디오 샘플 ("AS")은 단일 오디오 샘플(AS)이 각 오디오 샘플 업데이트 구간 k과 관련되도록 하는 장치(210)에 의해 수신된다.

장치(200)는 업믹스 파라미터를 나타내는 보조 정보(212)를 더 수신한다. 예컨대, 보조 정보(212)는 하나 이상의 다음의 업믹스 파라미터: 채널간 레벨차 (ILD), 채널간 상관 (또는 코히어런스) (ICC), 채널간 시간차 (ITD), 채널간 위상차 (IPD) 또는 전체 위상차 (OPD)를 나타낼 수 있다. 전형적으로, 보조 정보(212)는 ILD 파라미터 및, 파라미터 ICC, ITD, IPD, OPD 중에서 하나 이상을 포함한다. 그러나, 대역폭을 절감(save)하기 위해, 일부 실시예에서, 보조 정보(212)는, 다운믹스 오디오 신호(210)의 다수의 오디오 샘플 업데이트 구간 k마다 장치(200)로만 전송되거나, 이 장치에 의해 수신된다 (또는 보조 정보의 단일 세트의 전송은 다수의 오디오 샘플 업데이트 구간 k을 통해 일시적으로 유포될 수 있다). 따라서, 어떤 경우에, 다수의 오디오 샘플 업데이트 구간 k에 대한 보조 정보 파라미터의 한 세트만이 존재한다. 그러나, 다른 경우에는, 각 오디오 샘플 업데이트 구간 k에 대한 보조 정보 파라미터의 한 세트가 존재할 수 있다.

보조 정보가 업데이트되는 구간은 인덱스 n으로 설계되며, 여기서, 단지 간략화를 위해, 다음에는, 정수값 인덱스 k로 나타내는 다운믹스 오디오 신호(210)의 다음 시간 구간은, 관계 k=n가 유지하도록 보조 정보 SI(212)가 업데이트되는 시간 구간과 동일한 것으로 추정될 것이다. 그러나, 보조 정보 SI(212)의 업데이트가 다운믹스 오디오 신호(210)의 다수의 다음 시간 구간 k마다 한번만 실행되면, 예컨대, 다음 입력 위상 정보 값

또는 다음 평활화된 위상 값

사이에서 보간이 실행될 수 있다.

예컨대, 보조 정보는 오디오 샘플 업데이트 구간 k=4, k=8 및 k=16에서 장치(200)로 전송될 수 있다 (또는 이 장치에 의해 수신될 수 있다). 이에 반해, 보조 정보(212)는 상기 오디오 샘플 업데이트 구간 간의 장치로 전송될 수 없다 (또는 이 장치에 의해 수신될 수 없다). 따라서, 인코더가, 예컨대, 필요로 될 시에만 (예컨대, 디코더가 미리 정해진 값 이상으로 보조 정보가 변화됨을 인식할 시에) 보조 정보 업데이트를 제공하기를 결정할 수 있을 시에, 보조 정보(212)의 업데이트 구간은 시간이 지남에 따라 변화할 수 있다. 예컨대, 오디오 샘플 업데이트 구간 k=4에 대해 장치(200)에 의해 수신되는 보조 정보는 오디오 샘플 업데이트 구간 k=3,4,5과 관련될 수 있다. 마찬가지로, 오디오 샘플 업데이트 구간 k=8에 대해 장치(200)에 의해 수신되는 보조 정보는 오디오 샘플 업데이트 구간 k=6,7,8,9,10 등과 관련될 수 있다. 그러나, 여러 관련이 당연히 가능하고, 보조 정보에 대한 업데이트 구간은 당연히 또한 논의된 것보다 크거나 작을 수 있다.

2.3. 도 2의 실시예의 출력 신호 및 출력 타이밍

그러나, 장치(200)는 복소값 주파수 합성에서 업믹스된 오디오 신호를 제공하는 역할을 한다. 예컨대, 장치(200)는, 업믹스된 오디오 신호가 다운믹스 오디오 신호(210)와 동일한 오디오 샘플 업데이트 구간 또는 오디오 신호 업데이트 레이트를 포함하도록 업믹스된 오디오 신호(214)를 제공하기 위해 구성될 수 있다. 환언하면, 다운믹스 오디오 신호(210)의 각 샘플 (또는 오디오 샘플 업데이트 구간 k)에 대해, 업믹스된 오디오 신호(214)의 샘플은 일부 실시예에서 생성된다.

2.4. 업믹스

다음에는, 디코더 입력 보조 정보(212)가, 일부 실시예에서, 더욱 큰 업데이트 구간에서만 업데이트될 수 있을지라도, 다운믹스 오디오 신호(210)를 업믹스하기 위해 이용되는 업믹스 파라미터의 업데이트가 각 오디오 샘플 업데이트 구간 k에 대해 어떻게 획득될 수 있는지 상세히 기술될 것이다. 다음에는, 단일 부대역에 대한 처리가 기술될 것이지만, 이 개념은 당연히 다수의 부대역으로 확장될 수 있다.

장치(200)는, 중요한 구성 요소로서, 복소값 선형 조합기로서 동작하도록 구성되는 업믹서(230)를 포함한다. 업믹서(230)는, 오디오 샘플 업데이트 구간 k과 관련된 (예컨대, 어떤 주파수 대역을 나타내는) 다운믹스 오디오 신호(210)의 샘플 x(t) 또는 x(k)을 수신하도록 구성된다. 신호 x(t) 또는 x(k)는 때때로 또한 "드라이 신호(dry signal)"라 부른다. 게다가, 업믹서(230)는, 다운믹스 오디오 신호의 역상관된 버전을 나타내는 샘플 q(t) 또는 q(k)을 수신하도록 구성된다.

또한, 장치(200)는, 다운믹스 오디오 신호의 샘플 x(k)을 수신하여, 이를 기반으로, (x(k)로 나타내는) 다운믹스 오디오 신호의 역상관된 버전의 샘플 q(k)을 제공하도록 구성되는 역상관기 (예컨대, 지연기 또는 반향기(reverberator))(240)를 포함한다. 다운믹스 오디오 신호 (샘플 x(k))의 역상관된 버전 (샘플 q(k))은 "웨트 신호(wet signal)"라 부를 수 있다.

업믹서(230)는, 예컨대, (x(k)로 나타내는) "드라이 신호" 및 (q(k)로 나타내는) "웨트 신호"의 실수값(real-valued) (또는, 어떤 경우에는, 복소값) 선형 조합을 실행하여, (샘플 y₁(k)로 나타내는) 제 1 업믹스된 채널 신호 및 (샘플 y₂(k)로 나타내는) 제 2 업믹스된 채널 신호를 획득하도록 구성되는 매트릭스 벡터 곱셈기(multiplier)(232)를 포함한다. 매트릭스 벡터 곱셉기(232)는, 예컨대, 다음의 매트릭스 벡터 곱셈을 실행하여, 업믹스된 채널 신호의 샘플 y₁(k) 및 y₂(k)을 획득하도록 구성될 수 있다:

매트릭스 벡터 곱셉기(232), 또는 복소값 선형 조합기(230)는 업믹스된 채널 신호를 나타내는 샘플 y₁(k) 및 y₂(k)의 위상을 조정하도록 구성되는 위상 조정기(233)를 더 포함할 수 있다. 예컨대, 위상 조정기(233)는,

에 따른 샘플

으로 나타내는 위상 조정된 제 1 업믹스된 채널 신호를 획득하여,

에 따른 샘플

으로 나타내는 위상 조정된 제 2 업믹스된 채널 신호를 획득하도록 구성될 수 있다.

따라서, 샘플이

및

이라 불리는 업믹스된 오디오 신호(214)는, 드라이 신호 및 웨트 신호를 기반으로, 일시 가변 업믹스 파라미터를 이용하여 복소값 선형 조합기(230)에 의해 획득된다. 일시 가변 평활화된 위상값

은 업믹스된 오디오 신호

및

의 위상 (또는 채널간 위상차)을 결정하는데 이용된다. 예컨대, 위상 조정기(232)는 일시 가변 평활화된 위상값을 적용하도록 구성될 수 있다. 그러나, 선택적으로, 일시 가변 평활화된 위상값은 이미 매트릭스 벡터 곱셈기(232)에 의해 (또는 매트릭스

의 엔트리의 생성에서) 이용될 수 있다.

2.5 업믹스 파라미터의 업데이트

상기 식으로부터 알 수 있는 바와 같이, 각 오디오 샘플 업데이트 구간 k에 대한 업믹스 파라미터 매트릭스

및 업믹스 채널 위상값

을 업데이트하는 것이 바람직하다. 각 오디오 샘플 업데이트 구간 k에 대한 업믹스 파라미터 매트릭스를 업데이트함으로써, 업믹스 파라미터 매트릭스가 항상 실제 음향 환경에 잘 적응되는 이점을 갖게 된다. 또한, 모든 오디오 샘플 업데이트 구간 k에 대한 업믹스 파라미터 매트릭스를 업데이트함으로써, 보조 정보(212)가 다수의 오디오 샘플 업데이트 구간 k 마다 한번만 업데이트될 지라도, 업믹스 파라미터 매트릭스의 변화가 다수의 오디오 샘플 업데이트 구간에 걸쳐 분포될 시에, 다음 오디오 샘플 구간 k 간의 업믹스 파라미터 매트릭스

(또는 이의 엔트리)의 단계적 변화가 작게 유지되게 한다. 또한, 보조 정보 SI(212)의 양자화로부터 생성하는 업믹스 파라미터 매트릭스

의 어떤 변화를 평활화하는 것이 바람직하다. 마찬가지로, 적어도 연속 오디오 신호 중에, 상기 업믹스 채널 위상값의 단계적 변화를 회피하기 위해, 업믹스 채널 위상값

을 매우 자주 업데이트하는 것이 바람직하다. 또한, 보조 정보 SI(212)의 양자화로 유발되는 아티팩트를 감소시키거나 회피하기 위해, 업믹스 채널 위상값을 일시 평활화하는 것이 바람직하다.

장치(200)는, 보조 정보(212)를 기반으로, 일시 가변 업믹스 파라미터(262), 예컨대, 매트릭스

및 업믹스 채널 위상값

의 엔트리 H_ij(k)를 제공하도록 구성되는 보조 정보 처리 유닛(250)을 포함한다. 보조 정보 처리 유닛(250)은, 예컨대, 보조 정보(212)가 다수의 오디오 샘플 업데이트 구간 k 마다 한번만 업데이트될 지라도, 모든 오디오 샘플 업데이트 구간 k에 업믹스 파라미터의 업데이트된 세트를 제공하도록 구성된다. 그러나, 일부 실시예에서, 보조 정보 처리(250)는, 예컨대 보조 정보 SI(212)의 업데이트마다 한번만, 일시 가변 평활 업믹스 파라미터의 업데이트된 세트를 종종 보다 적게 제공하도록 구성될 수 있다.

보조 정보 처리 유닛(250)은, 보조 정보(212)를 수신하여, 이를 기반으로, (예컨대, 업믹스 파라미터의 크기 값(magnitude values)의 시퀀스(254) 및 업믹스 파라미터의 위상값의 시퀀스(256)의 형식으로) 하나 이상의 업믹스 파라미터를 도출하도록 구성되는 업믹스 파라미터 입력 정보 결정기(252)를 포함하는데, 상기 하나 이상의 업믹스 파라미터는 (예컨대, 입력 크기 정보(254) 및 입력 위상 정보(256)를 포함하는) 업믹스 파라미터 입력 정보로서 간주될 수 있다. 예컨대, 업믹스 파라미터 입력 정보 결정기(252)는 업믹스 파라미터 입력 정보(254, 256)를 획득하도록 다수의 큐 (예컨대, ILD, ICC, ITD, IPD, OPD)를 조합할 수 있거나, 하나 이상의 큐를 개별적으로 평가할 수 있다. 업믹스 파라미터 입력 정보 결정기(252)는, 입력 크기 값의 시퀀스(254) (또한 입력 크기 정보라 부름) 및, 입력 위상값의 분리 시퀀스(256) (또한 입력 위상 정보라 부름)의 형식으로 업믹스 파라미터를 나타내도록 구성된다. 입력 위상값의 시퀀스(256)의 요소는 입력 위상 정보

로서 간주될 수 있다. 시퀀스(254)의 입력 크기 값은, 예컨대, 복소수의 절대값을 나타낼 수 있고, 시퀀스(256)의 입력 위상값은, 예컨대, (예컨대, 실수부-허수부 직교 좌표 시스템에서 실수부 축에 대해 측정되는) 복소수의 각도 값(angle value) (또는 위상값)을 나타낼 수 있다.

따라서, 업믹스 파라미터 입력 정보 결정기(252)는 업믹스 파라미터의 입력 크기 값의 시퀀스(254) 및 업믹스 파라미터의 입력 위상값의 시퀀스(256)를 제공할 수 있다. 업믹스 파라미터 입력 정보 결정기(252)는 업믹스 파라미터의 완전한 세트 (예컨대, 매트릭스

의 매트릭스 요소의 완전한 세트 및 위상 값

의 완전한 세트)를 보조 정보의 한 세트로부터 도출하도록 구성될 수 있다. 보조 정보(212)의 세트와 입력 업믹스 파라미터(254, 256)의 세트 간의 관련(association)이 존재할 수 있다. 따라서, 업믹스 파라미터 입력 정보 결정기(252)는, 업믹스 파라미터 업데이트 구간마다 한번, 즉, 보조 정보의 세트의 업데이트마다 한번 시퀀스(254, 256)의 입력 업믹스 파라미터를 업데이트하도록 구성될 수 있다.

보조 정보 처리 유닛은 다음에 상세히 기술되는 파라미터 평활기 (때때로 또한 간단히 "파라미터 결정기"라 부름)(260)를 더 포함한다. 파라미터 평활기(260)는, 업믹스 파라미터 (또는 매트릭스 요소)의 (실수 값) 입력 크기 값의 시퀀스(254) 및, 입력 위상 정보

로서 간주될 수 있는 업믹스 파라미터 (또는 매트릭스 요소)의 (실수 값) 입력 위상값의 시퀀스(256)를 수신하도록 구성된다. 또한, 파라미터 평활기(260)는 시퀀스(254) 및 시퀀스(256)의 평활을 기반으로 일시 가변 평활화된 업믹스 파라미터(262)의 시퀀스를 제공하도록 구성된다.

파라미터 평활기(260)는 크기 값 평활기(270) 및 위상값 평활기(272)를 포함한다.

크기 값 평활기는, 시퀀스(254)를 수신하여, 이를 기반으로, 업믹스 파라미터의 평활화된 크기 값 (또는, 매트릭스

의 매트릭스 요소)의 시퀀스(274)를 제공하도록 구성된다. 크기 값 평활기(270)는, 예컨대, 크기 값 평활을 실행하도록 구성될 수 있으며, 이는 아래에 상세히 논의될 것이다.

마찬가지로, 위상값 평활기(272)는, 시퀀스(256)를 수신하여, 이를 기반으로, 업믹스 파라미터의 일시 가변 평활화된 위상값 (또는, 매트릭스 값)의 시퀀스(276)를 제공하도록 구성될 수 있다. 위상값 평활기(272)는, 예컨대, 평활 알고리즘을 실행하도록 구성될 수 있으며, 이는 아래에 상세히 논의될 것이다.

일부 실시예에서, 크기 값 평활기(270) 및 위상값 평활기는 크기 값 평활 및 위상값 평활을 분리하여 또는 개별적으로 실행하도록 구성된다. 따라서, 시퀀스(254)의 크기 값은 위상값 평활에 영향을 미치지 않으며, 시퀀스(256)의 위상값은 크기 값 평활에 영향을 미치지 않는다. 그러나, 크기 값 평활기(270) 및 위상값 평활기(272)는, 시퀀스(274, 276)가 업믹스 파라미터의 평활화된 크기 값 및 평활화된 위상값의 대응하는 쌍을 포함하도록 시간 동기 방식으로 동작하는 것으로 추정된다.

전형적으로, 파라미터 평활기(260)는 분리하여 서로 다른 업믹스 파라미터 또는 매트릭스 요소에 따라 작용한다. 따라서, 파라미터 평활기(260)는, (다수의 업믹스 파라미터에서) 각 업믹스 파라미터에 대한 크기 값 또는 매트릭스

의 매트릭스 요소의 한 시퀀스(254)를 수신할 수 있다. 마찬가지로, 파라미터 평활기(260)는, 각 업믹스된 오디오 채널의 위상 조정을 위한 입력 위상값

의 한 시퀀스(256)를 수신할 수 있다.

2.6 파라미터 평활에 관한 상세 사항

다음에는, 디코더에서 IPDs/OPDs의 양자화 및/또는 OPDs의 추정(estimation)으로 생성되는 위상 처리 아티팩트를 감소시키는 본 발명의 실시예에 관한 상세 사항이 기술될 것이다. 간략화를 위해, 다음의 설명은, m 채널에서 n 채널로의 업믹스의 일반적 케이스를 제한하지 않고, 한 채널에서 2 채널로만의 업믹스로 제한하며, 여기서는 동일한 기술이 적용될 수 있다.

예컨대, 한 채널에서 2 채널로의 디코더의 업믹스 절차는, 드라이 신호라 부르는 다운믹스 신호 x (또한, x(k)라 부름) 및, 웨트 신호라 부르는 다운믹스 신호 q (또한, q(k)라 부름)의 역상관된 버전으로 이루어지는 벡터와 업믹스 매트릭스

의 매트릭스 곱셈에 의해 실행된다. 웨트 신호 q는 역상관 필터(240)를 통해 다운믹스 신호 x를 공급함으로써 생성되었다. 업믹스 신호 y는 출력의 제 1 및 2 채널 (예컨대, y₁(k) 및 y₂(k))을 포함하는 벡터이다. 모든 신호 x, q, y는 복소값 주파수 분해법 (예컨대, 시간-주파수 도메인 표현법)에 이용 가능할 수 있다.

이런 매트릭스 연산은 모든 주파수 대역의 모든 부대역 샘플 (또는 일부 주파수 대역의 적어도 일부 부대역 샘플)에 대해 (예컨대, 분리하여) 실행된다. 예컨대, 매트릭스 연산은 다음의 식에 따라 실행될 수 있다:

업믹스 매트릭스

의 계수는 공간 큐, 전형적으로 ILDs 및 ICCs로부터 도출되어, 결과적으로, ICCs를 기반으로 각 채널에 대한 드라이 및 웨트 신호의 혼합(mix)을 기본적으로 실행하여, ILDs에 의해 결정되는 바와 같이 양방의 출력 채널의 출력 레벨을 조정하는 실수값 매트릭스 요소를 생성한다.

공간 큐 (예컨대, ILD, ICC, ITD, IPD 및/또는 OPD)의 전송을 위해, 인코더에서 일부 또는 모든 타입의 파라미터를 양자화하는 것이 바람직하다 (또는 필요하다). 특히, 저 비트레이트 시나리오의 경우에, 종종, 전송된 데이터의 량을 감소시키기 위해 오히려 거친 양자화를 이용하는 것이 바람직하다 (또는 필요하다). 그러나, 어떤 타입의 신호에 대해, 거친 양자화는 가청 아티팩트를 생성할 수 있다. 이들 아티팩트를 감소시키기 위해, 평활 연산은 업믹스 매트릭스

의 요소에 적용되어, 인접한 양자화 단계 간의 전이(transition)를 평활할 수 있으며, 이는 아티팩트를 유발시킨다.

평활은, 예컨대, 매트릭스 요소의 간단한 저역 통과 필터링에 의해 실행된다.

이런 평활은, 예컨대, 크기 값 평활기(270)에 의해 실행될 수 있으며, 여기서, (예컨대, 업믹스 파라미터 입력 정보 결정기(252)에 의해 제공되고, 254로 나타내는) 현재 입력 크기 정보

는, 현재 평활화된 크기 값 (또는 크기 매트릭스)

을 획득하기 위해 이전의 평활화된 크기 값 (또는 크기 매트릭스)

과 조합될 수 있다.

평활이 공간 파라미터가 급속히 변화하는 신호부에 부정적 영향을 미칠 수 있을 시에, 평활은 인코더로부터 전송되는 부가적인 보조 정보에 의해 제어될 수 있다.

다음에는, 위상값의 적용 및 결정에 대해 더욱 상세히 기술될 것이다. IPDs 및/또는 OPDs가 이용되면, 부가적인 위상 시프트는 출력 신호 (예컨대, 샘플 y₁(k) 및 y₂(k)로 정의되는 신호)에 적용될 수 있다. IPD는 2개의 채널 (예컨대, 샘플

로 정의되는 위상 조정된 제 1 업믹스 채널 신호 및, 샘플

로 정의되는 위상 조정된 제 2 업믹스 채널 신호) 간의 위상차를 나타내지만, OPD는 한 채널과 다운믹스 간의 위상차를 나타낸다.

다음에는, IPDs 및 OPDs의 정의가 간략히 도 3을 참조하여 설명될 것이며, 도 3은 다운믹스 신호와 다수의 채널 신호 간의 위상 관계의 개략적 표현을 도시한 것이다. 이제 도 3을 참조하여, 다운믹스 신호 (또는 이의 스펙트럼 계수 x(k))의 위상은 제 1 포인터(310)로 나타낸다. 위상 조정된 제 1 업믹스된 채널 신호 (또는 이의 스펙트럼 계수

)의 위상은 제 2 포인터(320)로 나타낸다. 다운믹스 신호 (또는 이의 스펙트럼 값 또는 계수)와 위상 조정된 제 1 업믹스된 채널 신호 (또는 이의 스펙트럼 계수) 간의 위상차는 OPD1로 나타낸다. 위상 조정된 제 2 업믹스 채널 신호 (또는 이의 스펙트럼 계수

)는 제 3 포인터(330)로 나타낸다. 다운믹스 신호 (또는 이의 스펙트럼 계수)와 위상 조정된 제 2 업믹스된 채널 신호 (또는 이의 스펙트럼 계수) 간의 위상차는 OPD2로 나타낸다. 위상 조정된 제 1 업믹스된 채널 신호 (또는 이의 스펙트럼 계수)와 위상 조정된 제 2 업믹스된 채널 신호 (또는 이의 스펙트럼 계수) 간의 위상차는 IPD로 나타낸다.

원래의 신호의 위상 특성을 재구성하기 위하여 (예컨대, 드라이 신호를 기반으로 적절한 위상을 위상 조정된 제 1 업믹스된 채널 신호 및 위상 조정된 제 2 업믹스된 채널 신호에 제공하기 위하여), 양방의 채널에 대한 OPDs가 알려져야 한다. 종종, IPD는 하나의 OPD와 함께 전송된다 (제 2 OPD는 이때 이들로부터 계산될 수 있다). 전송된 데이터의 량을 감소시키기 위해, 또한, IPDs만을 전송하여, 전송된 ILDs 및 IPDs와 함께 다운믹스 신호에 포함되는 위상 정보를 이용하여 디코더에서 OPDs를 평가할 수 있다. 이런 처리는, 예컨대, 업믹스 파라미터 입력 정보 결정기(252)에 의해 실행될 수 있다.

디코더에서 (예컨대, 장치(200)에서)의 위상 재구성은 다음의 식에 따라 출력 부대역 신호 (예컨대, 스펙트럼 계수 y₁(k), y₂(k)로 나타내는 신호)의 복소수 회전(complex rotation)에 의해 실행된다.

상기 식에서, 각도

및

는 2 채널에 대한 OPDs (또는, 예컨대, 평활화된 OPDs)와 동일하다.

상술한 바와 같이, 파라미터 (예컨대, ILD 파라미터 및/또는 ICC 파라미터)의 거친 양자화는 가청 아티팩트를 생성할 수 있으며, 또한 IPDs 및 OPDs의 양자화에 대해서도 가청 아티팩트를 생성할 수 있다. 상술한 평활 연산이 업믹스 매트릭스

의 요소에 적용될 시에, 그것은 ILDs 및 ICCs의 양자화로 유발된 아티팩트만을 감소시키지만, 위상 파라미터의 양자화로 유발된 아티팩트는 영향을 받지 않는다.

더욱이, 부가적인 아티팩트는 각 출력 채널에 적용되는 상술한 시변(time-variant) 위상 회전에 의해 도입될 수 있다. 위상 시프트 각도

및

가 시간이 지남에 따라 급속히 변동할 경우에, 적용된 회전 각도는 순시(instantaneous) 신호 주파수의 쇼트 드롭아웃(short dropout) 또는 변화를 유발시킬 수 있다.

이들 문제의 양방은 상술한 평활 접근법의 수정된 버전을 각도

및

에 적용함으로써 상당히 감소될 수 있다. 이 경우에, 평활 필터가 모든 2π를 감싸는 각도에 적용될 시에, 소위 펼침(unwrapping)에 의해 평활 필터를 수정하는 것이 바람직하다. 따라서, 평활화된 위상값

은 전형적으로 위상 변화의 제한에 제공하는 다음의 알고리즘에 따라 계산된다:

다음에는, 상술한 알고리즘의 기능이 도 4a, 4b, 5a 및 5b를 참조하여 간략히 논의될 것이다. 현재 평활화된 위상값

의 계산을 위한 상기 식 또는 알고리즘을 참조하면, 현재 평활화된 위상값

은, 값 및

간의 차가 π보다 작거나 동일할 경우에 (상기 식의 "else" 케이스), 부가적인 피가수 없이 현재 입력 위상 정보

및 이전의 평활화된 위상값

의 웨이트된 선형 조합에 의해 획득되는 것을 알 수 있다. δ이 평활 프로세스의 시간 상수를 결정하는 (또는 나타내는) (0 및 1을 배제한) 0과 1 사이의 파라미터이라고 가정하면, 현재 평활화된 위상값

은

및

의 값 사이에 있을 것이다. 예컨대, δ = 0.5이면,

의 값은

및

간의 평균 (산술 평균)이다.

그러나,

및

간의 차가 π보다 크면, 상기 식의 제 1 케이스 (라인)는 충족된다. 이 경우에, 현재 평활화된 위상값

은, 일정한 위상 수정 용어 -2πδ를 고려하면,

및

의 선형 조합에 의해 획득된다. 따라서,

및

간의 차가 상당히 작게 유지되는 것으로 달성된다. 이런 상황의 일례는 도 4a에 도시되어 있으며, 여기서, 위상

은 제 1 포인터(410)로 예시되고, 위상

은 제 2 포인터(412)로 예시되며, 위상

은 제 3 포인터(414)로 예시된다.

도 4b는 서로 다른 값

및

에 대한 동일한 상황을 도시한 것이다. 다시 말하면, 위상값

,

및

은 포인터(450, 452, 454)로 예시된다.

다시 말하면,

및

간의 각도는 상당히 작게 유지되는 것으로 달성된다. 양방의 경우에, 위상값

으로 정의되는 방향은 2개의 각도 영역 중 보다 작은 각도 영역이며, 여기서, 2개의 각도 영역 중 제 1 각도 영역은 수학적으로 양의 (시계 반대) 방향에서 포인터(410, 450)를 포인터(412, 452)로 회전시킴으로써 커버되고, 제 2 각도 영역은 수학적으로 양의 (시계 반대) 방향에서 포인터(412, 452)를 포인터(410, 450)로 회전시킴으로써 커버된다.

그러나, 위상값

및

간의 차가 -π보다 작은 것으로 발견되면,

의 값은 상기 식의 제 2 케이스 (라인)를 이용하여 획득된다. 위상값

은, 일정한 위상 적응 용어 2πδ로, 위상값

및

의 선형 조합에 의해 획득된다.

-

이 -π보다 작은 이런 케이스의 예들은 도 5a 및 5b에 도시된다.

요약하면, 위상값 평활기(272)는 값

및

간의 차에 따라 (선형 조합 규칙일 수 있는) 서로 다른 위상값 규칙을 선택하도록 구성될 수 있다.

2.7 평활화 개념의 선택적 확장

다음에는, 상술한 위상값 평활 개념의 어떤 선택적 확장이 논의될 것이다. 다른 파라미터 (예컨대, ILD, ICC, ITD)에 대해 말하자면, 예컨대, 원래의 신호 (예컨대, 인코더에 의해 처리되는 신호)의 IPD가 급속히 변화할 경우에, 회전 각도의 고속 변화가 필요한 신호가 존재할 수 있다. 이와 같은 신호에 대해, 위상값 평활기(272)에 의해 실행되는 평활은 (어떤 경우에) 출력 품질에 부정적 영향을 미칠 수 있어, 이와 같은 경우에 적용되지 않아야 한다. 모든 신호 처리 대역 동안 인코더로부터 평활을 제어하는데 필요로 되는 가능 비트 레이트 오버헤드(overhead)를 회피하기 위해, (예컨대, 평활 제어기를 이용하여 실시되는) 적응 평활 제어는 디코더에서 (예컨대, 장치(200)에서) 이용될 수 있다. 즉, 생성된 IPD (즉, 2개의 평활 각도, 예컨대, 각도

(k) 및

(k) 간의 차)는 계산되어, 전송된 IPD (예컨대, 입력 위상 정보

로 나타내는 채널간 위상차)와 비교된다. 차가 어떤 임계치보다 크면, 평활은 디스에이블될 수 있고, 처리되지 않은 각도 (예컨대, 입력 위상 정보로 나타내고, 업믹스 파라미터 입력 정보 결정기에 의해 제공되는 각도

)는 (예컨대, 위상 조정기(233)에 의해) 이용될 수 있으며, 그렇지 않으면, 저역 통과 필터링된 각도 (예컨대, 위상값 평활기(272)에 의해 제공되는 평활화된 위상값

)는 (예컨대, 위상 조정기(233)에 의해) 출력 신호에 적용될 수 있다.

(선택적) 전진된 버전에서, 위상값 평활기(272)에 의해 적용되는 알고리즘은 처리된 및 처리되지 않은 IPDs 간의 현재 차를 기반으로 수정되는 가변 필터 시간 상수를 이용하여 확장될 수 있다. 예컨대, (필터 시간 상수를 결정하는) 파라미터 δ의 값은, 현재 평활화된 위상값

및 현재 입력 위상값

간의 차에 따라, 또는 이전의 평활화된 위상값

및 현재 입력 위상값

간의 차에 따라 조정될 수 있다.

일부 실시예에서, 부가적으로, 단일 비트는 (선택적으로) (다운믹스 오디오 신호(210) 및 보조 정보(212)를 나타내는) 비트 스트림으로 전송되어, 적응 평활 제어기 최적의 결과를 제공하지 않는 어떤 임계 신호의 경우에 모든 대역 동안 인코더로부터 평활을 완전히 인에이블 또는 디스에이블할 수 있다.

3. 결론

상술한 바를 요약하면, 파라미트릭 멀티채널 오디오 코딩을 위한 적응 위상 처리의 일반적 개념이 기술되었다. 본 발명에 따른 실시예들은, 위상 파라미터의 거친 양자화 또는 급속한 변화로 생성된 출력 신호의 아티팩트를 감소시킴으로써 다른 기술을 대신한다.

4. 방법

본 발명에 따른 실시예는, 하나 이상의 다운믹스 오디오 채널을 나타내는 다운믹스 오디오 신호를 다수의 업믹스된 오디오 채널을 나타내는 업믹스된 오디오 신호로 업믹스하는 방법을 포함한다. 도 6은 완전히 (700)으로 나타내는 그런 방법의 흐름도를 도시한 것이다.

방법(700)은, 이전의 평활화된 위상값 및 입력 위상 정보를 기반으로 현재 평활화된 위상값을 결정하기 위해, 위상 변화 제한 알고리즘을 이용하여 이전의 평활화된 위상값의 스케일된 버전을 현재 입력 위상 정보의 스케일된 버전과 조합하는 단계(710)를 포함한다.

방법(700)은 또한, 일시 가변 업믹스 파라미터를 적용하여, 업믹스된 오디오 신호를 획득하기 위해 다운믹스 오디오 신호를 업믹스하는 단계(720)를 포함하며, 일시 가변 업믹스 파라미터는 일시 평활화된 위상값을 포함한다.

당연히, 방법(700)은 여기서 본 발명의 장치에 대해 기술되는 어떤 특징 및 기능에 의해 보완될 수 있다.

5. 구현 대안

일부 양태가 장치와 관련하여 기술되었지만, 이들 양태는 또한 대응하는 방법의 설명을 나타내며, 여기서, 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 마찬가지로, 방법 단계와 관련하여 기술된 양태는 또한 대응하는 장치의 대응하는 블록 또는 항목 또는 특징의 설명을 나타낸다. 방법 단계의 일부 또는 모두는, 예컨대, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해 (또는 이용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계의 하나 이상은 이와 같은 장치에 의해 실행될 수 있다.

어떤 구현 요건에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 디지털 저장 매체, 예컨대, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 이용하여 구현이 실행될 수 있으며, 이런 디지털 저장 매체는 이에 저장되는 전자식으로 판독 가능한 제어 신호를 가지고, 각각의 방법이 실행되도록 프로그램 가능한 컴퓨터 시스템과 협력한다 (또는 협력할 수 있다). 그래서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.

본 발명에 따른 일부 실시예는 전자식으로 판독 가능한 제어 신호를 가지고, 여기에 기술된 방법 중 하나가 실행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 이 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터를 실행할 시에 이들 방법 중 하나를 실행하기 위해 동작 가능하다. 이 프로그램 코드는, 예컨대, 기계 판독 가능한 캐리어 상에 저장될 수 있다.

다른 실시예들은 여기에 기술되고, 기계 판독 가능한 캐리어 상에 저장되는 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.

환언하면, 그래서, 본 발명의 방법의 실시예는 컴퓨터 프로그램이 컴퓨터를 실행할 시에 여기에 기술된 방법 중 하나를 실행하기 위해 프로그램 코드를 가진 컴퓨터 프로그램이다.

그래서, 본 발명의 방법의 다른 실시예는 여기에 기술된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 포함하고, 기록한 데이터 캐리어 (또는 디지털 저장 매체, 또는 컴퓨터 판독 가능한 매체)이다.

그래서, 본 발명의 방법의 다른 실시예는 여기에 기술된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 표현하는 신호의 시퀀스 또는 데이터 스트림이다. 신호의 시퀀스 또는 데이터 스트림은 예컨대 인터넷을 통해 데이터 통신 접속을 경유하여 전달되도록 구성될 수 있다.

다른 실시예는, 여기에 기술된 방법 중 하나를 실행하도록 구성되거나 적합한 처리 수단, 예컨대, 컴퓨터, 또는 프로그램 가능한 논리 장치를 포함한다.

다른 실시예는, 여기에 기술된 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.

일부 실시예에서, 프로그램 가능한 논리 장치 (예컨대, 필드 프로그램 가능한 게이트 어레이)는 여기에 기술된 방법의 기능의 일부 또는 모두를 실행하기 위해 이용될 수 있다. 일부 실시예에서, 필드 프로그램 가능한 게이트 어레이는 여기에 기술된 방법 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 있다.

상술한 실시예들은 단지 본 발명의 원리를 위해 예시한 것이다. 여기에 기술된 배치 및 상세 사항의 수정 및 변형은 당업자에게는 자명한 것으로 이해된다. 그래서, 여기의 실시예의 설명을 통해 제시된 특정 상세 사항에 의해 제한되지 않고, 첨부한 특허청구범위의 범주에 의해서만 제한되는 것으로 의도된다.

참고 문헌

[l] C. Faller and F. Baumgarte, "Efficient representation of spatial audio using perceptual parameterization", IEEE WASPAA, Mohonk, NY, October 2001

[2] F. Baumgarte and C. Faller, "Estimation of auditory spatial cues for binaural cue coding", ICASSP, Orlando, FL, May 2002

[3] C. Faller and F. Baumgarte, "Binaural cue coding: a novel and efficient representation of spatial audio," ICASSP, Orlando, FL, May 2002

[4] C. Faller and F. Baumgarte, "Binaural cue coding applied to audio compression with flexible rendering", AES 113th Convention, Los Angeles, Preprint 5686, October 2002

[5] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003

[6] J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlin, Preprint 6072, May 2004

[7] E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004

[8] ISO/IEC JTC 1/SC 29/WG 11, 23003-1, MPEG Surround

[9] J. Blauert, Spatial Hearing: The Psychophysics of Human Sound Localization, The MIT Press, Cambridge, MA, revised edition 1997

Claims

하나 이상의 다운믹스 오디오 채널을 나타내는 다운믹스 오디오 신호(110;210)를 다수의 업믹스된 오디오 채널을 나타내는 업믹스된 오디오 신호(120;214)로 업믹스하는 장치(100;200)에 있어서,
상기 업믹스된 오디오 신호를 획득하기 위해, 일시 가변 업믹스 파라미터(144;262)를 적용하여, 상기 다운믹스 오디오 신호를 업믹스하도록 구성되는 업믹서(130;230)로서, 상기 일시 가변 업믹스 파라미터는 일시 가변 평활화된 위상값(144a;270)을 포함하는 상기 업믹서;
양자화된 업믹스 파라미터 입력 정보(142;212)를 기반으로 상기 업믹서(130;230)에 의해 이용하기 위한 하나 이상의 일시 평활화된 업믹스 파라미터(
)를 획득하도록 구성되는 파라미터 결정기(140;250)를 포함하는데,
상기 파라미터 결정기(140;250)는 위상 변화 제한 알고리즘을 이용하여 이전의 평활화된 위상값(
)의 스케일된 버전((1-δ)
)을 입력 위상 정보(
)의 스케일된 버전
과 조합하여, 상기 이전의 평활화된 위상값 및 상기 입력 위상 정보를 기반으로 현재 평활화된 위상값(
)을 결정하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 1에 있어서,
상기 파라미터 결정기(140;250)는 상기 이전의 평활화된 위상값(
)의 상기 스케일된 버전((1-δ)
)을 상기 입력 위상 정보(
)의 상기 스케일된 버전
과 조합함으로써, 상기 현재 평활화된 위상값(
)이 제 1 각도 영역 및 제 2 각도 영역에서 보다 작은 각도 영역 내에 있도록 구성되는데, 상기 제 1 각도 영역은, 수학적으로 양의 방향에서, 상기 이전의 평활화된 위상값(
)으로 정의된 제 1 개시 방향으로부터 상기 입력 위상 정보(
)로 정의된 제 1 종료 방향으로 확장하고, 상기 제 2 각도 영역은, 수학적으로 양의 방향에서, 상기 입력 위상 정보(
)로 정의된 제 2 개시 방향으로부터 상기 이전의 평활화된 위상값(
)으로 정의된 제 2 종료 방향으로 확장하는 것을 특징으로 하는 업믹스 장치.
청구항 1 또는 2에 있어서,
상기 파라미터 결정기(140;250)는 상기 입력 위상 정보(
)와 상기 이전의 평활화된 위상값(
) 간의 차(
-
)에 따라 다수의 서로 다른 조합 규칙에서 하나의 조합 규칙을 선택하여, 선택된 조합 규칙을 이용하여 상기 현재 평활화된 위상값(
)을 결정하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 3에 있어서,
상기 파라미터 결정기(140;250)는 상기 입력 위상 정보(
)와 상기 이전의 평활화된 위상값(
) 간의 차가 -π 및 +π 간의 범위 내에 있을 경우에는 기본 위상 조합 규칙을 선택하고, 만약 그렇지 않으면 하나 이상의 서로 다른 위상 적응 조합 규칙을 선택하도록 구성되고;
상기 기본 위상 조합 규칙은 상기 입력 위상 정보의 스케일된 버전
및 상기 이전의 평활화된 위상값의 스케일된 버전((1-δ)
)의 일정한 피가수 없는 선형 조합을 정의하며; 및
상기 하나 이상의 위상 적응 조합 규칙은 일정한 위상 적응 피가수(+π, -π)를 고려하여, 상기 입력 위상 정보의 상기 스케일된 버전 및 상기 이전의 평활화된 위상값의 상기 스케일된 버전의 선형 조합을 정의하는 것을 특징으로 하는 업믹스 장치.
청구항 1 내지 4 중 어느 한 항에 있어서,
상기 파라미터 결정기는 다음의 식에 따라 현재 평활화된 위상값(
)을 획득하도록 구성되며:

여기서,

은 상기 이전의 평활화된 위상값을 나타내고;

은 상기 입력 위상 정보를 나타내며;
"mod"는 MODULO-오퍼레이터를 나타내며;
δ은 평활 파라미터를 나타내며, 상기 평활 파라미터의 값은 0과 1 사이의 구간 내에 있고, 상기 구간의 경계를 배제하는 것을 특징으로 하는 업믹스 장치.
청구항 1 내지 5 중 어느 한 항에 있어서,
상기 파라미터 결정기(140;250)는 평활 제어기를 포함하는데, 상기 평활 제어기는 평활화된 위상량(
)과 대응하는 입력 위상량(
) 간의 차가 미리 정해진 임계치보다 클 경우에는 위상값 평활 기능을 선택적으로 억제하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 6에 있어서,
상기 평활 제어기는, 상기 평활화된 위상량으로서, 2개의 평활화된 위상값
간의 차를 평가하고, 상기 대응하는 입력 위상량으로서, 2개의 평활화된 위상값 에 대응하는 2개의 입력 위상값(256) 간의 차를 평가하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 1 내지 7 중 어느 한 항에 있어서,
상기 업믹서(130;230)는, 평활 기능이 활성화된 경우, 채널간 위상차를 갖는 상기 업믹스된 오디오 채널의 서로 다른 신호
를 획득하기 위해, 주어진 시간 동안, 서로 다른 평활화된 위상값
으로 정의되는 서로 다른 일시 평활화된 위상 회전
을 적용하며, 상기 평활 기능이 억제된 경우, 채널간 위상차를 갖는 상기 업믹스된 오디오 채널의 서로 다른 신호를 획득하기 위해, 서로 다른 비평활화된 위상값으로 정의되는 일시 비평활화된 위상 회전(256)을 적용하도록 구성되고;
상기 파라미터 결정기(140;250)는 평활 제어기를 포함하며,
상기 평활 제어기는, 서로 다른 상기 업믹스된 오디오 채널의 상기 신호
를 획득하기 위해 적용되는 상기 평활화된 위상값
간의 차가, 상기 장치(100;200)에 의해 수신되거나 상기 장치에 의해 수신된 정보(212)로부터 도출(252)되는 비평활화된 채널간 위상차 값(212)과, 미리 정해진 임계치 이상만큼 다른 경우에, 위상값 평활 기능을 선택적으로 억제하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 1 내지 8 중 어느 한 항에 있어서,
상기 파라미터 결정기(140;250)는 평활화된 위상값(
)과 대응하는 입력 위상값(
) 간의 현재 차에 따라 평활화된 위상값(
)의 시퀀스(262)를 결정하는 필터 시간 상수(δ)를 조정하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 1 내지 9 중 어느 한 항에 있어서,
상기 파라미터 결정기(140;250)는 상기 업믹스된 오디오 신호의 서로 다른 채널과 관련된 2개의 평활화된 위상값
간의 차로 정의되는 평활화된 채널간 위상차 및, 비평활화된 채널간 위상차 정보(212)로 정의되는 비평활화된 채널간 위상차 간의 차에 따라 평활화된 위상값(
)의 시퀀스(262)를 결정하는 필터 시간 상수(δ)를 조정하도록 구성되는 것을 특징으로 하는 업믹스 장치.
청구항 1 내지 10 중 어느 한 항에 있어서,
상기 업믹스 장치는 오디오 비트 스트림으로부터 추출되는 정보에 따라 위상값 평활 기능을 선택적으로 활성하고 억제하도록 구성되는 것을 특징으로 하는 업믹스 장치.
하나 이상의 다운믹스 오디오 채널을 나타내는 다운믹스 오디오 신호를 다수의 업믹스된 오디오 채널을 나타내는 업믹스된 오디오 신호로 업믹스하는 방법에 있어서,
이전의 평활화된 위상값 및 입력 위상 정보를 기반으로 현재 일시 평활화된 위상값을 결정하기 위해, 위상 변화 제한 알고리즘을 이용하여 상기 이전의 평활화된 위상값의 스케일된 버전을 상기 현재 입력 위상 정보의 스케일된 버전과 조합하는 단계(710); 및
업믹스된 오디오 신호를 획득하기 위해 다운믹스 오디오 신호를 업믹스하도록 일시 가변 업믹스 파라미터를 적용하는 단계(720)를 포함하는데, 상기 일시 가변 업믹스 파라미터는 일시 평활화된 위상값을 포함하는 것을 특징으로 하는 업믹스 방법.
컴퓨터 프로그램이 컴퓨터 상에서 실행할 시에, 청구항 12에 따른 방법을 실행하는 컴퓨터 프로그램.