KR20130014515A

KR20130014515A - 재생 속도 또는 피치를 변경할 때 오디오 신호에서 과도 사운드 이벤트를 처리하기 위한 장치 및 방법

Info

Publication number: KR20130014515A
Application number: KR1020127023450A
Authority: KR
Inventors: 사샤 디쉬; 프레드릭 나겔; 스테판 빌데
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2010-03-09
Filing date: 2011-03-04
Publication date: 2013-02-07
Also published as: KR101412117B1; MX2012010350A; PL2532002T3; ES2449476T3; US20130060367A1; HK1177318A1; CA2792368A1; RU2012142241A; WO2011110496A1; CA2792368C; AU2011226208B2; US9240196B2; BR112012022577A2; JP5649084B2; RU2591012C2; EP2532002A1; AU2011226208A1; JP2013521537A; CN102934164A; EP2532002B1

Abstract

오디오 신호를 프로세싱하기 위한 장치는 블록 추출 사전 값과 다른 중첩 부가 사전 값을 이용하여 복수의 서브대역 신호들 중 상응하는 하나의 블록들을 중첩하고 부가하기 위한 중첩 부가 스테이지를 포함한다. 상기 장치는 오디오 신호는 또는 복수의 서브대역 신호들 중 하나의 서브대역 신호에서 과도를 검출하기 위한 과도 검출기를 더 포함한다. 중첩 부가 스테이지는 부가할 때 검출된 과도의 영향을 감소시키거나 검출된 과도들을 사용하지 않도록 설정된다. 상기 장치는 중첩/부가 스테이지에 의해 발생된 서브대역 신호에 검출된 과도를 부가하기 위한 과도 부가기를 더 포함한다. 오디오 신호를 처리하기 위한 관련된 방법은, 그 중에서도, 중첩 및 부가를 할 때 검출된 과도의 영향을 감소시키거나 검출된 과도를 폐기하는 단계를 포함한다.

Description

재생 속도 또는 피치를 변경할 때 오디오 신호에서 과도 사운드 이벤트를 처리하기 위한 장치 및 방법{APPARATUS AND METHOD FOR HANDLING TRANSIENT SOUND EVENTS IN AUDIO SIGNALS WHEN CHANGING THE REPLAY SPEED OR PITCH}

본 출원의 분야는 프로세스 내의 과도 사운드 이벤트들의 지각적으로 동기화된 처리에 대한 방법에 관한 것이다. 특히, 과도 사운드 이벤트들은 시간 연장의 신호 조작 중에 제거될 수 있다. 그 이후에, 연장을 고려하여 변경된(연장된) 신호에 프로세싱되지 않은 과도 신호 부분을 정확히 끼워 맞추는 부가가 수행될 수 있다.

오디오 신호들의 재생 속도는, 예를 들어 위상 보코더(phase vocoder)의 도움으로, 피치(pitch)를 유지하면서 변경될 수 있다(예를 들어 J.L. Flanagan 및 R. M. Golden, "벨 시스템 기술 학술지(The Bell System Techinical Journal)", 1966년 11월, 1394 내지 1509 쪽; 미국 특허 제6,549,884호 Laroche, J. 및 Dolson, M.: "위상 보코더 피치 쉬프팅(Phase-vocoder pitch-shifting)"; Jean Laroche 및 Mark Dolson, "피치 쉬프팅, 조화 및 다른 색다른 효과들을 위한 새로운 위상 보코더 기술(New Phase-Vocoder Techniques for Pitch-Shifting, Harmonizing And Other Exotic Effects)", Proc. 오디오 및 음향에 대한 신호 프로세싱의 응용에 관한 1999년 IEEE 워크숍, 뉴욕 뉴 팔츠(New Paltz), 1999년 10월 17-20일 참조). 동일한 방식으로, 그러한 방법들을 이용하여 원래의 재생 지속기간을 유지하면서 신호의 전위(transposition)가 수행될 수 있다. 후자는 시간 연장(time stretching) 인수에 의해 가속화된 연장된 신호를 재생함으로써 얻어진다. 시간 이산 신호 표현에서, 이는 샘플링 주파수를 유지하면서 연장 인수로 신호를 다운 샘플링하는 것에 상응한다. 종래에는, 이러한 시간 연장이 시간 도메인에서 일어난다. 대안으로, 또한, 그것은 의사 격자구조 대칭 필터뱅크(pseudo-quadrature mirror filterbank, pQMF)와 같은 필터 뱅크 내에서 일어날 수 있다. 의사 격자구조 대칭 필터뱅크(pQMF)는 때때로 QMF 필터뱅크라고도 불린다.

연장에서 구체적인 난관은 시간 연장의 프로세싱 단계 중에 시간 내에서 "흐릿해지는(blur)" 과도 이벤트들이다. 이는 위상 보코더와 같은 방법들이 신호의 (시간 주파수 스펙트로그램(spectrogram)에 대하여) 이른바 종적 일관성(vertical coherence) 속성들에 영향을 미치기 때문에 일어난다.

과도 지속기간 중에 시간 연장을 전혀 수행할 필요가 없거나 단지 조금만 하도록, 몇몇 현행 방법들은 과도 근처에서 시간을 더 연장한다. 이는, 예를 들어:

- Laroche L., Dolson M.: 오디오에 대한 향상된 위상 보코더 시간스케일 수정(Improved phase vocoder timescale modification of audio), IEEE Trans. 음성 및 오디오 프로세싱, vol. 7, no. 3, pp. 323-332

- Emmanuel Ravelli, Mark Sandler, 및 Juan P. Bello: 스테레오 오디오의 비선형 시간 스케일링에 대한 고속 구현(Fast implementation for non-linear time-scaling of stereo audio); 디지털 오디오 효과에 관한 제8회 국제 컨퍼런스의 회의록과(DAFx'05), 스페인 마드리드, 2005년 9월 20-22일

- Duxbury, C., M. Davies, 및 M. Sandler(2001년 12월). 다중 해상도 분석 기술을 이용한 음악 오디오에서의 과도 정보 분리(Separation of transient information in musical audio using multi resolution analysis techniques). 디지털 오디오 효과에 관한 COST G-6 컨퍼런스의 회의록(DAFX-01), 아일랜드 리머릭(Limerick)

에서 기술되었다.

상기 주제에 관한 다른 문서는 Robel, A.에 의해 작성된: 위상 보코더에서 과도 프로세싱에 대한 새로운 접근법(A NEW APPROACH TO TRANSIENT PROCESSING IN THE PHASE VOCODER; 디지털 오디오 효과에 관한 제6회 국제 컨퍼런스의 회의록(DAFx-03), 영국 런던, 2003년 9월 8-11일;이다.

위상 보코더들에 의한 오디오 신호들의 시간 연장에서, 신호의 스펙트로그램도에서 이른바 종적 일관성이 영항을 받기 때문에, 과도 신호 부분들은 분산에 의해 "흐릿해진다". 이른바 중첩 부가 방법들을 이용하여 작동되는 방법들은 과도 사운드 이벤트들의 가짜 전 반향들(pre echoes) 및 후 반향들(post echoes)을 발생시킬 수 있다. 이러한 문제들은 과도 환경에서 시간 연장을 변경하며, 실제 과도 중에 연장을 하지 않고, 주변(surrounding)에서 더 크게 연장함으로써 처리될 수 있다. 그러나, 만약 전위가 일어난다면, 전위 인수는 과도 환경에서 더 이상 일정하지 않을 것으로, 즉 겹쳐진 (아마도 음조(tonal)) 신호 부분들의 피치가 가짜로 청취가능한 방식으로 변경된다. pQMF와 같은 필터 뱅크 내에서 시간 연장이 일어날 때, 유사한 문제들이 발생한다.

본 문서에 개시된 사상의 실시예들에 따르면, 오디오 신호를 프로세싱하기 위한 장치는 오디오 신호의 복수의 서브대역 신호들을 개별적으로 시간 조작하기 위한 시간 조작기를 포함한다. 시간 조작기는 블록 추출 사전(advance) 값과 다른 중첩 부가 사전 값을 이용하여 복수의 서브대역 신호들 중 적어도 하나의 블록들을 중첩하고 부가하기 위한 중첩 부가 스테이지(stage), 오디오 신호 또는 서브대역 신호에서 과도를 검출하기 위한 과도 검출기, 및 중첩 부가 스테이지에 의해 발생된 복수의 신호들에 검출된 과도를 부가하기 위한 복수의 과도 부가기들을 포함한다. 중첩 부가 스테이지는 부가할 때 검출된 과도의 영향을 감소시키거나 검출된 과도를 사용하지 않도록 설정된다.

다른 실시예에 따르면, 오디오 신호를 프로세싱하기 위한 장치는, 서브대역 신호들을 발생시키기 위한 분석 필터뱅크; 복수의 서브대역 신호들을 개별적으로 시간 조작하기 위한 시간 조작기;를 포함하는데, 시간 조작기는: 블록 추출(extraction) 사전 값과 다른 중첩 부가 사전 값을 이용하여 서브대역 신호의 블록들을 중첩하고 부가하기 위한 중첩 부가 스테이지; 오디오 신호 또는 서브대역 신호에서 과도를 검출하기 위한 과도 검출기; 및 중첩/부가 스테이지에 의해 발생된 신호에 검출된 과도를 부가하기 위한 과도 부가기;를 포함하며, 여기서 중첩 부가 스테이지는 부가할 때 검출된 과도의 영향을 감소시키거나 검출된 과도들을 사용하지 않도록 설정된다.

다른 실시예에 따르면, 오디오 신호를 프로세싱하기 위한 방법은:

오디오 신호의 복수의 서브대역 신호들을 개별적으로 시간 조작하는 단계를 포함하는데,

상기 시간 조작 단계는:

블록 추출 사전 값과 다른 중첩 부가 사전 값을 이용하여 복수의 서브대역 신호들 중 상응하는 하나의 블록들을 중첩하고 부가하는 단계;

오디오 신호 또는 서브대역 신호에서 과도를 검출하는 단계;

중첩하고 부가할 때 검출된 과도의 영향을 감소시키거나 검출된 과도를 폐기하는 단계;

중첩하고 부가하는 동작에서 발생된 복수의 신호들에 검출된 과도를 부가하는 단계;

를 포함한다.

다른 실시예는 컴퓨터 프로그램이 컴퓨터에서 구동할 때 방법을 수행하기 위한 컴퓨터 프로그램에 관한 것으로, 상기 방법은:

오디오 신호의 복수의 서브대역 신호들을 개별적으로 시간 조작하는 단계;

를 포함하되,

상기 시간 조작하는 단계는:

를 포함한다.

관련된 실시예들에 따르면, 상기 장치는 오디오 신호 또는 복수의 오디오 신호들을 데시메이팅하기 위한 데시메이터(decimator)를 더 포함할 수 있다. 시간 조작기는 복수의 서브대역 신호들의 시간 연장을 수행하도록 설정될 수 있다.

다른 실시예에 따르면, 과도 검출기는 과도를 포함하는 것으로 검출된 블록들을 표시하도록 설정될 수 있고; 그 안에 복수의 중첩 부가 스테이지들은 표시된 블록들을 무시하도록 설정된다.

다른 실시예에 따르면, 복수의 중첩 부가 스테이지들은 복수의 서브대역 신호들의 시간 연장을 수행하기 위해 블록 추출 값보다 큰 중첩 부가 값을 적용하도록 설정될 수 있다.

다른 실시예에 따르면, 시간 조작기는 블록 추출기, 윈도우어(windower)/위상 조정기(phase adjustor), 및 윈도우어/위상 조정기가 추출된 블록의 조정을 수행하는 것에 기초하여, 위상을 계산하기 위한 위상 계산기(calculator)를 더 포함할 수 있다.

다른 실시예에 따르면, 과도 부가기는 또한, 과도를 갖는 부분으로부터 출력된 신호로부터 중첩 부가 프로세싱으로부터의 출력으로 크로스 페이딩(cross-fade)이 가능하도록, 과도를 갖는 서브대역 신호의 부분을 삽입하도록 설정될 수 있는데, 여기서 상기 부분의 길이는 충분히 길게 선택된다.

관련된 실시예에 따르면, 과도 부가기는 크로스 페이딩 작동을 수행하도록 설정될 수 있다.

다른 실시예에 따르면, 과도 검출기는 과도 특성을 갖는 서브대역 신호로부터 블록 추출기에 의해 추출된 블록들을 검출하도록 설정될 수 있다. 중첩 부가 스테이지는 또한 부가할 때 검출된 블록들의 영향을 감소시키거나 검출된 블록들을 사용하지 않도록 설정될 수 있다.

다른 실시예에 따르면, 과도 검출기는 분석 필터뱅크에 입력되는 신호 또는 서브대역 신호의 미리 결정된 기간에 걸쳐 에너지의 이동 중심 중량(gravity) 계산을 수행하도록 설정될 수 있다.

예를 들어, 적절한 섹션을 선택하기 위한 과도 위치의 정확한 결정은 적절한 기간에 걸쳐 에너지의 이동 중심 계산의 도움으로 수행될 수 있다. 특히, 과도 결정은 필터 뱅크 내에서 주파수 선택 방식으로 수행될 수 있다. 추가로, 섹션의 기간은 상수 값 또는 과도 결정으로부터의 정보에 기초한 가변 방식으로 선택될 수 있다.

다른 실시예에 따르면, 상기 장치는 서브대역 신호들을 발생시키기 위한 분석 필터뱅크를 더 포함할 수 있다.

다른 실시예에 따르면, 상기 장치는 분석 필터 뱅크의 입력측 또는 출력측에 배열된 데시메이터를 더 포함할 수 있다. 시간 조작기는 복수의 서브대역 신호들의 시간 연장을 수행하도록 설정될 수 있다.

다른 실시예에 따르면, 상기 장치는 제1 분석 필터뱅크, 제2 분석 필터 뱅크, 제2 분석 필터 뱅크의 리샘플러 상향(resampler upstream), 및 제2 분석 필터뱅크에 의해 출력된 제2 복수의 서브대역 신호들에 대한 복수의 위상 보코더들을 더 포함할 수 있는데, 상기 복수의 위상 보코더들은 1보다 큰 대역폭 확장 인수를 가지고 위상 보코더의 출력은 복수의 중첩 부가 스테이지들에 제공된다.

다른 실시예에 따르면, 상기 장치는 연결 스테이지의 입력측에 제1 분석 뱅크와 복수의 위상 보코더들 및 연결 스테이지의 출력 스테이지에 복수의 중첩 부가 스테이지들 사이에 연결 스테이지를 더 포함할 수 있는데, 상기 연결 스테이지는 중첩 부가 스테이지에 복수의 서브대역 신호들 중 상응하는 하나와 위상 보코더로 프로세싱된 신호의 블록들의 제공을 제어하도록 설정된다.

다른 실시예에 따르면, 상기 장치는: 서로 다른 중첩 값들의 진폭에 영향을 미치는 효과들을 보상(compensate)하도록 설정된 진폭 정정을 더 포함할 수 있다.

그러므로, 본 출원은 대역폭 확장의 면에서 그리고 대역폭 확장에 관련되지 않은 다른 오디오 응용들의 면에서 오디오 신호들을 프로세싱하기 위한 장치들, 방법들, 또는 컴퓨터 프로그램들의 다른 양상들을 제공한다. 개개의 양상들이 컴퓨터 시스템 또는 마이크로 프로세서에서 구현될 때 지각적 품질, 계산 복잡도, 및 프로세서/메모리 자원에 관한 이점들을 이미 제공하기 때문에, 상기 기술되고 청구된 개개의 양상들의 특징들은 부분적으로 또는 전체적으로 결합될 수 있지만, 또한 서로 독립적으로 사용될 수도 있다.

여기에 개시된 사상들에 따르면, 기존의 방법들과 대조적으로, 과도를 포함하는 윈도윙된 섹션이 조작되는 신호로부터 제거될 수 있다. 이는, 중첩 및 부가(OLA) 프로세스 중에, 한 블록씩, 오직 과도들을 포함하지 않는 시간 부분들만을 합침으로써 얻어질 수 있다. 이는 과도들을 포함하지 않는 시간 연장된 신호를 초래한다. 시간 연장을 종료한 이후에, 원래의 신호로부터 제거되었던 연장되지 않은 과도들이 다시 부가될 수 있다.

따라서, 분산 및 반향 효과는 더 이상 과도의 본래의(subjective) 오디오 품질에 영향을 미치지 않는다.

원래의 신호 부분을 삽입하여, 샘플링 레이트를 변경할 때 음색(timbre) 또는 피치의 변경이 발생할 것이다. 일반적으로, 그러나, 과도는 이를 심리 음향적으로 마스킹한다(mask). 특히, 만약 정수 인수로 연장이 일어난다면, 과도 환경 외부에서, 오직 매 n번째(n = 연장 인수) 고조파(harmonic)만이 맵핑되기 때문에, 음색이 단지 약간만 변경될 것이다.

첨부되는 도면들은 실시예들의 추가적인 이해를 제공하기 위해 포함되고, 이 명세서의 일부로 포함되며 이 명세서의 일부를 구성한다. 도면들은 실시예들을 도시하고, 상기 설명과 함께, 실시예들의 원리들을 설명하기 위해 쓰일 수 있다. 다른 실시예들 및 실시예들의 많은 의도하는 이점들은, 다음의 상세한 설명들을 참조하여 더 잘 알 수 있으므로, 쉽게 이해될 것이다. 비슷한 도면 부호들은 상응하거나 유사한 부분들을 지칭한다.

도 1은 전형적으로 피치 파이프(pitch pipe)와 캐스터네츠(castanets)의 혼합을 구성하는 원래의 신호에 대한 신호 파형을 도시하는 도면.
도 2는 도 1에 도시된 신호 파형의 이산 푸리에 변환(Discrete Fourier Transformation, DFT) 스펙트로그램.
도 3은 도 2의 DFT 스펙트로그램과 유사한 64 대역 pQMF 분석 필터뱅크에 기초한 QMF 기반 스펙트로그램.
도 4는 과도 검출 매트릭스를 도시하는 도면.
도 5는 여기에 기술된 사상들을 이용하지 않는 시간 연장에서 초래하는 신호의 신호 파형을 도시하는 도면.
도 6은 여기에 기술된 사상들을 이용한 시간 연장에서 초래하는 신호의 신호 파형을 도시하는 도면.
도 7은 여기에 기술된 사상들에 따른 과도 처리가 되지 않은 시간 연장된 신호의 FFT 기반 스펙트로그램.
도 8은 여기에 기술된 사상들에 따라 과도 처리된 시간 연장된 신호의 FFT 기반 스펙트로그램.
도 9는 여기에 기술된 사상들에 따른 장치를 포함하는 오디오 프로세싱 시스템의 도식적인 블록도.
도 10은 여기에 기술된 사상들에 따른 장치를 포함하는 다른 오디오 프로세싱 시스템의 도식적인 블록도.
도 11a는 단일의 서브대역 신호를 프로세싱하기 위한 프로세싱 구현의 도식적인 블록도.
도 11b는 단일의 서브대역 신호를 프로세싱하기 위한 다른 프로세싱 구현의 도식적인 블록도.
도 12a 내지 12e는 본 개시된 사상들에 따른 신호 블록 프로세싱을 도시하는 도면.
도 13은 여기에 개시된 사상들의 일 실시예에 따른 장치의 도식적인 블록도.
도 14는 여기에 기술된 사상들의 다른 실시예에 따른 장치의 도식적인 블록도.
도 15는 여기에 기술된 사상들에 따른 오디오 신호를 프로세싱하기 위한 방법의 도식적 흐름도.

도 1은 전형적으로 피치 파이프와 캐스터네츠의 혼합으로 구성되는 오디오 신호의 신호 파형에 대한 시간 섹션을 도시한다. 묘사된 오디오 신호는 여기에 기술된 사상들을 적용하지 않거나 적용하여 다양한 시간 연장 동작들이 수행되는 원래의 신호로 사용될 수 있다. 피치 파이프의 사운드는 도 1에서 약 0.08 유닛의 진폭을 갖는 주기 실질적으로 주기적인 신호에 해당한다. 네 개의 캐스터네트 비트들은 약 0.45 유닛의 진폭을 갖는 네 개의 짧은 임펄스들(impulses)로 도 1에서 보인다. 피치 파이프는 실질적으로 음조 신호를 만들어 낸다. 그러나, 캐스터네츠는 높은 과도 신호를 만들어 낸다. 음향 및 오디오에서, 일반적으로, 과도는 음악적 사운드 또는 발음된 단어의 비 고조파(non-harmonic) 어택(attack) 위상을 표현하는 지속기간이 짧은 신호로 정의된다. 그것은 비 고조파 구성요소의 높은 정도 및 사운드의 고조파 콘텐츠보다 더 높은 고주파수들의 크기를 포함할 수 있다. 일반적으로, 과도들은 그것들이 일으키는 음색(tone)의 주파수에 의해 직접적으로 결정되지 않는다.

도 2는 도 1의 신호 파형의 이산 푸리에 변환(DFT) 스펙트로그램을 도시한다. 도 3은 도 2와 유사하고, 도 1의 신호 파형의 64 대역 의사 격자구조 대칭 필터뱅크(pQMF) 스펙트로그램을 도시한다. 도 2 및 3에서 두 개의 스펙트로그램 도해들에서 알 수 있는 바와 같이, 원래의 오디오 신호는 밀집한 고조파 부분 사운드 구조(수평 구조들) 및 캐스터네츠 비트들(수직 구조들)을 포함한다.

거기서부터 도출되어, 도 4는 주파수 선택 방식에서 과도 신호 부분들을 표시하는 이진 과도 검출 매트릭스를 도시한다. 검출된 과도 신호 부분들은 흰색으로 도시된다. 바로 그 부분들은 전위를 위해 보코더를 통해 제거되고, 그 이후에 원래의 신호에 기초하여 다시 부가될 수 있다. 대안으로, 검출된 과도 신호 부분들은 시간 연장으로부터 제외되고, 원래의 신호로부터의 각각의 신호 부분들로 추후에 대체될 수 있다.

도 5 내지 8을 두 개의 시간 신호들의 형태로 새로운 과도 처리가 된 것과 되지 않은 시간 연장의 결과 및 관련된 스펙트로그램들을 도시한다. 과도 처리가 된 경우와 과도 처리가 되지 않은 경우들에 대한 시간 신호들 및 스펙트로그램들을 비교하여, 과도 신호 부분들의 원치 않는 시간 흐림이 여기에 개시된 사상들을 이용함으로써 효과적으로 방지될 수 있음을 알 수 있다. 예를 들어, 도 5에 도시된 시간 신호 및 도 7에 도시된 상응하는 스펙트로그램은 캐스터네츠 비트들이 확장되었다는 것, 즉 그것들의 지속기간이 도 1에 도시된 원래의 시간 신호에서보다 길다는 것을 드러내 보인다. 반대로, 여기에 기술된 사상들에 따른 과도 처리를 이용하여 얻어진, 도 6에 도시된 시간 신호 및 도 8에 도시된 상응하는 스펙트로그램은 캐스터네츠 비트들이 그것들의 지속기간에 대해 실질적으로 확장을 겪지 않고, 신호 조작 과정 동안 실질적으로 보존되었다는 것을 보여준다.

개시된 사상들에 따른 장치, 방법, 및 컴퓨터를 이용하여, 시간 연장 및 전위 방법들로 과도들을 프로세싱할 때 생기는 아티팩트들(artifacts)(분산, 전후 반향들)이 효과적으로 방지된다. 상기에서, 서브대역에서 고정(stationary) 또는 과도 부분들이 지배적인지 여부는 주파수 선택 방식으로 구별되고, 과도 처리 방법은 그에 상응하여 선택된다. 또한, 삽입되는 시간 부분의 기간은 과도에 신호 부분의 기간을 최적으로 맞추기 위해 과도 결정의 변수들을 고려하여 가변 방식으로 형성될 수 있다.

상기 방법은 오디오 신호들의 재생 속도 또는 피치가 변경되는 모든 오디오 응용들에 적합하다. 특히 적합한 것은 대역폭 확장 또는 오디오 효과 분야에서의 응용들이다.

도 9는 오디오 대역폭 확장 분야에 있는 오디오 프로세싱 시스템을 도시한다. 그러나, 본 발명은 또한 대역폭 확장을 수행하지 않는 다른 분야들에도 역시 적용될 수 있다. 비트스트림이 코어 디코더(100)에 입력된다. 코어 디코더에 의해 출력된 신호, 즉 협대역폭 오디오 신호는 각각의 데시메이터들(102a, 102b, 102c) 안으로 입력된다. 코어 디코더(100)에 의해 출력된 신호와 비교하여 감소된 시간 길이를 갖는 데시메이팅된 신호들은 상응하는 pQMF 분석 스테이지들(104a, 104b, 104c) 안으로 입력된다. 상기 스테이지들(104a, 104b, 104c)은 pQMF 필터뱅크가 아닌 임의의 다른 분석 필터뱅크로 구현될 수 있다. 모두 이러한 목적으로 사용될 수 있는 많은 서로 다른 필터뱅크 구현들이 존재한다.

각각의 pQMF 분석 스테이지(104a, 104b, 104c)는 서로 다른 서브대역 채널들에서 복수의 서로 다른 서브대역 신호들을 출력하는데, 여기서 각각의 서브대역 신호는 감소된 대역폭 및, 일반적으로, 감소된 샘플링 레이트를 갖는다. 이 경우에, 필터뱅크는 본 발명에서 선호되는 2배 오버샘플링된 필터뱅크이다. 그러나, 또한 정밀하게 샘플링된 필터뱅크가 사용될 수 있다.

pQMF 분석 채널에서 출력된 상응하는 협대역 신호 또는 서브대역 신호는 위상 보코더 안으로 입력된다. 비록 도 9가 오직 세 개의 위상 보코더들(106a, 106b, 106c)만을 도시하고 있지만, 각각의 개별 pQMF 분석 채널이 고유의(own) 위상 보코더를 가질 수 있음을 이해하는 것이 중요하다. 또한, 위상 보코더 알고리즘은 기저 대역 또는 제1 패치(patch)의 보간에 의해 구현될 수 있다. 동일한 분석 필터뱅크에 의해 발생된 서로 다른 서브대역 신호들에 대한 위상 보코더들은, 유사한 구성을 가지고, 도 9에 도시된 대역폭 확장 인수로 인해 다른 필터뱅크들로부터의 서브대역 신호들에 대한 위상 보코더들과 다르다. 위상 보코더 106a에서 대역폭 확장 인수는 2이다. 위상 보코더 106b에서, 대역폭 확장 인수는 3이고, 위상 보코더 106c에서, 대역폭 확장 인수는 4이다. 여기에 개시된 사상들을 위해 임의의 대역폭 확장 또는 심지어 여러 서로 다른 대역폭 확장들을 수행하는 것이 일반적으로 필요하지 않음에 주의한다. 그러므로, 데시메이터들(102a, 102b, 102c)은 생략될 수 있다. 서로 다른 위상 보코더들로부터의 출력들은 pQMF 합성 필터뱅크(108) 안으로 입력된다. 블록들(104a-104c)에서 분석 필터뱅크들이 서로 다른 기술로 구현될 때, 그러면 합성 필터뱅크(108)도 서로 다른 기술로 구현될 것이어서, 분석 필터뱅크 기술과 합성 필터뱅크 기술이 서로 맞춰진다.

여기에 개시된 사상들에 따른 장치는 하나 이상의 QMF 분석 스테이지들(104a, 104b, 104c) 및 QMF 분석 필터뱅크(108)에서 분배 방식으로 구현될 수 있다. 같은 방식 또는 유사한 방식으로, 본 개시된 사상들에 따른 장치의 일부인 시간 조작기는 QMF 분석 스테이지들(104a, 104b, 104c) 및 QMF 분석 필터뱅크(108) 사이에 분배될 수 있다. 이에 따라, 하나 이상의 QMF 분석 스테이지들(104a, 104b, 104c)은 시간 조작으로부터의 과도가 들어있는 블록들을 누락시키고 합성 필터뱅크(108)에 원래의 블록들을 전달할 수 있다. 합성 필터뱅크(108)는 합성 필터뱅크(108)의 중첩 부가 스테이지에 의해 발생된 신호에 검출된 일반적으로 수정되지 않은 과도를 부가함으로써 과도 부가기의 기능을 제공할 수 있다. 도 9의 도식적인 블록도는 과도 검출기를 명백하게 도시하고 있지 않다. 과도 검출기는 QMF 분석 스테이지들(104a, 104b, 104c)의 일부일 수 있다. 대안에서, 과도 검출기는 그 자체의 하나의 유닛일 수 있다.

도 10은 서로 다른 구현들을 도시하는데, 여기서 라인 110 상의 기저대역 신호는 분석 필터뱅크(112) 안으로 입력된다. 그러므로, 저대역 신호가 복수의 서브대역 신호들로 변환된다. 또한, 전환 스테이지 또는 연결 스테이지(114)가 제공되는데, 이에 의해 위상 보코더(106a, 106b)에 의해 출력되거나 기저대역 pQMF 분석(112)에 의해 출력된 서로 다른 서브대역 신호들이 어떤 임의로 선택된 분석 대역 안으로 입력될 수 있다.

개개의 위상 보코더들은 개개의 pQMF 대역에 관련된다. 도 10에서, 대역폭 확장 인수 2를 이용하는 제1 고조파 패치의 첫번째 pQMF 대역과 마지막 pQMF 대역이 106a로 도시된다. 대역폭 확장 인수 3을 이용하는 다른 고조파 패치에 있어서, 이 패치의 첫번째 및 마지막 pQMF 대역은 106b로 도시된다.

위상 보코더 출력들 및 기저대역 pQMF 분석(112) 출력들 중 임의로 선택된 결합을 이용하여 분석된 신호가 발생될 수 있다. 전환 스테이지(114)는 특정 사이드 정보를 갖는 오디오 신호에 의해 제어되거나, 특정 신호 특성에 의해 제어되는 제어된 전환 스테이지일 수 있음을 알아야 한다. 대안으로, 상기 스테이지(114)는 어떠한 전환 능력도 없는 단순한 연결 스테이지일 수 있다. 이는, 요소들 112 및 106a-106b로부터 출력된 신호들의 특정 분배가 고정적으로 셋팅되고 고정적으로 프로그래밍된 경우이다. 이 경우에, 상기 스테이지(114)는 어떠한 전환들도 포함하지 않을 것이나, 특정 관통 접속들은 포함할 것이다.

도 11a는 단일의 서브대역 신호를 프로세싱하기 위한 프로세싱 구현의 일 실시예를 도시한다. 단일의 서브대역 신호는 도 11a에 도시되지 않은 분석 필터 뱅크에 의해 필터링되기 이전 또는 이후에 임의의 종류의 데시메이션을 받았을 수 있다. 데시메이션이 수행된 경우에, 단일의 서브대역 신호의 시간 길이는 일반적으로 데시메이션 되기 이전의 시간 길이보다 짧다. 단일의 서브대역 신호는 블록 추출기(1800) 안으로 입력된다. 도 11a에서 블록 추출기(1800)는 예시적으로 e라고 불리는 샘플/블록 사전 값을 이용하여 작동된다. 샘플/블록 사전 값은 변할 수 있거나 고정된 셋트일 수 있고, 블록 추출기 박스(1800) 안으로 향하는 화살표로 도 11a에서 도시된다. 블록 추출기(1800)의 출력에, 복수의 추출된 블록들이 존재한다. 샘플/블록 사전 값(e)이 블록 추출기의 블록 길이보다 상당히 작기 때문에, 이러한 블록들은 매우 중첩된다. 블록 추출기가 12개의 샘플들의 블록을 추출하는 것이 한 예이다. 제1 블록은 샘플들 0 내지 11을 포함하며, 제2 블록은 샘플들 1 내지 12를 포함하며, 제3 블록은 샘플들 2 내지 13을 포함하고, 등등. 이 실시예에서, 샘플/블록 사전 값(e)은 1과 같고, 11겹(fold)의 중첩이 있다. 상기 예시는 예시로써 제공되는 값을 가지고, 이 응용에서 저 응용으로 변경될 수 있다.

개개의 블록들은 각각의 블록에 대해 윈도우 함수를 이용하여 블록들을 윈도윙하기 위해 윈도우어(1802) 안으로 입력된다. 또한, 각각의 블록에 대한 위상을 계산하는 위상 계산기(1804)가 제공된다. 위상 계산기(1804)는 윈도윙 이전 또는 윈도윙 이후의 개개의 블록을 이용할 수 있다. 그 다음에, 위상 조정 값(p×k)이 계산되어 위상 조정기(1806) 안으로 입력된다. 위상 조정기는 블록 내의 각각의 샘플에 조정 값을 적용한다. 또한, 인수 k는 대역폭 확장 인수와 같다. 예를 들어, 인수 2로 대역폭 확장이 얻어질 때, 그러면 블록 추출기(1800)에 의해 추출된 블록에 대해 계산된 위상(p)에 인수 2가 곱해지고, 위상 조정기(1806)에서 블록의 각각의 샘플에 적용된 조정 값은 2가 곱해진 p이다. 이는 예시로써 제공된 값/규칙이다. 대안으로, 합성을 위해 정정된 위상은 k*p, p+(k-1)*p이다. 그래서 이 예시에서, 정정 인수는 만약 곱해진다면 2, 또는 만약 부가된다면 1*p이다. 위상 정정 값을 계산하기 위해 다른 값들/규칙들이 적용될 수 있다.

일 실시예에서, 단일의 서브대역 신호는 복합 서브대역 신호이고, 블록의 위상은 복수의 서로 다른 방식들로 계산될 수 있다. 하나의 방식은 블록의 중간 또는 중간 근처에서 샘플을 취해서, 이 복합 샘플의 위상을 계산하는 것이다.

비록 도 11a에서 위상 조정기가 윈도우어에 이어서 작동되는 식으로 도시되었으나, 이러한 두 블록들은 또한 교환될 수 있어, 블록 추출기에 의해 추출된 블록들에 위상 조정이 수행되고 이어지는 윈도윙 작업이 수행된다. 두 작업들 모두, 즉, 윈도윙 및 위상 조정은 실수 값 또는 복소수 값 곱셈들이기 때문에, 이러한 두 개의 작업들은, 그 자체가 위상 조정 곱셈 인수와 윈도윙 인수의 곱인, 복합 곱셈 인수를 이용하여 단일 작업으로 합쳐질 수 있다.

위상이 조정된 블록들은 중첩/부가 및 진폭 정정 블록(1808) 안으로 입력되는데, 여기서 윈도윙되고 위상이 조정된 블록들은 중첩 부가된다. 그러나, 중요한 것은, 블록 1808에서의 샘플/블록 사전 값은 블록 추출기(1800)에서 사용된 값과 다르다. 특히, 블록 1808에서의 샘플/블록 사전 값은 블록 1800에서 사용된 값(e)보다 커서, 블록 1808에 의해 출력된 신호의 시간 연장이 얻어진다. 그러므로, 블록 1808에 의해 출력된 프로세싱된 서브대역 신호는 블록 1800으로 입력된 서브대역 신호보다 긴 길이를 갖는다. 2의 대역폭 확장이 얻어질 때, 그러면 블록 1800에서 상응하는 값의 2배인 샘플/블록 사전 값이 사용된다. 이는 인수 2에 의한 시간 연장을 불러온다. 그러나, 다른 시간 연장 인수들이 필요할 때, 그러면 다른 샘플/블록 사전 값들이 사용될 수 있어 블록 1808의 출력은 요구된 시간 길이를 갖는다.

중첩 발생을 어드레싱(addressing)하기 위해, 바람직하게는, 블록(1800 및 1808)에서의 서로 다른 중첩들의 발생을 어드레싱하도록 진폭 정정이 수행된다. 그러나, 이러한 진폭 정정은 또한 윈도우어/위상 조정기 곱셈 인수 안에 들어가 있을 수 있으나, 또한 중첩/프로세싱에 이어서 진폭 정정이 수행될 수 있다.

블록 길이 12 및 블록 추출기에서 샘플/블록 사전 값 1을 갖는 상기 예시에서, 인수 2로한 대역폭 확장이 수행될 때, 중첩/부가 블록(1808)에 대한 샘플/블록 사전 값은 2와 같을 것이다. 이는 여전히 6개 블록들의 중첩을 야기한다. 인수 3으로 대역폭 확장이 수행될 때, 그러면 블록 1808에 의해 사용된 샘플/블록 사전 값은 3과 같을 것이고, 중첩은 4개의 중첩으로 떨어질 것이다. 4겹의 대역폭 확장이 수행될 때, 그러면 중첩/부가 블록(1808)은 여전히 2개 이상의 블록들의 중첩을 야기할 샘플/블록 사전 값 4를 이용해야 할 것이다.

도 11a에서 도시된 개개의 서브대역 신호에 대한 위상 보코더는 바람직하게는 연결 201a로 나타내어진 서브대역 신호 내의 과도 검출을 수행하거나 연결 라인 201b로 나타내어진 분석 필터뱅크 프로세싱 이전에 신호의 과도 검출을 수행하기 위한 과도 검출기(200)를 포함한다. 과도 검출기(200)가 과도를 검출하자마자, 제어 연결 203으로 도시된 바와 같이 중첩/부가 프로세싱에서 과도를 갖는 블록들을 사용하지 않도록 중첩/부가 스테이지가 제어된다. 일 실시예에서, 라인 203 상의 신호는 과도 이벤트를 갖는 모든 블록들을 제거하기 위해 중첩/부가 스테이지를 제어한다. 이는, 이 스테이지 이전의 신호에 대해 연장된, 그러나 어떠한 과도들도 포함하지 않는, 이 단계의 출력에서의 신호를 야기할 것이다.

과도들을 갖지 않는 연장된 신호는 연장된 신호에 과도를 부가하도록 설정되는 과도 부가기 안으로 입력되어, 출력에서, 삽입된 과도들을 갖는 연장된 신호가 존재하나, 이러한 삽입된 과도들은 곱셈 중첩/부가 프로세싱에 의해 영향을 받지 않았다.

일 실시예에서, 과도 부분은 연결 라인 206 및 라인 201a로 도시된 바와 같이 서브대역 신호 그 자체로부터 삽입된다. 대안으로, 과도가 개개의 서브대역들에 걸쳐 상당히 유사한 방식으로 발생하는 과도의 특성들 때문에, 임의의 다른 서브대역 신호 또는 서브대역 분석 이전의 신호로부터 신호가 추출될 수 있다. 그러나, 반면에, 샘플링 레이트 및 다른 고려사항들은 연장된 신호에 가능한 가깝기 때문에, 몇몇 예에서는 서브대역에서 발생하는 과도 이벤트를 이용하는 것이 바람직하다.

도 11b는 단일의 서브대역 신호를 프로세싱하기 위한 프로세싱 구현의 다른 가능한 실시예를 도시한다. 블록 추출기(1800)의 상향에, 단일의 서브대역 신호에 따라 작용하는 과도 억제 윈도우어(1798)이 삽입된다. 과도 억제 윈도우어(1798)는 과도가 들어있는 샘플들이나 블록들을 제거한다. 과도 검출기(200)에 의해 샘플에 과도가 들어있는지 여부에 대한 평가가 수행된다. 서브대역 신호가 과도 억제 윈도우어(1798)의 입력 측에서 탭핑되어(tap), 과도 검출기(200)는 입력으로써 단일의 서브대역 신호를 수신하다. 과도를 검출하자마자, 과도 검출기(200)는 과도 억제 윈도우어(1798)에 상응하는 신호를 출력하고, 과도 억제 윈도우어(1798)는 샘플이 들어있는 것으로 과도 검출기(200)에 의해 나타내어진 샘플(들)을 억제하여 반응한다. 그러므로, 과도가 들어있는 것으로 과도 검출기(200)에 의해 표시된 샘플들은 블록 추출기(1800)에 들어가지 않는다. 다른, 과도가 들어있지 않은 샘플들은 블록 추출기(1800), 윈도우어(1802), 위상 계산기(1804), 위상 조정기(1806), 및 중첩 부가 블록(1808)에 의해 프로세싱되는 블록들 내에 계속 있게 된다. 중첩 부가 블록(1808)은 과도들이 없는 연장된 신호를 출력한다.

그 다음에, 과도가 들어있는 샘플들은 과도 부가기(204)에 의해 과도들이 없는 연장된 신호에 다시 부가된다. 과도 부가기(204)는 입력들로써 과도 검출기(200)로부터의 제어 신호 및 원래의 단일의 서브대역 신호를 수신하다. 이러한 정보를 이용해, 과도 부가기는 과도 억제 윈도우어(1798)에 의해 억제되었던 샘플들을 확인하여, 과도들을 갖지 않은 연장된 신호에 이러한 샘플들을 재삽입할 수 있다. 과도 부가기(204)의 출력에서 삽입된 과도들을 갖는 프로세싱된 서브대역 신호(긴 시간 길이)가 얻어진다.

도 12a 내지 12e는 어떻게 오디오 신호 또는 복수의 서브대역 신호들 중 하나가 이전에 구현된 방법들 및 여기에 기술된 사상들에 따라 프로세싱될 수 있는지를 도시한다. 도 12a에서, 오디오 샘플들의 시퀀스(1202)가 도시된다. 상기 시퀀스(1202)는 복수의 서브대역 신호들 중 하나에 속할 수 있다. 문자 "T"는 과도 검출기에 의해 과도가 검출된 샘플을 표시한다.

도 12a에서 상기 시퀀스(1202) 아래에, 복수의 추출된 블록들(1206)이 표현된다. 복수의 추출된 블록들(1206)은 각각 12개의 샘플들의 길이이고 과도(T)를 갖는 샘플을 포함한다. 복수의 추출된 블록들(1206)의 위와 아래에, 과도(T)가 들어있지 않는 하나의 이전의 블록(1204) 및 하나의 이후의 블록(1208)이 도시된다. 도 12a에서 알 수 있는 바와 같이, 복수의 추출된 블록들(1204) 전체는 23개의 블록들을 초과하여 확장한다.

도 12b는, 표준 시간 조작 방법들에서, 오디오 신호의 시간 연장을 수행하기 위해, 이전의 블록(1204), 복수의 추출된 블록들(1206)의 블록들, 및 이후의 블록(1208)이 개개의 블록들을 중첩하고 부가하기 이전에 각각 한 블록씩 어떻게 쉬프팅(shift) 되는지를 도시한다. 블록들 또는 복수의 블록들의 쉬프팅된 버전들은 1204', 1206', 및 1298'이라고 명시된다. 도 12b에서 중첩 부가 사전 값은 2인데, 반면 도 12a에 도시된 블록 추출 사전 값은 1이다. 블록들의 쉬프팅 결과, 복수의 추출된 블록들(1206)의 블록들에서 과도(T)를 포함하는 샘플들은 더 이상 시간적으로(temporally) 정렬되지 않지만, 12 샘플들의 시간 범위에 걸쳐 퍼진다.

도 12c는, 여기에 기술된 사상들에 따라, 하나 이상의 샘플들에 과도(T)가 들어있는 블록들의 제거를 도시한다. 제거된 블록들은 복수의 추출된 블록들(1206')에 속하고 대시기호로 된 선으로 도시된다. 블록들(1206')의 제거는 14개의 샘플들의 길이인 갭(gap)을 남긴다. 또한, 상기 갭 이전의 10개의 샘플들의 시간 범위와 상기 갭 이후의 10개의 샘플들의 시간 범위에서, 오디오 신호를 프로세싱하기 위한 장치의 중첩 부가 프로세스에서 또는 중첩 부가 스테이지에 의해 평상시의 6개의 블록들 대신에 오직 감소된 개수의 블록들이 고려된다. 도 12b 및 12c는 단지 실례일 뿐이고, 도 12a의 복수의 추출된 블록들(1206)의 블록들은 과도가 검출될 이후에, 즉 복수의 추출된 블록들(1206)의 이러한 블록들 상에 쉬프팅 동작을 수행하지 않고 즉시 제거될 수 있다는 것을 알아야 한다. 여기에 개시된 사상들의 한 가능한 구현에서, 복수의 추출된 블록들(1206)의 블록들은 중첩 부가 스테이지를 우회하고 중첩 부가 스테이지의 하향에 삽입되기 위해 재전송(route)된다.

도 12d에서는 시간 조작된 오디오 신호에 원래의 과도 섹션, 즉 복수의 추출된 블록들(1206)의 삽입을 도시한다. 과도(T)가 들어있는 블록들의 제거 이후에 남겨진 갭에 원래의 과도 섹션이 삽입된다. 원래의 과도 섹션은 오디오 신호의 시간 조작된 나머지에 부가될 수 있다. 갭의 시작 또는 왼쪽 가장자리에, 복수의 추출된 블록들(1206)이 6개의 보통의 블록(그 중 세 개는, 도트 패턴으로, 도 12에서 도시된다)과 겹쳐진다. 도 12d에 도시된 예시에서, 보통의 블록들은 중첩 부가 사전 값 2로 프로세싱된다. 도 12d에서 알 수 있는 바와 같이, 원래의 과도 섹션의 끝과 이후의 블록(1208') 사이에 잔여 갭이 남아 있다. 이후 시점으로 향하는 오른쪽으로 복수의 추출된 블록들(1206)을 몇 샘플만큼 쉬프팅하여, 쉬프팅된 이전의 블록들(1204')과 쉬프팅된 이후의 블록(1208') 사이의 갭 내에 원래의 과도 섹션들이 더 균등하게 분포되고/되거나 위치되게 하는 것이 가능할 것이다.

도 12d의 하위 부분은 각각의 샘플에 얼마나 많은 블록들이 겹쳐지는지를 도시한다. 블록 길이 12 샘플, 블록 확장 값 1, 및 중첩 부가 사전 값 2를 갖는 보통의 시간 조작에 따르면, 시간 조작된 오디오 신호의 특정 샘플에 대한 중첩 부가 프로세스 중에 일반적으로 6개의 블록들이 고려된다. 다시 말해서, 시간 조작된 신호의 하나의 샘플에는 원래의 오디오 신호로부터 추출된 6개의 서로 다른 블록들로부터의 기여들(contributions)이 있다. 도 12d에서의 곡선은 원래의 과도 섹션의 프로세싱 중에 처음에 6개의 블록들이 고려되는 것을 보여준다. 복수의 추출된 블록들(1206) 중 상기 블록들이 하나의 샘플 차이만큼 시차를 둠에 따라, 과도(T)가 검출된 샘플에 대한 값 12에 도달하기 위해 겹쳐 놓여지는 블록들의 개수는 증가한다. 그 이후에, 원래의 과도 섹션의 끝에서 값 1에 도달하기 위해 블록 카운트(count)가 매 새로운 샘플마다 1만큼씩 감소한다. 블록 카운트는, 겹쳐진 블록들의 개수가 보통의 값 6과 다른, 섹션에서 시간 조작된 신호의 진폭을 정정하기 위해 사용될 수 있다. 이를 위해, 블록 카운트는 과도의 검출에 기초하여 결정되고 진폭 정정에 제공될 수 있다. 진폭 정정은 중첩, 부가, 및/또는 겹쳐지기 이전의 블록들, 또는 결과 시간이 조작된 신호에 따라 작용할 수 있다.

상기에서 언급한 바와 같이, 두 샘플들의 잔여 갭이 남아 있다. 보통의 블록들이 다시 시작될 때, 이후의 블록(1208')부터 시작한다.

도 12e는 2개의 샘플만큼 갭이 줄어들어 원래의 과도 섹션의 끝과 쉬프팅된 이후의 블록(1208') 사이에 어떠한 잔여 갭도 남아 있지 않게 되는 최적의 구현을 도시한다. 비록 이러한 방안이 결과 시간이 조작된 신호(특히, 약간 짧아진)의 약간의 손상을 가져올 수 있으나, 그 효과는 무시해도 될 정도일 수 있다. 상기에서 언급한 바와 같이, 원래의 과도 섹션은 앞선 이전의 블록(1204')과 이후의 블록(1208') 사이의 갭 내에 삽입되어 더 중심에 있을 수 있다.

도 12a 내지 12에 도시된 바와 같이, 하나 이상의 과도가 들어있는 샘플들을 포함하는 전체 블록들을 제거하기 위한 대안으로, 개개의 과도가 들어있는 샘플(들)이 블록 내에서 제거될 수 있으며, 한편 블록 내의 나머지 샘플들은 유지된다. 과도가 들어있는 샘플들의 제거는 샘플의 값을 0으로 셋팅함으로써 구현될 수 있다. 따라서, 과도가 들어있는 샘플은 중첩 부가 블록(1808)의 출력에 기여를 하지 않을 것이다. 0인 샘플로 중첩 부가된 다른 샘플들의 기여를 증가시키기 위해 진폭 정정이 사용될 수 있다. 과도가 들어있는 샘플들을 0으로 하는 동작에는 샘플 이전과 샘플 이후에 서브대역 신호를 페이딩 아웃(fading-out)하고 페이딩 인(fading-in)하는 것이 수반될 수 있다. 예를 들어, 과도가 들어있는 샘플들 이전의 몇몇 샘플들 및 과도가 들어있는 샘플들 이후의 몇몇 샘플들에서 예를 들어 과도가 들어있는 샘플(들) 주위에 삼각 페이딩 윈도우를 구현하기 위해 서브대역 신호는 페이딩 인수 신호와 곱해질 수 있다.

도 13은 본 개시된 사상들에 따른 오디오 신호를 프로세싱하기 위한 장치의 일부일 수 있는 시간 조작기의 도식적인 블록도를 도시한다. 시간 조작기는 함께 오디오 신호를 형성하는 복수의 서브대역 신호들을 수신한다. 시간 조작기 내에서 복수의 서브대역 신호들은 블록 추출기 및 버퍼(1810)에 의해 임시로 저장될 수 있다. 블록 추출기 및 버퍼(1810)는 복수의 서브대역 신호들의 각각으로부터 블록들을 추출한다. 블록들은 특정 블록 길이(L)를 가지고 특정 블록 추출 사전 값(e)을 이용하여 추출된다. 예를 들어, 블록 길이(L)는 12일 수 있고 블록 확장 사전 값(e)은 1일 수 있다. 블록 추출기 및 버퍼(1810)는 입력 파라미터들로써 블록 길이(L) 및 블록 확장 사전 값(e)을 수신하다. 대안에서, 블록 길이(L) 및 블록 확장 사전 값(e)은 블록 추출기 및 버퍼(1810)에 고정적으로(fixed manner) 저장될 수 있다.

블록 추출기 및 버퍼(1810)는 추출된 블록들을 출력하여, 시간 조작된 오디오 신호를 형성하기 위해 추출된 블록들이 블록 추출 사전 값(e)과 다른 중첩 부가 사전 값(k*e)으로 중첩되고 부가되는 중첩 부가 스테이지(1008)에 제공한다. 중첩 부가 스테이지(1808)는 복수의 중첩 부가 유닛들, 예를 들어 복수의 서브대역 신호들 중 상응하는 하나에 대한 하나의 중첩 부가 유닛을 포함할 수 있다. 다른 선택권은 단일의 중첩 부가 스테이지 또는 시분할이나 다중 방식으로 몇 개의 중첩 부가 유닛들을 사용하여 서브대역 신호들이 개별적으로 연속하여 중첩 부가되게 하는 것일 것이다.

시간 조작기는 복수의 서브대역 신호들을 수신하는 과도 검출기(200)를 더 포함한다. 과도 검출기(200)는 예를 들어 음악 사운드나 발음된 단어의 비 고조파 어택 위상 또는 비 주기 구성요소들의 높은 정도 및/또는 그 사운드의 고조파 콘텐츠보다 큰 고주파수들의 크기에 대해 서브대역 신호들 또는 오디오 신호를 분석할 수 있다. 과도 검출기(200)의 출력은 오디오 신호의 현재 섹션에서 과도가 확인되었는지 아닌지 여부를 나타내고, 중첩 부가 스테이지(1808) 및 과도 부가기(1812)에 제공된다. 과도 검출기(200)의 출력이 과도가 검출되었다고 나타내는 경우에, 중첩 부가 스테이지(1808)는 중첩 부가 동작을 수행할 때 과도(T)가 들어있는 그러한 블록들을 무시하도록 제어된다. 과도 부가기(1812)는, 그 일부에서, 과도가 검출되었다고 과도 검출기(200)로부터 표시를 받자마자 그 외 시간 조작된 오디오 신호에 원래의 과도 섹션을 삽입한다. 부가된 과도를 갖는 시간 조작된 신호는 시간 조작기의 출력이 된다.

도 14는 여기에 개시된 사상들에 따른 다른 구현에 따르는 시간 조작기의 도식적인 블록도를 도시한다. 도 13에 도시된 시간 조작기의 요소들에 더해, 도 14의 시간 조작기는 진폭 정정(1814)을 포함한다. 진폭 정정(1814)은 과도 검출기(200)로부터 검출된 과도에 관한 표시를 수신한다. 이 정보에 기초하여, 진폭 정정(1814)은 중첩 부가 프로세스에서 사용되는 블록들의 가변 개수를 설명하기 위해 신호 블록들의 진폭을 수정할 수 있다. 고려된 블록들의 개수의 변화는 복수의 추출된 블록들(1204)의 제거로 인한 것이고, 어쩌면 원래의 과도 섹션의 삽입으로 인한 것이다. 일반적으로, 블록들의 개수가 어떻게 변화하는지에 대한 시간 패턴은 잘 알려져 있고 검출된 과도의 시점에 기초하여 결정될 수 있다. 그러므로, 그러면 시간 패턴에 따라 이후의 블록들의 진폭들을 조정하는 진폭 정정에 트리거 신호(trigger signal)를 제공하기에 충분할 것이다. 가능한 시간 패턴은 도 12d 및 12e에 도시된 바와 같은 중첩 부가 프로세스에서 고려되는 블록들의 개수의 전개를 보여주는 파형에 기초할 수 있다. 진폭 정정 값은, 예를 들어 블록 카운트의 역수일 수 있다.

도 15는 여기에 개시된 사상들에 따른 오디오 신호를 프로세싱하기 위한 방법의 도식적인 흐름도를 도시한다. 상기 방법이 시작된 이후에, 오디오 신호의 복수의 서브대역 신호들이 개별적으로 시간 조작되는 동작 1502가 수행된다. 동작 1502는 서브 동작들(1504 내지 1510)을 포함한다.

1504에서 복수의 서브대역 신호들 중 상응하는 서브대역 신호의 블록들이 중첩되고 부가된다. 블록 추출 사전 값과 다른 중첩 부가 사전 값이 사용된다. 동작 1504는 과도들이 없는 정상적인 프로세스 흐름을 표현하고 계속해서 수행된다.

오디오 신호 또는 서브대역 신호에서 과도를 검출하기 위해 1506에서 과도 검출 동작이 수행된다. 동작 1506은 도 15의 흐름도에서 도시된 동작 1504 및 다른 동작들과 동시에 수행될 수 있다.

중첩하고 부가하는 동작 1504를 수행할 때, 검출된 과도의 영향이 감소되거나, 검출된 과도가 폐기된다.

그 다음에, 동작 1510에서, 중첩하고 부가하는 동작 1504에 의해 발생된 복수의 신호들에 검출된 과도가 부가된다.

비록 여기에 개시된 사상들에 따르면 오디오 신호의 과도 섹션은 일반적으로 오디오 신호의 나머지와 동일한 시간 조작을 겪지는 않지만, 시간 조작된 결과 신호는 일반적으로 실현 가능한 방식으로 과도 섹션들을 렌더링(render)한다. 이는 적어도 부분적으로는 과도가 주파수 쉬프팅과 같은 많은 신호 조작 방법들에 크게 의식되지 못한다는 사실 때문일 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 오디오 신호를 프로세싱하기 위한 장치는:

서브대역 신호들을 발생시키기 위한 분석 필터뱅크;

복수의 서브대역 신호들을 개별적으로 시간 조작하기 위한 시간 조작기;

를 포함할 수 있는데,

상기 시간 조작기는:

블록 추출 사전 값과 다른 중첩 부가 사전 값을 이용하여 서브대역 신호의 블록들을 중첩하고 부가하기 위한 중첩 부가 스테이지;

오디오 신호 또는 서브대역 신호에서 과도를 검출하기 위한 과도 검출기; 및

중첩/부가 스테이지에 의해 발생된 신호에 검출된 과도를 부가하기 위한 과도 부가기;

를 포함하며,

여기서 중첩 부가 스테이지는 부가할 때 검출된 과도의 영향을 줄이거나 검출된 과도들을 사용하지 않도록 설정된다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치는, 분석 필터뱅크의 입력측 또는 출력측에 배열된 데시메이터를 더 포함할 수 있는데, 여기서 시간 조작기는 서브대역 신호의 시간 연장을 수행하도록 설정될 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 과도 검출기는 과도를 포함하는 것으로 검출된 블록들을 표시하도록 설정될 수 있고; 중첩 부가 스테이지는 표시된 블록들을 무시하도록 설정될 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 중첩 부가 스테이지는 서브대역 신호의 시간 연장을 수행하기 위해 블록 추출 사전 값보다 큰 중첩 부가 사전 값을 적용하도록 설정될 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전의 주장들 중 하나에 따른 장치에서, 시간 조작기는: 블록 추출기; 윈도우어/위상 조정기; 및 기초하여 윈도우어/위상 조정기가 추출된 블록의 위상 조정을 수행하는 것에 기초하여, 위상을 계산하기 위한 위상 계산기;를 포함할 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 과도 검출기는 과도가 들어있는 서브대역 신호의 부분의 길이를 결정하도록 설정될 수 있는데, 상기 길이는 과도 부가기에 의해 삽입되는 신호의 길이와 일치한다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 중첩 부가 프로세싱으로부터 출력된 신호로부터 과도를 갖는 부분으로 또는 과도를 갖는 부분으로부터 중첩 부가 프로세싱으로부터의 출력으로의 크로스 페이딩이 가능하도록, 과도 부가기는 과도를 갖는 서브대역 신호의 부분을 삽입하기 위해 설정될 수 있는데, 여기서 상기 부분의 길이는 충분히 길게 선택될 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 과도 부가기는 크로스 페이딩 작업을 수행하도록 설정될 수 있다.

여기에 개시된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 과도 검출기는 과도 특성을 갖는 서브대역 신호로부터 블록 추출기에 의해 추출된 블록들을 검출하도록 설정될 수 있고, 중첩 부가 스테이지는 부가할 때 검출된 블록의 영향을 감소시키거나 검출된 블록들을 사용하지 않도록 설정될 수 있다.

여기에 기술된 사상들의 다른 양상에 따르면, 이전에 기술된 장치에서, 과도 검출기는 분석 필터뱅크 안으로 입력되는 신호 또는 서브대역 신호의 미리 결정된 기간에 걸쳐 에너지의 이동 중심 중량 계산을 수행하도록 설정될 수 있다.

비록 몇몇 양상들이 장치의 맥락에서 기술되었지만, 이러한 양상들은 또한 상응하는 방법에 대한 설명을 나타낸는 것이 자명하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 비슷하게, 방법 단계의 맥락에서 기술된 양상들은 또한 상응하는 블록이나 항목 또는 상응하는 장치의 특징에 대한 설명을 나타낸다.

본 발명의 인코딩된 오디오 신호는 디지털 저장 매체 상에 저장될 수 있거나, 인터넷(Internet)과 같은 무선 전송 매체나 유선 전송 매체와 같은 전송 매체로 전송될 수 있다.

특정 구현 요구사항들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 상기 구현은, 상기 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협조하는(또는 협조할 수 있는), 그 위에 저장된 전자적으로 판독가능한 제어 신호들을 갖는, 디지털 저장 매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM, 또는 플래쉬 메모리를 이용하여 수행될 수 있다.

본 발명에 따른 몇몇 실시예들은, 여기에 기술된 방법들 중 하나를 수행하도록, 프로그램 가능한 컴퓨터 시스템과 협조할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어(carrier)를 포함한다.

일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 구현될 수 있는데, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 구동할 때 상기 방법들 중 하나를 수행하도록 작동된다. 프로그램 코드는 예를 들어 기계 판독가능한 캐리어에 저장될 수 있다.

다른 실시예들은, 기계 판독가능한 캐리어에 저장된, 여기에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

다시 말해서, 그러므로, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터에서 구동할 때, 여기에 기술된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

그러므로, 본 발명의 방법들의 다른 실시예는, 그 위에 저장된, 여기에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독가능한 매체)이다.

그러므로, 본 발명의 방법의 다른 실시예는 여기에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 신호들의 시퀀스이다. 예를 들어, 데이터 스트림 또는 신호들의 시퀀스는 데이터 통신 연결을 통해, 예를 들어 인터넷(Internet)을 통해 전송되도록 설정될 수 있다.

다른 실시예는, 여기에 기술된 방법들 중 하나를 수행하도록 설정되거나 맞춰진, 프로세싱 수단, 예를 들어 컴퓨터, 또는 프로그램 가능한 논리 소자를 포함한다.

다른 실시예는 여기에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 위에 설치된 컴퓨터를 포함한다.

몇몇 실시예들에서, 프로그램 가능한 논리 소자(예를 들어 필드 프로그램 가능한 게이트 어레이)가 여기에 기술된 방법들의 기능들 중 몇몇 또는 전부를 수행하는데 사용될 수 있다. 몇몇 실시예들에서, 필드 프로그램 가능한 게이트 어레이는 여기에 기술된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협조할 수 있다. 일반적으로, 바람직하게는, 상기 방법들은 어떠한 하드웨어 장치로도 수행된다.

상기에서 기술된 실시예들은 단지 본 발명의 원리들에 대한 예시일 뿐이다. 여기에 기술된 배열들 및 세부사항들에 대한 수정 및 변경이 당업자들에게 자명할 것으로 생각된다. 그러므로, 오직 곧 나올 특허 청구항들의 범위에 의해서만 제한되고, 여기의 실시예들에 대한 기술 및 설명으로 제시된 특정 세부사항들에 의해서는 제한되지 않는 것이 목적이다.

Claims

중첩 부가 사전 값(overlap-add-advance value)을 이용하여 오디오 신호를 표현하는 복수의 서브대역(subband) 신호들 중 적어도 하나의 서브대역 신호의 블록들을 중첩하고 부가하기 위한 중첩 부가 스테이지(overlap-add stage);
상기 오디오 신호 또는 상기 복수의 서브대역 신호들 중 하나의 서브대역 신호에서 과도를 검출하기 위한 과도 검출기; 및
상기 중첩/부가 스테이지에 의해 발생된 서브대역 신호에 검출된 과도를 부가하기 위한 과도 부가기;
를 포함하되,
프로세싱하기 위한 장치는 중첩 부가 스테이지에 의해 부가할 때 검출된 과도의 영향을 감소시키거나 상기 검출된 과도들을 사용하지 않도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
청구항 1에 있어서,
상기 오디오 신호 또는 상기 복수의 서브대역 신호들을 데시메이팅하기 위한 데시메이터(decimator);
를 더 포함하되,
상기 시간 조작기는 상기 복수의 서브대역 신호들의 시간 연장(time stretching)을 수행하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
청구항 1에 있어서,
상기 과도 검출기는 과도를 포함하는 것으로 검출된 블록들을 표시하도록 설정되고;
상기 중첩 부가 스테이지는 표시된 블록들을 무시하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 중첩 부가 사전 값은 상기 복수의 서브대역 신호들 중 하나의 서브대역 신호로부터 블록들을 추출하는데 사용되는 블록 추출 사전 값과 다른 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 중첩 부가 스테이지는 상기 복수의 서브대역 신호들의 시간 연장을 수행하기 위해 블록 확장 사전 값보다 큰 중첩 부가 사전 값을 적용하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 시간 조작기는:
블록 추출기;
윈도우어/위상 조정기(windower/phase adjustor); 및
상기 윈도우어/위상 조정기가 추출된 블록의 위상 조정을 수행하는 것에 기초하여, 위상을 계산하기 위한 위상 계산기;
를 포함하는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 과도 검출기는 상기 과도가 들어있는 상기 서브대역 신호의 부분의 길이를 결정하도록 설정되며,
상기 길이는 상기 과도 부가기에 의해 삽입되는 신호의 길이와 일치하는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 과도 부가기는, 상기 중첩 부가 프로세싱으로부터 출력된 신호로부터 상기 과도를 갖는 부분으로 또는 상기 과도를 갖는 부분으로부터 상기 중첩 부가 프로세싱으로부터의 출력으로의 크로스 페이딩(cross-fade)이 가능하도록, 상기 과도를 갖는 상기 서브대역 신호의 부분을 삽입하도록 설정되며,
상기 부분의 길이는 충분히 길게 선택되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
청구항 7에 있어서,
상기 과도 부가기는 크로스 페이딩 작업을 수행하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 과도 검출기는 과도 특성을 갖는 상기 서브대역 신호로부터 블록 추출기에 의해 추출된 블록들을 검출하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 과도 검출기는 분석 필터뱅크 안으로 입력되는 신호 또는 서브대역 신호의 미리 결정된 기간에 걸쳐 에너지의 이동 중심 중량(gravity) 계산을 수행하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 복수의 서브대역 신호들을 발생시키기 위한 분석 필터 뱅크;
를 더 포함하는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
청구항 12에 있어서,
상기 분석 필터 뱅크의 입력측 또는 출력측에 배열된 데시메이터;
를 더 포함하되,
상기 시간 조작기는 상기 복수의 서브대역 신호들의 시간 연장을 수행하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
청구항 1 내지 11 중 어느 한 항에 있어서,
제1 분석 필터 뱅크;
제2 분석 필터 뱅크;
상기 제2 분석 필터 뱅크의 리샘플러 상향(resampler upstream); 및
상기 제2 분석 필터 뱅크에 의해 출력된 제2 복수의 서브대역 신호들에 대한 복수의 위상 보코더들(phase vocoders);
을 더 포함하되,
상기 복수의 위상 보코더들은 1보다 큰 대역폭 확장 인수를 가지며,
상기 위상 보코더 출력은 상기 중첩 부가 스테이지에 제공되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
청구항 14에 있어서,
연결 스테이지의 입력측에 상기 제1 분석 필터 뱅크과 상기 복수의 보코더들 및 상기 연결 스테이지의 출력측에 상기 중첩 부가 스테이지 사이의 연결 스테이지;
를 더 포함하되,
상기 연결 스테이지는 상기 중첩 부가 스테이지로의 상기 복수의 서브대역 신호들 중 상응하는 하나의 서브대역 신호의 블록들 및 상기 복수의 위상 보코더들에 의해 출력된 위상 보코더로 프로세싱된 블록들의 공급을 제어하도록 설정되는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 중첩 부가 스테이지의 상황에 따라 가변 블록 카운트들의 진폭에 영향을 미치는 효과들을 보상하도록 설정된 진폭 정정;
을 더 포함하는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
이전의 청구항들 중 어느 한 항에 있어서,
상기 오디오 신호의 복수의 서브대역 신호들을 개별적으로 시간 조작하기 위한 시간 조작기;
를 더 포함하되,
상기 시간 조작기는 상기 중첩 부가 스테이지, 상기 과도 검출기, 및 상기 과도 부가기를 포함하는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 장치.
중첩 부가 사전 값을 이용하여 오디오 신호를 표현하는 복수의 서브대역 신호들 중 상응하는 하나의 서브대역 신호의 블록들을 중첩하고 부가하는 단계;
상기 오디오 신호 또는 상기 복수의 서브대역 신호들 중 하나의 서브대역 신호에서 과도를 검출하는 단계;
중첩하고 부가할 때 검출된 과도의 영향을 감소시키거나 검출된 과도를 폐기하는 단계; 및
중첩 및 부가 동작에 의해 발생된 서브대역 신호에 검출된 과도를 부가하는 단계;
를 포함하는 것을 특징으로 하는 오디오 신호를 프로세싱하기 위한 방법.
컴퓨터 프로그램이 컴퓨터에서 구동할 때, 오디오 신호를 프로세싱하기 위해:
중첩 부가 사전을 이용하여 상기 오디오 신호를 표현하는 복수의 서브대역 신호들 중 상응하는 하나의 서브대역 신호의 블록들을 중첩하고 부가하는 단계;
상기 오디오 신호 또는 상기 복수의 서브대역 중 하나의 서브대역 신호에서 과도를 검출하는 단계;
중첩하고 부가할 때 검출된 과도의 영향을 감소시키거나 검출된 과도를 폐기하는 단계; 및
중첩 및 부가 동작에 의해 발생된 서브대역 신호에 검출된 과도를 부가하는 단계;
를 포함하는 방법을 수행하기 위한 컴퓨터 프로그램.