KR20090044675A - 오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널오디오 시스템 - Google Patents

Abstract

본 발명은 오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널 오디오 시스템에 관한 것으로, 특히 오디오 컨텐츠의 녹음 속도와 관계없이 정상적인 피치를 유지하면서 원하는 속도로 재생을 할 수 있도록 한 오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널 오디오 시스템에 관한 것이다.

본 발명의 멀티 채널 오디오 시스템은 적어도 2개 이상의 오디오 채널을 구비한 멀티 채널 오디오 시스템에 적용되되, 각각의 오디오 채널을 통해 입력되는 오디오신호의 속도를 가변하는 오디오 타임 및 피치 스케일링 장치 및 상기 오디오 타임 및 피치 스케일링 장치 사이의 속도 가변 시점을 동기시키는 블록 동기부를 포함하여 이루어지고, 각각의 상기 오디오 타임 및 피치 스케일링 장치는 소정의 샘플링 신호에 따라 속도 가변할 오디오신호를 샘플링하는 샘플링부; 상기 샘플링부에서 샘플링된 오디오신호를 일시 저장하는 버퍼부; 상기 버퍼부에서 두 프레임의 오디오신호를 독출하고 속도 가변신호에 따라 상기 독출한 오디오신호가 시간 축 상으로 중첩 또는 두 오디오신호의 사이에 간격부가 형성되게 하여 속도를 가변하는 제1 속도 가변부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호의 상호 상관도를 계산하고 계산한 상호 상관도 값이 최대인 위치를 찾는 상관도 산출부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호를 상기 상관도 산출부가 산출한 상호 상관도 값이 최대인 위치로 재배열하는 제2 속도 가변부 및 상기 제2 속도 가변부에서 출력되는 두 오디오신호를 합성하는 합성부로 구성된다.

오디오, 타임, 피치, 속도, 템포

Description

오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널 오디오 시스템{Audio Time and Pitch Scaling Apparatus and the Multi Channel Audio System thereby}

본 발명은 오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널 오디오 시스템에 관한 것으로, 특히 오디오 콘텐츠의 녹음 속도와 관계없이 정상적인 피치를 유지하면서 원하는 속도로 재생을 할 수 있도록 한 오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널 오디오 시스템에 관한 것이다.

일반적인 오디오 기기에서 녹음을 수행하는 경우 녹음 속도를 떨어뜨리면 녹음 시간은 길게 얻을 수 있지만 단위시간(주행속도)/주파수 도메인이 낮아져 음질의 열화가 일어난다. 이와는 반대로 녹음 속도를 올리면 단위시간(주행속도)/주파수 도메인이 증가하여 양호한 음질을 얻을 수 있지만 전체적인 녹음 가능 시간은 짧아진다.

위의 두 가지 경우로 녹음된 내용을 재생 가능한 최저 속도와 최고 속도의 중간 속도로 재생시키면 최저 속도로 녹음한 소리는 단위시간(주행속도)/주파수 도메인의 부족으로 원래 녹음된 소리보다 속도가 빠르며 피치(음정)가 올라간 상태로 재생되며, 최고 속도로 녹음한 소리는 단위시간(주행속도)/주파수 도메인의 과다로 인해 원래 녹음된 소리보다 속도가 느려지며 피치가 낮아진 상태로 재생된다. 이러한 현상은 아날로그 기기와 디지털 기기를 막론하고 같은 형태로 일어난다.

오디오 타임 및 피치 스케일링(Audio time & pitch scaling)은 재생되는 소리를 녹음속도와 관계없이 정상적인 속도와 피치로 재생하는 기술이다. 이 기술은 다양한 분야에 적용될 수 있다. 예를 들어, 시각 장애인용의 오디오 북(book)의 재생속도를 높여 시간 절약이 가능하며, 비디오 포스트 프로덕션(Video post production)에서 비디오를 편집할 때 프레임의 감소나 증가시 발생하는 오디오의 길이를 화면에 맞게 조절할 수 있다.

또, 오디오 타임 및 피치 스케일링은 웨이브 파일(wave file)을 기본으로 하는 노래반주기에서 노래를 부르는 사람을 위한 음악의 속도조절 및 음정 조절을 가능하게 한다. 즉, 기존의 Pre sampled-MIDI를 사용하는 노래반주기에서는 피치(pitch)의 조절은 악보 데이터에서 조를 변경하는 방법을 사용하고, 템포(tempo)의 조절은 악보 데이터를 천천히 연주시켜 구현할 수 있었다. 그러나 웨이브 파일(wave file)을 사용하는 노래반주기의 음성 신호는 템포나 피치의 변경이 불가능하였다.

이를 감안하여, 종래에 오디오 파일의 템포를 늦추고자 하는 경우에 디지털 회로 혹은 프로그램에서 리 샘플(Re-Sample)이라는 방법을 사용하는데, 이것은 진행되는 소리를 1초를 기준으로 다수로 분할하여 복사한 후 원래의 자리에 연속해서 복사하여 파형을 늘이는 방법을 사용하는데, 이에 따르면 원래의 타임 도메인(Time domain)이 늘어나 템포가 늦어지게 된다.

반대로 템포를 빨리 하고자 하는 경우에는 원본의 소리를 다수 개로 자른 상태에서 일정한 간격으로 빼내거나 혹은 건너뛰면서 재생하는 방법을 사용하는데,이에 따라 원래의 타임 도메인(Time domain)이 감소하여 템포가 빨라지게 된다.

한편, 피치를 변경하는 경우에는 위의 방법보다 복잡한 주파수/진폭변조 방법을 사용하는데 이것은 위와 마찬가지로 진행되는 소리를 다수의 개수로 분할한 상태에서 각각의 잘라진 소리의 조각에 포함된 주파수 도메인(Frequency domain)을 검출하여 진폭으로 변환하고, 이렇게 검출되고 변환된 주파수 도메인의 조각(Cell)에 높이를 증가시키면 피치가 올라가고 그 높이를 감소시키면 피치가 내려가게 된다.

그러나 전술한 종래의 방법은 이를 실제로 구현하는 경우에 주파수 및 타임 도메인 내에 존재하는 다양한 배음(Harmonics)에 의해 각 조각의 연결이 부정확해지기 때문에 부적절하고 원치 않는 음향이 발생하는 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 주된 과제는 오디오 콘텐츠의 녹음 속도와 관계없이 정상적인 피치를 유지하면서 원하는 속도로 오디오를 재생할 수 있도록 한 오디오 타임 및 피치 스케일링 장치 및 이를 적용한 다채널 오디오 시스템을 제공하는 것이다.

전술한 목적을 달성하기 위한 본 발명의 오디오 타임 및 피치 스케일링 장치는 소정의 샘플링 신호에 따라 속도 가변할 오디오신호를 샘플링하는 샘플링부; 상기 샘플링부에서 샘플링된 오디오신호를 일시 저장하는 버퍼부; 상기 버퍼부에서 두 프레임의 오디오신호를 독출하고 속도 가변신호에 따라 상기 독출한 오디오신호가 시간 축 상으로 중첩 또는 두 오디오신호의 사이에 간격부가 형성되게 하여 속도를 가변하는 제1 속도 가변부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호의 상호 상관도를 계산하고 계산한 상호 상관도 값이 최대인 위치를 찾는 상관도 산출부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호를 상기 상관도 산출부가 산출한 상호 상관도 값이 최대인 위치로 재배열하는 제2 속도 가변부 및 상기 제2 속도 가변부에서 출력되는 두 오디오신호를 합성하는 합성부로 구성된다.

한편, 본 발명의 멀티 채널 오디오 시스템은 적어도 2개 이상의 오디오 채널을 구비한 멀티 채널 오디오 시스템에 적용되되, 각각의 오디오 채널을 통해 입력되는 오디오신호의 속도를 가변하는 오디오 타임 및 피치 스케일링 장치 및 상기 오디오 타임 및 피치 스케일링 장치 사이의 속도 가변 시점을 동기시키는 블록 동기부를 포함하여 이루어지고, 각각의 상기 오디오 타임 및 피치 스케일링 장치는 소정의 샘플링 신호에 따라 속도 가변할 오디오신호를 샘플링하는 샘플링부; 상기 샘플링부에서 샘플링된 오디오신호를 일시 저장하는 버퍼부; 상기 버퍼부에서 두 프레임의 오디오신호를 독출하고 속도 가변신호에 따라 상기 독출한 오디오신호가 시간 축 상으로 중첩 또는 두 오디오신호의 사이에 간격부가 형성되게 하여 속도를 가변하는 제1 속도 가변부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호의 상호 상관도를 계산하고 계산한 상호 상관도 값이 최대인 위치를 찾는 상관도 산출부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호를 상기 상관도 산출부가 산출한 상호 상관도 값이 최대인 위치로 재배열하는 제2 속도 가변부 및 상기 제2 속도 가변부에서 출력되는 두 오디오신호를 합성하는 합성부로 구성된다.

본 발명의 오디오 타임 및 피치 스케일링 장치에 따르면, 오디오의 빠르기(템포)와 음 높이(피치)를 실시간으로 사용자가 임의대로 조절할 수 있게 하며, 템포 변환 시 각 프레임간의 연결이 부정확하거나 계단식일 때 발생하는 험(Hum)의 변조 현상을 방지하여 음의 왜곡이 없도록 한다.

또한 본 발명의 오디오 타임 및 피치 스케일링 장치에 따르면, 피치를 건드리지 않고 속도만을 바꿀 수 있으므로 빠른 속도의 음성을 가진 외국어를 공부하는 경우 원래의 피치를 변경함이 없이 속도만을 바꿈으로써 외국 언어의 학습시 대단히 효과를 발휘할 수 있다.

본 발명은 또한, 템포와 피치를 동시에 변환시킬 수 있으므로 웨이브 파일(wave file)을 기본으로 하는 노래반주기에서 노래할 곡의 반주를 플레이 시킨 후 음정 버튼으로 음의 높낮이를 조정하고 템포 버튼으로 빠르기를 조절하여 사용자가 가장 부르기 쉽고 편한 상태로 조절할 수 있게 한다.

한편, 본 발명의 오디오 타임 및 피치 스케일링 장치를 적용한 멀티 채널 오디오 시스템에 따르면, 각 채널의 속도 가변에 대한 동기를 유지시킴으로써 두 개 이상 복수의 채널이 동시에 재생됨에 따라 나타내는 기계음의 발생이나 저역 주파 수 성분에 의한 변조 등을 제거할 수가 있다.

이하 첨부한 도면을 참조하여 본 발명의 오디오 타임 및 피치 스케일링 장치의 바람직한 실시 예에 대해 상세하게 설명한다.

도 1은 본 발명의 오디오 타임 및 피치 스케일링 장치의 구성을 보인 블록도이고, 도 2a 및 도 2b는 본 발명의 오디오 타임 및 피치 스케일링 장치에서 두 프레임의 오디오신호를 속도 가변신호에 따라 시간 축으로 배열하고, 상호 상관도를 계산하는 동작을 설명하기 위한 도면이며, 도 3a 및 도 3b는 본 발명의 오디오 타임 및 피치 스케일링 장치에서 두 프레임의 오디오신호를 합성하는 동작을 설명하기 위한 도면이다.

먼저, 도 1에 도시한 바와 같이, 본 발명의 오디오 타임 및 피치 스케일링 장치는 오디오신호를 소정 주파수의 샘플링신호에 따라 샘플링하는 샘플링부(10), 샘플링부(10)에서 샘플링된 오디오신호를 일시 저장하는 버퍼부(20), 버퍼부(20)에서 m번째 및 m+1번째 프레임의 오디오신호를 독출하고 속도 가변신호에 따라 상기 독출한 오디오신호의 시간 축 상으로 중첩 또는 두 오디오신호의 사이에 간격부가 형성되게 하여 속도를 조절하는 제1 속도 가변부(30), 제1 속도 가변부(30)에서 출력되는 두 오디오신호의 상호 상관도를 계산하고 계산한 상호 상관도 값이 최대인 위치를 찾는 상호 상관도 산출부(40), 상기 상관도 산출부(40)가 계산한 상호 상관도 값이 최대인 위치로 제1 속도 가변부(30)에서 출력되는 상기 2 오디오신호의 시간 축 위치를 재조절하는 제2 속도 가변부(50), 제2 속도 가변부(50)에서 출력되는 두 오디오신호를 합성하는 합성부(60)로 이루어진다.

전술한 구성에서, 샘플링부(10)에서는 소정 주파수의 샘플링신호, 예를 들어 44.1㎑의 주파수를 가지는 샘플링신호로 입력되는 오디오신호를 샘플링하는데, 이렇게 샘플링된 오디오신호는 프레임 단위로 하여 버퍼부(20)에 순차적으로 저장된다. 여기에서 초당 분할되는 프레임의 수는 최소 1,024개인 것이 바람직하다. 다음으로, 버퍼부(20)에 두 프레임 이상 분량의 오디오신호가 저장되면, 그 저장된 오디오신호를 제1 속도 가변부(30)가 m번째 프레임 및 m+1번째 프레임의 오디오신호를 독출하고, 독출한 두 프레임의 오디오신호를 속도 가변신호에 따라 시간 축 상으로 상호 중첩하거나 또는 두 프레임의 오디오신호의 사이에 간격부가 형성되도록 배열한다. 예를 들면, 오디오신호의 속도를 빠르게 조절할 경우에는 도 2a에 도시된 바와 같이, m번째 및 m+1번째 프레임의 오디오신호를 상호 간에 중첩되게 배열하고, 오디오신호의 속도를 느리게 조절할 경우에는 도 2b에 도시된 바와 같이 m번째 및 m+1번째 프레임의 음성신호의 사이에 시간 축 상으로 간격부가 있도록 배열한다.

여기서, 상기 m번째 및 m+1번째 프레임의 오디오신호가 중첩되는 크기(A)와 m번째 및 m+1번째 프레임의 오디오신호의 사이에 있는 간격부의 크기(B)는 오디오신호의 속도를 빠르게 변경하거나 느리게 조절하는 값에 따라 결정되는 것으로서 오디오신호의 속도를 빠르게 조절할수록 중첩되는 크기(A)가 커지고, 오디오신호의 속도를 느리게 조절할수록 간격부의 크기(B)가 커지게 된다.

다음으로, 제1 속도 가변부(30)에서 시간 축으로 배열되어 출력되는 두 프레 임의 오디오신호는 상관도 산출부(40) 및 제2 속도 가변부(50)로 입력되는 것으로서 상관도 계산부(40)는 m+1번째 프레임의 오디오신호가 시작되는 위치를 기준으로 하여 미리 설정된 범위 이내의 각각의 위치에서 상호 상관도를 계산하고, 계산한 상호 상관도 값이 최대인 위치를 찾아 제2 속도 가변부(50)로 출력한다. 예를 들면, 도 2a 및 도 2b에 도시된 바와 같이 m번째 오디오신호의 초기 위치를 기준으로 하여 미리 설정된 ±α의 영역 내의 각각의 위치에서 상호 상관도를 계산하여 그 값이 최대인 위치를 찾고, 찾은 최대 위치를 제2 속도 가변부(50)로 출력한다. 그러면, 제2 속도 가변부(50)는 상관도 산출부(40)가 찾은 상관도 값이 최대인 위치에 m+1번째 프레임의 오디오신호의 초기위치가 위치하도록 배열하여 출력하고, 그 출력한 두 프레임의 오디오신호를 합성부(150)가 합성하여 출력한다.

여기에서, 합성부(60)에서의 오디오신호 합성은, 두 오디오신호가 중첩되거나 두 오디오신호의 사이에 간격부가 구비되어 있음에 따라 상이하게 합성한다. 예를 들면, 도 3a에 도시된 바와 같이 두 오디오신호가 중첩될 경우에는 그 중첩되는 초기위치부터 중첩이 끝나는 위치까지 m번째 프레임의 오디오신호의 레벨은 감소시키고, m+1번째 프레임의 오디오신호의 레벨은 증가시켜 합성한다.

그리고, 도 3b에 도시된 바와 같이 두 오디오신호의 사이에 간격부가 있을 경우에는 m번째 프레임의 오디오신호의 끝 부분 소정 영역과 m+1번째 프레임의 오디오신호의 앞 부분 소정 영역 예를 들면, m번째 프레임의 오디오신호의 전체 크기에서 끝 부분의 1/4 영역(ma)과 m+1번째 프레임의 오디오신호의 전체 크기에서 앞 부분의 1/4 영역(mb)을 추출하여 평균값을 계산하고, 계산한 평균값을 간격부에 위 치시켜 합성한다.

한편, 일반적으로 인간이 듣는 소리는 두 귀를 이용하여 스테레오로 인식한다. 마찬가지로 일반적인 오디오는 2개의 채널을 사용하는 스테레오이지만 근래에 들어서 5채널 이상의 기기가 많이 보급되어 있다. 표준 DVD 규격 안에는 Dolby 5.1 규격과 DTS(Digital Theater System) 규격이 혼재한다.

하나의 음원에서 발생한 소리를 인간이 인지하는 경우에 인간은 좌측 및 우측의 귀에 도달하는 시간의 차이에 의해서 방향을 감지한다. 따라서 여러 개의 채널을 동시에 재현하는 기기에서 상술한 오디오 타임 및 피치 스케일링 기술을 이용하는 경우는 하나의 채널의 경우보다 복잡한 구성이 요구된다.

즉, 동일한 음원 2개가 발생하는 경우에 이 2개의 오디오에 대해 피치를 변경시키거나 템포를 변경시키는 경우 각 프레임의 중첩 점의 크로스톡(Cross Talk)에 의해 각 채널의 위상이 일치하지 않는 경우가 발생하게 된다. 이러한 위상의 불일치로 발생하는 잡음 및 왜곡을 위상 일그러짐(Phase Distortion)이라 부른다.

이렇게 위상 일그러짐은 두 개 이상 복수의 채널이 동시에 재생될 때 기계음의 발생이나 저역 주파수 성분에 의한 변조 등이 다양한 문제를 일으킨다. 따라서 멀티트랙 혹은 멀티채널에서 본 발명의 오디오 타임 및 피치 스케일링 장치를 이용하여 템포 또는 피치를 변화시키고자 하는 경우에는 프로그램 혹은 하드웨어를 1개를 블록로 간주하고 재현하고자하는 각 채널 혹은 트랙의 숫자만큼 연결하고 각 블록간의 동기를 수행하는 과정이 필요하다.

도 4는 본 발명의 오디오 타임 및 피치 스케일링 장치가 5.1 채널의 오디오 시스템에 적용된 예에 따른 블록 구성도이다. 도 4에 도시한 바와 같이, 5.1 채널 오디오 시스템에는 각 채널의 오디오신호를 별도로 채집하는데, 이렇게 채집된 오디오신호들, 즉 좌측후방(LR)의 오디오신호, 우측후방(RR)의 오디오신호, 좌측전방(LF)의 오디오신호, 우측전방(RF)의 오디오신호, 중앙(CE)의 오디오신호 및 저음 채널인 중앙 우퍼(CW)의 오디오신호들 각각에 대해 그 템포 및 피치를 독립적으로 가변하기 위한 총 6개의 속도 가변부(100~150)가 구비되어 있는바, 이들 각각의 속도 가변부(100~150)는 블록 동기부(200)에 의해 그 가변 시점에 대한 동기가 이루어진 채로 속도 가변을 수행한다. 그리고 이렇게 속도가 가변된 각 채널의 오디오신호는 각각의 전력 증폭기(Power Amplifier)(300~350) 및 스피커(400~450)를 통해 음파로 출력된다.

본 발명의 오디오 타임 및 피치 스케일링 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다. 예를 들어 전술한 실시 예에서는 5.1 채널에 대해 설명을 진행하였으나 이에 국한되는 것은 아니고 통상의 2채널(스테레오), 4채널, 6.1 채널 또는 7.1 채널의 오디오 시스템에도 적용이 가능할 것인바, 이 경우에 각 채널 마다 속도 가변부가 구비될 것이다.

도 1은 본 발명의 오디오 타임 및 피치 스케일링 장치의 구성을 보인 블록도,

도 2a 및 도 2b는 본 발명의 오디오 타임 및 피치 스케일링 장치에서 두 프레임의 오디오신호를 속도 가변신호에 따라 시간 축 상으로 배열하고, 상호 상관도를 계산하는 동작을 설명하기 위한 도면,

도 3a 및 도 3b는 본 발명의 오디오 타임 및 피치 스케일링 장치에서 두 프레임의 오디오신호를 합성하는 동작을 설명하기 위한 도면,

도 4는 본 발명의 오디오 타임 및 피치 스케일링 장치가 5.1 채널의 오디오 시스템에 적용된 예에 따른 블록 구성도이다.

*** 도면의 주요 부분에 대한 부호의 설명 ***

10: 샘플링부, 20: 버퍼부,

30: 제1 속도 가변부, 40: 상관도 산출부,

50: 제2 속도 가변부, 60: 합성부,

100~150: 스케일링 장치, 200: 블록 동기부,

300~350: 전력 증폭부, 400~450: 스피커

Claims (2)

1. 소정의 샘플링 신호에 따라 속도 가변할 오디오신호를 샘플링하는 샘플링부;

   상기 샘플링부에서 샘플링된 오디오신호를 일시 저장하는 버퍼부;

   상기 버퍼부에서 두 프레임의 오디오신호를 독출하고 속도 가변신호에 따라 상기 독출한 오디오신호가 시간 축 상으로 중첩 또는 두 오디오신호의 사이에 간격부가 형성되게 하여 속도를 가변하는 제1 속도 가변부;

   상기 제1 속도 가변부에서 출력되는 두 오디오신호의 상호 상관도를 계산하고 계산한 상호 상관도 값이 최대인 위치를 찾는 상관도 산출부;

   상기 제1 속도 가변부에서 출력되는 두 오디오신호를 상기 상관도 산출부가 산출한 상호 상관도 값이 최대인 위치로 재배열하는 제2 속도 가변부 및

   상기 제2 속도 가변부에서 출력되는 두 오디오신호를 합성하는 합성부로 구성된 오디오 타임 및 피치 스케일링 장치.
2. 적어도 2개 이상의 오디오 채널을 구비한 멀티 채널 오디오 시스템에 적용되되,

   각각의 오디오 채널을 통해 입력되는 오디오신호의 속도를 가변하는 오디오 타임 및 피치 스케일링 장치 및

   상기 오디오 타임 및 피치 스케일링 장치 사이의 속도 가변 시점을 동기시키는 블록 동기부를 포함하여 이루어지고,

   각각의 상기 오디오 타임 및 피치 스케일링 장치는 소정의 샘플링 신호에 따라 속도 가변할 오디오신호를 샘플링하는 샘플링부; 상기 샘플링부에서 샘플링된 오디오신호를 일시 저장하는 버퍼부; 상기 버퍼부에서 두 프레임의 오디오신호를 독출하고 속도 가변신호에 따라 상기 독출한 오디오신호가 시간 축 상으로 중첩 또는 두 오디오신호의 사이에 간격부가 형성되게 하여 속도를 가변하는 제1 속도 가변부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호의 상호 상관도를 계산하고 계산한 상호 상관도 값이 최대인 위치를 찾는 상관도 산출부; 상기 제1 속도 가변부에서 출력되는 두 오디오신호를 상기 상관도 산출부가 산출한 상호 상관도 값이 최대인 위치로 재배열하는 제2 속도 가변부 및 상기 제2 속도 가변부에서 출력되는 두 오디오신호를 합성하는 합성부로 구성된 멀티 채널 오디오 시스템.

Images