KR20090023910A

KR20090023910A - 오디오 효과음 처리장치와 방법

Info

Publication number: KR20090023910A
Application number: KR1020070089026A
Authority: KR
Inventors: 진창윤; 송정민; 주용수; 이준엽
Original assignee: 엘지전자 주식회사
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2009-03-06

Abstract

본 발명은 오디오 재생기기에서 재생 오디오 신호에 효과음을 부가하여 처리하는 방법과 그 장치에 관한 것이다. 본 발명의 실시예에 따르면, 음악 파일에서 BPM(Beats Per Minute)을 추출하고, 사전에 준비된 효과음 데이터를 추출된 BPM에 근거한 해당 음악 파일에 최적화시켜 변화를 주고, 해당 음악 파일에 최적화된 효과음을 음악 파일에 믹싱하여 효과음이 원음에 적응적이며 자동으로 최적화된 리믹싱 음악 컨텐츠를 생성할 수 있고, 생성된 리믹스 음악 컨텐츠를 재생하거나 저장하는 등의 사용을 자유롭게 할 수 있다.

음악, 리믹싱, 효과음

Description

오디오 효과음 처리장치와 방법{Audio Processing System}

본 발명은 오디오 재생기기에서 재생 오디오 신호에 효과음을 부가하여 처리하는 방법과 그 장치에 관한 것이다.

오디오 재생기능을 갖는 휴대 단말기를 비롯하여, 오디오 재생기기에서 음악을 재생하는 방법으로는 API(Application Programming Interface)를 이용하는 방법과 독립적인 DSP(Digital Signal Processing) 칩을 이용하는 방법을 들 수 있다. 이 두가지 방법은 제공되는 음악 재생 엔진에서 음원을 재생하는데 근거가 된다. 음악 재생 시에 고려될 수 있는 기법으로는 음악 선곡을 들 수 있다. 즉, 리스트로 제공되는 복수 개의 음악 컨텐츠 중에서 원하는 특정 음악 컨텐츠를 선택하여 재생시키는 기법이다. 또는, 소정의 시간 단위로 음악의 재생 위치를 바꾸거나, 음량을 조절하는 등의 컨트롤 기법이 있다.

휴대 단말기를 포함하여, 음악과 같은 오디오 데이터의 재생 기기에서 재생되는 음악은 원곡 그대로의 것으로부터 재생되는 경우가 일반적이다. 그렇지만, 음악 청취 뿐만 아니라 음악의 생성, 가공 등에 대한 사용자의 다양한 취향과 욕구에 따라서는 재생되는 곡의 리믹싱(remixing)을 통해 사용자 자신 만의 개성있는 음원 을 창작하고자 하는 요구가 있다.

음원의 믹싱(mixing)은 2개 이상의 음원을 합쳐서 재생하는 것이다. 예를 들어, 음악 파일의 압축을 풀어서 음악 파일이 최종 사운드 출력단으로 전달되기 전에 다른 음원의 음악 파일와 합쳐지는 과정이 믹싱이다. 믹싱이 이루어지면 최종적으로는 두 개의 음이 합성된 사운드가 출력된다.

음원의 리믹싱에는 스크래칭(scratching) 기법을 비롯하여, 각종 악기나 음성 등 여러 가지 소리들을 믹싱할 수 있고, 2개의 곡을 연결해서 재생하기 위한 크로스 패이딩(cross-fading) 효과, 루핑(looping) 효과 등을 구현하는 기법이 있다.

본 발명은 휴대 단말기에서 2개 이상의 음원 데이터를 믹싱하여 재생하는 장치와 그 방법을 제공한다.

본 발명은 휴대 단말기에서 2개 이상의 음원 데이터를 BPM(Beats Per Minute)을 이용하여 믹싱하기 위하여, 음악 파일의 속도를 측정하고, 그 속도에 맞게 효과음을 인터폴레이션(interpolation)하는 장치와 그 방법을 제공한다.

본 발명은 휴대 단말기에서 음원 데이터를 재생할 때 음원 재생 버퍼를 제어하여 2개 이상의 음원 데이터를 믹싱하여 재생하는 장치와 그 방법을 제공한다.

본 발명의 실시예에 따른 오디오 효과음 처리장치는, 입력된 원곡 음악 파일을 디코딩하는 디코더; 입력된 원곡 음악 파일에 대하여 그 음악의 속도를 측정하 는 음악 속도 측정부; 부가할 효과음 데이터를 제공하기 위한 효과음 데이터부; 측정된 음악 속도에 따라 효과음을 조절하여 최적화시키는 효과음 조절부; 원곡에 조절된 효과음을 믹싱하는 믹싱부; 및, 원곡에 효과음이 믹싱된 음악을 출력하는 출력부; 를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 실시예에 따른 오디오 효과음 처리방법은, 재생되는 음악의 속도를 측정하는 단계; 측정된 속도에 적응적으로 효과음의 길이를 조절하는 단계; 길이가 조절된 효과음을 디코딩된 음악 파일과 믹싱하여 출력하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 실시예에 따르면 휴대 단말기 등에서 음악과 같은 오디오 신호를 재생할 때, 재생되는 오디오 신호의 특성에 최적화된 효과음을 자동으로 부가하여 리믹싱된 음악의 생성, 저장, 재생이 가능하게 된다.

본 발명의 실시예에 따르면 휴대 단말기 등에서 음악과 같은 오디오 신호를 재생할 때, 재생되는 음악의 비트(beat)를 자동으로 추출하고, 추출된 비트에 적합하게 변화된 효과음을 원곡에 믹싱하여 리믹싱된 음악의 생성, 저장, 재생이 가능하게 된다.

본 발명의 실시예에 따르면 휴대 단말기에서 기존의 오디오 음원에 스크래칭을 포함한 여러가지 효과음을 부가함으로써, 사용자가 원하는 리믹싱된 오디오 음원으로 변환한다. 스크래칭은 오디오 음원을 재생 속도보다 빠른 속도로 재생했을 때 나는 소리를 말한다. 하지만 실제로 압축 음원 데이터에서는 디코더의 디코딩 한계로 인하여 재생 속도에 제한이 발생하므로, 실시예에 따른 본 발명의 오디오 효과음 처리장치 및 그 방법에서는 빠른 속도의 재생으로 생성되는 스크래치 대신 스크래치 효과음을 믹싱함으로써 스크래칭 효과를 낸다.

본 발명은 휴대 단말기에서 2개 이상의 음원 데이터를 BMP을 이용해서 믹싱하여 재생하는 장치와 그 방법에 관하여 실시예를 들어 설명한다. 재생되는 곡에 최적화된 스크래칭 기반 리믹싱을 위하여, 재생되는 음악 파일의 속도를 측정하고, 측정된 속도에 맞게 효과음을 원 곡에 인터폴레이션을 통해 최적화 한다. 즉, 본 발명에서는 음악 파일의 압축을 풀면서 음악 재생 버퍼를 제어하여 리믹싱 음악을 생성하는 장치와 그 방법을 제공한다.

도 1은 본 발명의 실시예에 따른 오디오 효과음 처리장치의 구성을 보여준다. 입력된 음악 파일을 디코딩하는 디코더(10)와, 입력된 음악 파일에 대하여 그 음악의 속도를 측정하는 음악 속도 측정부(20)와, 음악 파일에 부가될 효과음 데이터를 제공하기 위한 효과음 데이터부(30)와, 음악 속도 측정부(20)에서 측정된 음악 속도에 맞게 효과음 데이터부(30)로부터의 효과음을 조절하는 효과음 조절부(40)와, 디코더(10)에서 디코딩된 음악에 효과음 조절부(40)에서 조절된 효과음을 부가하는 믹싱부(50)와, 믹싱부(50)에서 출력되는 효과음 부가된 음악을 재생하여 출력하는 출력부(60)를 포함하여 이루어진다.

도 1에 나타낸 오디오 효과음 처리장치에서 이루어지는 효과음 처리 과정을 살펴보면 다음과 같다. 음악 파일로부터 BPM 추출 과정을 거쳐 음악 파일의 속도를 측정한다. 측정된 속도로 효과음 파일의 길이를 인터폴레이션 과정을 거쳐서 조절한다. 음악 파일은 디코더를 거쳐서 PCM 형태로 압축을 푼다. 믹싱 과정에서 길이가 변환된 효과음 데이터와 디코딩된 음악 파일을 믹싱하여 하나의 PCM 데이터를 만들고 이 PCM 데이터가 사운드 출력을 통해서 효과음 처리된 음악으로 출력된다.

도 1에 나타낸 오디오 효과음 처리장치는 오디오 재생기기, 오디오 재생 기능을 탑재한 휴대 기기, 오디오 재생 기능을 탑재한 휴대 단말기에 포함된다. 음악 파일은 MP3 포맷, AAC 포맷, WMA 포맷, OGG 포맷 등의 여기서 열거되지 않은 다양한 포맷의 음악 파일이다. 음악 파일은 도시되지 않은 저장장치에 저장된 것을 이용하거나 통신장치를 통해서 실시간으로 입력되는 것을 이용할 수 있다.

디코더(10)는 입력된 음악 파일을 디코딩한다. 디코더(10)는 입력된 음악 파일의 포맷 등에 근거하여 해당 음악 파일을 디코딩하며, 디코딩 결과는 예를 들어 PCM(Pulse Coded Modulation) 형태의 디지털 음악 데이터가 될 수 있다. 디코더(10)에 의해서 디코딩된 음악 파일은 믹싱부(50)와 음악 속도 측정부(20)에 제공된다.

음악 속도 측정부(20)는 음악 파일이 재생될 때 그 음악의 속도를 측정한다. 실시예에서는 BPM(Beats Per Minutes)에 근거하여 음악의 속도를 측정한다.

음악은 고유의 박자를 가지고 있다. 빠른 박자의 곡도 있고, 느린 박자의 곡도 있다. 스크래칭을 포함하는 효과음을 부가함에 있어 박자에 최적화된 효과음을 부가하는 것이 매우 중요하다. 빠른 박자의 곡에 느린 스크래칭 효과음이 믹싱된다면 어색한 리믹스 곡이 생성될 것이기 때문이다. 마찬가지로, 느린 박자의 곡에 빠 른 스크래칭 효과음이 믹싱된다면 역시 어색한 리믹스 곡이 생성될 것이다. 하지만, 현재 재생될 곡의 정확한 BPM(Beats Per Minute)을 알고 있다면, 이 정보를 이용해서 믹싱이 될 스크래칭 음원을 포함하는 효과음을 현재 재생되는 곡에 맞는 BPM으로 변환하여 믹싱함으로써 자연스럽게 원곡의 박자에 맞는 리믹싱을 이룰 수 있다.

음악은 비트(beat)를 가지고 있다. 발라드나 클래식, 국악 같은 장르의 음악에서는 비트를 포함하지 않는 경우가 있을 수도 있겠지만, 대부분의 곡에서는 3/4박자 혹은 4/4박자 등의 비트가 들어있다. 이 비트는 대부분 일정한 패턴으로 반복된다. 이러한 비트가 1분 동안 몇 개가 들어가는지의 기준이 BPM(Beats Per Minute)이다. 따라서, BPM 값은 음악의 속도가 되며, 음악이 가지는 가장 중요한 특성 중의 하나가 된다.

BPM의 측정은 사용자 입력에 의해서 이루어지거나, 자동적으로 BPM을 검출하는 알고리즘에 기반하여 이루어진다. 사용자 입력에 의한 방법은 사용자가 직접 음악을 청취하면서 비트의 위치에 맞추어 단말기에 박자를 입력을 하면 이를 계수하여 단위 시간(Minute) 당 몇 개의 비트(Beat)가 있는지를 측정하는 방식이다. 수동으로 비트를 측정하는 방법을 사용할 수도 있겠으나, 실시예에 따른 본 발명에서는 자동으로 BPM을 검출하는 방법을 사용한다. 음악 속도 측정부(20)에서 BPM을 자동으로 검출하는 방법은 음악 자체의 주파수를 분석하여 비트 위치를 판단하고 그 인터벌(interval)을 측정하는 방법을 사용한다.

BPM을 추출하는 전자의 방법은 사용자가 직접 음악을 청취하면서 박자의 위 치를 판단해서 각각의 박자마다 입력하는 방법이고, 후자의 방법은 음악 파일을 주파수 대역에서 분석하는 방법이다. 전자의 경우는 사용자가 박자마다 입력한 간격을 측정함으로써 BPM을 알 수 있으며, 후자의 경우는 음악을 일정한 간격으로 분리하고 푸리에 변환을 수행하여 주파수 대역의 신호를 알아내고, 각각의 주파수 대역별로 일정한 주기마다 측정된 파워의 변화량을 분석하여 비트의 위치를 판별함으로써 BPM을 알 수 있다. 일반적으로 비트가 시작하는 위치에서 주파수 대역의 에너지가 높게 되므로 그 피이크(peak)를 측정하면 비트의 위치를 알 수 있으며, 그 위치의 간격으로부터 BPM 값을 추출할 수 있다.

음악 속도 측정부(20)에서 측정된 속도 정보, 즉 여기서는 BPM 값은 효과음 조절부(40)에 제공된다. 효과음 조절부(40)는 측정된 BPM 값을 이용해서 음악 파일에 부가할 효과음을 최적화시킨다. 예를 들면, 효과음 데이터부(30)로부터 제공되는 스크래치를 포함하는 효과음의 길이를 측정된 BPM에 맞게 조절함으로써, 원곡(재생되는 음악 파일)의 속도(다시 말하자면, 박자)에 알맞은 효과음을 생성하는 것이다.

음악의 박자에 맞춰서 효과음을 믹싱하기 위해서 효과음을 인터폴레이션(interpolation)한다. 인터폴레이션은 음악 샘플의 길이가 늘거나 줄어들 때 그 사이의 값들을 추정하기 위해서 현재의 샘플로부터 그 값을 추정하는 방법이다. 이와 같은 인터폴레이션을 이용해서 효과음을 음악 속도에 맞게 조절해 준다.

실제로 음악의 리믹싱에서 사용되는 효과음의 BPM은 '120'으로 한 마디가 2초로 이루어진다. 그러므로 현재 음악 파일의 속도를 BPM을 이용해서 측정하고, 측 정된 정보에 따라 인터폴레이션을 사용해서 효과음의 길이를 적절하게 조절해서 원곡(재생 음악 파일)에 믹싱한다.

효과음은 일반적인 노래가 재생될 때 여러가지 형태의 특정한 효과를 주기 위한 것이다. 예를 들면 짧은 악기 소리나 음성같은 짧은 시간의 데이터이다. 효과음 데이터는 BPM이 '120'으로 되어 있을 때 그 길이가 한 박자의 길이가 0.5초, 4박자의 한 마디는 2초가 된다. 효과음 데이터를 그대로 음악과 믹싱하게 되면 박자가 맞지 않게 되므로 믹싱 과정 이전에 원곡의 BPM에 맞게 인터폴레이션하는 과정이 수행된다. BPM에 맞춰서 인터폴레이션 처리한 효과음을 믹싱하게 되면 그 박자가 정확하게 맞아 떨어지게 되므로 음악을 청취할 때 자연스럽게 효과음이 부가된 음악을 청취할 수 있다.

인터폴레이션 방법은 여러 가지 방법을 사용할 수 있는데, 본 발명의 실시예에서는 1차 선형 보간법을 사용한다. 효과음의 길이가 변하는 대신 그 길이의 비율만큼 피치(pitch)가 변하게 되므로 인터폴레이션 이후에 길이가 줄어들면 피치는 올라가서 높은 키(key)의 소리가 나고, 길이가 늘어나면 피치가 내려가서 낮은 키의 효과음으로 조정되게 된다. 이 과정을 통해서 믹싱 때 필요한 효과음들을 새로 메모리에 로딩(loading)시켜 놓는다.

믹싱부(50)는 디코더(10)에 의하여 디코딩된 음악 파일(원곡)에 효과음 조절부(40)에 의해서 최적화된 효과음을 부가하여 두 음원을 믹싱한다.

실시예에서, 음악 파일의 믹싱은 다음과 같은 방법으로 이루어진다.

음악 파일을 재생할 때 기기 내부에는 일정한 길이의 버퍼를 가지고 있다. 이 버퍼에 음악 파일의 압축을 풀어서 그 PCM 데이터를 저장한 후 디지털 신호로 변환한다. 디지털 신호로 변환하기 직전에 메모리에 로딩된 효과음을 단순히 더해주는 것 만으로 두 개의 음악은 믹싱된다. 믹싱 효과를 높여주고자 한다면 원음 보다 효과음의 비율을 높여서 더해준다. 다만 이 경우에 효과음이 과도하게 개입되어 음악이 오히려 어색해지거나 원치 않는 결과를 나타낼 수 있으므로, 포화 상태를 측정하여 그 최대값과 최소값의 범위 내에서 조절한다. 예를 들면 16비트 데이터의 경우 최대값을 '32767' 이하, 최소값을 '-32768' 이상으로 조절해 놓으면 위와 같은 우려를 해소할 수 있게 된다.

믹싱부(50)에 의해서 원곡(음악 파일)에 효과음이 부가된 음악 파일은 출력부(60)를 통해서 최종 사운드 출력이 다음과 같이 이루어진다.

음악 파일의 압축을 풀고 효과음을 합성하거나, 음악의 속도를 제어하는 등의 리믹스 과정을 모두 거치고 나면, 마지막으로 출력된 데이터는 PCM 형태의 데이터가 되는데, 이 데이터를 오디오 재생기기-예를 들면 오디오 재생 기능을 탑재한 (모바일)단말기의 디지털/아날로그 변환기로 전달하여 음악이 실제로 재생되도록 한다. 필요한 경우에는 리믹싱된 음악 파일을 저장매체에 저장할 수도 있음은 당연하다.

도 2는 지금까지 설명한 오디오 효과음 처리장치에 의해서 이루어지는 효과음 처리방법을 보여준다. 제 1 단계(S10)는 음악 파일이 입력되는 단계이다. 음악 파일은 저장매체로부터 재생되는 것일 수 있다. 제 2 단계(S20)는 입력된 음악 파일에서 BPM을 측정하여 그 음악의 속도를 측정하는 단계이다. 즉, 효과음을 음악 속도에 최적화하여 부가하기 위해서 음악의 속도를 BPM으로 측정하는 것이다. 제 3 단계(S30)는 측정된 속도에 따라 효과음의 길이를 조절하는 단계이다. 이 단계는 음악의 속도에 맞게 효과음의 길이를 늘리거나 줄여서 음악 속도, 다시 말하자면 박자에 가장 알맞은 효과음을 자동으로 생성하는 단계이다. 제 4 단계(S40)는 길이가 조절된 효과음을 디코딩된 원곡(음악 파일)에 부가하는 단계이다. 즉, 원곡의 박자에 맞게 조절된 효과음을 원곡에 믹싱하여 리미싱된 음악 파일을 생성하는 단계이다. 제 5 단계(S50)는 리믹싱된 음악 파일을 출력하는 단계로서, 이 단계에서의 사운드 출력은 원곡(음악 파일)의 박자에 알맞은 효과음이 부가된 새로운 음악 파일의 재생에 해당된다.

도 1은 본 발명의 실시예에 따른 오디오 효과음 처리장치의 구성을 나타낸 도면

도 2는 본 발명의 실시예에 따른 오디오 효과음 처리방법을 나타낸 도면

Claims

입력된 원곡 음악 파일을 디코딩하는 디코더;

입력된 원곡 음악 파일에 대하여 그 음악의 속도를 측정하는 음악 속도 측정부;

부가할 효과음 데이터를 제공하기 위한 효과음 데이터부;

측정된 음악 속도에 따라 효과음을 조절하여 최적화시키는 효과음 조절부;

원곡에 조절된 효과음을 믹싱하는 믹싱부; 및,

원곡에 효과음이 믹싱된 음악을 출력하는 출력부;

를 포함하는 오디오 효과음 처리장치.
제 1 항에 있어서, 상기 음악 속도의 측정은 BPM(Beats Per Minute)에 근거하여 이루어지는 오디오 효과음 처리장치.
제 1 항에 있어서, 상기 효과음은 스크래치 효과음을 포함하는 오디오 효과음 처리장치.
제 1 항에 있어서, 상기 특정된 음악 속도에 근거하여 해당 음악의 박자에 맞는 길이의 효과음 조절이 이루어지는 오디오 효과음 처리장치.
재생되는 음악의 속도를 측정하는 단계;

측정된 속도에 적응적으로 효과음의 길이를 조절하는 단계;

길이가 조절된 효과음을 디코딩된 음악 파일과 믹싱하여 출력하는 단계;

를 포함하는 오디오 효과음 처리방법.
제 5 항에 있어서, 상기 음악 속도의 측정은 BPM(Beats Per Minute)에 근거하여 이루어지는 오디오 효과음 처리방법.
제 5 항에 있어서, 상기 측정된 음악의 속도에 맞게 인터폴레이션(interpolation)에 근거하여 해당 효과음의 길이를 조절하는 오디오 효과음 처리방법.