KR100705176B1 - 모바일 단말기에서의 음악 파일 생성방법 - Google Patents

Abstract

본 발명은 모바일 단말기에 관한 것으로, 특히 허밍으로 입력되는 음성 데이터를 이용하여 벨소리를 작곡하는 모바일 단말기에서의 음악 파일 생성방법에 관한 것이다.

본 발명에 따른 모바일 단말기에서의 음악 파일 생성방법은, 음성 데이터를 입력하는 단계; 상기 음성 데이터의 특징 파라미터를 추출하여 기준 음성 모델의 특징 파라미터와 유사성을 비교하는 단계; 상기 비교 결과, 가장 유사한 특징 파라미터에 해당하는 노트 번호를 추출하는 단계; 상기 노트 번호에 해당하는 음 정보의 미디 파일을 생성하여 음악을 작곡하는 단계를 포함하는 것을 특징으로 한다.

벨소리, 작곡, 허밍

Description

모바일 단말기에서의 음악 파일 생성방법{method for generating music file in mobile terminal}

도 1은 본 발명의 실시 예에 따른 모바일 단말기의 구성을 보여주는 도면.

도 2는 본 발명이 실시 예에 따른 허밍으로 입력된 멜로디를 이용하여 벨소리를 작곡하는 방법을 나타내는 플로우 차트.

도 3은 본 발명의 실시 예에 따른 음악 작곡을 위해 멜로디를 입력하는 예를 나타낸 도면.

<도면의 주요 부분에 대한 부호의 설명>

11...무선 처리부 12...키 입력부

13...마이크 14...음성 처리부

15...스피커 16...표시부

17...메모리부 18...제어부

본 발명은 모바일 단말기에 관한 것으로, 특히 허밍으로 입력되는 음성 데이터를 이용하여 벨소리를 작곡하는 모바일 단말기에서의 음악 파일 생성방법에 관한 것이다.

현재 핸드폰, PCS(Personal Communication Service) 및 핸드폰과 PDA(Personal Digital Assistant)가 결합된 스마트 폰(Smart Phone)등 여러 종류의 이동 단말기가 광범위하게 보급되어 있으며, 상기 이동 단말기들은 통화 착신이 있을 때 벨소리를 출력함으로써 사용자에게 착신이 되었음을 알리게 된다.

그러나 현재 이동 단말기에는 한정된 수만의 벨소리만이 저장되어 있어 사용자들의 다양한 취향을 모두 만족시키기가 어렵고 또한 공공장소의 경우 어느 단말기에 착신이 되었는지 혼동을 하는 경우도 발생할 수 있다.

또한 현재 여러가지 망(Network)을 통해서 다양한 종류의 벨소리를 다운로드받을 수 있으나 이 역시 CP(Content Provider)들에 의해서 일방적으로 작성되고 편집된 벨소리이기 때문에 작곡, 또는 기존 벨소리의 수정을 통해 자신만의 독특한 벨소리를 만들고 싶어하는 사용자들의 취향을 만족시킬 수 없었다.

최근에는 이러한 문제점을 해결하기 위해서 이동 단말기의 키입력부를 이용하여 자신만의 벨소리를 작곡하는 기술들이 공지되었다.

하지만 상기 벨소리 작곡을 위해 음표를 입력하는 키조작 방법이 이동 단말기 제조사마다 서로 상이하고 어려울 뿐만 아니라 최신 유행곡 등의 벨소리를 완성하기 위해서는 별도로 상기 유행곡의 악보를 구해서 입력해야 해야 하는 등 사용자에게 불편함을 제공한다.

본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 허밍으로 입력되 는 음성 데이터를 인식하여 사용자가 원하는 음악을 작곡할 수 있도록 하는 모바일 단말기에서의 음악 파일 생성방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 모바일 단말기에서의 음악 파일 생성방법은,

입력된 사용자 음성신호를 분석하여 음악적 특징 정보를 추출하는 단계;

상기 추출된 특징 정보를 이용하여 사용자 음성신호를 그에 해당되는 음 정보로 변환하는 단계; 및

상기 변환된 음 정보를 음악 파일로 저장하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 음성신호는 허밍으로 입력되는 멜로디이거나, 사용자가 부르는 노래인 것을 특징으로 한다.

본 발명에서, 상기 음악적 특징 정보는 에너지, 에너지 편차, 피치인 것을 특징으로 한다.

본 발명에서, 상기 음성 데이터 인식을 위해 상기 음성신호로부터 추출된 특징 파라미터와 미리 저장된 기준 음성 모델의 특징 파라미터의 유사성을 비교하는 단계;

상기 비교를 통해, 가장 유사한 기준 음성 모델의 특징 파라미터를 추출하고 그 노트 번호를 선택하는 단계; 및

상기 노트 번호에 해당하는 음을 미디 파일로 생성하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에서, 상기 음악 파일을 악보로 표시하고 편집 툴을 제공하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에서, 상기 음성신호의 주기성을 이용하여 엔드 포인트를 추출하고 불필요한 음성 신호 성분을 제거하는 것을 특징으로 한다.

본 발명에서, 상기 음악 파일을 모바일 단말기의 벨소리로 등록하여 사용하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에서, 상기 음악적 특징 정보를 음 정보로 변환하는 것은 각 음계의 음 높이에 따른 노트 번호와 그에 해당하는 특징 파라미터를 추출하여 변환하는 것임을 특징으로 한다.

본 발명에서, 상기 음악 파일은 미디(MIDI) 파일인 것을 특징으로 한다.

본 발명에서, 음성 데이터를 입력하는 단계;

상기 음성 데이터의 특징 파라미터를 추출하여 기준 음성 모델의 특징 파라미터와 유사성을 비교하는 단계;

상기 비교 결과, 가장 유사한 특징 파라미터에 해당하는 노트 번호를 추출하는 단계;

상기 노트 번호에 해당하는 음 정보의 미디 파일을 생성하여 음악을 작곡하는 단계를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.

도 1은 본 발명의 실시 예에 따른 모바일 단말기의 구성을 보여주는 도면이다.

도 1을 참조하면, 본 발명에 따른 모바일 단말기는 기지국과의 무선통신을 위한 무선 처리부(11)와, 모바일 단말기의 사용을 위한 키조작을 할 수 있도록 하는 키패드와 각종 버튼을 포함하는 키 입력부(12)와, 사용자가 작곡하기 원하는 음성 데이터를 입력받는 마이크(13)와, 상기 마이크(13)로 입력되는 음성 데이터를 분석하여 멜로디가 작곡되도록 처리하는 음성 처리부(14)와, 상기 작곡된 멜로디를 소리로 출력하고, 멜로디에 해당하는 음을 악보로 디스플레이하는 스피커(15) 및 표시부(16)와, 상기 음성 데이터의 유사성을 비교할 수 있는 데이터 베이스화된 기준 음성 모델을 저장하는 메모리부(17)와, 상기 모바일 단말기의 각부의 동작을 제어하는 제어부(18)를 포함하여 구성된다.

상기 무선 처리부(11)는 이동통신 기지국으로부터 무선 신호(예를 들어, 음성데이터, 음원데이터 등)를 수신하고 통화를 위한 음성 신호 및 문자 데이터 등을 기지국으로 전송하는 등 기지국과의 무선통신을 수행한다.

키 입력부(12)는 일반적인 모바일 단말기의 키패드 구성을 하며, 음악 작곡을 위한 음성 데이터 입력 등의 메뉴 선택 명령 등 사용자가 원하는 명령을 입력한다.

마이크(13)는 음성 데이터의 입력 수단으로 사용되며 사용자가 작곡하기 원하는 멜로디 등을 음성으로 입력할 수 있으며, 예를 들어 허밍(humming)으로 멜로디를 입력할 수 있다.

여기서, 사용자로부터 입력되는 멜로디란 높이와 길이를 가진 음이 가로로 결합, 형성된 음의 선적(線的) 연결을 말한다.

음성 처리부(14)는 상기 마이크(13)로 입력된 음성 데이터의 특징 파라미터를 추출하기 위한 FFT(Fast Fourier Transform), IFFT(Inverse Fast Fourier Tramsform) 등을 수행하고 메모리부(17)에 저장된 기준 음성 모델의 특징 파라미터와 가장 유사한 후보 노트를 선택하고 이를 미디 파일로 생성한다.

따라서 상기 음성 처리부(14)에서는 사용자가 작곡을 원하는 멜로디를 허밍으로 입력받아 이를 분석하여 사용자의 특정 음성 모델을 생성한다.

이때 상기 특정 음성 모델과 기저장된 기준 음성 모델과 비교하여 가장 확률값이 높은 특징 파라미터를 갖는 음계에 해당하는 노트 번호를 선택하고 이를 미디 파일로 생성한다.

상기 미디 파일은 신서사이저(Synthesizer) 등을 이용하여 오디오 신호로 변환되고 스피커(15)를 통해 출력하게 된다.

상기 스피커(15)는 상기 미디 파일로 변환된 작곡 멜로디를 소리로 출력하고, 표시부(16)는 상기 멜로디가 소리로 출력될 때 그 멜로디에 해당하는 음을 악보로 화면창에 디스플레이하거나, 사용자가 멜로디를 입력할 때 허밍모드가 수행되고 있음을 표시할 수 있다. 또한 키 입력부(12)의 키 입력에 따른 동작 상태, 현재 시각 등을 표시하는 기능을 수행한다.

메모리부(17)는 음성 데이터의 멜로디를 인식하도록 유사성을 비교할 수 있는 훈련된 음성 모델인 기준 음성 모델을 저장하며, 플레시 메모리, RAM, ROM 등의 메모리들로 구성될 수 있다.

제어부(18)는 호 연결, 데이터 통신, 멀티미디어 컨텐츠의 실행 등의 처리를 제어하는 것은 물론 허밍으로 작곡된 미디 파일을 메모리부(14)에 저장하고 스피커(16)에 출력되도록 하는 등 모바일 단말기의 각 부를 제어하는 역할을 한다.

도 2는 본 발명이 실시 예에 따른 허밍으로 입력된 음성 데이터를 이용하여 벨소리를 작곡하는 방법을 나타내는 플로우 차트이다.

도 2를 참조하면, 허밍으로 입력되는 멜로디를 인식하기 위하여 불특정 화자로부터의 음성 데이터를 입력받아 이를 수집하고(S11), 상기 음성 데이터를 이용하여 인식하고자 하는 음에 대한 화자독립 모델을 훈련하여 기준 음성 모델을 생성한다(S12).

상기 기준 음성 모델을 생성하기 위해서 본 발명에서는 허밍으로 입력되는 음성 신호를 노트 단위로 분류하고 이를 은닉 마르코프 모델(HMM:Hidden Markov Model:이하 HMM)을 이용하여 특징 파라미터를 추출하여 모델링한다.

상기 HMM은 예측 불가능한 프로세스를 예측 가능한 다른 프로세스를 통해 확률적으로 추정하는 방법으로서 현재 상기 HMM은 음성인식 기술에 많이 사용되고 있으며 이미 널리 공지된바 더이상 자세히 설명하지 않는다.

상기와 같은 HMM을 이용한 음성인식은 훈련과정과 인식과정으로 나눌수 있으며 상기 훈련과정은 음성의 특징 파라미터를 추출하고 이를 수렴하도록 조정하여 기준 음성 모델로 모델링하여 데이터 베이스화 된다.

예를 들면, 상기 기준 음성 모델은 각 음계의 음 높이에 따라 노트 번호를 부여하고 그에 해당하는 특징 파라미터를 테이블화하여 데이터 베이스화하게 된다.

또한 상기 인식과정은 작곡을 위해 입력된 허밍 멜로디의 음성 모델을 추출 하여 상기 기준 음성 모델과 비교하고 가장 확률값이 높은 것을 인식하도록 하여 음의 노트를 결정하고 작곡을 하는 과정을 말한다.

따라서 본 발명에서는 훈련과정을 통한 기준 음성 모델을 생성하기 위해서, 입력되는 멜로디 등의 음성 데이터에서 에너지, 에너지 편차, 피치 등의 음성 특징(feature) 파라미터를 구하고 이를 노트별로 모델링하여 기준 음성 모델을 만든다.

이를 위해 다수의 사람들이 발성하여 만들어지는 음성 데이터를 수집하고 상기 수집된 음성 데이터를 각 노트 단위로 레이블링한다.

이후 상기 음성 데이터를 프레임으로 나누어 각 구간마다 스펙트럼 분석을 하여 음성 특징 파라미터를 추출하고 이는 허밍 멜로디의 인식에 이용되도록 각 노트에 해당하는 음성 모델의 특징을 이루게 된다.

상기 특징 파라미터의 에너지(En) 및 에너지 편차(△En, △△En)는 아래의 수학식 1로 계산된다.

여기서, N 은 음성 신호를 소정의 길이로 분류한 프레임의 샘플 개수를 나타내고, n 은 상기 프레임의 번호를 나타낸다.

상기 에너지 값은 log를 취하여 계산함으로써 프레임별 에너지의 분포 및 실제 허밍 멜로디의 음을 정확하게 인식할 수 있다.

또한 상기 피치는 허밍 신호의 주파수를 말하며 켑스트럼(cepstrum)을 이용하여 각 프레임별 피치를 구한다.

상기 피치는 아래의 수학식 2로 계산된다.

여기서 Xn(f)은 주파수 변환된 신호, Tn은 신호의 주기, Cn(m')는 피치에 해당하는 주기이며, N 은 음성 신호를 소정의 길이로 분류한 프레임의 샘플 개수를 나타내고, n 은 상기 프레임의 번호를 나타낸다.

자세히 설명하면, 피치를 구하기위해 켑스트럼을 이용하여 시간상의 신호를 FFT하여 주파수 대역으로 변환한 Xn(f)를 구하고, 그 값을 log를 취하여 다시 IFFT를 적용하여 신호의 주기 Tn를 구할 수 있다.

또한 상기 Xn(f)를 구하면 주파수 상에서 신호가 기본주기 및 그 배수되는 성분과 포락선(envelope)에 해당하는 성분으로 구분되고, Cn(m')를 구하면 상기 포락선에 해당하는 성분과 피치에 해당하는 주기로 신호를 구분 할 수 있게 된다.

따라서, 상기 피치 주기를 이용하여 일정 주기에 해당하는 신호의 피치를 구 할 수 있다.

또한 부가적인 정보로서 신호의 주기성을 구분하는 주기성(periodicity) 정보 Pn 를 구하는데, 이를 이용하여 각각의 프레임이 유효한 데이터인지 아닌지 판단하고 이를 통해 정확한 모델링 작업 및 허밍 인식을 수행할 수 있다.

상기 주기성은 아래의 수학식 3으로 계산된다.

또한 무한정 긴 음성 신호은 한번에 처리할 수 없기 때문에 소정의 길이로 분류하여 처리할 수 있도록 상기 에너지와 주기성을 이용하여 엔드 포인트를 찾아 처리한다.

예를 들면 음성 신호 프레임의 주기가 갑자기 변하면 인식될 음의 엔드 포인트로 추정하고 상기 엔드 포인트까지 음을 인식하여 해당하는 노트 번호를 부여하게 된다. 따라서 묵음 등 불필요한 프레임을 음성인식에서 제거하고 연속되는 신호를 엔드 포인트로 구분하여 인식하도록 하여 정확도를 높일 수 있다.

이와 같이, 기준 음성의 특징 파라미터인 에너지, 에너지 편차, 피치와 부가정보인 주기성 정보를 이용하여 HMM 훈련과정을 거치게 된다.

상기 훈련을 위해 모든 음성 데이터들을 초기 상태(state)로 구분한 다음 최 적의 모델링을 하기 위한 각 파라미터를 조정하기 위해서 비터비(viterbi)알고리즘 등을 사용하여 모델을 수렴시킨다.

예를 들면, 음계 '솔'의 노트 번호가 42라고 하면 상기 노트에 해당하는 특징 파라미터인 에너지, 에너지 편차, 피치 등의 값을 갖는 기준 음성 모델이 생성되고 마찬가지로 각 옥타브에 해당하는 음계의 노트 번호에 상기 특징 파라미터를 갖는 기준 음성 모델들이 생성되게 된다.

이와 같이, HMM을 이용한 허밍 멜로디 인식은 많은 양의 훈련 데이터를 이용하여 인식하고자 하는 음계에 해당하는 노트 단위별로 음성을 모델링하고, 인식시에는 훈련 과정에서 만들어진 모델을 기준으로 입력신호에 대한 확률값을 구하여 인식하고자 하는 음의 노트를 인식해내게 된다.

다음으로 상기 기준 음성 모델을 저장하고 있는 모바일 단말기를 이용하여 사용자가 입력하는 허밍 멜로디를 인식하여 작곡하는 방법에 대해 설명한다.

도 3은 본 발명의 실시 예에 따른 음악 작곡을 위해 멜로디를 입력하는 예를 나타낸 도면이다.

먼저, 사용자는 허밍(humming)을 통하여 자신이 작곡하기 원하는 멜로디를 본 발명에 따른 모바일 단말기의 음성 입력수단(예:마이크)을 이용하여 입력한다(S13).

여기서, 사용자로부터 입력되는 멜로디란 높이와 길이를 가진 음이 가로로 결합, 형성된 음의 선적(線的) 연결을 말하며, 사용자는 노래를 부르는 방식을 통하여 자신이 작곡할 멜로디를 입력시킬 수도 있다.

이때 도 3과 같이 모바일 단말기의 화면창에 허밍 멜로디 입력 상태인 허밍 모드가 표시된다.

또한 상기 화면창에 메트로놈(metronome)이 표시되도록 할 수 있으며, 사용자는 상기 메트로놈을 참조하여 입력하는 멜로디의 빠르기를 조절할 수 있다.

따라서 상기 음성 입력수단 등을 이용하여 입력된 허밍 멜로디로부터 특징 파라미터를 추출한다(S14).

상기 단계 S14를 수행 후, 이를 메모리부에 저장된 기준 음성 모델의 특징 파라미터와 유사도(likehood)를 측정하여 가장 유사한 음의 노트 번호가 선택되도록 비터비 탐색을 수행하게 된다.

즉, HMM을 이용하여 미리 훈련하여 저장한 기준 음성 모델의 특징 파라미터와 현재 입력된 허밍 멜로디의 특징 파라미터를 비교하여 가장 유사한 후보 노트를 선택하고 이를 미디파일로 생성하게 된다(S15).

여기서, 상기 미디 파일은 신서사이저(Synthesizer) 등을 통해 오디오 신호로 변환되고 이는 스피커를 통하여 멜로디로 출력되어 사용자는 자신이 허밍을 이용하여 작곡한 멜로디를 확인할 수 있게 된다.

또한 상기 미디 파일은 표시부에 악보 형태로 표시될 수 있고 사용자는 상기 악보 상에서 수정할 음표를 선택하고 그 선택된 음표의 높이 및/또는 길이를 변경하여 작곡된 음악을 편집할 수도 있다.

이와 같이, 본 발명에서는 허밍을 입력하여 음악을 작곡하고 상기 작곡된 음악 파일을 편집할 수 있는 효과가 있다.

또한 개인용 컴퓨터나 PDA(Personal Digital Assistant) 등과 같은 여러종류의 모바일 단말기에도 적용 가능하여 편리하게 음악을 작곡할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따른 모바일 단말기에서의 음악 파일 생성방법에 의하면, 허밍 멜로디를 입력하고 이를 인식하도록 하여 원하는 음악을 쉽게 작곡할 수 있는 효과가 있다.

또한 음악 파일을 허밍으로 작곡하는 부가기능을 추가시킴으로써 상품성을 향상시키는 효과가 있다.

또한 키패드를 이용하여 음악을 작곡하는데 어려움을 느끼는 사용자에게 편리하게 음악을 작곡할 수 있는 기능을 제공하는 효과가 있다.

Claims (10)

1. 입력된 사용자 음성신호를 분석하여 음악적 특징 정보를 추출하는 단계;

   상기 추출된 특징 정보를 이용하여 사용자 음성신호를 그에 해당되는 음 정보로 변환하는 단계; 및

   상기 변환된 음 정보를 음악 파일로 저장하는 단계를 포함하는 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
2. 제 1 항에 있어서,

   상기 음성신호는 허밍으로 입력되는 멜로디이거나, 사용자가 부르는 노래인 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
3. 제 1 항에 있어서,

   상기 음악적 특징 정보는 에너지, 에너지 편차, 피치인 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
4. 제 1항에 있어서, 상기 사용자 음성신호의 인식을 위해,

   상기 음성신호로부터 추출된 특징 파라미터와 미리 저장된 기준 음성 모델의 특징 파라미터의 유사성을 비교하는 단계;

   상기 비교를 통해, 가장 유사한 기준 음성 모델의 특징 파라미터를 추출하고 그 노트 번호를 선택하는 단계;

   상기 노트 번호에 해당하는 음을 미디 파일로 생성하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
5. 제 1 항에 있어서,

   상기 음악 파일을 악보로 표시하고 편집 툴을 제공하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
6. 제 1항에 있어서,

   상기 음성신호의 주기성을 이용하여 엔드 포인트를 추출하고 불필요한 음성 신호 성분을 제거하는 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
7. 제 1 항에 있어서,

   상기 음악 파일을 모바일 단말기의 벨소리로 등록하여 사용하는 단계를 더 포함하는 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
8. 제 1 항에 있어서,

   상기 음악적 특징 정보를 음 정보로 변환하는 것은 각 음계의 음 높이에 따른 노트 번호와 그에 해당하는 특징 파라미터를 추출하여 변환하는 것임을 특징으 로 하는 모바일 단말기에서의 음악 파일 생성방법.
9. 제 1 항에 있어서,

   상기 음악 파일은 미디(MIDI) 파일인 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.
10. 음성 데이터를 입력하는 단계;

    상기 음성 데이터의 특징 파라미터를 추출하여 기준 음성 모델의 특징 파라미터와 유사성을 비교하는 단계;

    상기 비교 결과, 가장 유사한 특징 파라미터에 해당하는 노트 번호를 추출하는 단계; 및

    상기 노트 번호에 해당하는 음 정보의 미디 파일을 생성하여 음악을 작곡하는 단계를 포함하는 것을 특징으로 하는 모바일 단말기에서의 음악 파일 생성방법.

Images