KR100363027B1 - 음성 합성 또는 음색 변환을 이용한 노래 합성 방법 - Google Patents

Abstract

본 발명은 특정인의 음성이 담긴 녹음 데이터베이스에서 추출된 음성 트랙의 음성 데이터를 음소 또는 음절 등의 작은 단위로 분할한 후 피치(pitch) 또는 온셋(onset) 정보 등을 분석하고 라벨링하여 데이터베이스를 구성하고, 새로운 노래를 작사 및 작곡하고, 상기 분석 및 라벨링된 정보로 구성된 데이터베이스로부터 상기 새로운 노래의 가사에 맞는 음성 데이터 조각을 추출한 뒤 새로운 멜로디의 음 높이 및 길이에 맞도록 변형시키고, 그리고 상기 음성 데이터 조각을 연결하여 합성시켜 새로운 노래를 만드는 단계로 이루어지는 음성 합성 방식을 이용한 노래 합성 방법을 제공한다. 또한 본 발명은 녹음된 특정인의 노래를 준비하고, 상기 특정인의 음색과 비슷한 음색을 가진 제3자의 노래를 녹음하고, 녹음된 상기 특정인의 노래와 상기 제3자의 노래에서 각자의 음색을 분석하여 음색 변형에 필요한 맵핑 펑션(mapping function)을 추출하고, 상기 제3자에게 새로 작사 및 작곡된 노래를 부르게 하여 녹음하고, 그리고 상기 맵핑 펑션을 이용하여 녹음된 새로운 노래에 담긴 제3자의 음색을 특정인의 음색으로 변환시키는 단계로 이루어지는 음색 변환 방식을 이용한 노래 합성 방법을 제공한다.

Description

음성 합성 또는 음색 변환을 이용한 노래 합성 방법{Method of Composing Song Using Voice Synchronization or Timbre Conversion}

발명의 분야

본 발명은 음성 합성 또는 음색 변환 방식을 이용한 노래 합성 방법과 이를 이용한 서비스에 관한 것이다. 보다 구체적으로 본 발명은 음성 합성 또는 음색 변환 방식을 이용하여 특정인의 음성을 합성하거나 변조함으로써 그 특정인이 직접부르지 않고도 직접 부른 것과 같이 들리는 특정인의 음성이 담긴 새로운 노래를 합성하는 방법을 제공하고, 상기 방법을 이용한 다양한 서비스 또는 음반 사업 등을 제공하는 사업 모델에 관한 것이다.

발명의 배경

가수 중에는 이미 유명을 달리 하였으나 높은 음악적 평가와 꾸준한 인기를 누리고 있는 사람들이 있다. 이렇게 유명을 달리한 인기 가수의 과거에 녹음되었던 노래에 반주를 새로 삽입하고 편곡하여 새로운 음악을 만들어, 고인이 된 인기 가수의 노래를 최신 유행 리듬으로 변화를 주거나 그 노래를 더욱 새롭게 느끼고자 하는 시도들이 여러 번 있었다. 이러한 것은 마치 흑백 영화에 컬러를 입히는 것과 같은 시도에 지나지 않는 것이라 볼 수 있다. 따라서 이러한 시도는 본래의 멜로디나 가사는 변하지 않고 약간의 편곡적인 요소에만 변화를 주는 것이기 때문에, 인기 가수의 노래에 최신의 유행 리듬이나 신선함이 부가되지 않아 팬들에게 인기를 얻기 못하는 점이 있었다.

이에 본 발명자들은 고인이 된 인기 유명 가수를 포함하는 특정인의 녹음 샘플을 이용하여 음성을 분할하고 연결시키는 음성 합성 방식을 도입함으로써, 특정인이 직접 부른 것처럼 들리는 특정인의 음성이 담긴 새로운 노래를 탄생시키는 노래 합성 방법 및 이를 이용한 다채로운 서비스를 개발하기에 이른 것이다. 또한 제3자의 음색을 고인이 된 인기 유명 가수를 포함하는 특정인의 음색으로 변환시키는 음색 변환 방식을 도입함으로써, 특정인이 직접 부른 것처럼 들리는 특정인의음성이 담긴 새로운 노래 합성 방법 및 이를 이용한 다채로운 서비스를 개발하기에 이른 것이다.

본 발명의 목적은 특정인의 음성 및 음색을 이용하여 그 특정인이 직접 부르지 않고도 새로운 노래를 합성시킬 수 있는 방법을 제공하기 위한 것이다.

본 발명의 다른 목적은 특정인의 음성 샘플의 음성 데이터를 작은 단위로 분할한 후 이를 분석한 정보로 이루어진 음성 데이터베이스를 제공하기 위한 것이다.

본 발명의 또 다른 목적은 특정인의 음성을 분할하고 분석한 정보로 이루어진 데이터베이스 중 필요한 음성 조각을 다시 택하여 이를 연결하는 음성 합성 방식을 이용하여, 상기 특정인의 음성이 담긴 새로운 노래를 만드는 방법을 제공하기 위한 것이다.

본 발명의 또 다른 목적은 특정인의 음색과 비슷한 음색을 가진 사람의 노래를 녹음하여, 상기 특정인 및 상기 비슷한 음색을 가진 사람의 음성을 각각 분석한 후, 음색 변환 방식으로 상기 비슷한 음색을 가진 사람의 음성을 상기 특정인의 음성으로 변환시켜 새로운 노래를 만드는 방법을 제공하기 위한 것이다.

본 발명의 또 다른 목적은 특정인의 음색과 비슷한 음색을 가진 사람의 음색을 상기 특정인의 음색과 동일하게 변환시키는 방법을 제공하기 위한 것이다.

본 발명의 또 다른 목적은 음성 합성 또는 음색 변환 방식으로 합성된 새로운 노래를 포함하는 음반을 제공하기 위한 것이다.

본 발명의 또 다른 목적은 음성 합성 또는 음색 변환 방식을 이용하여 이미 이 세상에 존재하지 않는 고인이 된 특정인, 특히 고인이 된 유명 인기 가수의 노래를 새롭게 창조하여, 그 유명 인기 가수의 팬들을 위한 음반 사업 및 다양한 서비스 사업 등을 구체화시킴으로써 수익을 창출시키기 위한 것이다.

본 발명의 상기의 목적 및 기타의 목적들은 하기 설명에 의하여 모두 달성될 수 있다.

이하 첨부된 도면을 참고로 본 발명의 내용을 하기에 상세히 설명한다.

제1도는 본 발명에 따른 음성 합성 방식을 이용한 노래 합성 방법의 개략적인 구도를 나타낸 것이다.

제2도는 본 발명에 따른 음색 변환 방식을 이용한 노래 합성 방법의 개략적인 구도를 나타낸 것이다.

본 발명의 음성 합성 방식을 이용한 노래 합성 방법은 특정인의 음성이 담긴 녹음 데이터베이스에서 추출된 음성 트랙의 음성 데이터를 음소 또는 음절 등의 작은 단위로 분할한 후 피치(pitch) 또는 온셋(onset) 정보 등을 분석하고 라벨링하여 데이터베이스를 구성하고, 새로운 노래를 작사 및 작곡하고, 상기 분석 및 라벨링된 정보로 구성된 데이터베이스로부터 상기 새로운 노래의 가사에 맞는 음성 데이터 조각을 추출하고, 상기 추출된 각각의 음성 데이터 조각이 새로운 멜로디의 음 높이 및 길이에 맞도록 변형시키고, 그리고 상기 음성 데이터 조각을 연결하여 합성시켜 새로운 노래를 만드는 단계로 이루어진다.

또한 본 발명의 다른 구체예인 음색 변환 방식을 이용한 노래 합성 방법은 녹음된 특정인의 노래를 준비하고, 상기 특정인의 음색과 비슷한 음색을 가진 제3자의 노래를 녹음하고, 녹음된 상기 특정인의 노래와 상기 제3자의 노래에서 각자의 음색을 분석하여 음색 변형에 필요한 맵핑 펑션(mapping function)을 추출하고, 상기 제3자에게 새로 작사 및 작곡된 노래를 부르게 하여 녹음하고, 그리고 상기 맵핑 펑션을 이용하여 녹음된 새로운 노래에 담긴 제3자의 음색을 특정인의 음색으로 변환시키는 단계로 이루어진다.

제1도는 본 발명에 따른 음성 합성 방식을 이용한 노래 합성 방법의 개략적인 구도를 나타낸 것이다.

본 발명의 음성 합성 방식에는 미리 제작된 데이터베이스가 이용된다. 상기 데이터베이스는 제1도의 왼쪽에 도시한 바와 같이 특정인이 부른 노래에 따른 피치들의 분석 결과들을 정보화하고 라벨링하여 수집한 것이며, 특히 다음과 같은 과정을 거쳐 제작된다. 본 발명의 음성 합성 방식에 이용되는 상기 데이터베이스는 일단 특정인의 음성이 담긴 녹음 데이터베이스를 준비하고, 상기 녹음 데이터베이스에서 음성 트랙만을 추출한 후, 상기 음성 트랙의 음성 데이터를 음소 또는 음절 등의 작은 단위로 분할하여, 상기 단위에서 피치(pitch) 또는 온셋(onset) 정보 등을 분석하고, 상기 분석한 정보들을 라벨링함으로써 이루어진다.

이렇게 분할된 음성으로 이루어진 상기 데이터베이스 중에서 필요한 부분을 택하여 다시 연결시켜 노래를 합성하는 방법에 대해서는 제1도의 오른쪽에 나타내었다. 상기 방법은 다음과 같이 이루어진다. 일단 새로운 노래를 작사·작곡한다. 그 다음 본 발명의 상기 음성 합성 방식에 이용되는 상기 데이터베이스로부터, 새롭게 작사되고 작곡된 노래의 가사와 동일한 가사 부분을 갖는 음성 데이터 조각을 추출한다. 그리고 상기 조각을 새로운 멜로디의 음 높이 및 길이에 맞도록변형시킨 후 상기 음성 데이터 조각을 각각 연결하고 합성시켜, 특정인의 음성이 담긴 새로운 노래를 합성하게 된다.

제2도는 본 발명에 따른 음색 변환 방식을 이용한 노래 합성 방법의 개략적인 구도를 나타낸 것이다.

제2도에 도시한 바와 같이 본 발명의 음색 변환 방식을 이용한 노래 합성 방법은 다음과 같이 이루어진다. 먼저 녹음된 특정인의 노래를 준비하고, 상기 특정인의 음색과 비슷한 음색을 가진 제3자의 노래를 녹음한다. 그 다음 녹음된 상기 특정인의 노래와 상기 제3자의 노래에서 각자의 음색을 분석하여 음색 변형에 필요한 맵핑 펑션(mapping function)을 추출해 낸다. 그리고 상기 제3자에게 새로 작사·작곡된 노래를 부르게 하여 녹음한 후, 상기 추출된 맵핑 펑션을 이용하여 제3자가 부른 노래에 담긴 음색을 특정인의 음색으로 변환시켜, 마치 특정인이 부른 것과 똑같이 들리는 노래를 합성한다.

특히 본 발명의 다른 구체예에 따라, 본 발명의 음성 합성 및 음색 변환 방식을 이용한 노래 합성 방법은 이미 고인이 된 유명 가수의 노래를 새롭게 창작하거나, 또는 이렇게 창작된 노래를 포함하는 음반을 제작하는데 이용될 수도 있다. 따라서 과거의 유명 가수들을 기리는 수단으로 활용될 뿐 아니라, 그 가수들의 팬들에게도 새로운 서비스를 제공할 수도 있을 것이다.

본 발명의 또 다른 구체예에 따라, 본 발명은 제3자의 음성을 특정인의 음성으로 변조시키는 음성 변조 방법을 제공할 수도 있다. 즉 특정인의 음성이 담긴 녹음 데이터베이스에서 추출된 음성 트랙의 음성 데이터를 음소 또는 음절 등의 작은 단위로 분할한 후 피치(pitch) 또는 온셋(onset) 정보 등을 분석하고 라벨링하여 데이터베이스를 구성하고, 제3자의 음성을 녹음하고, 상기 분석 및 라벨링된 정보로 구성된 데이터베이스를 이루는 특정인의 음색과 상기 제3자의 녹음된 음색을 비교하여 맵핑 펑션을 추출하고, 그리고 상기 맵핑 펑션을 이용하여 상기 제3자의 음색을 상기 특정인의 음색과 동일하도록 변환시켜 상기 특정인의 음성으로 변조시킬 수 있다.

따라서 본 발명의 음성 합성 및 음색 변환 방식은 노래 합성 뿐 아니라, 연설(speech) 또는 일반 대화 등에도 응용될 수 있다.

이러한 본 발명의 사업적인 측면을 살펴보면 본 발명은 음반 사업, 인터넷, CTI, 700 서비스, 보이스 포탈(voice portal) 등을 매체로 한 서비스 사업을 제공함으로써 많은 수익을 창출하는데 기여할 것으로 예상된다.

본 발명은 음성 합성 또는 음색 변환 기법을 이용하여 직접 특정인이 부르지는 않지만 그 특정인의 음성이 담긴 새로운 노래를 합성하는 방법을 제공하며, 특히 상기 방법으로 합성된 노래가 수록된 음반 제작 및 인터넷 등 여러 온라인 매체를 이용한 서비스 사업에 응용되어 많은 수익을 창출해내는 효과를 갖는다.

본 발명의 단순한 변형 내지 변경은 이 분야의 통상의 지식을 가진 자에 의하여 용이하게 실시될 수 있으며, 이러한 변형이나 변경은 모두 본 발명의 영역에포함되는 것으로 볼 수 있다.

Claims (4)

1. 삭제
2. 녹음된 특정인의 노래를 준비하고;

   상기 특정인의 음색과 비슷한 음색을 가진 제3자의 노래를 녹음하고;

   녹음된 상기 특정인의 노래와 상기 제3자의 노래에서 각자의 음색을 분석하여 음색 변형에 필요한 맵핑 펑션(mapping function)을 추출하고;

   상기 제3자에게 새로 작사 및 작곡된 노래를 부르게 하여 녹음하고; 그리고

   상기 맵핑 펑션을 이용하여 녹음된 새로운 노래에 담긴 제3자의 음색을 특정인의 음색으로 변환시키는;

   단계로 이루어지는 것을 특징으로 하는 음색 변환 방식을 이용한 노래 합성 방법.
3. 특정인의 음성이 담긴 녹음 데이터베이스에서 추출된 음성 트랙의 음성 데이터를 음소 또는 음절 등의 작은 단위로 분할한 후 피치(pitch) 또는 온셋(onset) 정보 등을 분석하고 라벨링하여 데이터베이스를 구성하고;

   제3자의 음성을 녹음하고;

   상기 분석 및 라벨링된 정보로 구성된 데이터베이스를 이루는 특정인의 음색과 상기 제3자의 녹음된 음색을 비교하여 맵핑 펑션을 추출하고; 그리고

   상기 맵핑 펑션을 이용하여 상기 제3자의 음색을 상기 특정인의 음색과 동일하도록 변환시켜 상기 특정인의 음성으로 변조시키는;

   단계로 이루어지는 것을 특징으로 하는 음성 변조 방법.
4. 제2항에 따른 방법으로 합성된 노래가 수록된 음반.