KR20070077042A

KR20070077042A - 음성처리장치 및 방법

Info

Publication number: KR20070077042A
Application number: KR1020060106919A
Authority: KR
Inventors: 마사츠네 타무라; 타케히코 카고시마
Original assignee: 가부시끼가이샤 도시바
Priority date: 2006-01-19
Filing date: 2006-10-31
Publication date: 2007-07-25
Also published as: EP1811497A3; CN101004910A; JP2007193139A; EP1811497A2; US20070168189A1; JP4241736B2; US7580839B2

Abstract

본 발명의 실시예에 따른 음성처리장치는, 변환원화자 음성단위데이터베이스; 음성변환규칙학습데이터생성수단; 및 함께 음성변환규칙을 만드는 음성변환규칙학습수단을 포함한다. 상기 음성변환규칙학습데이터생성수단은 변환처화자 음성단위추출수단; 속성정보생성수단; 변환원화자 음성단위데이터베이스; 및 변환원화자 음성단위선택수단을 포함한다. 상기 변환원화자 음성단위선택수단은 상기 변환처화자 음성단위의 속성정보 및 변환원화자 음성단위의 속성정보 간의 비매칭에 근거하여 변환처화자 음성단위에 대응하는 변환원화자 음성단위를 선택하여, 상기 음성변환규칙이 상기 변환처화자 음성단위와 변환원화자 음성단위의 선택된 쌍으로부터 작성된다.

Description

음성처리장치 및 방법{APPARATUS AND METHOD OF PROCESSING SPEECH}

도 1은 본 발명의 제1 실시예에 따른 음성변환규칙작성장치의 구성을 나타내는 블록도이다.

도 2는 음성변환규칙학습데이터생성수단의 구조를 나타내는 블록도이다.

도 3은 음성단위추출수단의 동작을 나타내는 흐름도이다.

도 4A는 음성단위추출수단의 레이블링(labeling)의 예를 나타낸 그림이며, 도 4B는 음성단위추출수단의 피치 마킹의 예를 나타내는 그림이다.

도 5는 속성정보생성수단에 의해 생성되는 속성정보의 예를 나타낸 그림이다.

도 6은 음성단위데이터베이스에 포함되는 음성단위의 예를 나타내는 그림이다.

도 7은 음성단위데이터베이스에 포함되는 속성정보의 예를 나타내는 그림이다.

도 8은 변환원화자 음성단위선택수단의 동작을 나타내는 흐름도이다.

도 9는 변환원화자 음성단위선택수단의 동작을 나타내는 흐름도이다.

도 10은 음성변환규칙학습수단의 구성을 나타내는 블록도이다.

도 11은 음성변환규칙학습수단의 처리의 예를 나타내는 그림이다.

도 12는 음성변환규칙생성수단의 동작을 나타내는 흐름도이다.

도 13은 음성변환규칙생성수단의 동작을 나타내는 흐름도이다.

도 14는 음성변환규칙생성수단의 동작을 나타내는 흐름도이다.

도 15는 음성변환규칙생성수단의 동작을 나타내는 흐름도이다.

도 16은 음성변환규칙생성수단의 벡터 양자화에 의한 음성변환의 동작을 나타내는 개념도이다.

도 17은 음성변환규칙생성수단의 동작을 나타내는 흐름도이다.

도 18은 음성변환규칙생성수단의 GMM에 의한 음성변환 동작을 나타내는 개념도이다.

도 19는 속성정보생성수단의 구성을 나타내는 블록도이다.

도 20은 속성변환규칙작성수단의 동작을 나타내는 흐름도이다.

도 21은 속성변환규칙작성수단의 동작을 나타내는 흐름도이다.

도 22는 음성합성수단(274)의 구성을 나타내는 블록도이다.

도 23은 제2 실시예에 따른 음성변환장치의 구성을 나타내는 블록도이다.

도 24는 스펙트럼파라미터변환수단의 동작을 나타내는 흐름도이다.

도 25는 스펙트럼파라미터변환수단의 동작을 나타내는 흐름도이다.

도 26은 제2 실시예에 따른 음성변환장치의 동작의 예를 나타내는 그림이다.

도 27은 본 발명의 제3 실시예에 따른 음성합성수단의 구성을 나타내는 블록도이다.

도 28은 음성합성수단의 구성을 나타내는 블록도이다.

도 29는 음성변환수단의 구성을 나타내는 블록도이다.

도 30은 음성단위편집 및 연관수단의 동작을 나타내는 그림이다.

도 31은 음성합성수단의 구성을 나타내는 블록도이다.

도 32는 음성합성수단의 구성을 나타내는 블록도이다.

도 33은 음성합성수단의 구성을 나타내는 블록도이다.

도 34는 음성합성수단의 구성을 나타내는 블록도이다.

본 발명은, 변환원화자(conversion-source speaker)의 음성을 변환처화자(conversion-target speaker)의 음성으로 변환하는 규칙이 만들어지는 음성처리장치 및 방법에 관한 것이다.

변환원화자의 음성을 입력해, 그 음질(voice quality)을 변환처화자로 변환하는 기술을 음성변환기술(voice conversion technique)이라고 한다. 이러한 음성변환기술에서는, 음성의 스펙트럼 정보를 파라미터로서 표현하고, 변환원화자의 스펙트럼파라미터와 변환처화자의 스펙트럼파라미터와의 관계로부터 음성변환규칙이 학습된다. 변환원화자의 입력 음성은 스펙트럼파라미터를 구하기 위해 분석되며, 그러한 스펙트럼파라미터는 상기 음성변환규칙을 적용함에 의해 변환처화자의 스펙트럼파라미터로 변환되며, 상기 얻어진 스펙트럼파라미터로부터 음성파형이 합성된다. 따라서, 상기 입력 음성의 음질은 변환처화자의 음질로 변환된다.

음질변환의 한 방법으로서, 혼합 가우시안 모델(Gaussian Mixture Model, 이하, GMM)에 근거해 변환 규칙이 학습되는 음성변환 방법이 개시되어 있다(예를 들면, 비특허 문헌 1 참조, Y. Stylianou 등의 "음성변환을 위한 연속적 개연론적 변형" IEEE 음성 및 오디오 처리에 관한 트랜잭션, 볼륨 6, 제2호, 1998년 3월). 이 경우에서는, 변환원화자의 음성의 스펙트럼파라미터로부터 GMM이 구해지고, GMM의 각 혼합에 있어서의 회귀 행렬(regression matrix)이, 변환원화자의 스펙트럼파라미터와 변환처화자의 스펙트럼파라미터의 쌍을 이용한 회귀 분석에 의해 얻어져서, 음성변환규칙을 만든다. 음성변환을 위해, 상기 회귀 행렬은 입력 음성의 스펙트럼파라미터가 GMM의 각 혼합에 있어서 출력되는 확률에 의해 가중된다. 이는, 자연스러운 음성 변환을 허용하면서, 상기 변환 규칙이 연속적 이도록 한다. 이와 같이, 변환 규칙들은 변환원화자의 음성과 변환처화자의 음성의 한 쌍으로부터 학습된다. 비특허 문헌 1에 대해서는, 두 명의 화자의 짧은 음운 단위의 음성 데이터는 변환규칙학습데이터를 형성하기 위해 동적 시간 신축(Dynamic Time Warping)에 의해 서로 연관된다. 이와 같이 종래의 음성변환규칙작성장치에서는, 비특허 문헌 1에 개시되고 있듯이, 변환처화자과 변환원화자의 같은 내용의 음성 데이터를 서로 연관시키며, 그로부터 변환 규칙들이 학습된다.

음성파형을 생성하기 위해 임의의 문장을 입력하는 것은 텍스트 대 음성 합성이라고 한다. 상기 텍스트 음성 합성은, 언어 처리수단, 운율 처리수단 및 음성합성수단의 3개의 단계에 의해 일반적으로 행해진다. 입력된 텍스트는, 우선 언어 처리수단에 있어 형태학적(morphological) 해석이나 구문(syntax) 분석이 행해지 며, 다음으로 운율 처리수단에 있어 액센트나 인터네이션의 처리를 해, 음운 계열·운율 정보 (기본 주파수, 음운 계속시간 등)이 출력된다. 마지막으로, 음성파형생성수단은 음운 계열·운율 정보에 따라 음성파형을 생성한다. 음성 합성 방법의 하나로서, 대량의 음성단위를 포함한 음성단위데이터베이스로부터 음성단위계열을 선택하고, 입력된 음운 계열·운율 정보를 목표로 하여 합성하는 음성단위선택형의 음성 합성 방법이 있다. 음성단위선택형의 음성 합성은, 입력된 음운 계열·운율 정보에 따라 미리 저장된 대량의 음성단위 중에서 음성단위를 선택하고, 음성을 합성하기 위해 선택된 음성단위가 연관되도록 한다. 또, 입력된 음운 계열·운율 정보를 목표로 해 합성 음성의 일그러짐의 정도에 근거해 입력 음운 계열의 각 합성 단위에 대해서 복수의 음성단위들이 선택되고, 선택된 복수의 음성단위를 융합하는 것에 의해 새로운 음성단위를 생성하고, 상기 음성단위들이 음성을 합성하기 위해 연관되는 복수음성단위선택형의 음성 합성 방법이 있다(예를 들어, 일본특허출원공개공보 2005-164749호 참조). 음성 단위를 융합하는 방법의 예로서는, 피치-주기 파형을 평균화하는 방법이 있다.

변환처화자의 소량의 음성 데이터를 이용한 텍스트 대 음성 합성의 음성단위데이터베이스의 음성 합성을 가정해보자. 이는, 제한된 음성 데이터를 갖는 변환처화자의 음질을 이용하여 어떤 문장의 음성 합성도 가능하게 한다. 상기 비특허 문헌 1에 개시된 상기 방법을 이러한 음성 변환에 적용하기 위해서, 변환원화자 및 변환처화자의 같은 내용의 음성 데이터가 준비되어야만 하며, 그와 함께 음성변환규칙을 작성하게 된다. 따라서, 상기 비특허 문헌 1에 개시된 방법에서는, 대량의 변환원화자의 음성 데이터와 소량의 변환처화자의 음성 데이터를 이용해 음성변환규칙을 학습하는 경우, 음성변환규칙 학습에 이용하는 음성 데이터의 발화 내용(speech contents)이 한정되어, 변환원화자의 대량의 음성단위데이터베이스가 존재하는 것에도 불구하고, 한정된 발화 내용만을 이용해 음성변환규칙을 학습한다. 이는, 변환원화자의 대량의 음성단위데이터베이스에 포함되는 정보를 반영한 음성변환규칙의 학습을 불가능하게 한다.

상술한 것처럼, 종래 기술에는, 대량의 변환원화자의 음성 데이터와 소량의 변환처화자의 음성 데이터를 이용해 음성변환규칙을 학습할 때, 학습 데이터로서 이용하는 음성 데이터의 발화 내용이 한정되어, 변환원화자의 대량의 음성단위데이터베이스에 포함된 정보를 반영한 음성변환규칙의 학습을 할 수 없다고 하는 문제가 있었다.

본 발명은, 상기 종래 기술의 문제점을 해결하기 위한 것으로서, 변환처화자의 임의의 음성을 이용한 음성변환규칙의 작성을 가능하게 하는 음성처리장치 및 방법을 제공한다.

본 발명의 실시예에 따른 음성처리장치는, 변환원화자의 복수의 음성단위에 관한 정보 및 상기 음성단위들에 대응하는 변환원화자 속성정보를 저장하는 변환원화자 음성저장수단; 변환처화자의 음성을, 임의의 타입의 음성 단위로 분할하여 변환처화자 음성단위를 형성하는 음성단위추출수단; 상기 변환처화자의 음성에 관한 정보 또는 그 음성의 언어 정보로부터, 상기 변환처화자 음성단위들에 대응하는 변환처화자 속성정보를 생성하는 속성정보생성수단; 비용함수를 이용하여 상기 변환처화자 속성정보와 상기 변환원화자 속성정보에 관한 비용를 계산하고, 상기 계산에 따라 하나 또는 복수의 음성단위를 상기 변환원화자 음성저장수단으로부터 선택해, 변환원화자 음성단위로 하는 변환원화자 음성단위선택수단; 및 상기 변환처화자 음성단위들 및 상기 하나 또는 복수의 변환원화자 음성단위를 근거로 하여 상기 하나 또는 복수의 변환원화자 음성단위를 상기 변환처화자 음성단위로 변환하기 위한 음성변환함수를 작성하는 음성변환규칙작성수단을 포함한다.

본 발명의 실시예에 따라, 음성변환규칙이 변환처화자의 음성의 어떤 문장을 이용하여서도 작성될 수 있다.

이하, 본 발명의 실시예들이 설명된다.

(제1 실시예)

이하, 본 발명의 제1 실시예에 따른 음성변환규칙작성장치에 대해 도 1 내지 도 21을 참고하여 설명한다.

(1)음성변환규칙작성장치의 구조

도 1은, 제1 실시예에 따른 음성변환규칙작성장치를 나타내는 블록도이다.

음성변환규칙작성장치는, 변환원화자 음성단위데이터베이스(11), 음성변환규칙학습데이터생성수단(12), 및 음성변환규칙학습수단(13)을 갖추어 음성변환규칙(14)을 작성한다.

음성변환규칙학습데이터생성수단(12)은, 변환처화자의 음성 데이터를 입력하 고, 임의의 타입의 음성단위에 나뉘어진 각 음성단위에 대해, 변환원화자 음성단위데이터베이스(11)로부터 변환원화자의 음성단위를 선택하며, 상기 변환처화자의 음성단위와 변환원화자의 음성단위와의 쌍을 학습 데이터로 작성한다.

음성변환규칙학습수단(13)은 음성변환규칙학습데이터생성수단(12)에 의해 생성된 학습데이터를 이용해 음성변환규칙(14)을 학습한다.

(2)음성변환규칙학습데이터생성수단(12)

도 2에, 음성변환규칙학습데이터생성수단(12)의 구성을 나타낸다.

음성단위추출수단(21)은, 변환처화자의 음성 데이터를 임의의 음성 단위의 음성단위로 분할하여, 변환처화자 음성단위를 추출한다.

속성정보생성수단(22)는 상기 추출된 변환처화자 음성단위에 대응하는 속성정보를 생성한다.

변환원화자 음성단위선택수단(23)은, 상기 변환처화자 음성단위의 속성정보와 변환원화자 음성단위데이터베이스에 포함된 변환원화자 음성단위의 속성정보와의 비매칭(mismatch)을 나타내는 비용함수에 따라, 변환처화자 음성단위에 대응하는 변환원화자 음성단위를 선택한다.

상기 선택된 변환처화자 음성단위와 변환원화자 음성단위의 쌍은 음성변환규칙학습데이터로서 이용된다.

이하, 음성변환규칙학습데이터생성수단(12)의 동작이 상세하게 기술된다.

(2-1)음성단위추출수단(21)

음성단위추출수단(21)은, 변환처화자의 음성 데이터로부터 임의의 타입의 음 성 단위 내의 음성단위들을 추출한다. 음성 단위의 상기 타입은, 음운 혹은 분할된 음운의 연속(sequence), 예를 들면, 반음운, 음운(C, V), 다이폰(diphones)(CV, VC, VV), 트라이폰(triphones)(CVC, VCV), 음절(CV, V) 및 그들의 가변길이 혼합물(variable-length mixtures)(V는 모음, C는 자음을 나타낸다)이다.

도 3은 음성단위추출수단(21)의 동작의 흐름도를 나타낸다.

단계 S31에서, 입력된 변환처화자 음성데이터는 음운 단위 등에 의해 레이블링된다.

단계 S32에서, 피치 마크가 배치된다.

단계 S33에서, 입력된 음성데이터는 임의의 타입의 음성 단위에 대응하는 음성단위로 분할된다.

도 4는 「so-o-ha-na-su」라고 하는 문장을 레이블링 및 피치 마킹하는 예를 나타낸다. 도 4(A)는, 음성 데이터의 세그먼트(segment)의 경계를 레이블링한 예를 나타내고, 도 4(B)는 「a」의 부분에 대해서 피치 마킹을 실시한 예를 나타내고 있다.

레이블링은 음성 단위의 경계와 각 음성 단위의 음운 타입을 나타내는 라벨을 부여하는 것으로, 히든 마르코브(hidden Markov) 모델 등을 이용하는 방법에 의해 행해진다. 상기 레이블링은 자동 또는 수동으로 행해질 수 있다. 피치 마킹은 음성의 기본 주기에 동기되도록 마킹하는 것을 의미하며, 파형의 피크를 추출하는 방법 등에 의해 행해진다.

따라서, 상기 음성 데이터는 레이블링 및 피치 마킹에 의해 음성 단위로 분 할된다. 음성 단위를 반음운로 했을 경우, 음운 경계 및 음운 중심에서, 파형은 "부분 a의 좌음성단위" 및 "부분 a의 우음성단위"로 나뉜다.

(2-2)속성정보생성수단(22)

속성정보생성수단(22)은 음성단위추출수단(21)에 의해 추출된 음성단위에 대응하는 속성정보를 생성한다. 상기 음성단위의 속성들은, 기본 주파수 정보, 음운 지속(duration) 정보, 음운 환경 정보, 스펙트럼 정보를 포함한다.

도 5는 변환처화자 속성정보: 기본 주파수 정보, 음운 지속 정보, 연관 경계의 케프스트람(cepstrum) 및 음운 환경의 예를 나타낸다. 상기 기본 주파수는 음성단위의 주파수의 평균치(Hz)이며, 음운 지속은 밀리 세컨드 단위(m sec)로 표현되며, 스펙트럼파라미터는 접속 경계에서의 케프스트람이며, 음운 환경은 전후의 음운이다.

기본 주파수는, 예를 들면 자기 상관 함수에 근거해 음성의 피치를 추출하고 상기 음성 단위의 주파수를 평균하여 얻어진다. 상기 케프스트람 또는 스펙트럼 정보는 음성단위경계의 종단에서 피치 주기 파형을 분석함에 의해 얻어진다.

상기 음운 환경은, 이전의 음운의 종류 및 이후의 음운의 종류를 포함한다. 따라서, 상기 변환처화자의 음성단위 및 대응하는 변환처화자 속성정보가 얻어질 수 있다.

(2-3)변환원화자 음성단위데이터베이스(11)

변환원화자 음성단위데이터베이스(11)는, 변환원화자의 음성 데이터로부터 생성된 속성정보 및 음성단위를 저장한다. 음성단위 및 속성정보는, 음성단위추출 수단(21) 및 속성정보생성수단(22)에 의해 얻어진 것과 같은 것이다.

변환원화자 음성단위데이터베이스(11)는, 도 6에 나타내듯이, 상기 음성 단위를 식별하기 위한 숫자와 관련하여 상기 변환원화자의 음성단위의 피치마크된 파형을 저장한다.

또한, 도 7에 나타내듯이, 상기 변환원화자 음성단위데이터베이스(11)는 상기 음성단위의 숫자와 관련하여 상기 음성단위의 속성정보를 저장한다.

음성단위 및 속성정보는, 음성단위추출수단(21) 및 속성정보생성수단(22)의 처리와 같이, 변환원화자의 음성 데이터로부터, 레이블링, 피치 마킹, 속성 생성, 음성단위추출 등의 공정에 의해 생성된다.

(2-4)변환원화자 음성단위선택수단(23)

변환원화자 음성단위선택수단(23)은, 변환처화자의 음성단위의 속성정보와 변환원화자의 속성정보의 비매칭을 비용 함수로서 나타내서, 변환처화자의 비용에 비해 비용이 최소가 되는 변환원화자의 음성단위를 선택한다.

(2-4-1)비용 함수

비용 함수는, 속성정보마다 부분비용(subcost)함수 Cn(ut, uc)(n:1, … , N, N은 부분비용 함수의 수)로서 나타내며, ut는 변환처화자의 음성단위, uc는 변환원화자 음성단위데이터베이스(11)에 포함되는 변환원화자의 음성단위로부터의 ut와 같은 음운의 음성단위를 나타낸다.

부분비용 함수는, 변환처화자의 음성단위의 기본주파수와 변환원화자의 음성단위의 기본 주파수의 차이를 나타내는 기본 주파수 비용 C1(ut, uc), 음운 지속에 서의 차이를 나타내는 음운 지속 비용 C2(ut, uc), 음성단위경계에 있어서의 스펙트럼의 차이를 나타내는 스펙트럼비용 C3(ut, uc), C4(ut, uc), 음운 환경의 차이를 나타내는 음운 환경 비용 C5(ut, uc), C6(ut, uc)를 포함한다.

구체적으로는, 기본 주파수 비용은, 이하의 식에 의해, 대수 기본 주파수의 차이로서 계산된다.

여기서, f(u)는 음성단위 u에 대응하는 속성정보로부터 평균 기본 주파수를 추출하는 함수이다.

또, 음운 지속 비용은 다음과 같이 표현된다.

여기서, g(u)는 음성단위 u에 대응하는 속성정보로부터 음운 지속을 추출하는 함수이다.

상기 스펙트럼 비용은 음성단위의 경계에 있어서의 케프스트람 거리로부터 이하의 식에 의해 계산된다.

여기서, h^l(u)는 음성단위 u의 좌경계의 케프스트람 계수를 추출하는 함수, h^r(u)는 우경계의 케프스트람 계수를 벡터로서 추출하는 함수이다.

상기 음운 환경 비용은, 근처의 음성단위들이 동일한지 어떤지를 나타내는 거리로부터 다음의 식에 의해 계산된다.

변환처화자의 음성단위와 변환원화자의 음성단위 간의 비매칭을 나타내는 비용 함수는, 상기 부분비용(subcost)함수의 가중치 합(weighted sum)으로서 정의된다.

여기서, wn는 상기 부분비용 함수의 가중치를 나타낸다. 본 실시 형태에서 는, 편의상, wn이 모두 "1"로 정해진다. 상기 식(5)는 상기 변환원화자 음성단위데이터베이스의 음성단위가 변환처화자 음성단위에 대응하는 때의 비매칭을 나타내는 음성단위의 비용함수이다.

(2-4-2)처리의 상세내용

상기 변환원화자 음성단위선택수단(23)은 상술한 비용 함수를 이용하여 변환처화자의 음성단위에 대응하는 변환원화자 음성단위를 선택한다. 이 처리를 도 8에 나타낸다.

단계 S81~S83에서, 변환원화자 음성단위데이터베이스에 포함된, 상기 변환처화자의 음성단위와 같은 음운의 음성단위 모두가 루프되어 비용함수를 계산한다. 여기서, 같은 음운이란, 대응 음성 단위들이 동일한 종류의 음운들; 반음운단위이면, "부분 a의 좌음성세그먼트", 또는 "부분 i의 우음성세그먼트"는 동일한 종류의 음운을 갖는다.

단계 S81~S83에서, 변환처화자 음성단위와 같은 음운의 모든 변환원화자 음성단위의 비용이 결정된다.

단계 S84에서, 그 중에서 비용이 최소인 변환원화자 음성단위가 선택된다. 따라서, 변환처화자 음성단위와 변환원화자 음성단위의 학습 데이터의 쌍이 얻어진다.

(2-4-3)다른 처리의 상세내용

도 8의 변환원화자 음성단위선택수단(23)이 각 변환처화자 음성단위에 대해, 비용이 최소가 되는 최적인 음성단위를 하나만 선택하고 있지만, 복수의 음성단위 들이 선택될 수도 있다.

이 경우, 상기 변환원화자 음성단위선택수단(23)은, 도 9에 나타내는 처리에 의해 변환원화자 음성단위데이터베이스에 포함된 같은 음운의 음성단위 중에서 비용치가 증가하는 순서로 상위 N개의 변환원화자의 음성단위를 선택한다.

단계 S81~S83에서, 변환원화자 음성단위데이터베이스에 포함되는 변환처화자의 음성단위와 같은 음운의 음성단위 모두는 루프되어 비용 함수를 계산한다.

그 후, 단계 S91에서, 비용에 따라 음성단위들이 분류되며, 단계 S92에서, 상기 비용이 증가하는 순서로 상위 N개의 음성단위가 선택된다.

따라서, 하나의 변환처화자의 음성단위에 대해서, N개의 변환원화자의 음성단위가 선택될 수 있으며, 변환원화자의 음성단위 각각과 대응하는 변환처화자의 음성단위를 쌍으로 만들어 학습 데이터를 형성한다.

각 변환처화자 음성단위에 대해 복수의 변환원화자 음성단위를 이용하는 것은, 변환원화자 음성단위와 변환처화자 음성단위간의 비매칭에 의한 악영향을 감소시키며, 보다 안정된 변환 규칙의 학습이 가능하도록, 학습 데이터를 증가시킨다.

(3)음성변환규칙학습수단(13)

음성변환규칙학습수단(13)에 대해 설명한다.

음성변환규칙학습수단(13)은, 음성변환규칙학습데이터생성수단(12)에 의해 학습된 변환원화자 음성단위와 변환처화자의 음성단위의 쌍을 이용해 음성변환규칙(14)을 학습한다. 상기 음성변환규칙은, 평행이동(translation), 단순 선형 회귀 분석, 다중 회귀 분석 및 벡터양자화(VQ)에 근거하는 음성변환규칙, 및 비특허 문 헌 1에 나타내어진 GMM에 근거하는 음성변환규칙을 포함한다.

(3-1)처리의 상세내용

음성변환규칙학습수단(13)의 처리를 도 10에 나타낸다.

변환처화자 스펙트럼파라미터추출수단(101) 및 변환원화자 스펙트럼파라미터추출수단(102)은 학습 데이터의 스펙트럼파라미터를 추출한다. 상기 스펙트럼파라미터는, 음성단위의 스펙트럼 포락에 대한 정보: 예를 들어, LPC 계수, LSF 파라미터 및 멜-케프스트람(mel-cepstrum)에 대한 정보를 나타낸다. 상기 스펙트럼파라미터는 피치 동기 분석에 의해 얻어진다. 구체적으로, 음성단위의 각각의 피치 마크를 중심으로 피치의 2배의 하닝(Hanning)창을 적용함에 의해 피치 파형을 추출해, 추출된 피치 파형으로부터 스펙트럼파라미터가 얻어진다.

스펙트럼파라미터의 하나인, 멜-케프스트람은, 정규화된 이산 케프스트람의 방법(오. 카페 등의 「이산 케프스트람 추정을 위한 정규화 기술(Regularization Techniques for Discrete Cepstrum Estimation)」 IEEE Signal Processing Letters, Vol.3, No. 3, No.4, April 1996), 불편(unbiased) 추정에 의한 방법 (고바야시 다카오, 「음성의 케프스트람 분석 및 멜-케프스트람 분석」, 전자 정보통신 학회 기술 연구 보고, DSP98-77/SP98-56, pp.33-40, 1998.9.)등에 의해 얻어지며, 그 전체 내용은 본 명세서에 참조로서 통합된다.

변환원화자 음성단위 및 변환처화자 음성단위의 피치 마킹에 의해 스펙트럼파라미터가 얻어진 후에, 스펙트럼파라미터매핑수단(103)에 의해 스펙트럼파라미터가 매핑된다.

변환원화자 음성단위 및 변환처화자의 음성단위는 다른 수의 피치주기 파형을 갖기 때문에, 스펙트럼파라미터매핑수단(103)은 피치주기 파형의 수를 완료한다. 이는, 동적 시간 신축에 의한 방법, 선형 매핑 방법, 구분(piecewise) 선형 함수로 매핑하는 방법 등에 의해, 변환원화자의 스펙트럼파라미터와 변환처화자의 스펙트럼파라미터를 일시적으로 서로 연관시키도록 수행된다.

그 결과, 변환처화자의 각 스펙트럼파라미터에 대해서, 변환원화자의 스펙트럼파라미터가 연관지어질 수 있다. 이 처리는 도 11에 도시된다. 도 11은, 위로부터 변환처화자 음성단위와 피치 마크, 하닝창에 의해 자른 각 피치주기 파형 및 각 피치주기 파형을 스펙트럼 분석해 얻은 스펙트럼파라미터로부터 얻은 스펙트럼 포락을 가리킨다. 또, 아래로부터 변환원화자의 음성단위, 피치주기 파형 및 스펙트럼 포락을 나타낸다. 도 10의 스펙트럼파라미터 매핑수단(103)은, 변환원화자 음성단위와 변환처화자 음성단위를 1 대 1 대응시켜, 스펙트럼파라미터의 쌍을 얻고, 음성변환규칙의 학습 데이터를 얻게 된다.

음성변환규칙작성수단(104)은 변환원화자의 스펙트럼파라미터와 변환처화자의 스펙트럼파라미터의 쌍을 학습 데이터로 이용하여 음성변환규칙을 학습한다.

(3-2)음성변환규칙

평행이동, 단일 선형 회귀 분석, 다중 회귀 분석, 벡터 양자화(VQ)에 기초를 둔 음성변환규칙 및 GMM에 근거하는 음성변환규칙이 기술될 것이다.

(3-2-1)평행이동

평행이동을 이용하는 음성변환규칙생성수단(104)의 처리를 도 12에 나타낸 다. 평행이동을 위해, 음성변환규칙은 다음의 식과 같이 나타내어진다.

여기서, y'는 변환 후의 스펙트럼파라미터, x는 변환원화자의 스펙트럼파라미터, b는 평행이동 거리이다. 상기 평행이동 거리b는 상기 스펙트럼파라미터 쌍 또는 학습 데이터로부터 다음의 식에 의해 구한다.

단, N은 학습용 스펙트럼파라미터 쌍의 수를 나타내며, y_i는 변환처화자의 스펙트럼파라미터, x_i는 변환원화자의 스펙트럼파라미터, i는 학습 데이터 쌍의 수를 나타낸다. 단계 S121~S123의 루프에 의해, 모든 학습용 스펙트럼파라미터 t쌍의 차이가 구해지며, 단계 S124에서 평행이동거리 b가 구해진다. 상기 평행이동거리 b가 변환 규칙이 된다.

(3-2-2)단일 선형 회귀 분석

도 13은 단일 선형 회귀 분석을 이용하는 경우의 음성변환규칙생성수단(104)의 처리를 나타낸 것이다.

단일 선형 회귀 분석을 위해, 스펙트럼파라미터의 각 차원에 대해 회귀 분석 이 수행된다. 상기 단일 선형 회귀 분석을 위해, 상기 음성변환규칙은 다음 식과 같이 표현된다.

여기서, y'^k는 변환 후의 스펙트럼파라미터, x^k 는 변환원화자의 스펙트럼파라미터, a^k는 회귀 계수, b^k는 그 오프셋, 및 k는 스펙트럼파라미터의 차원이다. 상기 a^k, b^k는 상기 스펙트럼파라미터 쌍 또는 학습 데이터로부터 다음의 식에 의해 구한다.

단, N은 학습용 스펙트럼파라미터 쌍의 수, y_i ^k는 변환처화자의 스펙트럼파라미터, x_i ^k는 변환원화자의 스펙트럼파라미터, i는 학습 데이터 쌍의 수를 나타낸다.

단계 S131~S133의 루프에 의해, 회귀 분석에 필요한 식 (9)의 각 항의 값들은 상기 모든 학습 스펙트럼파라미터 쌍으로부터 구해지며, 단계 S134에서, 회귀 계수 a^k 및 b^k가 구해진다. 상기 회귀 계수 a^k 및 b^k가 변환 규칙으로서 이용된다.

(3-2-3)다중 회귀 분석

도 14는 다중 회귀 분석을 이용하는 음성변환규칙생성수단(104)의 처리를 나타낸 것이다.

다중 회귀 분석을 위해, 음성변환규칙은 다음의 식으로 나타내진다.

여기서, y'는 변환 후의 스펙트럼파라미터, x'는 변환원화자의 스펙트럼파라미터 x에 오프셋(offset)항(1)(을)를 더한 것, A는 회귀 행렬이다. A는 학습 데이터 또는 스펙트럼파라미터 쌍으로부터 구한다. A는 다음 식에 의해 주어질 수 있다.

여기서, k는 스펙트럼파라미터의 차원, a^k는 행렬 A의 칼럼(column), Y^k는 (y1^k,…,yN^k)T, X는 (x'1^T,…,x'N^T), x'i^T는 변환원화자 스펙트럼파라미터 xi에 오프셋(offset)항을 더함에 의해 (xi^T, 1)^T로 주어지며, x^T는 행렬 x의 전치ranspose)이다.

도 14는 변환 규칙 학습의 알고리즘을 나타낸다. 우선, 단계 S141~S143의 단계에 의해, 모든 학습용 스펙트럼파라미터들로부터, 행렬 X 및 Y가 생성되며, 단계 S144에서, 수학식(11)을 푸는 것에 의해, 회귀 계수 a^k가 구해지며, 모든 차원에 대해 상기 계산이 수행되어, 회귀 행렬 A가 구해진다. 상기 회귀 행렬 A가 변환 규칙이 된다.

(3-2-4)벡터 양자화

도 15는 벡터 양자화를 이용하는 음성변환규칙생성수단(104)의 처리를 나타낸 것이다.

벡터 양자화에 근거하는 음성변환규칙에 대해, 변환원화자 스펙트럼파라미터의 셋트는 LBG 알고리즘에 의해 C개의 클러스터에 클러스터링되며, 음성변환규칙 학습 데이터 생성수단(12)에 의해 생성된 학습 데이터쌍의 변환원화자 스펙트럼파라미터를 벡터 양자화에 의해 상기 클러스터에 할당해, 각 클러스터에 대해 다중 회귀 분석을 실시한다. 벡터 양자화에 의한 음성변환규칙은 다음의 식과 같이 나타내진다.

A^C는 클러스터 C의 회귀 행렬, sel^c(x)는, x가 클러스터 C에 속하는 경우는 1, 그 이외는 0을 선택하는 선택 함수이다. 식(12)는, 상기 선택 함수를 이용하여 회귀 행렬을 선택하고, 각 클러스터에 대해 스펙트럼파라미터를 변환하는 것을 나타내고 있다.

이 개념을 도 16에 나타내었다. 그림 중 흑색점들은 변환원화자 스펙트럼파라미터, 백색점들은 LBG 알고리즘에 의해 발견된 센트로이드(centroid)를 나타낸다.

상기 변환원화자 스펙트럼파라미터의 공간은, 상기 도면의 선들에 의해 지시되는 바와 같이, 클러스터들로 나뉜다. 회귀 행렬 A^C가 각 클러스터에서 얻어진다. 변환을 위해, 상기 입력된 변환원화자의 스펙트럼파라미터들은 클러스터들과 연관되며, 각 클러스터의 회귀 행렬에 의해 변환된다.

단계 S151에서, 음성변환규칙생성수단(104)는, 변환원화자 스펙트럼파라미터들을 클러스트링하여, 클러스터의 수가 사전에 정해둔 C에 도달할 때까지, LBG 알고리즘에 의해 각 클러스터의 센트로이드를 구한다. 학습 데이터의 클러스터링은 변환원화자 음성단위데이터베이스(11)의 모든 음성단위로부터 추출된 피치주기 파형의 스펙트럼파라미터를 이용해 실시된다. 음성변환규칙 학습 데이터 생성수단(12)에 의해 선택된 변환원화자 음성단위의 스펙트럼파라미터만이 클러스터링 될 수 있다.

다음으로, 단계 S152~S154에 있어서, 음성변환규칙학습데이터생성수단(12)에 의해 생성된 학습 데이터 쌍의 변환원화자 스펙트럼파라미터가 벡터 양자화되어, 각각의 스펙트럼파라미터를 클러스터에 할당한다.

그리고, 단계 S155~S157에서, 변환원화자 스펙트럼파라미터와 변환처화자 스펙트럼파라미터의 쌍을 이용해 각 클러스터의 회귀 행렬이 얻어진다. 회귀 행렬의 계산 단계 S156에서, 도 14의 단계 S141~S144의 처리와 같이, 클러스터마다 식(11)이 작성되며, 회귀 행렬 A^C가 식(11)을 풂에 의해 얻어진다. 벡터 양자화에 근거하는 음성변환규칙에 있어서, LBG 알고리즘을 이용하여 얻은 각 클러스터의 센트로이드 및 각 클러스터의 회귀 행렬 A^C가 음성변환규칙이 된다.

(3-2-5)GMM 방법

마지막으로, 비특허 문헌 1에서 제안되고 있는, GMM에 의한 음성변환규칙생성수단(104)의 처리를 도 17에 나타낸다. GMM에 의한 음성변환은, GMM에 의해 변환원화자 스펙트럼파라미터를 모델화해, 입력한 변환원화자의 스펙트럼파라미터가 GMM의 각 혼합 성분에 대해 관측되는 사후 확률에 의해 가중되도록, 실시된다. GMM λ는, 가우시안 혼합 모델의 혼합으로서 다음의 식에 의해 나타내어진다.

여기서, p는 가능성, c는 혼합, w_c는 혼합 가중치, p(x|λc)=N(x|μc, ∑c)는 혼합 c의 분산 ∑c 및 평균 μc,의 가우시안 분포의 가능성을 나타낸다. 여기서, 상기 GMM에 의한 음성변환규칙은 다음의 식으로 표현된다.

단, p(mc|x)는 x가 혼합 mc에 대해 관측되는 확률이다.

GMM에 의한 음성변환에서는, 각 혼합동안에서 연속으로 변화하는 회귀 행렬을 얻을 수 있다고 하는 특징이 있다. 도 18은 그러한 개념을 나타낸다. 그림 중 흑색 점들은 변환원화자 스펙트럼파라미터, 백색 점들은 GMM의 최대 가능성 예측에 의해 얻어진 각 혼합의 평균치를 나타낸다.

GMM에 근거하는 음성변환에서는, 벡터양자화에 근거하는 음성변환에 있어서의 각 클러스터가, GMM의 각 혼합에 대응하며, 각각의 혼합은 가우시안 분포로 나타나고, 평균μc, 분산 ∑c, 혼합 가중치 w_c를 파라미터로서 가진다. 스펙트럼파라미터 x는 식(14)의 사후 확률에 따라 각 혼합의 회귀 행렬에 가중치를 주기 위해 가해지며, A^C는 각 혼합의 회귀 행렬이다.

상기 식에 나타낸 것처럼, 변환원화자 스펙트럼파라미터 x가 혼합 m1에 대해 생성되는 확률이 0.3, 혼합 m2에 대해 생성되는 확률이 O.6, 혼합 m3 에 대해 생성되는 확률이 O.1이 되는 경우, 변환처화자 스펙트럼파라미터 y는 각 클러스터의 회 귀 행렬을 이용해 변환된 스펙트럼파라미터의 가중된 합에 의해 주어진다.

GMM에 대해, 상기 단계 S171에서, 음성변환규칙작성수단(104)은, 최대가능성예측에 의해 GMM을 예측한다. GMM의 초기치로서는, LBG 알고리즘으로 작성한 클러스터가 주어지며, EM 알고리즘에 의해 GMM의 최대 가능성 파라미터들이 예측된다. 다음으로, 단계 S172~S174에서, 회귀 행렬을 얻기 위한 방정식의 계수가 계산된다. 식(14)에 의해 가중된 데이터는 도 14에 도시된 바와 같은 동일한 과정을 거치며, 상기 식의 계수들이, 비특허문헌 1에 기술된 바와 같이 구해진다. 단계 S175에서, 각 혼합의 회귀 행렬 A^C가 결정된다. 상기 GMM에 근거하는 음성변환은, GMM의 모델 파라미터λ 및 각 혼합에 있어서의 회귀 행렬 A^C가 음성변환규칙이 된다.

이상에 의해, 평행이동, 단일 선형 회귀 분석, 다중 회귀 분석, 벡터 양자화(VQ)에 근거하는 음성변환규칙, 또는 GMM에 근거하는 음성변환규칙이 얻어진다.

(4)효과

본 실시 형태에 의해, 변환처화자의 음성 데이터로부터 음성단위 및 속성정보가 추출될 수 있으며, 속성정보의 비매칭에 근거해 변환원화자 음성단위데이터베이스로부터 음성단위가 선택되어, 변환처화자 및 변환원화자 음성단위의 쌍을 학습 데이터로서 이용하여 음성변환규칙이 학습될 수가 있다.

본 실시예에 따르면, 변환처화자의 임의문의 발성에 의한 음성변환규칙 작성을 가능하게 하고, 또 변환원화자의 대량의 음성단위데이터베이스에 포함되는 정보를 반영한 변환 규칙의 학습을 가능하게 하는 음성변환규칙작성장치를 제공할 수가 있다.

(5)변경예

본 실시예에 따르면, 변환처화자의 속성정보와 변환원화자의 속성정보와의 비매칭을 식 (5)에 나타내어진 바와 같은 비용 함수로서 이용하여, 비용이 최소인 복수의 변환원화자의 음성단위 혹은 음성단위들이 선택된다.

다르게는, 변환처화자의 속성정보가 변환원화자의 속성정보에 근접하도록 변환되며, 상기 변환원화자의 음성단위가 선택될 수 있는, 상기 변환된 변환처화자 속성정보와 변환원화자 속성정보 간의 비매칭으로부터 식 (5)의 비용이 구해진다.

(5-1)속성정보생성수단(22)의 처리

이 경우의 속성정보생성수단(22)의 처리를, 도 19에 나타낸다.

속성정보생성수단(22)은, 변환처화자의 음성단위로부터 변환처화자 속성 추출수단(191)에 의해 변환처화자의 속성을 추출한다.

변환처화자 속성추출수단(191)은, 변환처화자의 기본 주파수, 음운 지속 정보, 연관 경계 케프스트람, 음운 환경 정보 등과 같은 도 5에 도시된 정보를 추출한다.

속성변환수단(192)은 변환처화자의 속성을 변환원화자의 속성에 근접하도록 변환해, 변환원화자 음성단위선택수단(23)에 입력될 변환처화자 속성정보를 생성한다. 상기 속성의 변환은, 속성변환규칙작성수단(194)에 의해 미리 작성된 속성변환규칙(193)을 이용해 수행된다.

(5-2)기본 주파수와 음운 지속의 변환

이하, 도 5에 나타나고 있는 속성정보 가운데, 기본 주파수 및 음운 지속의 변환을 예로 나타낸다.

이 경우, 속성변환규칙작성수단(194)은, 변환처화자의 기본 주파수를 변환원화자의 기본 주파수에 접근하는 규칙 및 변환처화자의 음운 지속을 변환원화자의 음운 지속에 접근하는 규칙을 작성한다. 이 처리의 흐름도를 도 20 및 도 21에 나타낸다.

변환처화자 평균대수 기본 주파수 추출 단계 S201에서, 변환처화자의 음성 데이터로부터 추출된 대수 기본 주파수의 평균치가 구해진다.

변환원화자 평균대수 기본 주파수 추출 단계 S202에서, 변환원화자의 음성 데이터로부터 추출된 대수 기본 주파수의 평균치가 구해진다.

평균 대수 기본 주파수차이 계산 단계 S203에서, 변환원화자 평균대수 기본 주파수와 변환처화자 평균 대수 기본 주파수의 차이가 계산되어 속성변환규칙(193)으로 한다.

유사하게는, 도 21의 변환처화자 평균음운지속 추출 단계 S211에서, 변환처화자의 음운 지속의 평균치가 추출된다.

변환원화자 평균 음운 지속 추출 단계 S212에서, 변환원화자의 음운 지속의 평균치가 추출된다.

음운 지속 비율 계산 단계 S213에서, 변환원화자의 평균 음운 지속 대 변환처화자의 평균 음운 지속의 비를 계산하여, 속성변환규칙(193)으로 한다.

속성변환규칙(193)은, 평균대수 기본 주파수차이, 평균 음운 지속비 뿐만 아 니라, 평균 대수 기본 주파수의 범위를 보정하는 규칙 등을 포함할 수 있다. 또, 상기 속성변환규칙(193)이 모든 데이터에 공통이 아닐 수 있으나, 상기 속성들은 예를 들어, 음운에 대한 규칙을 작성함에 의해 또는 액센트 타입 근거로 클러스터링될 수 있으며, 상기 속성변환규칙은 각 클러스터에서 얻어질 수 있다. 이와 같이, 속성변환규칙작성수단(194)은 속성변환규칙(193)을 작성한다.

속성정보생성수단(22)은, 변환처화자 음성단위로부터, 도 5에 나타내는 속성을 얻고, 속성변환규칙(193)의 변환 규칙에 따라, 상기 속성들의 음운 지속 및 기본 주파수를 변환한다. 기본 주파수에 대해서, 상기 속성정보생성수단(22)은 상기 기본 주파수를 대수 기본 주파수로 변환해서, 대수 기본 주파수에 대해서 평균 대수 기본 주파수차이를 더하는 것에 의해 변환원화자의 기본 주파수에 접근하도록 변환하고, 변환된 대수 기본 주파수를 기본 주파수로 되돌려서, 음성단위선택시의 변환처화자의 기본 주파수 속성을 작성한다.

음운 지속에 대해, 상기 속성정보생성수단(22)은 평균 음운 지속비를 곱함에 의해 상기 변환원화자의 음운 지속에 근접하도록 상기 음운 지속을 변환하여, 음성단위선택시의 변환처화자 음운 지속 속성을 생성한다.

남성의 음성이 여성의 음성으로 변환되는 경우와 같이, 평균 기본 주파수들이 상당히 다른 경우의 화자에 대해 음성변환규칙이 학습되는 경우, 여성 변환처화자의 기본 주파수를 이용하여 남성 변환원화자의 음성단위데이터베이스로부터 음성단위들을 선택하는 때, 남성 음성단위데이터베이스 중 가장 높은 기본 주파수의 음성단위만이 선택된다. 그러나, 이러한 배치는 선택되는 음성단위의 그러한 편향이 생기는 것을 방지할 수가 있다.

또, 빠른 화속의 음성을 늦은 화속의 음성으로 변환하는 음성변환규칙을 작성하는 경우에, 변환원화자 음성단위 중 가장 긴 음운 지속의 음성단위만이 선택된다. 이러한 배치는 또한 음성단위의 선택에 그러한 편향을 방지할 수 있다.

따라서, 변환처화자와 변환원화자의 특징이 다르더라도, 변환원화자의 음성단위데이터베이스에 포함되는 각각의 음성단위의 특징을 반영한 음성변환규칙을 작성할 수가 있다.

(제2 실시예)

이하, 본 발명의 제2 실시예에 따른 음성변환장치에 대해 도 23 내지 도 26을 참고로 하여 설명한다.

음성변환장치는, 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변환규칙을 변환원화자의 임의의 음성 데이터에 적용해, 변환원화자의 음성 데이터의 음질을 변환처화자의 음질로 변환한다.

(1)음성변환장치의 구성

도 23은 제2 실시예에 따른 음성변환장치를 나타내는 블록도이다.

먼저, 상기 음성변환장치는 변환원화자 스펙트럼파라미터추출수단(231)으로 스펙트럼파라미터를 변환원화자의 음성 데이터로부터 추출한다.

스펙트럼파라미터변환수단(232)은, 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변환규칙(14)에 따라 상기 추출된 스펙트럼파라미터를 변환한 다.

파형 생성수단(233)은 상기 변환된 스펙트럼파라미터로부터 음성파형을 생성한다. 이것에 의해, 상기 변환원화자 음성데이터로부터 변환된 변환처화자 음성파형이 생성될 수 있다.

(2)변환원화자 스펙트럼파라미터추출수단(231)

변환원화자 스펙트럼파라미터추출수단(231)은, 변환원화자 음성 데이터에 대해서 피치 마킹을 실시하고, 각 피치 마크를 중심으로서 피치주기 파형을 잘라내고, 상기 잘라낸 피치주기 파형에 대해서 스펙트럼 분석을 실시한다. 상기 피치 마킹 및 스펙트럼 분석에 대해, 제1 실시예에 따른 상기 변환원화자 스펙트럼파라미터 추출수단(102)과 같은 방법이 이용된다. 이에 의해, 도 11의 변환원화자 스펙트럼파라미터 추출수단(102)에 의해 추출된 스펙트럼파라미터는 변환원화자의 음성 데이터의 각 피치주기 파형에 대해서 얻어진다.

(3)스펙트럼파라미터변환수단(232)

상기 스펙트럼파라미터변환수단(232)은, 음성변환규칙학습수단(13)에 의해 작성된 음성변환규칙(14)의 음성변환규칙을 이용해 스펙트럼파라미터를 변환한다.

(3-1)평행이동

평행이동의 경우, 상기 음성변환규칙은 식(6)과 같이 표현되며, 여기서, x는 상기 변환원화자의 스펙트럼파라미터이고, y'는 변환후의 스펙트럼파라미터이며, b는 평행이동 거리이다.

(3-2)단일 선형 회귀 분석

단일 선형 회귀 분석을 이용하는 경우, 상기 음성변환규칙은 식(8)로 표현되며, 여기서, x^k는 변환원화자의 k차(order) 스펙트럼파라미터이고, y'^k는 변환후의 k차 스펙트럼파라미터이며, a^k는 k차 스펙트럼파라미터에 대한 회귀 계수이고, b^k는 k차 스펙트럼파라미터에 대한 바이어스이다.

(3-3)다중 회귀 분석

다중 회귀 분석의 경우, 음성변환규칙은 식(10)으로 표현되며, 여기서, x'는 변환원화자의 스펙트럼파라미터, y'는 변환 후의 스펙트럼파라미터, A는 회귀 행렬이다.

(3-4)벡터 양자화 방법

벡터 양자화 방법의 경우, 스펙트럼파라미터변환수단(232)은 변환원화자의 스펙트럼파라미터를 도 24에 나타내는 처리를 적용해 변환한다.

도 24에서는, 단계 S241에서, 음성변환규칙학습수단(13)에 의해 LBG 알고리즘을 이용하여 얻은 각 클러스터의 센트로이드와 입력된 스펙트럼파라미터와의 거리를 상기 거리가 최소가 되는 클러스터로부터 선택한다(벡터 양자화).

단계 S242에 대해, 식 (12)를 이용해 스펙트럼파라미터의 변환을 실시한다. 여기서, x'는 변환원화자의 스펙트럼파라미터, y'는 변환 후의 스펙트럼파라미터, se1^c(x)는, x가 클러스터 c에 속하는 경우는 1, 그 이외는 0을 돌려주는 선택함수이다.

(3-5)GMM 방법

GMM 방법을 이용하는 경우가 도 25에 도시되어 있다.

도 25에 나타내듯이, 단계 S251에서, 음성변환규칙학습수단(13)의 최대 가능성 예측에 의해 얻어진 GMM을 이용해 스펙트럼파라미터가 GMM의 각 혼합에 대해 생성되는 사후 확률의 식(15)를 계산한다.

다음으로, 단계 S252에서, 각 혼합에 있어서의 사후 확률을 가중치로 함에 의해, 식 (14)에 의해 상기 스펙트럼파라미터는 변환된다. 식(14)에서, p(mc|x)는 x가 혼합 mc에서 관측되는 확률이며, x'는 변환원화자의 스펙트럼파라미터, y'는 변환 후의 스펙트럼파라미터, A^c는 혼합c의 회귀 행렬이다.

따라서, 스펙트럼파라미터변환수단(232)은 각 음성변환규칙에 따라 변환원화자의 스펙트럼파라미터를 변환한다.

(4)파형생성수단(233)

다음으로, 파형생성수단(233)은, 상기 변환된 스펙트럼파라미터로부터 파형을 생성한다.

구체적으로, 상기 파형생성수단(233)은 상기 변환된 스펙트럼파라미터의 스펙트럼에 적당한 위상을 주고, 역푸리에변환에 의해 피치주기 파형을 생성하며, 상기 피치주기 파형을 피치 마크에 중첩하여, 파형을 생성하게 된다.

파형 생성을 위한 피치 마크는, 상기 변환처화자의 음운에 근접하도록, 상기 변환원화자의 피치 마크로부터 변경된 것일 수 있다. 이 경우, 도 20 및 도 21에 도시된 속성변환규칙작성수단(194)에 의해 생성된, 음운 지속 및 기본 주파수의 변 환 규칙은, 변환원화자로부터 추출된 음운 지속 및 기본 주파수에 대해, 피치 마크가 형성된 것으로부터 변환된다.

따라서, 상기 음운 정보는 상기 변환처화자의 음운에 가깝도록 근접될 수 있다.

역푸리에 변환에 의해 피치주기 파형이 생성되지만, 적당한 음원 정보로 필터링함에 의해 피치주기 파형이 재생성될 수 있다. LPC 계수에 대해, 피치주기 파형은 모든 폴(pole) 필터를 이용하여 생성될 수 있다; 멜-케프스트람의 경우, MLSA 필터 및 스펙트럼 포락 파라미터를 통해 음원 정보와 함께 피치 주기파형이 생성될 수 있다.

(5)음성 데이터

도 26은 음성변환장치에 의해 변환된 음성 데이터의 예를 나타낸 것이다.

도 26은 왼쪽으로부터, 변환원화자의 음성 데이터, 변환 후의 음성 데이터, 변환처화자의 음성데이터로부터 각각 추출한 대수 스펙트럼 및 피치주기 파형을 나타낸다.

변환원화자 스펙트럼파라미터추출수단(231)은 변환원화자 음성데이터로부터 추출된 피치주기 파형으로부터 스펙트럼 포락 파라미터를 추출한다. 상기 스펙트럼파라미터변환수단(232)은 음성변환규칙에 따라 상기 추출된 스펙트럼 포락 파라미터를 변환한다. 다음으로, 파형생성수단(233)은 상기 변환된 스펙트럼 포락 파라미터로부터 변환 후의 피치주기 파형을 생성한다. 변환처화자의 음성 데이터로부터 추출된 스펙트럼 포락 및 피치주기 파형의 비교는, 변환 후의 피치주기 파형 이 변환처화자 음성 데이터로부터 추출된 피치주기 파형에 근접함을 보여준다.

(6)효과

상술한 것처럼, 상기 제2 실시예에 따른 구성은, 제1 실시예에 따른 음성변환규칙작성장치에 대해 작성된 음성변환규칙을 이용해, 입력된 변환원화자 음성 데이터를 변환처화자의 음질로 변환되도록 하는 것이 가능하도록 한다.

제2 실시예에 의하면, 변환처화자의 임의문에 의한 음성변환규칙 또는 변환원화자의 대량의 음성단위데이터베이스에 포함되는 정보를 반영한 음성변환규칙을, 변환원화자 음성 데이터에 적용하는 것이 가능하여, 고품질인 음성변환이 달성될 수 있다.

(제3 실시예)

이하, 본 발명의 제3의 실시예에 따른 텍스트 대 음성(text-to-speech) 합성 장치에 대해 도 27 내지 도 33을 참고하여 설명한다.

텍스트 대 음성 합성 장치는, 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변환규칙을 적용함에 의해, 임의문의 입력에 대해서, 변환처화자와 동일한 음질을 갖는 합성 음성을 생성한다.

( 1 )텍스트 대 음성 합성 장치의 구성

도 27은, 제3 실시예에 따른 텍스트 대 음성 합성 장치를 나타내는 블록도이다.

텍스트 대 음성 합성 장치는, 텍스트입력수단(271), 언어처리수단(272), 운 율처리수단(273), 음성합성수단(274), 음성파형출력수단(275)을 포함한다.

(2)언어처리수단(272)

언어처리수단(272)은, 텍스트입력수단(271)으로부터 입력되는 텍스트의 구조 및 형태소를 분석하고, 그 결과를 상기 운율처리수단(273)으로 보낸다.

(3)운율처리수단(273)

운율처리수단(273)은, 상기 언어 분석에 근거하여 액센트나 인터네이션을 처리하여 음운 계열(음운 기호열) 및 운율 정보를 생성하며, 음성합성수단(274)으로 보낸다.

(4)음성합성수단(274)

음성합성수단(274)은, 음운 계열 및 운율 정보로부터 음성파형을 생성한다. 상기 생성된 음성파형은 음성파형출력수단(275)에 의해 출력된다.

(4-2)음성합성수단(274)의 구성

도 28은 음성합성수단(274)의 구성 예를 나타낸 것이다.

음성합성수단(274)은, 음운 계열 및 운율 정보 입력수단(281), 음성단위선택수단(282), 음성단위편집 및 접속수단(283), 음성파형출력수단(275) 및 변환처화자의 음성단위 및 속성정보를 저장하는 음성단위데이터베이스(284)를 포함한다.

본 실시예에 따르면, 변환처화자 음성단위데이터베이스(284)는, 음성변환수단(285)이 제1 실시예에 따른 음성변환에 의해 작성된 음성변환규칙(14)을 변환원화자 음성단위데이터베이스(11)에 적용하도록 함에 의해 얻어진다.

변환원화자 음성단위데이터베이스(11)는, 제1 실시예와 같이, 변환원화자의 음성 데이터로부터 생성되고, 임의의 음성 단위로 분할된, 속성정보 및 음성단위를 저장한다. 도 6에 나타내듯이, 피치 마크가 부여된 변환원화자 음성단위의 파형이 해당 음성단위를 식별하기 위한 번호와 함께 저장된다. 상기 속성정보는, 음운(반음운명), 기본 주파수, 음운 지속, 연관 경계 케프스트람 및 음운 환경 등과 같은 음성단위음성단위선택수단(282)에 의해 이용되는 정보를 포함한다. 상기 정보는 도 7에 도시된 바와 같이, 상기 음성단위의 수와 함께 저장된다. 음성단위 및 속성정보는, 변환처화자 음성단위추출수단 및 속성 생성수단의 처리와 같이, 레이블링, 피치 마킹, 속성 생성 및 음성단위추출 등의 공정에 의해 변환원화자의 음성 데이터로부터 생성된다.

음성변환규칙(14)은 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변환규칙을 가지며, 변환원화자의 음성을 변환처화자의 음성으로 변환한다.

음성변환규칙은 음성변환의 방법에 따라서 다르다.

제1 및 제2 실시예에 대해 기술한 바와 같이, 음성변환규칙으로서 평행이동을 이용하는 경우는, 식 (7)에 의해 구해지는 평행이동거리 b가 저장된다.

단일 선형 회귀 분석을 이용하는 경우는, 식 (9)에 의해 얻어지는 회귀 계수 a^k 및 b^k가 저장된다.

다중 회귀 분석을 이용하는 경우는, 식 (11)에 의해 얻어지는 회귀 행렬이 저장된다.

벡터 양자화 방법을 이용하는 경우는, 각 클러스터의 센트로이드 및 각 클러 스터의 회귀 행렬 A^c가 저장된다.

GMM 방법을 이용하는 경우는, 최대 가능성 예측에 의해 얻어진 GMM λ및 각 혼합의 회귀행렬 A^c가 저장된다.

(4-3)음성변환수단(285)

음성변환수단(285)은, 변환원화자 음성단위데이터베이스 내의 각 음성단위에 음성변환규칙을 적용함에 의해, 변환처화자의 음질로 변환되는 변환처화자 음성단위데이터베이스(284)를 생성한다. 음성변환수단(285)은, 도 29에 도시된 바와 같이, 변환원화자의 음성단위를 변환한다.

(4-3-1)변환원화자 스펙트럼파라미터 추출수단(291)

변환원화자 스펙트럼파라미터 추출수단(291)은, 변환원화자의 음성단위에 부여된 피치 마크를 참조하여 피치주기 파형을 추출하며, 도 23의 변환원화자 스펙트럼파라미터 추출수단(231)과 같은 방식으로 스펙트럼파라미터를 추출한다.

(4-3-2)스펙트럼파라미터변환수단(292) 및 파형 생성수단(293)

스펙트럼파라미터변환수단(292) 및 파형 합성수단(293)은, 도 23의 스펙트럼파라미터변환수단(232) 및 파형 생성수단(233), 도 25의 음성변환과 같이, 음성변환규칙(14)을 이용해 스펙트럼파라미터를 변환하여, 변환된 스펙트럼파라미터로부터 음성파형을 형성하도록 하여, 음질을 변환한다.

이에 의해, 변환원화자의 음성단위들이 변환처화자 음성단위로 변환된다. 변환처화자 음성단위와, 대응하는 속성정보는 변환처화자 음성단위데이터베이스 (284)에 저장된다.

음성합성수단(274)은, 음성단위데이터베이스(284)로부터 음성단위를 선택해, 음성 합성을 실시한다. 음운 계열 및 운율 정보 입력수단(281)에는, 음운 처리수단(273)으로부터 출력된 입력 텍스트에 대응하는 음운 계열 및 운율 정보가 입력된다. 음운 계열 및 운율 정보 입력수단(281)에 입력되는 운율 정보는, 기본 주파수 및 음운 지속을 포함한다.

(5)음성단위선택수단(282)

음성단위선택수단(282)은, 입력 음운체계 시스템의 각 음성수단에 대해, 입력 운율 정보와 음성단위데이터베이스(284)에 저장된 속성정보에 근거하여 합성 음성의 비매칭의 정도를 예측하고, 상기 합성 음성의 비매칭의 정도에 따라 음성단위데이터베이스(284)에 저장된 음성단위로부터 음성단위를 선택한다.

여기서, 합성 음성의 비매칭의 정도는, 음성단위데이터베이스(284)에 저장된 속성정보와, 음운 계열 및 운율 정보 입력수단(281)으로부터 보내지는 목표 음성단위 환경 간의 차이에 따른 비매칭인 목표 비용(target cost), 및 연관된 음성 단위들 간의 음성 단위 환경의 차이에 근거한 비매칭인 연관 비용(concatenation cost)의 가중치 합으로서 표현된다.

음성단위가 변형 및 연관되어 합성 음성을 생성할 때에 발생하는 비매칭의 요인마다 부분비용 함수 Cn (u_i, u_i-1, t_i)(n:1, … , N, N은 부분비용 함수의 수 )가 정해진다. 제1 실시예에서 기술된 식 (5)의 비용 함수는, 두 개의 음성단위의 사이의 비매칭을 측정하기 위한 비용 함수이며, 여기서 정의하는 비용 함수는 입력 음운 계열 및 운율 정보와 음성단위 간의 비매칭을 측정하기 위한 비용 함수이다. 여기서, t_i는, 입력 음운 계열 및 입력 운율 정보에 대응하는 목표 음성이 t = (t 1, … , tI)일 경우의, i번째의 단위에 대응하는 음성단위의 목표 속성정보이며, ui는 변환처화자 음성단위데이터베이스(284)에 저장된 음성단위 가운데, t_i와 같은 음운의 음성단위이다.

부분비용 함수는, 변환처화자 음성단위데이터베이스(284)에 저장된 음성단위를 이용해 생성된 합성 음성과 목표 음성과의 비매칭의 정도를 추정하기 위한 비용을 계산하기 위한 것이다. 상기 목표 비용은, 변환처화자 음성단위데이터베이스(284)에 저장된 음성단위의 기본 주파수와 목표 기본 주파수 간의 차이를 나타내는 기본 주파수 비용, 음성단위의 음운 지속과 목표 음운 지속 간의 차이를 나타내는 음운 지속 비용, 음성단위의 음운 환경과 목표 음운 환경 간의 차이를 나타내는 음운 환경 비용을 포함한다. 연관 비용으로서는, 경계에서의 스펙트럼 간의 차이를 나타내는 스펙트럼 연관 비용을 이용한다. 구체적으로는, 기본 주파수 비용은 아래 수학식과 같이 표현된다.

여기서, v_i는 변환처화자 음성단위데이터베이스(284)에 저장된 음성단위 u_i 의 속성정보이며, f(v_i)는 속성정보vi로부터 평균 기본 주파수를 추출하기 위한 함수이다.

또, 음운 지속 비용은, 아래 식으로부터 구한다.

여기서, g(v_i)는 음성 단위 환경v_i로부터 음운 지속을 추출하기 위한 함수이다.

상기 음운 환경 비용은, 아래 식으로부터 산출되며, 아래 식은 인접하는 음운이 매치하고 있는지 어떤지를 나타낸다.

또, 스펙트럼 연관 비용은, 2개의 음성단위 간의 케프스트람 거리로부터 계산된다.

여기서, h(u_i)는 음성단위 u_i의 연관 경계에서 케프스트람 계수를 벡터로서 추출하는 함수를 나타낸다.

상기 부분함수의 가중치 합은 음성 단위 비용 함수로서 정의된다.

여기서, w_n는 상기 부분비용 함수의 가중치를 나타낸다. 본 실시 형태에서, 편의상 모든 w_n 값은 '1'로 한다. 상기 식 (20)은, 상기 음성 단위가 음성 단위에 인가되는 경우의, 음성 단위의 음성 단위 비용을 나타낸다.

입력 음운 계열을 나눔에 의해 얻어진 각 부분들에 대한 식(20)에 의한 음성단위 비용의 계산의 결과의 합이 비용으로 불린다. 상기 비용을 계산하기 위한 비용 함수는 식(21)에 의해 정의된다.

음성단위선택수단(282)은, 상기 식 (16)~(21)에 나타낸 비용 함수를 이용해, 음성단위를 선택한다. 여기에서, 음성단위선택수단(282)은 변환처화자 음성단위데이터베이스(284)에 저장된 음성단위 중에서, 상기 식 (21)에 의해 계산된 비용 함수의 값이 최소인 음성단위의 계열을 선택한다. 비용이 최소인 음성 단위의 계열은 최적음성단위계열(optimum speech unit sequence)이라고 불린다. 즉, 상기 최 적 음성단위계열 내의 각 음성단위는, 합성 단위에 의해 입력 음운 계열을 나누는 것에 의해 얻어진 각 단위들에 해당하며, 상기 최적 음성단위계열 내의 각 음성단위로부터 계산된 상기 음성 단위 비용 및 식 (21)에 의해 산출된 비용은, 다른 어느 음성단위계열보다 작다. 상기 최적음성단위계열은 동적 계획법을 이용함에 의해 효율적으로 검색될 수 있다.

(6)음성단위편집 및 연관수단(283)

음성단위편집 및 연관수단(283)은, 입력 운율 정보에 따라 선택된 음성 단위를 변형하고 연관함에 의해 합성 음성파형을 생성한다. 상기 음성단위 편집 및 연관수단(283)은 상기 선택된 음성단위로부터 피치주기 파형을 추출하고, 상기 피치주기 파형을 중첩하여, 상기 음성 단위의 음운 지속 및 기본 주파수가 상기 입력 운율 정보에 지시된 목표 음운 지속 및 목표 기본 주파수가 되게 하며, 음성파형을 생성하게 된다.

(6-1)처리의 상세내용

도 30은, 음성단위편집 및 연관수단(283)의 처리를 설명하기 위한 도이다.

도 30은, 위로부터, 선택된 음성 단위, 피치주기 파형을 추출하기 위한 하닝창, 피치주기 파형, 및 합성 음성을 나타내는,「a-i-sa-tsu」라고 하는 합성 음성의 음운 'a'의 음성파형의 생성하는 예를 나타낸다. 합성 음성의 세로의 곧은 선은 피치 마크를 나타내며, 피치 마크는 입력 운율 정보 내의 목표 음운 지속 및 목표 기본 주파수에 따라 만들어진다. 음성단위 편집 및 연관수단(283)은 상기 피치 마크에 따라 매 임의의 음성 단위마다 선택된 음성단위로부터 추출된 피치주기 파 형을 중첩하여, 상기 음성 단위를 편집하며, 상기 기본 주파수 및 음운 지속을 변화시키게 되며, 그 결과, 인접한 피치주기 파형을 연관시켜 합성 음성을 생성한다.

(7)장점

상술한 것처럼, 본 실시예에 따르면, 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변환규칙에 의해 변환된 변환처화자 음성단위데이터베이스를 이용해, 음성단위선택형의 음성 합성이 실시될 수 있어서, 임의의 입력 문장에 대응하는 합성 음성을 생성할 수가 있다.

보다 구체적으로, 변환처화자의 소량의 데이터를 이용해 작성된 음성변환규칙을 변환원화자 음성단위데이터베이스중의 각 음성단위에 적용해 변환처화자의 음성단위데이터베이스를 작성하고, 변환처화자 음성단위데이터베이스로부터 음성을 합성하는 것으로써, 변환처화자의 음질을 갖는 임의문의 합성음성이 생성될 수 있다.

또, 본 실시예에 의하면, 변환처화자의 임의문의 발성에 의한 음성변환규칙, 및 변환원화자의 대량의 음성단위데이터베이스에 포함되는 정보를 반영한 음성변환규칙을 적용함에 의해 얻어진 변환처화자 음성단위데이터베이스로부터 음성을 합성할 수가 있어서, 자연스러운 변환처화자의 합성 음성을 얻을 수 있다.

(8)변경예 1

본 실시예에서, 음성변환규칙이 사전에 변환원화자 음성단위데이터베이스의 각 음성단위에 적용되지만, 합성시에 음성변환규칙이 적용될 수 있다.

이 경우, 도 31에 나타낸 바와 같이, 음성합성수단(274)은 변환원화자 음성 단위데이터베이스(11)와 함께, 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변환규칙(14)을 저장한다.

음성 합성시에는, 음운 계열 및 운율 정보 입력수단(281)은, 텍스트 해석에 의해 얻어진 음운 계열 및 운율 정보를 입력한다; 음성단위선택수단(311)은, 식(21)에 의해 계산된 비용을 최소화하기 위해, 변환원화자 음성단위데이터베이스로부터 음성단위를 선택한다; 또, 음성변환수단(312)은, 선택된 음성단위의 음질을 변환한다. 음성변환수단(312)에 의한 음성변환은, 도 28의 음성변환수단(285)에 의한 것과 같이 실시될 수 있다. 그 후, 음성단위편집 및 접속수단(283)은, 상기 변환된 음성 단위의 음운을 변경 및 연관시켜 합성 음성을 얻게 된다.

본 변경예에 의하면, 음성 합성을 위한 계산량은, 음성 합성에 음성변환 처리가 더해지기 때문에, 증가한다. 하지만, 음성변환규칙(14)에 따라 합성 음성의 음질이 변환될 수 있기 때문에, 변환처화자의 음질을 이용하여 합성 음성을 생성하는 경우, 변환처화자 음성단위데이터베이스를 구비할 필요가 없다.

따라서, 여러가지 화자의 음질을 이용한 음성 합성을 위한 시스템을 구축하는 데 있어서, 음성 합성은 변환원화자 음성단위데이터베이스와 각 화자에 대한 음성변환규칙만으로 실현될 수 있어서, 모든 화자의 음성단위데이터베이스를 필요로하는 경우보다 더 적은 양의 메모리로 음성합성이 실현될 수 있다.

또, 새로운 화자를 위한 변환 규칙들만이 네트워크를 거쳐 다른 음성 합성 시스템으로 전달될 수 있어서, 새로운 화자의 음성단위데이터베이스 모두를 전송할 필요가 없어져, 전송에 필요한 정보량을 줄일 수가 있다.

(9)변경예 2

본 발명은 음성 변환이 단위 선택형 음성 합성에 적용되는 실시예들을 참고로 하여 기술되었으나, 본 발명이 거기에 한정되는 것이 아님을 이해하여야 한다. 본 발명은 복수의 단위 선택 및 혼합형 음성 합성에 적용될 수 있다.

도 32는 이러한 경우의 음성 합성 장치를 나타낸다.

음성변환수단(285)은, 음성변환규칙(14)을 이용해 변환원화자 음성단위데이터베이스(11)를 변환하여, 변환처화자 음성단위데이터베이스(284)를 작성한다.

음성합성수단(274)은, 음운 계열 및 운율 정보 입력수단(281)에 의해 텍스트 분석의 결과인 음운 계열 및 운율 정보를 입력한다.

복수음성단위선택수단(321)은, 식 (21)에 의해 계산된 비용에 따라 상기 음성단위데이터베이스로부터 음성 단위 세그먼트에 대한 복수의 음성단위를 선택한다.

복수음성단위융합수단(322)은, 선택된 복수의 음성단위를 융합해 융합 음성단위를 형성한다. 융합 음성단위편집 및 연관수단(323)은 상기 융합된 음성 단위를 변경 및 연관시켜, 합성 음성파형을 형성한다.

복수음성단위선택수단(321) 및 복수 음성단위융합수단(322)의 처리는 특허 문헌 1에 기재된 방법에 의해 실시될 수 있다.

복수음성단위선택수단(321)은, 우선 식 (21)의 비용 함수를 최소화하도록 DP 알고리즘을 이용해 최적 음성단위계열을 선택하고, 다음으로, 전후의 음성 구간의 최적 음성단위와 연관된 비용 및 해당하는 구간에 입력된 속성의 목표 비용과의 합 으로, 변환처화자 음성단위데이터베이스에 포함된 동일한 음운의 음성단위로부터 복수의 음성 단위를 비용 함수의 증가하는 순서로 선택한다.

선택된 음성단위는, 복수 음성단위융합수단에 의해 융합되어, 선택된 음성단위들을 대표하는 음성단위를 얻는다. 음성단위융합은, 선택된 음성단위로부터 피치주기 파형을 추출하고, 피치주기 파형의 수와 목표 음운으로부터 생성된 피치 마크를 매치시키기 위해 피치주기 파형을 복사 또는 삭제하고, 시간 영역에서 상기 피치 마크에 대응하는 피치주기 파형을 평균함에 의해 수행될 수 있다.

융합음성단위편집 및 연관수단(323)은 융합된 음성 단위의 운율을 변경 및 연관시켜, 합성 음성의 파형을 형성한다. 복수음성단위선택 및 융합형의 음성 합성은, 음성단위선택형 보다 안정감이 더 높은 합성 음성을 얻을 수 있는 것이 확인되고 있기 때문에, 본 구성은, 높은 안정감 및 자연스러운 음성을 갖는 변환원처자의 음성 합성이 가능하게 한다.

(10)변경예 3

상기 실시예들은, 미리 음성변환규칙에 따라 작성된 음성단위데이터베이스를 이용하는 복수음성단위선택 및 융합형의 음성 합성에 대해 기술한다. 다르게는, 변환원화자 음성단위데이터베이스로부터 복수의 음성단위를 선택하고, 선택된 음성단위의 음질을 변환하고, 변환된 음성단위를 융합하여 융합 음성단위를 형성하고, 융합된 음성 단위를 편집 및 연관시키는 것에 의해, 음성 합성이 수행될 수 있다.

이 경우, 도 33에 나타내듯이, 음성합성수단(274)은 변환원화자 음성단위데이터베이스(11)와, 제1 실시예에 따른 음성변환규칙작성장치에 의해 작성된 음성변 환규칙(14)을 저장한다.

음성 합성시에는, 음운 계열 및 운율 정보 입력수단(281)은, 텍스트 해석의 결과인 음운 계열 및 운율 정보를 입력한다; 그리고, 복수음성단위선택수단(331)은, 도 31의 음성변환수단(311)과 같이, 변환원화자 음성단위데이터베이스(11)로부터 음성 단위마다 복수의 음성단위를 선택한다.

선택된 음성단위들은, 음성변환규칙(14)에 따라, 음성변환수단(332)에 의해, 변환처화자의 음질을 갖는 음성단위로 변환된다. 음성변환수단(332)에 의한 음성변환은, 도 28에 나타내어진 음성변환수단(285)에 의한 음성변환과 유사하다. 그 후, 복수음성단위 융합수단(322)은 변환된 음성 단위를 융합하고, 융합음성단위 편집 및 연관수단(323)은, 음운의 변경 및 연관을 실시하여 합성 음성파형을 형성한다.

상기 변경예에 따르면, 음성 합성시에 음성변환 처리가 더해지기 때문에, 음성 합성시의 계산량은 증가한다. 하지만, 저장된 음성변환규칙에 따라 합성 음성의 음질이 변환될 수 있기 때문에, 변환처화자의 음질로 합성 음성을 생성하는 경우 변환처화자 음성단위데이터베이스를 구비할 필요가 없다.

따라서, 여러가지 화자의 음질을 이용하여 음성을 합성하는 시스템을 구성하는 경우에, 음성 합성은 변환원화자 음성단위데이터베이스와 화자를 위한 음성변환규칙만으로 실현될 수 있어서, 모든 화자의 음성단위데이터베이스를 필요로 하는 경우보다 더 작은 양의 메모리로 음성 합성이 실현될 수 있다.

또한, 새로운 화자를 위한 변환 규칙만이 네트워크를 거쳐 다른 음성합성시 스템으로 전달될 수 있으며, 이는 새로운 화자의 음성단위데이터베이스 모두를 전달할 필요를 제거하여, 전달에 필요한 정보를 감소시키게 된다.

복수음성단위선택 및 융합형의 음성 합성은, 음성단위선택형보다 더 안정감이 높은 합성 음성을 얻을 수 있는 것이 확인되고 있기 때문에, 본 변경예에 의하면, 높은 안정성 및 새로운 음성을 갖는 변환원화자의 음성 합성을 가능하게 한다.

음성변환 후에 음성단위융합 처리를 실시되지만, 융합 음성단위가 생성된 후에 융합 음성단위의 피치주기 파형의 음질이 변환될 수 있다. 이 경우에 있어서, 도 34에 나타내듯이, 복수음성단위융합수단(341)이 음성변환수단 앞에 구비된다; 변환원화자의 복수의 음성단위는 복수음성단위선택수단(331)에 의해 선택된다; 상기 선택된 음성 단위는 복수음성단위 융합수단(341)에 의해 융합된다; 그리고, 상기 융합음성단위들은 음성변환규칙(14)을 이용하여 음성변환수단(342)에 의해 변환된다; 그리고, 상기 변환된 융합음성단위들은 융합음성단위 편집 및 연관 수단(323)에 의해 편집 및 연관되어, 음성합성이 이뤄진다.

(11)변경예 4

실시예가 제1실시예에 따른 음성변환규칙작성장치에의해 작성된 음성변환규칙을 음성단위선택형 음성 합성 및 복수음성단위선택 및 융합형의 음성 합성에 적용하고 있으나, 본 발명은 거기에 제한되지 않는다.

예를 들면, 본 발명은 음성단위학습형 음성 합성의 하나인 폐루프 학습에 근거하는 음성 합성 장치(예를 들면, 일본특허 제3281281호 공보 참조)에 적용될 수도 있다.

음성단위학습형 음성 합성에서는, 복수의 음성단위 또는 학습 데이터로부터 대표적 음성단위들이 학습 및 저장되고, 그 학습된 음성단위들이 입력 음운 계열 및 운율 정보에 따라 편집 및 연관되도록 음성을 합성한다. 이 경우, 대표음성단위가 학습되는 음성 단위 또는 학습 데이터가 변환되도록 음성 합성이 적용될 수 있다. 또한, 학습된 음성단위에 대해서 음성변환을 적용해, 변환처화자의 음질을 갖는 대표음성단위를 형성할 수도 있다.

(12)변경예 5

상기 실시예들에 따르면, 속성변환규칙 작성수단(194)에 대해 작성된 속성변환규칙들이 적용될 수 있다.

이 경우, 변환원화자 음성단위데이터베이스의 속성정보에 속성변환규칙을 적용해, 속성정보를 변환처화자의 속성에 접근하도록 하고, 변환처화자의 속성정보에 근접한 상기 속성정보가 음성 합성을 위해 이용될 수 있다.

또, 운율처리수단(273)에 의해 생성된 운율 정보는, 속성변환규칙 작성수단(194)에 따른 속성 변환에 의해 변환될 수 있다. 따라서, 운율처리수단(273)은 변환원화자의 특징을 갖는 운율을 생성할 수 있으며, 상기 생성된 운율 정보는 변환처화자의 운율로 변환될 수 있어서, 변환처화자의 운율을 이용해 음성 합성이 실현될 수 있다. 따라서, 음질 뿐만 아니라 운율도 변환될 수 있다.

(13)변경예 6

제1 내지 제3 실시예에 따르면, 피치 동기 분석에 근거해 음성단위가 분석 및 합성된다. 하지만, 본 발명은 거기에 한정되지 않는다. 예를 들면, 무성음의 구간에서는 피치가 관측되지 않기 때문에 피치 동기 처리를 실시할 수 없다. 이러한 구간에서는, 고정 프레임율(frame rate)을 이용한 분석 합성에 의해 음성변환이 수행될 수 있다.

상기 고정 프레임율 분석 합성은 무성음 구간에 한정되지 않고 채용될 수 있다. 또, 무성음의 음성단위는 변환되지 않고, 변환원화자의 음성단위를 그대로 이용해도 괜찮다.

(변경예)

본 발명은 제1 내지 제3 실시예에 한정되지 않고, 다양한 변경예들이, 본 발명의 범위 및 사상을 벗어남이 없이 구성요소를 변경함에 의해 만들어질 수 있음을 관련 분야에서 통상의 지식을 가진 자라면 이해할 것이다.

또한, 다양한 변경 및 변형들이 상기 실시예들에 개시된 복수의 구성요소들의 조합에 의해 달성될 수 있다는 것이 자명할 것이다. 예를 들어, 임의의 일부 구성요소들이 상기 실시예들의 모든 구성요소들로부터 제거될 수 있다.

본 발명에 의하면, 변환처화자의 임의문의 발성에 의한 음성변환규칙 작성이 가능하다.

Claims

변환원화자의 복수의 음성단위 및 상기 음성단위들에 대응하는 변환원화자 속성정보를 저장하는 음성저장수단;

변환처화자의 음성을, 임의의 타입의 음성 단위로 분할해 변환처화자 음성단위를 형성하는 음성단위추출수단;

상기 변환처화자의 음성 또는 그 음성의 언어 정보로부터, 상기 변환처화자 음성단위에 대응하는 변환처화자 속성정보를 생성하는 속성정보생성수단;

비용함수를 이용하여 변환원화자 속성정보 및 변환처화자 속성정보에 관한 비용을 계산하고, 상기 비용에 따라 상기 음성저장수단으로부터 하나 또는 복수의 음성단위를 선택하여 변환원화자 음성단위를 형성하는 음성단위선택수단; 및

상기 변환처화자 음성단위와 상기 하나 또는 복수의 변환원화자 음성단위에 근거해, 상기 하나 또는 복수의 변환원화자 음성단위를 상기 변환처화자 음성단위로 변환하기 위한 음성변환함수를 생성하는 음성변환규칙생성수단을 포함하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성단위선택수단은,

상기 비용함수의 비용이 최소가 되는 변환원화자 속성정보에 대응하는 음성단위를, 상기 음성저장수단으로부터 선택해 상기 변환원화자 음성단위로 하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 속성정보는, 기본 주파수 정보, 지속 정보, 음운 환경 정보, 스펙트럼 정보 중의 적어도 하나인 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 속성정보생성수단은,

상기 변환처화자의 속성정보를 상기 변환원화자의 속성정보로 변환하는 속성변환함수를 생성하는 속성변환규칙생성수단;

상기 변환처화자의 음성 또는 상기 변환처화자의 음성의 언어 정보로부터, 상기 변환처화자 음성단위에 대응하는 속성정보를 추출하는 속성정보추출수단; 및

상기 변환처화자 음성단위에 대응하는 속성정보를 상기 속성변환함수를 이용하여 변환해, 상기 변환된 속성정보를 상기 변환처화자 음성단위에 대응하는 변환처화자 속성정보로 이용하는 속성정보변환수단을 포함하는 것을 특징으로 하는 음성처리장치.
제4항에 있어서,

상기 속성변환규칙생성수단은,

상기 변환처화자의 기본 주파수 정보의 평균치 및 상기 변환원화자의 기본 주파수 정보의 평균치를 구하는 분석수단; 및

상기 변환처화자의 기본 주파수 정보의 평균치와 상기 변환원화자의 기본 주파수 정보의 평균치 간의 차이를 결정하고, 상기 차이가 상기 변환원화자의 기본 주파수 정보에 더해지는 속성변환함수를 생성하는 차분생성수단을 포함하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성변환규칙생성수단은,

상기 변환처화자 음성단위의 음질을 나타내는 변환처화자 음성 파라미터 및 상기 변환원화자 음성단위의 음질을 나타내는 변환원화자 음성 파라미터를 추출하는 음성파라미터추출수단; 및

상기 변환처화자 음성 파라미터를, 상기 변환원화자 음성 파라미터로부터 예측하는 회귀 행렬을 구하는 회귀분석수단을 포함하며,

상기 회귀 행렬은 상기 음성변환함수인 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성변환함수를 이용하여 상기 변환처화자의 음성의 음질을 변환하는 음성변환수단을 더 포함하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성변환함수에 의해 상기 변환원화자 음성단위를 변환하여 얻은 변환처화자 음성단위를 저장하는 음성단위저장수단;

상기 음성단위저장수단으로부터 음성단위를 선택해 대표음성단위를 얻는 음성단위선택수단; 및

상기 대표음성단위를 연관시킴에 의해 음성파형을 생성하는 음성파형생성수단을 더 포함하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성단위저장수단으로부터 음성단위를 선택해, 대표 변환원화자 음성단위를 얻는 음성단위선택수단;

상기 음성변환함수를 이용하여, 상기 대표 변환원화자 음성단위를 변환하여 대표 변환처화자 음성단위를 얻는 음성변환수단; 및

상기 대표 변환처화자 음성단위를 연관시켜 음성파형을 생성하는 음성파형생성수단을 더 포함하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성변환함수에 의해, 상기 변환원화자 음성단위를 변환함에 의해 얻은 변환처화자 음성단위를 저장하는 음성단위저장수단;

상기 음성단위저장수단으로부터 합성 단위마다 복수의 음성단위를 선택하는 복수음성단위선택수단;

상기 선택된 복수의 음성단위를 융합하여 융합 음성단위를 형성하는 융합수단; 및

상기 융합 음성단위를 연관시켜 음성파형을 생성하는 음성파형생성수단을 더 포함하는 것을 특징으로 하는 음성처리장치.
제1항에 있어서,

상기 음성단위저장수단으로부터 합성 단위마다 복수의 음성단위를 선택하는 복수음성단위선택수단;

상기 선택된 복수의 음성단위를 상기 음성변환함수에 의해 변환하여 복수의 변환처화자 음성단위를 얻는 음성변환수단;

상기 선택된 복수의 변환처화자 음성단위를 융합하여 융합 음성단위를 형성하는 융합수단; 및

상기 융합 음성단위를 연관시켜 음성파형을 생성하는 음성파형생성수단을 더 포함하는 것을 특징으로 하는 음성처리장치.
변환원화자의 복수의 음성단위 및 상기 음성단위들에 대응하는 변환원화자 속성정보를 저장하는 단계;

변환처화자의 음성을, 임의의 타입의 음성 단위로 분할하여, 변환처화자 음성단위를 형성하는 단계;

상기 변환처화자의 음성에 대한 정보 또는 그 음성의 언어 정보로부터, 상기 변환처화자 음성단위에 대응하는 변환처화자 속성정보를 생성하는 단계;

비용함수를 이용하여 상기 변환원화자 속성정보 및 상기 변환처화자 속성정보에 대한 비용을 계산하는 단계;

상기 비용에 따라 상기 변환원화자 음성단위로부터 하나 또는 복수의 음성단위를 선택하여 변환원화자 음성단위를 형성하는 단계; 및

상기 변환처화자 음성단위와 상기 하나 또는 복수의 변환원화자 음성단위에 근거해, 상기 하나 또는 복수의 변환원화자 음성단위를 상기 변환처화자 음성단위로 변환하기 위한 음성변환함수를 생성하는 단계를 포함하는 것을 특징으로 하는 음성처리방법.
변환원화자의 복수의 음성단위 및 상기 음성단위들에 대응하는 변환원화자 속성정보를 저장하는 제1 프로그램 코드;

변환처화자의 음성을 임의의 타입의 음성단위로 분할하여 변환처화자 음성단위를 형성하는 제2 프로그램 코드;

상기 변환처화자의 음성에 관한 정보 또는 그 음성의 언어 정보로부터, 상기 변환처화자 음성단위들에 대응하는 변환처화자 속성정보를 생성하는 제3 프로그램 코드;

비용함수를 이용하여 상기 변환원화자 속성정보와 상기 변환처화자 속성정보에 관한 비용을 계산하는 제4 프로그램 코드;

상기 비용에 따라 상기 변환원화자 음성단위로부터 하나 또는 복수의 음성단 위를 선택하여 변환원화자 음성단위를 형성하는 제5 프로그램 코드; 및

상기 변환처화자 음성단위 및 하나 또는 복수의 변환원화자 음성단위에 근거하여, 상기 하나 또는 복수의 변환원화자 음성단위를 상기 변환처화자 음성단위로 변환하기 위한 음성변환함수를 생성하는 제6 프로그램 코드를 포함하여, 컴퓨터로 하여금 음성을 처리하도록 하는 프로그램을 저장하는 컴퓨터로 판독가능한 매체.